AiDD研发数字峰会

论坛主席：张冬梅

Dr. Dongmei Zhang is a Distinguished Scientist at Microsoft with extensive experiences in research and development. She pioneered and established “Software Analytics” as a new research direction, founding the Software Analytics Group at Microsoft Research Asia in 2009 to drive the integration and advancement of data, AI, and software engineering. She subsequently expanded her work into the field of data intelligence by creating the “Data, Knowledge & Intelligence (DKI)” research group. Over a career spanning more than twenty years at Microsoft, Dr. Zhang has led her teams to closely collaborate with product teams across the company on technology transfer. Her contributions include digital ink technologies in Windows 7 and Microsoft Math, as well as foundational research in Software Analytics, AIOps, and data intelligence that have enhanced and impacted products such as Power BI, Excel, Azure, and Microsoft 365. Currently, she is the Chief Scientist of the Microsoft Software Technology Center in China (STCA) while continuing to lead the DKI research group. Dr. Zhang received her Ph.D. in Robotics from the School of Computer Science at Carnegie Mellon University. She received her M.E. and B.E. from Tsinghua University.

微软杰出科学家
微软 STCA首席科学家

AI前沿技术探索与实践

本论坛深入探讨AI Agent在软件工程中的落地试点和无限可能，将聚焦于智能体如何模拟人类认知理解任务要求，实现大模型与传统软件工程工具链的有力结合，如AI Agent在单测生成任务、系统测试执行任务等环节的落地场景，研究落地路径和落地难点。你将与AI业内专家分享最新研究成果、共同探索AI Agent赋能软件工程的奇妙过程！

被忽略的胜负手，IAAS层如何决定AI大模型训推的性能上限

刘小杨（望云）

阿里云技术专家

内容简介：

当算力军备竞赛聚焦于 GPU 峰值性能时，一个常被忽视的事实是：训推任务能否跑满算力，往往不取决于卡，而取决于卡之外的 IaaS 层。网络带宽与时延、RDMA 拥塞控制、存储 IO、虚拟化开销、拓扑亲和性等任一短板，都会让昂贵的 GPU 陷入"等待"。本次演讲将沿着"通算 → 智算"的演进脉络，并结合线上训练与推理性能瓶颈分析实战案例，拆解从现象定位到根因归因的完整方法论，揭示 IaaS 层这一"被忽略的胜负手"如何决定 AI大模型训推的性能上限。

演讲提纲：
1.算力幻觉 —— 为什么买了顶配 GPU，性能却没达到预期？
1.1一组反差数据：标称算力 vs 实际 MFU/吞吐
1.2一笔经济账：万卡集群每提升 1% MFU，等价于多少张 GPU、多少千万级成本节省
1.3行业现状：注意力高度集中在 GPU 卡，IaaS 层被默认"够用"
1.4核心观点：性能优化，是 AI 时代企业的核心竞争力
2.重新认识 IaaS 层 —— 从"通算"到"智算"的范式转变
2.1通算时代 IaaS 的设计假设：CPU 为中心、东西向流量小
2.2智算时代的新约束：万卡互联、集合通信主导、显存与带宽强耦合
2.3一张图看懂：智算 IaaS 的四大支柱（计算 / 网络 / 存储 / 调度）
3.性能瓶颈的技术迭代史 —— IaaS 层做对了什么
3.1计算侧：虚拟化损耗、NUMA 亲和、GPU 直通与拓扑感知
3.2网络侧：从 TCP 到 RDMA/RoCE，再到自研高性能网络与拥塞控制
3.3存储侧：从本地盘到并行文件系统，Checkpoint 与数据加载的优化
3.4调度侧：拓扑感知调度、Scheduling、故障自愈与断点续训
4.实战案例：训推场景的性能瓶颈定位 —— 智算场景更强调全链路性能分析方法
4.1AI infra 全链路性能分析方法
4.2案例背景：DDP训练性能优化案例
4.3案例背景：在线推理RT抖动分析案例
5.从实战到新架构 —— 解法的演进与被引入的新挑战
5.1从性能瓶颈到架构革新
5.2新架构带来的衍生挑战
6.总结与展望

听众收益：
1.帮助听众建立从底层基础设施到上层AI业务的全栈性能优化视角
2.为大规模模型训练提速、推理降本提供可落地的技术参考。

现任阿里巴巴技术支持专家，6年IAAS & AI领域实践经验，聚焦于内核、操作系统、服务器虚拟化以及AI Infra相关技术，有多行业云上客户业务的全链路性能分析和优化场景落地的能力。

当代码生成遇到 3D 堆叠芯片：多智能体协作的工程化实践

楼建光

算苗科技首席AI专家

内容简介：

算苗科技的3D TokenPU芯片是一种基于3D混合堆叠的云侧AI加速芯片，其3D分布式DRAM设计为突破“内存墙”提供了全新的技术路径，同时也带来了tile拓扑、数据放置、片上通信调度等新的软件需求。本报告将介绍使用AI agents代码生成如何帮助开发人员快速为一种新型AI加速芯片从零构建从驱动、运行时、编译器到AI框架适配整个软件栈的工程实践。

演讲提纲：
1. 3D堆叠芯片带来全新编程挑战：拆解3D分布式DRAM芯片硬件特性、Tile Native专属编程范式，对比CUDA开发痛点，引出 AI 智能体代码生成解决方案。
2. AI代码生成全链路工程落地实践：讲解多智能体协作架构，完整覆盖芯片全栈软件构建、TDD流程融合、算子自动化生成与性能优化全流程落地经验。
3. AI 编程开发成本量化分析：拆解 AI 代码生成的 Token 开销、测试验证开销、迭代反馈循环开销，论证 3D 堆叠芯片对长期开发成本的优化逻辑。
4. 分场景AI开发效率落地效果：对比训练代码、底层基础程序等不同开发场景下，多智能体代码生成带来的工程提优成果与落地实践心得。

听众收益：
1. 深度理解3D堆叠AI芯片独特硬件架构对应的软件编程痛点，掌握面向新型专用加速芯片，用多智能体 AI 代码生成搭建完整软件栈的落地方法论。
2. 获得可复用工程经验：学会将AI Agent融入TDD开发流程、多智能体自动生成高性能硬件原生算子的实操方案，规避AI生成代码质量缺陷。
3. 建立AI软件开发成本量化评估思路，理解3D存储堆叠架构如何从底层硬件维度，长期降低大模型、AI加速芯片配套软件的研发与迭代成本。

楼建光博士于2025年9月加入算苗科技，现任首席AI科学家，负责领导公司的AI软件生态团队，致力于为算苗先进的AI芯片产品打造高性能、开放、易用的软件平台与开发生态。
加入算苗前，楼建光博士曾担任微软研究院首席研究员（Sr. Principal Research Manager），领导一支由研究员和工程师组成的团队，聚焦人工智能领域的前沿探索。其研究方向涵盖交互式数据分析机器人、自动数据理解、程序自动生成、大规模在线系统智能诊断与运维等，多项研究成果已应用于微软的各大产品之中，实现了从学术研究到产业落地的有效转化。
楼建光博士于中国科学院自动化研究所获得博士学位，师从谭铁牛院士，在机器学习、自然语言处理、人工智能以及面向软件系统的AI等领域拥有约20年的研究与应用经验，并在顶级学术会议上发表研究论文超过150篇。

从《构建之法》到《智能之门》——面向AI Agent时代

胡晓武

微软（中国）高级软件工程师

内容简介：

这是一场面向软件工程师的技术分享，通过把软件工程与深度学习两个领域做有趣的类比，帮助工程师同时提升工程素养与 AI 素养，深入贯彻软件工程3.0的核心宗旨。

演讲提纲：
1. 认识进化过程：深度学习模型能力进化 vs. 软件能力进化、产品进化、流程进化。
2. 了解反馈模式：深度学习 vs. 软件工程中的反馈模式、软件工程慢反馈、建立软件文档/知识库。
3. 培养思维能力：大模型的思维链 vs. 软件工程中的思维形式、解决问题的思维链与能力评级。
4. 区分知识层次：认知层级、软件工程需要的认知层级、知识难度、认知层级x知识难度。
5. 熟悉架构设计：深度学习中的模型架构vs. 软件工程中的架构模式。
6. 探索应用场景：探索AI在大规模集群应用中的作用，包括规划、建设、维护、异常检测、报警处理、资源调度等。

听众收益：
一套双向映射的认知框架：把熟悉的软件工程概念作为理解深度学习的入口，降低认知门槛。
可落地的 AI 协作方法：知道在需求、原型、开发、测试、文档各环节 AI 能帮到哪一步，以及如何靠 AI 提升软件产品 ROI。
清晰的能力边界判断：理解AI边界，判别模型强弱，避免过度依赖AI，以及如何发挥人类自身优势。
一条个人成长路径：搞懂原理、做中学、愿意投入时间。

微软（中国）高级软件工程师，《智能之门-神经网络与深度学习入门》、《深度学习系统设计-理论与实践》主要作者。

AiDD峰会

K+峰会

联系我们