AiDD研发数字峰会-北京站

出品人：单虓晗

1.华为 8年，一线研发 → 部门负责人 → 软件工程专家，主导网络操作系统、终端EMUI等千人级研发团队的研发模式&工具的规划设计、落地实施。
2.蚂蚁集团 3年，主导研发数字化、智能化建设（蚂蚁研发洞察体系），主要包括：
•管理辅助：度量产品与指标体系建设；数据驱动业务提效 + DevOps工具链优化
• 研发辅助：AI + 工具链建设，覆盖CI分析、链路排障、研发答疑等场景
3.现就职于字节跳动，任资深研发效能架构师，负责公司级研发效能提升工作，主要包括：
• 效能度量体系的建设与推广（字节 DevMind 体系）
•效能平台与最佳实践的建设与推广
• 重点业务线效能洞察与提升
• AI X 研发提效实践的探索与应用

字节跳动研发效能资深架构师/软件工程、研发效能专家

字节专场：AI助力效能提升实践

都说2023年是“大模型”元年，2024年是“AI Agent”元年，字节跳动自2023年起便积极布局AI在研发效能领域的应用，持续探索AI如何深度赋能软件研发全流程。本专场将系统分享字节在编码、测试、度量等关键方向的阶段性成果与实践经验，聚焦大模型与AI Agent在真实业务场景中的落地路径与提效价值。

需求分级遇瓶颈？智能精准分级测试破局提效新范式

萧海霞

字节跳动资深测试开发专家

内容简介：

1.背景：人效提升大背景下，测试领域AI应用需求智能分级逐渐面临提效瓶颈，基于中高风险需求有效提效诉求日益迫切背景下，需求功能模块拆分精细化测试AI应用应运而生
2.方案：通过构建知识库，通过PRD将需求拆分业务相关模块，通过预测需求功能模块风险程度，高风险模块保持传统测试模式，低风险模块降级免测，从而减少模块测试投入的无效人力，进一步提升测试高效性

演讲提纲：
1. 现状：低风险提效瓶颈，随着业务质量成熟，兜底完善的低风险功能点日益增多。整体中风险QA估分投入占比41.25%，少bug（＜=2）需求QA估分投入估分占比10.5%。中风险需求可降级空间大，且风险可控。
2. 如何对中高风险需求提高测试高效性：中风险降级方案呈现、当前模型效果、模型效果度量指标体系
3. 落地实践：落地应用范式：a）知识库构建 b）需求&缺陷分析 c）业务接入运营范式 d)风险降级兜底
4. 遇到的问题：知识库质量问题？降级风险问题？
5. 推广规模、应用模型效果呈现，业务应用投入收益

听众收益：
1. 当前人效提升进入瓶颈，提效诉求强烈
2. 整理落地推广流程不明确，不知道如何应用
3. 效果不好，问题分析不明确，苦哈哈训练模型，未看清根本问题

近10 年互联网大厂经验（京东 / 滴滴 / 字节），现任字节资深测试开发专家，深耕用户增长营销中台广告投放业务。主导 AI 测试领域工具落地实践，推动低风险需求免测、模块拆分提效等工程化方案，具备从业务场景到技术落地的全链路经验。

从代码守护到智能进化：AI 驱动的单元测试实践

彭国刊

字节跳动技术专家

内容简介：

尽管单元测试被认为是保障代码质量的重要手段，但其高昂的编写、维护成本让许多开发者望而却步。即使在字节跳动有着良好的单测实践规模与文化，而单测成本依然是大家面临的棘手问题。本次将分享如何结合大语言模型技术，有效解决这一难题。从大模型到真正落地到业务，有非常多的挑战，包括提升模型效果、修复优化、性能提升、效果评测及度量、产品化等等。将逐一介绍如何解决这些难题，以及当前取得的业务效果。

演讲提纲：
1.字节跳动单测的现状与挑战
传统单测实践全景：深度剖析字节单测的传统实践模式，展示字节跳动单测实践的规模与复杂度
挑战与痛点：人力成本、质量瓶颈、维护困境等
2.AI 驱动单测实践的技术探索
2.1目标：以 AI 为核心驱动力，大幅降低单测成本，并提升单测质量
2.2难点
-模型效果：模型技术路线及选择、工程优化：上下文工程（Context Engineering）与提示工程（Prompt Engineering）的深度实践、多语言及定制化风格的复杂性
-工程链路：修复技术：编译修复、执行修复的原理与实现；策略优化：函数选择策略、断言裁剪等；性能提升：远程缓存、结果缓存等提速手段，等
2.3产品化：
-代码合入阶段（MR）、与本地编写阶段（IDE）产品化理念与实际演示
-关键指标：采纳率、贡献率等核心产品指标的设计思路
2.4效果评测体系
-设计：构建机器指标（编译通过率、执行成功率）、人工指标（可读性、有效性）的评测体系
-自动化实践：实现评测流程自动化，提升效率与客观性
3.业务落地：核心业务落地过程及效果
4.总结与未来展望

听众收益：
1.了解业界在“单元测试Agent”方向投入最大的团队，半年来的产出成果。深度分享技术、产品建设和踩坑经验。
2.为也希望深度实践AI单元测试的组织提供一套完整的基于AI 的单测实践路线参考。

毕业后就职于腾讯负责 QQ、直播等研发工作，后加入字节跳动，字节单测基建及单测智能化技术负责人。

基于Agent架构的单元测试落地实践

赵亮

字节跳动质量效能专家

内容简介：

在软件开发的生命周期中，自动生成单元测试成为提高代码质量和开发效率的关键技术。本产品基于大模型技术结合深度程序分析，针对字节研发内部需求，实现存量及增量单元测试的自动生成。通过真实业务流量采集、司内单测框架能力和路径提升技术，本产品能有效解决单元测试的用例真实性和覆盖率问题，提升测试用例的生成效率和代码覆盖率。此外，产品还包括断言工程、语法修正技术和效果度量，确保测试的准确性和可靠性，在支持快速迭代的开发流程中，显著提升研发效率和降低迭代周期。

演讲提纲：
1. 现状：介绍当前业务整体历史原因及日常研发当中编写单测对业务效率的影响，经历了一年多的单测生成技术的经验积累及试错重构了智能化的单测生成能力。
2. 目标及挑战：
2.1目标：降低研发编写单测耗时，生成高价值用例，打造智能化更懂用户的单测生成效果。
2.2挑战：
- 数据要求：要求生产的用例数据真实度完全贴合业务语义，同时需要构建出高质量的训练数据提升模型效果。
- 模型生成效果要求：在模型生成效果上对准确率、语义理解以及生成的通过率的要求。
- 跨语言：在保障效果不劣化的情况下实现多语言的快速拓展。
3. 数据质量提升
3.1数据充分度提升
3.2等价类提升思想
3.3模型与程序分析的融合
4. 模型生成效果提升
4.1基于Agent的架构设计
4.2数据工程建设
4.3PE工程及模型微调
4.4 评测工程建设及效果
5. 效果度量及演示
5.1多场景及效果介绍
5.2用例生成演示
6. 总结及规划
6.1 产品总结
6.2后续规划

听众收益：
1.服务端自动化专家：了解单元测试建设的新思路，提升业务单测生成质量和效率，行业间交流，扩展提效工具建设思路。
2.质量智能化专家：拓展研发质量在智能化建设上的思路，挖掘更多智能化在研发质量建设的新方向。

先后在蚂蚁集团余额宝质量技术和研发效能任职、现就职于字节质量保障团队，现任字节质量内建智能化场景技术负责人，曾发表4篇国家技术专利。在质量技术、程序分析以及智能化相关场景的应用上有丰富的项目经验和落地成效。

AI赋能研发效能新度量&新分析

程新

字节跳动效能度量平台Leader

内容简介：

传统研发效能度量面向Number/现象/线索/逐点的度量与分析，尝试从现象窥探本质，但是却很难看见本质，于是只能停留在“工具价值”
大模型时代下的研发效能新度量&新分析：
- 从工具价值升级成咨询价值：不停留于大道理，而是告诉你应该怎么做，例如告诉你技术规划应该关注哪些具体的问题，团队兵力应该往哪里投入roi最高
- 从度量&分析Number升级成度量&分析Value（软件工程，人才密度等）：xx主要在干工程技术优化，涵盖查询引擎提速50%，代码贡献占工程技术优化方向60%，处理了oncall中稳定性问题90%
- 从度量&分析“现象/线索/逐点”升级成度量&分析“全链路&根本问题”

演讲提纲：
1.我们在哪里？研发效能专业BI系统
在企业数字化，数据驱动的历史背景下的产物，有以下特征：
-仅针对企业庞大数据资产中的可被""Number""化的资产进行度量&分析
-在历史条件约束下，构建了大量的研发效能过程、结果指标，尝试通过“现象”去推测本质，告诉你""有没有问题”，但是本质的“问题在哪里，该怎么办”还得依赖于“研发团队自己”
-随着AI时代的快速演进，原本是平台""核心""价值的指标体系正在""失效""
2.往何处走？研发效能专家系统
-从平台工具价值升级成决策咨询价值：不仅指出问题，还能告诉你应该怎么做，例如告诉你技术规划应该关注哪些具体的问题，团队兵力应该往哪里投入roi最高
-从度量&分析Number升级成度量&分析Value：xx主要在干工程技术优化，涵盖查询引擎提速50%，代码贡献占工程技术优化方向60%，处理了oncall中稳定性问题90%
3.怎么走？
-What:：从今往后的研发效能度量与分析，究竟应该发挥怎样的价值？
-How：如何发挥AI能力实现研发效能新度量&分析