码道评测体系实践｜郝毅-AiDD深圳站2026

议题提交

码道评测体系实践：
基于全链路可观测和精准化测试的快速竞争力评估闭环

2026.11.20 · 深圳湾万丽酒店

演讲嘉宾：郝毅· 华为云 AI工具链测试专家

时长 60分钟

所属论坛：智能体评测与进化

郝毅

华为云 AI工具链测试专家

内容简介：

代码智能体陷入 "用得越多、信得越少" 的困局：效果难量化、能力边界模糊、工程化缺失。本演讲以码道评测体系建设为例，提出全链路可观测 + 精准化测试双闭环，让竞争力可评估、迭代敢提速。
全链路可观测让竞争力看得清：以快、稳、准、省四维定义 ""好的代码智能体""，以单任务 E2E 时长、APR 成功率、代码生成准确率、Token 消耗为黄金指标；垂直领域评测集叠加数据飞轮，消除评测与现网 Gap；建立 LLM 到 Agent 分层门禁，沿合并前、发布前、上线后三段式嵌入流水线；以 Eval-Driven CI 驱动 ""变更→评测→门禁→反馈"" 闭环，叠加漂移检测与成本监控。已形成对标 Claude Code / Cursor / Trae 的能力基线与 Gap。
精准化测试让迭代有质量兜底：核心是一条三段式分析链路 ——① 服务分析报告：代码→特性映射，静态画像沉淀 8xx 个特性；② 测试覆盖报告：特性→用例映射，5xxx 条存量用例挂载到特性树；③ 影响分析报告：每次提交动态触发，diff→受影响特性→受影响用例，P0/P1/P2 分级给出回归与补测建议。前两段 "建字典"、第三段 "查字典"，字典建一次、每次提交秒级出结果。11 文件 +399/-217 行提交，仅精准运行受影响的 16 条用例。
双闭环互为校验、经数据飞轮自增强，驱动码道竞争力持续提升。

演讲提纲：
1. 困局与命题：代码智能体 "用得越多、信得越少"—— 效果难量化、能力边界模糊、工程化缺失，引出 "全链路可观测 + 精准化测试" 双闭环评估体系
2. 全链路可观测设计：快准稳省四维指标体系与黄金指标、垂直评测集 + 数据飞轮、三段式工程围栏、Eval-Driven CI 自动闭环，四支柱如何互为输入与校验
3. 竞争力对标落地：对标 Claude Code / Cursor / Trae 形成快准稳省能力基线与 Gap，量化归因产品改进方向
4. 精准化测试实践：三段式分析链路 —— 服务分析报告（代码→特性）、测试覆盖报告（特性→用例）建字典，影响分析报告（变更→精准用例）查字典；以 JetBrains 插件 MAC 公有云适配为案例，11 文件提交从 5665 条存量用例精准收敛到 16 条，P0/P1/P2 分级回归建议
5. 闭环价值与演进：双闭环如何经数据飞轮自增强、收敛于竞争力持续提升，以及后续扩展方向

听众收益：
1. 一套可直接复用的评测体系框架：快准稳省四维指标与黄金指标定义、垂直评测集 + 数据飞轮构建、三段式工程围栏与 Eval-Driven CI 闭环——带回团队即可对标搭建，不用从零摸索。
2. 一种"建字典、查字典"的精准化测试方法论：三段式分析链路（代码→特性→用例），以真实案例展示 5k条存量用例精准收敛到 16 条，把回归成本从""全量重跑""降到"秒级定向"，让竞争力快速迭代不拖垮质量兜底。
3. 一套竞品竞争力对标打法：如何用统一基线量化与 Claude Code / Cursor / Trae 的 Gap、归因改进方向，把"产品好不好"从主观感受变成可度量、可追踪、可进 backlog 的竞争力标尺。

2021年博士毕业加入华为，现任CodeArts产品测试部部长，长期深耕 AI 编程助手（码道）质量工程与评测体系建设，主导快准稳省四维效果指标设计、全链路可观测评测平台与精准化测试落地，推动代码智能体效果从 "主观感受" 走向 "可度量、可比较、可追踪"。负责CodeArts码道和CodeArts工具链等多个产品的测试技术、测试组织能力建设工作，多次在AiDD等行业峰会发表公开演讲，参编多个智能化产品评估标准、实践指南。