2026深圳站-智能体评测与进化-AiDD研发数字峰会2026-深圳站

论坛主席：刘名威

博士生导师，“逸仙学者计划”新锐学者。他于2022年在复旦大学获得博士学位，并在2024年完成了复旦大学的博士后研究。他的研究领域聚焦于软件工程（SE）与人工智能（AI）的交叉领域，尤其在AI4SE和SE4AI方面。他的主要研究兴趣在于利用先进的AI技术，如大规模语言模型（LLM）和知识图谱（KG），来解决软件工程中的挑战，并应对AI应用和场景中常见的软件工程和系统工程问题。具体的研究方向包括基于大模型的智能化开发与维护、可信代码大模型、软件开发知识图谱等。在过去的五年中，他在软件工程领域的顶级国际期刊和会议上（如TSE、TOSEM、ICSE、FSE、ASE等）发表了20余篇论文，并荣获了多项奖项，包括IEEE TCSE杰出论文奖（ICSME 2018，CCF-B）和ACM SIGSOFT杰出论文奖（FSE 2023，CCF-A）。

中山大学副教授

智能体评测与进化

本论坛聚焦AI Agent在真实任务中的能力评测，讨论如何建立更可信、更多维度、更可比较的评测体系。论坛将围绕基准集构建、指标设计、对比测试、结果解释、鲁棒性分析、可解释性验证等主题展开，进一步探索在迭代中如何基于评测结果持续改进AI Agent。听众将获得评估智能体能力、判断模型优劣、支撑选型优化的系统方法。

GUI Agent评测实践：静动态结合评测与分析

罗军

支付宝多模态评测负责人

内容简介：

随着多模态大模型的发展，GUI Agent 已经从“看懂界面、执行单步操作”走向“在真实 App 中完成复杂长链路任务”。但现有评测体系仍有明显不足：静态 benchmark 能评原子能力，却很难映射到真实任务表现；动态 benchmark 能看端到端成功率，却难以解释失败到底来自视觉定位、组件理解、动作规划，还是本应主动向用户澄清却没有澄清。与此同时，动态评测普遍依赖人工验收、任务步数偏短、对 Ask/Call User 等协作能力覆盖不足。
本次分享将结合我们在移动端 GUI Agent benchmark 构建中的实践，介绍如何通过“动态任务先构造、静态能力后拆解”的方式，把端到端评测、细粒度诊断和自动化评测真正打通。

演讲提纲：

1.GUI Agent 评测的核心难点
1.1静态 benchmark 与动态 benchmark 各自解决什么问题
1.2为什么只看成功率不够，为什么只做静态能力题也不够
1.3GUI Agent 在真实场景下面临的长链路、动态页面与模糊意图挑战
2.动态-静态一体化评测体系怎么设计
2.1如何从动态任务和 golden trajectory 出发，反推静态诊断任务
2.2Grounding、Perception、Navigation 三类静态能力如何拆解
2.3为什么把 Ask / Call User 纳入正式动作空间
3.工程落地中的关键实践与踩坑
3.1如何设计高保真 sandbox，而不是依赖真实手机和大量人工回放
3.2为什么 final-state-only 不够，如何做 trajectory-based judge
3.3数据构建和评测中的典型问题：不可执行 query、答案泄漏、多路径评测、Ask 机制失真等
4.效果与启发
4.1构建 300 条动态任务、15000 条静态任务、18 个高频场景
4.2动态自动评测与人工一致率达到 85%
4.3静态诊断指标对动态成功率建立高相关，帮助更好地定位模型瓶颈
4.4从结果评估走向过程评估与能力归因，是 GUI Agent 评测的重要方向

听众收益：

1.理解 GUI Agent 评测为什么不能只停留在“任务成功率”或“静态能力题”，建立动态执行、静态诊断和失败归因的一体化视角。
2.获得一套可借鉴的 benchmark 设计方法，包括 top-down 数据构建、trajectory-based judge、Ask 能力评测等关键思路。
3.了解 GUI Agent 自动化评测落地中的工程实践和典型踩坑，为团队构建可规模化的 Agent 评测体系提供参考。

有10多年软件开发及测试经验，2015年加入讯飞教育质量团队，当前主要负责教育BG Agent平台测试以及负责公共技术组，对软硬一体、中台、AI等方向测试有一定的了解研究，并且在研发体系流程建设以及工程效能提升也有一定经验。

面向可观测、可落地的工程手段 ——Agent 持续迭代优化体系
拆解

张元剑

科大讯飞教育测试公共技术组负责人

内容简介：

围绕可观测、可落地的工程手段拆解 Agent 迭代逻辑，对比传统模型评测与智能体实测差异，梳理落地痛点；搭建离线 + 线上联动的自闭环评估体系，打通数据回流链路；构建场景化自动化测试工具，逐步减少人工打分，降低评测成本、提速迭代。结合落地实践总结经验，并展望 Agent 持续进化的工程建设方向。

演讲提纲：

1.从基础模型测评到 Agent 智能体测评：转型核心差异与落地挑战
1.1传统大模型评测 vs Agent 端到端实测的本质差异
1.2Agent 工程落地中遇到的典型现实难题
2.构建离线 + 线上联动的 Agent 自进化评估闭环体系
2.1离线测评底座建设：可控样本、基准集、场景用例验证
2.2线上可观测能力建设：链路埋点、指标采集、异常捕获
2.3闭环飞轮：问题发现→根因归因→样本回流→回归测评，持续迭代
3.从人工打分到自动化 Agent 测试平台建设
3.1人工评估经验沉淀：业务标准、评判规则、案例库资产化
3.2AI 自动评估四大核心支撑能力，降低人工评测依赖
4.落地实践总结与 Agent 持续进化的工程建设展望

听众收益：

1. 如何从0到1开展agent模型测评，agent测评维度。
2. 测评平台的构建。
3. 如何驱动AI自进化

有10多年软件开发及测试经验，2015年加入讯飞教育质量团队，当前主要负责教育BG Agent平台测试以及负责公共技术组，对软硬一体、中台、AI等方向测试有一定的了解研究，并且在研发体系流程建设以及工程效能提升也有一定经验。

面向 SRE Agent 的故障演练与诊断能力评测

方澳阳

香港中文大学（深圳）博士生

内容简介：

本次分享聚焦值班排障与站点可靠性工程智能体（On-call／SRE Agent）的诊断能力评测。结合 OpenRCA、OpenRCA 2.0 及微服务故障传播研究，介绍如何在可控环境中构造贴近生产的故障场景，将日志、指标和调用链组织成可复现的诊断任务，并建立可核验的评测依据。重点讨论故障传播、监控盲区和动态负载如何影响任务难度，以及如何联合衡量根因定位、传播路径还原、证据质量与诊断成本。最后介绍基于变更历史构造复杂故障、利用评测反馈训练诊断智能体等近期探索，为企业开展模型选型、方案比较和持续回归评测提供思路。

演讲提纲：

1. 演练任务设计：将生产排障需求转化为评测任务从告警或业务异常出发，明确 Agent 的诊断目标、可用数据、工具接口和结果格式，形成可以重复执行的排障任务。
2. 故障场景构造：覆盖复杂传播与可观测性盲区通过故障注入与动态负载构造诊断场景，分析跨服务传播、遥测缺失等因素带来的挑战，以及简单测试集可能高估模型能力的原因。
3. 诊断结果验证：联合评估根因、传播路径与证据结合 OpenRCA 与 OpenRCA 2.0，介绍从根因定位到故障传播过程的评测方法，识别根因命中但证据不足、传播关系错误等问题。
4. 模型与 Agent 对比：建立可复现的评测流程对齐数据、工具和预算条件，分别衡量诊断质量、耗时与调用成本，通过失败案例分析定位能力短板，支持方案比较和版本回归。
5. 近期探索：利用评测反馈改进演练与训练介绍基于代码变更历史构造复杂故障、利用评测反馈训练诊断 Agent 的探索，讨论如何持续扩充场景并检验能力变化。

听众收益：

1.获得故障演练的设计框架，明确测试环境、故障场景、遥测数据和评测依据的准备要求。
2.掌握诊断能力的多维评估方法，识别根因误判、传播链缺失和证据不足等典型短板。
3.获得用于模型选型与 Agent 版本回归的评测思路，结合诊断效果、时间和成本判断改进是否有效。

香港中文大学（深圳）计算机科学博士生，研究方向为大模型智能体、软件可靠性与故障根因分析。主要关注 On-call／SRE Agent 的诊断能力评测与训练，是 OpenRCA 2.0 及故障传播感知评测论文的第一作者。研究成果发表于 FSE、ICSE、ASE、ISSTA 等软件工程会议，曾获 ASE 2023 工业挑战赛道杰出论文奖。曾在微软亚洲研究院、字节跳动从事研究实习，开展智能体诊断、可观测性与质量评估工作。

码道评测体系实践：基于全链路可观测和精准化测试的快速竞争力评估闭环

郝毅

华为云 AI工具链测试专家

内容简介：

代码智能体陷入 "用得越多、信得越少" 的困局：效果难量化、能力边界模糊、工程化缺失。本演讲以码道评测体系建设为例，提出全链路可观测 + 精准化测试双闭环，让竞争力可评估、迭代敢提速。
全链路可观测让竞争力看得清：以快、稳、准、省四维定义 ""好的代码智能体""，以单任务 E2E 时长、APR 成功率、代码生成准确率、Token 消耗为黄金指标；垂直领域评测集叠加数据飞轮，消除评测与现网 Gap；建立 LLM 到 Agent 分层门禁，沿合并前、发布前、上线后三段式嵌入流水线；以 Eval-Driven CI 驱动 ""变更→评测→门禁→反馈"" 闭环，叠加漂移检测与成本监控。
精准化测试让迭代有质量兜底：核心是一条三段式分析链路 ——① 服务分析报告：代码→特性映射，静态画像沉淀 8xx 个特性；② 测试覆盖报告：特性→用例映射，5xxx 条存量用例挂载到特性树；③ 影响分析报告：每次提交动态触发，diff→受影响特性→受影响用例，P0/P1/P2 分级给出回归与补测建议。前两段 "建字典"、第三段 "查字典"，字典建一次、每次提交秒级出结果。11 文件 +399/-217 行提交，仅精准运行受影响的 16 条用例。
双闭环互为校验、经数据飞轮自增强，驱动码道竞争力持续提升。

演讲提纲：
1. 困局与命题：代码智能体 "用得越多、信得越少"—— 效果难量化、能力边界模糊、工程化缺失，引出 "全链路可观测 + 精准化测试" 双闭环评估体系
2. 全链路可观测设计：快准稳省四维指标体系与黄金指标、垂直评测集 + 数据飞轮、三段式工程围栏、Eval-Driven CI 自动闭环，四支柱如何互为输入与校验
3. 竞争力对标落地：对标不同Agent 形成快准稳省能力基线与 Gap，量化归因产品改进方向
4. 精准化测试实践：三段式分析链路 —— 服务分析报告（代码→特性）、测试覆盖报告（特性→用例）建字典，影响分析报告（变更→精准用例）查字典；以 JetBrains 插件 MAC 公有云适配为案例，11 文件提交从 5665 条存量用例精准收敛到 16 条，P0/P1/P2 分级回归建议
5. 闭环价值与演进：双闭环如何经数据飞轮自增强、收敛于竞争力持续提升，以及后续扩展方向

听众收益：
1. 一套可直接复用的评测体系框架：快准稳省四维指标与黄金指标定义、垂直评测集 + 数据飞轮构建、三段式工程围栏与 Eval-Driven CI 闭环——带回团队即可对标搭建，不用从零摸索。
2. 一种"建字典、查字典"的精准化测试方法论：三段式分析链路（代码→特性→用例），以真实案例展示 5k条存量用例精准收敛到 16 条，把回归成本从""全量重跑""降到"秒级定向"，让竞争力快速迭代不拖垮质量兜底。
3. 一套竞品竞争力对标打法：如何用统一基线量化不同Agent间的 Gap、归因改进方向，把"产品好不好"从主观感受变成可度量、可追踪、可进 backlog 的竞争力标尺。

2021年博士毕业加入华为，现任CodeArts产品测试部部长，长期深耕 AI 编程助手（码道）质量工程与评测体系建设，主导快准稳省四维效果指标设计、全链路可观测评测平台与精准化测试落地，推动代码智能体效果从 "主观感受" 走向 "可度量、可比较、可追踪"。负责CodeArts码道和CodeArts工具链等多个产品的测试技术、测试组织能力建设工作，多次在AiDD等行业峰会发表公开演讲，参编多个智能化产品评估标准、实践指南。

从失败诊断到技能进化，构建可靠的智能体

胡铭

华东师范大学研究员

内容简介：

随着智能体逐步应用于复杂任务，其能力评测与持续进化成为支撑可靠应用的重要问题。本报告围绕智能体的失败诊断、经验复用与协同进化，探讨如何建立可信的评测方法，理解执行失败及改进效果，并将分散的执行经验转化为可积累、可复用的能力。结合相关研究与实践，介绍多智能体系统的调试评测、技能自进化及多方协同演化思路，讨论智能体在有效性、稳定性、效率与隐私约束下的持续改进路径。

演讲提纲：
1. 智能体的发展与可靠应用挑战
1.1 智能体从单次问答走向复杂任务执行。
1.2 规划、工具调用与多智能体协作带来的能力提升及可靠性挑战。
1.3 能力评测与持续进化之间的关系。
2. 多智能体系统的失败分析与可信评测
2.1 多智能体执行中的典型失败及其传播过程。
2.2 失败复现、诊断与修复面临的困难。
2.3 如何区分有效改进与执行结果的随机变化。
2.4 基于执行过程的评测与针对性改进思路。
2.5 相关研究案例与实验发现。
3. 面向经验复用的智能体技能自进化
3.1 从执行经验中积累可复用能力的必要性。
3.2 现有经验与技能复用方式的特点及局限。
3.3 技能构建、组织、验证与持续更新。
3.4 可执行技能对效率与稳定性的作用。
3.5 相关研究案例与实验发现。
4. 分布式场景下的智能体协同进化
4.1 多方任务与经验分散带来的机遇和挑战。
4.2 隐私约束下的经验共享与技能协同。
4.3 多方技能改进的整合、冲突处理与质量验证。
4.4 持续演化中的版本管理与能力退化控制。
4.5 相关研究案例与实验发现。
5. 智能体评测与持续进化的未来方向
5.1 从任务结果评价走向执行过程与长期能力评价。
5.2 有效性、稳定性、泛化性与资源效率的综合评测。
5.3 评测反馈驱动的技能更新与协同改进。
5.4 面向真实应用的研究问题与发展展望。

听众收益：

1. 理解智能体评测与持续进化的关键挑战，掌握判断能力提升与改进效果的基本思路。
2. 了解失败诊断、经验复用与技能演化的主要方法，为提升智能体的可靠性和执行效率提供参考。
3. 认识多方协同进化的应用价值与实现思路，拓展隐私约束下智能体能力共享与持续优化的视野。

现任华东师范大学青年研究员，博士生导师，国家级青年人才，曾任新加坡南洋理工大学博士后研究员和新加坡管理大学研究科学家。目前在DAC、RTSS、TC、TCAD、ICSE、FSE、ISSTA等高水平学术会议和期刊发表学术论文60余篇，其中以第一/通讯作者身份发表CCF-A类论文26篇，曾获ACM SIGSOFT 杰出论文奖、CCF嵌入式专委会“博士学位论文激励计划”。研究方向包括智能系统、可信软件和可信人工智能。

AiDD峰会

K+峰会

联系我们