Agent持续迭代优化与评测闭环｜张元剑-AiDD深圳站2026

面向可观测、可落地的工程手段
——Agent 持续迭代优化体系拆解

2026.11.21 · 深圳湾万丽酒店

演讲嘉宾：张元剑 · 科大讯飞教育测试公共技术组负责人

时长 60分钟

所属论坛：智能体评测与进化

张元剑

科大讯飞教育测试公共技术组负责人

内容简介：

围绕可观测、可落地的工程手段拆解 Agent 迭代逻辑，对比传统模型评测与智能体实测差异，梳理落地痛点；搭建离线 + 线上联动的自闭环评估体系，打通数据回流链路；构建场景化自动化测试工具，逐步减少人工打分，降低评测成本、提速迭代。结合落地实践总结经验，并展望 Agent 持续进化的工程建设方向。

演讲提纲：

1.从基础模型测评到 Agent 智能体测评：转型核心差异与落地挑战
1.1传统大模型评测 vs Agent 端到端实测的本质差异
1.2Agent 工程落地中遇到的典型现实难题
2.构建离线 + 线上联动的 Agent 自进化评估闭环体系
2.1离线测评底座建设：可控样本、基准集、场景用例验证
2.2线上可观测能力建设：链路埋点、指标采集、异常捕获
2.3闭环飞轮：问题发现→根因归因→样本回流→回归测评，持续迭代
3.从人工打分到自动化 Agent 测试平台建设
3.1人工评估经验沉淀：业务标准、评判规则、案例库资产化
3.2AI 自动评估四大核心支撑能力，降低人工评测依赖
4.落地实践总结与 Agent 持续进化的工程建设展望

听众收益：

1. 如何从0到1开展agent模型测评，agent测评维度。
2. 测评平台的构建。
3. 如何驱动AI自进化

有10多年软件开发及测试经验，2015年加入讯飞教育质量团队，当前主要负责教育BG Agent平台测试以及负责公共技术组，对软硬一体、中台、AI等方向测试有一定的了解研究，并且在研发体系流程建设以及工程效能提升也有一定经验。