通用Agent评测探索与实践｜王啸-AiDD深圳站2026

议题提交

通用Agent评测探索与实践

2026.11.20 · 深圳湾万丽酒店

演讲嘉宾：王啸· 美团基础研发Agent平台部CatPaw评测负责人

时长 60分钟

所属论坛：智能体评测与进化

王啸

美团基础研发Agent平台部CatPaw评测负责人

内容简介：

随着大模型Agent能力快速演进，如何科学评估其真实水平成为行业焦点。本次分享围绕"通用Agent评测探索与实践"展开，从评测定义出发，系统梳理Agent核心能力方向与关键指标体系，阐述自建评测集的必要性与设计思路；随后聚焦长程任务评测的挑战与解法，深入探讨Harness评测的对比优化，以及Harness与模型联合优化的闭环实践；最后分享Advisor技术评测的前沿探索。听众将获得通用Agent评测业界概览、Harness能力拆解与关键评测洞察，以及Advisor技术评测的实战经验。

演讲提纲：
1.什么是agent评测；
2.agent评测主要包含哪些能力方向&关键评测指标；
3.自建评测集；
4.长程任务评测；
5.harness评测对比与优化；
6.harness&模型联合优化；
7.advisor技术评测。

听众收益：
1.通用Agent评测业界概览
2.针对Harness能力的拆解与关键评测洞察
3.Advisor技术评测

美团基础研发Agent平台部CatPaw系列产品评测负责人，先后在华为、蚂蚁、美团从事测试领域相关工作，在大模型评测，智能体评测，测试领域智能体构建等领域有超3年项目经验。