AiDD研发数字峰会

论坛主席：郑丽君

美团高级技术专家

15年以上测试技术研究经历，10年以上质量技术管理经验。带领团队在测试数字化及工具化、测试效能与度量洞察、AI测试工具搭建与应用等方面持续探索新能力，在以上领域具有多个典型实践项目案例。

大模型和AI应用评测

本论坛旨在深入探讨人工智能和大型语言模型（LLM）的性能评估方法。涵盖模型基准测试、评估指标、测试工具和框架、结果解释、模型比较、可解释性和透明度等关键主题。通过分享最新的评测技术和策略，致力于帮助参与者理解AI和LLM的性能，推动评估标准的制定和评测技术的进步。

Agent 自进化：企业级智能体全生命周期进化飞轮实践

夏明

阿里云高级产品专家

内容简介：

当企业级智能体从实验原型走向生产环境，真正的挑战才刚刚开始。当前大量 Agent 处于"裸奔"状态——没有可观测性，没有评估体系，没有优化闭环。这与 2010 年代微服务爆发初期的困境如出一辙，但 Agent 的非确定性行为使挑战更加严峻。本次分享将从行业实践出发，深入剖析企业级智能体面临的可观测性、评估体系、优化闭环三大空白，系统阐述"观测→评估→优化"三层进化飞轮的方法论与工程实践，并结合真实案例展示如何通过数据驱动的方式让智能体具备自我感知、自我评估、自我优化的持续进化能力，帮助企业构建从 Demo 到生产级的 Agent 工程体系

演讲提纲：
1. 企业级 Agent 运行的核心痛点与解题思路
2. Agent 全栈数据无侵入采集，性能/成本/异常全链路追踪
3. Agentic Judge 驱动真实效果评估，用实验替代人工抽检
4. 上下文智能调优与自主进化双路径，驱动智能体越用越聪明

听众收益：
1. 掌握"观测→评估→优化"三层进化飞轮的方法论，获得可直接落地的实操路径
2. 获得评估器质量工程、数据集自动化构建、CI/CD 质量门禁等关键环节的最佳实践
3. 建立"Agent 自进化"的思维框架，思考如何让智能体从被动运维走向主动进化

阿里云高级产品专家，应用实时监控服务 ARMS 产品前研发负责人，现任 Agent 观测与优化 AgentLoop 产品负责人。

Agent-as-a-Judge 驱动的 AI 评测中台实践

罗钦玲

美团技术专家

内容简介：

大模型时代，被评测产物正从「传统排序列表等」演进为「多轮对话结果」，再到「任务Agent」。评测对象更开放、链路更长、维度更杂，单靠传统规则或纯 LLM-as-a-Judge 的「看文本打分」，已难以覆盖复杂评测诉求。本次分享 Agent-as-a-Judge 通用评测中台实践：Planner→Executor→Summary 贯通规划、评判与总结，调度 code/LLM/Agent，以工具取证、多轮追问增强评判能力，统一应对排序列表、离线数据、Chat、Agent等多类数据类型；对象、维度、评判逻辑配置化解耦，新业务核心关注Rubric 质量，助力业务迭代质效。

演讲提纲：
1. 背景：被评对象从列表到 Chat 到 Agent 日益多样，接入成本需持续降低，且Agent-as-a-Judge 能力演进，通用、灵活、强大的评测中台建设诉求出现。
2. 中台架构：Agent-as-a-Judge 驱动的通用设计，配置化解耦、低成本接入。
3. 关键流程：规划 → 调度 → 评判 → 聚合，形成业务迭代闭环。
4. 实践：案例与踩坑经验。
5. 展望：评测 Agent自进化Loop优化；探索质量、效率、成本的优化边界

听众收益：
1. 理解 Agent-as-a-Judge 的价值边界：与 LLM-as-a-Judge 相比，优劣势分别是什么
2. 掌握通用评测中台的设计思路：学习对象、维度、评判逻辑配置化解耦，以及 Planner→Executor→Summary 流水线，降低新业务接入成本。
3. 获得可落地的实践参考：借鉴实践案例，了解从「黑盒打分」到「白盒诊断」的评测闭环建设路径与常见踩坑。

先后就职于百度、美团，多年搜索推荐领域的算法效果质量保障经验，在传统时代的评测到Agent时代的评测浪潮中多次探索和实践。

AiDD峰会

K+峰会

联系我们