论坛主席:邬 超
拥有 20 + 年产研测技术管理经验,作为公司研发测试线 AI 变革主导人,统筹测试技术整体规划与落地实施,搭建智能化质量体系,全面负责产品全生命周期质量保障工作。
OPPO测试技术TMG主任

OPPO专场:从工程到实践-探索智能化交付破局之路

本专场聚焦AI大规模研发模式下的智能化探索。直面新质生产力体系下的业务变革,推动质量保障模式向全链路智能决策体系升级。OPPO 一线技术专家将深度分享业务智能进化能力、智能ROI管控,以及智能质量保障体系的落地经验,探讨智能业务落地的实践路径。
Agent 评测实践:从测试知识构建到可信评测
刘 盾
OPPO 高级算法测试工程师
内容简介:
面向 AI Native 产品中 Agent 能力开放、任务复杂和结果非确定性的特点,探索将测试从传统的“Case 构建”升级为“测试知识构建”。结合实际 Agent 评测实践,围绕测试空间建模、测试集构造、LLM Judge 与统计置信分析,研究如何将用户行为、能力模型、评价标准和测试结果沉淀为可复用、可验证、可持续演进的评测知识,构建更加系统、可信的 Agent 评测方法。        

演讲提纲:
1. 问题与挑战: AI Native 时代 Agent 测试空间难穷举、评价标准难统一、评测结论可信度难保障。
2. 解决思路: 从“测试用例构建”走向“评测知识构建”,围绕“测什么、怎么评、结果是否可信”建立系统化评测方法。
3. 实践方案: 贯通测试集构造、LLM Judge 评价与统计置信分析,构建 Agent 评测知识闭环。
4. 关键技术: 测试空间建模、组合覆盖与分层采样、LLM Judge 校准、置信区间与版本差异检验。
5. 效果与展望: 总结 Agent 自动化评测实践,探索基于 Ontology、知识图谱与 Badcase 反馈的评测知识持续演进。

听众收益:
1.理解 AI Native 时代 Agent 评测的新范式:理解为什么 Agent 测试需要从固定 Test Case / Benchmark 转向能力空间与测试知识构建。
2.掌握测试集构造方法:了解如何从真实用户行为出发,通过能力建模、覆盖分析、组合测试与统计采样构建有效测试集。
3.掌握 LLM Judge 与可信评测方法:了解 Rubric、Golden Set、Judge Calibration、置信区间及统计检验等关键方法。
4.建立评测知识工程视角:理解如何将用户行为、能力模型、评价标准、测试数据和评测结果沉淀为可复用、可演进的评测能力。
拥有 10 年以上软件测试与算法测试经验,深耕 NLP、CV、自动驾驶及大模型应用等领域,曾任职于百度、美团等大型互联网企业及 AI to B 初创公司,具备丰富的 To C 产品与 AI 产品测试实践经验。长期专注于算法效果评测、测试数据构建与智能化测试技术探索,持续推动 AI 测试方法与工程实践落地。
AI Native 质量保障探索与实践:需求影响分析驱动全链路风险闭环
利满雯
OPPO 测试开发工程师
内容简介:
需求影响分析若长期只盯「代码改了什么」,难以相对需求与测试基线持续治理,结论也常止于报告、通知或协作,与后续测试执行和准出所需证据脱节。本演讲聚焦需求影响分析能力:在 AI Native 研发下,以需求边界与交付变更为据,采用基线冻结—影响识别—风险评估—测试建议四阶段方法,结合 AI 辅助理解与建议生成、质量角色复核确认,产出结构化、可执行的评估与测试建议;并通过统一分析服务嵌入转测/发版等流程自动触发与 Web 自助使用。在此基础上,分享团队对风险台账、执行回写与证据准出等后续链路的探索方向,为全链路风险闭环提供能力铺垫。        

演讲提纲:
1. 问题与挑战:交付提速后,实现阶段出现方案期未覆盖的连带影响;人工基于代码变更难以相对需求与测试基线说明新增关注点及如何验。
2. 方法框架:需求驱动四步法:基线冻结—影响识别—风险评估—测试建议;人机协同,AI 辅助理解与建议,质量角色确认范围与结论。
3. 工程化落地:统一分析服务三入口:转测/发版等节点自动触发;Web 工作台/skill支持按需提交,结构化展示评估与测试建议。
4. 探索与展望:建需求级风险台账,按验证策略路由测试执行,结果回写统一风险视图;以风险状态+验证证据支撑准出放行。

听众收益: 
1. 建立「以需求为尺、以变更为证」的需求影响分析思路,掌握基线冻结—影响识别—风险评估—测试建议四阶段方法。
2. 理解 AI Native 研发下 需求影响分析能力 的落地要点:人机协同、可执行的评估与测试建议,以及流程自动触发与 Web/Skill 自助等工程化用法。
3. 了解需求风险台账如何把分析结论转化为可治理的质量资产,并建立 分析—台账—执行回写—证据准出 全链路风险闭环的参考认知。
4. 明确该场景下 AI 适用边界(辅助理解与建议,不替代复核与放行)与建设重点。
深度参与需求影响分析和用例驱动的代码审查专项建设,获得AI探索奖、技术贡献奖、年轻力量奖、知识分享达人。
贯穿研发全生命周期的 AI Native 质量保障体系
吕伟国
OPPO 高级后端工程师
内容简介:
AI 让代码生成提速数倍,验证与质量判断却仍靠人力堆叠——质量事实散落、风险投入平摊、AI 结论不敢用,守在末端的拦截式质量模式必然失效。本主题分享的不止于「用 AI 做测试」,而是把质量保障本身做成一个 AI Native 系统:以风险识别—分层管控—智能执行—质量决策构成四层闭环,需求变更与用户反馈共同为风险定级,风险等级决定测多深、卡多严,Agent 在研发过程中执行拦截,结论签核后回写入口。支撑它的是自下而上的五层技术栈——数据底座、知识中枢、智能内核、可信护栏与进化引擎,让风险提前显形、力气用在刀刃上、结论可举证敢签字。结合 OPPO 产线实践,分享落地成效、人机边界,以及由 Badcase 反馈驱动风险模型与评测知识持续演进、走向全链路质量自治的方向。        

演讲提纲:
1. 问题与挑战:生成提速而验证失速——质量事实散落、风险投入平摊、AI 结论不敢用,末端拦截必然失效。
2. 解决思路:不止于「用 AI 做测试」,而是把质量保障做成 AI Native 系统——风险提前显形、力气用在刀刃上、Agent 跑出结果、结论敢签字。
3. 实践方案:风险识别—分层管控—智能执行—质量决策四层闭环:需求与反馈共同定级,风险定投入,Agent 过程拦截,结论签核并回写。
4. 关键技术:五层技术栈——数据底座(统一语义)、知识中枢(功能树建模)、智能内核(Agent 编排与 Harness)、可信护栏(接地 / 引证 / 权限)、进化引擎(评测与双飞轮)。
5. 效果与展望:总结四层闭环的产线实践,探索 Badcase 反馈驱动风险模型与评测知识持续演进,走向全链路质量自治。

听众收益:
1. 理解 AI Native 时代质量保障的新范式:理解为什么质量从末端拦截走向全链路主动治理,以及风险识别—分层管控—智能执行—质量决策四层闭环的承接与回流逻辑。
2. 掌握风险定级与分层管控的落地方法:了解需求变更与用户反馈如何共同定级,以及风险等级如何决定验证范围、测试深度与门禁强度。
3. 掌握 Agent 智能执行与可信护栏的关键技术:了解功能树知识建模、Agent 编排与 Harness 意图驱动、语义接地 / 证据引用 / 权限管控等关键方法。
4. 建立质量决策与自进化的评估视角:了解如何把执行证据与 Badcase 反馈转化为可签核结论与可演进的风险模型,并明确 AI、规则与人的职责边界。
OPPO 认证讲师。拥有十年工程化能力建设实践与多年系统架构设计经验,长期在一线主导从工具链到平台体系的端到端落地。近年深耕 AI 智能化、AI 应用与 AI 架构,推动 AI 从单点工具走向贯穿研发全链路的体系化能力,相关实践获评公司级优秀 AI 案例并在公司内多次分享。擅长把复杂体系实现成可复用的方法与路径。
多层级、自演进的知识工程体系
张兆鑫
OPPO 高级测试开发工程师
内容简介:
面向业务加速下知识「散、慢、旧」、难以支撑智能体与自动化规模化交付的现实问题,介绍一套多层级、自演进的知识工程体系。将说明如何把术语、规则、路径、代码和缺陷分层组织起来,并在测试设计、执行、分析等流程中按需装配,让知识库从「查文档」走向「懂场景」;同时介绍如何通过知识缺口发现、自动更新与反馈回流,使知识越用越准、越全,再从完整性、一致性、可用性与业务增益持续检验体系是否真正支撑交付,最终实现效率与质量的双提升。        

演讲提纲:
1.背景与挑战:业务加速与知识「散、慢、旧」并存,制约智能体与自动化的规模化交付。
2.知识工程体系的构建:将术语、规则、路径、代码和缺陷等知识分层组织。
3.知识库的应用:从「查文档」到「懂场景」——在测试设计、执行、分析等流程中实现按需装配。
4.知识的自进化:通过知识缺口发现、自动更新与反馈回流持续演进,让知识飞轮起来,越用越准、越全。
5.知识工程的效果评测:从知识本身的完整性与一致性,到实际使用中的可用性与业务增益,持续检验体系是否真正支撑交付。
6.实践效果:效率与质量双提升。

听众收益:
1. 理清知识从散落到成体系的路径:看清术语、规则、路径、代码与缺陷如何分层组织,形成可引用、可追溯的知识底座,破解「散、慢、旧」对规模化交付的制约。
2. 学会让知识进入真实作业流程:了解知识库如何在测试设计、执行、分析中按场景装配,从被动查文档转为支撑智能体与自动化的上下文能力。
3. 掌握知识持续变好的方法与判断标准:通过缺口发现、自动更新与反馈回流让知识飞轮转起来,并据此判断体系是否真正带来效率与质量的提升。
OPPO、vivo认证讲师,百度金牌内训师、BIT特邀导师。深耕系统架构、AI原生应用研发、智能化测试、DevOps流程与研发效能提升领域多年,兼具架构实战能力与体系化授课输出经验。
京ICP备2020039808号-4 京公网安备11011202100922号