论坛主席:罗 慧
20年系统测试、质量管理、测试开发团队管理经验,先后负责过QQ秀、QQ会员、QQ音乐、电商、腾讯乘车码、区块链、证券、微信支付等业务的质量保障管理工作,涉及互联网、金融等多个领域。在业务高可用、资金安全、合规、效能建设、AI工作流套件及AI用例自动生成上有丰富的体系化实践经验。
腾讯 质量管理通道委员/资深质量专家

Harness驱动的质量闭环

本论坛聚焦通过Harness构建AI Agent可控执行框架,解决自主运行带来的安全、合规与稳定性问题。论坛将讨论沙箱隔离、质量门禁、知识注入、反馈回路、风险约束、持续治理等主题,强调如何让Agent在边界内输出高质量的代码、测试用例等,并保留可审计性。听众将理解如何搭建“人定目标、Agent执行、系统把关”的质量闭环。
AI时代,速度背后它驱动的质量可信么?
李 丽
腾讯 支付平台研发部质量团队负责人
内容简介:
AI生成测试用例已不是技术难题,但在资金场景下,"错一笔即事故"的零容忍特性,使得核心问题变为:AI的结果,敢不敢用来做放行决策?
本次分享将介绍一套从"能用"到"可信"的完整方法论——以L1-L4资金红线模型定义AI的能力边界,以"AI自测 + 资金门控"双阶段防线构建可信验证体系,并通过业务语义绑定、万级用例AI辅助迁移、支付规则端到端门控等真实实践,展示从模型设计到工程落地的关键决策。最终探讨:当AI重塑研发效率,质量工程师到底在守护什么。

演讲提纲:
1.命题:AI时代,速度背后它驱动的质量可信么?
AI生成用例已不是难题,难题是"敢不敢用AI的结果做放行决策"
资金场景的特殊性:错一笔 = 资损事故,不是bug是事件
2.模型:从"测什么"到"凭什么信"——L1-L4资金红线模型
四层约束结构:动帐类型→资金要求→测试要求→测试目标
核心思想:AI能力边界由领域知识约束定义,不是模型能力定义
3.体系:两阶段可信防线的设计
Phase1 AI自测:快速反馈,降低开发成本
Phase2 资金门控:自测后的强制校验,双门控(状态机+业务规则)
设计原则:自测解决"有没有测",门控解决"测得够不够"
4.实践:从模型到工程的关键决策
规则声明用业务语义绑定,不绑代码结构——降维护成本
万级用例AI辅助迁移中的人机分工边界
一个真实案例:支付流水号规则的端到端门控落地
6.思考:质量工程的下一个命题
AI不会让测试消失,但会重新定义"测试工程师在守护什么"
从经验驱动到知识工程:让领域安全规则可编码、可传承、可度量
  

听众收益:
1.拿到一个可复用的框架 —— L1-L4四层约束模型,可直接迁移到你的业务场景,用于定义AI生成内容的可信边界,尤其适用于资金、风控等高敏感领域。
2.看清人机协作的分工线 —— 通过万级用例迁移和支付规则门控两个真实案例,理解在AI辅助研发中,哪些环节交给AI提速、哪些环节必须人来兜底的实操判断标准。
3.获得质量工程转型的新视角 —— 从"经验驱动"到"知识工程",理解如何将领域安全规则编码为可传承、可度量的工程资产,而非依赖个人经验口口相传。
  

腾讯支付平台研发部质量团队负责人,负责微信支付资金中台端的质量保障工作。2010年毕业于武汉大学,深耕支付领域质量工程16年。
长期聚焦资金安全与测试体系建设,主导设计了资金红线约束模型及"AI自测 + 资金门控"双阶段可信防线,将领域安全知识体系化编码为AI的能力边界,推动AI从"能生成用例"迈向"敢用于放行决策"的可信跃迁。当前致力于以知识工程思路重塑质量基础设施,探索AI时代质量工程师角色的重新定义。

AI Native 质量工程新范式:从“集中式管控”到“开发者自治
陈军成
阿里巴巴 技术应用开发专家
内容简介:
AI 正加快代码生产,却也放大技术债、隐蔽缺陷与验证滞后。本次分享围绕“谁变更、谁验证、谁负责”,阐述从集中式管控走向开发者自治的质量工程新范式;结合分层测试与存量守护、增量验证双循环,解析安全准入、流量隔离、跨应用知识图谱、覆盖归因与自修正等关键机制,说明如何让 AI 生成的验证结果可信、过程可控、资产可持续沉淀,构建“AI 提案、平台校验、人工决策”的人机共治闭环。        

演讲提纲:
1. 背景与挑战:AI 编码提速,为什么质量治理必须重构?
1.1代码生产提速后的风险变化:技术债、隐蔽缺陷和依赖复杂度累积,人工审查与验证难以同步扩张。
1.2核心矛盾:代码增长速度超过人工理解与验证速度,仅增加用例数量或依赖发布前集中验收,难以解决验证滞后。
1.3测试资源与职责变化:岗位或投入减少不等于风险消失。讨论如何让质量责任随代码变更前移,而不是把风险留给发布环节。
2. 质量治理新范式:从集中式管控到有边界的开发者自治
2.1重划责任边界:“谁变更、谁验证、谁负责”。开发者承担日常验证与问题修复,平台提供规则、安全边界和基础能力,质量人员聚焦风险策略与资产治理。
2.2验证融入研发过程:在编码时快速反馈,在联调时验证业务链路,在构建与发布时执行风险准入,减少问题发现与修复之间的距离。
2.3自治不等于放任:统一规则与可追溯证据仍然必要;AI 负责提出和执行验证方案,平台约束操作,高风险事项由人工决策。
3. 分层测试与双循环:既守住存量,也验证增量
3.1分层职责:编码层提供快速原子验证,接口层承载复杂业务场景与跨应用链路,页面和客户端聚焦端侧交互;明确各层边界,避免重复建设。本次重点展开服务端与接口层。
3.2存量守护循环:维护核心业务的稳定回归基线,持续识别失效用例、数据漂移与断言不足,使存量资产保持可执行、可信赖。
3.3增量验证循环:围绕代码变化识别风险、生成并调试新用例;验证通过后经过评审和分级进入正式资产库,反哺后续回归,形成双飞轮。
4. 关键平台能力:让 AI 验证安全、精准、可信并可持续
4.1安全准入与流量隔离:通过读写分级、测试域校验和 Fail-Close(校验失败即拒绝执行)明确操作边界;结合流量染色与动态 Mock 隔离测试影响,让复杂数据构造与链路验证可控、可审计、可追溯。
4.2知识图谱与影响分析:连接代码、接口、数据与消息,识别跨应用的上下游依赖;将“改了哪里”转化为“可能影响什么、需要验证哪些场景”,为精准选测和风险分级提供依据。
4.3覆盖归因与自修正:结合流量染色、行级覆盖和断言结果,区分“执行了代码”与“验证了业务行为”,识别假覆盖;由 AI 在授权边界内调整参数、构造数据或注入 Mock,形成诊断、修正、重验闭环,而不是反复盲试。
4.4资产沉淀与双飞轮:建立生成、调试、评审、分级与入库机制,避免把临时验证直接当作正式资产;让增量用例补齐存量风险,让回归反馈推动用例、领域知识与规则持续优化。
4.5变更卡口与闭环治理:在构建、发布和上线前按变更风险调度用例;报告说明已验证范围、失败原因与剩余风险,驱动缺陷修复、用例优化和覆盖补齐,避免把“执行通过”直接等同于“可以放行”。
4.6串联讲解示例:以一次涉及跨应用调用与异步消息的业务规则变更为示例,串联影响识别、权限与测试域校验、用例生成执行、覆盖归因修正、卡口报告与人工决策、资产沉淀,展示完整验证路径。
5. 落地与演进:从局部试点走向人机共治
5.1分阶段落地:从边界清晰、风险可控的高价值场景试点,先建立安全底座与可信回归基线,再引入增量生成、精准选测和自修正。
5.2平台与业务协同:平台维护通用能力和安全规则,业务补充领域知识与关键断言,质量人员维护风险策略;共同治理测试资产,保留人工判断与责任边界。
5.3以价值而非数量衡量:关注风险发现、有效验证、反馈时效与资产复用,警惕用例数量和覆盖率的表面增长;建立“AI 提案、平台校验、人工决策、数据沉淀、持续优化”的人机共治体系。

听众收益:
1. 获得可迁移的质量治理框架:理解从集中式管控转向开发者自治的适用边界,明确开发者、平台与质量人员的职责,能够将“谁变更、谁验证、谁负责”融入现有研发流程,而非简单转移工作或削弱管控。
2. 掌握判断 AI 验证是否可信的关键方法:理解安全准入、流量隔离、影响分析、覆盖归因与自修正如何协同,识别“用例通过但未验证关键行为”的假覆盖,建立操作可控、证据可追溯的验证思路。
3. 形成从试点到持续演进的落地路径:借鉴分层测试与存量守护、增量验证双循环,设计用例评审入库、风险选测和变更卡口的接入顺序,以风险发现、有效验证和资产复用衡量价值,避免只追求用例数量增长。



2014年加入阿里巴巴,先后在数字娱乐事业群、人工智能实验室、优酷、1688等部门从事质量保障与研发效能工作。长期关注复杂业务场景下的质量治理、自动化测试与研发流程优化。当前聚焦 AI Native 质量工程,探索以平台治理支撑开发者自治,将 AI 能力融入编码、联调和发布过程,在安全边界内实现可信验证与测试资产持续沉淀,推动研发效率与质量稳定性的协同提升。
AI Agent 受控运行与质量内建:
大型软件企业的 E2E Agent team 可信落地实践
刘洪旭
中兴通讯 有线研究院AI教练
内容简介:
AI 提效存在张力:放任AI自主则导致错误传导、质量难以保障;逐环节人工确认又削弱自主性,回退传统手工模式。 本议题重点讨论如何在 AI 受控、质量内建前提下,以 Agent Harness 构建总控编排、管理管控、角色执行三类智能体协同提效: 1、通过架构解耦与逆向工程,厘清影响面、沉淀可复用组件,扩大放权; 2、知识资产持续运营,经挖掘飞轮进化,防范过时知识风险; 3、事前准入、事中评审、事后 DOD 加审计溯源,加强质量内建。 4、按需求分类放权,平衡自主与可靠,使提效可落地可审计。        

演讲提纲:
1. 背景与问题:介绍AI 重塑软件研发流程的探索历程。识别"放任自主"与"过度管控""两类做法的局限性。
2. 核心理念:以AI受控运行和质量内建为前提,通过分类放权在自主性与质量之间取得平衡。
3. 落地机制:以 Agent Harness 承载架构解耦、规则约束、知识注入、质量护栏与审计服务,替代人工把关,由多智能体在受控边界内承接重复工作,形成人机分工协同制度。
4. 实践与展望:端到端工程化落地路径、组织与能力建设,以及当前持续探索的演进方向。

听众收益:
1. 建立"自主与质量平衡"的判断框架:理解质量是提效前提、管控不能靠人盯,识别放任自主与过度管控两类失败模式。
2. 掌握分类放权的机制设计:理解 Agent Harness 承载架构、知识、质量护栏与留痕审计的机制,替代人工盯守,按需求复杂度差异化放权,同时保住自主性与质量。
3. 借鉴 Agent team 可信落地经验:自动化质量卡点、全链路留痕审计、组织信任建设的具体做法,以及落地阻力的化解路径。

中兴通讯有线研究院敏捷教练、AI 研发提效负责人。近两年来深耕 AI 技术在软件研发流程的落地应用,重点聚焦研发流程端到端的提效提质突破。主导公司内部多项 AI 研发提效核心课题,实践成果已成功横向推广至多个业务单位并落地见效。
从告警到证明:Code Security Harness——超大规模代码仓的
安全智能体工程实践
周迪之
安势信息CTO
内容简介:
本演讲分享一条区别于"规则扫描增强"与"纯大模型问答"的第三条路线:以 Harness 为工程核心的代码安全智能体(Code Security Harness)。在超大规模代码仓中,我们让大模型负责语义理解与任务规划,让符号执行、静态分析等确定性工具负责路径可达性证明与漏洞验证,二者通过"假设—验证"闭环协同:Agent 先基于分层代码地图完成威胁建模、提出攻击路径假设,再调度确定性分析自动构造 PoC、验证可达性,把传统扫描的"疑似告警"升级为"可复现、可证明"的结论,并自动生成与回归验证修复补丁。演讲将拆解四项我们自己的工程实践:面向超大规模仓的分层代码地图与增量上下文工程、神经-符号双引擎编排、假设驱动的漏洞验证闭环,以及覆盖召回率/误报率/可验证率的安全 Agent 评测体系与 Token-算力调度策略,最后分享从 PoC 走向规模化生产的真实指标、踩坑与能力边界。

演讲提纲:
1.范式之辨:规则扫描与纯 LLM 方案在超大规模代码仓各自的天花板——为什么代码安全 Agent 的核心竞争力在 Harness 工程,而不在模型本身。
2.神经-符号双引擎(特有方法一):LLM 负责语义理解与任务规划、符号执行/静态分析负责确定性证明的接口契约、任务分工、结果仲裁与失败回退机制。
3.超大规模仓上下文工程(特有方法二):仓库—模块—函数—调用链四层代码地图、代码变更触发的增量分析、上下文按需装配与 Token 预算调度,如何把"喂不下的仓库"变成"可导航的地图"。
4.假设—验证闭环(特有方法三):从威胁建模、攻击路径假设,到自动构造 PoC、可达性证明、风险研判,再到修复补丁生成与测试回归的端到端闭环,如何用确定性验证系统性消除误报。
5.评测驱动规模化落地:基于历史漏洞回归集的安全 Agent 评测基准(召回率、误报率、可验证率、修复正确率)、人机协同研判模式,以及生产环境的真实数据、典型失败案例与当前能力边界。

听众收益:
1.掌握一套可复用的神经-符号 Harness 架构:明确代码安全链路中哪些环节该交给 LLM、哪些必须交给确定性工具,避免"All in LLM"的工程陷阱。
2.获得超大规模代码仓上下文工程、Token-算力成本控制与 Agent 评测的具体方法和指标口径,可直接对照自身场景落地。
3.了解安全 Agent 从 PoC 到生产的真实路径:自动验证如何消除误报、人机如何协同研判、哪些环节今天仍必须人工兜底。

安势信息CTO,负责公司新一代Code Intelligence Agent产品研发、公司研发团队AI转型。计算机科学博士学位,曾在华为、Synopsys、Nokia等大厂担任技术专家、Technical Leader等高级技术职位,有丰富的软件工程管理和实践经验

京ICP备2020039808号-4 京公网安备11011202100922号