需求驱动的自主收敛测试流水线｜李前国-AiDD深圳站2026

从人工卡点到自主收敛——需求驱动的智能测试流水线

2026.11.21 · 深圳湾万丽酒店

演讲嘉宾：李前国 · 荣耀终端测试架构师

时长 60分钟

所属论坛：Testing Agent Harness与测试平台

李前国

荣耀终端测试架构师

内容简介：

端侧 App 的智能测试大多停在「AI 帮我写脚本」。我们基于 Claude Code 构建了一条需求驱动的端侧测试流水线：输入需求编号与 APK 版本，经需求分析、用例生成、脚本生成、执行、覆盖率度量五个域，以需求维度代码覆盖率 ≥85% 为收敛目标自主循环。
架构上是 7 个 Skill 组成的联邦：编排层 + 5 个领域子 Skill + mock 造数旁路，每个域出口设质量卡点——人工卡点管方向，自动卡点管质量（语法/收集/smoke 三件套、失败三分类、覆盖率判据），跨域状态用单一 state.json 支撑断点续跑。
关键设计有三：一是卡点分级，人工只出现在方向判断处，且循环补用例时豁免人工卡点并记录审计链；二是失败分类闸门，环境类失败才允许自动重试，断言类失败直接报 Bug，防止自愈机制吞掉缺陷；三是证据化完成判定，用覆盖率提升 ≥5% 才允许继续循环的硬判据，证明补充用例与覆盖增长的真实对应。
落地效果：多个需求全流程闭环，页面直达采用页面树查询 + 深链方案实测可达率 94.6%，覆盖率刷新链路典型延迟 5-10 分钟。适合正在搭建 Agent 测试流水线的工程团队。

演讲提纲：
1.为什么「AI 写脚本」不够 8min 单 Agent 跑 10 步闭环的跨阶段复利事故；从 Demo 到流水线的三个断层（方向、质量、收敛）；本议题核心主张：AI 写脚本只是起点，自主收敛才是终点
2.架构与全流程走查 12min 7-Skill 联邦拓扑（编排层只调度不分析、state.json 断点续跑、gated/auto 双模式）；用一个真实需求从输入到覆盖率达标的完整回放串起架构：五卡点状态演进、每域产物落盘
3.卡点分级：哪里留人、哪里全自动 10min 五卡点分级表（人工×1 / 半自动×1 / 全自动×3）；循环回跳免人工卡点 + loop_added_cases 审计；「自动卡点任何模式不可跳过」的边界
4.失败分类闸门与 mock 造数旁路 10min 三分类决策表（环境→重试 / 脚本→修脚本 / 缺陷→报单，防自愈吞 Bug）；响应满足性三维判定（分支可达/字段非空/异常可触发）→ 轻路径（本地响应规则字段级替换）优先、重路径（整链路配桩回放）兜底；为什么改环境与改用例必须严格区分
5.覆盖率收敛循环与证据化完成判定 10min 采集→云侧计算→循环控制（85%/60%/3轮/+5%/停滞2轮终止）；三层证据链（静态命名链/动态审计链/闭环收敛验证）；如实讲缺口：逐用例↔逐方法正向归因不存在；结尾迁移建议：哪些可迁移、哪些强绑定端侧
Q&A 5min

听众收益：
正在或计划用 AI Agent 搭建测试流水线的测试开发/测试平台工程师；关心「AI 测试结果可不可信」的质量负责人。
一张卡点分级决策表（拿走即用）：五个质量门禁哪些必须留人工、哪些可全自动、循环回跳时哪些可豁免——以及豁免时的审计方案；避开「全自动 = 全去掉人工卡点」的坑，方向性错误只有人工能拦
一套失败分类闸门规则：环境/脚本/产品缺陷三分类如何决定「重试 vs 修脚本 vs 报 Bug」；避开最危险的坑——AI 流水线把真 Bug 当环境噪声自愈吞掉
一组覆盖率收敛控制参数（可直接抄）：目标 85% / 底线 60% / 上限 3 轮 / 每轮提升 ≥5% / 停滞 2 轮终止；以及「提升 ≥5% 才允许继续循环」这个硬判据为什么是防自欺的关键
一次完整的踩坑复盘：单 Agent 跑 10 步闭环为什么会跨阶段复利出错、错误到执行期才暴露的返工代价、联邦化拆分后错误如何被隔离在域内——省掉你自己踩一遍的时间

测试架构师与研发效能架构师，10+年开发与测试经验，在端云协同测试与AI测试领域有丰富记录。长期深耕互联网业务交付一线，持续探索规模化快速交付下质量与效率的工程化平衡，现专注以AI 驱动的测试范式的演进。