庞士冠-AiDD研发数字峰会2026-深圳站

议题提交

Agent场景下的推理优化与可观测

2026.11.21 · 深圳湾万丽酒店

演讲嘉宾：庞士冠 · 华为推理优化专家

时长 60分钟

所属论坛：智能体工程与可观测性

庞士冠

华为推理优化专家

内容简介：

在Agent场景中，大模型推理面临长链路、多步决策与工具调用等挑战，对延迟、吞吐与稳定性提出更高要求。推理优化聚焦于动态批处理、KV Cache复用、投机采样与异构调度，以平衡成本与响应速度。同时，Agent行为具有黑盒性与不确定性，可观测性需覆盖链路级Trace、中间思维链、工具调用与异常回放，实现全链路监控与快速定位。二者结合，既保障复杂任务下的高效执行，又提供透明可控的运行视图，是构建高可用、可调试、可进化的Agent系统的关键支撑。

演讲提纲：

1. 推理性能优化：动态批处理、KV Cache、投机解码与资源调度
2.Agent执行可观测：链路追踪、思维链记录与工具调用监控
3.异常诊断与回放：失败定位、中间状态复现与行为审计
4.稳定性与成本控制：SLA保障、弹性扩缩与性价比优化

听众收益：

1.了解大模型推理原理

2.能够掌握一定的agnet与LLM交互过程

2022年硕士毕业加入华为公司，23年初开始从事大模型高效推理和部署优化相关工作，曾参与Pangu-Coder、CodeArts Snap、AI辅助研发等多个项目的推理优化工作，当前作为华为 AI辅助研发推理优化负责人，基于昇腾全栈，设计开发了华为AI辅助内部研发项目的推理平台，每天产出token X万亿，有效支撑公司内部每日千万级调用量。