AiDD研发数字峰会

议题提交

出品人：马国俊

负责字节跳动用户体验中台、抖音生态治理、抖音质效实验室、伽利略推荐系统等多方向的智能化建设，技术上主要涉及NLP、多模态、LLM/mLLM、数据挖掘与服务工程等领域，带领团队连续获得字节跳动最佳技术贡献团队奖，个人发明专利50多项。

抖音集团 AI应用与创新部门技术负责人

上下文工程

聚焦大模型输入上下文的有效组织与优化技术，探讨上下文压缩、关键信息提取、记忆增强与提示结构设计等方法。构建高效、稳定、可复用的上下文管理机制，提升大模型在复杂任务中的表现一致性。

解锁上下文工程密码：RAG 如何重塑数据新生态

黄耀雄

字节跳动算法技术专家

内容简介：

大模型应用范式主要包含Prompt工程、SFT、RAG和Agents等形式。其中，RAG可以快速实现大模型在新业务场景的适配落地。此外，相较于SFT，RAG的训练成本更低，并且他还可以根据需要与Prompt 工程、SFT等方法进行结合调优，是大模型应用范式中的一个关键能力点，但RAG在使用过程中会存在知识库质量敏感、系统局部最优情况，对此我们引入RAG联合微调方法，提升RAG的整体效果，目前已在部门内部获得一定收益。

演讲提纲：
1. 目前大模型的发展现状以及应用范式
1.1大模型演进过程
1.2大模型应用范式
2. 国内外RAG现状分析
3. 目前RAG存在问题
3.1模块独立优化会陷入系统局部最优
3.2数据质量敏感
4. 如何重塑RAG数据新生态
4.1模块间联合微调方案
- 最大似然估计训练RAG辅助的LLM模型
- 基于强化微调的多组件联合微调
4.2数据质量评估手段
- 基于QA的知识冲突检测
- 基于语义的知识冗余检测
4.3应用示例
- 联合微调RAG在需求智能分级的应用
5. 思考与展望

听众收益：
1. 帮助听众了解大模型时代的发展现状以及应用范式
2. 增长听众对RAG架构的理解以及问题的分析
3.了解新颖的RAG联合微调框架

2020年硕士研究生毕业于华南理工大学，曾就职于阿里巴巴达摩院，2022年8月加入字节跳动，目前主要负责团队内NLP大模型算法研究工作，赋能团队相关业务。

AiDD峰会

K+峰会

联系我们