内容简介:
大语言模型为人工智能发展注入了新的活力,本次分享围绕大语言模型下的数据和知识管理展开,针对大语言模型的基座及领域知识在构建、质量控制、有效性评估等多方面的方案进行探讨,根据多阶段模型性能变化发现数据问题来提升模型迭代速度。并给出小米大模型及数据评估体系和方法。最后基于小米自有业务介绍大语言模型在小米的应用场景,介绍LLM 下检索增强的小米自己的方法;通过本次演讲,希望能够帮助听众更好地了解知识及数据管理在大模型预训练阶段及领域应用中的作用并给出解决方案。
演讲提纲:
1、概述大语言模型下知识和数据管理的重要性
1)海量数据及知识对大语言模型的影响
2 )小米遇到的大模型环境中知识及数据管理的挑战
2、大模型下数据加工及管理的解决方案
1)小米大语言模型中数据及知识挖掘
2)小米数据质量控制提升模型迭代速度
3)小米大模型及数据质量评估的方法
3、大模型在小米领域场景下的应用和方法
1)域数据高效全参微调的小爱问答场景应用方法
2)基于LLM的retrieval-augmented Generation的领域应用
听众受益:
1、了解小米大语言模型数据知识管理遇到的问题及解决方案
2、了解小米知识及数据管理提升模型迭代速度的方法
3、了解小米的数据和模型的质量评价测试方法
4、了解小米知识库检索增强生成模型在领域场景下的应用及方法
2012年至2018年曾就职于百度,于2018年5月加入小米。先后负责知识图谱平台及大模型数据团队的技术体系的构建。目前主要负责小米自研大模型的数据及知识构建及自研模型的落地,并在此期间参与知识图谱国家标准的制定。曾在全球人工智能大会、datafuntalk等多个会议和论坛有过知识图谱相关的技术分享经验。