内容简介:
近年来,大语言模型在知识密集型的自然语言处理任务上取得了令人瞩目的进步。这似乎表明,大语言模型能够自发地从语料中学习大量知识,并隐式地保存在参数之中。然而,这一现象的背后机理仍然萦绕着许多谜团。大语言模型如何存储和运用知识?如何按需修改大语言模型中的知识?如何弥补大语言模型的知识不足?这些问题都亟待进一步探索。该报告将重点介绍大语言模型的知识机理分析、知识编辑与知识增强方面的基础知识和近期研究进展。
演讲提纲:
1.研究背景介绍
1.1大模型发展历程
1.2大模型知识表现
1.3大模型知识迷雾
2.大模型知识机理分析
2.1知识神经元理论
2.2简并知识神经元
2.3知识局部化假设评估
2.4知识神经元特征分解
3.大模型知识编辑
3.1大模型知识编辑任务简介
3.2大模型终身知识编辑
3.3大模型表面知识编辑机制分析
4.大模型知识增强
4.1基于结构化知识的增强
4.2基于RAG的知识增强
4.3基于工具学习的知识增强
4.4基于多智能体的知识增强
5.大模型知识评测与增强工具
5.1代表性大模型知识评测
5.2典型大模型知识增强工具
听众收益:
1.深入理解大模型的知识机理
听众将了解主流的大模型知识机理分析方法,探索大模型的知识机理,从知识视角打开大模型的黑盒,提升大模型的可解释性。
2.了解代表性大模型知识编辑方法
听众将学习代表性的大模型知识编辑技术,在无需大规模更新模型参数的条件下,完成大模型的定向知识编辑。
3.学习主流大模型知识增强技术
听众将学习到主流的大模型知识增强技术,从结构化知识图谱增强、非结构化文本检索增强、工具学习增强、多智能体协作增强等多维度实现大模型知识增强,为大模型领域应用提供知识保障。
入选第五届中国科协青年人才托举工程、中国科学院青年创新促进会会员、全球华人AI 青年学者、北京市科技新星,2023、2024年连续入选美国斯坦福大学发布的全球前2%顶尖科学家榜单。研究方向为自然语言处理、知识图谱和大模型,在ACL、EMNLP、AAAI 等国际重要会议和期刊发表学术论文80余篇,Google Scholar引用量7000余次,其中一篇论文入选ESI高被引论文,两篇论文入选ACL、EMNLP高影响力论文(Paper Digest评选),获得国际语义网大会ISWC 2023(CCF B类会议)最佳张贴论文奖,并多五获得全国最佳论文奖。出版学术专著两部《知识图谱》、《知识图谱:算法与实践》,入选十三五国家重点图书出版规划教材。主持国家自然科学基金面上项目、青年基金项目,参与国家自然科学基金重点项目、2030新一代人工智能重大项目、重点研发计划课题。任中国中文信息学会青年工作委员会副主任,曾获中国中文信息学会“钱伟长中文信息处理科学技术奖”一等奖,北京市科学技术进步奖一等奖。