Elasticsearch - AI 驱动的搜索引擎
内容简介:
传统的纯词汇搜索不能满足当今时代的需求,特别是在这个智能的时代。当代企业针对搜索提出语义搜索,也就是根据文字的语义来进行搜索,而不是简单的词汇匹配。另外,企业也针对图片,语音及视频等非文本数据搜索提出了要求。Elasticsearch 自 8.0 起,开始提供向量搜索(密集向量,稀疏向量)功能。它可以完美地解决文字语义搜索及多媒体数据的搜索需求。此外,向量搜索也并非完美,特别是针对文字搜索。Elastic 可以使用混合搜索(词汇搜索,密集向量,稀疏)进行多路召回并对最终结果进行排名。这种方法可以提供搜索的提高精度及召回率。在人工智能发展的今天,结合大模型,使用 GenAI 来针对搜索结果进行推理。由于企业数据或私有数据在每时每刻都在生成。大模型在缺乏上下文的情况下使用大模型来进行推理,在很多的时候会产生幻觉,因为这些知识不存在于大模型中。结合 Elasticsearch 的向量搜索技术针对企业数据或私有数据进行搜索,把搜索结果作为上下文提供给大模型,从而消除幻觉。这种技术也被称作为 RAG(检索增强生成).本议题将详细介绍 Elasticsearch 的向量搜索技术及如何使用它进行 RAG 的应用开发。
演讲提纲:
1. 智能时代的搜索需求
- 对语义搜索的需求,而不是简单的词汇匹配
- 对多媒体数据的搜索,比如图片,声音及视频
- 非结构化数据的搜索
- 向量搜索带来的新的解决方案
2. Elasticsearch 向量搜索介绍
- 向量搜索原理
- 向量搜索种类(密集向量,稀疏向量)
- 混合搜索介绍(多路召回,综合评分)
- Elasticsearch 在向量搜索上的最新进展
3. RAG 实现原理
- 如何使得大模型变得更聪明
- RAG 的实现方法
4. 使用 Elasticsearch 在企业搜索中的案例分享
- 高级 RAG 案例分享
- Agentic RAG 案例分享
听众收益:
1.开发者充分了解 Elastic 所提供的向量搜索(密集向量及稀疏向量)
2.如何使用向量搜索及传统搜索来提高搜索的召回率及精度
3.展示 Elasticsearch 在向量搜索方面的最新更新以及 RAG 在企业搜索应用的的实现
现为 Elastic 中国社区首席布道师。新加坡国立大学硕士,西北工业大学本硕。曾就职于新加坡科技,康柏电脑,通用汽车,爱立信,诺基亚,Linaro 非营利组织 (Linux for ARM),Ubuntu,Vantiq 等企业。从事过电脑设计,汽车电子,计算机操作系统,通信,云实时事件处理等。从爱立信开始,诺基亚,Ubuntu 到现在的 Elastic,从事社区工作有将近 20 年的经历。