当前位置：首页 > news >正文

《Hands_On_LLM》8.1 语义搜索和 RAG 概述（Semantic Search and RAG）

news 来源：原创 2025/6/9 6:45:09

说明

接下来的这三篇文章是《On Large Language Models》的第8章：语义搜索和检索增强生成（Retrieval-Augmented Generation）的翻译。

概述

搜索是最早被业界广泛采用的语言模型应用之一。在开创性论文《BERT：用于语言理解的深度双向变换器预训练》（2018 年）发布数月后，谷歌宣布将其用于谷歌搜索，并表示这代表着 “搜索史上最大的飞跃之一”。微软必应也不甘示弱，表示 “从今年 4 月开始，我们使用大型变换器模型为必应客户提供了过去一年中最大的质量改进”。

这充分证明了这些模型的强大功能和实用性。这些模型的加入可以立即显著改善一些最成熟、维护最完善的系统，而这些系统正是全球数十亿人所依赖的。它们所增加的功能被称为语义搜索，可以通过语义进行搜索，而不是简单的关键词匹配。

另一方面，文本生成模型的快速采用导致许多用户向模型提问，并期望得到符合事实的答案。虽然模型能够流畅而自信地回答问题，但它们的答案并不总是正确或最新的。这个问题后来被称为模型 “幻觉”（hallucinations），而减少幻觉的主要方法之一就是建立能够检索相关信息的系统，并将其提供给 LLM，以帮助它生成更符合事实的答案。这种方法被称为 RAG，是 LLM 最受欢迎的应用之一。

1. 语义搜索和 RAG 概述（Semantic Search and RAG）

关于如何在搜索中最好地使用语言模型的研究很多。这些模型大致分为三大类：密集检索（dense retrieval）、重排序（reranking）和 RAG。以下是这三大类模型的概述，本章其余部分将对其进行详细说明：

密集检索（Dense retrieval）

密集检索系统依赖于嵌入（embeddings）的概念，也就是我们在前几章中遇到的概念，它将搜索问题转化为检索搜索查询的最近邻居问题（在查询和文档都转换成嵌入之后）。图 8-1 展示了密集检索是如何接收搜索查询、查阅文本档案并输出一组相关结果的。

在这里插入图片描述
图 8-1. 密集检索是语义搜索的主要类型之一，依靠文本嵌入的相似性来检索相关结果

重排（Reranking）

搜索系统通常由多个步骤组成。重排语言模型（reranking language model）就是其中的一个步骤，它的任务是根据查询对结果子集的相关性进行评分；然后根据这些评分来改变结果的顺序。图 8-2 显示了重排序器与密集检索（Dense retrieval）的不同之处，因为重排序器（reranker）需要额外的输入：来自搜索管道前一个步骤的一组搜索结果。

在这里插入图片描述
图 8-2. 重新排序器是语义搜索的第二大关键类型，它利用搜索查询和结果集合，按照相关性对它们进行重新排序，往往能大大改进搜索结果。

RAG

文本生成的 LLM 能力不断增强，从而产生了一种新型搜索系统，其中包括一个能根据查询生成答案的模型。图 8-3 显示了这种生成式搜索系统的一个示例。

生成式搜索是更广泛的系统类别的一个子集，更适合称为 RAG 系统。这些文本生成系统包含搜索功能，以减少幻觉、提高真实性和/或将生成模型建立在特定数据集的基础上。

在这里插入图片描述
图 8-3. RAG 系统对问题做出回答，并（最好）引用其信息来源

本章其余部分将详细介绍这三类系统。虽然这些是主要类别，但它们并不是搜索领域中唯一的 LLM 应用。

请阅读：《Hands_On_LLM》8.2和《Hands_On_LLM》8.3

《Hands_On_LLM》8.2 RAG: 利用语言模型进行语义搜索（Semantic Search with Language Models）
《Hands_On_LLM》8.3: 检索增强生成-RAG技术概论

说明

概述

1. 语义搜索和 RAG 概述（Semantic Search and RAG）

相关文章：