当前位置：首页 > news >正文

快速上手LangChain（三）构建检索增强生成（RAG）应用

news 来源：原创 2025/5/18 12:43:40

langchain官方文档：https://python.langchain.ac.cn/docs/tutorials/rag/

典型的 RAG 应用程序有两个主要组件

在这里插入图片描述

由于原始文档过大，超出了LLM的上下文窗口，需要将其分块才能让LLM识别。LangChain 提供了许多内置的文本分块工具，例如 CharacterTextSplitter

总结：RAG需要从向量数据库检索上下文然后输入LLM进行生成，因此需要提前将文本数据向量化并存储到向量数据库。

Embedding（也称为嵌入）是将文本、图片或音视频等数据转化为向量（数字序列）的一种方法。向量的特点在于可以用数学方式表示数据间的关系，向量之间的距离代表数据的相关性。距离越小，相关性越高；距离越大，相关性越低。

通用文本向量，是通义实验室基于LLM底座的多语言文本统一向量模型，面向全球多个主流语种，提供高水准的向量服务，帮助开发者将文本数据快速转换为高质量的向量数据。

通义官方文档：https://help.aliyun.com/zh/model-studio/user-guide/embedding
langchain相关代码：libs/community/langchain_community/embeddings/dashscope.py

在这里插入图片描述

一旦我们索引了数据，我们将使用LangGraph作为我们的编排框架来实现检索和生成步骤。

langchain官方文档：https://python.langchain.ac.cn/docs/tutorials/rag/

我们将构建一个应用程序，该应用程序可以回答有关网站内容的问题。我们将使用的特定网站是 Lilian Weng 的LLM Powered Autonomous Agents博客文章，这使我们可以询问有关该文章内容的问题。

这里我们把官方demo改造一下，指定我们自己的一篇博客文章，使用阿里的嵌入模型进行向量化，细节上做了一点优化。

pip install --upgrade langchain-text-splitters langchain-community

loader = WebBaseLoader(web_paths=(