当前位置：首页 > news >正文

【程序员AI入门：开发】11.从零构建智能问答引擎：LangChain + RAG 实战手册

news 来源：原创 2025/8/3 12:23:58

在这里插入图片描述

1、技术选型

组件	推荐方案	说明
文本嵌入模型	`sentence-transformers/all-MiniLM-L6-v2`	轻量级且效果较好的开源模型
向量数据库	FAISS	高效的本地向量检索库
大语言模型	GPT-3.5/开源LLM（如ChatGLM3）	根据资源选择云端或本地模型
文档处理框架	LangChain	简化RAG流程开发

2、环境准备

# 安装核心依赖
pip install langchain sentence-transformers faiss-cpu unstructured python-dotx

3、 RAG 核心流程

1、文档准备

在docs/目录存放知识文档（支持.txt/.md/.pdf等格式）
示例文档内容：

特斯拉2023年Q1交付量42.3万辆，Q2交付46.6万辆，Q3交付43.5万辆，Q4交付48.45万辆。

2、索引（Indexing）

将数据预处理并存储为向量。
在这里插入图片描述

3、检索生成（Retrieval & Generation）：

根据查询检索相关上下文，生成回答。
在这里插入图片描述

4、索引实现步骤

a. 加载文档

使用 TextLoader 加载文本文件：

from langchain_community.document_loaders import TextLoader  
loader = TextLoader("introduction.txt")  
docs = loader.load()

b. 拆分文本

使用 RecursiveCharacterTextSplitter 按块拆分：

from langchain.text_splitter import RecursiveCharacterTextSplitter  
text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)  
splits = text_splitter.split_documents(docs)

c. 向量化与存储

初始化 Chroma 向量数据库，使用 OpenAI Embedding：

from langchain_chroma import Chroma  
from langchain_openai import OpenAIEmbeddings  
vectorstore = Chroma(  collection_name="ai_learning",  embedding_function=OpenAIEmbeddings(),  persist_directory="vectordb"  
)  
vectorstore.add_documents(splits)

5、检索生成实现步骤

a. 构建 Retriever

从向量库创建检索器：

retriever = vectorstore.as_retriever(search_type="similarity")

b. 提示词模板

定义系统提示词，指导模型结合上下文生成答案：

from langchain_core.prompts import ChatPromptTemplate, MessagesPlaceholder  
prompt = ChatPromptTemplate.from_messages([  ("system", """  You are an assistant for question-answering tasks.  Use the retrieved context to answer. If unsure, say you don't know.  Keep answers concise (≤3 sentences).  Context: {context}  """),  MessagesPlaceholder(variable_name="history"),  ("human", "{question}")  
])

c. 组装处理链

将检索、上下文格式化、提示词和大模型串联：

from operator import itemgetter  
from langchain_core.runnables import RunnablePassthrough  
context = itemgetter("question") | retriever | format_docs  
first_step = RunnablePassthrough.assign(context=context)  
chain = first_step | prompt | trimmer | model  # model为ChatOpenAI实例

6、核心组件与概念

DocumentLoader：加载文本、数据库、网页等数据源。
TextSplitter：按语义或结构拆分文档（如代码、普通文本）。
VectorStore：统一接口支持多种向量数据库（Chroma、Pinecone等）。
Retriever：抽象检索逻辑，支持向量搜索、关键词匹配等。
提示词工程：通过模板控制生成逻辑，平衡上下文与简洁性。

7、关键代码片段

格式化检索结果：

def format_docs(docs):  return "\n\n".join(doc.page_content for doc in docs)

动态历史会话管理：

store = {}  
def get_session_history(session_id: str) -> BaseChatMessageHistory:  if session_id not in store:  store[session_id] = InMemoryChatMessageHistory()  return store[session_id]

8、总结亮点

降本增效：Chroma 无需额外服务，本地持久化降低部署成本。
灵活扩展：通过替换 DocumentLoader、VectorStore 适配不同数据源。
工业级实践：结合 MMR 算法优化检索多样性，控制 Token 消耗。
实战价值：可直接复用代码构建知识库问答、客服机器人等场景。

【程序员AI入门：开发】11.从零构建智能问答引擎：LangChain + RAG 实战手册

1、技术选型组件推荐方案说明文本嵌入模型sentence-transformers/all-MiniLM-L6-v2轻量级且效果较好的开源模型向量数据库FAISS高效的本地向量检索库大语言模型GPT-3.5/开源LLM（如ChatGLM3）根据资源选择云端或本地模型文档处理框架LangChain简化RAG流程…...

编程日记 2025/8/3 12:23:58

《深入理解Linux网络》笔记

《深入理解Linux网络》笔记前言参考前言前段时间看了《深入理解Linux网络》这本书，虽然有些地方有以代码充篇幅的嫌疑，但总体来说还是值得一看的。在这里简单记录一下笔记，记录下对网络新的理解。内核是如果接受网络包的？ 如…...

编程日记 2025/8/3 17:20:13

【计算机视觉】优化MVSNet可微分代价体以提高深度估计精度的关键技术

优化MVSNet可微分代价体以提高深度估计精度的关键技术 1. 代价体基础理论与分析1.1 标准代价体构建1.2 关键问题诊断 2. 特征表示优化2.1 多尺度特征融合2.2 注意力增强匹配 3. 代价体构建优化3.1 自适应深度假设采样3.2 可微分聚合操作改进 4. 正则化与优化策略4.1 多尺度代价…...

编程日记 2025/8/3 17:24:23

致远A8V5-9.0安装包（包含信创版）【附百度网盘链接】

A8适用于中大型企业，基于"以人为中心"的产品理念，致力于为企业构建和完善“数字智能”的协同运营体系，以组织模型为基础，连接各项工作和业务，聚合信息、资源和能力，实现组织内和跨组织的高效协同…...

编程日记 2025/7/30 4:38:04

terminal 共享工具ttyd

ttyd 是一个非常轻量的工具，它可以将你的终端（如 bash）通过 Web 页面共享出去，适合教学、演示、远程协作等场景，而且支持 macOS、ARM64、Linux 等平台。 ⸻ ✅ 一、ttyd 简介 • 将 shell 包装成 WebSocket 服务&am…...

编程日记 2025/7/29 22:21:30

右值引用的剖析

引入：为什么要有右值引用？ 右值引用的存在，就是为了解决左值引用解决不了的问题！ 左值引用的问题： 我们知道，左值引用在做参数和做返回值都可以提高效率；但是有时候，我们无法用左…...

编程日记 2025/8/3 17:23:21

MIT XV6 - 1.4 Lab: Xv6 and Unix utilities - find

接上文 MIT XV6 - 1.3 Lab: Xv6 and Unix utilities - primes find 继续实验，实验介绍和要求如下 (原文链接译文链接) : Write a simple version of the UNIX find program for xv6: find all the files in a directory tree with a specific name. Your solution…...

编程日记 2025/7/30 4:37:58

PyTorch API 8 - 工具集、onnx、option、复数、DDP、量化、分布式 RPC、NeMo

文章目录 torch.nn.inittorch.nn.attention工具集子模块 torch.onnx概述基于 TorchDynamo 的 ONNX 导出器基于TorchScript的ONNX导出器贡献与开发 torch.optim如何使用优化器构建优化器每个参数的选项执行优化步骤optimizer.step()optimizer.step(closure) 基类算法如何调整学习…...

编程日记 2025/7/29 16:33:34

解决使用宝塔Linux部署前后端分离项目遇到的问题

问题一：访问域名转圈圈，显示404,403 没有解决跨域问题，在后端yml中设置content：/prod（生产环境），在前端.env文件中将http：//127.0.0.1:8080/替换为公网IP，并在vite.conf…...

编程日记 2025/8/3 15:22:00

力扣top100 矩阵置零

开辟数组来标记元素为0的行和列，然后将对应的行和列的元素全部置为0； class Solution { public:void setZeroes(vector<vector<int>>& matrix) {int n matrix.size();int m matrix[0].size();vector<int> l(m),r(n);for(int i …...

编程日记 2025/8/3 14:57:58

JavaScript基础-作用域概述

在学习JavaScript的过程中，理解其作用域（Scope）机制是至关重要的。它不仅影响变量的生命周期和可见性，还决定了代码执行期间如何查找变量值。本文将深入探讨JavaScript的作用域概念，包括全局作用域、函数作用域、块级作…...

编程日记 2025/8/3 17:15:03

【经验总结】Ubuntu 22.04.5 LTS 将内核从5.15.0-140 升级到6.8.0-60后纽曼无线网卡无法使用解决措施

【经验总结】Ubuntu 22.04.5 LTS 将内核从5.15.0-140 升级到6.8.0-60后纽曼无线网卡无法使用解决措施问题现象定位过程问题根因解决方案将内核内核从6.8.0-60 降级到5.15.0-140。1、回滚内核版本2、解决重启系统，找不到选择内核版本的菜单问题3、将新版本的kernel卸…...

编程日记 2025/7/30 4:37:42

MQTT协议介绍

一、MQTT定义 MQTT(Message Queuing Telemetry Transport，消息队列遥测传输)是 IBM 开发的一个即时通讯协议，有可能成为物联网的重要组成部分。 MQTT（Message Queuing Telemetry Transport）是一种轻量级的消息传输协议&#xff…...

编程日记 2025/7/29 7:04:34

jetson orin nano super AI模型部署之路（五）tensorrt C++ api介绍

我们基于tensorrt-cpp-api这个仓库介绍。这个仓库的代码是一个非常不错的tensorrt的cpp api实现，可基于此开发自己的项目。我们从src/main.cpp开始按顺序说明。一、首先是声明我们创建tensorrt model的参数。 // Specify our GPU inference configuration optio…...

编程日记 2025/8/3 1:18:53

excel函数操作案例

需求分析1：学习时间与最终成绩之间的关系问题：学习时间的长短是否对学生的最终成绩有显著影响？ 操作步骤：选择"study_hours"和"final_grade"列完整数据，选择散点图单击B，按住ctrl键…...

编程日记 2025/8/3 17:22:27

各种音频产品及场景总结

本文记录和总结各种音频产品以及音频场景，比如音箱、耳机、对讲机、录音笔、助听器、声卡等等。蓝牙耳机蓝牙耳机现在已经很普及了，主要功能就是连着手机等设备然后播放音频，所以，肯定要有扬声器模块；然后还可以接打…...

编程日记 2025/7/29 10:24:43

Java后端开发day46--多线程（二）

（以下内容全部来自上述课程） 多线程 1. Lock锁虽然我们可以理解同步代码块和同步方法的锁对象问题， 但是我们并没有直接看到在哪里加上了锁，在哪里释放了锁， 为了更清晰的表达如何加锁和释放锁，JDK5以…...

编程日记 2025/8/3 15:11:11

U盘制作系统盘（含U盘恢复）

✅ 准备工作 1. 一个至少 8GB 容量的 U 盘注意：U 盘将被格式化，请提前备份数据。 2. 一台可以联网的 Windows 电脑 📥 下载官方制作工具（推荐） 1. 打开微软官网下载页面： 👉 Windows 11 下载…...

编程日记 2025/8/3 17:25:09

如何阅读、学习 Linux 2 内核源代码？

学习Linux 2内核源代码是深入理解操作系统工作原理的绝佳途径，但这无疑是一项极具挑战性的任务。下面为你提供一套系统的学习方法和建议： 一、扎实基础知识操作系统原理透彻掌握进程管理、内存管理、文件系统、设备驱动等核心概念。推荐阅读《操作系…...

编程日记 2025/8/3 17:23:24

【字符函数和字符串函数】

【字符函数和字符串函数】字符分类函数字符转换函数函数的使用strcpy的使用strcat的实现strcmp的实现strncpy，strncat,strncmpstrstrstrtok的使用strerror 1.函数的使用 2.部分函数的模拟实现（工作原理） 字符分类函数 ag1. #include<std…...

编程日记 2025/8/3 11:09:50

[学习]RTKLib详解：rtksvr.c与streamsvr.c

本文是 RTKLlib详解系列文章的一篇，目前该系列文章还在持续总结写作中，以发表的如下，有兴趣的可以翻阅。 [学习] RTKlib详解：功能、工具与源码结构解析 [学习]RTKLib详解：pntpos.c与postpos.c [学习]RTKLib详解&…...

编程日记 2025/8/3 17:23:19

QMK键盘固件开发全解析：QMK 固件开发的最新架构和规范（2025最新版）

QMK键盘固件开发全解析：QMK 固件开发的最新架构和规范（2025最新版） 📚 前言概述 QMK(Quantum Mechanical Keyboard)作为目前开源键盘固件领域的"扛把子"，凭借其强大的功能和活跃的社区支持，已经…...

编程日记 2025/8/3 17:21:36

c++——二叉树进阶

1. 内容安排说明二叉树在前面C数据结构阶段已经讲过，本节取名二叉树进阶是因为： 1. map和set特性需要先铺垫二叉搜索树，而二叉搜索树也是一种树形结构 2. 二叉搜索树的特性了解，有助于更好的理解map和set的特性 3. 二叉树中部…...

编程日记 2025/7/30 4:37:15

PyTorch API 3 - mps、xpu、backends、导出

文章目录 torch.mpsMPS 性能分析器MPS 事件 torch.xpu随机数生成器流与事件内存管理 torch.mtia流与事件 torch.mtia.memory元设备元张量操作惯用法 torch.backendstorch.backends.cputorch.backends.cudatorch.backends.cudnntorch.backends.cusparselttorch.backends.mhatorc…...

编程日记 2025/8/3 11:32:00

QTableWidget实现多级表头、表头冻结效果

最终效果： 实现思路：如果只用一个表格的话写起来比较麻烦，可以考虑使用两个QTableWidget组合，把复杂的表头一个用QTableWidget显示，其他内容用另一个QTableWidget。 #include "mainwindow.h" #include &qu…...

编程日记 2025/8/3 17:20:11

比 Mac 便笺更好用更好看的便利贴

在苹果电脑上，有自带的便签软件，但问题这个官方应用已经年久失修，界面跟最新的系统完全不搭。像同步、清单等功能也没有。最近找到了一款更好看好用的桌面便利贴 - Desktop Note。这款应用在超过26个的效率榜排在前10。以下几个点是我认为做…...

编程日记 2025/7/30 6:58:52

【python】json解析：invalid literal for int() with base 10: ‘\“\“‘“

invalid literal for int() with base 10: ‘“”’" 从提供的 JSON 数据中，我可以看到导致 "invalid literal for int() with base 10: \"\"" 错误的具体情况： 错误分析在 deal_resp 部分中发现了错误信息： &…...

编程日记 2025/8/3 17:25:09

超详细Kokoro-82M本地部署教程

经测试，Kokoro-82M的语音合成速度相比于其他tts非常的快，本文给出Windows版详细本地部署教程。这里提供原始仓库进行参考：https://github.com/hexgrad/kokoro 一、依赖安装 1.新建conda环境 conda create --n kokoro python3.12 conda a…...

编程日记 2025/8/3 12:23:58

Day28 -js开发01 -JS三个实例：文件上传登录验证购物商城 ---逻辑漏洞复现及判断js的payload思路

本篇利用3个实例来引出前端验证的逻辑漏洞一、文件上传实例：利用JS实现【1】代码实现 js：文件后缀筛选 php：文件保存 00x1 先利用js文件上传就利用之前php原生写的upload.html的模板，再加上script的后缀过滤。 <!…...

编程日记 2025/8/3 17:24:22

宝塔服务安装使用的保姆级教程

宝塔介绍： 宝塔面板（BT Panel） 是一款国产的服务器运维管理面板，主要用于简化 Linux/Windows 服务器的网站、数据库、FTP、防火墙等管理操作。它通过图形化界面（Web端）和命令行工具（bt 命令&a…...

编程日记 2025/8/3 17:23:20

（四）YOLO_World-SAM-GraspNet的mujoco抓取仿真（操作记录）

一、创建虚拟环境这里直接克隆之前项目的环境 （二）Graspnet在mujoco的仿真复现（操作记录）_graspnet仿真-CSDN博客 conda create -n graspnet --clone mujoco_graspnet conda activate graspnet 二、安装额外的环境包 pip in…...

编程日记 2025/8/3 17:21:34

Git Github Tutorial

Git & Github Tutorial 教程地址：Git & GitHub Tutorial | Visualized Git Course for Beginner & Professional Developers in 2024 git自动跟踪每个代码更改，允许多个人无缝处理同一个项目，让成员浏览项目历史纪录 1.检查gi…...

编程日记 2025/8/3 17:23:22

提高工作效率的新选择[特殊字符]——Element Plus UI库

在现代前端开发中，UI库的重要性不言而喻。它们不仅加速开发过程，还提高了应用的可维护性，形成了一致的用户体验。今天我们就来介绍一款由Element团队打造的Vue.js 3 UI库——Element Plus。一、Element Plus：Vue.js 3的全新UI库…...

编程日记 2025/8/3 17:22:26

深入理解 TCP：重传机制、滑动窗口、流量控制与拥塞控制

TCP（Transmission Control Protocol）是一个面向连接、可靠传输的协议，支撑着绝大多数互联网通信。在实现可靠性的背后，TCP 引入了多个关键机制：重传机制、滑动窗口、流量控制和拥塞控制。这些机制共同协作&#xff0…...

编程日记 2025/8/3 10:07:32

从0开始学习大模型--Day05--理解prompt工程

提示词工程原理 N-gram：通过统计，计算N个词共同出现的概率，从而预测下一个词是什么。深度学习模型：有多层神经网络组成，可以自动从数据中学习特征，让模型通过不断地自我学习不断成长，直到模型…...

编程日记 2025/8/3 17:22:27

全栈开发实战：FastAPI + React + MongoDB 构建现代Web应用

在Web开发领域，技术栈的选型直接影响着开发效率和系统性能。FARM（FastAPI, React, MongoDB）技术栈凭借其高性能、灵活架构和简洁语法，逐渐成为全栈开发的热门选择。本文将通过实际项目案例，详解如何从零搭建一个完整的…...

编程日记 2025/8/3 17:21:35

深入解析进程地址空间：从虚拟到物理的奇妙之旅

深入解析进程地址空间：从虚拟到物理的奇妙之旅前言各位小伙伴，还记得我们之前探讨的 fork 函数吗？当它返回两次时，父子进程中同名变量却拥有不同值的现象，曾让我们惊叹于进程独立性与写时拷贝的精妙设计。但你是否…...

编程日记 2025/7/30 6:58:18

Python教程(四)——数据结构

目录 1. 列表1.1 用列表实现堆栈1.2 用列表实现队列1.3 列表推导式1.4 嵌套的列表推导式 2. del语句3. 元组和序列4. 集合5. 字典6. 循环的技巧7. 深入条件控制8. 序列和其他类型的比较参考 1. 列表方法含义list.append(x)在列表末尾添加一项，类似于a[len(a):] […...

编程日记 2025/8/1 15:09:40

Spring Cloud: Nacos

Nacos Nacos是阿里巴巴开源的一个服务发现，配置管理和服务管理平台。只要用于分布式系统中的微服务注册，发现和配置管理，nacos是一个注册中心的组件官方仓库：https://nacos.io/ Nacos的下载 Releases alibaba/nacos 在官网中…...

编程日记 2025/8/3 17:24:24

基于 Q-learning 的城市场景无人机三维路径规划算法研究，可以自定义地图，提供完整MATLAB代码

一、引言随着无人机技术的不断发展，其在城市环境中的应用越来越广泛，如物流配送、航拍测绘、交通监控等。然而，城市场景具有复杂的建筑布局、密集的障碍物以及多变的飞行环境，给无人机的路径规划带来了巨大的挑战。传统的路径规…...

编程日记 2025/8/3 2:21:12

Block Styler——字符串控件

字符串控件的应用参考官方帮助案例：（这个方式感觉更好，第二种方式也可以）E:\NX1980\UGOPEN\SampleNXOpenApplications\C\BlockStyler\ColoredBlock 普通格式： 读取： //方法一 string0->GetProperti…...

编程日记 2025/8/3 17:21:32

【比赛真题解析】篮球迷

本次给大家分享一道比赛的题目：篮球迷。洛谷链接：U561543 篮球迷题目如下：【题目描述】众所周知，jimmy是个篮球迷。众所周知，Jimmy非常爱看NBA。众所周知，Jimmy对NBA冠军球队的获奖年份和队名了如指掌。所以，Jimmy要告诉你n个冠军球队的名字和获奖年份，并要求你…...

编程日记 2025/7/30 6:58:06

WPF之集合绑定深入

文章目录引言ObservableCollection<T>基础什么是ObservableCollectionObservableCollection的工作原理基本用法示例ObservableCollection与MVVM模式ObservableCollection的局限性 INotifyCollectionChanged接口深入接口定义与作用NotifyCollectionChangedEventArgs详解自…...

编程日记 2025/7/30 1:21:01

第五天车载系统安全（入侵检测、OTA安全）数据加密（TLS/SSL、国密算法）

前言随着汽车智能化程度不断提升，车载系统安全已成为行业关注焦点。本文将从零开始，带大家系统学习车载系统安全的核心技术，重点解析入侵检测、OTA安全、数据加密三大领域。即使没有安全背景，也能通过本文建立起完整的汽车网络安…...

编程日记 2025/8/3 17:20:12

采用SqlSugarClient创建数据库实例引发的异步调用问题

基于SqlSugar编写的多个WebApi接口，项目初始化时采用单例模式注册SqlSugarClient实例对象，前端页面采用layui布局，并在一个按钮事件中通过Ajax连续调用多个WebApi接口获取数据。实际运行时点击按钮会随机报下面几种错误： Execute…...

编程日记 2025/8/3 17:25:09

unity通过transform找子物体只能找子级

unity通过transform找子物体只能找子级，孙级以及更低级别都找不到，只能找到自己的下一级如果要获取孙级以下的物体，最快的方法还是直接public挂载...

编程日记 2025/7/30 9:05:41

Dockers部署oscarfonts/geoserver镜像的Geoserver

Dockers部署oscarfonts/geoserver镜像的Geoserver 说实话，最后发现要选择合适的Geoserver镜像才是关键，所以所以所以…🐷 推荐oscarfonts/geoserver的镜像！ 一开始用kartoza/geoserver镜像一直提示内存不足，不过还好…...

编程日记 2025/7/30 22:46:03

AtCoder AT_abc405_d ABC405D - Escape Route

前言 BFS 算法在 AtCoder 比赛中还是会考的，因为不常练习导致没想到，不仅错误 TLE 了很多，还影响了心态，3 发罚时后才 AC。思路首先，我们把所有位置和出口的距离算出来（用 BFS）&#xff0c…...

编程日记 2025/7/31 15:15:40

Redis-x64-3.0.500

E:\Workspace_zwf\Redis-x64-3.0.500 redis.windows.conf...

编程日记 2025/8/1 1:30:29

CUDA编程——性能优化基本技巧

本文主要介绍下面三种技巧： 使用 __restrict__ 让编译器放心地优化指针访存想办法让同一个 Warp 中的线程的访存 Pattern 尽可能连续，以利用 Memory coalescing使用 Shared memory 0. 弄清Kernael函数是Compute-bound 还是 Memory-bound 先摆出一个知…...

编程日记 2025/7/30 1:03:24

1、技术选型

2、环境准备

3、 RAG 核心流程

1、文档准备

2、索引（Indexing）

3、检索生成（Retrieval & Generation）：

4、 索引实现步骤

5、 检索生成实现步骤

6、 核心组件与概念

7、 关键代码片段

8、总结亮点

相关文章：

4、索引实现步骤

5、检索生成实现步骤

6、核心组件与概念

7、关键代码片段