当前位置：首页 > news >正文

基于 RAG 的 Text2SQL 全过程的 Python 实现详解，结合 LangChain 框架实现自然语言到 SQL 的转换

news 来源：原创 2025/6/17 23:17:34

什么是RAG

一、核心流程：三阶段协同
RAG的核心流程分为检索（Retrieval）、增强（Augmentation）、生成（Generation）三个阶段，形成“检索→知识整合→生成”的闭环。

1. 检索（Retrieval）
• 目标：从外部知识库中定位与用户查询相关的信息片段。

• 技术实现：

• 向量化处理：使用嵌入模型（如BERT、OpenAI Embedding）将用户查询和文档转化为向量表示，便于相似性匹配。

• 相似性检索：通过向量数据库（如FAISS、Pinecone）计算向量间的余弦相似度，返回Top-K相关文档。

• 典型场景：在医疗领域，用户输入症状描述时，系统检索最新医学文献中的相关病例和诊疗指南。

2. 增强（Augmentation）
• 目标：对检索结果进行筛选、排序和上下文融合，提升生成依据的质量。

• 关键操作：

• 重排序（Reranking）：利用BM25、TF-IDF等传统算法或基于BERT的深度学习模型，对初步检索结果二次排序，过滤噪声数据。

• 上下文拼接：将高相关性文档片段与用户查询拼接，形成生成模型的输入提示（Prompt）。

• 案例：在法律咨询中，系统通过增强阶段整合多个相似案例的判决依据，形成全面参考依据。

3. 生成（Generation）
• 目标：基于增强后的上下文生成自然语言回答。

• 技术实现：

• 生成模型调用：使用GPT-4、Claude等大型语言模型，将增强后的提示输入模型进行文本生成。

• 输出控制：通过温度参数（Temperature）和Top-P采样平衡回答的创造性与准确性。

• 示例：在教育场景中，学生提问历史事件时，生成器结合检索到的史料生成带时间线的解释性回答。

二、高级流程优化
1. 检索前优化（Pre-Retrieval）
• 查询改写：使用LLM对用户原始查询进行语义扩展或纠错（如将“苹果新品”改写为“iPhone 15发布会”），提升检索精度。

• 元数据过滤：结合文档的发布时间、作者权威性等元数据筛选候选集，适用于新闻、科研等时效敏感场景。

2. 模块化扩展（Modular RAG）
• 自适应检索：根据生成模型的反馈动态调整检索策略。例如，首轮生成答案置信度低时触发二次检索。

• 多跳检索（Multi-hop）：通过迭代检索解决复杂问题。如回答“量子计算对气候变化的影响”，需先检索“量子计算原理”再关联“气候模型优化”文档。

三、多模态流程扩展
多模态RAG将处理对象从文本扩展到图像、音视频等数据类型，流程新增以下环节：

跨模态对齐：使用CLIP等模型对齐文本与图像特征，实现“以文搜图”。
多源增强：同时整合文本描述、图像标签、音频转写文本等多模态上下文。
混合生成：生成器输出包含图文混排内容，如产品说明中嵌入检索到的3D模型截图。

应用案例：在电商场景中，用户询问“适合登山的外套”，系统检索商品图文详情并生成带产品图的购买建议。

四、流程优势与挑战

维度	优势	挑战
知识时效性	通过更新知识库实现即时知识同步，无需重新训练模型	海量知识库的存储与检索效率问题
生成可靠性	答案直接来源于可信知识库，减少模型幻觉	检索噪声可能导致生成偏差（如过时法规被误用）
应用灵活性	支持垂直领域定制（如医疗、法律专用知识库）	多模态数据处理需复杂的技术栈支持

以下是基于 RAG 的 Text2SQL 全过程的 Python 实现详解，结合 LangChain 框架实现自然语言到 SQL 的转换：

以下是关于RAG（检索增强生成）技术流程的详细解析，结合其核心流程、优化策略及多模态扩展：

一、环境准备

# 安装核心依赖库
!pip install langchain langchain-community langchain-openai sqlalchemy

二、数据库连接配置

from langchain_community.utilities import SQLDatabase
from sqlalchemy import create_engine# 连接 SQLite 数据库（示例）
db = SQLDatabase.from_uri("sqlite:///sales.db")# 查看数据库 Schema
print(db.table_info)  # 输出表结构及样例数据

三、RAG-Text2SQL 核心实现

初始化大语言模型

from langchain_openai import ChatOpenAIllm = ChatOpenAI(model_name="gpt-4-turbo",temperature=0,api_key="YOUR_API_KEY"
)

构建 RAG 增强的 SQL 生成链

from langchain.chains import create_sql_query_chain
from langchain.chains.llm import LLMChain
from langchain.prompts import PromptTemplate# 自定义 RAG 提示模板
RAG_PROMPT = """
作为 SQL 专家，请根据数据库 Schema 生成准确查询：
Schema: 
{table_info}历史相似查询示例：
{history_queries}用户问题：{question}
生成的 SQL 查询：
"""rag_prompt = PromptTemplate(template=RAG_PROMPT,input_variables=["question", "table_info", "history_queries"]
)# 创建 RAG-SQL 链
sql_chain = create_sql_query_chain(llm=llm,db=db,prompt=rag_prompt
)

检索增强模块实现

from langchain.embeddings import OpenAIEmbeddings
from langchain.vectorstores import FAISS# 创建检索器（存储历史 SQL 查询）
history_queries = [("查询销售额超过 100 万的产品", "SELECT product FROM sales WHERE amount > 1000000"),("统计各城市客户数量", "SELECT city, COUNT(*) FROM customers GROUP BY city")
]embeddings = OpenAIEmbeddings()
vector_store = FAISS.from_texts([f"Q: {q[0]}\nA: {q[1]}" for q in history_queries],embeddings
)def retrieve_context(question: str) -> str:docs = vector_store.similarity_search(question, k=2)return "\n".join([doc.page_content for doc in docs])

四、完整执行流程

def text2sql_pipeline(question: str) -> dict:# 1. 检索增强context = retrieve_context(question)# 2. 生成 SQLsql_query = sql_chain.invoke({"question": question,"history_queries": context,"table_info": db.table_info})# 3. 执行验证try:result = db.run(sql_query)return {"sql": sql_query, "result": result}except Exception as e:return {"error": f"SQL 执行错误: {str(e)}"}# 示例执行
response = text2sql_pipeline("列出 2024 年销售额前 5 的产品")
print(response)

五、关键实现细节说明

RAG 增强机制
• 通过向量检索历史 SQL 查询，为 LLM 提供上下文参考

• 动态注入数据库 Schema（包含表结构、字段类型）
LangChain 特性应用
• 使用 SQLDatabaseChain 处理数据库连接和查询验证

• 支持多表 JOIN 查询的自动识别（通过 Schema 中的外键关系）
错误处理策略
• 通过 try-except 捕获 SQL 语法错误

• 可扩展添加自动修正模块（基于错误信息重新生成查询）

六、优化建议

性能优化

# 启用查询缓存
from langchain.cache import SQLAlchemyCache
import langchain
langchain.llm_cache = SQLAlchemyCache()

准确性提升
• 添加 Schema 描述注释到提示词

• 实现多步推理机制（先识别实体，再生成查询）

可视化扩展

# 集成结果可视化（需安装 matplotlib）
import matplotlib.pyplot as pltdef visualize_result(result):df = pd.DataFrame(eval(result["result"]))df.plot(kind="bar")plt.show()

总结
RAG通过“检索→增强→生成”的标准化流程，将静态的模型知识转化为动态的外部知识调用能力。随着重排序、多跳检索等优化策略的引入，以及多模态支持的扩展，RAG正从基础问答向复杂决策场景渗透，成为企业级AI应用的核心架构。

七、引用说明
本文实现参考了以下技术方案：
• LangChain 的 SQLDatabaseChain 架构设计

• Vanna AI 的 RAG 训练机制

• FastGPT 的 Schema Encoder 实现思路

• 大模型提示工程技术规范

（注：实际部署时需根据具体数据库类型调整连接参数，完整代码示例参考实现）

基于 RAG 的 Text2SQL 全过程的 Python 实现详解，结合 LangChain 框架实现自然语言到 SQL 的转换

什么是RAG 一、核心流程：三阶段协同 RAG的核心流程分为检索（Retrieval）、增强（Augmentation）、生成（Generation）三个阶段，形成“检索→知识整合→生成”的闭环。 1. 检索&#xff…...

编程日记 2025/6/1 10:29:35

使用 OpenCV 进行视觉图片调整的几种常见方法

以下是使用 OpenCV 进行视觉图片调整的几种常见方法： 调整图片大小指定目标尺寸：使用cv2.resize()函数，通过设定目标图像的宽度和高度来调整图片大小。例如，将图片调整为 200x200 像素： import cv2 image cv2.imre…...

编程日记 2025/5/31 4:29:03

【特殊场景应对9】视频简历的适用场景与风险分析

写在最前作为一个中古程序猿，我有很多自己想做的事情，比如埋头苦干手搓一个低代码数据库设计平台（目前只针对写java的朋友），比如很喜欢帮身边的朋友看看简历，讲讲面试技巧，毕竟工作这么多年，也做到过高管，有很多面人经历，意见还算有用，大家基本都能拿到想要的offe…...

编程日记 2025/6/3 8:24:01

Dify 1.3.0 为 LLM 节点引入了结构化输出支持

Dify 1.3.0 为 LLM 节点引入了结构化输出支持 0. 引言1. 使用方法 0. 引言 Dify 1.3.0 开始，在 LLM 节点支持结构化输出：Dify 已经为 LLM 节点引入了结构化输出支持。这意味着您的语言模型现在可以返回整齐组织且易于处理的数据。后端实现由 Nov1c444 在…...

编程日记 2025/6/4 10:51:24

【Linux网络】HTTP协议全解析 - 从请求响应到方法与Header

📢博客主页：https://blog.csdn.net/2301_779549673 📢博客仓库：https://gitee.com/JohnKingW/linux_test/tree/master/lesson 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正！ &…...

编程日记 2025/5/31 16:37:40

JSP实现用户登录注册系统（三天内自动登录）

JSP实现用户登录注册系统引言在Web开发中，用户认证是最基础且核心的功能之一。本文基于JSP技术，实现了一个包含注册、登录、自动登录（3天内）、退出等功能的用户系统，并在过程中解决了Cookie字符错误、错误信息回显…...

编程日记 2025/5/30 23:02:39

大数据模型现状分析

大数据模型现状分析一、引言在当今数字化时代，数据以前所未有的速度增长，大数据已成为推动各行业发展的核心动力。大数据模型作为挖掘数据价值的关键工具，正受到广泛关注与深入研究。通过对海量、多样且高速产生的数据进行处理和分析&…...

编程日记 2025/6/2 10:41:04

代码随想录算法训练营第二十八天

LeetCode题目: 509. 斐波那契数70. 爬楼梯746. 使用最小花费爬楼梯2444. 统计定界子数组的数目(每日一题) 其他: 今日总结往期打卡动态规划解题步骤: 确定递推公式确定遍历顺序记忆化搜索(确定dp数组以及下标的含义与初始化值)递推优化与空间优化 509. 斐波那契数跳转: 5…...

编程日记 2025/6/4 3:27:10

HTML与安全性：XSS、防御与最佳实践

HTML 与安全性：XSS、防御与最佳实践前言现代 Web 应用程序无处不在，而 HTML 作为其基础结构，承载着巨大的安全责任。跨站脚本攻击（XSS）仍然是 OWASP Top 10 安全威胁之一，对用户数据和网站完整性构成严…...

编程日记 2025/5/30 6:04:28

三维重建（二十）——思路整理与第一步的进行

文章目录一、整体思路二、细分三、之前存在问题四、任务安排五、第一步——找到内参并选定一种5.1 train的RTK5.2 test的RTK5.3 各选择一个5.3.1 train-185.3.2 test-193一、整体思路这部分主要是宏观的讲一下整体框架。从gshell里面提取核心参数，放入py3d，渲染出图片，…...

编程日记 2025/6/4 6:57:08

判断 ONNX 模型是否支持 GPU

🔍 判断 ONNX 模型是否支持 GPU 的几个关键点： ✅ 1. 检查模型支持的 Execution Provider 可以通过下面的代码打印出来当前模型使用了什么设备： 需要安装好：onnxruntime-gpu import onnxruntime as ort session ort.InferenceSe…...

编程日记 2025/5/29 7:06:07

CANFD技术在实时运动控制系统中的应用：协议解析、性能测试与未来发展趋势

摘要： 本文深入探讨了CANFD技术在实时运动控制系统中的应用。通过对传统CAN协议与CANFD协议的对比分析，详细阐述了CANFD在提升数据传输效率、增强系统实时性与稳定性方面的优势。文章结合具体测试案例，对CANFD总线的性能指标进行了全面评估&a…...

编程日记 2025/6/2 10:21:04

1.访问修饰符细节 package com.logic.modifier;public class A {public int n1 100;protected int n2 200;int n3 300;private int n4 400;public void m1() {//在同一个类中可以访问public protected 默认 private 修饰属性和方法System.out.println(n1 " " …...

编程日记 2025/6/4 9:20:30

山东大学离散数学第九章习题解析

参考教材：离散数学教程，徐秋亮 / 栾俊峰 / 卢雷 / 王慧 / 赵合计编著，山东大学计算机科学与技术学院注：该解析为个人所写，涵盖了 2022-2023-2 学期赵合计老师所布置的所有课本习题；由于学识、认识及经验…...

编程日记 2025/6/2 5:33:39

5G融合消息PaaS项目深度解析 - Java架构师面试实战

5G融合消息PaaS项目深度解析 - Java架构师面试实战场景：互联网大厂Java求职者面试，面试官针对5G融合消息PaaS项目进行提问。第一轮提问面试官：马架构，请简要介绍5G融合消息PaaS平台的核心功能和应用场景。马架构&#xff…...

编程日记 2025/5/29 7:24:43

React-Redux

1、安装 npm i redux react-redux reduxjs/toolkit 2、基础使用方式（无 Toolkit） （1）核心Api createStore：创建数据仓库；store.dispatch()：用于派发action，执行修改动作&#xf…...

编程日记 2025/5/31 2:09:27

Linux基础篇、第4章_03系统磁盘高级管理LVM 逻辑卷管理器

题目：系统磁盘高级管理LVM 逻辑卷管理器版本号: 1.0,0 作者: 老王要学习日期: 2025.04.26 适用环境: Centos7 文档说明本文档聚焦于 Centos7 系统下的磁盘高级管理，围绕 LVM 逻辑卷管理器展开。详细介绍了物理卷、卷组和逻辑卷的创建、管理与删除操…...

编程日记 2025/6/3 4:32:51

代码随想录算法训练营Day36

力扣1049.最后一块石头的重量Ⅱ【medium】力扣474.一和零【meidum】一、力扣1049.最后一块石头的重量Ⅱ【medium】题目链接：力扣1049.最后一块石头的重量Ⅱ 视频链接：代码随想录 1、思路把这个问题转换成尽可能将 stones 分成两个等分子集&#xf…...

编程日记 2025/5/30 13:51:37

iperf网络性能测试

iperf 是一个网络性能测试工具，用于测量网络带宽、延迟、抖动等性能指标。它支持 TCP 和 UDP 协议，可以在客户端和服务器模式下运行，广泛用于网络性能评估和故障排查。主要功能带宽测试：测量网络的最大可用带宽。延迟测试&…...

编程日记 2025/5/31 8:23:30

基于 Nginx 的 WebSocket 反向代理实践

一、HTTP 协议升级机制回顾 Upgrade/Connection 报头客户端发起 WebSocket 握手时，会在普通 HTTP 请求中加入Upgrade: websocket Connection: Upgrade Sec-WebSocket-Key: <随机值> Sec-WebSocket-Version: 13服务端若接受协议切换，会以 101 Swit…...

编程日记 2025/5/30 21:33:12

C++ 同步原语

同步原语（Synchronization Primitives）是操作系统和编程语言提供的基本工具，用于在多线程或并发环境中协调线程（或进程）之间的执行顺序，管理共享资源的访问，以避免数据竞争（data rac…...

编程日记 2025/6/4 8:00:29

mmap详解

mmap详解 mmap基础概念mmap内存映射原理mmap相关函数调用mmap的使用细节mmap和常规文件操作的区别 mmap基础概念 mmap是一种内存映射文件的方法，即将一个文件或者其它对象映射到进程的地址空间，实现文件磁盘地址和进程虚拟地址空间中一段虚拟地址的一一…...

编程日记 2025/6/1 12:38:45

基于大模型底座重构司法信息系统

前置篇章：法律智能体所需的基础知识构建一个高效的法律智能体，特别是在基于RAG（Retrieval-Augmented Generation）架构的背景下，需要融合多种学科和领域的知识。以下是对法律智能体开发和应用所需核心基础知识的简要介…...

编程日记 2025/5/30 22:21:48

如何判断你的PyTorch是GPU版还是CPU版？

如何判断你的PyTorch是GPU版还是CPU版？ PyTorch作为当前最流行的深度学习框架之一，支持在CPU和GPU(NVIDIA CUDA)上运行。对于深度学习开发者来说，正确识别PyTorch版本至关重要，因为GPU版本可以带来10-100倍的性能提升。本文将全面…...

编程日记 2025/5/30 21:00:48

Leetcode刷题记录19——无重复字符的最长子串

题源：https://leetcode.cn/problems/longest-substring-without-repeating-characters/description/?envTypestudy-plan-v2&envIdtop-100-liked 题目描述： 思路一： 通过两个指针，第一个指针指向字串的开头，第二…...

编程日记 2025/5/26 21:05:08

SpringBoot程序的创建以及特点，配置文件，LogBack记录日志，配置过滤器、拦截器、全局异常

一、创建一个SpringBoot程序在之前写过一篇如何创建SpringBoot程序，两种方式，方法1：通过maven创建SpringBoot项目方法2：使用Spring Initialzr创建一个SpringBoot项目（缺点：当创建项目时网络中断&#x…...

编程日记 2025/6/3 10:40:43

Ubuntu20.04 Ollama 配置相关

Ubuntu20.04 Ollama 配置相关 Ubuntu20.04 Ollama 配置相关ollama修改配置文件常用命令修改端口局域网访问 Ubuntu20.04 Ollama 配置相关 ollama修改配置文件常用命令 sudo gedit /etc/systemd/system/ollama.service systemctl daemon-reload systemctl restart ollama sys…...

编程日记 2025/6/3 10:40:58

python调用ffmpeg对截取视频片段，可批量处理

本文完全免费，非VIP文章，如果您发现需VIP可看全文，请邮箱联系我：openwebsitefoxmail.com 文章目录 python调用ffmpeg对截取视频片段，可批量处理用到的ffmpeg命令python调用bash指令的方法python处理代码准备函数python…...

编程日记 2025/5/30 3:46:48

【WLAN】华为无线AC双机热备负载分担—双链路热备份

配套实验拓扑可以下载学习交流：【WLAN】华为无线AC双机负载分担—双链路热备份双链路备份的传统配置方式是在主、备AC上为AP指定对方AC的IP地址，并分别配置优先级，通过比较优先级的方式来确定主、备AC。为简化配置逻辑，新配置方式…...

编程日记 2025/5/28 20:26:29

学习笔记——《Java面向对象程序设计》-内部类、匿名类、异常类

参考教材： Java面向对象程序设计（第3版）微课视频版清华大学出版社 1、内部类类中可以有两种重要的成员：成员变量和方法。实际上Java还允许类可以有一种成员：内部类。内部类可以使用其外嵌类中的成员变量&#x…...

编程日记 2025/6/2 3:58:15

BS架构与CS架构的对比分析：了解两种架构的不同特点与应用

目录前言1. BS架构概述1.1 什么是BS架构？1.2 BS架构的主要特点 2. CS架构概述2.1 什么是CS架构？2.2 CS架构的主要特点 3. BS架构与CS架构的对比3.1 用户体验3.2 安全性3.3 适用场景 4. 结语前言在现代软件开发中，架构设计决定了应用的性能…...

编程日记 2025/5/30 10:41:10

ARM架构的微控制器总线矩阵优先级与配置

在 ARM 架构的微控制器中，总线矩阵的优先级与配置是确保多主设备（如 CPU、DMA 等）高效协同工作的关键。总线矩阵通过仲裁逻辑（Arbiter）管理主设备对共享资源的访问冲突，优先级配置直接影响系统的实时性、带宽利用率和任务响应速度。以下是总线矩阵优先级机制及配置的详细…...

编程日记 2025/5/30 10:58:29

高速系统设计理论基础

如前一章所述，在进行高速系统设计时，最重要的是要从基本理论出发，只有掌握了基本理论，然后才能谈到其他的设计技术和技巧。本章主要介绍微波电磁理论基础，及其在高速系统设计中的工程化分析方法和应用。通过对微波信号…...

编程日记 2025/6/3 13:15:06

Python-MCPServer开发

Python-MCPServer开发使用FastMCP开发【SSE模式的MCPServer】，熟悉【McpServer编码过程】【McpServer调试方法】 1-核心知识点 1-熟悉【SSE模式的MCPServer】开发2-熟悉【stdio模式的MCPServer】开发3-熟悉【启动MCPServer】的三种方式 3.1-直接启动:python mcp_s…...

编程日记 2025/6/2 0:22:24

Springboot集成SSE实现消息推送＋RabbitMQ解决集群环境下SSE通道跨节点事件推送问题

SSE连接介绍，SSE对比WebSocket Server-Sent Events (SSE) 是一种基于 HTTP 协议的轻量级实时通信技术，允许服务器向客户端推送数据。以下是 SSE 的主要特点： 单向通信：SSE 仅支持服务器向客户端推送数据，客户端不能通…...

编程日记 2025/5/30 6:02:36

Kettle学习

一、Kettle 简介 Kettle（现称为 Pentaho Data Integration）是一款开源ETL工具，支持从多种数据源抽取、转换和加载数据，广泛应用于数据仓库构建、数据迁移和清洗。其核心优势包括：可视化操作：通过拖拽组件设计数据处理流程（转换和作业）。多数据源支持：数据库（MySQL/…...

编程日记 2025/6/4 6:57:33

科学养生，开启健康生活新方式

在快节奏的现代生活中，健康养生已成为人们关注的焦点。科学的养生方式不仅能增强体质，还能有效预防疾病，提升生活质量。合理饮食是健康养生的基础。日常饮食应遵循均衡原则，保证蛋白质、碳水化合物、脂肪、维生素和矿物质的合…...

编程日记 2025/5/29 10:17:58

brew 安装openjdk查看其版本

使用brew（如果你使用Homebrew安装） 如果你通过Homebrew安装了OpenJDK，可以使用以下命令来查看安装的版本,： brew list --versions openjdk8 这将会列出所有通过Homebrew安装的OpenJDK版本及其版本号。 3. 查看/usr/libexec/ja…...

编程日记 2025/6/4 6:57:14

基于大模型对先天性幽门肥厚性狭窄预测及临床方案的研究报告

目录一、引言 1.1 研究背景与目的 1.2 国内外研究现状 1.3 研究方法与创新点二、先天性幽门肥厚性狭窄概述 2.1 定义与发病机制 2.2 流行病学特征 2.3 病理与解剖特点三、大模型预测原理及构建 3.1 大模型简介 3.2 数据收集与预处理 3.3 模型训练与优化四、大…...

编程日记 2025/5/31 3:28:56

【开源】基于51单片机的温湿度检测报警系统

项目说明该设计是一个简易的基于51单片机的温湿度检测报警系统，功能说明： 使用LCD1602实时显示当前的温湿度。读取DHT11的温湿度值，如果温度大于最大设定值，LED1亮，如果温度小于最小设定值，LED2亮。如果…...

编程日记 2025/5/31 10:55:07

2025年4月25日第一轮

1.作文 The increasing reliance on onlineshopping has brought both convince and challenge to consumsers.It is of great nesscity for poeple to adapt better strategies to cope with these challenges.Resons and concrete evidence to support my view are as fello…...

编程日记 2025/6/4 16:46:04

相关文章：