当前位置：首页 > news >正文

DeepSeek 大模型 + LlamaIndex + MySQL 数据库 + 知识文档实现简单 RAG 系统

news 来源：原创 2025/7/24 2:09:02

DeepSeek 大模型 + LlamaIndex + MySQL 数据库 + 知识文档实现简单 RAG 系统

在这里插入图片描述

以下是一个使用 DeepSeek 大模型（假设为一个高性能的中文大模型）、LlamaIndex、MySQL 数据库 和 知识文档 实现简单 RAG（检索增强生成）系统的完整示例。该示例将涵盖从数据准备到最终响应生成的全过程，并附带详细代码和注释。

1. 环境准备

1.1 安装依赖

首先，确保安装了必要的 Python 库：

pip install llama-index deepseek-cpm mysql-connector-python

1.2 准备 MySQL 数据库

假设我们有一个简单的 MySQL 数据库，包含一个 documents 表，结构如下：

CREATE TABLE documents (id INT AUTO_INCREMENT PRIMARY KEY,content TEXT
);

插入一些示例数据：

INSERT INTO documents (content) VALUES 
('去年公司的营收为10亿元人民币。'),
('今年计划增加研发投入，预算为2亿元。');

1.3 准备知识文档

假设我们有一份知识文档 knowledge.txt，内容如下：

公司成立于2010年，专注于技术研发。
去年的研发投入为5亿元。

2. 数据加载与索引构建

2.1 从 MySQL 数据库加载数据

import mysql.connectordef load_data_from_mysql():# 连接 MySQL 数据库conn = mysql.connector.connect(host="localhost",user="yourusername",password="yourpassword",database="yourdatabase")cursor = conn.cursor()# 查询 documents 表中的所有记录cursor.execute("SELECT content FROM documents")rows = cursor.fetchall()# 将查询结果转换为文本列表documents = [row[0] for row in rows]cursor.close()conn.close()return documents# 加载 MySQL 数据
mysql_documents = load_data_from_mysql()
print("Loaded from MySQL:", mysql_documents)

2.2 从知识文档加载数据

def load_data_from_file(file_path):with open(file_path, 'r', encoding='utf-8') as file:content = file.read()return [content]# 加载知识文档
file_documents = load_data_from_file('knowledge.txt')
print("Loaded from file:", file_documents)

2.3 合并数据并构建索引

from llama_index import SimpleDirectoryReader, GPTListIndex, Documentdef build_index(documents):# 将文档列表转换为 Document 对象docs = [Document(text) for text in documents]# 构建索引index = GPTListIndex.from_documents(docs)return index# 合并来自 MySQL 和文件的数据
all_documents = mysql_documents + file_documents
print("All documents:", all_documents)# 构建索引
index = build_index(all_documents)

3. RAG 流程实现

3.1 定义查询函数

def query_index(index, query_text):response = index.query(query_text)return response.response# 测试查询
query = "去年公司的研发投入是多少？"
response = query_index(index, query)
print("Query Response:", response)

3.2 结合 DeepSeek 大模型生成最终回答

假设 deepseek_cpm 是一个封装好的 DeepSeek 大模型调用接口：

import deepseek_cpmdef generate_response_with_model(query, context):prompt = f"问题: {query}\n上下文: {context}\n回答:"response = deepseek_cpm.generate(prompt)return response# 获取检索结果作为上下文
context = query_index(index, query)
final_response = generate_response_with_model(query, context)
print("Final Response with Model:", final_response)

4. 完整代码示例

以下是将上述步骤整合在一起的完整代码示例：

import mysql.connector
from llama_index import SimpleDirectoryReader, GPTListIndex, Document
import deepseek_cpm# 1. 从 MySQL 数据库加载数据
def load_data_from_mysql():conn = mysql.connector.connect(host="localhost",user="yourusername",password="yourpassword",database="yourdatabase")cursor = conn.cursor()cursor.execute("SELECT content FROM documents")rows = cursor.fetchall()documents = [row[0] for row in rows]cursor.close()conn.close()return documents# 2. 从知识文档加载数据
def load_data_from_file(file_path):with open(file_path, 'r', encoding='utf-8') as file:content = file.read()return [content]# 3. 合并数据并构建索引
def build_index(documents):docs = [Document(text) for text in documents]index = GPTListIndex.from_documents(docs)return index# 4. 定义查询函数
def query_index(index, query_text):response = index.query(query_text)return response.response# 5. 结合 DeepSeek 大模型生成最终回答
def generate_response_with_model(query, context):prompt = f"问题: {query}\n上下文: {context}\n回答:"response = deepseek_cpm.generate(prompt)return response# 主程序
if __name__ == "__main__":# 加载数据mysql_documents = load_data_from_mysql()file_documents = load_data_from_file('knowledge.txt')all_documents = mysql_documents + file_documents# 构建索引index = build_index(all_documents)# 测试查询query = "去年公司的研发投入是多少？"context = query_index(index, query)final_response = generate_response_with_model(query, context)print("Final Response with Model:", final_response)

5. 表格整理总结

步骤	操作内容	注意事项
1. 环境准备	安装必要库，准备 MySQL 数据库和知识文档。	确保数据库连接信息正确，文档路径有效。
2. 数据加载	从 MySQL 和知识文档中加载数据。	数据格式应统一，避免编码问题。
3. 索引构建	将加载的数据合并并构建 LlamaIndex 索引。	索引构建可能耗时，根据数据量选择合适索引类型。
4. RAG 查询	使用 LlamaIndex 进行检索，获取相关上下文。	查询语句应简洁明了，便于模型理解。
5. 模型生成	结合检索结果和原始查询，使用 DeepSeek 大模型生成最终回答。	提供足够上下文信息，避免模型“幻觉”现象。
6. 结果展示	将最终回答返回给用户。	格式化输出，提升用户体验。

6. 总结

通过上述步骤，我们实现了一个简单的 RAG 系统，该系统结合了 DeepSeek 大模型、LlamaIndex、MySQL 数据库 和 知识文档，能够根据用户查询动态检索相关信息并生成准确的回答。此示例展示了 RAG 技术的基本流程和关键要点，适用于多种实际应用场景（如企业知识库、客服系统等）。

如果需要进一步优化或扩展功能（如多轮对话、错误处理等），可以根据具体需求进行调整。

DeepSeek 大模型 + LlamaIndex + MySQL 数据库 + 知识文档 实现简单 RAG 系统

1. 环境准备

1.1 安装依赖

1.2 准备 MySQL 数据库

1.3 准备知识文档

2. 数据加载与索引构建

2.1 从 MySQL 数据库加载数据

2.2 从知识文档加载数据

2.3 合并数据并构建索引

3. RAG 流程实现

3.1 定义查询函数

3.2 结合 DeepSeek 大模型生成最终回答

4. 完整代码示例

5. 表格整理总结

6. 总结

相关文章：

DeepSeek 大模型 + LlamaIndex + MySQL 数据库 + 知识文档实现简单 RAG 系统