当前位置：首页 > news >正文

大模型RAG项目实战-知识库问答助手v1版

news 来源：原创 2025/8/25 18:46:08

安装 Ollama

根据官网指导，安装对应版本即可。

下载安装指导文档：

handy-ollama/docs/C1/1. Ollama 介绍.md at main · datawhalechina/handy-ollama

注意：在 Windows 下安装 Ollama 后，强烈建议通过配置环境变量来修改模型存储位置，不然就会默认存储在 C 盘目录下，而大模型文件一般都比较大。

知识库问答助手

架构图

RAG 知识库架构图如下：

知识库

知识库分块

功能：读取知识库文本文件，并将内容分割成多个段落块。

# 1、读取文件内容
with open("knowledge/中医v1.txt", encoding="utf-8", mode="r") as fp:data = fp.read()# 2、根据换行分割
chunk_list = data.split("\n\n")
chunk_list = [chunk for chunk in chunk_list if chunk]
print(chunk_list)

文本向量化

功能：将分块后的文本，通过调用文本向量模型，进行向量化。

import requeststext = "感冒发烧"res = requests.post(url="http://127.0.0.1:11434/api/embeddings",json={"model": "nomic-embed-text","prompt": text},
)embedding_list = res.json()['embedding']print(text)
print(len(embedding_list), embedding_list)

向量数据库

功能：将文本向量化后，存储到向量数据库中，这里用 Chroma 向量数据库，支持通过语义相似度进行搜索。

import uuid
import chromadb
import requestsdef ollama_embedding_bye_api(text):res = requests.post(url="http://127.0.0.1:11434/api/embeddings",json={"model": "nomic-embed-text","prompt": text},)embedding_list = res.json()['embedding']return embedding_listclient = chromadb.PersistentClient(path="db/chroma_demo")
collection = client.get_or_create_collection(name="collection_v1")documents = ["风寒感冒", "寒邪客胃", "心脾两虚"]
ids = [str(uuid.uuid4()) for _ in documents]
embeddings = [ollama_embedding_bye_api(text) for text in documents]# 插入数据
collection.add(ids=ids,documents=documents,embeddings=embeddings
)# 关键字搜索
qs = "感冒胃疼"
qs_embedding = ollama_embedding_bye_api(qs)res = collection.query(query_embeddings=[qs_embedding, ], query_texts=qs, n_results=2)
print(res)

推理模型

功能：调用 AI 大模型，实现文本生成功能

import requestsprompt = "今天天气怎么样"response = requests.post(url="http://127.0.0.1:11434/api/generate",json = {"model": "deepseek-r1:1.5b","prompt": prompt,"stream": False}
)
res = response.json()['response']
print(res)

集成

完整代码：

import uuidimport chromadb
import requestsdef file_chunk_list():# 1、读取文件内容with open("knowledge/中医v1.txt", encoding="utf-8", mode="r") as fp:data = fp.read()# 2、根据换行分割chunk_list = data.split("\n\n")chunk_list = [chunk for chunk in chunk_list if chunk]return chunk_listdef ollama_embedding_bye_api(text):res = requests.post(url="http://127.0.0.1:11434/api/embeddings",json={"model": "nomic-embed-text","prompt": text},)embedding_list = res.json()['embedding']return embedding_listdef ollama_generate_by_api(prompt):response = requests.post(url="http://127.0.0.1:11434/api/generate",json={"model": "deepseek-r1:1.5b","prompt": prompt,"stream": False})res = response.json()['response']return resdef initial():client = chromadb.PersistentClient(path="db/chroma_demo")# 创建集合# client.delete_collection("collection_v2")collection = client.get_or_create_collection(name="collection_v2")# 构造数据documents = file_chunk_list()ids = [str(uuid.uuid4()) for _ in range(len(documents))]embeddings = [ollama_embedding_bye_api(text) for text in documents]# 插入数据collection.add(ids=ids,documents=documents,embeddings=embeddings,)def run():# 关键字搜索qs = "风寒感冒"qs_embedding = ollama_embedding_bye_api(qs)client = chromadb.PersistentClient(path="db/chroma_demo")collection = client.get_collection(name="collection_v2")res = collection.query(query_embeddings=[qs_embedding, ], query_texts=qs, n_results=2)result = res["documents"][0]context = "\n".join(result)print(context)prompt = f"""你是一个中医问答机器人，任务是根据参考信息回答用户问题，如果参考信息不足以回答用户问题，请回复不知道，不要去杜撰任何信息参考信息：{context},来回答问题：{qs},"""result = ollama_generate_by_api(prompt)print(result)if __name__ == "__main__":initial()run()

项目参考：

【大模型RAG完整教程】手把手带你结合项目实战，完成一套完整的RAG项目！增加检索/文本向量/知识库搭建_哔哩哔哩_bilibili

大模型RAG项目实战-知识库问答助手v1版

安装 Ollama 根据官网指导，安装对应版本即可。下载安装指导文档： handy-ollama/docs/C1/1. Ollama 介绍.md at main datawhalechina/handy-ollama 注意：在 Windows 下安装 Ollama 后，强烈建议通过配置环境变量来修改模型存储…...

编程日记 2025/8/25 18:46:08

【云计算】打造高效容器云平台：规划、部署与架构设计

引言随着移动互联网时代的大步跃进，互联网公司业务的爆炸式增长发展给传统行业带来了巨大的冲击和挑战，被迫考虑转型和调整。对于我们传统的航空行业来说，还存在传统的思维、落后的技术。一项新业务从提出需求到立项审批、公开招标、项目实…...

编程日记 2025/8/24 21:25:32

AI智慧共治新未来——社会综合治理智慧化系统

针对社会综合治理中乱倒垃圾、乱停车、乱贴广告等不文明行为的识别与处置难题，“社会综合治理智慧化系统”融合“技防人防共治”理念，通过人工智能、智能监控与数据驱动的综合手段，构建了一套高效、智能、可扩展的城市治理工具。以下是系统的…...

编程日记 2025/8/25 1:03:34

MySQL学习笔记（四）——DML和DQL

目录 1. DML 1.1 添加数据 1.1.1 给指定字段添加数据 1.1.2 给全部字段添加数据 1.1.3 批量添加数据 1.2 修改数据 1.3 删除数据 2. DQL 2.1 基本语法 2.2 基础查询 2.2.1 查询多个字段 2.2.2 字段设置别名 2.2.3 去除重复记录 2.3 条件查询 2.4 聚合函数 2.5 …...

编程日记 2025/8/24 21:17:03

AWS SNS深度解析：构建高可用、可扩展的云原生消息通信解决方案

引言在云原生架构中，高效的消息通信是系统解耦、实时响应的核心需求。AWS Simple Notification Service（SNS）作为一款全托管的发布/订阅（Pub/Sub）服务，为开发者提供了灵活、可靠的消息分发能力。本文将从…...

编程日记 2025/8/24 23:08:47

大数据（5）Spark部署核弹级避坑指南：从高并发集群调优到源码级安全加固（附万亿级日志分析实战+智能运维巡检系统）

目录背景一、Spark核心架构拆解1. 分布式计算五层模型二、五步军工级部署阶段1：环境核弹级校验阶段2：集群拓扑构建阶段3：黄金配置模板阶段4：高可用启停阶段5：安全加固方案三、万亿级日志分析实战1. 案例背景&#x…...

编程日记 2025/8/20 14:39:07

阿里云域名证书自动更新acme.sh

因为阿里云的免费证书只有三个月的有效期，每次更换都比较繁琐，所以找到了 acme.sh，还有一种 certbot 我没有去了解，就直接使用了 acme.sh 来更新证书，acme.sh 的主要特点就是： 支持多种 DNS 服务商自动化续…...

编程日记 2025/8/21 4:58:10

HCIP第二次作业

一、拓扑图二、需求 1.按照图示的VLAN及IP地址需求，完成相关配置 2.要求SW1为VLAN 2/3的主根及主网关，SW2为vlan 20/30的主根及主网关，SW1和SW2互为备份 3.上层通过静态路由协议完成数据通信过程 4.AR1为企业出口路由器 5.要求全网可达…...

编程日记 2025/8/23 8:32:25

数据驱动可视化实战：图表狐精准生成图表的完整数据范式

一、数据输入黄金法则图表狐 - AI图表生成工具,在线数据可视化要求数据描述必须包含三个核心要素： [主体对象] [量化指标] [维度划分] 错误示例 ❌： "展示各部门销售额对比" 正确示例 ✅： "2023年Q1-Q4各部门销售额&a…...

编程日记 2025/8/25 18:43:49

代码随想录算法训练营第五十二天|图论专题： 101. 孤岛的总面积、102. 沉没孤岛、103. 水流问题、104. 建造最大岛屿

101. 孤岛的总面积本题要求找到不靠边的陆地面积，那么我们只要从周边找到陆地然后通过 dfs或者bfs 将周边靠陆地且相邻的陆地都变成海洋，然后再去重新遍历地图统计此时还剩下的陆地就可以了。 1、从左边和后边向中间遍历 2、从上边和下边向中间遍历…...

编程日记 2025/8/20 18:21:41

Sentinel核心源码分析（下）

文章目录前言一、StatisticSlot的异常处理二、SentinelResourceAspect的异常处理三、entry.exit2.1、StatisticSlot的exit2.2、DegradeSlot的exit 总结前言在上篇中，主要记录了Sentinel与Spring Boot的整合，以及责任链的构建，执行的过程。…...

编程日记 2025/8/23 8:53:08

如何将内网的IP地址映射到外网？详细方法与步骤解析

01 为什么需要将内网IP映射到外网在当今数字化时代，远程访问内网资源已成为许多企业和个人的刚需。将内网IP地址映射到外网的主要目的是允许外部网络访问内网中的特定服务，比如Web服务器、远程桌面、文件共享等应用场景。无论是企业需要远程办公访问内…...

编程日记 2025/8/20 4:26:45

八股补充说明

ConcurrentHashMap 默认使用16个段，主要是为了平衡并发性能和内存占用。16个段的选择来源于历史经验和实际测试，能够在多数应用中提供较好的性能。注意：可达性分析法是对所有引用类型都进行分析总结表： 引用类型与根对象的关系回…...

编程日记 2025/8/20 22:46:04

数字三角形(dfs+动态规划）通过率未达100%

数字三角形题目描述上图给出了一个数字三角形。从三角形的顶部到底部有很多条不同的路径。对于每条路径，把路径上面的数加起来可以得到一个和，你的任务就是找到最大的和。路径上的每一步只能从一个数走到下一层和它最近的左边的那个数或者右边的那…...

编程日记 2025/8/24 13:33:24

版本控制工具——Git

目录【版本控制系统】【Git概述】【Git下载】【Git初始化本地仓库并推送】【克隆目标仓库】【Git团队开发的一种流程】【Git客户端TortoiseGit】【下载、克隆和分支之间的区别】【下载GitHub中的子文件夹】【不用魔法的访问方法】【GitHub官方文档】【版…...

编程日记 2025/8/20 13:10:49

计算机网络学习前言

前言该部分说明计算机网络是什么？它有什么作用和功能？值不值得我们去学习？我们该如何学习？这几个部分去大概介绍计算机网络这门课程，往后会介绍计算机网络的具体知识点。 1.计算机网络是什么？ 计算机网…...

编程日记 2025/8/20 18:09:38

Python爬虫第6节-requests库的基本用法

目录前言一、准备工作二、实例引入三、GET请求 3.1 基本示例 3.2 抓取网页 3.3 抓取二进制数据 3.4 添加headers 四、POST请求五、响应前言前面我们学习了urllib的基础使用方法。不过，urllib在实际应用中存在一些不便之处。以网页验证和Cookies处理…...

编程日记 2025/8/19 17:49:15

当实体类中的属性名和表中的字段名不一样，怎么办

在不同的持久化框架中，当实体类中的属性名和表中的字段名不一致时，有不同的解决办法，下面为你详细介绍： 1. MyBatis MyBatis 是一个流行的持久层框架，有两种主要方式来处理属性名和字段名不一致的情况。方式一&…...

编程日记 2025/8/23 22:27:55

我用deepseek制作了一份建设项目从立项到验收全流程手册《从蓝图到交付：建设项目全生命周期管理实战手册》

建设项目全流程详解（2025年更新版） ‌一、立项决策阶段‌ ‌项目建议书编制‌ 明确建设背景、必要性、初步规模及投资估算，形成《项目建议书》报审材料 ‌12 ‌可行性研究深化‌ 完成市场供需分析、技术方案比选、环境影响评估、财务敏感性…...

编程日记 2025/8/24 2:04:41

力扣HOT100之链表：19. 删除链表的倒数第 N 个结点

这道题的思路比较简单，直接定义一个虚拟头节点，然后再定义快慢指针，快慢指针在初始状态下都指向虚拟头节点，然后让快指针先走n步，慢指针停在原地，然后快慢指针同步前进，当快指针fast指向最后一个…...

编程日记 2025/8/22 11:06:39

【Django】教程-11-ajax弹窗实现增删改查

【Django】教程-1-安装创建项目目录结构介绍【Django】教程-2-前端-目录结构介绍【Django】教程-3-数据库相关介绍【Django】教程-4-一个增删改查的Demo 【Django】教程-5-ModelForm增删改查规则校验【正则钩子函数】【Django】教程-6-搜索框-条件查询前后端【Django】教程…...

编程日记 2025/8/24 18:18:20

大厂算法面试 7 天冲刺：第7天-系统设计与模拟面试实战 —— 架构思维 + Java落地

🏗️ 第7天：系统设计与模拟面试实战 —— 架构思维 Java落地 📚 一、What：系统设计是什么？ 系统设计是对一个复杂系统的高可用、高性能、高扩展性架构进行顶层思考和具体实现的过程。 🔧 涉及核心主题&a…...

编程日记 2025/8/20 7:50:35

面试题汇总06-场景题线上问题排查难点亮点

面试题汇总06-场景题&线上问题排查&难点亮点【一】场景题【1】订单到期关闭如何实现【2】每天100w次登录请求，4C8G机器如何做JVM调优？（1）问题描述和分析（2）堆内存设置（3）垃圾收集器选择（4）各区大小设置（5）添加必要的日志【3】如果你的业务量突然提升100倍…...

编程日记 2025/8/17 22:18:46

AI训练存储架构革命：存储选型白皮书与万卡集群实战解析

一、引言在人工智能技术持续高速发展的当下，AI 训练任务对存储系统的依赖愈发关键，而存储系统的选型也变得更为复杂。不同的 AI 训练场景，如机器学习与大模型训练，在模型特性、GPU 使用数量以及数据量带宽等方面的差异&#xff…...

编程日记 2025/8/22 11:36:41

数据结构实验3.1：顺序栈的基本操作与进制转换

文章目录一，问题描述二，基本要求三，算法分析四，示例代码五，实验操作六，运行效果一，问题描述在数据处理中，常常会遇到需要对链接存储的线性表进行操作的情况。本次任务聚焦于将链…...

编程日记 2025/8/19 19:03:40

https://hub.docker.com/r/dorowu/ubuntu-desktop-lxde-vnc 下载nvc 客户端 https://downloads.realvnc.com/download/file/viewer.files/VNC-Viewer-7.12.0-Windows.exe 服务端 docker pull dorowu/ubuntu-desktop-lxde-vnc#下载成功 docker pull dorowu/ubuntu-desktop-l…...

编程日记 2025/8/19 19:24:46

JGraphT 在 Spring Boot 中的应用实践

1. 引言 1.1 什么是 JGraphT JGraphT 是一个用于处理图数据结构和算法的 Java 库，提供了丰富的图类型和算法实现。 1.2 为什么使用 JGraphT 丰富的图类型：支持简单图、多重图、伪图等多种图类型。强大的算法库：提供最短路径、最小生成树、拓扑排序等多种算法。易于集成：…...

编程日记 2025/8/20 23:28:36

.net6 中实现邮件发送

一、开启邮箱服务先要开启邮箱的 SMTP 服务，获取授权码，在实现代码发送邮件中充当邮箱密码用。在邮箱的设置 > 账号 > POP3/IMAP/SMTP/Exchange/CardDAV/CalDAV服务中，把 SMTP 服务开启，获取授权码。二、安装库安装 …...

编程日记 2025/8/20 12:45:20

MySQL 触发器与存储过程：数据库的自动化工厂

在数据世界的工业区，有一座运转高效的自动化工厂，那里的机器人日夜不停地处理数据…这就是 MySQL 的触发器与存储过程系统，它让数据库从"手工作坊"变成了"现代化工厂"… 什么是 MySQL 触发器与存储过程？&…...

编程日记 2025/8/21 16:08:02

计科数据库第二次上机操作--实验二表的简单查询

一、建数据库和表 1．启动数据库服务软件 Navicat 2．在 Navicat 中建立数据库 test 3. 在test数据库上建立teacher表： 二、基本查询 2.1 从teacher表中分别检索出教师的所有信息 SELECT * FROM teacher WHERE 教工号2000; SELECT * FROM t…...

编程日记 2025/8/24 2:16:00

⭐算法OJ⭐滑动窗口最大值【双端队列(deque)】Sliding Window Maximum

文章目录双端队列(deque)详解基本特性常用操作1. 构造和初始化2. 元素访问3. 修改操作4. 容量操作性能特点时间复杂度：空间复杂度： 滑动窗口最大值题目描述方法思路解决代码双端队列(deque)详解双端队列(deque，全称double-ended queue)是…...

编程日记 2025/8/19 12:06:44

LeetCode刷题SQL笔记

系列博客目录文章目录系列博客目录1.distinct关键字去除重复2.char_length()3.group by 与 count()连用4.date类型有个函数datediff()5.mod 函数6.join和left join的区别1. **JOIN（内连接，INNER JOIN）**示例： 2. **LEFT JOIN&a…...

编程日记 2025/8/22 14:10:26

Ubuntu中MATLAB启动图标设置

打开终端，键入 su root 输入root密码键入：vi /usr/share/applications/Matlab.desktop 打开了一个空白文档，按键“i”，进入编辑模式，键入如下内容： [Desktop Entry] NameMatlabR2017b CommentMatlab R…...

编程日记 2025/8/19 17:06:31

Django分页教程及示例

推荐超级课程：本地离线DeepSeek AI方案部署实战教程【完全版】Docker快速入门到精通Kubernetes入门到大师通关课AWS云服务快速入门实战目录完整代码示例：结论Django的分页模块允许你将大量数据分割成更小的块（页面）。这对于以可管理的方式显示项目列表，如博客文章或产品…...

编程日记 2025/8/24 17:23:52

Ansible的使用

##### Ansible使用环境 - 控制节点 - 安装Ansible软件 - Python环境支持：Python>2.6 - 必要的模块：如PyYAML等 - 被控节点 - 启用SSH服务 - 允许控制节点登录，通常设置免密登录 - Python环境支持 http://www.ansible.com/ …...

编程日记 2025/8/22 13:37:19

JBDC Java数据库连接（1）

目录 JDBC概述定义 JDBC API 实例 JDBC搭建建立与数据库连接： 形式： 实例获得Satement执行sql语句 Satement中的方法: 实例实例 JDBC概述定义 JDBC（Java DataBase Connectivity）java数据库连接是一种用于执行SQL…...

编程日记 2025/8/20 2:08:48

tomcat的负载均衡和会话保持

写你的想写的东西，写在tomcat的默认发布目录中这里写了一个jsp的文件访问成功可以用nginx实现反向代理 tomcat负载均衡实现： 这里使用的算法是根据cookie值进行哈希，根据ip地址哈希会有问题.如果是同一台主机再怎么访问都是同一个ip。 t…...

编程日记 2025/8/25 15:32:55

蓝桥杯 web 新鲜的蔬菜（css3）

思路： 首先将.box容器设置为网格布局 display:grid;同时将网格分成3列3行然后：通过子选择器或后代选择器选中相应的元素，再通过 grid-area 将其调整到相应的位置答案： .box {display: grid;grid-template-columns: 1fr 1fr …...

编程日记 2025/8/20 2:26:42

【AI学习】初步了解TRL

TRL（Transformer Reinforcement Learning） 是由 Hugging Face 开发的一套基于强化学习（Reinforcement Learning, RL）的训练工具，专门用于优化和微调大规模语言模型（如 GPT、LLaMA 等）。它结合了…...

编程日记 2025/8/19 18:58:43

2025-04-07 NO.3 Quest3 MR 配置

文章目录 1 MR 介绍1.1 透视1.2 场景理解1.3 空间设置 2 配置 MR 环境2.1 场景配置2.2 MR 配置 3 运行测试配置环境： Windows 11Unity 6000.0.42f1Meta SDK v74.0.2Quest3 1 MR 介绍 1.1 透视透视（Passthrough）是将应用的背景从虚拟的…...

编程日记 2025/8/22 10:03:00

Kafka在Vue和Spring Boot中的使用实例

Kafka在Vue和Spring Boot中的使用实例一、项目概述本项目演示了如何在Vue前端和Spring Boot后端中集成Kafka，实现实时消息的发送和接收，以及数据的实时展示。后端实现：springboot配置、kafka配置、消息模型和仓库、消息服务和消费者、we…...

编程日记 2025/8/24 2:05:01

层归一化详解及在 Stable Diffusion 中的应用分析

在深度学习中，归一化（Normalization）技术被广泛用于提升模型训练的稳定性和收敛速度。本文将详细介绍几种常见的归一化方式，并重点分析它们在 Stable Diffusion 模型中的实际使用场景。一、常见的归一化技术名称归一化维度应用…...

编程日记 2025/8/20 7:56:18

【C++DFS 马拉车】3327. 判断 DFS 字符串是否是回文串|2454

本文涉及知识点 CDFS 马拉车 LeetCode3327. 判断 DFS 字符串是否是回文串给你一棵 n 个节点的树，树的根节点为 0 ，n 个节点的编号为 0 到 n - 1 。这棵树用一个长度为 n 的数组 parent 表示，其中 parent[i] 是节点 i 的父节点。由于节点 …...

编程日记 2025/8/17 22:18:38

前端开发vue项目（node-modules 可视化神器 Node Modules Inspector）

node-modules 可视化神器 Node Modules Inspector 简介功能特点使用场景实现原理使用Node Modules Inspector提供简介 Node Modules Inspector 是一个用于检查和分析 Node.js 项目中模块依赖关系的工具功能特点依赖分析：它能够深入剖析 Node.js项目中的模块依…...

编程日记 2025/8/21 4:12:25

25统计建模半自动化辅助排版模板及论文排版格式要求

1.除封面页外，不得在其他页出现学校、参赛队及指导教师的信息。 2.目录应由论文的篇、章、节、条、款以及附录题录等的序号、题名和页码组成。正文页码单独编列，其页码从正文第一页开始编写。 3.标题和正文：论文正文总标题（题目…...

编程日记 2025/8/24 8:33:31

武汉迅狐科技：AI赋能企业营销，打造智能获客新范式

在数字化营销竞争日益激烈的今天，武汉迅狐科技有限公司凭借其创新的AI技术和智能营销解决方案，正在帮助企业突破传统获客瓶颈，实现营销效率的指数级提升。作为一家专注于AI获客软件研发的高新技术企业，迅狐科技推出的矩阵系统、数…...

编程日记 2025/8/20 2:36:04

Tomcat：Java Web 应用开发的核心容器

在Java Web开发领域，Apache Tomcat凭借其开源特性、轻量级架构和强大的功能支持，成为开发者部署和运行Servlet、JSP应用的首选容器。作为Apache软件基金会旗下的Jakarta项目成果，Tomcat不仅实现了Java EE（现Jakarta EE&#xff09…...

编程日记 2025/8/25 13:26:22

Tomcat 安装与配置：超详细指南

目录一、安装前的准备工作（一）配置 JAVA_HOME 环境变量二、下载 Tomcat（一）Windows 系统（二）macOS/Linux 系统三、安装 Tomcat（一）Windows 系统（二）Linux …...

编程日记 2025/8/25 2:17:14

科技快讯 | DeepSeek 公布模型新学习方式；Meta发布开源大模型Llama 4；谷歌推出 Android Auto 14.0 正式版

Meta发布开源大模型Llama 4，首次采用“混合专家架构“ 4月6日，Meta推出开源AI模型Llama 4，包括Scout和Maverick两个版本，具备多模态处理能力。Scout和Maverick参数量分别为170亿和4000亿，采用混合专家架构。Meta同时训…...

编程日记 2025/8/22 9:37:36

skynet.netpack四个核心函数详解

目录 1. netpack.filter(queue, msg, sz)2. netpack.pop(queue)3. netpack.tostring(msg, sz)4. netpack.clear(queue)完整使用场景示例总结在 Skynet 中，netpack 模块提供了四个核心函数，用于处理网络数据包的接收、粘包解析和队列管理。以下是这四个函…...

编程日记 2025/8/25 5:55:55