当前位置：首页 > news >正文

RAG的实现快速示例

news 来源：原创 2025/9/17 14:17:32

RAG（Retrieval-Augmented Generation）其实就是结合了检索与生成，核心流程分为 检索（Retrieval） 和 生成（Generation） 两大阶段，通过外部知识库增强生成式模型的准确性和可靠性。

流程其实也很简单，如下图：

关于RAG的基本概念的介绍，可以参考：

RAG(检索增强生成)快速入门

本篇通过一个快速示例演示RAG的实现。

本篇的开发环境

因为本篇旨在演示RAG的快速实现，所有使用的都是比较小型的模型，实际应用和开发可以选取大的模型，这样的效果会比较好。

嵌入模型：all-MiniLM-L6-v2，用于将文本转换为向量，向量维度384
自然语言模型：Qwen2.5-0.5B-Instruct
向量数据库： LanceDB
开发语言： Python
开发IDE： VS Code

实现目标

假如有以下文本内容：

     "熊猫是中国的国宝，主要栖息在四川山区。","长城是古代中国建造的军事防御工事，全长超过2万公里。","量子计算利用量子力学原理进行信息处理，相比经典计算机有显著优势。"

现在需要通过RAG获取 “熊猫栖息地?”的答案。

实现步骤

通过嵌入模型获取文本的向量

model = SentenceTransformer('sentence-transformers/all-MiniLM-L6-v2')
documents = ["熊猫是中国的国宝，主要栖息在四川山区。","长城是古代中国建造的军事防御工事，全长超过2万公里。","量子计算利用量子力学原理进行信息处理，相比经典计算机有显著优势。"
]
# 获取嵌入向量
embeddings = model.encode(documents)
vector_dim =  len(embeddings[0]) #获取向量的维度，这里是384

上面三句话的向量是3个维度是384的数字的数组，如下所示：

RAG的实现快速示例

RAG（Retrieval-Augmented Generation）其实就是结合了检索与生成，核心流程分为检索（Retrieval）和生成（Generation）两大阶段，通过外部知识库增强生成式模型的准确性和可靠性。流程其实也很简单，如下图：关于RAG的基本概念的介绍，可以参考： RAG(检索增强生成)快…...

编程日记 2025/9/17 14:17:32

利用 PHP 爬虫获取京东商品详情 API 返回值说明及代码示例

在电商领域，京东作为国内知名的电商平台，提供了丰富的商品信息。通过调用京东商品详情 API，我们可以获取商品的详细信息，如商品标题、价格、图片、描述等。这些信息对于数据分析、价格监控、商品推荐等场景具有重要价值。本文将详…...

编程日记 2025/9/16 17:18:03

PyTorch CUDA内存管理优化：深度理解GPU资源分配与缓存机制

在深度学习工程实践中，当训练大型模型或处理大规模数据集时，上述错误信息对许多开发者而言已不陌生。这是众所周知的 CUDA out of memory错误——当GPU尝试为张量分配空间而内存不足时发生。这种情况尤为令人沮丧，特别是在已投入大量时间优化…...

编程日记 2025/9/9 11:09:10

大模型基础知识扫盲

1 模型量化： 是什么：大模型量化是一种“压缩”技术，把模型里高精度的数字（比如32位浮点数）简化成低精度的数字（比如8位定点数）。有什么用：它让模型占的空间更小，跑起来…...

编程日记 2025/9/11 7:09:58

《穿透表象，洞察分布式软总线“无形”之奥秘》

分布式系统已成为众多领域的关键支撑技术，而分布式软总线作为实现设备高效互联的核心技术，正逐渐走入大众视野。它常被描述为一条“无形”的总线，这一独特属性不仅是理解其技术内涵的关键，更是把握其在未来智能世界中重要作用的切…...

编程日记 2025/9/8 17:26:10

Python Cookbook-5.13 寻找子序列

任务需要在某大序列中查找子序列。解决方案如果序列是字符串(普通的或者Unicode)，Python 的字符串的 find 方法以及标准库的re模块是最好的工具。否则，应该使用Knuth-Morris-Pratt算法(KMP): def KnuthMorrisPratt(text,pattern): 在序列text中找…...

编程日记 2025/9/16 4:53:36

（自用）蓝桥杯准备（需要写的基础）

要写的文件 led_app lcd_app key_app adc_app usart_app scheduler LHF_SYS一、外设引脚配置 1. 按键引脚按键引脚配置如下： B1：PB0B2：PB1B3：PB2B4：PA0 2. LCD引脚 LCD引脚配置如下： GPIO_Pin_9 /* …...

编程日记 2025/9/16 8:42:47

STM32Cubemx-H7-14-Bootloader（上）-ST和串口烧录

前言本文主要研究，如果把ST单片机的SWDIO和SWDCLK引脚改成推挽输出后，我们又应该怎么重新烧录，以及如何使用串口下载。当没有设置STlink烧录为引脚或者设置成其他功能的时候如果想恢复，那么就在烧录之前，一直按住…...

编程日记 2025/9/13 9:41:21

“深入浅出：Java中的Lambda表达式及其应用“

前言 Lambda表达式是Java 8引入的一项强大特性，它允许以更加简洁的方式表示匿名函数。Lambda表达式不仅让代码更加简洁、清晰，而且为函数式编程提供了有力支持，从而提升了Java语言的表达能力。在本文中，我们将深入浅出地探讨La…...

编程日记 2025/9/11 4:31:37

6.1es新特性解构赋值

解构赋值是 ES6（ECMAScript 2015）引入的语法，通过模式匹配从数组或对象中提取值并赋值给变量。： 功能实现数组解构：按位置匹配值，如 let [a, b] [1, 2]。对象解构：按属性名匹配值，…...

编程日记 2025/9/10 22:54:36

【从0到1学RabbitMQ】RabbitMQ高级篇

学完基础篇之后我们对用户下单这个业务进行了改造，我们可以吧用户支付这个业务抽出来，放入队列当中去执行。如下图： 但是这里我们思考一下，如果MQ通知失败了，支付服务中支付流水显示支付成功，而交易服务中…...

编程日记 2025/9/11 1:15:30

200 smart pid

PID整定控制面板-S7-200 SMART 跟我学/跟我做之PID功能-系列课程-西门子1847工业学习平台官网使用西门子200SMART进行PID调节 PID自整定 PID调节技巧_哔哩哔哩_bilibili S7-200 SMART PID PID常见问题...

编程日记 2025/8/17 23:24:07

AI制作PPT，如何轻松打造高效演示文稿

AI制作PPT，如何轻松打造高效演示文稿！随着信息化时代的到来，PPT已经成为了几乎所有职场人士、学生、讲师的必备工具。每个人都希望自己的PPT既有创意，又能高效展示信息。而在如今的科技背景下，AI的出现彻底改变了PPT的…...

编程日记 2025/9/14 7:10:21

如何用postman做接口自动化测试？

🍅 点击文末小卡片，免费获取软件测试全套资料，资料在手，涨薪更快本文适合已经掌握 Postman 基本用法的读者，即对接口相关概念有一定了解、已经会使用 Postman 进行模拟请求等基本操作。工作环境与版本&#xff1…...

编程日记 2025/9/15 11:38:05

day29-贪心134. 加油站135. 分发糖果860.柠檬水找零406.根据身高重建队列

134. 加油站这道题的贪心方法相当的巧妙。首先，我们可以通过gas[i] - cost[i]得到第i个站点的净加油量(耗油量)，那么如果我们现在考虑一个从某点a到某点b，那么如果a-》b范围之间的gas[i] - cost[i]存在负数，那么说明无法从a作…...

编程日记 2025/9/4 22:54:25

聊透多线程编程-线程基础-4.C# Thread 子线程执行完成后通知主线程执行特定动作

在多线程编程中，线程之间的同步和通信是一个常见的需求。例如，我们可能需要一个子线程完成某些任务后通知主线程，并由主线程执行特定的动作。本文将基于一个示例程序，详细讲解如何使用 AutoResetEvent 来实现这种场景。示例代码…...

编程日记 2025/8/29 17:10:52

类 Stopwatch 计算时间 Stopwatch sw new Stopwatch(); sw.Start(); // 要执行的代码块 Thread.Sleep(2000);sw.ElapsedMilliseconds // 消耗时间 Console.WriteLine(sw.ElapsedMilliseconds);组件 ListView 属性设置外观 - View - Details 行为 - Columns -（…...

编程日记 2025/9/12 4:05:16

Python常用排序算法

1. 冒泡排序冒泡排序是一种简单的排序算法，它重复地遍历要排序的列表，比较相邻的元素，如果他们的顺序错误就交换他们。 def bubble_sort(arr):# 遍历所有数组元素for i in range(len(arr)):# 最后i个元素是已经排序好的for j in range(0, …...

编程日记 2025/9/14 11:48:53

HTML5 服务器发送事件(Server-Sent Events)

1. 引言 HTML5 服务器发送事件（Server-Sent Events，SSE）是一种基于 HTTP 的服务器推送技术，允许服务器主动向客户端（如浏览器）发送实时更新。SSE 适用于单向通信场景，如新闻推送、实时价格更新…...

编程日记 2025/9/9 7:52:44

【C++游戏引擎开发】第12篇：GLSL语法与基础渲染——从管线结构到动态着色器

一、OpenGL渲染管线解密 1.1 OpenGL渲染管线流程图 #mermaid-svg-GrAgLUat95CVZKm0 {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-GrAgLUat95CVZKm0 .error-icon{fill:#552222;}#mermaid-svg-GrAgLUat95CVZKm0 .e…...

编程日记 2025/9/9 17:29:55

阿里云负载均衡可以抗ddos吗

本文深度解析阿里云负载均衡的DDoS防护机制，通过实测数据验证其基础防御能力边界，揭示需结合云盾高防IP实现TB级流量清洗的工程实践。结合2023年Memcached反射攻击事件，提供混合云架构下的多层级防御方案设计指南。云原生负载均衡的基础防护…...

编程日记 2025/9/11 10:47:25

动手学习：路径规划原理及常用算法

一、路径规划的基本原理路径规划（Path Planning）是机器人导航的核心任务，目标是为机器人找到一条从起点到终点的无碰撞路径，同时满足约束条件（如最短路径、最优能耗、安全性等）。在人形机器人场景中&…...

编程日记 2025/9/7 22:43:38

Web前端性能指标Web3D性能优化

性能指标&评估方式在Web3D性能优化之前，先了解性能指标&评估方式前端性能指标评估与监测工具可分为以下几类，结合不同场景和需求，开发者可选择适合的工具进行性能优化：一、浏览器内置工具 Chrome DevTools Performance 面板：记录运行时性能，分析CPU、内存使…...

编程日记 2025/9/9 10:17:52

Mujoco xml ＜option＞

xml option option总起例子timestep(一般会用到)gravity(一般会用到)windmagneticdensityviscosityo_margino_solref, o_solimpo_frictionintegrator(一般会用到)cone(一般会用到)jacobian(一般会用到)solver(一般会用到)iterations(一般会用到)tolerance(一般会用到)noslip_it…...

编程日记 2025/9/5 18:38:15

如何用 nvm alias default 18.20.8 实现全局 Node.js 版本管理？一篇保姆级指南！！！

📝 如何用 nvm alias default 18.20.8 实现全局 Node.js 版本管理？一篇保姆级指南 🚀 1. 核心命令解析 🔍 nvm alias default 18.20.8 是 nvm 管理工具中用于设置全局默认 Node.js 版本的核心命令。它的作用是将指定版本锁定为所…...

编程日记 2025/9/10 15:16:40

推荐一款Nginx图形化管理工具: NginxWebUI

Nginx Web UI是一款专为Nginx设计的图形化管理工具，旨在简化Nginx的配置与管理过程，提高开发者和系统管理的工作效率。项目地址：https://github.com/cym1102/nginxWebUI 。一、Nginx WebUI的主要特点简化配置：通过图形化的界…...

编程日记 2025/9/16 1:57:57

Pytest多环境切换实战：测试框架配置的最佳实践！

你是否也遇到过这种情况：本地测试通过，一到测试环境就翻车？环境变量错乱、接口地址混乱、数据源配置丢失……这些「环境切换」问题简直像定时炸弹，随时引爆你的测试流程！ 测试人员每天都跟不同的环境打交道&#xff0…...

编程日记 2025/9/8 4:10:03

大模型在网络安全领域的七大应用

1. 高级威胁检测与防御自动化技术路径： 数据整合：聚合网络流量、终端日志、威胁情报等多源数据，构建多维特征库。行为建模：通过大模型的上下文理解能力，建立正常行为基线，识别偏离模式。动态策略生成&am…...

编程日记 2025/9/6 19:20:27

SpringBoot项目部署之启动脚本

一、启动脚本方案 1. 基础启动方式 1.1 直接运行JAR java -jar your-app.jar --spring.profiles.activeprod优点：简单直接，适合快速测试缺点：终端关闭即终止进程 1.2 后台运行 nohup java -jar your-app.jar > app.log 2>&1 &…...

编程日记 2025/9/9 20:10:29

【spark-submit】--提交任务

Spark-submit spark-submit 是 Apache Spark 提供的用于提交 Spark 应用程序到集群的命令行工具。基本语法 spark-submit [options] <app-jar> [app-arguments]常用参数说明应用程序配置 --class <class-name>: 指定应用程序的主类（对于 Java/Sc…...

编程日记 2025/9/16 8:25:12

机器学习中的回归与分类模型：线性回归、逻辑回归与多分类

在机器学习领域，回归和分类是两类重要的任务，它们各自有着不同的应用场景和模型构建方式。本文将详细介绍线性回归、逻辑回归以及多分类任务的相关内容，包括数据预处理、模型定义、损失函数的选择以及评估指标的计算。一、线性回归&#xf…...

编程日记 2025/9/10 1:27:49

spark-rdd

Spark-core RDD转换算子 RDD 根据数据处理方式的不同将算子整体上分为 Value 类型、双 Value 类型和 Key-Value 类型。 Value类型： 1.map 将处理的数据逐条进行映射转换，这里的转换可以是类型的转换，也可以是值的转换 mapPartitions map …...

编程日记 2025/9/9 4:11:57

Python 实现如何电商网站滚动翻页爬取

一、电商网站滚动翻页机制分析电商网站如亚马逊和淘宝为了提升用户体验，通常采用滚动翻页加载数据的方式。当用户滚动页面到底部时，会触发新的数据加载，而不是一次性将所有数据展示在页面上。这种机制虽然对用户友好，但对爬虫来…...

编程日记 2025/9/11 13:55:23

pytorch TensorDataset与DataLoader类

读取数据 Dataset类 Dataset 是一个读取数据抽象类，所有自定义的数据集类需要继承该类。该类主要实现以下三个功能 ①如何获取每一个数据及其label --> 抽象方法__getitem()__设置通过对象[索引]的方式获取每一个样本及其label ②告知一共有多少数据 -->…...

编程日记 2025/9/4 13:37:06

AI大模型与知识生态：重构认知的新时代引擎

📝个人主页🌹：慌ZHANG-CSDN博客 🌹🌹期待您的关注 🌹🌹 一、引言：我们如何获得知识，正在被AI彻底改写从古代图书馆、百科全书，到搜索引擎、问答社区，人类获取知识的方式一直在进化。而随着 ChatGPT、DeepSeek、Grok 等 AI 大模型的到来，这一过程迎来了颠覆…...

编程日记 2025/9/11 10:47:18

Server-Sent Events一种允许服务器向客户端发送实时更新的 Web API

Server-Sent Events（SSE）是一种允许服务器向客户端发送实时更新的 Web API。它基于 HTTP 协议，提供了一种单向的、服务器到客户端的通信机制，客户端可以通过监听服务器发送的事件来接收实时数据。下面从原理、使用场景、代码示例等…...

编程日记 2025/9/4 15:22:30

电子电器架构 --- AI如何重构汽车产业

我是穿拖鞋的汉子，魔都中坚持长期主义的汽车电子工程师。老规矩，分享一段喜欢的文字，避免自己成为高知识低文化的工程师： 周末洗了一个澡，换了一身衣服，出了门却不知道去哪儿，不知道去找谁&am…...

编程日记 2025/9/11 12:20:29

操作系统CPU调度

简介当CPU有大量任务要处理，但由于资源有限，无法同时处理。所有就需要某种规则来决定任务处理的顺序，这就是调度。调度层次根据调度频率与层次，共分为三种高级调度也称为作业调度(Long-Trem Scheduling),频次很低，它决定哪些进程从外存(硬盘)加载到内存中级调度也…...

编程日记 2025/9/5 3:11:24

icoding题解排序

数组合并假设有 n 个长度为 k 的已排好序（升序）的数组，请设计数据结构和算法，将这 n 个数组合并到一个数组，且各元素按升序排列。即实现函数： void merge_arrays(const int* arr, int n, int k, int* out…...

编程日记 2025/9/10 16:50:17

xHCI 上 USB 读写分析

系列文章目录 xHCI 简单分析 USB Root Hub 分析 USB Hub 检测设备 usb host 驱动之 urb xHCI那些事儿 PCIe MMIO、DMA、TLP PCIe配置空间与CPU访问机制 PCIe总线协议基础实战文章目录系列文章目录一、xHCI 初始化二、xHCI 驱动识别根集线器（RootHub）…...

编程日记 2025/8/17 21:44:43

SpringCloud Alibaba 之分布式全局事务 Seata 原理分析

1. 什么是 Seata？为什么需要它？ 想象一下，你去银行转账： 操作1：从你的账户扣款 1000 元操作2：向对方账户增加 1000 元如果操作1 成功，但操作2 失败了，你的钱就凭空消失了&…...

编程日记 2025/9/17 12:21:55

《C语言中的“魔法盒子”：自定义函数的奇妙之旅》

🚀个人主页：BabyZZの秘密日记 📖收入专栏：C语言 🌍文章目入一、引言二、自定义函数的创建（一）基本结构（二）一个简单的例子三、自定义函数的使用（一&#xf…...

编程日记 2025/9/15 1:38:21

【Spring】IoC 和 DI的关系、简单使用，从“硬编码“到“优雅解耦“：IoC与DI的Spring蜕变之旅

1.IoC 和 DI的关系 IoC（Inversion of Control，控制反转）和DI（Dependency Injection，依赖注入）是Spring框架中紧密相关但又有所区别的两个概念。理解它们的联系，可以帮助我们更深刻地掌握Spring…...

编程日记 2025/9/14 6:11:56

43、RESTful API 保姆教程

RESTful API 目录 RESTful API简介RESTful设计原则RESTful设计规范RESTful统一返回体JAX-RSJAX-RS与SpringBoot集成构建Restful服务实践总结一、RESTful API 简介 REST（Representational State Transfer）是一种基于HTTP的web服务架构风格，RESTful API则是遵循REST原则的网…...

编程日记 2025/9/11 16:18:57

ASP.NET Core 性能优化：客户端响应缓存

文章目录前言一、什么是缓存二、客户端缓存核心机制：HTTP缓存头1）使用[ResponseCache]属性（推荐）2）预定义缓存配置（CacheProfile）3）手动设置HTTP头4）缓存验证机制&#…...

编程日记 2025/9/11 17:21:26

算法导论（递归回溯）——递归

算法思路（21） 递归函数的含义： 创建一个递归函数，该函数接受两个链表的头结点作为输入，返回合并后的链表的头结点。选择较小的节点： 在函数体内，首先比较两个链表的头结点的值，选择…...

编程日记 2025/9/12 21:52:34

从接口400ms到20ms，记录一次JVM、MySQL、Redis的混合双打

1. 场景：促销活动的崩溃接到报警短信，核心接口响应时间突破5秒，DB CPU飙到100%。用Arthas抓取线上火焰图后发现： ---[ 4763ms ] com.example.service.OrderService.createOrder() |---[ 98% ] com.example.m…...

编程日记 2025/9/12 4:10:16

Excel通过VBA脚本去除重复数据行并保存

一、方法1:使用字典动态去重并保存适用场景：需要灵活控制去重逻辑（如保留最后一次出现的重复项）时 Sub 动态去重保存到新表()Dim srcSheet As Worksheet, destSheet As WorksheetDim dict As Object, lastRow As Long, i As LongDim key A…...

编程日记 2025/9/9 13:01:05

Mysql表的操作（2）

1.去重 select distinct 列名 from 表名 2.查询时排序 select 列名 from 表名 order by 列名 asc/desc; 不影响数据库里面的数据错误样例 ： 但结果却有点出乎意料了~为什么会失败呢？ 其实这是因为书写的形式不对，如果带了引号，…...

编程日记 2025/9/11 22:01:03

#Linux内存管理# 在ARM32系统中，页表是如何映射的？在ARM64系统中，页表又是如何映射的？

一、ARM32系统页表映射 1. 层级结构与地址划分默认实现：采用两层映射（PGD→PTE），合并Linux标准三级模型中的PMD层。虚拟地址解析（以4KB页为例）： Bits[31:20]：一级页表（…...

编程日记 2025/9/11 13:07:56

本篇的开发环境

实现目标

实现步骤

通过嵌入模型获取文本的向量

相关文章：