当前位置：首页 > news >正文

AI大模型-微调和RAG方案选项

news 来源：原创 2025/5/7 5:05:10

在搭建知识库的方向上，有两个落地方案：微调、RAG。两个方案的比对：

方案选型

微调

让大模型（LLM）去学习现有知识（调整大模型的参数，让它学习新的知识），最终生成一个新的模型，用户提出问题后，基于经过学习后的新的模型来生成答案。

RAG

当用户提出一个问题，依靠现有知识，加上大模型（LLM）的语言生成能力，两者进行结合，最终给到用户答案。

总结：RAG回答问题是基于知识库中的知识进行回答，而微调是基于新的模型来进行回答。这是两者最本质的区别。

场景举例：

适合用微调

1.模型能力定制：希望模型能以固定或者特殊口吻来回答问题。

2.智能设备：模型应用到智能设备上面，大多数智能设备的空间都是比较小的，智能部署一些小模型，小模型的能力相对比较弱，所以更适合用微调。

3.对相应速度有要求：接收到用户的问题后，以最快的速度回复问题，这种情况也适合用微调，因为微调的方式是基于模型直接回复。

适合用RAG

1. 动态数据：数据每周或者每日要更新一次，适合用RAG，因为微调的成本比较高。

2.幻觉问题：对幻觉问题比较敏感，或者说本意就是为了解决幻觉问题，适合用RAG。微调后可能在其他方面有提升，但是幻觉问题可能会加重。

3.可解释性：如果场景对回答要求有可解释性，比对生成的问题需要明确知道其依据是什么，来自哪个文档或者内容，这种情况用RAG更加合适。

4.成本：如果想有更小的成本，那相对来说RAG的成本更小，微调设计到GPU算力和数据成本，最大的成本是数据成本，需要有足够量的数据来对模型进行训练，对数据的数量和质量都有较高的要求。

5.依赖生成能力：如果对模型的生成能力有要求，适合RAG。微调能加强某些领域的水平，但是可能会造成其他领域内容的遗忘。

AI大模型-微调和RAG方案选项

在搭建知识库的方向上，有两个落地方案：微调、RAG。两个方案的比对： 方案选型微调让大模型（LLM）去学习现有知识（调整大模型的参数，让它学习新的知识），最终生成一个新的…...

编程日记 2025/5/7 5:05:10

MySQL 第一讲---基础篇安装

前言： 在当今数据驱动的时代，掌握数据库技术已成为开发者必备的核心技能。作为全球最受欢迎的开源关系型数据库，MySQL承载着淘宝双十一每秒50万次的交易请求，支撑着Facebook百亿级的数据存储，更是无数互联网企业的数据…...

编程日记 2025/5/3 8:16:30

【JavaScript-Day 1】从零开始：全面了解 JavaScript 是什么、为什么学以及它与 Java 的区别

Langchain系列文章目录 01-玩转LangChain：从模型调用到Prompt模板与输出解析的完整指南 02-玩转 LangChain Memory 模块：四种记忆类型详解及应用场景全覆盖 03-全面掌握 LangChain：从核心链条构建到动态任务分配的实战指南 04-玩转 LangChai…...

编程日记 2025/5/3 8:16:28

C++ 复习

VS 修改 C 语言标准右键项目-属性输入输出 //引用头文件，用<>包裹起来的一般是系统提供的写好的代码编译器会在专门的系统路径中去进行查找 #include <iostream> //自己写的代码文件一般都用""包裹起来编译器会在当前文件所在的目录中査…...

编程日记 2025/5/3 8:15:27

数字智慧方案5877丨智慧交通项目方案（122页PPT）（文末有下载方式）

篇幅所限，本文只提供部分资料内容，完整资料请看下面链接 https://download.csdn.net/download/2301_78256053/89575494 资料解读：智慧交通项目方案详细资料请看本解读文章的最后内容。智慧交通项目方案是一个全面的设计框架，…...

编程日记 2025/5/3 8:14:25

如何封装一个线程安全、可复用的 HBase 查询模板

目录一、前言：原生 HBase 查询的痛点 （一）连接管理混乱，容易造成资源泄露 （二）查询逻辑重复，缺乏统一的模板 （三）多线程/高并发下的线程安全性隐患 （四…...

编程日记 2025/5/7 4:52:55

VLM Qwen2.5VL GRPO训练微调 EasyR1 多机多卡训练（2）

在之前博客进行了简单的训练尝试：https://www.dong-blog.fun/post/2060 在本博客，将会深入进行多机多卡训练，以及调整训练奖励函数。之前构建了镜像： docker build . -t kevinchina/deeplearning:r1 FROM hiyouga/verl:ngc-th2.6.0-cu126-vllm0.8.4-flashinfer0.2.2-cx…...

编程日记 2025/5/3 8:13:21

基于建造者模式的信号量与理解建造者模式

信号量是什么？ AI解释：信号量（Semaphore）是操作系统中用于进程同步与互斥的经典工具，由荷兰计算机科学家 Edsger Dijkstra 在 1965 年提出。它本质上是一个非负整数变量，通过原子操作（P 操作…...

编程日记 2025/5/3 8:12:20

笔试专题（十四）

文章目录 mari和shiny题解代码体操队形题解代码二叉树中的最大路径和题解代码 mari和shiny 题目链接题解 1. 可以用多状态的线性dp 2. 细节处理：使用long long 存储个数 3. 空间优化：只需要考虑等于’s’，‘sh’，shy’的情况…...

编程日记 2025/5/3 8:12:19

2025年五一数学建模A题【支路车流量推测】原创论文讲解

大家好呀，从发布赛题一直到现在，总算完成了2025年五一数学建模A题【支路车流量推测】完整的成品论文。给大家看一下目录吧： 摘要： 一、问题重述二．问题分析 2.1问题一 2.2问题二 2.3问题三 2.4问题四 2.5 …...

编程日记 2025/5/3 8:12:18

Linux系统：进程程序替换以及相关exec接口

本节重点理解进程替换的相关概念与原理掌握相关程序替换接口程序替换与进程创建的区别程序替换的注意事项一、概念与原理进程程序替换是操作系统中实现多任务和资源复用的关键机制，允许进程在运行时动态加载并执行新程序。 1.1 定义进程程序替换是指用新程…...

编程日记 2025/5/3 8:12:18

STM32复盘总结——芯片简介

1、stm32介绍 STM32是ST公司基于ARM Cortex-M内核开发的32位微控制器 STM32常应用在嵌入式领域，如智能车、无人机、机器人、无线通信、物联网、工业控制、娱乐电子产品等 STM32功能强大、性能优异、片上资源丰富、功耗低，是一款经典的嵌入式微控制器目…...

编程日记 2025/5/7 5:02:19

安装深度环境anaconda+cuda+cudnn+pycharm＋qt＋MVS

下载anaconda，链接：link 默认电脑有显卡驱动，没有的话直接进NVIDIA官网：https://www.nvidia.cn/geforce/drivers/ 下载。下载cuda 链接：https://developer.nvidia.com/cuda-toolkit-archive 下载cudnn安装包,链接：https://developer.nvidia.com/rdp/cudnn-archive 备注：…...

编程日记 2025/5/7 4:46:59

泰迪杯特等奖案例学习资料：基于多模态特征融合的图像文本检索系统设计

（第十二届泰迪杯数据挖掘挑战赛B题特等奖案例解析）一、案例背景与核心挑战 1.1 应用场景与行业痛点随着智能终端与社交媒体的普及，图像与文本数据呈现爆炸式增长，跨模态检索需求日益迫切。传统方法面临以下问题：语义鸿沟：图像与文本的异构特征分布差异显著，导致跨模…...

编程日记 2025/5/3 8:10:13

进程与线程：05 内核级线程实现

内核级线程代码实现概述这节课我们要讲内核级线程到底是怎么做出来的，实际上就是要深入探讨内核级线程的代码实现。在前两节课中，我们学习了用户级线程和内核级线程是如何进行切换的，以及实现切换的核心要点。那两节课讲述的内容&#xf…...

编程日记 2025/5/3 8:10:08

Laravel 12 实现 API 登录令牌认证

Laravel 12 实现 API 登录令牌认证在 Laravel 12 中实现基于令牌(Token)的 API 认证，可以使用 Laravel Sanctum 或 Laravel Passport。以下是两种方式的实现方法： 方法一：使用 Laravel Sanctum (轻量级 API 认证) 1. 安装 Sanctum compo…...

编程日记 2025/5/7 4:59:39

【Git】万字详解 Git 的原理与使用（上）

🥰🥰🥰来都来了，不妨点个关注叭！ 👉博客主页：欢迎各位大佬!👈 文章目录 1. 初识 Git1.1 Git 是什么？1.2 为什么要有 Git 2. 安装 Git2.1 Linux-Ubuntu 安装 Git2.2 Windo…...

编程日记 2025/5/3 8:09:04

Python高级爬虫之JS逆向+安卓逆向1.7节: 面向对象

目录引言： 1.7.1 先理解面向过程 1.7.2 再理解面向对象 1.7.3 面向对象的三大特征 1.7.4 类属性，类方法，静态方法 1.7.5 构造函数，对象属性，对象方法 1.7.6 爬虫接单实现了雪糕自由引言：大神薯条老师的高级爬虫+安卓逆向教程：这套爬虫教程会系统讲解爬虫的初…...

编程日记 2025/5/3 8:09:03

SpringBoot基础（原理、项目搭建、yaml）

SpringBoot：javaweb的一个框架，基于Spring开发，SpringBoot本身并不提供Spring框架的核心特性以及扩展功能，只是用于快速、敏捷的开发新一代基于Spring框架的应用程序，它与Spring框架紧密结合用于提升Spring开发者体验的…...

编程日记 2025/5/3 8:09:02

MTV-SCA：基于多试向量的正弦余弦算法

3 正弦余弦算法 (SCA) 正弦余弦算法（SCA）是为全局优化而开发的，并受到两个函数，正弦和余弦的启发。与其他基于启发式种群的算法一样，SCA在问题的预设最小值和最大值边界内随机生成候选解。然后，通过应用方…...

编程日记 2025/5/3 8:08:01

STL之vector容器

vector的介绍 1.vector是可变大小数组的容器 2.像数组一样，采用连续的空间存储，也就意味着可以通过下标去访问，但它的大小可以动态改变 3.每次的插入都要开空间吗？开空间就要意味着先开临时空间，然后在拷贝旧的到新…...

编程日记 2025/5/3 8:07:59

Android学习总结之jetpack组件间的联系

在传统安卓开发中，UI 组件（Activity/Fragment）常面临三个核心问题： 生命周期混乱：手动管理 UI 与数据的绑定 / 解绑，易导致内存泄漏（如 Activity 销毁后回调仍在触发）。数据断层&am…...

编程日记 2025/5/3 8:07:58

linux的信号量初识

Linux下的信号量(Semaphore)深度解析在多线程或多进程并发编程的领域中，确保对共享资源的安全访问和协调不同执行单元的同步至关重要。信号量（Semaphore）作为经典的同步原语之一，在 Linux 系统中扮演着核心角色。本文将深入探讨…...

编程日记 2025/5/3 8:07:57

【安装指南】Centos7 在 Docker 上安装 RabbitMQ4.0.x

目录前置知识：RabbitMQ 的介绍一、单机安装 RabbitMQ 4.0.7版本 1.1 在线拉取镜像二、延迟插件的安装 2.1 安装延迟插件步骤一：下载延迟插件步骤二：将延迟插件放到插件目录步骤三：启动延迟插件步骤四：重启 RabbitMQ 服务步骤五：验收成果步骤六：手动…...

编程日记 2025/5/3 8:07:56

Android和iOS测试的区别有哪些？

作为移动端测试工程师，Android 和 iOS 的测试差异直接影响测试策略设计。本文从测试环境、工具链、兼容性、发布流程等维度全面解析，并附实战建议。 1. 测试环境差异维度AndroidiOS设备碎片化高（厂商/分辨率/系统版本多样）低（仅苹果设备，版本集中）系统开放性开放（可Ro…...

编程日记 2025/5/3 8:07:55

spring中的@PostConstruct注解详解

基本概念 PostConstruct 是 Java EE 规范的一部分，后来也被纳入到 Spring 框架中。它是一个标记注解，用于指示一个方法应该在依赖注入完成后被自动调用。主要特点生命周期回调：PostConstruct 标记的方法会在对象初始化完成、依赖注入完成…...

编程日记 2025/5/3 8:05:51

大模型开发学习笔记

文章目录大模型基础大模型的使用大模型训练的阶段大模型的特点及分类大模型的工作流程分词化(tokenization)与词表映射大模型的应用进阶agent的组成和概念planning规划子任务分解ReAct框架 memory记忆Tools工具\工具集的使用langchain认知框架ReAct框架plan-and-Execute计划…...

编程日记 2025/5/3 8:05:51

【android Framework 探究】pixel 5 内核编译

相关文章： 【android Framework 探究】android 13 aosp编译全记录【android Framework 探究】android 13 aosp 全记录 - 烧录一，环境主机 -> Ubuntu 18.04.6 LTS 内存 -> 16GB 手机 -> pixel 5 代号redfin。kernel代号redbull 二&#xf…...

编程日记 2025/5/3 8:04:49

PowerBI实现点击空白处隐藏弹窗(详细教程）

PowerBI点击空白处隐藏弹窗第五届PowerBI可视化大赛中亚军作品:金融企业智慧经营分析看板有个功能挺好玩的：点击空白处隐藏弹窗，gif动图如下： 我们以一个案例分享下实现步骤： 第一步， 先添加一个显示按钮&#xff…...

编程日记 2025/5/3 8:04:48

【git】获取特定分支和所有分支

1 特定分支 1.1 克隆指定分支（默认只下载该分支） git clone -b <分支名> --single-branch <仓库URL> 示例（克隆某一个分支）： git clone -b xxxxxx --single-branch xxxxxxx -b ：指定分支…...

编程日记 2025/5/3 8:03:46

Windows配置grpc

Windows配置grpc 方法一1. 使用git下载grph下载速度慢可以使用国内镜像1.1 更新子模块 2. 使用Cmake进行编译2.1 GUI编译2.2 命令行直接编译 3. 使用Visual Studio 生成解决方法方法二1. 安装 vcpkg3.配置vckg的环境变量2. 使用 vcpkg 安装 gRPC3. 安装 Protobuf4. 配置 CMake…...

编程日记 2025/5/3 8:03:46

【学习笔记】深入理解Java虚拟机学习笔记——第2章 Java内存区域与内存溢出异常

第2章 Java内存区域与内存溢出异常 2.1 概述略 2.2 运行时数据区域 2.2.1 程序计数器线程私有，记录执行的字节码位置 2.2.2 Java 虚拟机栈线程私有，存储一个一个的栈帧，通过栈帧的出入栈来控制方法执行。 -栈帧：对应一个…...

编程日记 2025/5/3 8:02:43

数字智慧方案6189丨智慧应急综合解决方案（46页PPT）（文末有下载方式）

资料解读：智慧应急综合解决方案详细资料请看本解读文章的最后内容。在当前社会环境下，应急管理的重要性愈发凸显。国务院发布的《“十四五” 国家应急体系规划》以及 “十四五” 智慧应急专项规划，明确了应急管理体系建设的方向和重点&…...

编程日记 2025/5/3 8:01:41

解决 3D Gaussian Splatting 中 SIBR 可视化组件报错 uv_mesh.vert 缺失问题【2025最新版！】

一、📌 引言在使用 3D Gaussian Splatting（3DGS）进行三维重建和可视化的过程，SIBR_gaussianViewer_app 是一款官方推荐的本地可视化工具，允许我们在 GPU 上实时浏览重建结果。然而，许多用户在启动该工具时…...

编程日记 2025/5/7 4:38:59

见多识广4：Buffer与Cache，神经网络加速器的Buffer

目录前言传统意义上的Buffer与Cache一言以蔽之定义与主要功能BufferCache 数据存储策略二者对比神经网络加速器的bufferInput BufferWeight BufferOutput Buffer与传统buffer的核心区别总结前言知识主要由Qwen和Kimi提供，我主要做笔记。参考文献： …...

编程日记 2025/5/3 8:01:37

微服务中组件扫描(ComponentScan)的工作原理

微服务中组件扫描(ComponentScan)的工作原理你的问题涉及到Spring框架中ComponentScan的工作原理以及Maven依赖管理的影响。我来解释为什么能够扫描到common模块的bean而扫描不到其他模块的bean。根本原因关键在于**类路径(Classpath)**的包含情况： Maven依赖…...

编程日记 2025/5/3 8:00:36

C++之类和对象基础

⾯向对象三⼤特性：封装、继承、多态类和对象一.类的定义1. 类的定义格式2.类域二.实例化1.对象2.对象的大小三.this指针在 C 的世界里，类和对象构成了面向对象编程（Object-Oriented Programming，OOP）的核心框架&…...

编程日记 2025/5/3 8:00:36

【DIY小记】新手小白超频遇到黑屏问题解决分享

最近玩FPS游戏的时候，发现以前一顿操作超频之后的电脑，有一定概率会出问题。具体表现比如一种是，电脑显示器直接黑屏，所有键盘交互没有响应，只能直接重启电脑，还有一种是偶现卡顿，直接死机或者卡…...

编程日记 2025/5/3 8:00:35

虚幻引擎 IK Retargeter 编辑器界面解析

我来为您详细解释这段关于虚幻引擎IK Retargeter编辑器界面的文本，它描述了动画重定向系统的核心组件和工作原理。 Retarget Phases (重定向阶段) 这部分介绍了动画重定向过程中的三个关键计算阶段，每个阶段都可以单独启用或禁用，这对于调试…...

编程日记 2025/5/3 8:00:35

uc系统中常用命令、标准C库函数和系统调用

目录一、常用命令 env echo $name 键值 export name unset name gcc -c xxx.c ar 命令 ar -r libxxx.a xxx1.o xxx2.o gcc -c -fpic xxx.c gcc -shared -fpic xxx1.c xxx2.c -o libxxx.so kill [-信号] PID kill -l 软链接：ln -s xxx yyy 硬链接&…...

编程日记 2025/5/3 8:00:34

OpenHarmony - 驱动使用指南，HDF驱动开发流程

OpenHarmony - HDF驱动开发流程概述 HDF（Hardware Driver Foundation）驱动框架，为驱动开发者提供驱动框架能力，包括驱动加载、驱动服务管理、驱动消息机制和配置管理。并以组件化驱动模型作为核心设计思路，让驱动开发…...

编程日记 2025/5/3 8:00:33

C++负载均衡远程调用学习之UDP SERVER功能

目录 1.LARSV0.9-配置功能 2.LARSV0.10-upd-server的实现 3.LARSV0.10-udp-client的实现 1.LARSV0.9-配置功能 2.LARSV0.10-upd-server的实现 3.LARSV0.10-udp-client的实现...

编程日记 2025/5/3 8:00:33

word交叉引用图片、表格——只引用编号的处理方法

交叉引用图片/表格在“引用”选项卡上的“题注”组中，单击“插入题注”。勾选【从题注中排除标签】。在文中插入题注。【注意】这时候插入的题注只有编号项了。然后手动打上标签【TABLE】，并在标签和编号项之间加上【样式分隔符，AltCt…...

编程日记 2025/5/3 7:59:32

平台介绍-开放API接口-鉴权

平台的理念是一个组织内部只建一套系统。但是现实情况是，组织内部已经建立了很多系统，是不能一次性替代的，只能先搭起平台，然后逐步开始替换。这样就不可避免的存在其他系统和平台进行交互的问题。平台为此设计了开放API接口。其…...

编程日记 2025/5/3 7:58:30

【Bootstrap V4系列】学习入门教程之组件-警告框（Alert）

Bootstrap V4 学习入门教程之组件-警告框（Alert） 警告框（Alert）一、示例二、链接的颜色三、添加其它内容四、关闭警告框通过 JavaScript 触发行为触发器本组件所暴露的事件警告框（Alert） 通过精炼且灵活…...

编程日记 2025/5/3 7:58:30

【服务器通信-socket】——int socket(int domain, int type, int protocol)；

#include <sys/types.h> #include <sys/socket.h> int socket(int domain, int type, int protocol); domain: AF_INET 这是大多数用来产生socket的协议，使用TCP或UDP来传输，用IPv4的地址 AF_INET6 与上面类似，不过是来用IPv6的地…...

编程日记 2025/5/3 7:58:28

洛谷P1014（Cantor 表[NOIP 1999 普及组]）题解

题目大意：求Cantor表（按照Z字形排列（如第一项是1/1，然后是1/2，2/1，3/1，2/2））的第N项。那么，我们需要找出Cantor表的排列规律。根据题目中的Z字形描述&#x…...

编程日记 2025/5/3 7:57:26

【愚公系列】《Manus极简入门》012-自我认知顾问：“内在探索向导”

🌟【技术大咖愚公搬代码：全栈专家的成长之路，你关注的宝藏博主在这里！】🌟 📣开发者圈持续输出高质量干货的"愚公精神"践行者——全网百万开发者都在追更的顶级技术博主！ &#x1f…...

编程日记 2025/5/3 7:56:24

密码学_加密

目录密码学 01 密码基础进制与计量 02 加解密基操替换移位编码编码置换移位加解密强度 03 对称加密算法(私钥) 工作过程缺陷对称加密算法列举？ DES DES算法架构 DES分组加密公式 DES中ECB-CBC两种加密方式 3DES 由于DES密钥太短&#xf…...

编程日记 2025/5/3 7:56:23

w317汽车维修预约服务系统设计与实现

🙊作者简介：多年一线开发工作经验，原创团队，分享技术代码帮助学生学习，独立完成自己的网站项目。代码可以查看文章末尾⬇️联系方式获取，记得注明来意哦~🌹赠送计算机毕业设计600个选题excel文…...

编程日记 2025/5/3 7:56:22