当前位置：首页 > news >正文

【大模型基础_毛玉仁】6.4 生成增强

news 来源：原创 2025/9/7 13:13:50

6.4 生成增强

检索器得到相关信息后，将其传递给大语言模型以期增强模型的生成能力。利用这些信息进行生成增强是一个复杂的过程，不同的方式会显著影响 RAG 的性能。

如何优化增强过程围绕四个方面讨论：

何时增强，确定何时需要检索增强，以确保非必要不增强；
何处增强，确定在模型中的何处融入检索到的外部知识，以最大化检索的效用；
多次增强，如何对复杂查询与模糊查询进行多次迭代增强，以提升 RAG 在困难问题上的效果；
降本增效，如何进行知识压缩与缓存加速，以降低增强过程的计算成本。

6.4.1 何时增强

大语言模型在训练过程中掌握了大量知识，这些知识被称为内部知识（Self Knowledge）。对于内部知识可以解决的问题，我们可以不对该问题进行增强。

不对是否需要增强进行判断而盲目增强，可能引起生成效率和生成质量上的双下降。

判断是否需要增强的核心在于判断大语言模型是否具有内部知识。两种方法：

外部观测法，通过 Prompt 直接询问模型是否具备内部知识，或应用统计方法对是否具备内部知识进行估计，这种方法无需感知模型参数；
内部观测法，通过检测模型内部神经元的状态信息来判断模型是否存在内部知识，这种方法需要对模型参数进行侵入式的探测。

1）外部观测法

外部观测法：通过直接对大语言模型进行询问或者观测调查其训练数据来推断其是否具备内部知识。判断方法有：

Prompt 直接询问大语言模型是否含有相应的内部知识
反复询问大语言模型同一个问题观察模型多次回答的一致性。
翻看训练数据来判断其是否具备内部知识。
设计伪训练数据统计量来拟合真实训练数据的分布，间接评估模型对知识的学习情况。比如，由于模型对训练数据中低频出现的知识掌握不足，而对更“流行”（高频）的知识掌握更好，因此实体的流行度作可以作为伪训练数据统计量。

2）内部观测法

分析模型在生成时内部每一层的隐藏状态变化，比如注意力模块的输出、多层感知器 (MLP) 层的输出与激活值变化等，来进行评估其内部知识水平。

模型的中间层前馈网络在内部知识检索中起关键作用，通过训练线性分类器（探针）可区分问题是否属于模型“已知”或“未知”。研究针对注意力层输出、MLP层输出和隐层状态三种内部表示设计实验，结果表明大语言模型利用中间层隐藏状态进行分类时准确率较高，验证了中间层能有效反映模型对问题的知识储备。

6.4.2 何处增强

在确定大语言模型需要外部知识后，我们需要考虑在何处利用检索到的外部知识，即何处增强的问题。

输入端、中间层和输出端都可以进行知识融合操作:

在输入端，可将问题和检索到的外部知识拼接在 Prompt 中；
在中间层，可以采用交叉注意力将外部知识直接编码到模型的隐藏状态中；
在输出端，可以利用外部知识对生成的文本进行后矫正。

6.4.3 多次增强

实际应用中，用户对大语言模型的提问可能是复杂或模糊的。

处理复杂问题时，常采用分解式增强的方案。该方案将复杂问题分解为多个子问题，子问题间进行迭代检索增强，最终得到正确答案。
处理模糊问题时，常采用渐进式增强的方案。该方案将问题的不断细化，然后分别对细化的问题进行检索增强，力求给出全面的答案，以覆盖用户需要的答案。

图 6.24: DSP 流程示意图（分解式增强）
在这里插入图片描述

图 6.25: TOC 框架流程示意图（渐进式增强）
在这里插入图片描述

6.4.4 降本增效

检索出的外部知识通常包含大量原始文本。将其通过 Prompt 输入给大语言模型时，会大幅度增加输入 Token 的数量，从而增加了大语言模型的推理计算成本。

此问题可从去除冗余文本与复用计算结果两个角度进行解决。

1）去除冗余文本

去除冗余文本的方法通过对检索出的原始文本的词句进行过滤，从中选择出部分有益于增强生成的部分。

去除冗余文本的方法主要分为三类：

Token级别的方法：
子文本级别的方法；
全文本级别的方法。

（1）Token级别的压缩方法：

通过评估Token的困惑度来剔除冗余信息。困惑度低的Token表示信息量少，可能是冗余的；困惑度高的Token则包含更多信息。LongLLMLingua框架利用小模型计算困惑度，首先进行粗粒度压缩，通过文档的困惑度均值评估其重要性；然后进行细粒度压缩，逐个Token评估并删除低困惑度的Token。此外，该方法还引入了文档重排序、动态压缩比率和子序列恢复机制，以确保重要信息被有效保留。

（2）子文本级别方法通过：

评估子文本的有用性进行成片删除。FITRAG方法利用双标签子文档打分器，从事实性和模型偏好两个维度评估子文档。具体步骤为：滑动窗口分割文档，双标签打分器评分，最后删除低评分子文档以去除冗余。

（3）全文本级别方法：

通过训练信息提取器直接从文档中抽取出重要信息以去除冗余。PRCA方法分为两个阶段：

上下文提取阶段：通过监督学习最小化压缩文本与原始文档的差异，训练提取器将文档精炼为信息丰富的压缩文本。
奖励驱动阶段：利用大语言模型作为奖励模型，根据压缩文本生成答案与真实答案的相似度作为奖励信号，通过强化学习优化提取器。

最终，经典方法PRCA能够端到端地将输入文档转化为压缩文本，高效去除冗余信息。

2）复用计算结果

可以对计算必需的中间结果进行复用，以优化 RAG 效率。

（1）KV-cache 复用

在大语言模型推理自回归过程中，每个 Token 都要用之前 Token 注意力模块的 Key 和 Value 的结果。为避免重新计算，我们将之前计算的 Key 和 Value 的结果进行缓存（即 KV-cache），在需要是直接从 KV-cache 中调用。

然而，随着输入文本长度的增加，KV-cache 的 GPU 显存占用会显著增加，甚至超过模型参数的显存占用。

图 6.26: RAGCache 框架流程示意图
在这里插入图片描述

不过，RAG 中不同用户查询经常检索到相同的文本，而且常见的查询通常数量有限。因此，我们可以将常用的重复文本的 KV-cache 进行复用。基于此，RAGCache 设计了一种 RAG 系统专用的多级动态缓存机制，核心部分：

KV 张量缓存库：采用树结构来缓存所计算出的文档 KV 张量，其中每个树节点代表一个文档；
缓存检索器：负责在缓存库中快速查找是否存在所需的缓存节点；
RAG 控制器：作为系统的策略中枢，负责制定核心的缓存策略。

为优化 RAG 性能，RAG 控制器采用了以下策略：

PGDSF 替换策略：通过综合考虑文档的访问频率、大小、访问成本和最近访问时间，优化频繁使用文档的检索效率。
重排策略：调整请求处理顺序，优先处理高缓存利用率的请求，减少重新计算的需求。
动态推测流水线策略：并行执行 KV 张量检索和模型推理，降低端到端延迟。

其他参考：【大模型基础_毛玉仁】系列文章

声明：资源可能存在第三方来源，若有侵权请联系删除！

【大模型基础_毛玉仁】6.4 生成增强

目录 6.4 生成增强6.4.1 何时增强1）外部观测法2）内部观测法 6.4.2 何处增强6.4.3 多次增强6.4.4 降本增效1）去除冗余文本2）复用计算结果 6.4 生成增强检索器得到相关信息后，将其传递给大语言模型以期增强模型的生成能…...

编程日记 2025/9/7 13:13:50

4.1-泛型编程深入指南

4.1 泛型编程深入指南本节将带您深入探索C#泛型机制在游戏开发中的高级应用。通过游戏对象池、数据管理器、事件系统等实际案例，您将学习如何运用泛型构建高效、灵活的游戏系统。掌握这些知识将帮助您开发出性能更好、架构更清晰的游戏。前置知识在学习本节内容…...

编程日记 2025/9/3 7:08:32

《K230 从熟悉到...》识别机器码（AprilTag）

《K230 从熟悉到...》识别机器码（aprirltag） tag id 《庐山派 K230 从熟悉到...》识别机器码（AprilTag） AprilTag是一种基于二维码的视觉标记系统，最早是由麻省理工学院（MIT）在2008年开发的。A…...

编程日记 2025/9/3 7:55:50

操作系统（二）：实时系统介绍与实例分析

目录一.概念 1.1 分类 1.2 主要指标二.实现原理三.主流实时系统对比一.概念实时系统（Real-Time System, RTS）是一类以时间确定性为核心目标的计算机系统，其设计需确保在严格的时间约束内完成任务响应。 1.1 分类根据时间约束的严…...

编程日记 2025/9/5 3:41:44

虚拟电商-话费充值业务（六）话费充值业务回调补偿

一、话费充值回调业务补偿业务需求：供应商对接下单成功后充吧系统将订单状态更改为：等待确认中，此时等待供应商系统进行回调，当供应商系统回调时说明供应商充值成功，供应商回调充吧系统将充吧的订单改为充值成功&…...

编程日记 2025/8/30 7:48:33

加密解密工具箱 - 专业的在线加密解密工具

加密解密工具箱 - 专业的在线加密解密工具您可以通过以下地址访问该工具： https://toolxq.com/static/hub/secret/index.html 工具简介加密解密工具箱是一个功能强大的在线加密解密工具，支持多种主流加密算法，包括 Base64、AES、RSA、DES…...

编程日记 2025/9/5 4:27:43

印度股票实时数据API接口选型指南：iTick.org如何成为开发者优选

在全球金融数字化浪潮中，印度股票市场因其高速增长潜力备受关注。对于量化交易开发者、金融科技公司而言，稳定可靠的股票报价API接口是获取市场数据的核心基础设施。本文将深度对比主流印度股票API，并揭示iTick在数据服务领域的独特优势。一…...

编程日记 2025/9/5 11:21:35

使用python实现视频播放器（支持拖动播放位置跳转）

使用python实现视频播放器（支持拖动播放位置跳转） Python实现视频播放器，在我早期的博文中介绍或作为资料记录过 Python实现视频播放器 https://blog.csdn.net/cnds123/article/details/145926189 Python实现本地视频/音频播放器https://bl…...

编程日记 2025/9/6 4:24:48

Python星球日记 - 第2天：数据类型与变量

🌟引言： 上一篇：Python星球日记 - 第1天：欢迎来到Python星球名人说：莫听穿林打叶声，何妨吟啸且徐行。—— 苏轼《定风波莫听穿林打叶声》创作者：Code_流苏(CSDN)（一个喜欢古诗词和…...

编程日记 2025/9/2 19:58:23

CyclicBarrier、Semaphore、CountDownLatch的区别，适用场景

CyclicBarrier、Semaphore 和 CountDownLatch 是 Java 并发包中用于线程协作的工具类，它们虽然都与线程同步相关，但设计目的和使用场景有显著差异。以下是它们的核心区别和典型应用场景： 1. CountDownLatch 核心机制一次性计数器&#xf…...

编程日记 2025/9/7 1:29:49

【愚公系列】《高效使用DeepSeek》050-外汇交易辅助

🌟【技术大咖愚公搬代码：全栈专家的成长之路，你关注的宝藏博主在这里！】🌟 📣开发者圈持续输出高质量干货的"愚公精神"践行者——全网百万开发者都在追更的顶级技术博主！ 👉 江湖人称"愚公搬代码"，用七年如一日的精神深耕技术领域，以"…...

编程日记 2025/9/4 14:16:25

java短连接，长连接

在网络通信中，短连接（Short Connection）是指客户端与服务器建立连接后，仅完成一次或几次数据交互就立即断开连接的通信方式。以下是关于短链接的详细说明： 一、短链接的核心特点连接短暂数据传输完成后立即关闭连接…...

编程日记 2025/8/28 18:41:26

从零开始训练Codebook：基于ViT的图像重建实践

完整代码在文末，可以一键运行。 1. 核心原理 Codebook是一种离散表征学习方法，其核心思想是将连续特征空间映射到离散的码本空间。我们的实现方案包含三个关键组件： 1.1 ViT编码器 class ViTEncoder(nn.Module):def __init__(self, codebo…...

编程日记 2025/8/28 18:41:24

每日一题洛谷P8664 [蓝桥杯 2018 省 A] 付账问题c++

P8664 [蓝桥杯 2018 省 A] 付账问题 - 洛谷 (luogu.com.cn) 思路：要使方差小，那么钱不能一下付的太多，可以让钱少的全付玩，剩下还需要的钱再让钱多的付（把钱少的补上）。将钱排序，遍历一遍&…...

编程日记 2025/8/28 18:41:22

蓝桥杯真题——传送阵

原题连接：蓝桥杯2024年第十五届省赛真题-传送阵 - C语言网知识点：并查集题目描述小蓝在环球旅行时来到了一座古代遗迹，里面并排放置了 n 个传送阵，进入第 i 个传送阵会被传送到第 ai 个传送阵前，并且可以随时选择…...

编程日记 2025/9/4 0:42:20

解释回溯算法，如何应用回溯算法解决组合优化问题？

一、回溯算法核心原理回溯算法本质是暴力穷举的优化版本，采用"试错剪枝"策略解决问题。其核心流程如下： 路径构建：记录当前选择路径选择列表：确定可用候选元素终止条件：确定递归结束时机剪枝优化…...

编程日记 2025/8/28 23:28:11

opencv连接vs2015

需要改的地方： 1.debug x64 2.vc目录包含目录：D:\softword\opencv\opencv3416\opencv\build\include 3.vc目录库目录：D:\softword\opencv\opencv3416\opencv\build\x64\vc14\lib 4.链接器——输入：D:\softword\ope…...

编程日记 2025/9/4 20:13:27

用matlab搭建一个简单的图像分类网络

文章目录 1、数据集准备2、网络搭建3、训练网络4、测试神经网络5、进行预测6、完整代码 1、数据集准备首先准备一个包含十个数字文件夹的DigitsData，每个数字文件夹里包含1000张对应这个数字的图片，图片的尺寸都是 28281 像素的，如下图所示…...

编程日记 2025/9/4 16:11:46

移动端六大语言速记：第6部分 - 错误处理与调试

移动端六大语言速记：第6部分 - 错误处理与调试本文将对比Java、Kotlin、Flutter(Dart)、Python、ArkTS和Swift这六种移动端开发语言在错误处理与调试方面的特性，帮助开发者理解和掌握各语言的异常处理机制。 6. 错误处理与调试 6.1 异常处理各语言异常处理的语法对比：…...

编程日记 2025/9/4 3:49:43

【数据库】达梦arm64安装

话不多说，快速开始~ 1.下载进入官网： 产品下载 | 达梦在线服务平台下载安装包。选飞腾、鲲鹏都可以，都是arm架构的。我选择的是： 直接下载地址是https://download.dameng.com/eco/adapter/DM8/202502/dm8_20250117_HWarm920…...

编程日记 2025/9/4 12:58:08

QTableWidget 中insertRow(0)（头插）和 insertRow(rowCount())（尾插）的性能差异

一、目的在 Qt 的 QTableWidget 中，insertRow(0) （头插）和 insertRow(rowCount())（尾插）在性能上存在显著差异。二、QAbstractItemModel:: insertRows 原文解释 QAbstractItemModel Class | Qt Core 5.15.18 AI 解…...

编程日记 2025/9/7 1:29:52

使用MFC ActiveX开发KingScada控件（OCX）

最近有个需求，要在KingScada上面开发一个控件。原来是用的WinCC，WinCC本身是支持调用.net控件，就是winform控件的，winform控件开发简单，相对功能也更丰富。奈何WinCC不是国产的。话说KingScada，国产组态软…...

编程日记 2025/9/7 0:30:17

大模型学习二：DeepSeek R1+蒸馏模型组本地部署与调用

一、说明 DeepSeek R1蒸馏模型组是基于DeepSeek-R1模型体系，通过知识蒸馏技术优化形成的系列模型，旨在平衡性能与效率。 1、技术路径与核心能力基础架构与训练方法‌ ‌DeepSeek-R1-Zero‌：通过强化学习（RL）训练&…...

编程日记 2025/9/5 19:27:40

通过 Markdown 改进 RAG 文档处理

通过 Markdown 改进 RAG 文档处理作者：Tableau 原文地址：https://zhuanlan.zhihu.com/p/29139791931 通过 Markdown 改进 RAG 文档处理https://mp.weixin.qq.com/s/LOBOKNA71dANXHuwxe7yxw 如何将 PDF 转换为 Markdown 以获得更好的 LLM RAG 结果 Mar…...

编程日记 2025/9/3 7:34:33

Java学习总结-IO流

什么IO流？ 以内存为主体。input：磁盘向内存输入内容。output：内存向磁盘输入内容。 IO流的分类：...

编程日记 2025/8/28 23:27:54

python发送qq邮件

1.发送邮件的前提是你的qq邮箱设置能够用程序访问这个服务点打开就在设置->账号中可以找到 # 导入 smtplib 库，用于实现 SMTP 协议，可实现邮件的发送功能 import smtplib # 从 email.mime.multipart 模块导入 MIMEMultipart 类，用…...

编程日记 2025/9/1 21:06:47

使用Deployment运行无状态应用

使用Deployment运行无状态应用文章目录使用Deployment运行无状态应用[toc]一、工作负载资源与控制器二、ReplicationController、ReplicaSet和Deployment1. ReplicationController（已淘汰）2. ReplicaSet（ReplicationController 的增强版&am…...

编程日记 2025/9/6 4:06:59

QT Quick（C++）跨平台应用程序项目实战教程 6 — 弹出框

目录 1. Popup组件介绍 2. 使用上一章内容完成了音乐播放器程序的基本界面框架设计。本小节完成一个简单的功能。单击该播放器顶部菜单栏的“关于”按钮，弹出该程序的相关版本信息。我们将使用Qt Quick的Popup组件来实现。 1. Popup组件介绍 Qt 中的 Popup 组件…...

编程日记 2025/9/5 3:55:42

Design Compiler：库特征分析(ALIB)

相关阅读 Design Compilerhttps://blog.csdn.net/weixin_45791458/category_12738116.html?spm1001.2014.3001.5482 简介在使用Design Compiler时，可以对目标逻辑库进行特征分析，并创建一个称为ALIB的伪库（可以被认为是缓存）&…...

编程日记 2025/8/28 23:27:47

2025高频面试设计模型总结篇

文章目录设计模型概念单例模式工厂模式策略模式责任链模式设计模型概念设计模式是前人总结的软件设计经验和解决问题的最佳方案，它们为我们提供了一套可复用、易维护、可扩展的设计思路。 （1）定义： 设计模式是一套经过验证的…...

编程日记 2025/9/6 17:35:04

41. 评论日记

越复杂的结构越脆弱，你不能因为有智驾有只能，你就全交给它了，手机永久了还发热呢，你全交给它那你要死了也怪不了谁。这年头的手机基本都有防水，但是你天天拿着这个在泳池里玩，哪天炸了我都只能说炸的响炸的…...

编程日记 2025/9/5 19:25:17

Python第七章09：自定义python包.py

# 自定义python包# 从物理上看，包就是一个文件夹，在该文件夹下包含了一个_init_.py文件，该文件夹可用于包含多个模块文件 # 从逻辑上看，包的本质依然是模块 # _init_.py 标识python包，没有就是普通文件夹&#xff0…...

编程日记 2025/9/2 10:58:19

基于大模型预测升主动脉瘤的多维度诊疗研究报告

目录一、引言 1.1 研究背景 1.2 研究目的与意义二、升主动脉瘤概述 2.1 定义与分类 2.2 发病原因与机制 2.3 流行病学现状三、大模型技术原理及应用现状 3.1 大模型基本原理 3.2 在医疗领域的应用进展 3.3 针对升主动脉瘤预测的独特价值四、术前大模型预测方案…...

编程日记 2025/9/2 15:02:39

Lua中table函数使用详解

目录 1. table.concat(list [, sep [, i [, j]]])2. table.insert(list, [pos,] value)3. table.move(src, a, b, dest [, dest_pos]) (Lua 5.3)4. table.pack(...) (Lua 5.2)5. table.remove(list [, pos])6. table.sort(list [, comp])7. table.unpack(list [, i [, j]])总结…...

编程日记 2025/9/2 13:03:52

目录