ChunkKV：优化 KV 缓存压缩，让 LLM 长文本推理更高效
每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！ 订阅：https://rengongzhineng.io/
在长文本推理中，大型语言模型（LLM）需要存储大量的 KV 缓存，这对 GPU 内存占用带来了极大挑战。传统的 KV 缓存压缩方法往往通过注意力分数筛选出“重要”Token，并裁剪掉相对不重要的部分。然而，这些方法通常单独评估每个 Token，忽视了Token 之间的依赖关系。结果就是，某些关键主题词被保留，但与之相关的重要上下文信息却可能被删减，导致模型语义理解出现偏差。因此，一种更结构化的 KV 缓存压缩方法迫在眉睫，它不仅要考虑Token 重要性，还要兼顾语义完整性。
近年来，一些动态 KV 缓存压缩策略被提出，以优化内存使用的同时维持模型性能。例如，H2O 和 SnapKV 通过注意力机制筛选关键 Token，而Chunking（文本分块） 方法则将文本划分为语义相关的段落，以确保上下文连贯性。这种分块技术在 NLP 预训练和检索任务中早已广泛应用。此外，还有像 LISA 和 DoLa 这样的分层策略，利用 Transformer 不同层的结构信息提升模型效率。然而，在 KV 缓存压缩中引入 Token 依赖意识，依然是提升长文本推理能力的关键。
ChunkKV：按块存储，提升 KV 缓存效率
香港大学的研究团队推出了ChunkKV，一种全新的 KV 缓存压缩方法，与传统方法不同的是，它不再单独评估 Token，而是将 Token 组织成“语义块”进行处理。通过按块存储，ChunkKV 减少了内存占用，同时确保语义信息的完整性。除此之外，该方法还引入分层索引复用（Layer-wise Index Reuse） 技术，在不同层间共享已压缩的索引，进一步提升计算效率。
在多个基准测试（如 LongBench、Needle-In-A-Haystack、GSM8K 和 JailbreakV）上的实验表明，ChunkKV 在高压缩率下仍能将模型准确率提高 10%，相比传统方法，它在保留上下文信息和提升内存效率方面表现更优，被认为是当前长文本推理的最优解决方案之一。
ChunkKV 如何优化 GPU 内存？
随着 LLM 支持的文本长度不断增加，KV 缓存的内存占用已经成为推理效率的核心瓶颈。ChunkKV 通过分块存储语义丰富的 Token 组，减少存储需求的同时，仍能保留关键信息。具体来说，它利用注意力分数，筛选出最具信息量的 Token 组，并使用分层索引复用 技术，提高跨层的计算效率。
实验数据显示，与 SnapKV 等现有方法相比，ChunkKV 在层间索引相似度上表现更优，确保了更稳定的语义保留。这一结构化 KV 缓存方法符合 LLM 的上下文学习机制，在优化内存使用的同时，保证了长文本推理的连贯性。
实验结果：ChunkKV 是否真的好用？
研究团队在两大关键任务上评估了 ChunkKV 的有效性：
- 上下文学习（ICL，In-Context Learning）：在 GSM8K、Many-Shot GSM8K 和 JailbreakV 基准测试中，ChunkKV 结合 LLaMA-3.1-8B-Instruct 和 DeepSeek-R1-Distill-Llama-8B 等模型，在不同压缩率下都保持了更高的准确率。
- 长文本任务（Long-Context Tasks）：在 LongBench 和 Needle-In-A-Haystack（NIAH） 数据集上的实验显示，ChunkKV 比现有方法更擅长保留关键信息。
此外，索引复用实验 进一步验证了 ChunkKV 的效率提升。在 A40 GPU 上，该方法减少了 20.7% 的推理延迟，并提升了 26.5% 的吞吐量，证明其在计算资源受限环境下的可行性。
ChunkKV 的最优参数：Chunk Size 的影响
研究还分析了不同 Chunk Size 对 ChunkKV 性能的影响，结果表明：
- Chunk Size 在 10-20 之间时表现最佳，能够平衡语义保留和压缩效率。
- 在 LongBench 和 NIAH 任务上的进一步测试确认，Chunk Size 设定为 10 时，能达到最优性能。
总结：ChunkKV 是 LLM 长文本推理的高效解决方案
ChunkKV 显著降低了 KV 缓存的内存占用，同时保持了上下文完整性。通过按块存储 Token 并复用分层索引，它优化了计算效率，在多个任务上均超越了现有 KV 缓存压缩方法。
研究结果表明，ChunkKV 不仅减少了 GPU 内存占用，还在保证准确率的前提下，提高了推理速度和吞吐量，成为 LLM 长文本推理的高效 KV 缓存压缩方案。未来，随着 LLM 文本上下文长度的进一步增长，ChunkKV 的应用前景将更加广阔。
相关文章：
ChunkKV：优化 KV 缓存压缩，让 LLM 长文本推理更高效
每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领…...
深入探究 Go 语言中的 Fx 框架：依赖注入的强大工具
在软件开发中，依赖注入（Dependency Injection，简称 DI）是一种重要的设计模式，它可以帮助我们降低代码的耦合度，提高代码的可测试性和可维护性。Go 语言作为一门高效、简洁的编程语言，拥有许多优…...
用 DeepSeek + Kimi 自动做 PPT，效率起飞
以下是使用 DeepSeek Kimi 自动做 PPT 的详细操作步骤： 利用 DeepSeek 生成 PPT 内容： 访问 DeepSeek 官网，完成注册/登录后进入对话界面。输入指令，例如“请用 Markdown 格式生成一份关于[具体主题]的 PPT 大纲，需包…...
【04】Java+若依+vue.js技术栈实现钱包积分管理系统项目-若依框架二次开发准备工作-以及建立初步后端目录菜单列-优雅草卓伊凡商业项目实战
【04】Java若依vue.js技术栈实现钱包积分管理系统项目-若依框架二次开发准备工作-以及建立初步后端目录菜单列-优雅草卓伊凡商业项目实战 项目背景 本项目经费43000元，需求文档如下，工期25天，目前已经过了8天，时间不多了&#x…...
【C++】异常
前言 本篇博客我们来看下C有关异常的处理，了解下异常有关的知识 💓 个人主页：小张同学zkf ⏩ 文章专栏：C 若有问题 评论区见📝 🎉欢迎大家点赞👍收藏⭐文章 目录 1.异常的概念及使用 1.1异…...
Meta AI 最近推出了一款全新的机器学习框架ParetoQ，专门用于大型语言模型的4-bit 以下量化
每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领…...
金融资产配置
不要放在一个篮子里也不要放在太多篮子里： 尽量放在不相关的行业实现风险对冲 金融资产从风险类别上主要可以分为三类： 进攻型资产、稳定型资产和防守型资产 进攻型资产包括原油、股票、一级市场股权投资等 稳定型资产包括信托、理财、国债等 防守…...
 openMP学习 (Day14: 总结))
(done) openMP学习 (Day14: 总结)
url: https://dazuozcy.github.io/posts/introdution-to-openmp-intel/#23-%E5%8F%AF%E6%80%95%E7%9A%84%E4%B8%9C%E8%A5%BF%E5%86%85%E5%AD%98%E6%A8%A1%E5%9E%8Batomicsflushpairwise%E5%90%8C%E6%AD%A5%20 新手并行程序员与专家并行程序员之间的区别是专家have a collection…...
音频进阶学习十一——离散傅里叶级数DFS
文章目录 前言一、傅里叶级数1.定义2.周期信号序列3.表达式DFSIDFS参数含义 4.DFS公式解析1）右边解析 T T T、 f f f、 ω \omega ω的关系求和公式N的释义求和公式K的释义 e j ( − 2 π k n N ) e^{j(\frac{-2\pi kn}{N})} ej(N−2πkn)的释义 ∑ n 0 N − 1 e…...
ssm的心得
spring是一个轻量级的ioc（控制反转）和aop（面向切面编程）容器框架，它可以管理和配置应用中的各种bean（对象），实现bean之间的依赖注入，以及提供事务管理、缓存、测试等功能…...
14vue3实战-----获取用户信息和用户的菜单树信息
14vue3实战-----获取用户信息和用户的菜单树信息 1.获取用户信息1.1封装接口1.2优化 2.获取用户的菜单树信息 1.获取用户信息 1.1封装接口 后端有根据id获取用户信息的接口，前端需要把该接口封装一下: service/login/login.ts： import hyRequest from…...
shell脚本学习笔记
Shell脚本学习笔记 参考资料：https://www.runoob.com/linux/linux-shell-passing-arguments.html 文章目录 Shell脚本学习笔记一、什么是Shell1.1、定义1.2、注释 二、Shell变量2.1、规则2.2、变量类型2.2.1、字符串2.2.2、整数2.2.3、数组2.2.4、环境变量2.2.5、特…...
Java中的线程池及其应用场景有哪些？
Java中的线程池是一种高效的并发编程机制，通过复用线程来管理任务的执行，从而提高资源利用率和系统性能。 本文将详细探讨Java线程池的概念、类型、应用场景以及实际代码示例，帮助读者全面理解线程池的使用方法及其在实际开发中的重要性。 …...
13.6 基于 LangChain架构优化实战：OpenAI-Translator翻译系统重构与10倍效率提升秘籍
LangChain架构优化实战：OpenAI-Translator翻译系统重构与10倍效率提升秘籍 关键词：LangChain 架构优化, 模块解耦, 翻译系统设计模式, 可扩展翻译框架, 多模型管理 1. 原架构痛点分析 问题维度原实现缺陷LangChain 优化方案大模型耦合直接调用 OpenAI API，切换模型需改代码…...
构建基于 SSE 协议通信的 MCP Server 和 Client
在之前的系列教程中，我们编写的 MCP 服务器与 MCP 客户端是通过 **stdio（Standard Input/Output，标准输入输出）**来进行交互的。客户端通过启动服务器子进程，并利用标准输入（stdin）和标准输出&a…...
Docker、Ollama、Dify 及 DeepSeek 安装配置与搭建企业级本地私有化知识库实践
在现代企业中，管理和快速访问知识库是提升工作效率、促进创新的关键。为了满足这些需求，企业越来越倾向于构建本地私有化的知识库系统，这样可以更好地保护企业数据的安全性和隐私性。本文将介绍如何利用 **Docker**、**Ollama**、**Dify** 和…...
第3章 使用 Vue 脚手架
第3章 使用 Vue 脚手架 3.1 初始化脚手架3.1.1 说明3.1.2. 具体步骤3.1.3 分析脚手架结构1 总结2 细节分析1 配置文件2 src文件1 文件结构分析2 例子 3 public文件4 最终效果 3.2 ref属性3.3 props配置项3.4 mixin混入3.5 插件3.6 scoped样式3.7 Todo-list 案例3.7.1 组件化编码…...
MySQL第五次作业
根据图片内容完成作业 1.建表 （1）建立两个表:goods(商品表)、orders(订单表) mysql> create table goods( -> gid char(8) primary key, -> name varchar(10), -> price decimal(8,2), -> num int); mysql> create t…...
pikachu[皮卡丘] 靶场全级别通关教程答案 以及 学习方法 如何通过渗透测试靶场挑战「pikachu」来精通Web渗透技巧？ 一篇文章搞完这些问题
目录 Pikachu靶场 部署 暴力破解漏洞 学习地址: 靶场练习: 基于表单的暴力破解 验证码绕过(on server) 验证码绕过(on Client) token防爆破? XSS跨站脚本攻击 学习地址: 靶场练习： 反射型xss(get) 反射性xss(post) 存储型xss DOM型xss xss盲打 x…...
ai智能DeepSeek 在 Cursor 中的配置与应用实践
DeepSeek 是一款高效的深度搜索引擎，能够为开发者提供更智能、更精准的搜索体验。在数据量大、查询复杂的场景中，DeepSeek 能够帮助提升查询的响应速度和精确度。本文将介绍 DeepSeek 在 Cursor 中的配置与应用，帮助开发者理解如何在实际开发…...
登录到docker里
在Docker中登录到容器通常有两种情况： 登录到正在运行的容器内部：如果你想要进入到正在运行的容器内部，可以使用docker exec命令。 登录到容器中并启动一个shell：如果你想要启动一个容器，并在其中启动一个shell&…...
【大数据技术】搭建完全分布式高可用大数据集群（Kafka）
搭建完全分布式高可用大数据集群（Kafka） kafka_2.13-3.9.0.tgz注：请在阅读本篇文章前，将以上资源下载下来。 写在前面 本文主要介绍搭建完全分布式高可用集群 Kafka 的详细步骤。 注意： 统一约定将软件安装包存放于虚拟机的/software目录下，软件安装至/opt目录下。 安…...
Java 大视界 -- Java 大数据在智能供应链中的应用与优化（76）
💖亲爱的朋友们，热烈欢迎来到 青云交的博客！能与诸位在此相逢，我倍感荣幸。在这飞速更迭的时代，我们都渴望一方心灵净土，而 我的博客 正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识，也…...
)
10.单例模式 (Singleton Pattern)
单例模式的定义 单例模式（Singleton Pattern） 是一种创建型设计模式，确保一个类在整个程序生命周期中只能有一个实例，并提供一个全局访问点。 特点： 唯一性：保证系统中某个类只能有一个实例。全局访问点…...
Docker 常见问题解决方法
云原生学习路线导航页（持续更新中） kubernetes学习系列快捷链接 Kubernetes架构原则和对象设计（一）Kubernetes架构原则和对象设计（二）Kubernetes架构原则和对象设计（三）Kubernetes常…...
QT-面试
1. C（特别是 Qt）开发中，内存优化的方法 1. 合理管理对象生命周期，使用智能指针 Qt 提供了 QScopedPointer 和 QSharedPointer 来管理对象生命周期，避免手动 delete 导致的内存泄漏。 2. 减少内存占用 QString、QBy…...
使用java代码操作rabbitMQ收发消息
SpringAMQP 将来我们开发业务功能的时候，肯定不会在控制台收发消息，而是应该基于编程的方式。由于RabbitMQ采用了AMQP协议，因此它具备跨语言的特性。任何语言只要遵循AMQP协议收发消息，都可以与RabbitMQ交互。并且RabbitMQ官方也…...
LeetCode 128: 最长连续序列
LeetCode 128: 最长连续序列 题目: 给定一个未排序的整数数组 nums ，找出数字连续的最长序列（不要求序列元素在原数组中连续）的长度。 请你设计并实现时间复杂度为 O(n) 的算法解决此问题。 示例 1： 输入：nums […...
Shapefile格式文件解析和显示
Java实现GIS SHP文件格式的解析和显示，JDK19下编译，awt图形系统显示。 SHP文件对应的属性存储在DBF格式数据库中，解析见：DBASE DBF数据库文件解析_数据库文件在线解析-CSDN博客 解析SHP文件代码： public static Shap…...
华为昇腾Altas产品查询——常用命令汇总记录
参考链接： 【2024第一期CANN训练营】Altas产品查询CANN软件包版本等信息npu-smi Atlas 中心训练服务器 6.0.0 NPU驱动和固件安装指南 06 Ascend Extension for PyTorch插件软件版本配套表 以下操作适用于查询npu设备的基本信息。 #查询所有设备的基本信息 npu-smi…...
韶音科技：消费电子行业售后服务实现数字化转型，重塑客户服务体系
韶音科技：消费电子行业售后服务实现数字化转型，重塑客户服务体系 在当今这个科技日新月异的时代，企业之间的竞争早已超越了单纯的产品质量比拼，**售后服务成为了衡量消费电子行业各品牌实力与客户满意度的关键一环。**深圳市韶音…...
【R语言】plyr包和dplyr包
一、plyr包 plyr扩展包主要是实现数据处理中的“分割-应用-组合”（split-apply-combine）策略。此策略是指将一个问题分割成更容易操作的部分，再对每一部分进行独立的操作，最后将各部分的操作结果组合起来。 plyr扩展包中的主要函…...
开发一款类似《王者荣耀》的游戏是一个复杂的系统工程，涉及多个领域的知识和技术。以下是从多个角度详细阐述如何开发的思维。
一、明确游戏定位与核心玩法 游戏类型 MOBA（Multiplayer Online Battle Arena）：强调团队合作、策略性和即时战斗。确定游戏模式（如5v5、3v3等）和地图设计。 核心玩法 角色设计：英雄技能、属性、成长曲线。…...
harmonyOS生命周期详述
harmonyOS的生命周期分为app(应用)的生命周期和页面的生命周期函数两部分 应用的生命周期-app应用 在app.js中写逻辑,具体有哪些生命周期函数呢,请看下图: onCreated()、onShow()、onHide()、onDestroy()这五部分 页面及组件生命周期 着重说下onShow和onHide,分别代表是不是…...
Deepseek本地部署指南：在linux服务器部署，在mac远程web-ui访问
1. 在Linux服务器上部署DeepSeek模型 要在 Linux 上通过 Ollama 安装和使用模型，您可以按照以下步骤进行操作： 步骤 1：安装 Ollama 安装 Ollama： 使用以下命令安装 Ollama： curl -sSfL https://ollama.com/download.…...
ESP8266+STM32+阿里云保姆级教程（AT指令+MQTT）
前言：在开发过程中，几乎踩便了所有大坑小坑总结出的文章，我是把坑踩满了，帮助更过小白快速上手，如有错误之处，还麻烦各位大佬帮忙指正、 目录 一、ESP-01s介绍 1、ESP-01s管脚功能： 模组启动模…...
【蓝桥杯嵌入式】4_key：单击+长按+双击
全部代码网盘自取 链接：https://pan.baidu.com/s/1PX2NCQxnADxYBQx5CsOgPA?pwd3ii2 提取码：3ii2 1、电路图 将4个按键的引脚设置为input，并将初始状态设置为Pull-up（上拉输入） 为解决按键抖动的问题，我们…...
TCP队头阻塞问题以及QUIC解决方案
TCP队头阻塞（Head-of-Line Blocking）问题 问题描述 TCP是面向字节流的可靠传输协议，要求数据按严格顺序到达接收端。若某个数据包在传输过程中丢失、延迟或乱序，会导致以下问题： 后续数据被阻塞：接收端必须等待丢失/延迟的包重传并正确接收后，才能将后续已到达的数据交…...
 at pc=0x00007ffccf76e433)
idea启动报错# EXCEPTION_ACCESS_VIOLATION (0xc0000005) at pc=0x00007ffccf76e433
# EXCEPTION_ACCESS_VIOLATION (0xc0000005) at pc0x00007ffccf76e433, pid17288, tid6696 # # JRE version: (11.0.248) (build ) # Java VM: OpenJDK 64-Bit Server VM (11.0.248-LTS, mixed mode, sharing, tiered, compressed oops, g1 gc, windows-amd64) 不知道为什么…...
如何利用Python爬虫获取商品销量详情：应对eBay反爬策略的实战指南与代码示例
在当今数据驱动的商业环境中，获取商品销量数据对于市场分析、竞品研究和商业决策至关重要。然而，像eBay这样的大型电商平台通常会部署多种反爬虫机制来保护其数据。本文将详细介绍如何利用Python编写爬虫程序，获取eBay商品的销量详情…...
激活函数篇 03 —— ReLU、LeakyReLU、RandomizedLeakkyReLU、PReLU、ELU
本篇文章收录于专栏【机器学习】 以下是激活函数系列的相关的所有内容: 一文搞懂激活函数在神经网络中的关键作用 逻辑回归：Sigmoid函数在分类问题中的应用 整流线性单位函数（Rectified Linear Unit, ReLU），又称修正线性单元&a…...
算法基础之八大排序
文章目录 概要1. 冒泡排序（Bubble Sort）2. 选择排序（Selection Sort）3. 插入排序（Insertion Sort）4. 希尔排序（Shell Sort）5. 归并排序（Merge Sort）6. 快速排…...
通达OA /mysql/index.php 未授权访问漏洞
通达OA /mysql/index.php 未授权访问漏洞 漏洞描述 通达OA 未授权访问phpmyadmin漏洞，攻击者无需帐号密码可直接访问phpmyadmin，造成数据库泄漏。攻击者可操作数据库执行sql语句，执行恶意操作，进行一步攻击。 威胁等级: 高危 …...
每日学习 设计模式 五种不同的单例模式
狮子大佬原文 https://blog.csdn.net/weixin_40461281/article/details/135050977 第一种 饿汉式 为什么叫饿汉,指的是"饿" 也就是说对象实例在程序启动时就已经被创建好,不管你是否需要,它都会在类加载时立即实例化,也就是说 实例化是在类加载时候完成的,早早的吃…...
C++类和对象
目录 一、类的定义 1.1、类定义格式 1.2、访问限定符 1.3、类域 二、实例化 2.1、实例化概念 2.2、对象大小 三、this指针 四、类的默认成员 4.1、构造函数 4.2、析构函数 4.3、拷贝构造 4.4、赋值运算符重载 4.4.1、运算符重载 4.4.2、赋值运算符重载 4.5、日…...
AI知识库和全文检索的区别
1、AI知识库的作用 AI知识库是基于人工智能技术构建的智能系统，能够理解、推理和生成信息。它的核心作用包括： 1.1 语义理解 自然语言处理（NLP）：AI知识库能够理解用户查询的语义，而不仅仅是关键词匹配。 …...
docker常用命令及案例
以下是 Docker 的所有常用命令及其案例说明，按功能分类整理： 1. 镜像管理 1.1 拉取镜像 命令: docker pull <镜像名>:<标签>案例: 拉取官方的 nginx 镜像docker pull nginx:latest1.2 列出本地镜像 命令: docker images案例: 查看本地所有…...
webpack【初体验】使用 webpack 打包一个程序
打包前 共 3 个文件 dist\index.html <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>Webpack 示例&…...
)
让office集成deepseek，支持office和WPS办公软件！(体验感受)
导读 AIGC:AIGC是一种新的人工智能技术，它的全称是Artificial Intelligence Generative Content，即人工智能生成内容。 它是一种基于机器学习和自然语言处理的技术，能够自动产生文本、图像、音频等多种类型的内容。这些内容可以是新闻文章、…...
初始数据结构☞复杂度与泛式
一.时间复杂度 定义： 算法的时间复杂度是一个数学函数，算法中的基本操作的执行次数，为算法的时间复杂度。 O渐进表示方法： 原因： 计算时间复杂度时，我们其实并不一定要计算精确的执行次数，而…...