当前位置：首页 > news >正文

【大模型面试每日一题】Day 18：大模型中KV Cache的作用是什么？如何通过Window Attention优化其内存占用？

news 来源：原创 2025/7/1 12:02:53

【大模型面试每日一题】Day 18：大模型中KV Cache的作用是什么？如何通过Window Attention优化其内存占用？

📌 题目重现 🌟🌟

面试官:大模型中KV Cache的作用是什么？如何通过Window Attention优化其内存占用？

🎯 核心考点

注意力机制理解能力：是否掌握KV Cache在Transformer中的核心作用
显存优化分析意识：能否识别长序列生成中的内存瓶颈与解决方案
工程实践适配经验：是否具备基于Window Attention的显存优化能力
性能权衡评估能力：对内存节省与模型性能的量化判断

📖 回答

一、核心区别拆解

维度	传统KV Cache	Window Attention优化
显存占用	O(L×d) per layer	O(W×d) per layer (W≪L)
注意力范围	全局（所有历史token）	局部（滑动窗口内）
生成延迟	随L线性增长	随W稳定延迟
长距离依赖	支持	需额外全局注意力补偿
典型代表	GPT-3	LLaMA-2（Windowed KV Cache）

二、深度解析

1. KV Cache的核心作用

定义：

# KV Cache存储结构示例  
past_key = torch.randn(batch_size, num_heads, seq_len, head_dim)  # Key缓存  
past_value = torch.randn(batch_size, num_heads, seq_len, head_dim)  # Value缓存

在自回归生成中，每步生成新token时复用已缓存的past_key/past_value。

核心价值：
1. 计算效率提升：
  $\text{计算复杂度} = O(L) \rightarrow O(1) \quad (\text{L=序列长度})$
  避免重复计算历史token的K/V，生成速度提升5-10倍（HuggingFace测试数据）。
2. 显存复用优化：
  通过内存连续化存储，减少碎片化浪费（显存占用减少15%）。

2. Window Attention的显存优化机制

滑动窗口设计：

# 窗口化KV Cache更新逻辑  
def update_cache(past_key, past_value, new_key, new_value, window_size=512):  if past_key.size(-2) >= window_size:  # 移除最早层的K/V  past_key = torch.cat([past_key[...,1:,:], new_key], dim=-2)  past_value = torch.cat([past_value[...,1:,:], new_value], dim=-2)  else:  past_key = torch.cat([past_key, new_key], dim=-2)  return past_key, past_value

显存节省率计算：
$\text{节省率} = 1 - \frac{W}{L} \quad (\text{W=窗口大小, L=最大序列长度})$
对L=8192, W=2048时，显存占用减少75%。

3. 性能权衡分析

指标	传统KV Cache	Window Attention (W=2048)
显存占用	100%	25%
生成速度	基准	提升1.8x
长程依赖能力	完整保留	需配合全局注意力
临界序列长度	L≤2048最优	L>8192优势显著

三、典型错误认知辨析

错误观点	正确解释
“Window Attention降低模型性能”	实验显示，在L=4096时，窗口注意力损失仅0.5-1.2 BLEU（需合理设计W）
“窗口越大越好”	W>1024后收益递减（注意力计算复杂度O(W)），推荐W=512~2048
“只能用于解码器”	同样适用于编码器（如Longformer的滑动窗口+全局token设计）

⚡️ 工业级技术选型建议

场景	推荐方案	理由
长文本生成	Window Attention + KV分块	显存节省与长程依赖平衡
实时对话系统	固定窗口KV Cache	稳定延迟与内存占用
法律文档分析	混合注意力（窗口+全局）	关键位置保留长程依赖
移动端部署	动态窗口调整 + INT8量化	端到端优化

🏭 业界案例参考

1. LLaMA-2-70B训练日志

配置：window_size=4096 + sliding_window_attention
效果：
- 显存占用从40GB降至12GB（生成长度8192 tokens）
- 生成速度提升2.1x（每秒输出tokens数从15→32）
- 在Passkey任务（检测长程记忆）中保持98%准确率

2. HF对比实验

模型	方法	显存占用	最终性能
GPT-NeoX	传统KV Cache	100%	84.3 GLUE
LLaMA-1	Window Attention	35%	83.7 GLUE (-0.6%)

🛠️ 工程实践技巧

1. 动态窗口策略

# 根据序列长度动态调整窗口  
def dynamic_window(seq_len):  if seq_len < 1024:  return seq_len  elif seq_len < 8192:  return 2048  else:  return 4096

2. 显存监控与优化

# 使用NVIDIA Nsight Systems分析KV Cache  
nvidia-smi --query-gpu=index,name,used.memory --format=csv

💡 深度追问 & 回答

Q：如何处理窗口外的历史信息？

→ 解决方案：

摘要注入：周期性插入全局token总结窗口外内容
混合注意力：部分头使用全局注意力（如Longformer实现）

Q：如何量化窗口注意力效果？

→ 评估指标：

# 窗口注意力相似度分析  
def attention_similarity(full_attn, window_attn):  return cosine_similarity(full_attn.view(-1), window_attn.view(-1))

Q：与其他优化技术的协同？

技术组合	效果	典型配置
Window Attention + 激活重计算	✅ 协同增强	窗口内激活保留
Window Attention + 分组KV	✅ 显存叠加优化	多头分组窗口管理

📈 总结速记图谱

✅ 一句话总结：KV Cache通过复用历史K/V向量实现生成加速，Window Attention通过滑动窗口机制在显存效率与长程依赖间取得平衡，其本质是通过局部注意力实现内存消耗与模型性能的帕累托优化。

🎬明日预告：

如何设计自动化评估框架验证大模型的多步推理能力（如数学解题）？请举例说明

（欢迎在评论区留下你的方案，次日公布参考答案）

🚅附录延展

1、难度标识：

• 🌟 基础题（校招必会）

• 🌟🌟 进阶题（社招重点）

• 🌟🌟🌟 专家题（团队负责人级别）

🚀 为什么值得关注？

每日进阶：碎片化学习大厂高频考点，30天构建完整知识体系
实战代码：每期提供可直接复现的PyTorch代码片段
面试预警：同步更新Google/Meta/字节最新面试真题解析

📣 互动时间

💬 你在面试中遇到过哪些「刁钻问题」？评论区留言，下期可能成为选题！
👉 点击主页「关注」，第一时间获取更新提醒
⭐️ 收藏本专栏，面试前速刷冲刺

如果觉得内容有帮助，欢迎点赞+收藏+关注，持续更新中…

【大模型面试每日一题】Day 18：大模型中KV Cache的作用是什么？如何通过Window Attention优化其内存占用？

【大模型面试每日一题】Day 18：大模型中KV Cache的作用是什么？如何通过Window Attention优化其内存占用？ 📌 题目重现 🌟🌟 面试官:大模型中KV Cache的作用是什么？如何通过Window Attention优…...

编程日记 2025/7/1 12:02:53

Spring的 @Validate注解详细分析

在 Spring Boot 中，参数校验是保证数据合法性的重要手段。除了前面提到的NotNull、Size等基础注解外，JSR-303（Bean Validation 1.0）、JSR-349（Bean Validation 1.1）和 JSR-380（Bean Validation …...

编程日记 2025/7/1 11:20:25

现代计算机图形学Games101入门笔记(三)

三维变换具体形式缩放，平移特殊点旋转。这里涉及到坐标系，先统一定义右手坐标系，根据叉乘和右手螺旋判定方向。这里还能法线Ry Sina 正负与其他两个旋转不一样。这里可以用右手螺旋，x叉乘z，发现大拇指朝下&#xff0…...

编程日记 2025/7/1 11:22:50

AI时代的弯道超车之第八章：具体分享几个AI实际操作方法和案例

在这个AI重塑世界的时代，你还在原地观望吗？是时候弯道超车，抢占先机了！李尚龙倾力打造——《AI时代的弯道超车：用人工智能逆袭人生》专栏，带你系统掌握AI知识，从入门到实战，全方位提升认知与竞争力！内容亮点： AI基础 + 核心技术讲解职场赋能 + 创业路径揭秘打破…...

编程日记 2025/6/28 23:44:19

企业网络新选择：软件定义架构下的MPLS

随着现代企业园区网络和运营商级基础设施的不断发展，多协议标签交换 （MPLS） 已成为一项基础技术，这要归功于其高效的数据包转发、高级流量工程功能以及对多租户环境的强大支持。什么是MPLS？ MPLS（多协议…...

编程日记 2025/6/29 1:22:15

SparkSQL操作Mysql

（一）准备mysql环境我们计划在hadoop001这台设备上安装mysql服务器，（当然也可以重新使用一台全新的虚拟机）。以下是具体步骤： 使用finalshell连接hadoop001.查看是否已安装MySQL。命令是: rpm -qa|grep…...

编程日记 2025/6/29 0:48:35

【论文阅读】UNIT: Backdoor Mitigation via Automated Neural Distribution Tightening

ECCV2024 https://github.com/Megum1/UNIT 我们的主要贡献总结如下： 我们引入了UNIT（“AUtomated Neural DIstribution Tightening”），这是一种创新的后门缓解方法，它为每个神经元近似独特的分布边界，用于…...

编程日记 2025/6/28 23:45:30

Android逆向学习（十） IDA逆向编辑Android so文件

Android逆向学习（十） IDA逆向编辑Android so文件一、写在前面这是吾爱破解论坛正己大大的第10个教程 native code在我之前的博客中讲到过，所以这里就不讲了简单来说，native code就是在android中使用c或c语言进行开发这样…...

编程日记 2025/7/1 11:32:43

OpenCV + PyAutoGUI + Tkinter + FastAPI + Requests 实现的远程控制软件设计方案

以下是基于 OpenCV PyAutoGUI Tkinter FastAPI Requests 实现的远程控制软件设计方案。该方案分为被控端（服务端） 和控制端（客户端），支持屏幕实时查看、键盘映射和鼠标操作。 1. 系统架构 ------------------- …...

编程日记 2025/6/29 0:31:12

C++.神经网络与深度学习（赶工版）（会二次修改）

神经网络与深度学习 1. 神经网络基础1.1 神经元模型与激活函数1.2 神经网络结构与前向传播2.1 损失函数与优化算法均方误差损失函数交叉熵损失函数梯度下降优化算法 2.2 反向传播与梯度计算神经元的反向传播 3.1 神经元类设计与实现神经元类代码实现代码思路 3.2 神经网络类构建…...

编程日记 2025/7/1 11:49:35

砷化镓太阳能电池：开启多元领域能源新篇

砷化镓太阳能电池作为一种高性能的光伏产品，具有诸多独特优势。其中，锗衬底砷化镓太阳能电池表现尤为突出，它具备高转化效率、耐辐照和高电压等特性。在空间供电电源领域，这些优势使其成为人造卫星、太空站、太空探测器和登陆探测…...

编程日记 2025/7/1 11:38:12

[Linux] vim及gcc工具

目录一、vim 1.vim的模式 2.vim的命令集 (1):命令模式 (2):底行模式 3.vim配置二、gcc 1.gcc格式及选项 2.工作布置三、自动化构建工具makefile 1.基本使用方法 2.配置文件解析 3.拓展在linux操作系统的常用工具中，常用vim来进行程序的编写&#xff1b…...

编程日记 2025/6/28 23:56:53

java加强 -stream流

Stream流是jdk8开始新增的一套api，可以用于操作集合或数组的内容。 Stream流大量的结合了Lambda的语法风格来编程，功能强大，性能高效，代码简洁，可读性好。体验Stream流把集合中所有以三开头并且三个字的元素存储到…...

编程日记 2025/6/28 22:56:25

RHCE认证通过率

红帽RHCE考试总体通过率38%（2023年数据），细分数据显示自学者通过率18%，参加官方培训者47%，企业团体考生53%。通过率差异由备考资源和考试策略决定。 RHCE考试重点考Ansible自动化运维，需在3.5小时内完成12…...

编程日记 2025/6/28 22:56:19

OpenEvidence AI临床决策支持工具平台研究报告

平台概述 OpenEvidence是一个专为医疗专业人士设计的临床决策支持工具，旨在通过整合各类临床计算器和先进的人工智能技术，提高医生的诊疗决策效率和准确性。作为一款综合性医疗平台，OpenEvidence将复杂的医学计算流程简化，同时提供个性化的临床建议，使医生能够更快、更准…...

编程日记 2025/6/28 22:56:23

gd32e230c8t6 keil6工程模板

下载固件gd32e230c8t6固件官方下载（需登录） 或蓝奏云新建一个文件夹，把固件压缩包里的里的Firmware和Template拖进去 keil新建gd32e230c8工程必须勾选CMSIS-CORE 新建一个文件夹，双击任意改名点击manage project it…...

编程日记 2025/6/28 22:56:22

正向代理与反向代理区别及应用

正向代理和反向代理是两种常见的代理服务器类型，它们在网络架构中扮演不同角色，核心区别在于代理对象和使用场景。 1. 正向代理（Forward Proxy） 定义：正向代理是客户端（如浏览器）主动配置的代理…...

编程日记 2025/6/28 23:07:34

自然语言处理入门级项目——文本分类

文章目录前言1.数据预处理1.1数据集介绍1.2数据集抽取1.3划分数据集1.4数据清洗1.5数据保存 2.样本的向量化表征2.1词汇表2.2向量化2.3自定义数据集2.4备注结语前言本篇博客主要介绍自然语言处理领域中一个项目案例——文本分类，具体而言就是判断评价属于积极还…...

编程日记 2025/6/29 0:18:36

UOS专业版上通过源码安装 Python 3.13 并保留系统默认版本

在 UOS 专业版上通过源码安装 Python 3.13 并保留系统默认版本，可按照以下步骤操作： 1. 安装依赖首先安装编译 Python 所需的依赖库： sudo apt update sudo apt install -y build-essential zlib1g-dev libncurses5-dev \ libgdbm-dev li…...

编程日记 2025/6/29 1:18:38

【题目】：ViT-CoMer: Vision Transformer with Convolutional Multi-scale Feature Interaction for Dense Predictions 【引用格式】：Xia C, Wang X, Lv F, et al. Vit-comer: Vision transformer with convolutional multi-scale feature interaction…...

编程日记 2025/6/29 0:39:39

kaggle薅羊毛

参考：https://pytorch-tutorial.readthedocs.io/en/latest/tutorial/chapter05_application/5_1_kaggle/#512-kaggle https://github.com/girls-in-ai/Girls-In-AI/blob/master/machine_learning_diary/data_analysis/kaggle_intro.md 1，code training…...

编程日记 2025/6/29 0:05:38

Python 之 Flask 入门学习

安装 Flask 在开始使用 Flask 之前，需要先安装它。可以通过 pip 命令来安装 Flask： pip install Flask创建第一个 Flask 应用创建一个简单的 Flask 应用，只需要几行代码。以下是一个最基本的 Flask 应用示例： from flask imp…...

编程日记 2025/6/28 22:56:24

SpringBoot Vue MySQL酒店民宿预订系统源码（支付宝沙箱支付）+代码讲解视频

💗博主介绍💗：✌在职Java研发工程师、专注于程序设计、源码分享、技术交流、专注于Java技术领域和毕业设计✌ 温馨提示：文末有 CSDN 平台官方提供的老师 Wechat / QQ 名片 :) Java精品实战案例《700套》 2025最新毕业设计选题推荐…...

编程日记 2025/6/28 23:38:37

Oracle日期计算跟Mysql计算日期差距问题-导致两边计算不一致

Oracle数据库对日期做加法时，得到的时间是某天的12:00:00 例： Oracle计算 select (TO_DATE(2025-04-14, YYYY-MM-DD)1.5*365) from dual; 结果：2026/10/13 12:00:00Mysql计算 select DATE_ADD( str_to_date( 2025-04-14, %Y-%m-%d ), INTER…...

编程日记 2025/6/29 0:19:28

多线程（三）

上一期关于线程的执行，咱们说到线程是 “ 随机调度，抢占式执行 ”。所以我们对于线程之间执行的先后顺序是难以预知的。例如咱们打篮球的时候，球场上的每一位运动员都是一个独立的 “ 执行流 ”，也可以认为是一个线程&#xff0…...

编程日记 2025/6/29 1:32:06

微服务商城（1）开篇、服务划分

参考：https://mp.weixin.qq.com/s?__bizMzg2ODU1MTI0OA&mid2247485597&idx1&sn7e85894b7847cc50df51d66092792453&scene21#wechat_redirect 为什么选择go-zero go-zero 为我们提供了许多高并发场景下的实用工具，比如为了降低接口耗时…...

编程日记 2025/6/29 0:39:53

刘强东 “猪猪侠” 营销：重构创始人IP的符号革命|创客匠人热点评述

当刘强东身着印有外卖箱猪猪侠的 T 恤漫步东京涩谷街头时，这场看似荒诞的行为艺术实则揭开了互联网商业竞争的新篇章。这位曾经以严肃企业家形象示人的京东创始人，正通过二次元 IP 的深度绑定，完成从商业领袖到文化符号的华丽转身。一、IP …...

编程日记 2025/6/29 0:57:31

MQ消息队列的深入研究

目录 1、Apache Kafka 1.1、 kafka架构设 1.2、最大特点 1.3、功能介绍 1.4、Broker数据共享 1.5、数据一致性 2、RabbitMQ 2.1、架构图 2.2、最大特点 2.3、工作原理 2.4、功能介绍 3、RocketMQ 3.1、架构设计 3.2、工作原理 3.3、最大特点 3.4、功能介绍 3…...

编程日记 2025/6/28 23:38:01

填涂颜色（bfs）

归纳编程学习的感悟，记录奋斗路上的点滴，希望能帮到一样刻苦的你！如有不足欢迎指正！共同学习交流！ 🌎欢迎各位→点赞 👍+ 收藏⭐ + 留言📝 含泪播种的人一定能含笑收获！题目描述由数字 0 0 0 组成的方阵中，有一任意形状的由数字 1 1 1 构成的闭合圈。现…...

编程日记 2025/6/29 1:32:21

FFplay 音视频同步机制解析：以音频为基准的时间校准与动态帧调整策略

1.⾳视频同步基础 1.2 简介看视频时，要是声音和画面不同步，体验会大打折扣。之所以会出现这种情况，和音视频数据的处理过程密切相关。音频和视频的输出不在同一个线程，就像两个工人在不同车间工作，而且不一定会同时…...

编程日记 2025/6/28 21:46:02

【Linux笔记】——进程信号的捕捉——从中断聊聊OS是怎么“活起来”的

🔥个人主页🔥：孤寂大仙V 🌈收录专栏🌈：Linux 🌹往期回顾🌹：【Linux笔记】——进程信号的保存 🔖流水不争，争的是滔滔不息一、信号捕捉的流程二、…...

编程日记 2025/6/28 20:53:01

VCS X-PROP建模以及在方针中的应用

VCS X-PROP建模以及在方针中的应用摘要：VCS X-Prop（X-Propagation）是 Synopsys VCS 仿真工具中的一种高级功能，用于增强 X 态（未知态）和 Z 态（高阻态）在 RTL 仿真中的建模和传播能力…...

编程日记 2025/6/28 11:41:09

OpenSHMEM 介绍和使用指南

OpenSHMEM 介绍和使用指南什么是 OpenSHMEM？ OpenSHMEM 是一个用于并行计算的标准化 API，它提供了一种分区全局地址空间 (PGAS) 编程模型。OpenSHMEM 最初由 Cray 公司开发，后来成为一个开源项目，旨在为高性能计算提供高效的通…...

编程日记 2025/6/28 17:50:58

Electron入门指南：用前端技术打造桌面应用

🌟 目录速览什么是Electron？为什么要用Electron？核心概念三分钟掌握快速创建第一个应用典型应用场景开发注意事项常见问题解答一、什么是Electron？🤔 Electron就像魔法转换器，它能将你熟悉的&#xff1…...

编程日记 2025/6/28 10:49:53

机器学习第十讲：异常值检测 → 发现身高填3米的不合理数据

机器学习第十讲：异常值检测 → 发现身高填3米的不合理数据资料取自《零基础学机器学习》。查看总目录：学习大纲关于DeepSeek本地部署指南可以看下我之前写的文章：DeepSeek R1本地与线上满血版部署：超详细手把手指南一、幼儿…...

编程日记 2025/6/28 7:04:42

【Redis】缓存穿透、缓存雪崩、缓存击穿

1.缓存穿透是指客户端请求的数据在缓存中和数据库中都不存在，这样缓存永远不会生效，导致请求直接穿透缓存到达数据库，给数据库带来压力的情况。常见的解决方案有两种： 缓存空对象：实现简单，维护方便&am…...

编程日记 2025/6/28 23:42:13

科学养生指南：打造健康生活

在快节奏的现代生活中，健康养生成为人们关注的焦点。科学养生无需复杂理论，掌握以下几个关键要素，就能为身体构筑坚实的健康防线。合理饮食是健康的基础。世界卫生组织建议，每天应摄入至少 5 份蔬菜和水果，保证维生…...

编程日记 2025/6/29 0:12:58

解锁健康生活：现代养生实用方案

早上被闹钟惊醒后匆忙灌下咖啡，中午用外卖应付一餐，深夜刷着手机迟迟不肯入睡 —— 这样的生活模式，正在不知不觉侵蚀我们的健康。科学养生并非遥不可及的目标，只需从生活细节入手，就能逐步改善身体状态。饮食管理…...

编程日记 2025/6/28 22:56:44

深入解析JVM字节码解释器执行流程（OpenJDK 17源码实现）

一、核心流程概述 JVM解释器的核心任务是将Java字节码逐条翻译为本地机器指令并执行。其执行流程可分为以下关键阶段： 方法调用入口构建：生成栈帧、处理参数、同步锁等。字节码分派（Dispatch）：根据字节码跳转到对应…...

编程日记 2025/6/29 8:48:47

【HCIA】BFD

前言前面我们介绍了浮动路由以及出口路由器的默认路由配置，可如此配置会存在隐患，就是出口路由器直连的网络设备并不是运营商的路由器，而是交换机。此时我们就需要感知路由器的存活状态，这就需要用到 BFD（Bidirectio…...

编程日记 2025/6/28 10:59:03

vue使用路由技术实现登录成功后跳转到首页

文章目录一、概述二、使用步骤安装vue-router在src/router/index.js中创建路由器，并导出在vue应用实例中使用router声明router-view标签，展示组件内容三、配置登录成功后跳转首页四、参考资料一、概述路由，决定从起点到终点的路径的进程…...

编程日记 2025/6/28 23:56:58

用户模块 - IP归属地框架吞吐测试

一、引言在很多用户系统中，我们常常需要知道一个IP地址来自哪里，比如判断一个用户是否来自国内、识别异常登录等。而实现这个功能，通常会使用一个“IP归属地解析框架”，它可以根据IP地址返回国家、省份、城市等信息。不过&#…...

编程日记 2025/6/28 5:44:55

生活实用小工具-手机号归属地查询

一、接口定义手机号码归属地接口（又称手机号查询API）是一种通过输入手机号码，快速返回其归属地信息（如省份、城市、运营商、区号等）的应用程序接口。其数据基础来源于运营商（移动、联通、电信）…...

编程日记 2025/6/28 14:49:12

鸿蒙-5.1.0-release源码下载

源码获取前提条件注册码云gitee帐号。注册码云SSH公钥，请参考码云帮助中心。安装git客户端和git-lfs并配置用户信息。 git config --global user.name "yourname" # 这得和gitee的账号对的上 git config --global user.email "your-email-ad…...

编程日记 2025/6/29 0:00:11

2020年下半年试题三：论云原生架构及其应用

论文库链接：系统架构设计师论文论文题目近年来，随着数字化转型不断深入，科技创新与业务发展不断融合，各行各业正在从大工业时代的固化范式进化成面向创新型组织与灵活型业务的崭新模式。在这一背景下，以容器盒微服务…...

编程日记 2025/6/29 0:05:49

Flutter到HarmonyOS Next 的跨越：memory_info库的鸿蒙适配之旅

Flutter到鸿蒙的跨越：memory_info库的鸿蒙适配之旅本项目作者：kirk/坚果您可以使用这个Flutter插件来更改应用程序图标上的角标作者仓库：https://github.com/MrOlolo/memory_info/tree/master/memory_info 在数字化浪潮的推动下&#…...

编程日记 2025/6/29 0:15:06

昆士兰科技大学无人机自主导航探索新框架！UAVNav：GNSS拒止与视觉受限环境中的无人机导航与目标检测

作者： Sebastien Boiteau, Fernando Vanegas, Felipe Gonzalez 单位：昆士兰科技大学电气工程与机器人学院，昆士兰科技大学机器人中心论文标题：Framework for Autonomous UAV Navigation and Target Detection in Global-Naviga…...

编程日记 2025/6/28 6:59:35

uniapp设置 overflow：auto；右边不显示滚动条的问题

设置了overflow：auto;或者其它overflow的属性不显示滚动条是因为在uniapp中默认隐藏了滚动条解决方法： //强制显示滚动条 ::-webkit-scrollbar {width: 8px !important;background: #ccc !important;display: block !important;}//设置滚动条颜色.cu-…...

编程日记 2025/6/29 0:13:08

基于SIP协议的VOIP话机认证注册流程分析与抓包验证

话机的认证注册报文怎么看？ 在SIP协议中，当VOIP话机首次启动的时候，他会向SIP服务器发送一个Register请求来注册自己的信息地址，，告诉服务器话机当前在线话机的IP地址和端口是什么话机希望接收通话的联系方式认证注…...

编程日记 2025/6/28 22:56:47

JS,ES,TS三者什么区别

Java Script(JS）、ECMAScript（ES）、TypeScript（TS）的核心区别与关联的详细解析，结合技术背景、设计目标及应用场景展开说明：一、核心定义与关系 JavaScript（JS）定义：一种动态类型、基于原型的脚本语言，由 Netscape 公司于 1995 年首次开发，用于网页交互功能。角…...

编程日记 2025/6/28 23:29:52

【大模型面试每日一题】Day 18：大模型中KV Cache的作用是什么？如何通过Window Attention优化其内存占用？

📌 题目重现 🌟🌟

🎯 核心考点

📖 回答

一、核心区别拆解

二、深度解析

1. KV Cache的核心作用

2. Window Attention的显存优化机制

3. 性能权衡分析

三、典型错误认知辨析

⚡️ 工业级技术选型建议

🏭 业界案例参考

1. LLaMA-2-70B训练日志

2. HF对比实验

🛠️ 工程实践技巧

1. 动态窗口策略

2. 显存监控与优化

💡 深度追问 & 回答

Q：如何处理窗口外的历史信息？

Q：如何量化窗口注意力效果？

Q：与其他优化技术的协同？

📈 总结速记图谱

🎬明日预告：

🚅附录延展

1、难度标识：

🚀 为什么值得关注？

📣 互动时间

相关文章：