当前位置：首页 > news >正文

大模型训练显存压缩实战：ZeRO-3 vs 梯度累积 vs 量化混合策略

news 来源：原创 2025/8/26 2:04:28

一、显存瓶颈的本质与挑战

大模型训练面临的核心矛盾是模型参数量指数级增长与GPU显存容量线性提升之间的鸿沟。以175B参数模型为例，其显存消耗主要来自三个方面：

参数存储‌：FP32精度下需700GB显存‌
梯度缓存‌：反向传播产生的梯度张量与参数量成正比‌
优化器状态‌：Adam优化器需维护动量和方差，显存开销为参数量的2倍‌
在A100（80GB显存）上训练千亿级模型时，单一技术难以突破显存限制，需组合使用显存压缩策略。本文以PyTorch框架为基础，对比分析ZeRO-3、梯度累积、量化混合策略的优化效果。

二、三大显存压缩技术原理与实现

ZeRO-3：全参数分布式优化
通过‌三级显存分割策略‌实现极致压缩：

优化器状态分割‌：将Adam的动量、方差分散到各计算节点‌
梯度分片存储‌：每张GPU仅保留部分梯度数据
参数动态加载‌：前向/反向传播时按需获取完整参数‌

# DeepSpeed集成ZeRO-3配置示例  
ds_config = {  "zero_optimization": {  "stage": 3,  "offload_optimizer": {"device": "cpu"},  "contiguous_gradients": True  },  "fp16": {"enabled": True}  
}  
model_engine, optimizer, _, _ = deepspeed.initialize(  model=model,  config_params=ds_config  
)

梯度累积：时间换空间策略
通过‌多batch梯度累积‌降低单次迭代显存峰值：

optimizer.zero_grad()  
for i, (inputs, labels) in enumerate(dataloader):  outputs = model(inputs)  loss = criterion(outputs, labels)  loss.backward()  if (i+1) % accumulation_steps == 0:  optimizer.step()  optimizer.zero_grad()

该方法将显存占用降低至1/accumulation_steps，但训练时间线性增加‌

量化混合策略：精度与效率的平衡

动态FP16量化‌：前向传播使用FP16，反向传播保留FP32精度
GPTQ权重量化‌：基于二阶信息的一次性量化，175B模型可压缩至3-4bit‌

# 动态混合精度训练  
scaler = torch.cuda.amp.GradScaler()  
with torch.cuda.amp.autocast():  outputs = model(inputs)  loss = criterion(outputs, labels)  
scaler.scale(loss).backward()  
scaler.step(optimizer)  
scaler.update()

三、实测数据对比分析

在A100/V100 GPU上对LLaMA-7B模型进行测试：

策略\指标	显存占用(GB)	训练速度(iter/s)	模型精度(ppl)
Baseline	72.3	1.8	3.21
ZeRO-3	21.5 (-70%)	1.5 (-17%)	3.23
梯度累积(step=4)	18.9 (-74%)	0.9 (-50%)	3.25
FP16量化	38.2 (-47%)	2.4 (+33%)	3.28
混合策略(Z3+FP16)	16.1 (-78%)	1.2 (-33%)	3.26

测试环境：PyTorch 2.4 + CUDA 12.2，batch_size=8，sequence_length=2048

实验表明：

ZeRO-3‌在保持95%训练速度的前提下，显存占用降低70%‌
梯度累积‌对显存优化显著，但时间成本增加50%以上‌
量化策略‌在V100上加速效果更明显（FP16吞吐量提升41%）‌

四、混合策略优化方案

针对不同硬件配置推荐组合方案：

A100集群‌：ZeRO-3 + FP16动态量化 + 梯度累积

# 混合策略代码示例  
ds_config["fp16"]["enabled"] = True  
ds_config["zero_optimization"]["stage"] = 3  
model_engine.train()  
for step, batch in enumerate(data_loader):  loss = model_engine(batch).loss  model_engine.backward(loss)  if (step+1) % 4 == 0:  model_engine.step()

V100单卡‌：QLoRA微调 + 梯度检查点

# QLoRA参数高效微调  
peft_config = LoraConfig(  r=8, lora_alpha=32,   target_modules=["q_proj","v_proj"],  bias="none", task_type="CAUSAL_LM"  
)  
model = get_peft_model(model, peft_config)

五、技术选型建议与展望

实时性要求高‌的场景优先选择ZeRO-3，其通信开销已优化至原始方案的30%‌
资源极度受限‌环境推荐QLoRA+GPTQ组合，可将175B模型显存需求压缩至48GB‌‌
未来方向‌：

基于昇腾910B的硬件原生量化支持‌
NVLink 4.0与HBM3e显存结合的新型压缩范式‌
显存压缩技术正在从单一策略向多维度协同优化演进。研究者需根据硬件特性和任务需求动态选择策略组合，在有限资源下实现大模型的高效训练‌。

大模型训练显存压缩实战：ZeRO-3 vs 梯度累积 vs 量化混合策略

一、显存瓶颈的本质与挑战大模型训练面临的核心矛盾是模型参数量指数级增长与GPU显存容量线性提升之间的鸿沟。以175B参数模型为例，其显存消耗主要来自三个方面： 参数存储‌：FP32精度下需700GB显存‌梯度缓存‌：反向传播产生的…...

编程日记 2025/8/26 2:04:28

WPS JS宏编程教程（从基础到进阶）-- 第七部分：JS对象在WPS中的应用

目录第7章 JS对象在WPS中的应用7-1 对象创建的几种方法从零理解对象：数据收纳盒两种基础创建方式代码解析表 7-2 对象属性的查、改、增、删像操作Excel单元格一样管理属性1. 点操作符（静态键名）2. 中括号操作符（动态键名&#xf…...

编程日记 2025/8/19 2:48:35

网络编程（UDP）

server:服务器 # import socket # # 传递udp协议参数 # sk socket.socket(typesocket.SOCK_DGRAM) # # # 绑定ip及端口 # sk.bind(("127.0.0.1",8080)) # # print("等待客户端发送消息") # # # 直接发送 # msg,addr sk.recvfrom(1024) # # print(msg.d…...

编程日记 2025/8/26 2:04:27

深入讲解 CSS 选择器权重及实战

1. 权重计算规则详解 CSS 选择器的优先级由三元组 (x, y, z) 决定，比较规则如下： 选择器类型权重值 (x, y, z)示例ID 选择器x 1#header → (1,0,0)类/伪类/属性y 1.active, :hover元素/伪元素z 1div, ::before 比较规则：从左到右逐级比…...

编程日记 2025/8/23 2:05:21

Mysql的查询

1.Mysql的基本查询语法：select*from 表名;代表查询所有数据的所有列 SELECT * FROM classinfo; SELECT * FROM studentinfo; select 字段1，字段2.....from 表名;查询数据的指定字段查询studentinfo表的学生姓名和年龄 SELECT stuname,age FROM stu…...

编程日记 2025/8/26 2:00:55

RaabitMQ 快速入门

🎉欢迎大家观看AUGENSTERN_dc的文章(o゜▽゜)o☆✨✨ 🎉感谢各位读者在百忙之中抽出时间来垂阅我的文章，我会尽我所能向的大家分享我的知识和经验📖 🎉希望我们在一篇篇的文章中能够共同进步！！&…...

编程日记 2025/8/23 8:38:58

LLM: 探索LLM视觉缺陷

文章目录前言一、Constructing MMVP Benchmarks1、CLIP-blind pair 二、MMVP-VLM bench1、Model size influence2、correlation between CLIP MLLMs 三、Mixture of Features1、Additive MoF Experiment2、Interleaved MoF Experiment 总结前言在使用多模态大模型时候是否会…...

编程日记 2025/8/26 2:00:55

常用的 SQL 语句分类整理

以下是常用的 SQL 语句分类整理，覆盖数据查询、操作、表管理和高级功能，适用于大多数关系型数据库（如 MySQL、PostgreSQL、SQL Server）： 目录一、数据查询（DQL） 1. 基础查…...

编程日记 2025/8/19 7:17:39

Go之defer关键字：优雅的资源管理与执行控制

在Go语言中，defer关键字是处理资源释放、错误恢复和代码逻辑清理的利器。它看似简单，却隐藏着许多设计哲学和底层机制。本文将深入剖析defer的执行原理、使用场景和常见陷阱，助你掌握这一关键特性。一、defer基础：延迟执行的本质…...

编程日记 2025/8/26 2:02:59

T1结构像+RS-fMRI影像处理完整过程记录（数据下载+Matlab工具箱+数据处理）

最近需要仿真研究T1结构像RS-fMRI影像融合处理输出目标坐标的可行性。就此机会记录下来。为了完成处理，首先需要有数据，然后需要准备对应的处理平台和工具箱。那么正文开始~ （1）下载满足要求的开源数据去OpenNEURO https://open…...

编程日记 2025/8/21 18:38:25

Flowable进阶-网关、事件和服务

网关并行网关并行网关允许将流程拆分为多个分支，也可以将多个分支汇集到一起。并行网关的功能是基于流入流出的顺序流。fork分支：用于任务的开始。并行后所有外出的顺序流，为每个顺序流都创建一个并发分支。 join汇聚：用于任务…...

编程日记 2025/8/25 9:57:22

【三维重建与生成】GenFusion：SVD统一重建和生成

标题:《GenFusion: Closing the Loop between Reconstruction and Generation via Videos》来源：西湖大学；慕尼黑工业大学；上海科技大学；香港大学；图宾根大学项目主页：https://genfusion.sibowu.com 文章…...

编程日记 2025/8/26 2:00:56

常见的爬虫算法

1.base64加密 base64是什么 Base64编码，是由64个字符组成编码集：26个大写字母AZ，26个小写字母az，10个数字0~9，符号“”与符号“/”。Base64编码的基本思路是将原始数据的三个字节拆分转化为四个字节，然后…...

编程日记 2025/8/26 1:59:39

有序二叉树各种操作实现（数据结构C语言多文件编写）

1.先创建tree.h声明文件( Linux 命令：touch tree.h)。编写函数声明如下(打开文件 Linux 操作命令：vim tree.h): //树的头文件位置 #ifndef __TREE_H__ #define __TREE_H__ //节点 typedef struct node{int data;//数据struct node* left;//记录左侧子节…...

编程日记 2025/8/25 1:01:56

Nacos-Controller 2.0：使用 Nacos 高效管理你的 K8s 配置

作者：濯光、翼严 Kubernetes 配置管理的局限目前，在 Kubernetes 集群中，配置管理主要通过 ConfigMap 和 Secret 来实现。这两种资源允许用户将配置信息通过环境变量或者文件等方式，注入到 Pod 中。尽管 Kubernetes 提供了这些强…...

编程日记 2025/8/25 17:09:04

特殊文件以及日志——特殊文件

一、特殊文件必要性：可以用于存储多个用户的：用户名、密码。这些有关系的数据都可以用特殊文件来存储，然后作为信息进行传输。 1. 属性文件.properties（键值对） （1）特点： 都只能…...

编程日记 2025/8/24 19:47:10

Spark-SQL核心编程语言

利用IDEA开发spark-SQL 创建spark-SQL测试代码自定义函数UDF 自定义聚合函数UDAF 强类型的 Dataset 和弱类型的 DataFrame 都提供了相关的聚合函数， 如 count()， countDistinct()，avg()，max()，min()。除此之外&…...

编程日记 2025/8/25 1:16:24

jdk 安装

oracle官网 : Java Archive | Oracle 中国 export JAVA_HOME/Users/xxxxx/app/services/x86jdk/jdk1.8.0_431.jdk/Contents/Home export PATH$JAVA_HOME/bin:$PATH 华为镜像网站：Index of java-local/jdk...

编程日记 2025/8/18 19:34:08

Missashe考研日记-day21

Missashe考研日记-day21 1 专业课408 学习时间：4h学习内容： 今天先把昨天学的内容的课后习题做了，整整75道啊，然后学了OS第二章关于CPU调度部分的内容，这第二章太重要了，以至于每一小节的内容都比较多&am…...

编程日记 2025/8/23 1:49:56

双重路由引入的环路,选路次优的产生以及解决方法

描述在R2,R3上双向引入ospf,以及rip,R5修改静态的优先级为180,在ospf中引入该静态路由路由分析选路次优问题 R5引入了静态路由,优先级是150 R2->R5->100.1.1.0,优先级是150 R3->R4->100.1.1.0,优先级是150 R3->R4->R5->100.1.1.0,优先级是150 R2-…...

编程日记 2025/8/24 2:23:20

环境变量概念以及获取环境变量（linux下解析）

目录 1 基本概念 2 常见的环境变量 3 查看环境变量方法 4 和环境变量相关的命令 5 环境变量的组织方式 6 通过代码如何获取环境变量 6.1 命令行参数 6.2 环境变量 7 通过系统调用获取或设置环境变量 1 基本概念环境变量(environmentvariables)⼀般是指在操作系统中用来指…...

编程日记 2025/8/17 18:45:18

删除win11电脑上的阿尔巴尼亚输入法SQI

删除电脑自带的阿尔巴尼亚输入法这个输入法在系统中并不显示，但是有时候会出现在右下角显示，删除这个输入法的流程如下，暂时没发现反复！ 第一步：打开注册表： winR打开运行，输入 regedit 第二…...

编程日记 2025/8/26 1:59:38

目标检测与分割：深度学习在视觉中的应用

🔍 PART 1：目标检测（Object Detection） 1️⃣ 什么是目标检测？ 目标检测是计算机视觉中的一个任务，目标是让模型“在图像中找到物体”，并且判断： 它是什么类别（classif…...

编程日记 2025/8/24 2:01:29

npm和npx的作用和区别

npx 和 npm 是 Node.js 生态系统中两个常用的工具，它们有不同的作用和使用场景。 1. npm（Node Package Manager） 作用： npm 是 Node.js 的包管理工具，主要用于： 安装、卸载、更新项目依赖（包&a…...

编程日记 2025/8/26 0:37:35

OpenCV 图形API（36）图像滤波-----形态学操作函数morphologyEx()

操作系统：ubuntu22.04 OpenCV版本：OpenCV4.9 IDE:Visual Studio Code 编程语言：C11 算法描述执行高级形态学变换。该函数可以使用腐蚀和膨胀作为基本操作来执行高级形态学变换。任何操作都可以原地进行。在处理多通道图像时，…...

编程日记 2025/8/25 8:08:50

Python入门到精通6：CSS网页美化入门1

CSS（层叠样式表）是网页设计的核心语言之一，它让我们的网页从单调的结构变得生动美观。今天，我将带大家快速了解CSS的基础知识，包括基本概念、引入方式、选择器、字体与文本样式以及调试工具的使用。 1. CSS基本概念 …...

编程日记 2025/8/26 1:59:38

【深入C++多态：基于消息解析器的设计、实现与剖析】

深入C多态：基于消息解析器的设计、实现与剖析前言多态代码示例代码结构C多态的核心知识点多态的底层机制深入剖析多态的设计模式总结前言在C面向对象编程中，多态（Polymorphism）是实现灵活性和扩展性的核心特性，允许…...

编程日记 2025/8/26 2:03:00

Dockerfile 文件常见命令及其作用

Dockerfile 文件包含一系列命令语句，用于定义 Docker 镜像的内容、配置和构建过程。以下是一些常见的命令及其作用： FROM：指定基础镜像，后续的操作都将基于该镜像进行。例如，FROM python:3.9-slim-buster 表示使用 Pyt…...

编程日记 2025/8/26 2:03:00

Redis--持久化

一、持久化 Redis支持RDB和AOF两种持久化机制持久化功能有效地避免因进程退出造成数据丢失问题， 当下次重启时利用之前持久化的文件即可实现数据恢复。二、RDB RDB 持久化是把当前进程数据⽣成快照保存到硬盘的过程，触发 RDB 持久化过程分为手动触发和…...

编程日记 2025/8/26 1:59:37

Markdown学习

Typora下载 Typora教程标题井号加空格——回车即可形成标题，几级标题几个井号。字体斜体——前后各一个*，回车粗体——前后各两个*，回车既斜体又粗体——前后各三个*，回车删除线——前后各两个~（波浪号…...

编程日记 2025/8/20 18:06:45

Vulhub-DarkHole靶机通关攻略

下载链接：https://www.vulnhub.com/entry/darkhole-1,724/ 扫描ip arp-scan -l扫描端口 nmap 192.168.112.144 -p-扫描目录 dirsearch -u http://192.168.112.144/有一个登录页面，还有一个upload目录，但是还没有找到上传点先注册一个用…...

编程日记 2025/8/20 21:36:09

UniRig ,清华联合 VAST 开源的通用自动骨骼绑定框架

UniRig是清华大学计算机系与VAST联合开发的前沿自动骨骼绑定框架，专为处理复杂且多样化的3D模型而设计。基于强大的自回归模型和骨骼点交叉注意力机制，UniRig能够生成高质量的骨骼结构和精确的蒙皮权重，大幅提升动画制作的效率和质量。 UniR…...

编程日记 2025/8/20 5:39:14

深入解析 sklearn 中的 LabelEncoder：功能、使用场景与注意事项

标题：深入解析 sklearn 中的 LabelEncoder：功能、使用场景与注意事项摘要： LabelEncoder 是 sklearn 中用于类别标签编码的重要工具，能够将离散的类别型标签转换为模型可识别的数值格式。本文详细解析 LabelEncoder 的核心功能…...

编程日记 2025/8/26 2:02:59

红帽Linux网页访问问题

配置网络，手动配置搭建yum仓库红帽Linux网页访问问题下载httpd 网页访问问题：首先看httpd的状态---selinux的工作模式（强制）---上下文类型(semanage-fcontext)---selinux端口有没有放行semanage port ---防火墙有没有active---…...

编程日记 2025/8/18 23:51:08

Muduo库代码剖析 : EventLoop

本文初发于 “天目中云的小站”，同步转载于此 EventLoop 详解 EventLoop类似于Reactor模型中的反应堆(Reactor)和事件分发器(Demultiplex)的合并, 其目的在于高效的接收事件, 并正确分配给对应的事件处理器. EventLoop中有两类关键的子控件 : Channel 和 Poller. C…...

编程日记 2025/8/23 5:04:12

Python网络爬虫设计（一）

目录一、网络爬虫 1、基本的爬虫 2、获取URL 3、查找网页源码关键字 4、代码实现二、requests库 1、requests的优势和劣势 2、获取网页的其他库 （1）selenium库 （2）pyppeteer库三、pyppeteer库 1、pyppeteer库的来历…...

编程日记 2025/8/24 4:49:48

GEO供应商盈达科技发布:AI信源占位白皮书

副标题：生成式AI时代的企业认知主权争夺战发布日期：2025年4月15日一、范式重构：从流量入口到认知主权的战略迁移生成式AI的规则革命 73%的用户决策直接依赖AI生成内容，但68%的引…...

编程日记 2025/8/23 19:04:26

L1-4 拯救外星人

题目你的外星人朋友不认得地球上的加减乘除符号，但是会算阶乘 —— 正整数 N 的阶乘记为 “N!”，是从 1 到 N 的连乘积。所以当他不知道“57”等于多少时，如果你告诉他等于“12!”，他就写出了“479001600”这个答案。本题就请你…...

编程日记 2025/8/20 2:07:11

业务摆渡解锁信息孤岛，重塑数字医疗未来

某三甲医院的急诊科突然亮起红灯，一名车祸患者被紧急送入，主治医师需要调取其三个月前在科研专网存储的增强CT影像。若在两年前，这需要两位管理员手动导出、杀毒、跨网传输，耗时40分钟；而现在，系统自动触发…...

编程日记 2025/8/18 20:19:32

OpenCV中的轮廓近似方法详解

文章目录引言一、什么是轮廓近似？二、OpenCV中的轮廓近似方法2.1Douglas-Peucker算法原理2.2函数原型三、代码示例3.1. 基本使用四、参数选择技巧五、与其他轮廓方法的比较六、总结引言在计算机视觉和图像处理中，轮廓是物体边界的重要表示形式。Op…...

编程日记 2025/8/21 11:46:43

4种方法将文件映射到内存提升读写速度

背景考虑到以下应用需求，常将文件映射到内容，以提升读写效果。高效文件读写：大文件操作时，避免多次read/write系统调用的开销。进程间通信（共享内存）：多个进程映射同一文件，实现…...

编程日记 2025/8/24 20:52:57

367. 有效的完全平方数

给你一个正整数 num 。如果 num 是一个完全平方数，则返回 true ，否则返回 false 。完全平方数是一个可以写成某个整数的平方的整数。换句话说，它可以写成某个整数和自身的乘积。不能使用任何内置的库函数，如 sqrt 。示例 1…...

编程日记 2025/8/21 4:16:01

Ubuntu2404装机指南

因为原来的2204升级到2404后直接嘎了，于是要重新装一下Ubuntu2404 Ubuntu系统下载 | Ubuntuhttps://cn.ubuntu.com/download我使用的是balenaEtcher将iso文件烧录进U盘后，使用u盘安装，默认选的英文版本， 安装后，安装…...

编程日记 2025/8/21 15:56:06

爬虫框架 - Coocan

安装 pip install coocan 演示...

编程日记 2025/8/19 2:48:31

S06-Kep的跨通道传输

每次分享一小点，进步都是实实在在。小编今天又来分享了！之前我们讲到的KepServer软件，是一个具备强大通讯能力的软件，但是当你的上位软件不够灵活的时候，又有多个通道的数据交互的需求，Kep的跨通道传输就为…...

编程日记 2025/8/20 8:30:27

Zookeeper单机三节点集群部署（docker-compose方式）

前提：服务器需要有docker镜像zookeeper:3.9.3 或能连网拉取镜像服务器上面新建文件夹： mkdir -p /data/zk-cluster/{data,zoo-cfg} 创建三个zookeeper配置文件zoo1.cfg、zoo2.cfg、zoo3.cfg，配置文件里面内容如下（三个文件内容一样）： tickTime=2000 initLimit=10 …...

编程日记 2025/8/24 11:12:22

C++| 深入剖析std::list底层实现：链表结构与内存管理机制

引言 std::list的底层实现基于双向链表，其设计哲学与std::vector截然不同。本文将深入探讨其节点结构、内存分配策略及迭代器实现原理，揭示链表的性能优势和潜在代价。 1. 底层数据结构：双向链表每个std::list节点包含： 数据域…...

编程日记 2025/8/24 10:29:47

mysql数据库的线程连接数、状态、最大并发数、缓存等参数配置

mysql数据库的线程连接数、状态、最大并发数、缓存等参数配置 https://www.modb.pro/db/1784385883449397248 mysql数据库的线程连接数、状态、最大并发数、缓存等参数配置 SQL命令行临时设置操作 #查看mysql数据库的线程连接数： mysql> show global statu…...

编程日记 2025/8/24 22:13:01

HarmonyOS-ArkUI V2状态-PersistenceV2:持久化存储UI状态

PersistenceV2类是一个与AppStorageV2类用法非常相似的类。因为它俩是子类和父类的关系。如果不了解AppStorageV2，可以先跳转至了解一下这个类。 HarmonyOS-ArkUI V2工具类：AppStorageV2:应用全局UI状态存储-CSDN博客 PersistenceV2相比于其父类AppStorageV2而言，它存储的…...

编程日记 2025/8/21 1:24:30

App测试小工具

前言最近app测试比较多，每次都得手动输入日志tag，手动安装，测完又去卸载，太麻烦。就搞了小工具使用。效果预览每次测试完成，点击退出本次测试，就直接卸载了，usb插下一个手机又可以继续测了…...

编程日记 2025/8/23 10:17:24

一、显存瓶颈的本质与挑战

二、三大显存压缩技术原理与实现

三、实测数据对比分析

四、混合策略优化方案

五、技术选型建议与展望

相关文章：