当前位置： 首页 > news >正文

【自然语言处理与大模型】模型压缩技术之剪枝

news 来源：原创 2025/7/26 10:46:53

一、什么是模型剪枝？

        模型剪枝（Model Pruning）是一种神经网络模型压缩技术，其核心思想是通过删除或稀疏化模型中冗余的部分（如不重要的参数或神经元连接），在尽量保持模型性能的前提下，减少模型的参数量和计算量，从而提高运行效率，降低存储和部署成本。

剪枝前后的神经元和参数

【注】为什么能剪？剪了难道就没影响吗？

        模型中许多参数对最终的预测结果贡献较小或是没有显著作用。模型剪枝的核心原理在于识别并移除这些不太重要性的参数或结构，从而简化模型。即便对模型精度造成了影响，也可以对模型再进行微调来提升精度。

左边是剪枝之前的权重很多都是0，不太重要

以深度神经网络为例，模型剪枝可以作用于以下部分：

  • 权重剪枝：移除权重矩阵中的不重要参数（即个别连接）。
  • 神经元剪枝：移除不重要的神经元。
  • 通道剪枝：移除卷积层中的某些通道（Filters）。
  • 层剪枝：移除整个网络中的某些层或模块。

二、有哪些剪枝方式？

        模型剪枝的分类，也就是怎么去剪呢？可以分成两类：

  • 结构化剪枝（Structured Pruning）：直接删除神经网络中的某些结构化部分（如神经元、卷积通道或层）。这种剪枝方式更适合硬件加速，因为剪枝后的模型仍然是稠密的，易于部署。
  • 非结构化剪枝（Unstructured Pruning）：移除网络中单个、独立的权重（不考虑结构）。剪枝后的模型通常是稀疏的，需要特殊的稀疏矩阵存储和计算优化。

类型优点缺点
非结构化剪枝 剪枝算法简单，模型压缩比高精度不可控，剪枝后权重矩阵稀疏，没有专用硬件难以实现压缩和加速的效果
结构化剪枝 大部分算法在 channel 或者 layer 上进行剪枝，保留原始卷积结构，不需要专用硬件来实现剪枝算法相对复杂

        因为目前非结构化剪枝的精度不可控，这在实际应用的时候是无法接受的。而结构化剪枝算法又太过复杂，所以剪枝目前用的比较少。大部分都是用量化和蒸馏来压缩模型。

（1）模型剪枝流程是怎样的？

对模型进行剪枝三种常见做法：

  1. 训练后剪枝：训练一个模型 -> 对模型进行剪枝 -> 对剪枝后模型进行微调
  2. 训练中剪枝：在模型训练过程中进行剪枝 -> 对剪枝后模型进行微调
  3. 剪枝后重新训练：进行剪枝 -> 从头训练剪枝后模型

        训练过参数化模型，得到最佳网络性能，以此为基础进行剪枝，通过剪枝算法后模型会变得稀疏，减少了模型的参数量和计算量，从而提高运行效率。但可能会导致模型精度下降，所以还需要再对剪枝后的模型进行微调，以此来恢复精度。

 

（2）模型剪枝的一个简单例子

假设有一个全连接层网络，其参数矩阵为：

权重剪枝：如果我们设置剪枝阈值为 0.2，则移除绝对值小于 0.2 的权重，得到稀疏矩阵：

微调：对剪枝后的模型重新训练，以减少精度损失。

三、量化和剪枝的区别是什么？

        量化和剪枝的目的都是为了：减少模型大小、加快推理速度、降低内存占用和能耗。但它们实现这一目标的方式不同。

  • 量化主要关注于数据表示的精度减少，从而达到模型压缩和加速的效果。
  • 剪枝则是通过去除不必要的模型部分来简化模型架构，同样旨在提高效率和减少资源消耗。
    量化和剪枝的区别

    本文参考了剪枝经典论文：Learning both Weights and Connections for Efficient

    相关文章：

    【自然语言处理与大模型】模型压缩技术之剪枝

    一、什么是模型剪枝？ 模型剪枝（Model Pruning）是一种神经网络模型压缩技术，其核心思想是通过删除或稀疏化模型中冗余的部分（如不重要的参数或神经元连接），在尽量保持模型性能的前提下&#xff0…...

    编程日记 2025/7/26 10:46:53

    OOA-CNN-LSTM-Attention、CNN-LSTM-Attention、OOA-CNN-LSTM、CNN-LSTM四模型多变量时序预测一键对比

    OOA-CNN-LSTM-Attention、CNN-LSTM-Attention、OOA-CNN-LSTM、CNN-LSTM四模型多变量时序预测一键对比 目录 OOA-CNN-LSTM-Attention、CNN-LSTM-Attention、OOA-CNN-LSTM、CNN-LSTM四模型多变量时序预测一键对比预测效果基本介绍程序设计参考资料 预测效果 基本介绍 基于OOA-CN…...

    编程日记 2025/7/26 10:46:51

    Android Studio 国内镜像使用与 SDK 下载速度优化指南

    本文适用于刚装好 Android Studio、SDK 下载缓慢、更新困难，以及 Gradle 构建缓慢的开发者。我们会讲： 如何替换国内镜像源（包括 SDK 和 Gradle） 如何解决 emulator 镜像下载失败的问题 一些终极提速技巧（比如代理配…...

    编程日记 2025/7/25 14:26:05

    PyCharm 在 Linux 上的完整安装与使用指南

    PyCharm 在 Linux 上的完整安装与使用指南—目录 一、PyCharm 简介二、下载与安装1. 下载 PyCharm2. 安装前的依赖准备3. 安装步骤方法 1：通过 Snap 安装（推荐）方法 2：手动安装（从官网下载 .tar.gz 文件）方…...

    编程日记 2025/7/26 10:08:22

    强化学习（Reinforcement Learning, RL）​​与​​深度强化学习（Deep Reinforcement Learning, DRL）​​

    ​​1. 基本概念​​ ​​强化学习（RL）​​ ​​定义​​：通过试错与环境交互，学习策略以最大化累积奖励的机器学习范式。​​核心思想​​：智能体在环境中执行动作，接收奖励信号并更新策略，最…...

    编程日记 2025/7/26 6:47:15

    初识Redis · C++客户端set和zset

    目录 前言： set sadd sismember smembers spop scard sinter sinterstore zset zadd zrange zcard zrem zrank zscore 前言： 前文我们已经介绍了string list hash在Redis-plus-plus的使用，本文我们开始介绍set和zset在redis-plus-pl…...

    编程日记 2025/7/26 10:08:20

    平板电脑做欧盟网络安全法案（EU）2022/30

    平板电脑做欧盟网络安全法案（EU）2022/30 平板电脑做EN18031,平板电脑做无障碍法规EU2019/882 欧盟委员会于2022年通过补充授权法案 （EU） 2022/30，明确要求无线电设备需满足网络安全、隐私保护及反欺诈要求。 新规时间轴…...

    编程日记 2025/7/26 6:47:12

    GeoJSON 格式详解与使用指南

    一、引言 GeoJSON 是一种对各种地理数据结构进行编码的格式，它基于 JavaScript 对象表示法（JSON），被广泛应用于地理信息系统（GIS）、地图应用开发以及地理数据的存储和交换。本文将详细介绍 GeoJSON 的格式…...

    编程日记 2025/7/26 10:08:19

    JavaScript与TypeScript

    TypeScript 和 JavaScript 都是用于构建 Web 应用的编程语言，但它们有着不同的设计目标和特性。 一、JavaScript 1. 定义与特点 动态脚本语言：由 Brendan Eich 在 1995 年创建，最初用于浏览器端的交互逻辑。弱类型/动态类型：变量…...

    编程日记 2025/7/26 10:08:17

    ArcGIS、ArcMap查看.shp文件时属性表中文乱码

    Shapefile(.shp): 根本错误原因： Shapefile 的属性数据 .dbf 是老旧格式，默认不含编码信息 解决方法： 在shapefile文件夹目录上，创建一个同名的.cpg文件，内容"oem" 使用ArcGIS再右键打开属性表，…...

    编程日记 2025/7/25 17:21:43

    C++学习：六个月从基础到就业——内存管理：自定义内存管理（上篇）

    C学习：六个月从基础到就业——内存管理：自定义内存管理（上篇） 本文是我C学习之旅系列的第二十一篇技术文章，也是第二阶段"C进阶特性"的第六篇，主要介绍C中的自定义内存管理技术（上篇&…...

    编程日记 2025/7/25 15:44:12

    大模型基础

    1、提示词 典型构成： - **角色**：给 AI 定义一个最匹配任务的角色，比如：「你是一位软件工程师」「你是一位小学数学老师」 - **指示**：对任务进行描述 - **上下文**：给出与任务相关的其它背景信息&#x…...

    编程日记 2025/7/26 10:08:12

    TDengine 存储引擎设计

    简介 TDengine 的核心竞争力在于其卓越的写入和查询性能。相较于传统的通用型数据库，TDengine 在诞生之初便专注于深入挖掘时序数据场景的独特性。它充分利用了时序数据的时间有序性、连续性和高并发特点，自主研发了一套专为时序数据定制的写入及存储算…...

    编程日记 2025/7/26 10:08:11

    C++回溯算法详解

    文章目录 引言第一题1.1 题目解析1.2 解题思路回溯解法队列解法 1.3 解题代码回溯解法队列解法 引言 回溯算法是一种通过深度优先搜索系统性地遍历问题解空间的算法。它的核心思想是"试错"：逐步构建候选解，当发现当前选择无法得到有效解时&am…...

    编程日记 2025/7/26 10:08:09

    前端Javascript模块化 CommonJS与ES Module区别

    一、模块化规范的演进历程 IIFE（立即执行函数）阶段 早期通过立即执行函数实现模块化，利用函数作用域隔离变量，解决全局命名冲突问题。例如通过(function(){})()包裹代码，形成独立作用域。 CommonJS（Node.js）阶段 CommonJS规范以同步加载为核心，通过require和module.exp…...

    编程日记 2025/7/26 2:35:16

    问题 | RAIM + LSTM 你怎么看？？？

    github：https://github.com/MichaelBeechan CSDN：https://blog.csdn.net/u011344545 RAIM LSTM import numpy as np import tensorflow as tf from tensorflow.keras.layers import LSTM, Dense# RAIM-LSTM 融合模型 class RAIM_LSTM(tf.keras.Model):d…...

    编程日记 2025/7/26 0:38:46

    进程与线程：03 用户级线程

    多进程与操作系统基础 上一个内容我们讲了多进程图像，强调多进程图像是操作系统最核心的图像。我们还通过Windows任务管理器，实际观察了操作系统里的进程。 进程是操作系统的核心内容，管理好多个进程，就能管理好操作系统和CPU。…...

    编程日记 2025/7/26 10:08:07

    四种阻抗匹配的方式

    一、串联端接方式 即靠近输出端的位置串联一个电阻。 要达到匹配效果，串联电阻和驱动端输出阻抗的总和应等于传输线的特征Z0 二、并联端接方式 并联端接又被称为终端匹配。 要达到阻抗匹配的要求，端接电阻应该和传输线的特征阻抗Z0相等。 三、AC并联端…...

    编程日记 2025/7/26 10:08:05

    WebRTC通信技术EasyRTC音视频实时通话安全巡检搭建低延迟、高可靠的智能巡检新体系

    一、方案背景 在现代安防和工业领域，安全巡检是确保设施正常运行和保障人员安全的关键环节。传统的巡检方式往往依赖人工，效率低下且容易出现遗漏。随着技术的发展，实时通信技术EasyRTC为安全巡检提供了更加高效和智能化的解决方案。 二、方…...

    编程日记 2025/7/26 7:48:42

    使用json_repair修复大模型的json输出错误

    json_repair 有些 LLM 在返回格式正确的 JSON 数据时会有些问题，有时会漏掉括号，有时会在数据中添加一些单词。不至于这种错误每次都要丢弃，再次生成太浪费时间了，因此能修复错误时还是要尽量修复。这就是 json_repair 的主要目的…...

    编程日记 2025/7/26 10:08:02

    聊透多线程编程-线程互斥与同步-12. C# Monitor类实现线程互斥

    目录 一、什么是临界区？ 二、Monitor类的用途 三、Monitor的基本用法 四、Monitor的工作原理 五、使用示例1-保护共享变量 解释： 六、使用示例2-线程间信号传递 解释： 七、注意事项 八、总结 在多线程编程中，线程之间的…...

    编程日记 2025/7/26 10:08:00

    鸿蒙系统的 “成长烦恼“：生态突围与技术迭代的双重挑战

    一、应用生态：从 "有没有" 到 "好不好" 的漫长爬坡 作为一款诞生于中美科技博弈背景下的国产操作系统，鸿蒙（HarmonyOS）自 2019 年发布以来，已在设备装机量上取得突破 —— 截至 2023 年底&#xf…...

    编程日记 2025/7/26 10:07:58

    ESP8266_ESP32 Smartconfig一键配网功能

    目录 SmartConfig一键配网基本原理设备绑定流程 ESP8266/ESP32 SmartConfig配网AT指令配置方式Arduino程序配置方式 总结 SmartConfig一键配网 SmartConfigTM 是由 TI 开发的配网技术，用于将新的 Wi-Fi 设备连接到 Wi-Fi 网络。它使用移动应用程序将无线网凭据从智…...

    编程日记 2025/7/26 8:45:51

    图解Agent2Agent（A2A）

    🧠 向所有学习者致敬！ “学习不是装满一桶水，而是点燃一把火。” —— 叶芝 我的博客主页： https://lizheng.blog.csdn.net 🌐 欢迎点击加入AI人工智能社区！ 🚀 让我们一起努力，共创AI未来！ 🚀 嘿，朋友们！今天咱们来聊聊 Agentic 应用背后的两大神器：A2A 和 …...

    编程日记 2025/7/26 10:07:55

    Kotlin基础（①）

    open 关键字：打破 Kotlin 的“默认封闭”规则 // 基类必须加 open 才能被继承 open class Animal {// 方法也要加 open 才能被子类重写open fun makeSound() {println("Some sound")} }class Dog : Animal() {override fun makeSound() {println("W…...

    编程日记 2025/7/26 10:07:53

    Android Kotlin+Compose首个应用

    本教程将创建一个简单的基于 Kotlin 语言的 APP，并使用 Compose 来管理 UI。 创建一个基于 Kotlin 的Android 应用 打开 Android Studio，选择New Project来创建一个应用，然后在Phone and Tablet选项卡，选择 Empty Activity&…...

    编程日记 2025/7/26 10:46:37

    《AI大模型应知应会100篇》第30篇：大模型进行数据分析的方法与局限：从实战到边界探索

    大模型进行数据分析的方法与局限：从实战到边界探索 摘要 在金融分析师用自然语言询问季度财报趋势，电商平台通过对话生成用户画像的今天，大模型正在重塑数据分析的协作模式。本文通过实战代码与行业案例，揭示大模型如何成为数据…...

    编程日记 2025/7/26 10:46:32

    基于SSM+Vue的社群交流市场服务平台【提供源码+论文1.5W字+答辩PPT+项目部署】

    作者简介：✌CSDN新星计划导师、Java领域优质创作者、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和学生毕业项目实战,高校老师/讲师/同行前辈交流。✌ 主要内容：🌟Java项目、Python项目、前端项目、PHP、ASP.NET、人工智能…...

    编程日记 2025/7/25 14:28:05

    Python Cookbook-6.7 有命名子项的元组

    任务 Python 元组可以很方便地被用来将信息分组，但是访问每个子项都需要使用数字索引，所以这种用法有点不便。你希望能够创建一种可以通过名字属性访问的元组。 解决方案 工厂函数是生成符合要求的元组的子类的最简单方法: #若在2.4中可使用operator…...

    编程日记 2025/7/26 7:44:45

    软件功能测试和非功能测试有什么区别和联系？

    软件测试是保障软件质量的核心环节，而软件功能测试和非功能测试作为测试领域的两大重要组成部分，承担着不同但又相互关联的职责。 软件功能测试指的是通过验证软件系统的各项功能是否按照需求规格说明书来正确实现，确保软件的功能和业务流程…...

    编程日记 2025/7/26 10:07:51

    Java Lambda表达式指南

    一、Lambda表达式基础 1. 什么是Lambda表达式？ 匿名函数：没有名称的函数函数式编程：可作为参数传递的代码块简洁语法：替代匿名内部类的更紧凑写法 2. 基本语法 (parameters) -> expression 或 (parameters) -> { statem…...

    编程日记 2025/7/26 10:46:27

    K8s使用LIRA插件更新安全组交互流程

    在Kubernetes集群中，当使用Lira作为CNI（容器网络接口）插件，并且需要更新ConfigMap中的安全组（）securityGroups字段）时，实际上你是在配置与Pod网络相关的高级选项。Lira作为一种支持P…...

    编程日记 2025/7/26 10:46:25

    利用TCP+多进程技术实现私聊信息

    服务器： import socket from multiprocessing import Process from threading import Threaduser_dic {}def send_recv(client_conn, client_addr):while 1:# 接收客户端发送的消息res client_conn.recv(1024).decode("utf-8")print("客户端发送…...

    编程日记 2025/7/26 12:20:28

    【图问答】DeepSeek-VL 论文阅读笔记

    《DeepSeek-VL: Towards Real-World Vision-Language Understanding》 1. 摘要/引言 基于图片问答（Visual Question Answering，VQA）的任务 2. 模型结构 和 三段式训练 1）使用 SigLIP 和 SAM 作为混合的vision encoder&#xf…...

    编程日记 2025/7/26 10:46:23

    深度学习预训练和微调

    目录 1. 预训练（Pre-training）是什么？ 2. 微调（Fine-tuning）是什么？ 3. 预训练和微调的对象 4. 特征提取如何实现？ 预训练阶段： 微调阶段： 5. 这样做的作用和意义 …...

    编程日记 2025/7/26 10:46:19

    面经-浏览器/网络/HTML/CSS

    目录 1. http缓存机制 缓存机制 流程概述 2. 常见的http状态码 1xx（信息性状态码） 3xx（重定向状态码） 4xx（客户端错误状态码） 5xx（服务器错误状态码） 3. http和https的区别…...

    编程日记 2025/7/26 10:46:17

    轻松实现文件批量命名的实用工具

    软件介绍 今天要给大家介绍一款超实用的批量文件重命名小工具，它完全可以称得上是同类产品的绝佳替代品。 软件特性 这小工具叫 MiniRenamer，身材十分苗条，大小还不到 300KB 呢。解压完后，不用任何复杂操作，直接就能…...

    编程日记 2025/7/26 10:46:15

    基于Redis实现高并发抢券系统的数据同步方案详解

    在高并发抢券系统中，我们通常会将用户的抢券结果优先写入 Redis，以保证系统响应速度和并发处理能力。但数据的最终一致性要求我们必须将这些结果最终同步到 MySQL 的持久化库中。本文将详细介绍一种基于线程池 Redis Hash 扫描的异步数据同步方案&#…...

    编程日记 2025/7/26 3:02:17

    【Pandas】pandas DataFrame sub

    Pandas2.2 DataFrame Binary operator functions 方法描述DataFrame.add(other)用于执行 DataFrame 与另一个对象（如 DataFrame、Series 或标量）的逐元素加法操作DataFrame.add(other[, axis, level, fill_value])用于执行 DataFrame 与另一个对象&…...

    编程日记 2025/7/25 11:35:19

    4.21总结

    正式开始设计和实现前端页面 1.目标效果 2.今日实现内容 在前端编写了相应的store,api,utils文件，以便后续的组件复用 2.编写了相应的css文件...

    编程日记 2025/7/26 10:46:10

    VLA论文精读（十四）PointVLA: Injecting the 3D World into Vision-Language-Action Models

    这篇论文瞄准的是2025年在arxiv上发布的一篇VLA领域论文。这篇文章最大的创新点在于将3D点云信息作为补充条件送入模型，而不是DP3一样只用纯3D数据从头训练模型，按照作者的说法这样可以在保留模型原有2D解释能力的同时添加了其3D能力，并且可以…...

    编程日记 2025/7/26 10:46:08

    BEVDet4D: Exploit Temporal Cues in Multi-camera 3D Object Detection

    背景 对于现有的BEVDet方法，它对于速度的预测误差要高于基于点云的方法，对于像速度这种与时间有关的属性，仅靠单帧数据很难预测好。因此本文提出了BEVDet4D，旨在获取时间维度上的丰富信息。它是在BEVDet的基础上进行拓展，保留了之前帧的BEV特征，并将其进行空间对齐后与当…...

    编程日记 2025/7/26 10:46:06

    Java学习路线--自用--带链接

    1.Java基础 黑马：黑马程序员Java零基础视频教程_下部 2.MySQL 尚硅谷：MySQL数据库入门到大牛，mysql安装到优化，百科全书级，全网天花板 3.Redis 黑马：黑马程序员Redis入门到实战教程，深度透…...

    编程日记 2025/7/25 11:21:13

    【锂电池容量特征提取】NASA数据集锂电池容量特征提取（Matlab完整源码）

    目录 效果一览程序获取程序内容代码分享研究内容基于NASA数据集的锂电池容量特征提取方法研究摘要关键词 1. 引言1.1 研究背景1.2 研究意义1.3 研究目的 2. 文献综述2.1 锂电池容量特征提取相关理论基础2.2 国内外研究现状 3. NASA数据集介绍3.1 数据集来源与构成3.2 数据采集方…...

    编程日记 2025/7/26 10:46:02

    vue2使用markdown-it解析markdown文本

    1.安装markdown-it npm instal markdown-it 2. 页面中引用 import MarkdownIt from markdown-it ...const mdRender MarkdownIt(); ...data {return {md: new MarkdownIt(),} } 3. html <p v-html"md.render(conetnt)" ></p>...

    编程日记 2025/7/26 10:46:01

    云服务器怎么选择防御最合适

    用户问的是怎么选择云服务器的防御最合适。这个问题看起来是关于云安全方面的&#xff0c;尤其是如何配置防御措施来保护云服务器免受攻击。首先&#xff0c;我需要理解用户的需求可能是什么。他们可能是一个企业或者个人用户&#xff0c;正在考虑上云&#xff0c;但担心安全问…...

    编程日记 2025/7/25 16:05:46

    ubuntu20.04安装安装x11vnc服务基于gdm3或lightdm这两种主流的显示管理器。

    前言&#xff1a;在服务端安装vnc服务&#xff0c;可以方便的远程操作服务器&#xff0c;而不用非要插上显示器才行。所以在服务器上安装vnc是很重要的。在ubuntu20中&#xff0c;默认的显示管理器已经变为gdm3&#xff0c;它可以带来与 GNOME 无缝衔接的体验&#xff0c;强调功…...

    编程日记 2025/7/26 3:08:43

    汽车动力转向器落锤冲击试验台

    汽车动力转向器落锤冲击试验台依据标准&#xff1a;QC/T29096-1992《汽车转向器总成台架试验方法》&#xff1b;以工控机为控制核心&#xff0c;采用步进电机举升机构&#xff0c;高精度的光电编码器为位置反馈元件。能够自动完成落锤的起吊、精确的定位、释放、冲击过程的测量…...

    编程日记 2025/7/26 12:20:26

    Mybatis延迟加载、懒加载、二级缓存

    DAY22.2 Java核心基础 Mybatis 延迟加载、懒加载 提高程序运行效率的技术 延迟加载&#xff0c;也叫惰性加载或者懒加载 延迟加载如何提升程序的运行效率&#xff1f; 持久层操作有一个原则&#xff1a;Java 程序和数据库交互频率越低越好 Java 程序每次和数据库进行交互…...

    编程日记 2025/7/26 12:20:24

    Linux网络编程 多进程UDP聊天室：共享内存与多进程间通信实战解析

    知识点1【项目功能介绍】 今天我们写一个 UDP &#xff0c;多进程与不同进程间通信的综合练习 我这里说一下 这个项目的功能&#xff1a; 1、群发&#xff08;有设备个数的限制&#xff09;&#xff1a;发送数据&#xff0c;其他所有客户端都要受到数据 2、其他客户端 都 可…...

    编程日记 2025/7/25 22:10:25