当前位置：首页 > news >正文

大模型压缩训练（知识蒸馏）

news 来源：原创 2025/9/12 19:37:03

AI的计算结果不是一个数值，而是一个趋势

一、模型压缩简介

1、深度学习（Deep Learning）因其计算复杂度或参数冗余，在一些场景和设备上限制了相应的模型部署，需要借助模型压缩、优化加速、异构计算等方法突破瓶颈。

2、模型压缩算法能够有效降低参数冗余，从而减少存储占用、通信带宽和计算复杂度，有助于深度学习的应用部署，具体可划分为如下几种方法（后续重点介绍剪枝与量化）：
①线性或非线性量化：1/2bits, int8 和 fp16等；
②结构或非结构剪枝：deep compression, channel pruning 和 network slimming等；
③知识蒸馏与网络结构简化（squeeze-net, mobile-net, shuffle-net）等；

二、剪枝简介

在这里插入图片描述

剪枝方式

1、非结构剪枝：通常是连接级、细粒度的剪枝方法，精度相对较高，但依赖于特定算法库或硬件平台的支持

2、结构剪枝：是filter级或layer级、粗粒度的剪枝方法，精度相对较低，但剪枝策略更为有效，不需要特定算法库或硬件平台的支持，能够直接在成熟深度学习框架上运行

3、局部方式的、通过layer by layer方式的、最小化输出FM重建误差的Channel Pruning, ThiNet Discrimination-aware Channel Pruning ；

4、全局方式的、通过训练期间对BN层Gamma系数施加L1正则约束的Network Slimming

剪枝方式

在这里插入图片描述

在这里插入图片描述
剪枝结果是不可控的。

三、量化（学术界）

1、低精度（Low precision）可能是最通用的概念。常规精度一般使用 FP32（32位浮点，单精度）存储模型权重；低精度则表示 FP16（半精度浮点），INT8（8位的定点整数）等等数值格式。不过目前低精度往往指代 INT8。

2、混合精度（Mixed precision）在模型中使用 FP32 和 FP16 。 FP16 减少了一半的内存大小，但有些参数或操作符必须采用 FP32 格式才能保持准确度。如果您对该主题感兴趣，请查看 Mixed-Precision Training of Deep Neural Networks 。
3、量化一般指 INT8 。

4、根据存储一个权重元素所需的位数，还可以包括：
①二值神经网络：在运行时权重和激活只取两种值（例如 +1，-1）的神经网络，以及在训练时计算参数的梯度。

②三元权重网络：权重约束为+1,0和-1的神经网络。

③XNOR网络：过滤器和卷积层的输入是二进制的。 XNOR 网络主要使用二进制运算来近
似卷积。

四、量化（工业界）

理论是一回事，实践是另一回事。如果一种技术方法难以推广到通用场景，则需要进行大量的额外支持。花哨的研究往往是过于棘手或前提假设过强，以至几乎无法引入工业界的软件栈。

工业界最终选择了 INT8 量化—— FP32 在推理（inference）期间被 INT8 取代，而训练（training）仍然是 FP32。TensorRT，TensorFlow，PyTorch，MxNet 和许多其他深度学习软件都已启用（或正在启用）量化。

通常，可以根据 FP32 和 INT8 的转换机制对解决方案进行分类。一些框架简单地引入了 Quantize 和 Dequantize 层，当从卷积或全链接层送入或取出时，它将 FP32 转换为 INT8 或相反。在这种情况下，如图四的上半部分所示，模型本身和输入/输出采用 FP32 格式。深度学习框架加载模型，重写网络以插入Quantize 和 Dequantize 层，并将权重转换为 INT8 格式。

五、量化原理

在这里插入图片描述
量化可控

六、知识蒸馏

在这里插入图片描述

七、知识蒸馏在大模型中的应用

DeepSeek作为中国人工智能领域的代表性大模型，其训练过程中深度应用了知识蒸馏技术（Knowledge Dististillation），通过将大模型的知识迁移至小模型，实现了性能与效率的平衡。

八、知识蒸馏在DeepSeek中的核心意义

1.降低算力与成本
DeepSeek通过蒸馏技术将模型训练成本压缩至OpenAI同类模型的1/20。例如，DeepSeek-V3仅消耗278.8万GPU小时（成本约557.6万美元），而OpenAI类似模型的训练成本高达数亿美元。这种低成本特性使中小企业也能负担高性能AI模型的开发。

2.加速推理与边缘部署
蒸馏后的小模型（如32B/70B版本）推理速度提升3倍以上，延迟从850ms降至150ms，显存占用从320GB减少至8GB。这使得模型可在手机、工业设备等边缘端实时运行，满足医疗诊断、自动驾驶等场景的低延迟需求。

3.推动行业应用落地

教育领域：DeepSeek蒸馏模型可快速生成个性化学习内容，根据学生反馈动态调整教学策略，降低教育平台运营成本。
工业场景：本地化部署的蒸馏模型减少对云端的依赖，数据隐私与响应速度显著提升，助力智能制造中的质检、供应链优化等任务。
内容创作：AI写作工具结合蒸馏模型，创作效率提升50%，同时API调用成本仅为OpenAI的1/4，推动新媒体运营与创意产业发展。

4.技术自主可控
面对美国GPU芯片禁运，DeepSeek通过蒸馏技术降低对算力的依赖，结合FP8混合精度训练和DualPipe流水线机制，在国产芯片（如华为昇腾）上实现高性能推理，增强中国AI产业的自主可控能力。

一、模型压缩简介

二、剪枝简介

剪枝方式

剪枝方式

三、量化（学术界）

四、量化（工业界）

五、量化原理

六、知识蒸馏

七、知识蒸馏在大模型中的应用

八、知识蒸馏在DeepSeek中的核心意义

相关文章：