当前位置：首页 > news >正文

【Datawhale组队学习】模型减肥秘籍：模型压缩技术4——神经网络架构搜索

news 来源：原创 2025/8/2 10:50:02

神经网络架构搜索是通过自动化方法来设计神经网络架构的一种技术，与传统手工设计网络结构相比，NAS能够在大量可能的架构中进行搜索，找到最优的神经网络架构，从而减少人工调参和设计的时间。学习这章时，重点在于理解NAS的基本原理、搜索策略、评价标准，以及如何应用这些方法在不同的机器学习任务中找到有效的网络架构。

基本原理

NAS通过定义搜索空间、搜索策略和评价方法来自动探索网络架构。首先，NAS需要确定一个搜索空间，即可能的网络结构的集合。然后，通过某种算法在这个搜索空间中不断搜索，找到最佳的架构，这个过程会通过模型在验证集上的准确率来衡量不同架构的性能。
在这里插入图片描述

搜索策略

强化学习将架构搜索过程看作一个序列决策问题，用强化学习的策略梯度方法来找到最优的架构。在这种方法中，一个控制器、会生成一系列的网络结构，然后将这些结构训练并评估其表现，根据表现来更新控制器的参数，逐渐提升生成优质网络架构的概率。

在这里插入图片描述

进化算法模仿自然选择的过程，使用遗传算法对网络架构进行迭代优化。在这种策略中，首先随机生成一批初始网络架构，评估它们的表现，并根据表现选择表现较好的“个体”进行“繁殖”，通过交叉、变异等操作产生新架构，经过多代迭代，逐渐逼近最优架构。

在这里插入图片描述

贝叶斯优化通过构建一个概率模型来预测不同网络架构的表现，从而指导搜索。这种方法通常用于搜索连续的超参数，但在NAS中可以对不同架构进行采样，更新模型，并用模型来选择下一个最有潜力的架构。

在这里插入图片描述

基于梯度的方法：DARTS（Differentiable Architecture Search）是这种方法的典型代表，通过将架构的搜索问题连续化，使得可以直接用梯度下降进行优化。这种方法的特点是速度快，因为可以利用现有的梯度优化工具。

在这里插入图片描述
NAS中的评价标准通常包括以下几类：

准确率
最常用的评价标准是模型在验证集或测试集上的准确率或其他衡量模型性能的指标，比如精度、召回率、F1分数等。这些指标反映了模型在给定任务上的预测能力，是衡量模型好坏的核心标准。
计算成本
NAS不仅关注模型的准确率，还需要考虑其计算效率和部署的可行性。常见的计算成本指标有以下几种：
浮点运算次数：衡量模型的复杂度和计算量，FLOPs较低意味着模型运算量小，更适合嵌入式设备或低功耗场景。
• 参数数量：模型参数的总数也是一种评价标准，参数少的模型通常在存储上更为高效，适用于内存有限的设备。
• 推理延迟：衡量模型在目标硬件上的推理时间，特别在需要实时处理的任务中（如物体检测），推理延迟是一个重要的性能衡量指标。
模型大小
模型的存储大小是影响其在实际应用中是否可以部署的关键因素，尤其是在边缘计算或移动端设备上。因此，NAS会考虑模型的存储需求，选择那些既精度高又占用较少存储空间的架构。
训练时间和资源消耗
由于NAS需要评估大量网络架构，因此模型的训练时间和资源消耗也是一个重要的考量因素。更快的训练时间可以加速整个搜索过程。为了减少搜索成本，常使用代理模型来快速估计性能，或者采用早停策略来避免不必要的计算。
多目标权衡
在许多实际应用中，评价标准可能是多个目标的综合，比如希望找到一个既能保证高精度又具备低计算成本的模型。为此，NAS中的搜索会优化这些多目标的加权组合，寻找在精度、计算效率和模型复杂度之间达到最佳平衡的网络架构。
能效
在边缘计算或低功耗场景中，能效也是一个关键评价标准。NAS会评估模型的能耗情况，选择那些推理时能量消耗较低的架构，这对于设备运行时间有限的场景尤为重要。

参考文献

https://www.dropbox.com/scl/fi/lfcbzfbr3t2z9joz9ymt0/lec07.pdf?rlkey=yzx2o9bjnhzi5tstwevmcu6qv&e=1&dl=0
https://www.datawhale.cn/learn/content/68/964

基本原理

搜索策略

参考文献

相关文章：