当前位置：首页 > news >正文

（更新完）Supplementary Material——AZ-NAS

news 来源：原创 2025/7/27 21:58:59

6. Supplementary Material

在本补充材料中，我们提供了 AZ-NAS 在 NDS [18]、NAS-Bench-201 [7] 和 MobileNetV2 [14, 19] 搜索空间上的额外结果和深入分析。

Additional results on the NDS benchmark.

神经设计空间（NDS） [18] 基准提供了多个基于单元的搜索空间中候选架构的 真实准确率，其中每个空间采用了一组不同的候选操作。我们在 表 A 中展示了 AZ-NAS 与最先进方法 [1, 13, 15, 21] 在 NDS 基准 上的定量比较。对于 NDS 中的每个搜索空间，我们报告了预测网络排名与真实网络排名之间的相关系数（Kendall’s τ），以及所选网络在 CIFAR-10 [11] 上的平均 top-1 准确率。我们可以看到，AZ-NAS 在所有搜索空间上表现优越，验证了 AZ-NAS 在各种搜索空间上的泛化能力。另一方面，其他方法 [1, 13, 15, 21] 采用单一代理的情况，在排名一致性（即 Kendall’s τ）方面，往往被 #Params 或 FLOPs 超越或仅与之相当，表明它们在 NDS 基准 上的表现不如 NAS-Bench-201 [7]（参见主论文中的表1）。这些结果确认了通过组装各种代理可以提高 NAS 对搜索空间变化的鲁棒性。

Reproducibility of training-free NAS methods.

在主论文的表2 中，我们将 AZ-NAS 与最先进的方法进行了比较，主要关注所选网络的最终性能。考虑到搜索阶段的随机性，例如由于从大规模搜索空间 [14, 19] 中抽取候选架构的过程，我们还需要确保在多次实验中获得一致的 NAS 结果，以便在实际应用中使用。因此，我们在公平的实验设置下评估了 AZ-NAS 和最先进的 无训练 NAS 方法 [13, 14] 的可重复性。具体而言，对于每个方法，我们在 MobileNetV2 搜索空间 [14, 19] 中从零开始找到三个具有不同种子数的网络架构。我们使用相同的搜索迭代次数（100K）和 FLOPs 约束（450M）进行公平比较。我们使用在 ImageNet [5] 上训练所选网络，并采用在 [13] 中使用的简化训练方案以减少训练成本。与主论文表2 中的实验训练设置相比，简化的方案将训练轮次从 480 减少到 150，同时没有使用教师-学生蒸馏 [10] 和高级数据增强技术（例如 AutoAugment [4]、MixUp [22] 和 RandomErase [24]）。

我们在 表 B 中展示了所选网络在 ImageNet 上的 top-1 验证准确率 的平均值和标准差。虽然 ZenNAS [14] 和 ZiCo [13] 的网络架构提供了不错的性能，但我们在三次随机运行中无法复现相当的结果，表明这些方法缺乏可重复性。相反，AZ-NAS 在 平均准确度 上显著超越了其他方法，并显示出最低的偏差，证明了其能够在多次运行中持续发现高性能的网络。我们还可以看到，在使用相同机器的公平搜索配置下，搜索成本的相对顺序与主论文表1 中的一致，且 AZ-NAS 在 NAS 性能 和 搜索成本 之间提供了一个很好的折衷。

搜索迭代次数（100K）是 NAS 搜索过程中的步骤数，决定了搜索的深度和精度。NAS 的目标是通过多次搜索和评估架构，找到最佳的网络架构。
训练轮次（150次与480次的差异）则是在 选定的网络架构 上进行训练时的次数，决定了每个网络架构在训练过程中的优化程度。

Visualization of ranking consistency

我们在 图 A 中展示了 无训练 NAS 方法 [3, 13–15, 21, 23] 和我们方法的可视化比较，其中每个图展示了 ImageNet16-120 上 NAS-Bench-201 [7] 的预测网络排名（x 轴）与真实网络排名（y 轴）之间的关系。为了可视化，我们对所有方法使用相同的 1042 个候选架构，这些架构是根据在 ImageNet16-120 上的测试准确率均匀抽样的。从 图 A(a)-(g) 中，我们可以看到，之前的 无训练 NAS 方法 经常产生不正确的预测，例如在图的右下区域可以找到一些预测排名很高但实际表现较差的网络，这使得准确地发现高性能网络变得困难。另一方面，图 A(h) 中由 AZ-NAS 预测的网络排名与真实排名的相关性最强，图中的点紧密集中在 y = x 线周围，展示了我们方法的优越性。

我们还在 图 B 中比较了使用 AZ-NAS 的每个零成本代理和通过线性或非线性方法聚合后的网络排名，这些排名基于 NAS-Bench-201 上的 ImageNet16-120。我们可以在 图 B(a)-(d) 中观察到，仅使用单一代理得到的网络排名与真实排名的相关性较弱。例如，图 B(a)-(d) 中的代理通常为表现差的网络（例如 图 B(c) 和 (d) 的右下角区域）赋予较高的评分，或者为表现好的网络（例如 图 B(b) 和 (c) 的左上角区域）赋予较低的评分。通过将这些代理组合成 AZ-NAS 得分，在 图 B(f) 中我们可以显著提高排名一致性。我们可以看到，在 图 B(a)-(d) 中，位于右下角和左上角区域的黄绿色和绿色蓝色的点，紧密地靠近 图 B(f) 中的 y = x 线，这表明通过组合代理，单个代理的错误排名得到了纠正。通过比较 图 B(e) 和 图 B(f) 中分别使用线性和非线性排名聚合方法得到的结果，我们还可以看到，非线性方法使得排名一致性更强，同时修正了错误的预测（见 图 B(e) 中右下角的黄绿色点），这清楚地展示了 非线性排名聚合方法 的优势。

Robustness to various initialization methods.

为了验证 AZ-NAS 对网络初始化方法的鲁棒性，我们通过使用 Kaiming normal [9]、Xavier normal [8]、普通分布或均匀分布来初始化权重参数，并比较 NAS 性能。我们在 表 C 中提供了结果，表现为在 NAS-Bench-201 [7] 上的排名一致性（Kendall’s τ）与真实表现的关系。我们可以看到，AZ-NAS 在不同的初始化方法下始终能稳定地展示出令人满意的 NAS 结果。需要注意的是，我们在使用卷积神经网络进行实验时，默认采用 Kaiming normal 初始化方法，并使用 PyTorch [16] 实现的 fan-in 模式。我们可以进一步发现，采用其他初始化方法，如 Kaiming normal 的 fan-out 模式或 Xavier normal，能进一步提升 NAS 性能。

Comparison using various batch sizes for search

我们在 表 D 中展示了使用不同批次大小（batch size）进行搜索时，AZ-NAS 在 NAS-Bench-201 [7] 上的排名一致性（Kendall’s τ）。此举旨在了解 AZ-NAS 如何受到批次大小的影响。我们可以看到，即使在使用小批次大小（即第一行中的 8）进行搜索时，AZ-NAS 也能取得良好的 NAS 性能。随着批次大小的增加，排名一致性逐渐提高，但代价是运行时间的增加。我们可以观察到，当批次大小为 64 时，在运行时间和排名一致性之间达到了最佳平衡，因此我们将其作为其他实验的默认设置。

Intercorrelation and complementary features

AZ-NAS 基于以下思想：通过组合多个零成本代理，可以显著提升 NAS 性能。然而，简单地组合之前的零成本代理可能效果不佳，主要是因为缺乏互补的特征。为了研究这一点，我们在 图 C 中分析了在 NAS-Bench-201 [7] 上，ImageNet16-120 的零成本代理之间的网络排名相互相关性。我们还在 图 D 中比较了根据两个代理在 x 轴 和 y 轴 上的预测网络排名进行聚合后的排名一致性（在 ImageNet16-120 上的表现）。

根据这些结果，我们得出了以下观察结论：

从图 C 可以看出，许多现有的零成本代理，特别是那些利用梯度的代理（如 GradSign [23]、ZiCo [13] 和 Synflow [21]）这几个高度相关，预测的网络排名高度相关。
这与理论上多个基于梯度的零成本代理相关的发现相一致 [20]，它们提供了类似的 NAS 结果。这表明这些代理缺乏互补特征，因此将它们组合起来几乎无法改善 NAS 性能，如 图 D 所示。
少数零成本代理（例如，GradSign 和 ZiCo）与 #Params（参数数量）有强烈的相关性。
在它们的实现中，每个权重参数（或可训练层）都有一个代理评分，然后通过将所有权重参数（或可训练层）的得分加起来得到最终的网络得分。这意味着它们天然偏好 #Params 较大的网络，因为当使用更多的参数时，最终的得分往往较高，导致这些代理和 #Params 之间的协同效应有限，如 图 D 所示。
仅使用单一代理时，ZenNAS [14] 和 Snip [12] 在性能上的排名一致性较弱，即 Kendall’s τ 分别为 0.30 和 0.40。
我们可以在 图 D 中看到，它们实际上在与其他零成本代理（如 #Params、GradSign、ZiCo、Synflow 或 NASWOT [15]）结合时，降低了 NAS 性能，表明它们不适合用于集成。相反，尽管我们的 可训练性代理（sT）与性能的相关性较弱，但它能显著帮助其他代理提高排名一致性。这清楚地表明，可训练性代理 捕捉了 NAS 中有用的网络特征，这些特征通常被其他零成本代理忽视，尽管它与性能的排名一致性较弱。
我们可以在图 C 中看到，我们的零成本代理与大多数现有代理的相关性较低。
我们还可以在 图 D 中观察到，将我们的代理与其他代理结合使用大幅提高了排名一致性。这表明，我们的代理为 无训练 NAS 提供了独特且有用的线索，而这些线索是其他代理无法识别的，突显了它们的互补特性。特别是，利用梯度的代理（例如 GradSign、ZiCo、Synflow 和 Snip）通常在与分析激活的 表现力（sE）或 进步性（sP）代理结合时，能得到最佳的集成效果。这表明，激活和梯度提供了不同的网络特征，这些特征对 无训练 NAS 非常有用，单靠其中任何一个都难以获得良好的 NAS 性能。这些结果再次确认了从不同且互补的角度全面评估网络对有效的 无训练 NAS 的重要性。
在 图 D 中结合两个零成本代理的情况下，NASWOT 和 TE-NAS [3] 可能是改善其他零成本代理 NAS 性能的不错选择。
然而，正如主论文中所提到的，NASWOT 仅适用于采用 ReLU 非线性激活 的网络，且 TE-NAS 计算开销较大。我们还可以看到，将 AZ-NAS 的零成本代理之一与例如 GradSign、ZiCo 或 Synflow 结合使用，相比于我们代理之间的组合，能提供更好的排名一致性。然而，它们被 AZ-NAS 所超越，AZ-NAS 组合了我们所有的零成本代理，在效率和 NAS 性能 之间提供了良好的平衡，而没有额外的复杂性（详细信息见主论文中的 Sec. 4.2）。

图 C：分析了 NAS-Bench-201 [7] 上，不同 零成本代理 之间的网络排名的相互相关性（例如它们的 Kendall’s τ 相关系数）。这意味着他们评估了不同代理给出的网络排名之间的一致性。
图 D：展示了通过 两个代理的组合，并使用 线性或非线性方法 聚合后的排名一致性，目的是检验将多个代理结合起来对 NAS 性能 的影响。

图 D. 使用各种零成本代理组合获得的 NAS-Bench-201 [7] 在 ImageNet16-120 上的性能排名一致性（Kendall 的 τ）。我们使用非线性排名聚合方法结合了 x 轴和 y 轴上零成本代理预测的两个网络排名。对角线条目中的结果（用黑框表示）是使用相应条目的单个代理获得的。对于 y 轴上的每个代理，我们用相应行中的红框指定提供最高 Kendall τ 的最佳组合

Analysis on the trainability proxy.

AZ-NAS 的零成本代理通过随机初始化的权重参数评估网络。表现力 和 进步性 代理可以从这个设置中受益，因为它们通过分析不同特征来评估网络的特征空间。也就是说，随机初始化的网络所提取的特征可以最大化地占据特征空间，因为这些特征是随机分布在各个方向上的。复杂度代理 测量网络架构的 FLOPs（每秒浮点运算次数），它在训练过程中保持不变。类似地，可训练性代理 通过评估网络在初始化时的稳定梯度传播来评估网络，重点关注主块的雅可比矩阵的谱范数。值得注意的是，网络在初始状态下的稳定梯度传播已被证明对高性能至关重要 [8, 9, 17]，这支持了我们在不训练的情况下对 可训练性代理 进行评分的思路。

为了进一步证明我们在初始化时测量 可训练性得分 的方法有效性，我们在 MobileNetV2 搜索空间 [14, 19] 上对 可训练性代理 进行了深入分析。具体来说，我们通过为进化算法设置不同的 可训练性代理搜索目标，选择了五种不同的架构，并使用与 表 B 中实验相同的训练方案进行训练。我们总结了搜索配置和结果，见 表 E。从表中可以观察到，网络的最终性能主要受 可训练性得分 的影响，得分越高的网络，性能越好。我们还在 图 E 中展示了可训练性得分在训练过程中的变化及其对训练和性能的影响，基于 表 E 中选定的网络。我们可以从 图 E(a) 看出，可训练性得分 在训练过程中并没有保持稳定，可能是因为它们受到了在训练过程中不断变化的权重参数的影响。尽管如此，它们之间的相对排名在训练过程中大致保持一致。这表明，在初始化时高的 可训练性得分 对于网络获得更好的性能至关重要，正如 图 E(b) 所证明的那样。我们还可以从 图 E(c) 和 (d) 中看到，较好的 可训练性得分 一直伴随着更好的训练损失和训练准确率。特别是，我们可以在 图 E(e) 和 (f) 中看到，即使在训练的最初阶段（即 预热阶段），训练损失和训练准确率的排名也与 可训练性得分 的排名一致，这突显了 可训练性代理 在网络初始状态下的重要性。这个发现也与 学习曲线外推 [6] 或 NAS 的早期停止技术 [2] 的概念相吻合。这些结果确认了，在 无训练 NAS 中考虑 可训练性代理 的有效性，它在预测候选网络的最终性能排名中发挥了重要作用。

表 E. 具有不同可训练性得分目标值的搜索目标。请注意，可训练性得分范围从 −∞ 到0。我们还报告了在 ImageNet [5] 上找到的具有相应配置的网络的 top-1 验证准确率。

图 E. 具有不同可训练性分数的网络的比较，它们符合表 E 中指定的搜索目标。我们在 (a) 和 (b) 中分别展示了网络的可训练性分数和 ImageNet [5] 上的验证准确率。我们还在 (c)-(f) 中比较了网络的训练曲线。（最好以彩色显示。）

Visualization of selected architectures

我们在 图 F 中展示了 AZ-NAS 的每个零成本代理或最终 AZ-NAS 得分 在 NAS-Bench-201 [7] 上选择的网络架构。我们从 1042 个候选网络中，分别选择每个代理的前 3 个网络架构，这些候选架构是根据 ImageNet16-120 上的测试准确率均匀抽样的。对于每个架构，我们报告 CIFAR-10/100 和 ImageNet16-120 上的测试准确率，以及我们零成本代理得分的百分位数（即，100% 表示该网络展示了最高得分）。我们可以从 图 F(a)-(d) 中看到，仅依赖于单一的零成本代理会导致所选架构的结构偏差。

表现力代理（图 F(a)）始终为由单个 3×3 卷积层 组成的 单元结构 赋予较高的得分，

进步性代理（图 F(b)）则偏向堆叠有 1×1 和 3×3 卷积层 且附加有跳跃连接的网络。这些代理还在单元结构中引入了不必要的中间节点，这些节点的输入或输出边被断开。

复杂度代理（图 F(d)）则更倾向于选择所有边都定义为参数化操作的网络结构。

这些偏差会妨碍我们找到高性能的网络，从而降低 NAS 性能。我们还可以观察到，单个零成本代理所选的网络通常在其他代理上的得分较低，导致在 ImageNet16-120 上的测试准确率不理想，特别是在 ImageNet16-120 上，这里包含了更多复杂场景和物体的图像。这强调了仅使用单一代理评估网络是不足够的。相比之下，组合 图 F(e) 中的零成本代理，使我们能够选择在所有代理中排名靠前的网络，并在多个数据集上展示出高性能，而不受特定结构偏差的影响。

图 F. 使用 AZ-NAS 的每个零成本代理分数和 NAS-Bench-201 上的最终 AZ-NAS 分数对排名前 3 的网络架构进行可视化 [7]。绿色和黄色方块分别表示单元的输入和输出节点，蓝色方块表示中间节点。对于每种架构，我们报告 CIFAR-10/100 (C10/100) 和 ImageNet16-120 (IN16-
120) 数据集上的 top-1 测试准确率，以及括号中的代理分数的百分位数，其中 100% 表示最高排名。为简洁起见，我们分别用 E、P、T 和 C 表示表达力、渐进性、可训练性和复杂性代理。