当前位置：首页 > news >正文

深度学习中的正则化

news 来源：原创 2025/5/16 16:01:56

深度学习中的正则化(regularization)旨在防止过拟合并提高模型对未知数据的泛化能力。正则化是一种通过在给定的训练集上适当地拟合函数并避免过度拟合来减少误差的技术。

通过对模型参数添加约束，正则化鼓励模型学习更简单、更稳健的模式，从而降低其对噪声和异常值的敏感性。但是，过度正则化可能导致欠拟合，即模型变得过于简单，无法捕捉数据中的潜在模式。

过拟合和欠拟合(Overfitting and Underfitting)：

(1).过拟合是一种现象，当深度学习模型受限于训练集而无法在看不见的数据上表现良好时就会发生。也就是说，我们的模型也会学习训练数据中的噪声。当我们的模型记住训练数据而不是学习其中的模式时，就会出现这种情况。

(2).当我们的模型甚至无法学习数据集中可用的基本模式时，就会出现欠拟合的情况。在欠拟合的情况下，模型甚至无法在训练数据上表现良好，因此我们不能指望它在验证数据上表现良好。当我们想要增加模型的复杂性或向特征集添加更多特征时，就会出现这种情况。

偏差和方差(Bias and Variance):

高偏差我们称为欠拟合。高方差我们称为过拟合。高偏差指的是模型无法学习手头数据中的模式，因此表现不佳。方差表示当我们尝试使用模型之前未见过的数据进行预测时发生的错误值。当模型学习数据中存在的噪声时，就会出现一种称为高方差的情况。

理解偏差和方差的两个关键是训练集误差和验证集误差。如：(1).训练集误差为1%，验证集误差为11%，此种情况属于高方差；(2).训练集误差为15%，验证集误差为16%，此种情况属于高偏差；(3).训练集误差为15%，验证集误差为30%，此种情况属于高偏差、高方差；(4).训练集误差为0.5%，验证集误差为1%，此种情况正常，属于低偏差、低方差。注：以上假设的前提是，基于最优误差接近0%，即人眼辨别的错误率接近0%，且训练集和验证集数据来自相同分布。

找到两者之间的适当平衡，也称为偏差--方差权衡(bias-variance tradeoff)，可以帮助我们修剪模型，避免其过度拟合训练数据。偏差和方差之间可以有四种组合：

(1).高偏差、低方差：具有高偏差和低方差的模型被认为是欠拟合。

(2).高方差、低偏差：具有高方差和低偏差的模型被认为是过拟合。

(3).高偏差、高方差：具有高偏差和高方差的模型无法捕捉潜在模式，并且对训练数据变化过于敏感。该模型将产生不可靠和不一致的预测。

(4).低偏差、低方差：具有低偏差和低方差的模型可以捕捉数据模式并处理训练数据中的变化。这是深度学习模型的完美场景，它可以很好地推广到看不见的数据并做出一致、准确的预测。

偏差--方差权衡表明偏差和方差之间存在反比关系。当一个减少时，另一个趋于增加，反之亦然。找到正确的平衡至关重要。过于简单且偏差较大的模型不会捕捉到潜在的模式，而过于复杂且方差较大的模型则会拟合数据中的噪声。

正则化的方法有：

1.L1正则化：也称为Lasso(Least Absolute Shrinkage and Selection Operator)正则化，向损失函数添加一个等于系数幅值绝对值的惩罚，将稀疏性(sparsity)引入模型特征系数，从而阻止模型将过多的重要性(importance)赋予单个特征或系数。这意味着它可以将某些特征系数设置为零，从而有效地执行特征选择。它的主要优势是它能够生成稀疏模型(sparse models)，从而降低复杂性并使其更易于解释。在存在高度相关的特征的情况下，L1正则化倾向于任意选择一个特征并丢弃其他特征。

2.L2正则化：也称为Ridge正则化，向损失函数添加一个等于系数幅值平方(the square of the magnitude of coefficients)的惩罚。它不会将系数设置为零，而是减少不太重要的特征的影响。与L1的主要区别在于，所有特征仍然是模型的一部分，但它们的影响是平衡的。当所有特征都被认为是相关的并且不需要特征选择时，此属性使L2正则化非常有用。

线性回归或逻辑回归中经常使用L1或L2。

3.Dropout：训练时，每次迭代期间可以随机地临时选择一些中间层中的神经元，使这些神经元不起作用，即在本次迭代中输出为零，同时保持输入层和输出层的神经元数目不变。在反向传播并更新参数的过程中，与这些节点相连的权值也不需要更新。但是这些节点并不从网络中删除，并且其权值也保留下来，以使这些节点在下一次迭代时重新被选中作为起作用点而参与权值的更新。这有助于通过促进更稳健的学习并减少对特定神经元的依赖来防止过拟合。Dropout适合用于数据量大的大型网络中。已存在许多其它Dropout变体，如Inverted Dropout、Gaussian Dropout等。

4.Early Stopping：是一种在模型完全收敛到训练数据之前停止训练的技术。它涉及在训练期间监控模型在验证集上的表现，并在验证集上的表现开始下降时停止训练。它可防止模型过度拟合训练数据并有助于找到最佳泛化点。

(1).如果训练误差(training error)变得太低并任意接近于零，那么网络肯定会在训练数据集上过拟合。这样的神经网络是一个高方差模型，尽管它在训练样本上的表现近乎完美，但在它从未见过的测试数据上表现不佳。

(2).在神经网络训练过程中监控验证误差和验证准确率等指标，并根据这些指标决定何时停止。如果我们发现验证误差没有显著减少，或者在一段时间内(比如说p个epochs)不断增加，或当验证准确率开始下降时，我们就可以停止训练。我们也可以降低学习率，再训练几个epochs，然后再停止。

5.权值衰减(Weight Decay)：通常与L2正则化同义，权重衰减通过在损失函数中添加惩罚项来直接解决过拟合问题。该项与权重幅值(magnitude)的平方成正比。通过这样做，权重衰减鼓励网络保持较小的权重值，从而简化模型并有助于防止其拟合训练数据中的噪声。这使得模型更有可能很好地推广到新的、看不见的数据。

6.批量归一化(Batch Normalization)：也称为batch norm，思想是对每一层的输入进行归一化，使它们的平均激活输出为零和单位标准差(mean activation output zero and a unit standard deviation)。涉及通过减去小批量的平均值并除以标准差(standard deviation)来归一化小批量中每层的输入，而不是整个数据。这种归一化有助于解决内部协变量偏移(internal covariate shift)等问题，确保每层的输入在训练期间居中(centered)且具有一致的尺度。批量归一化引入了可学习的参数(gamma和beta)，使模型能够学习每个特征的最佳尺度(optimal scale)和平均值。归一化过程包括计算小批量中每个特征的均值和方差，然后使用这些统计数据缩放和移动特征。这可确保每层的输入大致保持相同的分布，而不管先前层的输出分布如何变化。因此，批量归一化有助于稳定训练过程，实现更高的学习率和更快的收敛。虽然批量归一化主要用于加速收敛，但它也具有正则化效果，通常可以减少对Dropout等其他正则化技术的需求。

7.数据增强(Data Augmentation)：通过对训练数据应用随机但逼真的(realistic)转换来人为地增加训练数据集的大小和多样性，例如旋转、翻转、裁剪或颜色调整(color adjustments)。然后，我们在这些图像上进行训练，而不是原始图像。这种方法通过让模型接触各种形式的输入数据，帮助模型学习更强大的特征，从而提高其对新的、未见过的样本进行良好推广的能力。它可以看作是一种训练时增强的形式，可以在不改变底层模型架构的情况下增强模型的泛化能力。复杂的数据增强方法有Mixup、Cutmix、Mosaic等。

8.添加噪声：你可以向神经网络的输入、输出标签或梯度添加噪声。当使用平方和损失函数时，向输入中添加高斯噪声相当于L2正则化。

正则化的作用：

(1).复杂性控制：正则化有助于控制模型复杂性，防止对训练数据的过度拟合，从而更好地推广到新数据。

(2).防止过度拟合：防止过度拟合的一种方法是使用正则化，它会惩罚较大的系数并限制其幅度，从而防止模型变得过于复杂并记住训练数据而不是学习其基本模式。

(3).平衡偏差和方差：正则化可以帮助平衡深度学习中的模型偏差(欠拟合)和模型方差(过拟合)之间的权衡，从而提高性能。

(4).特征选择：某些正则化方法(例如L1正则化)会促进稀疏解，从而将某些特征系数推至零。这会自动选择重要特征，同时排除不太重要的特征。

(5).处理多重共线性：当特征高度相关(多重共线性(multicollinearity))时，正则化可以通过降低系数对小数据变化的敏感度来稳定模型。

(6).泛化：正则化模型学习数据的底层模式，以便更好地推广到新数据，而不是记住具体的样本。

注：以上整理的内容主要来自：

1. https://medium.com

2. https://www.pinecone.io

3. https://www.geeksforgeeks.org

4. https://www.analyticsvidhya.com

GitHub：https://github.com/fengbingchun/NN_Test

相关文章：