当前位置：首页 > news >正文

深度学习(一)

news 来源：原创 2025/9/10 0:24:28

(Ⅰ)神经网络和深度学习

一，ReLU激活函数

ReLU(Rectified Linear Unit)函数，输入大于0时，直接输出该值；输入小于0时，输出0

代码实现：

图中的每个节点都可以是ReLU激活函数的一部分

二，循环神经网络(Recurrent Neural Network,RNN)

RNN,神经网络的一种，对具有序列特性的数据非常有效，能挖掘数据中的时序信息以及语义信息。(序列特性:符合时间顺序，逻辑顺序等其他顺序的性质)

结构：

循环神经网络中，上一次的输出将会作为下一次的输入

三，计算图

计算图的导数计算-链式求导：

计算图中的反向传播将局部导数从右往左传播，基于链式求导法则

将信号E乘以节点的局部导数，然后传递给下一节点(如上图)

链式求导法则则是基于复合函数求导，描述局部值的变化对输出值的影响

四，numpy

(1)利用numpy中的np.dot()实现向量化计算

时间复杂度和for循环方法均为O(n)，但是实际执行时间比for循环快100-1000倍

原因：

①np.dot()可以减少python解释器循环的开销：np.dot()可以不用检查下标i是否越界，解析a[i] b[i]的数据类型，可以减少时间

②np.dot()可以实现SIMD指令优化

③np.dot()可以实现CPU缓存预取：可以准确访问每个值，提前加载，进行计算

（2）numpy向量化实现逻辑回归

（3）numpy的广播机制：

numpy的广播机制是一种高效处理不同形状数组间的运算规则，允许逐个元素操作而无需复制

Example1：

利用np.sum(axis=0)实现矩阵按列求和

np.sum(axis=1)实现矩阵按行求和

Example2：

numpy面对不同形状的矩阵时，允许逐个元素进行相应的计算操作

等价于

Example3：

等价于

(4)numpy中向量的说明：

当用调用np.array()创建数组时，不推荐创建秩为1的简单数组，而是直接创建成列向量or行向量

直接创建秩为1的数组时，容易产生bug

五，激活函数

(1)tanh激活函数：

tanh激活函数是sigmoid平移伸缩的结果，拟合效果在所有场合都优于sigmoid，且几乎适用于所有场合。

(二分类输出层使用sigmoid是因为想让输出结果介于[0，1]，所以使用sigmoid)

(2)LeakyReLU激活函数:

ReLU的改良版，当输入为负值时，输出值不为0，而是稍微倾斜，激活效果比ReLu好

(3)激活函数的选择

①二分类问题，输出层选择sigmoid，其他所有单元选择ReLU

②在实践中，ReLU的学习速度快于sigmoid，因为sigmoid要进行浮点四则运算

③隐藏层通常选择ReLU，也会选择tanh(注：选择ReLU时，输入为负值时，输出0)

④不能在隐藏层使用线性激活函数，唯一可以使用线性激活函数的通常是输出层：因为线性激活函数导数通常是常数，梯度下降时梯度值不变

六，随机初始化

对于一个神经网络，初始化权重(W)和其他参数为0时，无法进行梯度下降，并且由于对称性，反向传播的导数也是一样的，激活函数也是一样的。无论花多少时间拟合，都是一样的，拟合效果差(对于逻辑回归，可以初始化权重为0)

可以随机初始化权重(W)，初始化为一个很小很小的数(通常为0.01)，若一开始初始化为很大很大的数，激活函数(sigmoid/tanh)的函数值就会趋向平稳，学习速率慢

七，深层神经网络

深层神经网络本质上就是更复杂的，包含更多隐藏层的神经网络(如上图)

（1）符号表示

L:表示神经网络的层数(隐藏层+输出层)

n[x]:表示第x层的神经网络有n[x]个神经元

a[x]:表示第x层的神经网络的激活函数

W[x]:表示第x层的权重

此外，输入层为a[0]，输出层(y-hat)为a[L]

(2)深层神经网络的向前传播和反向传播

本质上和普通神经网络的向前传播和反向传播无异，只是计算较为复杂

向前传播(向量化)：

反向传播：

(3)核对神经网络中矩阵的维数：

根据已知数据(输入层，输出层，激活函数等)，通过已知数据的矩阵的维度，依据矩阵乘法法则，来倒推权重(W)，和偏置(b)的维度，以此来检验神经网络中矩阵的维数。

(4)深层神经网络的优点：

深层神经网络较普通神经网络，隐藏层的数目更多，可以提取到的特征的复杂度更大；且深层神经网络可以减少神经元的个数，减少计算量，从而加快学习速率

深层神经网络应用于图像处理中，可以提取更丰富的特征，由简单到复杂，越复杂，准确率就越高

(5)神经网络块表示深层神经网络(类似计算图)：

可以表示正向传播和反向传播，类似于计算图

(6)参数和超参数：

参数：权重(W)，偏置(b)，是模型在训练过程中自动学习的变量，用于拟合数据和做出预测，数量级非常大(百万级)

超参数：隐藏层数(L)，学习率，迭代次数，是模型在训练前手动设置的，不通过数据学习，控制训练过程，数量级通常较少

两者形成合适的组合可以实现模型的最优：参数实现具体拟合，超参数实现模型的潜力

(Ⅱ)深层神经网络的优化

一,数据集(训练集+验证集+测试集)

训练集：拟合模型

验证集：调整模型超参数和初步评估模型能力

测试集：最终评估模型

数据集的切分：

小数据时代：通常是验证:测试=7:3 或者训练:验证:测试=6:2:2

大数据时代:训练集的比例通常占据大部分，占据99%以上，验证集和测试集比例减少

数据集的来源最好保证统一，可以使得模型泛化能力更好

二,偏差-方差困境

偏差-方差困境是模型复杂度和泛化能力之间的根本矛盾，核心目标是找到偏差和方差的平衡点，使得模型总误差最小

偏差和方差在模型中的应用：

三，正则化

L1正则化和 L2正则化

(1)L1正则化：

L1正则化倾向于将部分参数压缩到0，从而实现特征选择，自动筛选重要特征，适用于特征维度较高，且需要减少特征数量的场景。

但是对异常值敏感，当特征高度相关时，可能随机选择一个特征，忽略其他特征

(2)L2正则化：

L2正则化更倾向于让所有参数接近0但不为0，保持参数平滑分布，使用于特征之间高度相关

(3)为什么正则化可以减少过拟合：

核心原理是正则化通过在模型训练过程中加入额外的约束(即正则化参数项用来惩罚)，从而限制模型参数的复杂度，从而防止过拟合

以逻辑回归为例：

当正则化参数(λ)初始值很大时，权重(W)会接近于0，使得神经网络中的神经元作用变得很小，整个神经网络更接近逻辑回归。

(4)dropout正则化：

Dropout正则化通过随机”丢弃”神经元来防止模型过拟合，适用于深度神经网络

实施步骤：

遍历神经网络的每一层 ---> 随机为神经网络中的每个节点设置消除的概率 ---> 删除节点后，移除所有从该节点进入和出去的连接 ---> 最终得到较小的神经网络 ---> 反向传播

dropout实现方法(Inverted Dropout)：

Inverted Dropout在训练阶段对保留的神经元进行缩放，缩放激活值，从而使得训练和测试阶段的激活值期望一致，从而无需在测试时调整参数

(训练和测试阶段激活值期望一致，可以避免预测偏差，确保模型输出在训练和测试时候的分布一致;且使得梯度稳定，权重正确收敛)

dropout的功能类似于L2正则化，对于不同的神经网络层，使用不同的消除概率(对于参数集中的层，使用较低的消除概率)。但是dropout需要交叉验证更多的参数(由于dropout中损失函数不再被明确定义，每次迭代，都会随机移除一些节点，很难复查梯度下降的性能。在实际操作中，可以先关闭dropout，确保损失函数单调递减，然后在开启dropout)