当前位置：首页 > news >正文

西电-神经网络基础与应用-复习笔记

news 来源：原创 2025/5/7 10:12:49

此为24年秋研究生课程复习笔记

导论

神经网络的研究方法分为

连接主义，生理学派，模拟神经计算。高度的并行、分布性，很强的鲁棒和容错性。便于实现人脑的感知功能(音频图像的识别和处理)。
符号主义，心理学派，基于符号推演。便于实现人脑的高级认知功能(逻辑思维)。
行为主义，控制论学派，控制进化。强调智能系统与环境的交互，进行自学习、自适应。

机器学习导论

有监督学习：
- 回归问题预测值。有线性回归等模型。
- 分类问题预测类别。有逻辑回归(基于线性模型和sigmod做二分类)、SVM(找到最大超平面，改变维度)、朴素贝叶斯
无监督学习：
- kmeans(聚类)：将相似的点归为一类，总共划分k个类。相似度度量有欧式距离、汉明距离、余弦距离等。
- PCA(降维)

生物神经网络

树突传入信号，细胞体进行处理，轴突输出信号。
当前神经元的轴突与下一个神经元的树突间通过突触连接，突触分为兴奋和抑制型。
细胞体接收信号，如果为抑制型则膜电位降低，兴奋反之。当神经元的膜电位到达阈值，会放电，并将此信号继续传播。实现信号的传递，并最终导致人的认知与活动。

大脑的学习过程就是神经元之间连接强度随外部信息做自适应变化。学习结果由神经元的状态表现出来。

ANN特点

对应对生物神经网络：

输入连接-树突
输出连接-轴突
权重-突触
求和与激活函数-细胞体

空间上知识分布存储，时间上并行处理，容错性高(可以处理不完整、有噪音的信息，泛化)，自学习、自组织、自适应，解为满意解而非精确解(不一定全局最优，但是全局较好)

在结构建模分为：

前馈型。神经元的输出只会作为下一层神经元的输入，影响下面的层。例如CNN。
反馈型。神经元的输出还会作为当前层或之前层神经元的输入。这使得网络能有记忆功能，能考虑过去的信息，适用于处理时序数据。例如RNN。(反馈型与反向传播无关)
竞争学习网络。是一种无监督学习方法，神经元会相互竞争并根据胜败调整权重。适用于聚类分析等领域。

ANN领域面临的挑战：

需要大数据集。
弱标签、无标签数据远多于有标签数据。
超参数调优。权值参数可以自学习，但超参数需要根据经验和实验来设置。现在有个方向Neural Architecture Search，NAS神经网络搜索，通过搜索求出高性能的网络结构。
过拟合。
- 欠拟合是指模型在训练集、验证集和测试集上均表现不佳的情况；模型复杂度过低、特征量过少。这个不算挑战，只能算训练不到位。
- 过拟合是指模型在训练集上表现很好，到了验证和测试阶段就很差，即模型的泛化能力很差。样本数量过少、样本质量不佳无法代表整体样本分布、模型复杂度过高等。
不透明。神经网络模型本质是黑盒算法，可解释性和可靠性较差。
不灵活。一个模型的训练和设计针对了某个特定场景，那就只能用于这个特定场景，通用性差。现在有迁移学习，即根据已有知识学习新知识，找到新旧知识的相似性。当然最热门的还是大模型，AGI(Artificial General Intelligence，通用人工智能)。

感知机

感知机基于M-P模型。有加权、求和、激励三个部分。
$f\left( \sum_{i=1}^{n} w_i x_i + \theta \right)$
为了拟合非线性函数(比如解决异或问题)，需要多层次、多神经元。

训练中会基于当前模型参数产生实际输出，与样本输出存在差距，即损失值loss，这个计算函数就是损失函数。

请添加图片描述

我们给训练定了个最终目标，即最小化一个与模型相关的函数，这个函数就是目标函数。目标函数基于损失函数，还引入了正则项等参数以及求均值等方法。我们的梯度下降等进行参数更新的操作，就是为了最小化目标函数的输出。

ps: 感觉这块有人特地区分，有人随便弄混，大概了解一下就行，实际交流中懂的人自然懂。

Rosenblatt感知机是一个多层感知机，采用{-1,1}的阈值函数。课件中的例题是损失值为 $(w x + b) * y - y$ ，如果不为0就要调整，调整方式就是 $w = w + 学习率 * y * x, b = b + 学习率 * y$ 。直到所有样本输出都与实际输出相等。

请添加图片描述

激活函数

激活函数执行对神经元输入值的变换。由于若干线性单元叠加还是线性单元，所以在多层网络结构中要使用非线性映射来拟合复杂的目标。

请添加图片描述

Sigmoid

非线性映射。当 x 的绝对值很大时，接近阈值函数(只输出0或1)，可以做二分类；当x接近0时，梯度接近1即线性映射，在训练初始阶段加速收敛。同时单调连续、无限次可微有利于使用梯度下降。
但是x绝对值很大时，梯度接近为0(即存在饱和区，这个范围内输出几乎不变)。在反向传播中实际上是对于激活函数求导，那么在链式乘法中乘小于1的数，梯度会指数级下降，即会导致梯度消失。此外，sigmoid的输出范围为(0,1)，始终大于0(非0对称)，在梯度下降中权重都会朝着同一个大方向改变，不能够有正有反，这影响收敛速度与性能。

请添加图片描述

Tanh

比起sigmoid，实现了0对称 $(- 1, 1)$ ，同时在x较小时斜率更大、收敛速度更快。但还是存在梯度消失的问题。

请添加图片描述

Relu

没有指数运算，计算简单效率高，收敛速度快。但非零对称。
对于左图，梯度为0会导致权值无法更新。
而右图的leaky relu对于x小于0的部分做了调整，不会导致神经元失效。且函数的两个部分都是线性的，无饱和区，不会出现梯度消失。

请添加图片描述

训练优化

梯度下降

训练目标是最小化目标函数，那么就要求目标函数对每个权值参数的偏导，因为梯度方向是下降最快的方向。
对于多元函数，使用偏导求各个权重在对应方向的梯度。
梯度只是个方向，还有下降的步长，称为学习率。

batch_size

batch_size是每次梯度下降时使用的样本数。

=1，随机梯度下降SGD
=N，批量梯度下降BGD
1<size<N, 小批量梯度下降SGD
size小时，学习快速，内存消耗少，方便在线模型的更新。下降方向的波动大，有利于跳出鞍点，但因为少量样本的下降方向与正确方向存在误差，也减慢了收敛速度。
size大也不一定学习慢，因为可以利用并行计算加速矩阵运算。

SGD是一种折中方案，常用。

梯度下降优化器

动量法。引入动量和动量学习率两个参数。动量其实就是历史梯度的累积。基于先前的动量和当前梯度更新当前动量，基于当前动量更新权值。当梯度平缓时加速收敛，当陷入鞍点时有概率被动量扯着越过鞍点。由于结合了历史动量，即使梯度方向变化大也会变平缓、更新更平滑，减少震荡。

请添加图片描述

Nesterov方法是对传统动量法的改进。唯一的变动就是求梯度的部分。动量法用的是当前梯度，而Nesterov是将当前位置按动量走一下，然后再求梯度。大概思想是先用动量探索一下，如果当前梯度大，就可以走更多，梯度小就少走一点。收敛速度比动量法快。
AdaGrad。Ada就是自适应，将学习率动态调整。学习率部分有一个变量，是历史梯度的平方和。这导致起始时整个学习率较大，随着梯度下降的执行学习率变小。加速收敛。缺点是当历史梯度平方和很大很大时，学习率趋近于0，梯度消失。

请添加图片描述

RMSProp。加了一个 $\beta$ 衰减系数，用于对历史历史梯度做加权平均，可以减少久远梯度信息的影响力。

请添加图片描述

Adam。RMSProp+Momentum。两者都用了衰减系数。

反向传播

梯度下降是求目标函数对某个参数的偏导。目标函数在网络的输出层，对于深层网络，求偏导需要一个很长度的链式求导。

通过下图可以看到前向求导和反向求导的区别。虽然这个图因为对称所以看不出来，其实反向求导的计算量会小很多。所以前向传播最终得到loss，再反向根据loss求偏导，再下降梯度。

请添加图片描述

CNN

卷积层、下采样层(池化层)、全连接层。

神经网络的前面的层捕获各个位置的特征，越往后特征图越大，即捕获更精细的特征

卷积层：通过卷积在不同位置共享一个卷积核上的参数。局部感知，权重共享。
池化层：通过减少特征图大小，减少计算消耗，同时能有效处理过拟合问题。
全连接层：将三维的特征图做flatten做几次FC。将卷积层得到的局部特征整合成全局特征。
模型的最后一层使用 Softmax 函数将原始分数转换为概率分布，然后使用交叉熵损失函数计算损失。

特征图大小：
$featuremap_size = ⌊ image_size − kernel_size + 2 × padsize stride ⌋ + 1 \text{featuremap\_size} = \left\lfloor \frac{\text{image\_size} - \text{kernel\_size} + 2 \times \text{padsize}}{\text{stride}} \right\rfloor + 1$

AlexNet

使用Relu
提出了Dropout提高性能和泛化性
使用最大池化
使用了LRN局部响应归一层。抑制大值，增强小值，提高模型的泛化能力和对抗过拟合能力。
使用了ImageNet数据集

googlenet

使用不同大小的卷积核捕获不同尺寸的输入输出。进行多尺寸特征提取和特征融合。
使用 $1 * 1$ 的卷积核减少通道数，减少计算量
辅助分类器。提供额外的梯度信号，起到了正则化效果。

ResNet

请添加图片描述

残差，将前面层的一些参数通过捷径直接传到较后面的层，与后面的输出相加再继续往下传播，避免了梯度消失问题，并将粗糙和精细的特征融合。
通过适当的卷积核大小来控制特征图的shape以便不同层的输出特征图可以相加。
批归一化(batch normalization)，对图像标准化处理，加速收敛。

Densnet

在ResNet的基础上将残差连接增多。

请添加图片描述

RNN

激活函数为tahn，域值为 $[- 1, 1]$

请添加图片描述

需要实现n to m的转换

BPTT

请添加图片描述

在时间轴上链式求偏导，变成了一个和前面时间的偏导的连乘

请添加图片描述

LSTM

请添加图片描述

遗忘门计算短时记忆信息与当前信息的关系，用sigmoid映射到 $[0, 1]$ ，得到抛弃短时记忆的程度。
输入门计算，计算 $i_t$ 查看短时记忆和当前输入的关系，用sigmoid映射到 $[0, 1]$ ，判断添加输入到长时记忆中。计算 $\hat C_t$ 计算一个此次要被添加的长时记忆值。tanh只是一个激活函数，和sigmoid作用不一样。
更新长时记忆。求出短时记忆被遗忘后的剩余，以及此次要被添加的输入，相加得到更新后的当前时刻的长时记忆。
更新短时记忆。根据当前时刻的输入值，更新下一时刻的短时记忆。

sigmoid用来表示门的开闭，tanh调节数据范围，并通过正负值起到增减的作用。

LSTM也是用BPTT训练，但是推导之后发现连乘可以变成加法形式，缓解梯度爆炸/消失的情况。

GRU

只有重置门和更新门。 $r_t$ 计算多少历史记忆进入候选状态。 $\hat h_t$ 是候选状态，得到一个临时的输入。然后更新 $h_t$ ，历史信息要添加的越多，当下添加的就越少。
简化了门数量和参数量，效率高，适合实时计算。但没有专门维护长时记忆，只适合简单序列。

请添加图片描述

运算过程：
请添加图片描述

seq2seq

encoder-decoder框架，分了两个结构，两边都可以套RNN的各种模型，但是效果更好，因为直接使用单模型只能根据上文理解，而先encode可以理解完整个上下文，然后再decode就能结合到整个上下文的信息，对语义的理解更好。

attention

Q(与其他单词的匹配度)、K(其他单词与本单词的匹配度)、V(本单词的编码向量)
首先根据输入乘权重得到每个单词的qkv
$a_i=w*x_i,\ q_i=a_i*W^Q,\ k_i=a_i*W^K,\ v_i=a_i*W^V$
然后a对b的匹配度点乘b对a的匹配度(余弦相似度)，然后除以一个东西，得到注意力权重
除以的这个是一个单词的维度，是为了将分布重新变为 $(0, 1)$ 的分布，softmax也是归一。
$\alpha_{i,j}=softmax(\frac{q_i*k^{Transpose}_j}{\sqrt{d_{q,k}}})$
然后乘注意力权重就是其他单词到本单词的注意力值
$attention_i=\sum a_{i,j}*v_i$
上面是自注意力，整体使用到了QKV矩阵。类比卷积核，每个卷积核可以识别不同的特征，我们这里也可以将QKV分成多份，即不是QKV，而是 $Q_i、K_i、V_i$ ，让每组QKV识别一种特征，这就是多头注意力。计算后将结果拼接、降维，得到注意力值。

请添加图片描述

Transformer

• 完全依赖注意力机制来刻画各个单词间的全局依赖关系
• 利用类似残差结构有效的防止梯度消失的问题
• 在自然语言处理中单词的输入是并行的，大大加快了计算效率

Encoder
生成词嵌入->位置编码->多头注意力->归一，注意还有个分支是残差，将原始信息直接与细节信息融合。然后加个前馈网络。

归一化服从正态分布，加快收敛。

位置编码是因为，在RNN和LSTM中数据被依次处理，有历史记忆和当前输入的这种前后关系。而注意力机制虽然用的也是时序数据，但求QKV的乘法并没有体现前后顺序，只是排列组合，同一个单词放在开头和末尾的得分是一样的。所以这里需要将位置信息编码进输入数据中。
请添加图片描述

Decoder
有个mask层，因为对于token是并行处理的，比如I love you是decoder的输入，当encoder处理完我爱你之后，在处理I时，通过掩码把love you盖住(改为很大的负数,softmax为0)，不让他直接知道当前位置的未来答案，让解码只依赖当前位置之前的信息。
除了这个将未来信息盖住，还有个对齐操作，因为每个批次输入数据长度不一致，需要后补很大的负数。encoder其实也做了这个。

而第二个multiattention的KV来自encoder，Q来自mask。
请添加图片描述

bert

将Encoder堆至少12层。
请添加图片描述

VIT

vision transformer，将transformer用于cv。transformer以token作为处理单位，vit将图像分割为块(patch)，并将patch作为处理单位。同时也需要对图像进行位置编码。

考题

三种学习方法，有导师学习、无导师学习和增强学习有什么不同？

有导师学习（Supervised Learning）
- 定义：有导师学习是指在训练过程中提供带有标签的数据给算法，让算法通过学习这些带有正确答案的数据来建立一个模型，从而对新的未知数据进行预测或分类。
- 特点：需要大量的标记数据；学习过程相对直接，容易评估模型性能。
- 应用：广泛应用于图像识别、语音识别、情感分析等任务。
- 总结：依赖于已知结果的示例来指导学习过程，适合解决预测和分类问题。
无导师学习（Unsupervised Learning）
- 定义：无导师学习是在没有标签的情况下进行的，算法试图从未标记的数据中发现内在的结构或规律。
- 特点：不需要标签数据，因此可以处理大量未标注的数据；目标通常是为了找到数据的分布模式或降维。
- 应用：常用于聚类、关联规则挖掘、异常检测等任务。
- 总结：尝试在没有明确指导的情况下发现数据的内在结构，适用于探索性数据分析。
增强学习（Reinforcement Learning）
- 定义：增强学习是一种通过试错来学习的方法，它关注的是如何采取行动以最大化某种累积奖励。在这个过程中，智能体（Agent）通过与环境互动来学习最佳策略。
- 特点：不需要预先标记的数据集；学习过程是一个长期的决策过程，强调的是行动与环境之间的交互。
- 应用：适用于游戏、机器人导航、资源管理等需要做出一系列决策的问题。
- 总结：通过与环境的交互来优化行为策略，适合处理需要连续决策的问题。

计算题

（最终期末考的题）生物神经元的结构画图和各部分功能、三种梯度下降不同批度的特点以及批量梯度下降的优缺点、动量法和学习率自适应法的特点及例子、PPT上roseblatt、根据一个卷积层核和池化层核求输出的特征图尺寸、一个前馈网络的梯度下降和反向传播中的参数、RNN前向计算、LSTM和GRU的介绍和比较、ResNet和DenseNet的比较、transformer的Encoder和Decoder的结构以及各部分功能。

优化器种类

SGD、动量法、Nestrov、AdaGrad、Adam

反向传播例题

目标函数一般用的是
$\frac{(\hat{y}-y)^2}{2}$
注意前向计算过程有z=wx+b、y=f(z)，最后还有一个E=E( $\hat y$ ,y)，这些要链式。

对sigmoid激活函数求偏导得到
$\frac{\partial f(x)}{x}=f(x)*(1-f(x))$

请添加图片描述

对目标函数求偏导很容易，就是 $\hat{y}-y$ 。wy+b对w求偏导就是y。
请添加图片描述

卷积核计算

$1 * 28 * 28$ 的输入图大小
经过 $25 * 3 * 3$ 的卷积核
padding为0，stride为1
$\frac{28-3+2*0}{1}+1=26$
同时通道数为卷积核数25，即得到特征图 $25 * 26 * 26$ 。此时每个卷积核用到的参数是 $3 * 3$ 个。
然后经过 $2 * 2$ 的max_polling，假设一次走那么大的尺寸，即
$\frac{26}{2}=13$
因为池化层没有卷积核，所以通道数不变。 $25 * 13 * 13$
再来个 $50 * 3 * 3$ 的卷积核，即
$\frac{13-3}{1}+1=11$
注意输入图的通道数不是1，所以是一个卷积核与每个图通道的对应位置做卷积，然后对生成的25张图做求和得到一个图，然后50个卷积核就得到50个通道数，即新特征图的通道数等于卷积核个数。 $50 * 11 * 11$ 。此时每个卷积核用到的参数是 $25 * 3 * 3$ 个。

再经过 $2 * 2$ 的max_polling，即
$\frac{11}{2}=5$
得到 $50 * 5 * 5$

AlexNet卷积核计算

Input：227x227x3
First layer (CONV1): 96 11x11 filter，stride 4
$\frac{227-11}{4}+1=55,96*55*55，使用参数为3*11*11*96$
Second layer (POOL1): 3x3 pooling，stride 2
$\frac{55-3}{2}+1=27,96*27*27,使用参数为0$

RNN计算

只考虑前向
请添加图片描述

请添加图片描述

导论

机器学习导论

生物神经网络

ANN特点

感知机

激活函数

Sigmoid

Tanh

Relu

训练优化

梯度下降

batch_size

梯度下降优化器

反向传播

CNN

AlexNet

googlenet

ResNet

Densnet

RNN

BPTT

LSTM

GRU

seq2seq

attention

Transformer

bert

VIT

考题

三种学习方法，有导师学习、无导师学习和增强学习有什么不同？

计算题

优化器种类

反向传播例题

卷积核计算

AlexNet卷积核计算

RNN计算

相关文章：