当前位置：首页 > news >正文

24.11.26 神经网络参数初始化

news 来源：原创 2025/7/18 20:07:52

神经网络

感知神经网络

神经网络（Neural Networks）是一种模拟人脑神经元网络结构的计算模型，用于处理复杂的模式识别、分类和预测等任务

生物学：

人脑可以看做是一个生物神经网络，由众多的神经元连接而成

树突：从其他神经元接收信息的分支
细胞核：处理从树突接收到的信息
轴突：被神经元用来传递信息的生物电缆
突触：轴突和其他神经元树突之间的连接

人脑神经元处理信息的过程：

多个信号到达树突，然后整合到细胞体的细胞核中
当积累的信号超过某个阈值，细胞就会被激活
产生一个输出信号，由轴突传递。

神经网络由多个互相连接的节点（即人工神经元）组成。

人工神经元

人工神经元(Artificial Neuron)是神经网络的基本构建单元，模仿了生物神经元的工作原理。其核心功能是接收输入信号，经过加权求和和非线性激活函数处理后，输出结果。

构建人工神经元

人工神经元接受多个输入信息，对它们进行加权求和，再经过激活函数处理，最后将这个结果输出。

组成部分

输入（Inputs）: 代表输入数据，通常用向量表示，每个输入值对应一个权重。
权重（Weights）: 每个输入数据都有一个权重，表示该输入对最终结果的重要性。
偏置（Bias）: 一个额外的可调参数，作用类似于线性方程中的截距，帮助调整模型的输出。
加权求和: 神经元将输入乘以对应的权重后求和，再加上偏置。
激活函数（Activation Function）: 用于将加权求和后的结果转换为输出结果，引入非线性特性，使神经网络能够处理复杂的任务。常见的激活函数有Sigmoid、ReLU（Rectified Linear Unit）、Tanh等。

数学表示

如果有 n 个输入 x_1, x_2, \ldots, x_n，权重分别为 w_1, w_2, \ldots, w_n，偏置为 b，则神经元的输出 y 表示为：

$z=\sum_{i=1}^nw_i\cdot x_i+b \\ y=\sigma(z)$

其中，\sigma(z) 是激活函数。

对比生物神经元

人工神经元和生物神经元对比如下表：

生物神经元	人工神经元
细胞核	节点 (加权求和 + 激活函数)
树突	输入
轴突	带权重的连接
突触	输出

深入神经网络

神经网络是由大量人工神经元按层次结构连接而成的计算模型。每一层神经元的输出作为下一层的输入，最终得到网络的输出。

基本结构

神经网络有下面三个基础层（Layer）构建而成：

输入层（Input）: 神经网络的第一层，负责接收外部数据，不进行计算。
隐藏层（Hidden）: 位于输入层和输出层之间，进行特征提取和转换。隐藏层一般有多层，每一层有多个神经元。
输出层（Output）: 网络的最后一层，产生最终的预测结果或分类结果

网络构建

我们使用多个神经元来构建神经网络，相邻层之间的神经元相互连接，并给每一个连接分配一个权重，经典如下：

注意：同一层的各个神经元之间是没有连接的。

全连接神经网络

全连接（Fully Connected，FC）神经网络是前馈神经网络的一种，每一层的神经元与上一层的所有神经元全连接，常用于图像分类、文本分类等任务。

特点

全连接层: 层与层之间的每个神经元都与前一层的所有神经元相连。
权重数量: 由于全连接的特点，权重数量较大，容易导致计算量大、模型复杂度高。
学习能力: 能够学习输入数据的全局特征，但对于高维数据却不擅长捕捉局部特征（如图像就需要CNN）。

计算步骤

数据传递: 输入数据经过每一层的计算，逐层传递到输出层。
激活函数: 每一层的输出通过激活函数处理。
损失计算: 在输出层计算预测值与真实值之间的差距，即损失函数值。
反向传播（Back Propagation）: 通过反向传播算法计算损失函数对每个权重的梯度，并更新权重以最小化损失。

参数初始化

神经网络的参数初始化是训练深度学习模型的关键步骤之一。初始化参数（通常是权重和偏置）会对模型的训练速度、收敛性以及最终的性能产生重要影响

固定值初始化

固定值初始化是指在神经网络训练开始时，将所有权重或偏置初始化为一个特定的常数值。这种初始化方法虽然简单，但在实际深度学习应用中通常并不推荐。

全零初始化

将神经网络中的所有权重参数初始化为0。

方法：将所有权重初始化为零。

缺点：导致对称性破坏，每个神经元在每一层中都会执行相同的计算，模型无法学习。

应用场景：通常不用来初始化权重，但可以用来初始化偏置。

全1初始化

全1初始化会导致网络中每个神经元接收到相同的输入信号，进而输出相同的值，这就无法进行学习和收敛。所以全1初始化只是一个理论上的初始化方法，但在实际神经网络的训练中并不适用。

任意常数初始化

将所有参数初始化为某个非零的常数（如 0.1，-1 等）。虽然不同于全0和全1，但这种方法依然不能避免对称性破坏的问题。

随机初始化

方法：将权重初始化为随机的小值，通常从正态分布或均匀分布中采样。

应用场景：这是最基本的初始化方法，通过随机初始化避免对称性破坏。

Xavier 初始化

也叫做Glorot初始化。

方法：根据输入和输出神经元的数量来选择权重的初始值。权重从以下分布中采样：

$W\sim\mathrm{U}\left(-\frac{\sqrt{6}}{\sqrt{n_\mathrm{in}+n_\mathrm{out}}},\frac{\sqrt{6}}{\sqrt{n_\mathrm{in}+n_\mathrm{out}}}\right)$

或者

$W\sim\mathrm{N}\left(0,\frac{2}{n_\mathrm{in}+n_\mathrm{out}}\right)$

$\mathcal{N}(0, \text{std}^2)\mathcal{N}(0, \text{std}^2)$

其中 n_{\text{in}} 是当前层的输入神经元数量，n_{\text{out}}是输出神经元数量。

优点：平衡了输入和输出的方差，适合Sigmoid 和 Tanh 激活函数。

应用场景：常用于浅层网络或使用Sigmoid 、Tanh 激活函数的网络。

He初始化

也叫kaiming 初始化。

方法：专门为 ReLU 激活函数设计。权重从以下分布中采样：

$W\sim\mathrm{N}\left(0,\frac{2}{n_\mathrm{in}}\right)$

其中 n_{\text{in}} 是当前层的输入神经元数量。

优点：适用于ReLU 和 Leaky ReLU 激活函数。

应用场景：深度网络，尤其是使用 ReLU 激活函数时。

总结

在使用Torch构建网络模型时，每个网络层的参数都有默认的初始化方法，同时还可以通过以上方法来对网络参数进行初始化。

代码演示:

import torchdef t1():# 任意常数初始化model = torch.nn.Linear(4, 1)print(model.weight)model.weight.data.fill_(0)print(model.weight)def t2():# 全1填充初始化model = torch.nn.Linear(4, 1)torch.nn.init.ones_(model.weight)print(model.weight)def t3():# 任意常数初始化model = torch.nn.Linear(4, 1)torch.nn.init.constant_(model.weight, 0.63)print(model.weight)def t6():# Xavier初始化：正态分布linear = torch.nn.Linear(in_features=6, out_features=4)torch.nn.init.xavier_normal_(linear.weight)print(linear.weight)# Xavier初始化：均匀分布linear = torch.nn.Linear(in_features=6, out_features=4)torch.nn.init.xavier_uniform_(linear.weight)print(linear.weight)def t7():# He初始化 均匀分布model = torch.nn.Linear(6, 8)torch.nn.init.kaiming_uniform_(model.weight)print(model.weight)# He初始化 正态分布model2 = torch.nn.Linear(6, 8)torch.nn.init.kaiming_normal_(model2.weight)print(model2.weight)if __name__ == '__main__':t1()t2()t3()t6()t7()

激活函数

激活函数的作用是在隐藏层引入非线性，使得神经网络能够学习和表示复杂的函数关系，使网络具备非线性能力，增强其表达能力。

基础概念

非线性理解

如果在隐藏层不使用激活函数，那么整个神经网络会表现为一个线性模型。我们可以通过数学推导来展示这一点。

假设：

神经网络有L 层，每层的输出为 $\mathbf{a}^{(l)}$ 。
每层的权重矩阵为 $\mathbf{W}^{(l)}$ ，偏置向量为 $\mathbf{b}^{(l)}$ 。
输入数据为 $\mathbf{x}$ ，输出为 $\mathbf{a}^{(L)}$ 。

一层网络的情况

对于单层网络（输入层到输出层），如果没有激活函数，输出 $\mathbf{a}^{(1)}$ 可以表示为： $\mathbf{a}^{(1)} = \mathbf{W}^{(1)} \mathbf{x} + \mathbf{b}^{(1)}$

两层网络的情况

假设我们有两层网络，且每层都没有激活函数，则：

第一层的输出： $\mathbf{a}^{(1)} = \mathbf{W}^{(1)} \mathbf{x} + \mathbf{b}^{(1)}$
第二层的输出： $\mathbf{a}^{(2)} = \mathbf{W}^{(2)} \mathbf{a}^{(1)} + \mathbf{b}^{(2)}$

将 $\mathbf{a}^{(1)}$ 代入到 $\mathbf{a}^{(2)}$ 中，可以得到：

$\mathbf{a}^{(2)} = \mathbf{W}^{(2)} (\mathbf{W}^{(1)} \mathbf{x} + \mathbf{b}^{(1)}) + \mathbf{b}^{(2)}$

$\mathbf{a}^{(2)} = \mathbf{W}^{(2)} \mathbf{W}^{(1)} \mathbf{x} + \mathbf{W}^{(2)} \mathbf{b}^{(1)} + \mathbf{b}^{(2)}$

我们可以看到，输出 $\mathbf{a}^{(2)}$ 是输入 $\mathbf{x}$ 的线性变换，因为： $\mathbf{a}^{(2)} = \mathbf{W}' \mathbf{x} + \mathbf{b}'$ 其中 $\mathbf{W}' = \mathbf{W}^{(2)} \mathbf{W}^{(1)}$ ， $\mathbf{b}' = \mathbf{W}^{(2)} \mathbf{b}^{(1)} + \mathbf{b}^{(2)}$ 。

多层网络的情况

如果有L层，每层都没有激活函数，则第l层的输出为： $\mathbf{a}^{(l)} = \mathbf{W}^{(l)} \mathbf{a}^{(l-1)} + \mathbf{b}^{(l)}$

通过递归代入，可以得到：
$\mathbf{a}^{(L)} = \mathbf{W}^{(L)} \mathbf{W}^{(L-1)} \cdots \mathbf{W}^{(1)} \mathbf{x} + \mathbf{W}^{(L)} \mathbf{W}^{(L-1)} \cdots \mathbf{W}^{(2)} \mathbf{b}^{(1)} + \mathbf{W}^{(L)} \mathbf{W}^{(L-1)} \cdots \mathbf{W}^{(3)} \mathbf{b}^{(2)} + \cdots + \mathbf{b}^{(L)}$

表达式可简化为：

$\mathbf{a}^{(L)} = \mathbf{W}'' \mathbf{x} + \mathbf{b}''$

其中， $\mathbf{W}''$ 是所有权重矩阵的乘积， $\mathbf{b}''$ 是所有偏置项的线性组合。

如此可以看得出来，无论网络多少层，意味着：

整个网络就是线性模型，无法捕捉数据中的非线性关系。

激活函数是引入非线性特性、使神经网络能够处理复杂问题的关键。

1.2 非线性可视化

我们可以通过可视化的方式去理解非线性的拟合能力:：A Neural Network Playgroundhttps://playground.tensorflow.org/

常见激活函数

sigmoid

import matplotlib.pyplot as plt
import torchdef t001():# 一行两列的图像绘制_, ax = plt.subplots(1, 2)# 绘制函数图像x = torch.linspace(-10, 10, 100)y = torch.sigmoid(x)# 网格ax[0].grid(True)ax[0].set_title("sigmoid")ax[0].set_xlabel("x")ax[0].set_ylabel("y")# 绘制ax[0].plot(x, y)# 绘制sigmoid导数曲线图x = torch.linspace(-10, 10, 100, requires_grad=True)# 自动求导torch.sigmoid(x).sum().backward()ax[1].grid(True)ax[1].set_title("sigmoid's plot", color="red")ax[1].set_xlabel("x")ax[1].set_ylabel("y")# 用自动求导的结果绘制曲线图ax[1].plot(x.detach().numpy(), x.grad.detach().numpy())plt.show()if __name__ == '__main__':t001()

tanh

import matplotlib.pyplot as plt
import torchdef t001():# 一行两列的图像绘制_, ax = plt.subplots(1, 2)# 绘制函数图像x = torch.linspace(-10, 10, 100)y = torch.tanh(x)# 网格ax[0].grid(True)ax[0].set_title("tanh")ax[0].set_xlabel("x")ax[0].set_ylabel("y")# 绘制ax[0].plot(x, y)# 绘制sigmoid导数曲线图x = torch.linspace(-10, 10, 100, requires_grad=True)# 自动求导torch.tanh(x).sum().backward()ax[1].grid(True)ax[1].set_title("tanh plot", color="red")ax[1].set_xlabel("x")ax[1].set_ylabel("y")# 用自动求导的结果绘制曲线图ax[1].plot(x.detach().numpy(), x.grad.detach().numpy())plt.show()if __name__ == '__main__':t001()

ReLU

import matplotlib.pyplot as plt
import torch
import torch.nn.functional as Fdef t001():# 一行两列的图像绘制_, ax = plt.subplots(1, 2)# 绘制函数图像x = torch.linspace(-10, 10, 100)y = F.relu(x)# 网格ax[0].grid(True)ax[0].set_title("ReLU")ax[0].set_xlabel("x")ax[0].set_ylabel("y")# 绘制ax[0].plot(x, y)# 绘制sigmoid导数曲线图x = torch.linspace(-10, 10, 100, requires_grad=True)# 自动求导F.relu(x).sum().backward()ax[1].grid(True)ax[1].set_title("ReLU plot", color="red")ax[1].set_xlabel("x")ax[1].set_ylabel("y")# 用自动求导的结果绘制曲线图ax[1].plot(x.detach().numpy(), x.grad.detach().numpy())plt.show()if __name__ == '__main__':t001()

LeakyReLU

import matplotlib.pyplot as plt
import torch
import torch.nn.functional as Fdef t001():# 一行两列的图像绘制_, ax = plt.subplots(1, 2)# 绘制函数图像x = torch.linspace(-10, 10, 100)y = F.leaky_relu(x)# 网格ax[0].grid(True)ax[0].set_title("leaky_ReLU")ax[0].set_xlabel("x")ax[0].set_ylabel("y")# 绘制ax[0].plot(x, y)# 绘制sigmoid导数曲线图x = torch.linspace(-10, 10, 100, requires_grad=True)# 自动求导F.leaky_relu(x).sum().backward()ax[1].grid(True)ax[1].set_title("leaky_ReLU plot", color="red")ax[1].set_xlabel("x")ax[1].set_ylabel("y")# 用自动求导的结果绘制曲线图ax[1].plot(x.detach().numpy(), x.grad.detach().numpy())plt.show()if __name__ == '__main__':t001()

softmax

如何选择

手写笔记

24.11.26 神经网络参数初始化

神经网络感知神经网络神经网络（Neural Networks）是一种模拟人脑神经元网络结构的计算模型，用于处理复杂的模式识别、分类和预测等任务生物学： 人脑可以看做是一个生物神经网络，由众多的神经元连接而成树突&#…...

编程日记 2025/7/18 20:07:52

51单片机从入门到精通：理论与实践指南（一）

单片机在智能控制领域的应用已非常普遍，发展也很迅猛，学习和使用单片机的人员越来越多。虽然新型微控制器在不断推出，但51单片机价格低廉、易学易用、性能成熟，在家电和工业控制中有一定的应用，而且学好了51单片机&…...

编程日记 2025/7/18 20:10:26

wordpress获取文章总数、分类总数、tag总数等

在制作wordpress模板的时候会要调用网站的文章总数分类总数tag总数等这个数值，如果直接用count查询数据库那就太过分了。好在wordpress内置了一些标签可以直接获取到这些数值，本文整理了一些常用的wordpress网站总数标签。文章总数 <?php $count_…...

编程日记 2025/7/18 20:23:29

Tcon技术和Tconless技术介绍

文章目录 TCON技术（传统时序控制器）定义：主要功能：优点：缺点： TCONless技术（无独立时序控制器）定义：工作原理：优点：缺点： TCON与TCONl…...

编程日记 2025/7/18 10:31:05

WinFrom调用webapi接口另一个方法及其应用实例

1.调用接口方法代码如下： public class WebAPI{#region WebAPI调用 public async Task<string> Call_Webapi(string Url, string Json) //url传入的是接口名称，json传入的是接口参数{string responseBody string.Empty; //responseBod…...

编程日记 2025/7/18 19:55:47

上海乐鑫科技一级代理商飞睿科技，ESP32-C61高性价比WiFi6芯片高性能、大容量

在当今快速发展的物联网市场中，无线连接技术的不断进步对智能设备的性能和能效提出了更高要求。为了满足这一需求，乐鑫科技推出了ESP32-C61——一款高性价比的Wi-Fi 6芯片，旨在为用户设备提供更出色的物联网性能，并满足智能设备连…...

编程日记 2025/7/18 20:10:25

【机器学习】数据集合集！

本文将为您介绍经典、热门的数据集，希望对您在选择适合的数据集时有所帮助。 1 privacy 更新时间：2024-11-26 访问地址: GitHub 描述： 此存储库包含 TensorFlow Privacy（一种 Python）的源代码库，其中包…...

编程日记 2025/7/18 20:04:42

GitLab使用操作v1.0

1.前置条件 Gitlab 项目地址：http://******/req Gitlab账户信息：例如 001/******自己的分支名称：例如 001-master（注：master只有项目创建者有权限更新，我们只能更新自己分支，然后创建合并请求&…...

编程日记 2025/7/18 15:38:43

企业后端多租户管理平台

1 简介此系统在企业后端管理系统上进行的更改，用于快速开发租户管理平台。项目中详细的功能请查看文章：企业后端系统通用模版_后端模板-CSDN博客支持多租户，支持多租户切换，支持多租户数据隔离，支持多租户数据同步等…...

编程日记 2025/7/18 20:20:37

【模型学习之路】PyG的使用+基于点的任务

这一篇是关于PyG的基本使用目录前言 PyG的数据结构演示图的可视化基于点的任务任务分析 MLP GCN 前言对图结构感兴趣的朋友可以学一下常用的有关图结构的库：networkx详细介绍 networkx 库，探讨它的基本功能、如何创建图、操作图以及其常…...

编程日记 2025/7/18 14:56:01

【ubuntu】数学人的环境搭建

Python 语言环境 python 的 pip 第三方库管理 sudo apt install python3-pippython 的 idle 界面 sudo apt install idle3R 语言环境 sudo apt install r-cran-zoo### RStudio 界面 ubuntu sudo snap install rstudio --classicJulia 语言环境 sudo snap install julia --…...

编程日记 2025/7/18 20:10:26

Android 常用命令和工具解析之Trace相关

目录 1、Perfetto基本用法 1.1 perfetto抓取命令 1.2 Perfetto主界面 1.3 Perfetto常用技巧 1.3.1 CPU的运行状态 1.3.2 CPU的频率 1.3.3 CPU的所有任务 1.3.4 判断是否低内存 1.3.5 CPU的负载计算 1.3.6 查看某进程是否运行在大核 1.3.7 CPU的大核占用率计算 2、应…...

编程日记 2025/7/18 20:23:30

使用IDEA构建springboot项目+整合Mybatis

目录目录 1.Springboot简介 2.SpringBoot的工作流程 3.SpringBoot框架的搭建和配置 4.用Springboot实现一个基本的select操作 5.SpringBoot项目部署非常简单，springBoot内嵌了 Tomcat、Jetty、Undertow 三种容器，其默认嵌入的容器是 Tomcat，…...

编程日记 2025/7/18 20:10:26

Python学习34天

import random class Game: peo0 rob0 # # def __init__(self,peo,rob): # self.peopeo # self.robrob def Play(self): """ 石头剪刀布游戏，0代表石头，1代见到，2代表石头 …...

编程日记 2025/7/18 5:02:13

leetcode hot100【LeetCode 215.数组中的第K个最大元素】java实现

LeetCode 215.数组中的第K个最大元素题目描述给定一个整数数组 nums 和一个整数 k，请返回数组中第 k 个最大的元素。请注意，要求排名是从大到小的，因此第 k 个最大元素是排序后的第 k 个元素。你需要设计一个高效的算法来解决这个问题。…...

编程日记 2025/7/18 19:48:52

科技赋能：企业如何通过新技术提升竞争力的策略与实践

引言在当今瞬息万变的商业环境中，科技的迅猛发展正在重新定义行业的游戏规则。无论是小型企业还是跨国巨头，都感受到数字化转型的迫切需求。过去，企业竞争力更多依赖于成本控制、资源调配或市场覆盖，而如今，新技术的引…...

编程日记 2025/7/18 16:55:10

SAP开发语言ABAP开发入门

1. 了解ABAP开发环境和基础知识 - ABAP简介 - ABAP（Advanced Business Application Programming）是SAP系统中的编程语言，主要用于开发企业级的业务应用程序，如财务、物流、人力资源等模块的定制开发。 - 开发环境搭建 - 首先需…...

编程日记 2025/7/14 9:08:32

快速理解微服务中Ribbon的概念

一.基本概念 1.在微服务架构中，Ribbon 是一个客户端负载均衡器，用于控制服务间的通信方式。 2.Ribbon 是一个开源的库，最早由 Netflix 开发，用于实现客户端负载均衡。 3.Ribbon 主要解决的是在微服务架构中，多个服务…...

编程日记 2025/7/18 20:19:38

MTK主板_安卓主板方案_MTK联发科主板定制开发

联发科(MTK)主板以其强大的性能和多样化的功能而受到广泛关注。该平台包括多个型号，例如MT6761、MT8766、MT6762、MT6765、MT8768和MT8788等，均配置了四核或八核64位处理器，主频可高达2.0GHz。采用先进的12nm工艺，搭载Android 11.…...

编程日记 2025/7/17 1:15:27

Linux：文件管理（一）——文件描述符fd

目录一、文件基础认识二、C语言操作文件的接口 1.> 和 >> 2.理解“当前路径” 三、相关系统调用 1.open 2.文件描述符 3.一切皆文件 4.再次理解重定向一、文件基础认识文件内容属性。换句话说，如果在电脑上新建了一个空白文档&#xff0…...

编程日记 2025/7/18 20:27:38

Excel的图表使用和导出准备

目的导出Excel图表是很多软件要求的功能之一，那如何导出Excel图表呢？或者说如何使用Excel图表。一种方法是软件生成图片，然后把图片写到Excel上，这种方式，因为格式种种原因，导出的图片不漂亮&#xff0c…...

编程日记 2025/7/18 20:28:32

Python + 深度学习从 0 到 1（00 / 99）

希望对你有帮助呀！！💜💜 如有更好理解的思路，欢迎大家留言补充 ~ 一起加油叭 💦 欢迎关注、订阅专栏【深度学习从 0 到 1】谢谢你的支持！ ⭐ 什么是深度学习？ 人工智能、机器学习与…...

编程日记 2025/7/18 20:04:42

高级AI记录笔记（五）

学习位置 B站位置：红豆丨泥 UE AI 教程原作者Youtube位置：https://youtu.be/-t3PbGRazKg?siRVoaBr4476k88gct素材自备改良近战AI格挡行为把近战AI的格挡行为从行为树中单独一个任务分块中给删除掉，因为我们希望敌人在受到伤害后立即进行…...

编程日记 2025/7/18 20:19:38

uniapp vue2项目迁移vue3项目

uniapp vue2项目迁移vue3项目，必须适配的部分一、main.js 创建应用实例 // 之前 - Vue 2 import Vue from vue import App from ./App Vue.config.productionTip false // vue3 不再需要 App.mpType app // vue3 不再需要 const app new Vue({ ...App }) …...

编程日记 2025/7/18 20:01:10

平安科技Java面试题及参考答案

多个线程 a++，单个线程不管别的线程怎么改变 a 的值，只管自己的 a 的值，但是只有一个对象在 Java 中，当多个线程对同一个对象的共享变量 a 进行 a++ 操作时，如果不进行适当的同步处理，就会出现数据不一致的问题。因为 a++ 操作并非原子操作，它实际上包含了读取 a 的值、…...

编程日记 2025/7/17 21:48:26

Element UI 打包探索【1】

目录第一个命令第二个命令 node build/bin/iconInit.js node build/bin/build-entry.js node build/bin/i18n.js node build/bin/version.js 总结最近在接触组件库的项目，所以特意拿来Element UI借鉴学习一下，它算是做前端的同学们离不开的一…...

编程日记 2025/7/18 20:08:18

【通俗理解】神经网络中步长缩小的奥秘：优化算法与卷积操作的影响

【通俗理解】神经网络中步长缩小的奥秘：优化算法与卷积操作的影响关键词提炼 #神经网络 #步长缩小 #优化算法 #卷积操作 #AdaGrad #感受野第一节：步长缩小的类比与核心概念【尽可能通俗】在神经网络中，步长缩小就像是运动员在赛跑中逐…...

编程日记 2025/7/18 20:02:07

C语言：C语言实现对MySQL数据库表增删改查功能

基础DOME可以用于学习借鉴； 具体代码 #include <stdio.h> #include <mysql.h> // mysql 文件，如果配置ok就可以直接包含这个文件//宏定义连接MySQL必要参数 #define SERVER "localhost" //或 127.0.0.1 #define USER "roo…...

编程日记 2025/7/18 19:50:26

2023.11 Graph-Enriched Biomedical Language Models: A Research Proposal

Proceedings of the 13th International Joint Conference on Natural Language Processing and the 3rd Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics: Student Research Workshop, pages 82–92 November 1–4, 2023. ©20…...

编程日记 2025/7/18 20:06:03

神经网络

感知神经网络

人工神经元

构建人工神经元

组成部分

数学表示

对比生物神经元

深入神经网络

基本结构

网络构建

全连接神经网络

特点

计算步骤

参数初始化

固定值初始化

全零初始化

全1初始化

任意常数初始化

随机初始化

Xavier 初始化

He初始化

总结

激活函数

基础概念

非线性理解

1.2 非线性可视化

常见激活函数

sigmoid

tanh

ReLU

LeakyReLU

softmax

如何选择

手写笔记

相关文章：