当前位置：首页 > news >正文

神经网络基础[ANN网络的搭建]

news 来源：原创 2025/6/30 22:13:59

神经网络

人工神经网络（ Artificial Neural Network，简写为ANN）也简称为神经网络（NN），是一种模仿生物神经网络结构和功能的计算模型。各个神经元传递复杂的电信号，树突接收到输入信号，然后对信号进行处理，通过轴突输出信号。下图是生物神经元示意图：

是一种计算模型
简称:NN

请添加图片描述

当电信号通过树突进入到细胞核时，会逐渐聚集电荷。达到一定的电位后，细胞就会被激活，通过轴突发出电信号。

NN

神经网络中信息只向一个方向移动，即从输入节点向前移动，通过隐藏节点，再向输出节点移动。其中的基本部分是:

1.输入层: 即输入 x 的那一层

2.输出层: 即输出 y 的那一层

3.隐藏层: 输入层和输出层之间都是隐藏层[作用:加权求和+激活]

特点

•同一层的神经元之间没有连接。

•第 N 层的每个神经元和第 N-1层的所有神经元相连（这就是full connected的含义)，这就是全连接神经网络。

•第N-1层神经元的输出就是第N层神经元的输入。

•每个连接都有一个权重值（w系数和b系数）。

请添加图片描述

激活函数

激活函数的作用

激活函数用于对每层的输出数据进行变换, 进而为整个网络注入了非线性因素。此时, 神经网络就可以拟合各种曲线。

在这里插入图片描述

如果不使用激活函数,无论网络搭建得再复杂也是线性模型

常用的激活函数

sigmoid

常用于解决二分类问题

$\frac{1} {1 + e^{-x}}$

导函数公式
$f^{'} (x) = f (x) (1 - f (x))$

图像

在这里插入图片描述

f(x):定义域: (-∞,+∞)值域:(0,1)
有效区间:[-6,6]
f'(x)值域:(0,0.25]
不足:计算量大

一般来说， sigmoid 网络在5 层之内就会产生梯度消失现象。而且，该激活函数并不是以 0 为中心的，所以在实践中这种激活函数使用的很少

tanh

类似sigmoid

$=\frac{e^x - e^{-x}}{e^x + e^{-x}}=\frac{1 - e^{-2x}}{1 + e^{-2x}}$

$f'(x) = 1 - f^2(x)$
```
f(x):值域:(-1,1)有效区间:[-3,3]
特点:- 收敛速度比sigmoid快- 存在梯度消失问题
```
图像
softmax

softmax用于多分类过程中，它是二分类函数sigmoid在多分类上的推广，目的是将多分类的结果以概率的形式展现出来。计算方法如下所示
$softmax(z_i) = \frac{e ^ {z_i}}{Σ_j e ^{z_j}}$

ReLu

$f (x) = ma x (0, x)$

$\begin{cases}0 & {,x < 0}\\1 & ,x \geq 0 \end{cases}$

优点:- 计算量小,是最常用的一种激活函数- Relu会使一部分神经元的输出为0，这样就造成了网络的稀疏性，并且减少了参数的相互依存关系，缓解了过拟合问题的发生。
缺点:- 存在 '神经元死亡' 问题

随着训练的推进，部分输入会落入小于0区域，导致对应权重无法更新。这种现象被称为神经元死亡。

图像

在这里插入图片描述

Leaky ReLu(见下图)
ELU

ELU是对ReLu的改进,是对 ReLu（Rectified Linear Unit）的一种改进，旨在克服 ReLU 神经元死亡的问题.具体而言是通过定义了一个指数负区间来代替0值.
$f(x)=\begin{cases}x & {,x>0}\\ α(e^x−1) & {,x≤0} \end{cases}$
Celu

CELU（Continuously Differentiable Exponential Linear Unit）是 ELU（Exponential Linear Unit）的一个扩展，它通过对负值区域引入一个平滑的连续函数，进一步改善了神经元死亡问题，并增强了激活函数的灵活性。CELU 激活函数的设计目的是避免 ReLu 的死区问题，同时具备与 ELU 类似的平滑行为，但是具有一个可调的平滑程度。
$\begin{cases} x, & \text{if } x > 0 \\ \alpha (e^{\frac{x}{\alpha}} - 1), & \text{if } x \leq 0 \end{cases}$
Identity(恒等激活)(见下图)
其他激活函数

代码

def show(activation, *args):""":param activation: (激活函数:接收其内存地址) torch.sigmoid | torch.tanh | torch.relu:return: None"""_, axes = plt.subplots(1, 2)x = torch.linspace(-20, 20, 1000)y = activation(x)axes[0].plot(x, y)axes[0].grid()axes[0].set_title(str(activation).split(' ')[2])x = torch.linspace(-20, 20, 1000, requires_grad=True)print(activation(x, *args).sum())activation(x, *args).sum().backward()axes[1].plot(x.detach(), x.grad)axes[1].grid()axes[1].set_title(f"{str(activation).split(' ')[2]}'s Derived")plt.show()def softmax_show():""":return:"""score = torch.tensor([0.2, 0.02, 0.15, 0.15, 0.15, 0.15, 1, 3.14])probabilities = torch.softmax(score, dim=0)print(probabilities)print(sum(probabilities))def elu():elu = torch.nn.ELU(alpha=1)_, axes = plt.subplots(1, 2)x = torch.linspace(-40, 40, 1000)y = elu(x)axes[0].plot(x, y)axes[0].grid()axes[0].set_title('elu')x = torch.linspace(-40, 40, 1000, requires_grad=True)print(elu(x).sum())elu(x).sum().backward()axes[1].plot(x.detach(), x.grad)axes[1].grid()axes[1].set_title(f"elu's Derived")plt.show()if __name__ == '__main__':# show(torch.sigmoid)# show(torch.tanh)# show(torch.relu)# show(torch.celu, 0.001)softmax_show()

参数的初始化

在神经网络中，参数初始化（Parameter Initialization）指的是在训练开始之前设置网络权重（weights）和偏置（biases）的初始值。合适的初始化策略对于神经网络的训练过程至关重要。好的初始化方法能够加速收敛，提高模型的性能，避免一些常见的问题，如梯度消失或梯度爆炸。

参数初始化的作用

加速收敛：
- 一个好的初始化策略能帮助模型更快地收敛。合适的初始化会避免在训练初期陷入困境，使得梯度在反向传播时不会因为初始值太小或太大而导致学习困难。
避免梯度消失和梯度爆炸：
- 如果初始化过小或过大，可能导致梯度在反向传播时变得非常小（梯度消失）或非常大（梯度爆炸），从而影响训练的稳定性。
- 例如，深度网络中的梯度消失问题会导致模型训练速度极慢，甚至无法更新参数；而梯度爆炸则可能导致训练过程中权重更新过快，导致权重的值极大，进而造成不稳定的训练。
确保每个神经元有不同的学习路径：
- 如果所有神经元的初始权重相同，那么每个神经元将执行相同的操作，导致它们在训练过程中学习到相同的特征，这会大大降低模型的表现。
- 通过合理的初始化方法，确保每个神经元从不同的初始值开始学习，使得它们能学习到不同的特征，提高模型的多样性和表现。
避免对称性破坏：
- 如果所有权重被初始化为相同的值，所有神经元的输出也将相同，导致网络在训练过程中无法破除对称性，使得每个神经元的更新是一样的，无法发挥出网络的深度特性。合理初始化权重能够避免这一问题。

基本初始化

均匀分布初始化

权重参数初始化从区间均匀随机取值。即在(-1/√d,1/√d)均匀分布中生成当前神经元的权重，其中d为每个神经元的输入数量
正态分布初始化

随机初始化从均值为0，标准差是1的高斯分布中取样，使用一些很小的值对参数W进行初始化
全0初始化

将神经网络中的所有权重参数初始化为 0
全1初始化

将神经网络中的所有权重参数初始化为 1.
固定值初始化

将神经网络中的所有权重参数初始化为某个固定值.

示例

import torch
import torch.nn as nn# 1.均匀分布初始化
def test01():linear = nn.Linear(5, 3)# 从 0-1的均匀分布产生参数nn.init.uniform_(linear.weight)print(linear.weight.data)# 2.固定初始化
def test02():linear = nn.Linear(5, 3)nn.init.constant_(linear.weight, 5)print(linear.weight.data)# 3. 全0初始化
def test03():linear = nn.Linear(5, 3)nn.init.zeros_(linear.weight)print(linear.weight.data)# 4. 全1初始化
def test04():linear = nn.Linear(5, 3)nn.init.ones_(linear.weight)print(linear.weight.data)# 5.正态分布随机初始化
def test05():linear = nn.Linear(5, 3)nn.init.normal_(linear.weight, mean=0.0, std=1.0)print(linear.weight.data)

常用初始化

kaiming 初始化，也叫做 HE 初始化
1.正态化的he初始化
stddev = sqrt(2 / fan_in)
2.均匀分布的he初始化
它从 [-limit，limit] 中的均匀分布中抽取样本, limit是 sqrt(6 / fan_in)

fan_in 输入神经元的个数
xavier 初始化，也叫做 Glorot初始化
1.正态化的Xavier初始化
stddev = sqrt(2 / (fan_in + fan_out))
2.均匀分布的Xavier初始化
从[-limit，limit] 中的均匀分布中抽取样本, limit 是 sqrt(6 / (fan_in + fan_out))

fan_in 是输入神经元的个数， fan_out 是输出的神经元个数

代码:

# 6.kaiming初始化
def test06():linear = nn.Linear(5, 3)nn.init.kaiming_normal_(linear.weight)print(f'kaiming标准正态初始化:{linear.weight.data}')nn.init.uniform_(linear.weight)print(f'kaiming均匀分布初始化:{linear.weight.data}')# 7.xavier初始化
def test07():linear = nn.Linear(5, 3)nn.init.xavier_normal_(linear.weight)print(f'xavier标准正态初始化:{linear.weight.data}')nn.init.xavier_uniform_(linear.weight)print(f'xavier均匀分布初始化:{linear.weight.data}')

神经网络的搭建

在PyTorch中定义深度神经网络其实就是层堆叠的过程

1.自定义类，继承自nn.Module
2.实现两个方法：__init__方法:定义网络中的层结构，主要是全连接层，并进行初始化  - 作用:[定义网络层]forward方法:在实例化模型的时候，底层会自动调用该函数。该函数中可以定义学习率，为初始化定义的layer传入数据等。 - 作用:[串联网络层]

示例:搭建如图所示的神经网络

在这里插入图片描述

编码设计如下：

1.第1个隐藏层:权重初始化采用标准化的xavier初始化 激活函数使用sigmoid
2.第2个隐藏层:权重初始化采用标准化的He初始化 激活函数采用relu
3.out输出层线性层:假若二分类，采用softmax做数据归一化

思路说明:

在这里插入图片描述

代码实现:

import torch
import torch.nn as nn
from torchsummary import summary  # 计算参数模型# 1.创建神经网络模块
# 1.1 一个继承
class Model(nn.Module):# 1.2 两个方法 __init__ forwarddef __init__(self):super(Model, self).__init__()  # 调用父类的初始化属性方法# 创建第一个隐藏层self.linear1 = nn.Linear(3, 3)nn.init.xavier_normal_(self.linear1.weight)# 创建第二个隐藏层self.linear2 = nn.Linear(3, 2)# kaiming初始化nn.init.kaiming_normal_(self.linear2.weight)# 创建输出层模型self.out = nn.Linear(2, 2)def forward(self, x):# 数据经过第一个线性层x = self.linear1(x)# 使用sigmoid激活x = torch.sigmoid(x)# 数据经过第二个线性层x = self.linear2(x)# 使用relu激活x = torch.relu(x)# 数据经过输出层x = self.out(x)# 使用softmax激活# dim = -1: 每一个维度的行数据 相加为1x = torch.softmax(x, dim=-1)return x

使用网络

model = Model()# 随机产生一组数据
data = torch.randn(5, 3)
print(f'data.shape->{data.shape}')# 前向传播
output = model(data)
print(f'output.shape->:{output.shape}')# 计算模型参数
summary(model, input_size=(3,), batch_size=5)# 查看模型参数
print('=' * 20 + '查看模型参数' + '=' * 20)
for name, parameter in model.named_parameters():print(name, parameter)

神经网络总结

1.优点

精度高，性能优于其他的机器学习算法，甚至在某些领域超过了人类
可以近似任意的非线性函数
近年来在学界和业界受到了热捧，有大量的框架和库可供调。

2.缺点

黑箱，很难解释模型是怎么工作的
训练时间长，需要大量的计算资源
网络结构复杂，需要调整超参数
部分数据集上表现不佳，容易发生过拟合

神经网络基础[ANN网络的搭建]

神经网络人工神经网络（ Artificial Neural Network， 简写为ANN）也简称为神经网络（NN），是一种模仿生物神经网络结构和功能的计算模型。各个神经元传递复杂的电信号，树突接收到输入信号&#xf…...

编程日记 2025/6/30 22:13:59

【技术派后端篇】整合WebSocket长连接实现消息实时推送

在技术派平台中，实现了文章被点赞或评论后，在右上角实时弹出消息提醒的功能。相较于之前仅有的消息通知红色标识，这种实时通知在交互体验上有显著提升。本文将详细介绍如何借助WebSocket实现消息的实时通知。 1 基础知识点 1.1 相关概念 W…...

编程日记 2025/6/30 21:48:22

Janus Pro

目录一、模型概述与开源情况二、模型能力与性能三、竞品分析四、部署成本与个人部署成本比较五、其他维度比较 1. 模型架构与创新性 2. 社区支持与生态系统 3. 更新频率与维护 4. 适用场景与灵活性 5. 商业化潜力六、总结 Janus Pro 是中国初创公司 DeepSeek …...

编程日记 2025/6/30 21:41:52

[密码学实战]在Linux中实现SDF密码设备接口

[密码学实战]在Linux中实现SDF密码设备接口引言在密码学应用开发中，SDF（Security Device Interface）作为中国国家密码管理局制定的密码设备接口标准，被广泛应用于金融、政务等领域的安全系统中。本文将以GmSSL国产密码库为基础，手把手指导在Linux系统中部署SoftSDF——…...

编程日记 2025/6/30 22:05:46

机器学习基础 - 分类模型之SVM

SVM：支持向量机文章目录 SVM：支持向量机简介基础准备1. 线性可分2. 最大间隔超平面3. 什么是支持向量？4. SVM 能解决哪些问题？5. 支持向量机的分类硬间隔 SVM0. 几何间隔与函数间隔1. SVM 最优化问题2. 对偶问题1. 拉格朗日乘数法 - 等式约束优化问题2. 拉格朗日乘数法 - …...

编程日记 2025/6/30 21:13:08

PostgreSQL 中的权限视图

PostgreSQL 中的权限视图 PostgreSQL 提供了多个系统视图来查询权限信息，虽然不像 Oracle 的 DBA_SYS_PRIVS 那样集中在一个视图中，但可以通过组合以下视图获取完整的系统权限信息。一主要权限相关视图 Oracle 视图PostgreSQL 对应视图描述DBA_SYS_…...

编程日记 2025/6/30 20:33:00

pnpm install报错：此系统上禁止运行脚本

依赖安装报错信息： pnpm : 无法加载文件 C:\Users\XXX\AppData\Roaming\npm\pnpm.ps1，因为在此系统上禁止运行脚本。有关详细信息，请参阅 https:/go.microsoft.com/fwlink/?LinkID135170 中的 about_Execution_Policies。所在位置行:1 …...

编程日记 2025/6/30 20:34:36

解决yarn install 报错 error \node_modules\electron: Command failed.

在电脑重装系统后,重新安装项目依赖,遇到这一报错完整报错信息如下: error D:\xxxxx\xxxxxx\node_modules\electron: Command failed. Exit code: 1 Command: node install.js Arguments: Directory: D:\xxxxx\xxxxx\node_modules\electron Output: HTTPError: Response cod…...

编程日记 2025/6/30 21:25:48

深度学习3.7 softmax回归的简洁实现

import torch from torch import nn from d2l import torch as d2lbatch_size 256 train_iter, test_iter d2l.load_data_fashion_mnist(batch_size)3.7.1 初始化模型参数 net nn.Sequential(nn.Flatten(), nn.Linear(784, 10))def init_weights(m):if type(m) nn.Linear:…...

编程日记 2025/6/30 20:27:11

Linux424 chage密码信息 gpasswd 附属组

https://chat.deepseek.com/a/chat/s/e55a5e85-de97-450d-a19e-2c48f6669234...

编程日记 2025/6/29 10:54:01

Spring Boot单元测试实战指南：从零到高效测试

在Spring Boot开发中，单元测试是保障代码质量的核心环节。本文将基于实际开发场景，手把手教你如何快速实现分层测试、模拟依赖、编写高效断言，并分享最佳实践！ 一、5分钟环境搭建添加依赖在pom.xml中引入spring-boot-starter-te…...

编程日记 2025/6/29 11:37:17

Netty线上如何做性能调优？

大家好，我是锋哥。今天分享关于【Netty线上如何做性能调优？】面试题。希望对大家有帮助； Netty线上如何做性能调优？ 1000道互联网大厂Java工程师精选面试题-Java资源分享网在使用 Netty 进行线上服务时，性能调优是…...

编程日记 2025/6/30 21:44:34

总结-SQL注入分类手法注入漏洞总结性分化说明

目录关键要点按参数类型分类按提交方式分类按反馈结果分类其他高级注入类型最新漏洞动态防御措施调查笔记：SQL注入类型与详细分析一、按参数类型分类二、按提交方式分类三、按反馈结果分类四、其他高级注入类型五、最新漏洞动态六、防御…...

编程日记 2025/6/30 21:20:57

Linux:进程的创建进程的终止

进程的创建 fork fork是c语言中的一个函数，用于创建新的子进程，它存放在<unistd.h>的头文件中当我们运行程序时，如果使用了fork函数那么就会为这个进程创建一个它的子进程，这个子进程会继承父进程的所有数据和代码&…...

编程日记 2025/6/30 21:36:47

[C#]反射的实战应用,实际数据模拟

long? value null; // 看它是不是 HEX_STRING var dtAttr prop.GetCustomAttribute<DataTypeAttribute>(); if (dtAttr ! null && dtAttr.DataType DataType.HEX_STRING) {// 去掉可能的 "0x" 前缀string txt attribute.Value.StartsWith("0…...

编程日记 2025/6/29 12:29:45

机器人灵巧手有刷与无刷空心杯电机解析

一、电机结构分析（一）有刷空心杯电机结构有刷空心杯电机主要由上壳、碳刷、连接板、换向器线圈、外壳、轴承、永磁体、下壳及轴承密封圈组成。碳刷与换向器直接接触，负责传导电流，使线圈在永磁体产生的磁场中受力转动。这种机械换向方式虽直接，但碳刷磨损会影响电机寿命…...

编程日记 2025/6/29 9:14:18

JetBrains GoLang IDE无限重置试用期，适用最新2025版

注意本文仅用于学习使用！！！ 本文在重置2024.3.5版本亲测有效，环境为window(mac下应该也一样奏效) 之前eval-reset插件只能在比较低的版本才能起作用。总结起来就一句：卸载重装，额外要删掉旧安装文件和注册…...

编程日记 2025/6/29 12:08:02

【网络应用程序设计】实验四：物联网监控系统

个人博客：https://alive0103.github.io/ 代码在GitHub：https://github.com/Alive0103/XDU-CS-lab 能点个Star就更好了，欢迎来逛逛哇~❣ 主播写的刚够满足基本功能，多有不足，仅供参考，还请提PR指正&#xff…...

编程日记 2025/6/29 9:17:04

第六章：安全最佳实践

Chapter 6: 安全最佳实践 🌟 从上一章到本章在第五章：框架/工具抽象中，我们学会了如何用框架快速搭建MCP服务器。现在想象这样一个场景：你的文件服务器已经开发完成，但突然发现恶意用户能通过路径遍历攻击访问系统文…...

编程日记 2025/6/29 10:02:47

最高支持高速L3商用，华为发布ADS 4智驾系统

作者 |张马也编辑 |德新 4月22日，华为在上海召开乾崑智能技术大会。会上，华为正式推出乾崑智驾ADS 4、鸿蒙座舱HarmonySpace 5、乾崑车控XMC数字底盘引擎等一系列智能汽车解决方案。其中最为重磅的是，华为正式发布高速L3商用解决方案&a…...

编程日记 2025/6/29 11:47:19

[创业之路-382]：企业法务 - 企业如何通过技术专利与技术秘密保护自己

企业通过技术专利与技术秘密保护自身创新成果是构建核心竞争力的关键策略。以下从技术专利和技术秘密两大维度，系统阐述其保护路径及实施要点： 一、技术专利保护策略 1. 专利布局规划核心专利：针对核心技术进行专利申请，构建基…...

编程日记 2025/6/29 9:54:18

多路转接epoll原理详解

目录从epoll接口入手创建epoll模型用户告诉内核关心的事件内核告诉用户就绪的事件 epoll的原理整体思路如何判断事件是否就绪事件就绪后如何实现将节点插入就绪队列从epoll接口入手本篇文章从epoll的三个接口入手介绍epoll的具体工作原理创建epoll模型 #in…...

编程日记 2025/6/29 12:12:23

基于 MCP用 Python 搭建 “大模型网关”在 MCP 服务器端聚合多个大模型的 API，将其统一为 MCP 协议接口

下面给出基于 MCP（Model-Connection-Protocol）设计思想，用 Python 搭建 “大模型网关” 的典型开发流程。整体思路是：在 MCP 服务器端聚合多个大模型的 API，将其统一为 MCP 协议接口；在客户端按需调用这些统一后的接口。总结如下：概要：需求与架构定位：Clarify 要接入…...

编程日记 2025/6/29 10:30:10

Linux的时间函数

ucos中有systick这个系统时间滴答，那linux中有没有这种系统时间滴答呢？有，jiffies，但是用户空间不可以使用。那么在linux中除了使用timer定时器进行定时，可以通过时间滴答的方式来进行粗略的计时吗？下面介绍…...

编程日记 2025/6/29 10:27:09

JCE cannot authenticate the provider BC

本地使用了加密类、并且运行正常、用hutool做RSA加密时候出现这个问题的！ import cn.hutool.core.codec.Base64; import cn.hutool.core.util.ArrayUtil; import cn.hutool.core.util.StrUtil; import cn.hutool.crypto.SecureUtil; import cn.hutool.crypto.SmUtil; import…...

编程日记 2025/6/29 11:40:35

4.1 融合架构设计：LLM与Agent的协同工作模型

大型语言模型（Large Language Models, LLMs）与智能代理（Agent）的融合架构已成为人工智能领域推动企业智能化的核心技术。这种协同工作模型利用LLM的语言理解、推理和生成能力，为Agent提供强大的知识支持，而…...

编程日记 2025/6/29 9:16:15

【Spec2MP：项目管理之项目风险管理】

在半导体行业竞争白热化的今天，一颗芯片从设计到量产的旅程犹如跨越重重险峰。据行业数据显示，30%的芯片项目因未及时识别风险导致延期交付，而55%的成本超支源于前期风险评估不足。这背后折射出一个核心命题：如何在复杂的技术攻关…...

编程日记 2025/6/29 10:48:14

【Axure教程】表格嵌套卡片

今天教大家制作表格嵌套卡片的原型模版，可以点击加号或减号展开或收起对应部门下的员工卡片信息。这个表格是用中继器制作的，所以使用也很方便，在中继器表格里维护数据，即可自动生成交互效果，具体效果可以打开下方原型…...

编程日记 2025/6/29 10:21:21

无人机动力核心测评：CKESC STONE 180A-M 电调

一、核心技术优势：全场景适配的智能控制方案作为南昌长空科技的工业级产品，南昌长空的STONE 180A-M 电调以高可靠启动算法为核心，支持 6-14S 锂电输入，具备逆风启动稳定性与剧变油门抗丢相能力，实测油门响应时间 300…...

编程日记 2025/6/29 11:59:40

【回眸】Aurix TC397 IST 以太网 UDP 相关开发

前言关于移植IST功能至 Infineon TC397上主要涉及到UDP发送报文及接收。IST是安全诊断相关的工作 Nvidia IST介绍 Orin系列芯片会提供一种机制来检测由系统内测（IST）所产生的永久的故障，IST 应该在 Orin-x 功能安全系统中使用期间被启动。…...

编程日记 2025/6/29 10:32:02

C语言别踩白块附源码

复制即可使用 #define _CRT_SECURE_NO_WARNINGS//一定要放在第一行 #include<stdio.h>//引用输入输出头文件，每一次都需要引用这个文件 #include<math.h> #include<string.h> #include<ctype.h> #include<stdlib.h> #include<io…...

编程日记 2025/6/29 10:17:38

centos7里memcached 的安装使用

memcahced 的概述 Memcached是一个自由开源的，高性能，分布式内存对象缓存系统。 Memcached是以LiveJournal旗下Danga Interactive公司的Brad Fitzpatric为首开发的一款软件。现在已成为mixi、hatena、Facebook、Vox、LiveJournal等众多服务中提高Web应…...

编程日记 2025/6/29 10:12:55

深入理解指针（3）

1.指针的使⽤和传址调⽤ 1.strlen的模拟实现库函数strlen的功能是求字符串⻓度，统计的是字符串中\0 之前的字符的个数。函数原型如下： 参数str接收⼀个字符串的起始地址，然后开始统计字符串中 \0 之前的字符个数，最终返回⻓度。…...

编程日记 2025/6/29 11:43:02

第十届电气、电子和计算机工程研究国际学术研讨会（ISAEECE 2025）

重要信息官网：www.isaeece.com（点击了解参会投稿等） 时间：2025年6月20-22日地点：中国 ▪ 西安征稿主题电气、电子和计算机工程（Electrical, Electronics and Computer Engineering, EECE&#xff09…...

编程日记 2025/6/29 10:59:26

RabbitMQ 中的队列声明

目录一、为什么要声明队列？二、声明队列的基本语法参数说明三、声明队列的示例代码示例 1：声明一个普通的队列示例 2：声明一个持久化队列示例 3：声明一个带 TTL 的队列四、注意事项五、总结在 RabbitMQ 中，队列是消…...

编程日记 2025/6/29 12:28:12

unity Animation学习，精准控制模型动画播放

unity 控制模型动画播放，Animation学习。此脚本挂载在带有动画的模型上。 using System.Collections; using System.Collections.Generic; using UnityEngine;public class AnimationCtrl : MonoBehaviour {void Start(){PlayAnimation();//开始的时候调用播放动…...

编程日记 2025/6/29 12:14:26

大模型面经 | 春招、秋招算法面试常考八股文附答案（六）

大家好，我是皮先生！！今天给大家分享一些关于大模型面试常见的面试题，希望对大家的面试有所帮助。往期回顾：大模型面经 | 春招、秋招算法面试常考八股文附答案（RAG专题一）大模型面经 | 春招、秋招算法面试常考八股文附答案（RAG专题二）大模型面经 | 春招、秋招算法…...

编程日记 2025/6/29 9:53:26

【深度学习】#9 现代循环神经网络

主要参考学习资料： 《动手学深度学习》阿斯顿张等著【动手学深度学习 PyTorch版】哔哩哔哩跟李牧学AI 概述门控循环单元和长短期记忆网络利用门控机制实现对序列输入的选择性记忆。深度循环神经网络堆叠多个循环神经网络层以实现更强的表达能力和特征提取能力。…...

编程日记 2025/6/29 9:35:37

《CBOW 词向量转化实战：让自然语言处理 “读懂” 文字背后的含义》

文章目录前言一、自然语言模型统计语言模型存在的问题总结：这两个问题的本质，第一个是"容量问题"：模型记忆力有限；第二个是"理解力问题"：模型缺乏抽象能力。二、词向量转换1.onehot编码编码过程…...

编程日记 2025/6/29 10:21:03

网络变更：APIC 节点替换

Draft 一、同版本硬件更换 1. 查看 APIC 状态 System > Controllers > (any APIC) > Cluster APIC1> acidiag avread // APIC 参数 2. 下线故障设备 Actions > Decommission 3. 物理移除故障设备，连接目标 APIC 4. 根据第一步中的配置参数配置目…...

编程日记 2025/6/29 11:11:00

Java在excel中导出动态曲线图DEMO

1、环境 JDK8 POI 5.2.3 Springboot2.7 2、DEMO pom <dependency><groupId>org.apache.poi</groupId><artifactId>poi-ooxml</artifactId><version>5.2.3</version></dependency><dependency><groupId>commons…...

编程日记 2025/6/29 10:13:53

Python爬虫爬取图片并存储到MongoDB（注意：仅尝试存储一条空的示例数据到MongoDB，验证MongoDB的联通性）

以下是一个使用Python爬取图片并存储到MongoDB的示例实现，包含详细步骤说明： import requests from bs4 import BeautifulSoup from pymongo import MongoClient from datetime import datetime import os import re# 配置信息 mongoIP mongodb://root…...

编程日记 2025/6/29 10:48:47

Qt —— 在Linux下试用QWebEngingView出现的Js错误问题解决（附上四种解决办法）

错误提示：js: A parser-blocking, cross site (i.e. different eTLD+1) script, https:xxxx, is invoked via document.write. The network request for this script MAY be blocked by the browser in this or a future page load due to poor network connectivity. If bloc…...

编程日记 2025/6/29 10:08:08

神经网络

NN

特点

激活函数

激活函数的作用

常用的激活函数

sigmoid

tanh

softmax

ReLu

Leaky ReLu(见下图)

Celu

Identity(恒等激活)(见下图)

代码

参数的初始化

参数初始化的作用

基本初始化

均匀分布初始化

全0初始化

固定值初始化

示例

常用初始化

代码:

神经网络的搭建

思路说明:

代码实现:

使用网络

神经网络总结

1.优点

2.缺点

相关文章：