当前位置：首页 > news >正文

神经网络为什么要用 ReLU 增加非线性？

news 来源：原创 2025/8/22 14:36:22

在神经网络中使用 ReLU（Rectified Linear Unit） 作为激活函数的主要目的是引入非线性，这是神经网络能够学习复杂模式和解决非线性问题的关键。

1. 为什么需要非线性？

1.1 线性模型的局限性

如果神经网络只使用线性激活函数（如 $f(x)=x$ ），那么无论网络有多少层，整个模型仍然是一个线性模型。这是因为多个线性变换的组合仍然是线性变换：

$f(f(f(x)))=W_{3}(W_{2}(W_{1}x+b_{1})+b_{2}) + b_{3}={W}'x+{b}'$

这样的模型无法学习复杂的非线性关系，表达能力非常有限。

1.2 非线性激活函数的作用

非线性激活函数（如 ReLU、Sigmoid、Tanh）能够打破线性关系，使神经网络能够学习复杂的非线性模式。通过堆叠多个非线性层，神经网络可以逼近任意复杂的函数。

2. ReLU 的定义

ReLU 的定义非常简单：

$ReLU(x)=max(0,x)$

当输入 x>0 时，输出 x。
当输入 x≤0 时，输出 0。

3. ReLU 的优势

3.1 缓解梯度消失问题

在 Sigmoid 或 Tanh 激活函数中，当输入值较大或较小时，梯度会趋近于零，导致梯度消失问题。
ReLU 的梯度在正区间恒为 1，避免了梯度消失问题，使得深层网络的训练更加稳定。

3.2 计算高效

ReLU 的计算非常简单，只需要比较和取最大值操作，计算速度远快于 Sigmoid 和 Tanh。
在训练大规模神经网络时，ReLU 的高效计算能够显著加快训练速度。

3.3 稀疏激活

ReLU 会将负值输出为零，这使得神经网络的激活变得稀疏。
稀疏激活可以减少参数之间的依赖性，提高模型的泛化能力。

4. ReLU 的变体

尽管 ReLU 有很多优点，但它也存在一些问题（如神经元“死亡”问题）。因此，研究者提出了多种 ReLU 的变体：

4.1 Leaky ReLU

在负区间引入一个小的斜率，避免神经元“死亡”：

$Leaky ReLU(x)=\begin{cases} x& \text{ if } x> 0 \\ ax& \text{ if } x\leq 0 \end{cases}$

其中 α 是一个小的正数（如 0.01）。

4.2 Parametric ReLU (PReLU)

将 Leaky ReLU 的斜率 α 作为可学习参数，动态调整负区间的输出。

4.3 Exponential Linear Unit (ELU)

在负区间引入指数函数，平滑过渡：

$ELU(x)=\begin{cases} x & \text{ if } x> 0 \\ a(e^{x}-1) & \text{ if } x\leq 0 \end{cases}$

5. ReLU 的代码实现

以下是 ReLU 及其变体的 PyTorch 展示：

import torch
import torch.nn as nn# 标准 ReLU
relu = nn.ReLU()
x = torch.tensor([-1.0, 2.0, -3.0, 4.0])
print(relu(x))  # 输出: tensor([0., 2., 0., 4.])# Leaky ReLU
leaky_relu = nn.LeakyReLU(negative_slope=0.01)
print(leaky_relu(x))  # 输出: tensor([-0.0100,  2.0000, -0.0300,  4.0000])# ELU
elu = nn.ELU(alpha=1.0)
print(elu(x))  # 输出: tensor([-0.6321,  2.0000, -0.9502,  4.0000])

神经网络为什么要用 ReLU 增加非线性？

在神经网络中使用 ReLU（Rectified Linear Unit） 作为激活函数的主要目的是引入非线性，这是神经网络能够学习复杂模式和解决非线性问题的关键。 1. 为什么需要非线性？ 1.1 线性模型的局限性如果神经网络只使用线性激活函数&…...

编程日记 2025/8/22 14:36:22

ES10（2019）、ES11（2020）新增特性（八）

目录 ES10（2019） Array.flat() Array.flatMap() String.trimStart()和String.trimEnd() Symbol.prototype.description Object.fromEntries() ES11（2020） Nullish coalescing Operator【空值运算符】可选链&#xff08…...

编程日记 2025/8/21 13:55:47

利用MQ自动取消未支付超时订单最佳实践

一、利用MQ自动取消未支付超时订单最佳实践 1、基于 RocketMQ 延迟消息 1.1：延迟消息当消息写入到 Broker 后，不会立刻被消费者消费，需要等待指定的时长后才可被消费处理的消息，称为延时消息。 1.2：实现流程 &am…...

编程日记 2025/8/21 8:03:53

1-003：MySQL 的索引类型有哪些？

MySQL 中的索引类型主要分为以下几类，每种索引都有不同的适用场景和优化查询的作用： 1. 按存储结构分类 ① 聚簇索引（Clustered Index） 特点： InnoDB 引擎的主键索引就是聚簇索引。数据与索引存储在一起&#xff…...

编程日记 2025/8/16 11:13:41

php虚拟站点提示No input file specified时的问题及权限处理方法

访问站点，提示如下 No input file specified. 可能是文件权限有问题，也可能是“.user.ini”文件路径没有配置对，最简单的办法就是直接将它删除掉，还有就是将它设置正确 #配置成自己服务器上正确的路径 open_basedir/mnt/qiy/te…...

编程日记 2025/8/20 21:02:19

Unity UGUI下实现精确点击的一种方式

比如有这样一个情况，UI的显示区域是个圆形，在点击的时候也需要精确点击到这个圆形显示区域，但是UI元素的RectTransform是个矩形 1. 使用脚本修改 2. 原理探究此脚本继承了Image组件，但是获取了自身的Collider2D，目…...

编程日记 2025/8/22 14:33:27

元宇宙崛起：区块链与金融科技共绘数字新世界

文章目录一、引言二、元宇宙与区块链的深度融合三、区块链在元宇宙金融中的应用四、金融科技在元宇宙中的创新应用五、面临的挑战与机遇《区块链与金融科技》亮点内容简介获取方式一、引言随着科技的飞速发展，元宇宙概念逐渐走进人们的视野，成为数字…...

编程日记 2025/8/16 11:51:04

#!/bin/bash####################################readme################################### #先上传postgresql源码包，再配置yum源，然后执行脚本 #备份官方yum源配置文件： #cp /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS…...

编程日记 2025/8/22 14:33:25

警惕AI神话破灭：深度解析大模型缺陷与禁用场景指南

摘要当前AI大模型虽展现强大能力，但其本质缺陷可能引发系统性风险。本文从认知鸿沟、数据困境、伦理雷区、技术瓶颈四大维度剖析大模型局限性，揭示医疗诊断、法律决策等8类禁用场景，提出可信AI建设框架与用户防护策略。通过理论分析与实操案…...

编程日记 2025/8/22 14:33:25

1分钟看懂React的那些Hook‘s

一、useEffect的五指山 1.执行时机：组件初始化,组件更新（组件内state变化） useEffect(() > {}) 2.执行时机：组件初始化 useEffect(() > {},[]) 3.执行时机：组件初始化，依赖的状态发生变化&#xf…...

编程日记 2025/8/19 3:05:23

聚焦两会：科技与发展并进，赛逸展2025成创新新舞台

在十四届全国人大三次会议和全国政协十四届三次会议期间，代表委员们围绕多个关键议题展开深入讨论，为国家未来发展谋篇布局。其中，技术竞争加剧与经济转型需求成为两会焦点，将在首都北京举办的2025第七届亚洲消费电子技术贸易展&a…...

编程日记 2025/8/20 9:52:52

深入C语言：指针与数组的经典笔试题剖析

1. sizeof和strlen的对比 1.1 sizeof sizeof 是C语言中的一个操作符，用于计算变量或数据类型所占内存空间的大小，单位是字节。它不关心内存中存储的具体数据内容，只关注内存空间的大小。 #include <stdio.h> int main() {int a 10;…...

编程日记 2025/8/21 8:11:16

⚡ 回声谷即时通讯系统

基于SpringBootVue3的实时通信解决方案 🌟 核心特性 #mermaid-svg-uxEwEcjlUVI6Tjjf {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-uxEwEcjlUVI6Tjjf .error-icon{fill:#552222;}#mermaid-svg-uxEwEcjl…...

编程日记 2025/8/22 7:10:41

实验题目：授权及收回授权、约束、触发器

一、实验环境实验使用普通PC机一台，MySQL数据库版本8.0.36，使用Navicat Premium 16提供图形化界面。二、实验内容 1、数据库的账号、用户的建立、删除以及授权机制 2、数据库中数据完整性约束控制技术 3、触发器三、具体完成情况（提…...

编程日记 2025/8/19 17:20:30

Spark（8）配置Hadoop集群环境-使用脚本命令实现集群文件同步

一.hadoop的运行模式二.scp命令————基本使用三.scp命令———拓展使用四.rsync远程同步五.xsync脚本集群之间的同步一.hadoop的运行模式 hadoop一共有如下三种运行方式： 1. 本地运行。数据存储在linux本地，测试偶尔用一下。我们上一节课使用…...

编程日记 2025/8/16 12:21:01

c#中使用时间戳转换器

在C#中，时间戳转换器通常用于将时间戳（通常是一个表示自某一特定时间点（如1970年1月1日UTC）以来的毫秒数的长整型值）转换为DateTime对象，或者将DateTime对象转换回时间戳。以下是几种实现这一功能的方法： 1. 使用DateTime的构造函数将时间戳转换为DateTime long tim…...

编程日记 2025/8/22 7:22:32

LLM中的transformer结构学习（二完结 Multi-Head Attention、Encoder、Decoder）

文章目录 LLM中的transformer结构学习（二完结 Multi-Head Attention、Encoder、Decoder）Self-Attention （自注意力机制）结构多头注意力 EncoderAdd & Norm 层Feed Forward 层 EncoderDecoder的第一个Multi-Head AttentionMas…...

编程日记 2025/8/21 19:37:05

FreeSWITCH 之 chat

要把 FreeSWITCH 之 chat 完全研究清楚，似乎不容易发送，路由，接收跟哪些模块有关等等咱一边查资料，一边整理，不着急先看看 Kamalio 怎么发 MESSAGE loadmodule "uac.so"route[uac_send_message] {…...

编程日记 2025/8/20 2:34:18

本地fake server，

C# 制作的系统级tcp 重定向，整个系统只要有访问指定url，返回自定义内容到访问端。不局限在浏览器单一方面。再者请理解这个图的含金量，服务器down机都可以模拟。用途那就太多了，当然很多用途都不正当。嘿嘿如果你很想要源代…...

编程日记 2025/8/17 14:44:06

用Deepseek写一个 HTML 和 JavaScript 实现一个简单的飞机游戏

大家好！今天我将分享如何使用 HTML 和 JavaScript 编写一个简单的飞机游戏。这个游戏的核心功能包括：控制飞机移动、发射子弹、敌机生成、碰撞检测和得分统计。代码简洁易懂，适合初学者学习和实践。游戏功能概述玩家控制：使用键…...

编程日记 2025/8/19 4:17:14

解析 SQL，就用 sqlparse！

文章目录解析 SQL，就用 sqlparse！一、背景：为什么你需要 sqlparse？二、什么是 sqlparse？三、如何安装 sqlparse？四、简单易用的库函数1\. parse(sql)2\. format(sql, **options)3\. split(sql)4\. get_typ…...

编程日记 2025/8/16 12:59:47

Flask 全栈学习指南

一、Flask 基础核心 1. 核心概念与启动流程 WSGI 与 Werkzeug Flask 基于 Werkzeug 实现 WSGI 协议，处理 HTTP 请求到响应的全流程。手动实现 WSGI 应用示例：def simple_app(environ, start_response):status 200 OKheaders [(Content-type, text/pla…...

编程日记 2025/8/16 13:38:13

git的使用

1、git的安装（windows10） 网址：Git - Downloading Package全部默认安装就好。在任意文件夹中右击，列表中出现git即为安装成功。 2、git的基本配置右击打开git bash设置用户信息 git config --global user.name "username…...

编程日记 2025/8/16 12:19:54

MQTT协议下温度数据上报观测云最佳实践

MQTT 介绍 MQTT（Message Queuing Telemetry Transport，消息队列遥测传输协议）是一种轻量级的、基于发布/订阅模式的消息传输协议，专为低带宽、高延迟或不可靠的网络环境设计，广泛应用于物联网（IoT&#xf…...

编程日记 2025/8/16 11:16:38

什么是Flask

Flask是Python中一个简单、灵活和易用的Web框架，适合初学者使用。它提供了丰富的功能和扩展性，可以帮助开发者快速构建功能完善的Web应用程序。以下是Python Flask框架的一些特点和功能： Flask 是一个使用 Python 编写的轻量级 WSGI 微 Web…...

编程日记 2025/8/21 1:14:59

数字投屏叫号器-发射端python窗口定制

窗口本系列前章介绍，叫号器的显示端，完成了视频音频的形成和传输的介绍。本章节开始定制小窗口。最终实现，处于桌面最前端，发送指令，集合前篇即可完成： 处理本地text.txt更新，随之被rtsp采集…...

编程日记 2025/8/18 3:04:12

文本转语音-音画适时推送rtsp并播放

文本语音 rtsp适时播放叫号系统的底层逻辑发布Linux, unix socket 和window win32做为音频源的 python10下的(ffmpeg version 7.1) 可运行版本. 这两天在弄这个，前2篇是通过虚拟声卡，达到了最简单的一个逻辑，播放文本就从声卡发声&#xff0…...

编程日记 2025/8/16 12:39:59

clickhouse修改和删除数据

标题：ClickHouse中修改和删除数据的简易指南在大数据时代，数据库技术的发展日新月异。作为一款专为实时分析设计的列式数据库管理系统，ClickHouse因其高效的查询性能而受到欢迎。照这么推测的话，对于那些习惯于传统SQL操作&…...

编程日记 2025/8/16 10:01:25

2025CSP-J 冲刺训练(1)：二分

2025CSP-J 冲刺训练 1 一、二分查找函数1. 头文件2. 前提条件3. 功能函数3.1 lower_bound3.2 upper_bound 二、二分答案模板1. 前提条件2. 模板三、典型例题1. 寻找固定的和1.1 审题1.2 分析1.3 参考答案 2. Snuke Festival2.1 审题2.2 分析2.3 参考答案四、拓展例题1. 晒衣服…...

编程日记 2025/8/18 22:43:19

无公网IP也能远程控制Windows：Linux rdesktop内网穿透实战

文章目录前言1. Windows 开启远程桌面2. Linux安装rdesktop工具3. Win安装Cpolar工具4. 配置远程桌面地址5. 远程桌面连接测试6. 设置固定远程地址7. 固定地址连接测试前言如今远程办公已经从一种选择变成了许多企业和个人的必修课，而如何在Linux系统上高效地访…...

编程日记 2025/8/18 15:38:23

Win10 访问 Ubuntu 18 硬盘

目录方案一：使用Samba共享服务Ubuntu 18 端配置Windows 10 端访问方案二：使用 SSHFS（需在 Windows 上安装 SSH 客户端）Ubuntu 18 端配置Windows 10 端配置方案三：使用 FTP 服务Ubuntu 18 端配置Windows 10 端访问方…...

编程日记 2025/8/18 17:19:30

算法.习题篇

算法 — 地大复试模拟 while循环和MOD循环计数 1.约瑟夫问题 http://bailian.openjudge.cn/practice/3254 using namespace std;bool isNoPeople(vector<bool> c)//判断当前数组是否一个小孩都没有了 {bool nopeople true;for (bool ival : c){if ( ival true)nop…...

编程日记 2025/8/16 11:59:32

upload-labs文件上传

第一关上传一个1.jpg的文件，在里面写好一句webshell 保留一个数据包，将其中截获的1.jpg改为1.php后重新发送可以看到，已经成功上传第二关写一个webshell如图，为2.php 第二关在过滤tpye的属性，在上传2.php后使用b…...

编程日记 2025/8/16 12:35:06

一二三应用开发平台——能力扩展：多数据源支持

背景随着项目规模的扩大，单一数据源已无法满足复杂业务需求，多数据源应运而生。技术选型 MyBatis-Plus 的官网提供了两种多数据源扩展插件：开源生态的 <font style"color:rgb(53, 56, 65);">dynamic-datasource</fon…...

编程日记 2025/8/22 6:25:11

【Python】整数除法不正确，少1的问题，以及有关浮点数转换的精度问题

1. 问题今天在做leetcode 不同路径的时候发现了个问题对于m53 n4class Solution:def uniquePaths(self, m: int, n: int) -> int:rlt 1for i in range(0, m-1):rlt * (m n - 2 - i)for i in range(0, m-1):rlt / (i 1)return int(rlt)为什么这个结果是 26234class S…...

编程日记 2025/8/21 21:57:40

【贪心算法】简介

1.贪心算法贪心策略：解决问题的策略，局部最优----》全局最优 （1）把解决问题的过程分成若干步 （2）解决每一步的时候，都选择当前看起来的“最优”的算法 （3）“希望”得…...

编程日记 2025/8/22 1:31:56

狮子座大数据分析（python爬虫版）

十二星座爱情性格 - 星座屋首先找到一个星座网站，作为基础内容，来获取信息网页爬取与信息提取我们首先利用爬虫技术（如 Python 中的 requests 与 BeautifulSoup 库）获取页面内容。该页面（xzw.com/astro/leo/&…...

编程日记 2025/8/19 10:14:01

【商城实战(20)】商品管理功能深化实战

【商城实战】专栏重磅来袭！这是一份专为开发者与电商从业者打造的超详细指南。从项目基础搭建，运用 uniapp、Element Plus、SpringBoot 搭建商城框架，到用户、商品、订单等核心模块开发，再到性能优化、安全加固、多端适配&#xf…...

编程日记 2025/8/21 2:19:09

YC 孵化项目 Pinch：实时语音翻译视频会议平台；Mistral OCR：能处理多语言多模态复杂文档丨日报

开发者朋友们大家好： 这里是「RTE 开发者日报」 ，每天和大家一起看新闻、聊八卦。我们的社区编辑团队会整理分享 RTE（Real-Time Engagement） 领域内「有话题的技术」、「有亮点的产品」、「有思考的文章」、「有态度的 …...

编程日记 2025/8/21 16:37:58

数据库原理6

1.数据是信息的载体 2.数据库应用程序人员的主要职责：编写应用系统的程序模块 3.关系规范化理论主要属于数据库理论的研究范畴 4.数据库主要有检索和修改（包括插入，删除，更新）两大操作 5.概念模型又称为语义模型。…...

编程日记 2025/8/16 11:58:05

深度学习与大模型基础-向量

大家好！今天我们来聊聊向量（Vector）。别被这个词吓到，其实向量在我们的生活中无处不在，只是我们没注意罢了。 1. 向量是什么？ 简单来说，向量就是有大小和方向的量。比如你从家走到学校&#x…...

编程日记 2025/8/19 16:00:20

OpenManus：3小时复刻 Manus（OpenManus安装指南）

项目地址：GitHub - mannaandpoem/OpenManus: No fortress, purely open ground. OpenManus is Coming. 安装指南我们提供两种安装方式。推荐使用方式二（uv），因为它能提供更快的安装速度和更好的依赖管理。方式一：使…...

编程日记 2025/8/17 13:33:06

2025年渗透测试面试题总结-快某手-安全实习生（一面、二面）（题目+回答）

网络安全领域各种资源，学习文档，以及工具分享、前沿信息分享、POC、EXP分享。不定期分享各种好玩的项目及好用的工具，欢迎关注。目录快某手-安全实习生一面一、Linux操作：查看进程PID的5种方法二、Elasticsearch&#x…...

编程日记 2025/8/20 13:51:40

【微信小程序】uniapp开发微信小程序

uniapp开发微信小程序 1、上拉加载下拉刷新 import { onReachBottom, onPullDownRefresh } from dcloudio/uni-app;配置允许下拉刷新： {"path" : "pages/pet/pet","style" : {"navigationBarTitleText" : ""…...

编程日记 2025/8/22 4:54:23

动态规划_最大子数组和

53. 最大子数组和给你一个整数数组 nums ，请你找出一个具有最大和的连续子数组（子数组最少包含一个元素），返回其最大和。子数组是数组中的一个连续部分。示例 1：输入：nums [-2,1,-3,4,-1,2,1,-5,4] …...

编程日记 2025/8/16 10:01:46

从零开始的python学习（五）P71+P72+P73+P74

本文章记录观看B站python教程学习笔记和实践感悟，视频链接：【花了2万多买的Python教程全套，现在分享给大家，入门到精通(Python全栈开发教程)】 https://www.bilibili.com/video/BV1wD4y1o7AS/?p6&share_sourcecopy_web&v…...

编程日记 2025/8/16 1:17:48

Vue3实战学习（Element-Plus常用组件的使用(输入框、下拉框、单选框多选框、el-image图片)）(上)(5)

目录一、Vue3工程环境配置、项目基础脚手架搭建、Vue3基础语法、Vue3集成Element-Plus的详细教程。(博客链接如下) 二、Element-Plus常用组件使用。 （1）el-input。(input输入框) <1>正常状态的el-input。 <2>el-input的disable状态。 <3…...

编程日记 2025/8/20 10:41:54