当前位置： 首页 > news >正文

训练神经网络的原理(前向传播、反向传播、优化、迭代)

news 来源：原创 2025/8/25 20:50:39

训练神经网络的原理

通过前向传播计算预测值和损失，利用反向传播计算梯度，然后通过优化算法更新参数，最终使模型在给定任务上表现更好。

核心：通过计算损失函数（通常是模型预测与真实值之间的差距）对模型参数的偏导数（即梯度），然后根据梯度信息调整模型参数，以逐步减小损失。简言之，优化算法通过“反向传播”来计算梯度，然后根据这些梯度更新模型的参数，直到损失最小化。

步骤：
  1. 前向传播（Forward Pass）：
    • 输入数据通过模型进行计算，得到预测结果。
    • 计算预测结果和真实标签之间的差距，这个差距就是损失函数。

输入数据经过神经网络的每一层依次计算，最终得到预测输出。每一层的计算通常包括线性变换（权重与输入的乘积）和非线性激活函数（如 ReLU、Sigmoid 等），公式可以表示为：
h = σ ( W x + b ) h = \sigma(Wx + b) h=σ(Wx+b)
其中， h h h 是当前层的输出， σ \sigma σ 是激活函数， W W W 是权重矩阵， x x x 是输入向量， b b b 是偏置项。

  1. 反向传播（Backpropagation）：
    • 计算损失函数相对于模型参数的梯度。梯度表示损失函数在每个参数上的变化率，即每个参数对最终损失的影响。
    • 使用链式法则，将梯度从输出层传播回输入层，逐层计算每个参数的梯度。

反向传播是神经网络训练的核心步骤。它通过计算损失函数相对于每个参数的梯度，利用链式法则将梯度从输出层逐层传播到输入层。具体步骤如下：
计算损失函数的梯度：首先计算损失函数对输出层的梯度。
逐层传播梯度：利用链式法则，计算每一层的梯度。对于隐藏层，梯度计算公式为：
∂ L ∂ W = ∂ L ∂ h ⋅ ∂ h ∂ W \frac{\partial L}{\partial W} = \frac{\partial L}{\partial h} \cdot \frac{\partial h}{\partial W} ∂W∂L​=∂h∂L​⋅∂W∂h​
其中， ∂ L ∂ h \frac{\partial L}{\partial h} ∂h∂L​ 是损失函数对当前层输出的梯度， ∂ h ∂ W \frac{\partial h}{\partial W} ∂W∂h​ 是当前层输出对权重的梯度。

  1. 参数更新（Parameter Update）：

    • 通过优化算法（如梯度下降）来更新模型参数。梯度下降的核心思路是沿着梯度的反方向更新参数，因为梯度指示了损失函数增长的方向。
    • 参数更新的公式一般为：
      θ = θ − η ⋅ ∇ θ L ( θ ) \theta = \theta - \eta \cdot \nabla_\theta L(\theta) θ=θ−η⋅∇θ​L(θ)
      其中， θ \theta θ是模型的参数， η \eta η是学习率， ∇ θ L ( θ ) \nabla_\theta L(\theta) ∇θ​L(θ)是损失函数对参数的梯度。

  2. 迭代训练（Iteration）：

    • 通过多次前向传播和反向传播，模型的参数会逐步更新，损失逐步减小，最终达到一个局部或全局最优。

训练过程通常包括多个 epoch（遍历整个数据集的次数），并在每个 epoch 中对数据进行多次小批量训练。

相关文章：

训练神经网络的原理(前向传播、反向传播、优化、迭代)

训练神经网络的原理 通过前向传播计算预测值和损失，利用反向传播计算梯度，然后通过优化算法更新参数，最终使模型在给定任务上表现更好。 核心：通过计算损失函数（通常是模型预测与真实值之间的差距）对模型参…...

编程日记 2025/8/25 20:50:39

每日一题（小白）暴力娱乐篇30

顺时针旋转，从上图中不难看出行列进行了变换。因为这是一道暴力可以解决的问题，我们直接尝试使用行列转换看能不能得到想要的结果。 public static void main(String[] args) {Scanner scan new Scanner(System.in);int nscan.nextInt();int mscan.next…...

编程日记 2025/8/23 9:13:28

【HTTPS】免费SSL证书配置Let‘s Encrypt自动续期

【HTTPS】免费SSL证书配置Lets Encrypt自动续期 1. 安装Certbot1.1 snapd1.2 certbot2. 申请泛域名证书使用 DNS 验证申请泛域名证书3.配置nginx申请的 SSL 证书文件所在目录nginx配置证书示例查看证书信息和剩余时间4.自动续期手动自动5.不同服务器使用1. 安装Certbot 1.1 sn…...

编程日记 2025/8/20 19:01:54

企业应如何防范 AI 驱动的网络安全威胁？

互联网技术和 AI 科技为世界开启了一个新的发展篇章。同时，网络攻击也呈现出愈发强势的发展势头：高级持续性威胁 （APT：Advanced Persistent Threat）组织采用新的战术、技术和程序 (TTP)、AI 驱动下攻击数量和速度的提高…...

编程日记 2025/8/26 11:17:04

决策树简介

【理解】决策树例子 决策树算法是一种监督学习算法，英文是Decision tree。 决策树思想的来源非常朴素，试想每个人的大脑都有类似于if-else这样的逻辑判断，这其中的if表示的是条件，if之后的else就是一种选择或决策。程序设计中的…...

编程日记 2025/8/25 8:13:11

ScrollView（滚动视图）详解和按钮点击事件

文章目录 **ScrollView（滚动视图）详解****1. 核心特性****2. 基本用法****XML 示例：简单滚动布局** **3. 水平滚动：HorizontalScrollView****4. 高级用法****(1) 嵌套滚动控件****(2) 动态添加内容****(3) 监听滚动事件** **5. 注…...

编程日记 2025/8/26 11:10:22

2025年3月，再上中科院1区TOP，“等级熵+状态识别、故障诊断”

引言 2025年3月，研究者在国际机械领域顶级期刊《Mechanical Systems and Signal Processing》（JCR 1区，中科院1区 Top，IF：7.9）上以“Rating entropy and its multivariate version”为题发表科学研究成果。…...

编程日记 2025/8/24 10:29:41

根据pdf文档生成问答并进行评估

目标是根据pdf文档生成问答，并进行评估。 首先，安装依赖 pip install PyPDF2 pandas tqdm openai -q 具体过程如下： 1、将pdf放在opeai_blog_pdfs目录下，引用依赖 2、上传pdf文件，创建向量库 3、单个提问的向量检索…...

编程日记 2025/8/25 11:54:11

计算机网络 - 四次挥手相关问题

通过一些问题来讨论 TCP 的四次挥手断开连接 说一下四次挥手的过程？为什么需要四次呢？time-wait干嘛的，close-wait干嘛的，在哪一个阶段？状态CLOSE_WAIT在什么时候转换成下一个状态呢？为什么 TIME-WAIT 状态…...

编程日记 2025/8/26 19:30:10

SLAM | 两组时间戳不同但同时开始的imu如何对齐

场景： 两个手机在支架上，同时开始采集数据 需求： 对齐两个数据集的imu数据 做到A图片 B imu 做法： 取出来两组imu数据到excel表中，画图 A组 B组： x轴 ： 所有imu的时间戳减去第一个时间…...

编程日记 2025/8/26 19:30:12

code review时线程池的使用

一、多线程的作用 多个任务并行执行可以提升效率异步，让与主业务无关的逻辑异步执行，不阻塞主业务 二、问题描述 insertSelective()方法是一个并发度比较高的业务，主要是插入task到任务表里，新建task，并且insertSele…...

编程日记 2025/8/23 4:28:38

物流网络暗战升级DHL新布局将如何影响eBay卖家库存分布策略？

物流网络暗战升级：DHL新布局将如何影响eBay卖家库存分布策略？ 跨境电商发展迅猛，卖家对物流的依赖程度不言而喻。尤其是平台型卖家，例如在eBay上经营多站点的卖家，物流成本和时效几乎直接决定了利润空间与客户满意度。…...

编程日记 2025/8/23 11:57:23

JAMA Netw. Open：机器学习解码大脑：精准预测PTSD症状新突破

创伤后应激障碍（PTSD）是一种常见的心理健康状况，它可以在人们经历或目睹创伤性事件（如战争、严重事故、自然灾害、暴力攻击等）后发展。PTSD的症状可能包括 flashbacks（闪回）、噩梦、严重的焦虑、…...

编程日记 2025/8/20 22:42:21

域控制器升级的先决条件验证失败,证书服务器已安装

出现“证书服务器已安装”导致域控制器升级失败时，核心解决方法是卸载已安装的证书服务‌。具体操作如下：‌ ‌卸载证书服务‌ 以管理员身份打开PowerShell，执行命令： Remove-WindowsFeature -Name AD-Certificate该命令会移除A…...

编程日记 2025/8/24 16:03:49

Node.js入门

Node.js入门 html,css,js 30年了 nodejs环境 09年出现 15年 nodejs为我们解决了2个方面的问题： 【锦上添花】让我们前端工程师拥有了后端开发能力（开接口，访问数据库） - 大公司BFF（50）【✔️】前端工程…...

编程日记 2025/8/22 19:21:30

使用CubeMX新建EXTI外部中断工程——不使用回调函数

具体的使用CubeMX新建工程的步骤看这里：STM32CubeMX学习笔记（3）——EXTI(外部中断)接口使用_cubemx exti-CSDN博客 之前一直都是在看野火的视频没有亲手使用CubeMX生成工程，而且野火给的例程代码框架和自动生成的框架也不一样&…...

编程日记 2025/8/21 23:14:06

Verilog的整数除法

1、可变系数除法实现----利用除法的本质 timescale 1ns / 1ps // // Company: // Engineer: // // Create Date: 2025/04/15 13:45:39 // Design Name: // Module Name: divide_1 // Project Name: // Target Devices: // Tool Versions: // Description: // // Depe…...

编程日记 2025/8/17 19:05:04

win32汇编环境,网络编程入门之十九

;win32汇编环境,网络编程入门之十九 ;在这一编程里，我们学习一下如何使用gethostbyname函数，也顺便学一下如何将C定义的函数在WIN32汇编环境中使用 ;先看一下官方解释：从主机数据库中检索与主机名对应的主机信息。 ;它的原理是从你的电脑DNS中…...

编程日记 2025/8/22 13:31:41

Java学习手册：Java线程安全与同步机制

在Java并发编程中，线程安全和同步机制是确保程序正确性和数据一致性的关键。当多个线程同时访问共享资源时，如果不加以控制，可能会导致数据不一致、竞态条件等问题。本文将深入探讨Java中的线程安全问题以及解决这些问题的同步机制。 线程安…...

编程日记 2025/8/25 6:45:51

在生信分析中，从生物学数据库中下载的序列存放在哪里？要不要建立一个小型数据库，或者存放在Gitee上？

李升伟 整理 在Galaxy平台中使用时，从NCBI等生物学数据库下载的DNA序列的存储位置和管理方式需要根据具体的工作流程和需求进行调整。以下是详细的分步说明和建议： 一、Galaxy中DNA序列的默认存储位置 在Galaxy的“历史记录”（History&…...

编程日记 2025/8/20 2:26:08

Python异步编程入门：Async/Await实战详解

引言 在当今高并发的应用场景下，传统的同步编程模式逐渐暴露出性能瓶颈。Python通过asyncio模块和async/await语法为开发者提供了原生的异步编程支持。本文将手把手带你理解异步编程的核心概念，并通过实际代码案例演示如何用异步爬虫提升10倍效率&#…...

编程日记 2025/8/20 21:54:27

cmd 终端输出乱码问题 |Visual Studio 控制台输出中文乱码解决

在网上下载，或者移植别人的代码到自己的电脑，使用VS运行后，控制台输出中文可能出现乱码。这是因为源代码的编码格式和控制台的编码格式不一致。 文章目录 查看源代码文件编码格式查看输出控制台编码格式修改编码格式修改终端代码页 补充总结 …...

编程日记 2025/8/24 5:58:17

【算法】椭圆曲线签名（ECDSA）

🤔什么是椭圆曲线签名（ECDSA）？ 椭圆曲线签名算法（Elliptic Curve Digital Signature Algorithm，简称 ECDSA）是一种基于 椭圆曲线密码学 的数字签名算法。它主要用于加密货币（如 Bit…...

编程日记 2025/8/25 1:16:37

Linux下使用MTK的SP_Flash_tool刷机工具

MTK的SP_Flash_tool刷机工具安装流程如下： 1、解压SP_Flash_Tool_Linux_v5.1336.00.100_Customer.zip unzip SP_Flash_Tool_exe_Linux_64Bit_v5.1520.00.100.zip 2、首先安装 libusb-dev 这个包： sudo apt-get install libusb-dev 3、安装成功之后…...

编程日记 2025/8/24 16:08:20

FRP内网穿透代理两个web页面（多端口内网穿透）

内网机器代理两个web页面出来 下载frp 选择0.51.2版本下载，高版本测试为成功 frp下载地址 部署frp server端（公网部署） #上传到opt rootsdgs-server07:/opt# ll frp_0.51.2_linux_amd64.tar.gz -rw-r--r-- 1 root root 11981480 Apr 15 1…...

编程日记 2025/8/25 0:21:16

Jenkins插件下载慢解决办法

jenkins设置插件使用国内镜像_jenkins 国内镜像-CSDN博客 国内源 以下是一些常用的国内 Jenkins 插件更新源地址： 清华大学：https://mirrors.tuna.tsinghua.edu.cn/jenkins/updates/update-center.json华为开源镜像站：https://mirrors.huawei…...

编程日记 2025/8/23 18:17:38

【Unity笔记】Unity开发笔记：ScriptableObject实现高效游戏配置管理（含源码解析）

在Unity开发中，高效管理游戏配置数据是提升开发效率的关键。本文分享如何使用ScriptableObject构建可编辑的键值对存储系统，并实现运行时动态读取。 一、为什么选择ScriptableObject？ 1.1 ScriptableObject的核心优势 独立资源：…...

编程日记 2025/8/22 4:39:09

FPAG IP核调用小练习

一、调用步骤 1、打开Quartus 右上角搜索ROM，如图所示 2、点击后会弹出如图所示 其中文件路径需要选择你自己的 3、点击OK弹出如图所示 图中红色改为12与1024 4、然后一直点NEXT，直到下图 这里要选择后缀为 .mif的文件 5、用C语言生成 .mif文件 //…...

编程日记 2025/8/26 19:30:11

vue动画

1、动画实现 （1）、操作css的transition或animation （2）、在插入、更新或移除DOM元素时，在合适的时候给元素添加样式类名 （3）、过渡的相关类名： xxx-enter-active: 进入的时候激活…...

编程日记 2025/8/21 12:13:20

大数据学习（106）-hivesql函数

🍋🍋大数据学习🍋🍋 🔥系列专栏： 👑哲学语录: 用力所能及，改变世界。 💖如果觉得博主的文章还不错的话，请点赞👍收藏⭐️留言📝支持一…...

编程日记 2025/8/25 5:47:01

AI日报 - 2025年04月16日

🌟 今日概览(60秒速览) ▎🤖 模型井喷 | OpenAI (o3/o4-mini, GPT-4.1), Meta (Llama 4 Scout/Maverick), Z.ai (GLM-4家族), Cohere (Embed 4), Google (DolphinGemma) 等发布新模型，多模态、长文本、高效推理成焦点。 ▎💼 商业…...

编程日记 2025/8/19 2:48:49

C# 经纬度坐标的精度及WGS84(谷歌)、GCJ02(高德)、BD09(百度)坐标相互转换（含高精度转换）

1. 概述 WGS-84坐标系（World Geodetic System一1984 Coordinate System）是一种国际上采用的地心坐标系，GCJ-02是由中国国家测绘局（G表示Guojia国家，C表示Cehui测绘，J表示Ju局）制订的地理信息系…...

编程日记 2025/8/20 18:36:11

案例：陌陌聊天数据分析

背景分析： 陌陌作为聊天平台每天都会有大量的用户在线，会出现大量的聊天数据，通过对 聊天数据的统计分析 ，可以更好的 对用户构建精准的 用户画像 ，为用户提供更好的服务以及实现 高 ROI 的平台运营推广&#xff…...

编程日记 2025/8/22 4:47:31

关闭谷歌浏览器（Google Chrome）的自动更新可以通过以下方法实现。具体操作步骤取决于你的操作系统。

关闭谷歌浏览器（Google Chrome）的自动更新可以通过以下方法实现。具体操作步骤取决于你的操作系统。 1. 在 Windows 上关闭 Chrome 自动更新2. 在 macOS 上关闭 Chrome 自动更新3. 在 Linux 上关闭 Chrome 自动更新4. 注意事项1. 在 Windows 上关闭 Chro…...

编程日记 2025/8/23 5:05:10

进程（完）

今天我们就补充一个小的知识点,查看进程树命令,来结束我们对linux进程的学习,那么话不多说,来看. 查看进程树 pstree 基本语法： pstree [选项] 优点：可以更加直观的来查看进程信息 常用选项： -p：显示进程的pid -u&#xff…...

编程日记 2025/8/24 4:51:23

（劳特巴赫调试器学习笔记）四、Practice脚本.cmm文件编写

Lauterbach调试器 文章目录 Lauterbach调试器一、什么是Practice脚本文件二、cmm脚本使用示例总结 一、什么是Practice脚本文件 官方文档解释： 因为Practice脚本以cmm为后缀，所以大多数人叫它cmm脚本。 以tricore为例，在安装目录下&#xff…...

编程日记 2025/8/22 9:52:24

并行流parallelStream.map().collect()

一、使用场景 先贴代码 public static void main(String[] args) {List<String> stringList new ArrayList<>();List<Integer> integerList new ArrayList<>();int num 10000;for (int i 0;i<num;i){stringList.add(String.valueOf(i));}stri…...

编程日记 2025/8/25 3:29:14

2025最新版flink2.0.0安装教程（保姆级）

Flink支持多种安装模式。 local&#xff08;本地&#xff09;——本地模式 standalone——独立模式&#xff0c;Flink自带集群&#xff0c;开发测试环境使用 standaloneHA—独立集群高可用模式&#xff0c;Flink自带集群&#xff0c;开发测试环境使用 yarn——计算资源统一…...

编程日记 2025/8/26 12:50:33

软件测试小讲

​ 大家好&#xff0c;我是程序员小羊&#xff01; 前言&#xff1a; 在 Web 项目开发中&#xff0c;全面的测试是保证系统稳定性、功能完整性和良好用户体验的关键。下面是一个详细的 Web 项目测试点列表&#xff0c;涵盖了不同方面的测试&#xff1a; 1. 功能测试 确保应用…...

编程日记 2025/8/20 4:33:32

DP35 【模板】二维前缀和 ---- 前缀和

目录 一&#xff1a;题目 二&#xff1a;算法原理 三&#xff1a;代码实现 一&#xff1a;题目 题目链接&#xff1a;【模板】二维前缀和_牛客题霸_牛客网 二&#xff1a;算法原理 三&#xff1a;代码实现 #include <iostream> #include <vector> using name…...

编程日记 2025/8/21 13:42:31

C语言——分支语句

在现实生活中&#xff0c;我们经常会遇到作出选择和判断的时候&#xff0c;在C语言中也同样要面临作出选择和判断的时候&#xff0c;所以今天&#xff0c;就让我们一起来了解一下&#xff0c;C语言是如何作出选择判断的。 目录 1.何为语句&#xff1f; 2.if语句 2.1 if语句的…...

编程日记 2025/8/24 16:36:19

使用Docker安装Jenkins

1、准备 2、安装 详见&#xff1a; https://www.jenkins.io/doc/book/installing/ https://www.jenkins.io/zh/doc/book/installing/ https://www.jenkins-zh.cn/tutorial/get-started/install/ # 方式1&#xff1a; # 详见&#xff1a;https://www.jenkins.io/doc/book/inst…...

编程日记 2025/8/25 15:49:47

东方博宜OJ ——2395 - 部分背包问题

贪心入门 ————2395 - 部分背包问题 2395 - 部分背包问题题目描述输入输出样例问题分析贪心算法思路代码实现总结 2395 - 部分背包问题 题目描述 阿里巴巴走进了装满宝藏的藏宝洞。藏宝洞里面有 N (N < 100)堆金币&#xff0c;第i堆金币的总重量和总价值分别是mi,vi (l …...

编程日记 2025/8/20 7:40:49

【期中准备特辑】计组，电路，信号

计组 以点带面地复习书中内容&#xff01; 指令体系结构&#xff08;ISA&#xff09;是计算机硬件和软件的分界面 世界上第一台电子计算机是 ENIAC&#xff08;埃尼阿克&#xff09; 第一代计算机采用电子管作为主要器件&#xff1b;第二代计算机采用晶体管&#xff1b;第三代…...

编程日记 2025/8/25 20:45:23

经典算法 判断一个图是不是树

判断一个图是不是树 问题描述 给一个以0 0结尾的整数对列表&#xff0c;除0 0外的每两个整数表示一条连接了这两个节点的边。假设节点编号不超过100000大于0。你只要判断由这些节点和边构成的图是不是树。是输出YES&#xff0c;不是输出NO。 输入样例1 6 8 5 3 5 2 6 4 5…...

编程日记 2025/8/26 13:22:37

力扣 283 移动零的两种高效解法详解

目录 方法一&#xff1a;两次遍历法 方法二&#xff1a;单次遍历交换法 两种方法对比 在解决数组中的零移动到末尾的问题时&#xff0c;我们需要保持非零元素的顺序&#xff0c;并原地修改数组。以下是两种高效的解法及其详细分析。 方法一&#xff1a;两次遍历法 思路分析…...

编程日记 2025/8/20 23:14:48

代码随想录第18天：二叉树

一、修剪二叉树&#xff08;Leetcode 669&#xff09; 递归法 class Solution:def trimBST(self, root: TreeNode, low: int, high: int) -> TreeNode:# 如果当前节点为空&#xff0c;直接返回空节点&#xff08;递归终止条件&#xff09;if root is None:return None# 如果…...

编程日记 2025/8/20 7:23:18

KMP算法核心笔记：前后缀本质与nextval实现

KMP算法核心笔记&#xff1a;前后缀本质与nextval实现 核心疑问&#xff1a;为什么用「前后缀」而非「最大子串」&#xff1f; 1. 结构唯一性 前后缀限定在字符串首尾区域&#xff0c;最大子串可位于任意位置只有前后缀能保证滑动后的有效对齐 2. 移动确定性 文本&#xf…...

编程日记 2025/8/22 16:03:00

Breeze 40A FOC 电调：Vfast 观测器技术赋能无人机精准动力控制

核心技术特性 1. 全新Vfast 观测器技术 基于先进矢量控制算法&#xff08;FOC 驱动&#xff09;&#xff0c;实现电机状态实时精准观测&#xff0c;适配性优于传统 FOC 方案&#xff0c;兼容主流无人机动力配置。高效算法设计&#xff0c;输出功率与力效超越多数方波电调&…...

编程日记 2025/8/22 2:22:57

如何处理ONLYOFFICE文档服务器与Java Web应用间的安全认证和授权

如何处理ONLYOFFICE文档服务器与Java Web应用间的安全认证和授权&#xff1f; 处理 ONLYOFFICE 文档服务器与 Java Web 应用之间的安全认证和授权&#xff0c;通常涉及以下几个关键步骤和技术&#xff1a; 1. JWT (JSON Web Token) 认证 启用 JWT&#xff1a; ONLYOFFICE 文档…...

编程日记 2025/8/21 21:09:36