当前位置：首页 > news >正文

人工智能-深度学习-BP算法

news 来源：原创 2025/5/6 22:43:27

BP算法的核心思想是通过计算损失函数对网络参数的梯度，然后使用梯度下降法来更新网络参数，从而最小化损失函数。

误差反向传播算法(BP)的基本步骤:

前向传播：正向计算得到预测值。
计算损失：通过损失函数计算预测值和真实值的差距。
梯度计算：反向传播的核心是计算损失函数对每个权重和偏置的梯度。
更新参数：一旦得到每层梯度，就可以使用梯度下降算法来更新每层的权重和偏置，使得损失逐渐减小。
迭代训练：将前向传播、梯度计算、参数更新的步骤重复多次，直到损失函数收敛或达到预定的停止条件。

前向传播

英文（Foward propagathon），表示将输入的数据逐级向前的每个神经元运算传输，直到到达输出层。

前向传播的目的是计算网络的预测值，以便后续计算损失函数并进行反向传播。

以下是一个三层神经网络实例，包含输入层（x1,x2,x3,b），隐藏层，输出层

链接输入和隐藏层的就是我们熟知的权重（w），在隐藏层中会完成两个动作

1.加权求和再求平均值，用于预测或计算损失。

2.再就是使用激活函数，将原本的线性公式，运算转为非线性。激活函数的使用视数据的情况而定

通常有sigmoid，Tanh，ReLu，softmax等激活函数。

x1,x2,x3,x4每个特征向量分别对隐藏层的n个神经元做线性运算，

再经过激活函数激活后得到最终预测值。

第一层的输出值等于第二层的输入值，依次经过运算。

代码逻辑：

def test():# 前向传播i = torch.tensor([0.05,0.1])model1 = torch.nn.Linear(2,2)model1.weight.data = torch.tensor([[0.15,0.20],[0.25,0.30]])model1.bias.data = torch.tensor([0.35,0.35])l1_l2 = model1(i)h1_h2 = torch.nn.Sigmoid(l1_l2)model2 = torch.nn.Linear(2,2)model2.weight.data = torch.tensor([[0.40,0.45],[0.50,0.55]])model2.bias.data = torch.tensor([0.60,0.60])l3_l4 = model2(h1_h2)o1_02 = torch.nn.Sigmoid(l3_l4)

反向传播

通过计算损失函数相对于每个参数的梯度来调整权重，使模型在训练数据上的表现逐渐优化。反向传播结合了链式求导法则和梯度下降算法，是神经网络模型训练过程中更新参数的关键步骤。

前向传播的作用就是为了得到预测值，然后来为反向传播做准备。

反向传播是为了得到更好的w，也就是我们的权重。

链式法则

在深度学习中，链式法则是反向传播算法的基础，这样就可以通过分层的计算求得损失函数相对于每个参数的梯度。

复合函数的复杂性：

神经网络的输出是输入数据经过多层线性变换和非线性激活函数后的结果。每一层的输出都是下一层的输入，形成了一个复合函数。
例如，假设有一个三层神经网络，输出 yy 可以表示为：

其中，f、g、h 分别是不同层的激活函数。

链式求导法通过将复合函数的导数分解为各个简单函数的导数的乘积，简化了求导过程。

也就是求得我们每一层的导函数，以便于做梯度更新，找到最小损失。

反向传播中的数学运算。

实在看不懂数学公式。。。

直接上API。

import torch
#第一步，创建一个神经网络类，继承官方的nn.module
class mybet(torch.nn.Module):#定义网络结构def __init__(self,input_size,output_size):#初始化父类：语法要求调用super方法生成父类的功能让子类继承父类的功能super(mybet,self).__init__()#定义网格结构self.hide1 = torch.nn.Sequential(torch.nn.Linear(input_size,3),torch.nn.Sigmoid())self.hide2 = torch.nn.Sequential(torch.nn.Linear(3,2),torch.nn.Sigmoid())self.out = torch.nn.Sequential(torch.nn.Linear(2,output_size),torch.nn.Sigmoid())def forward(self,input):input.shape[1]x = self.hide1(input)x = self.hide2(x)pred = self.out(x)return preddef train():#数据集读取（这里自己编）input = torch.tensor([[0.5, 0.1],[0.05, 0.180],[0.05, 0.310]])target = torch.tensor([[1, 2],[0, 3],[1, 123]], dtype=torch.float32)#创建网格net = mybet(2,2)#定义损失函数loos_func = torch.nn.MSELoss()#定义优化器optimizer = torch.optim.SGD(net.parameters(),lr=0.01)#训练for epoch in range(500):#前向传播y_pred = net(input)#计算损失loss = loos_func(y_pred,target)#梯度清零optimizer.zero_grad()#反向传播(计算每一层w的偏导数（梯度值）)loss.backward()print(net.hide1[0].weight)break
if __name__ == '__main__':train()

完整的全连接。

人工智能-深度学习-BP算法

BP算法的核心思想是通过计算损失函数对网络参数的梯度，然后使用梯度下降法来更新网络参数，从而最小化损失函数。误差反向传播算法(BP)的基本步骤: 前向传播：正向计算得到预测值。计算损失：通过损失函数计算预测值和真实值的差…...

编程日记 2025/5/6 22:43:27

C++小问题

怎么分辨const修饰的是谁是限定谁不能被改变的？ 在C中，const关键字的用途和位置非常关键，它决定了谁不能被修改。const可以修饰变量、指针、引用等不同的对象，并且具体的作用取决于const的修饰位置。理解const的规则能够帮助我们…...

编程日记 2025/5/6 22:23:00

如何让控件始终处于父容器的居中位置（父容器可任意改变大小）

前言： 大家好，我是上位机马工，硕士毕业4年年入40万，目前在一家自动化公司担任软件经理，从事C#上位机软件开发8年以上！我们在C#开发winform程序的时候，有时候需要将一个控件居中显示&#xff0c…...

编程日记 2025/5/6 15:52:49

Python 调用 Umi-OCR API 批量识别图片/PDF文档数据

目录一、需求分析二、方案设计（概要/详细） 三、技术选型四、OCR 测试 Demo 五、批量文件识别完整代码实现六、总结一、需求分析市场部同事进行采购或给客户报价时，往往基于过往采购合同数据，给出现在采购或报价的金额…...

编程日记 2025/5/6 20:52:20

Java基础访问修饰符全解析

一、Java 访问修饰符概述 Java 中的访问修饰符用于控制类、方法、变量和构造函数的可见性和访问权限，主要有四种：public、protected、default（无修饰符）和 private。 Java 的访问修饰符在编程中起着至关重要的作用，它…...

编程日记 2025/5/6 21:27:14

朗迪锋亮相2024人因工程与智能系统交互国际会议

2024年11月28日至30日，2024人因工程与智能系统交互国际会议在深圳隆重举办。此次大会以推动我国人因工程学科发展为目标，致力于加强国际学术交流，深入探讨人工智能时代的智能系统交互，旨在培育新质生产力，助力经济社会…...

编程日记 2025/5/6 22:17:29

OpenGL学习过程总结

1、矩阵参考链接第三课：矩阵变换...

编程日记 2025/5/6 21:41:26

webGL入门教程_06变换矩阵与绕轴旋转总结

变换矩阵与绕轴旋转总结目录 1. 变换矩阵简介2. 平移矩阵3. 缩放矩阵4. 旋转矩阵 4.1 绕 Z 轴旋转4.2 绕 X 轴旋转4.3 绕 Y 轴旋转 5. 组合变换矩阵6. 结论 1. 变换矩阵简介在计算机图形学中，变换矩阵用于在三维空间中对物体进行操作，包括&#xff…...

编程日记 2025/5/6 21:29:50

SELECTTRIGGER_SCHEMA AS Database,TRIGGER_NAME AS Trigger,EVENT_OBJECT_TABLE AS Table,EVENT_MANIPULATION AS Event,ACTION_STATEMENT AS Statement FROMinformation_schema.TRIGGERS;创建触发器遇到报错： You do not have the SUPER privilege and binary lo…...

编程日记 2025/5/6 22:09:11

基于Java Springboot个人财务APP且微信小程序

一、作品包含源码数据库设计文档万字PPT全套环境和工具资源部署教程二、项目技术前端技术：Html、Css、Js、Vue、Element-ui 数据库：MySQL 后端技术：Java、Spring Boot、MyBatis 三、运行环境开发工具：IDEA/eclipse 微信…...

编程日记 2025/5/6 21:32:21

GateWay使用手册

好的，下面是优化后的版本。为了提高可读性和规范性，我对内容进行了结构化、简化了部分代码，同时增加了注释说明，便于理解。 1. 引入依赖在 pom.xml 中添加以下依赖： <dependencies><!-- Spring Cloud Gate…...

编程日记 2025/5/6 15:11:47

go语言读取yaml配置文件内容

1、config.yaml配置文件内容假设如下 name: "example" version: 1.0 settings:timeout: 30debug: truefeatures:- feature1- feature22、定义结构体 go语言定义结构体匹配yaml内容 package mainimport ("fmt""log""os""gopkg.…...

编程日记 2025/5/6 21:31:04

Proteus8.17下载安装教程

Proteus是一款嵌入式系统仿真开发软件，实现了从原理图设计、单片机编程、系统仿真到PCB设计，真正实现了从概念到产品的完整设计，其处理器模型支持8051、HC11、PIC10/12/16/18/24/30/DsPIC33、AVR、ARM、8086和MSP430等，能够帮助用…...

编程日记 2025/5/6 8:58:33

【AI】Sklearn

长期更新，建议关注、收藏、点赞。友情链接： AI中的数学_线代微积分概率论最优化 Python numpy_pandas_matplotlib_spicy 建议路线：机器学习->深度学习->强化学习目录预处理模型选择分类实例： 二分类比赛网格搜索实例&…...

编程日记 2025/4/29 12:09:57

图数据库 | 10、图数据库架构设计——高性能图存储架构(上)

老夫在之前的三大篇内容中，介绍了图数据库的三大组件—图计算、图存储以及图查询语言。（都归拢在图数据库原理、架构与应用这个专栏中了，感兴趣的朋友可以在去找阅读。） 接下来，老夫还将继续深化这三大组件&#xff0…...

编程日记 2025/5/6 3:29:49

el-table 组件二次封装（vue2）

PublicTable.vue  <template><div class"table-common"><el-table v-loading"loading" :ref"tableid" border style"width: 100%" :data"tableDatas" :row-key"rowKey&quo…...

编程日记 2025/5/6 22:11:53

张量并行和流水线并行在Transformer中的具体部位

目录张量并行和流水线并行在Transformer中的具体部位一、张量并行二、流水线并行张量并行和流水线并行在Transformer中的具体部位张量并行和流水线并行是Transformer模型中用于提高训练效率的两种并行策略。它们分别作用于模型的不同部位，以下是对这两种并行的具体说…...

编程日记 2025/5/6 22:23:00

详解Qt pdf 之QPdfSelection 选择文本类

文章目录 QPdfSelection 类详解前言详细说明公共函数说明1. 构造函数2. text3. boundingRect4. isEmpty5. startPage6. endPage 使用场景示例代码代码说明总结 QPdfSelection 类详解前言 QPdfSelection 是 Qt PDF 模块中的一个类，用于表示在 PDF 文档中被选中的…...

编程日记 2025/5/6 22:31:16

一款支持80+语言，包括：拉丁文、中文、阿拉伯文、梵文等开源OCR库

大家好，今天给大家分享一个基于PyTorch的OCR库EasyOCR，它允许开发者通过简单的API调用来读取图片中的文本，无需复杂的模型训练过程。项目介绍 EasyOCR 是一个基于Python的开源项目，它提供了一个简单易用的光学字符识别&#xff…...

编程日记 2025/5/6 21:39:53

matlab 中的 bug

在matlab中绘图，设置 axe 的背景颜色 axes_in3.Color #00235B ;打印的时候 print(figure_handle1,-dpng,-r300,"merge_yt_ey") ;此时保存的图片无法识别背景颜色原因在于 matlab 中的 InverseHardcopy 将 InvertHardcopy 设置成 off 则可以解决这个问…...

编程日记 2025/5/6 21:07:08

【算法刷题指南】优先级队列

🌈个人主页： 南桥几晴秋 🌈C专栏： 南桥谈C 🌈C语言专栏： C语言学习系列 🌈Linux学习专栏： 南桥谈Linux 🌈数据结构学习专栏： 数据结构杂谈 🌈数据…...

编程日记 2025/5/6 22:06:22

android user版本默认usb模式为充电模式

android插入usb时会切换至默认设置的模式，debug版本为adb，user版本为mtp protected long getChargingFunctions() {// if ADB is enabled, reset functions to ADB// else enable MTP as usual.if (isAdbEnabled()) {return UsbManager.FUNCTION_ADB;} e…...

编程日记 2025/5/6 21:05:31

[极客大挑战 2019]HardSQL--详细解析

信息搜集登录系统，有两个可能的注入点： 随便输一下看看传参类型： 都是GET型。 SQL注入传参 usernameadmin’&password123 传参 usernameadmin&password123’ username和password传参，四种闭合方式只有单引号报错&a…...

编程日记 2025/5/5 21:37:34

java基础概念46-数据结构1

一、引入 List集合的三种实现类使用了不同的数据结构！ 二、数据结构的定义三、常见的数据结构 3-1、栈特点：先进后出，后进先出。 java内存容器： 3-2、队列特点：先进先出、后进后出。栈VS队列-小结 3-3、数组 3-…...

编程日记 2025/5/3 20:01:04

数学建模选MATLAB还是Python？

在进行数学建模时，选择合适的编程语言和工具对于建模的效率和效果至关重要。目前，MATLAB和Python是两个常用的数学建模工具，它们各自有优缺点，适用于不同的场景。本文将从多个维度对MATLAB和Python进行比较，帮助大家做…...

编程日记 2025/5/6 0:23:49

【C++】多线程

目录一概念 1 多线程 2 多进程与多线程 3 多线程理解二创建线程 1 thread 2 join() 和 detach() 3 this_thread 三 std::mutex 1 lock 和 unlock 2 lock_guard 3 unique_lock 四 condition_variable 五 std::atomic 一概念 1 多线程在C11之前&#xff0…...

编程日记 2025/5/6 20:52:20

【计算机网络】实验2：总线型以太网的特性

实验 2：总线型以太网的特性一、实验目的加深对MAC地址，IP地址，ARP协议的理解。了解总线型以太网的特性（广播，竞争总线，冲突）。二、实验环境 • Cisco Packet Tracer 模拟器三、实…...

编程日记 2025/5/6 20:57:07

基于Matlab合成孔径雷达(SAR)回波信号建模与多指标质量评估

本研究基于合成孔径雷达（SAR）技术，建立了一个雷达回波信号的模拟模型，并通过多项评价指标对信号质量进行深入评估。首先，研究定义了与SAR系统相关的关键物理参数，如工作频率、平台速度、脉冲宽度、采样率等…...

编程日记 2025/5/5 23:43:03

spring boot3.3.5 logback-spring.xml 配置

新建 resources/logback-spring.xml 控制台输出颜色有点花可以自己更改 <?xml version"1.0" encoding"UTF-8"?>  <configuration debug"false" scan"false"><springProperty …...

编程日记 2025/5/6 21:11:18

浅谈C#库之DevExpress

一、DevExpress库介绍 DevExpress是一个功能强大、界面美观的UI组件库，广泛应用于桌面应用程序和Web应用程序的开发中。它提供了丰富的控件和工具，帮助开发人员快速构建现代化的用户界面。DevExpress控件库以其功能丰富、应用简便、界面华丽以及方便定制…...

编程日记 2025/5/6 21:29:50

【webApp之h5端实战】项目基础结构搭建及欢迎页面的实现

这是一个实战项目的webapp，主要是使用原生js/css/html来实现我们的业务。预览下面的实战效果，我们将会从0到1实现这个系列的项目。包括大量的原生js知识，css3动画的开发，以及页面的交互实现。效果预览项目准备工作封装的工具类，用于获取原生dom节点，处理原生dom事件的…...

编程日记 2025/5/6 21:41:26

生成树详解（STP、RSTP、MSTP）

目录 1、STP 1.概述 2.基本概念 3.端口角色及其作用 4.报文结构 5.STP的端口状态 6.三种定时器 7.STP选举步骤 8.配置BPDU的比较原则 9.TCN BPDU 10.临时环路的问题 11.传统STP的不足拓扑变更处理过程 2、RSTP 1.端口角色 2.端口状态 3.P/A（Propo…...

编程日记 2025/4/29 7:39:12

C++趣味编程：基于树莓派Pico的模拟沙漏-倾斜开关与LED的互动实现

沙漏，作为一种古老的计时工具，利用重力让沙子通过狭小通道，形成了计时效果。在现代，我们可以通过电子元件模拟沙漏的工作原理。本项目利用树莓派Pico、倾斜开关和LED，实现了一个电子沙漏。以下是项目的详细技术解析与C++代码实现。一、项目概述 1. 项目目标通过倾斜开关…...

编程日记 2025/5/6 15:17:37

Matlab Simulink 电力电子仿真-单相电压型半桥逆变电路分析

目录一、单相电压型半桥逆变电路仿真模型 1.电路模型 2.电路模型参数二、仿真分析三、总结 1.优缺点 2.应用场景一、单相电压型半桥逆变电路仿真模型 1.电路模型单相电压型半桥逆变电路是一种常见的逆变电路，主要用于将直流电源转换为交流电源。 &…...

编程日记 2025/5/6 22:03:17

在超表面中琼斯矩阵的使用

琼斯矩阵（Jones Matrix） 是一种线性代数方法，用于描述光的偏振状态和偏振变化，是偏振光学中重要的数学工具。它在超表面理论设计中广泛应用，尤其是在设计和调控光与物质相互作用时，例如偏振控制、相位调制…...

编程日记 2025/5/6 21:36:57

threeJs学习贴图：地球

效果图： 贴图以后的效果： vue代码： <template><div class"scene_box"><p>创建纹理贴图TextureLoader</p><div class"canvas"></div></div> </template><script s…...

编程日记 2025/5/6 22:18:39

详解Rust多线程编程

文章目录多线程模型创建和管理线程自定义线程行为线程传递数据线程间通信线程池错误处理与线程Condvar(条件变量)无锁并发高性能并发库 Rust的多线程编程提供了一种安全、高效的方式来进行并发操作。Rust的并发性设计原则之一是确保线程安全，同时避免运行时的开销&…...

编程日记 2025/5/6 21:39:52

Uniapp触底刷新

在你的代码中，使用了 scroll-view 来实现一个可滚动的评论区域，并且通过监听 scrolltolower 事件来触发 handleScrollToLower 函数，以实现“触底更新”或加载更多评论的功能。关键部分分析： scroll-view 组件: scroll-view 是一…...

编程日记 2025/5/1 8:43:58

【前端】安装hadoop后，前端启动报错，yarn命令

新安装hadoop后，前端启动项目用yarn命令，报错。报错：系统找不到指定的路径。 No HADOOP_CONF_DIR set. Please specify it either in yarn-env.cmd or in the environment. 解决：删掉hadoop目录下yarn的文件检查：…...

编程日记 2025/5/6 21:44:11

T620存储安全方案SoC芯片技术手册

系统资源集成32位国产CPU CK803S；最高工作频率260Mhz CK803S内置16KB I/D Cache，内置32KB DTCM 32KB ROM；256KB SRAM；8KB SRAM（系统专用） 512KB/1MB 片内Flash 安全算法支持SM4数据加密，加密性…...

编程日记 2025/5/6 22:16:16

Rust循环引用与多线程并发

循环引用与自引用循环引用的概念循环引用指的是两个或多个对象之间相互持有对方的引用。在 Rust 中，由于所有权和生命周期的严格约束，直接创建循环引用通常会导致编译失败。例如： // 错误的循环引用示例 struct Node {next: Option<B…...

编程日记 2025/5/6 21:21:08

力扣二叉树的锯齿形层序遍历-103

二叉树的锯齿形层序遍历-103 此题就是再二叉树层序遍历的基础上，加了反转当前层数组元素的函数reverse()，也可以不反转，直接在遍历当前层的所有节点的for循环里直接进行if判断，根据遍历方向，决定如何插入元素。 clas…...

编程日记 2025/5/6 10:54:54

PyCryptodome：Python中的密码学库

简介 PyCryptodome是一个功能强大的Python密码学库，提供了各种密码学算法的实现，包括对称加密、非对称加密、哈希函数、消息认证码等。它是对Python的Crypto库的一个现代化和增强版，提供了更好的性能和安全性。 Git地址 PyCryptodome的代码可…...

编程日记 2025/5/5 23:52:17

我眼中的“懂重构”（一）

初识重构 2017年的时候，领导让我看公司的一本书《重构——改善代码的既有设计》，这是一本JAVA版本的，前后看了2遍。那时候看书因为不懂看的格外仔细。我只是那时候不懂，然而多年后的今天我仍然发现很多人对重构充满误解。在刚进入…...

编程日记 2025/5/6 21:36:57

Excel中日期格式“年月日时间”修改为“年月日”

需求： 将Excel中“yyyy-mm-dd hh:mm:ss”格式的时间转换为“yyyy-mm-dd”格式的时间，选中转换后的时间时编辑栏中依然会显示“yyyy-mm-dd hh:mm:ss”格式。方法一、在原数据列进行转换： 1、选中需要转换的数据列，右键--【设置…...

编程日记 2025/5/6 22:29:51

CSS底层基础：小白速来

1. CSS简介 CSS (Cascading Style Sheets) 是一种用来描述HTML或XML文档样式的语言。它使得开发者能够控制网页的布局和外观，包括字体、颜色、间距等。CSS通过选择器来指定要应用样式的元素，并定义这些元素的具体样式属性。基本结构示例： …...

编程日记 2025/5/6 21:47:08

【MySQL】库和表的基本操作

目录库库的增删查改字符集与校验集库的备份与恢复表表的创建和删除用不同的存储引擎创建表的区别查看表修改表添加删除属性修改改变属性上篇博客我们讲了数据库的基本理解，对数据库有了一个大致的概念，下面我们来介绍一下库和表的…...

编程日记 2025/5/6 22:07:45

5款AI智能办公工具丨提升办公效率‼️

办公效率低？工作压力大？别担心，这里有五款超实用的AI办公工具，帮你轻松搞定各种任务！🌟 简直不要太实用，快快收藏起来总有一天你会用得上~ 红薯通AI📝写作文案的好帮手&#xff0c…...

编程日记 2025/4/30 1:39:37

华为HarmonyOS 让应用快速拥有账号能力 -- 3 获取用户手机号

场景介绍当应用对获取的手机号时效性要求不高时，可使用Account Kit提供的手机号授权与快速验证能力，向用户发起手机号授权申请，经用户同意授权后，获取到手机号并为用户提供相应服务。以下只针对Account kit提供的手机号授权与快…...

编程日记 2025/5/6 19:36:08

lambda strem流表达式处理工具

一个通用的lambda stream流处理工具, 包含了工作中绝大部分场景常用的使用方式 import java.math.BigDecimal; import java.util.*; import java.util.function.BiFunction; import java.util.function.Consumer; import java.util.function.Function; import java.util.funct…...

编程日记 2025/5/5 6:38:59

前向传播

反向传播

链式法则

反向传播中的数学运算。

相关文章：