深度学习笔记（9）——神经网络和反向传播
神经网络和反向传播
神经网络架构：
更多的神经元,更大的模型容量,使用更强的正则化进行约束。
神经网络的分层计算
f = W 2 m a x ( 0 , W 1 x + b 1 ) + b 2 f=W_2max(0,W_1x+b_1)+b_2 f=W2max(0,W1x+b1)+b2,其中max函数体现了非线性,如果想要加深网络的层次,必须加上非线性函数。
∂ f ∂ x = ∂ f ∂ y ∂ y ∂ x \frac{\partial f}{\partial x}=\frac{\partial f}{\partial y}\frac{\partial y}{\partial x} ∂x∂f=∂y∂f∂x∂y,此处的 ∂ f ∂ y \frac{\partial f}{\partial y} ∂y∂f是上游梯度, ∂ f ∂ x \frac{\partial f}{\partial x} ∂x∂f是下游梯度, ∂ y ∂ x \frac{\partial y}{\partial x} ∂x∂y是局部梯度。
Sigmoid函数: σ = 1 1 + e − x \sigma=\frac{1}{1+e^{-x}} σ=1+e−x1, σ \sigma σ在 [ 0 , 1 ] [0,1] [0,1]之间, ∂ σ ∂ x = σ ( 1 − σ ) \frac{\partial \sigma}{\partial x}=\sigma(1-\sigma) ∂x∂σ=σ(1−σ),Sigmoid函数在 x x x很大或者很小的时候,梯度几乎为0,即梯度消失。
梯度流中的基本计算模式:
add gate:两个输入的梯度和上游梯度相等
mul gate:另外一个输入和上游梯度的乘积,例如两个输入为x=2,y=3,上游梯度为5,则x的梯度为 3 ∗ 5 = 15 3*5=15 3∗5=15,y的梯度为 2 ∗ 5 = 10 2*5=10 2∗5=10。
copy gate:两个输出,一个输入,输入的梯度等于两个上游梯度的和。
max gate:是两个输入中较大的那个的梯度
向量的反向传播
scalar to scalar: x ∈ R , y ∈ R , ∂ y ∂ x ∈ R x\in R,y\in R,\frac{\partial y}{\partial x}\in R x∈R,y∈R,∂x∂y∈R
vector to scalar: x ∈ R n , y ∈ R , ∂ y ∂ x ∈ R n , ( ∂ y ∂ x ) n = ∂ y ∂ x n x\in R^n,y\in R,\frac{\partial y}{\partial x}\in R^n,(\frac{\partial y}{\partial x})_n=\frac{\partial y}{\partial x_n} x∈Rn,y∈R,∂x∂y∈Rn,(∂x∂y)n=∂xn∂y
vector to vector: x ∈ R n , y ∈ R m , ∂ y ∂ x ∈ R n × m , ( ∂ y ∂ x ) n , m = ∂ y m ∂ x n x\in R^n,y\in R^m,\frac{\partial y}{\partial x}\in R^{n\times m},(\frac{\partial y}{\partial x})_{n,m}=\frac{\partial y_m}{\partial x_n} x∈Rn,y∈Rm,∂x∂y∈Rn×m,(∂x∂y)n,m=∂xn∂ym
但是不管怎么变,Loss L依然是标量, ∂ L ∂ x \frac{\partial L}{\partial x} ∂x∂L的形状总是与x相同
求向量的反向传播时,求得的雅可比矩阵总是稀疏的,非对角线元素总是0
max(x,a)的梯度:对于任何正数x,max(x,a)'=I(x>a),I(x>a)是示性函数
相关文章：
深度学习笔记（9）——神经网络和反向传播
神经网络和反向传播 神经网络架构： 更多的神经元,更大的模型容量,使用更强的正则化进行约束。 神经网络的分层计算 f W 2 m a x ( 0 , W 1 x b 1 ) b 2 fW_2max(0,W_1xb_1)b_2 fW2max(0,W1xb1)b2,其中max函数体现了非线性,如果想要加深网络的层次,必须…...
Oracle Database 23ai 中的DBMS_HCHECK
在 Oracle 23ai 中，DBMS_HCHECK 包允许我们检查数据库中已知的数据字典问题。 几年前，Oracle 发布了 hcheck.sql 脚本（文档 ID 136697.1）来检查数据库中已知的数据字典问题。 DBMS_HCHECK 包意味着我们不再需要下载 hcheck.sql…...
Docker部署neo4j
查询镜像版本 docker search neo4j 以上代码运行会报异常：Error response from daemon: Get https://index.docker.io/v1/search?qneo4j&n25: read tcp 192.168.xxx.xxx:41734->xx.xxx.xx.xxx:443: read: connection reset by peer 这个提示无法访问&…...
大数据技术-Hadoop（二）HDFS的介绍与使用
目录 1、HDFS简介 1.1 什么是HDFS 1.2 HDFS的优点 1.3、HDFS的架构 1.3.1、 NameNode 1.3.2、 NameNode的职责 1.3.3、DataNode 1.3.4、 DataNode的职责 1.3.5、Secondary NameNode 1.3.6、Secondary NameNode的职责 2、HDFS的工作原理 2.1、文件存储 2.2 、数据写…...
datax与sqoop的优缺点？
DataX 的优缺点 优点 多种数据源支持：DataX 是一个开源的数据同步工具，它支持多种数据源之间的数据传输，包括关系型数据库（如 MySQL、Oracle、SQL Server 等）、非关系型数据库（如 HBase、Hive、Elasticsear…...
如何学习、使用Ai，才能跟上时代的步伐？
目录 1. 打好基础：理解AI的核心概念 2. 学习AI的核心领域 3. 实践：动手做项目，积累经验 4. 利用AI工具提升工作效率 5. 培养AI思维与批判性思维 6. 关注AI领域的最新研究与趋势 7. 培养跨学科能力 总结： 在AI时代…...
强化特种作业管理，筑牢安全生产防线
在各类生产经营活动中，特种作业由于其操作的特殊性和高风险性，一直是安全生产管理的重点领域。有效的特种作业管理体系涵盖多个关键方面，从作业人员的资质把控到安全设施的配备维护，再到特种设备的精细管理以及作业流程的严格规范…...
nuxt3中使用element-plus（集成element-plus）
一、安装依赖 pnpm i element-plus --savepnpm i element-plus/icons-vuepnpm i element-plus/nuxt -D二、配置nuxt.config.ts export default defineNuxtConfig({ssr: true,devtools: { enabled: true },typescript: {shim: false,},modules: [element-plus/nuxt],css: [ele…...
HTML 元素：网页构建的基础
HTML 元素：网页构建的基础 HTML（HyperText Markup Language，超文本标记语言）是构建网页的基石。它定义了网页的结构和内容，而HTML元素则是构成HTML文档的基石。在本篇文章中，我们将深入探讨HTML元素的概念、类型、用法，以及如何在网页设计中有效地使用它们。 什么是HT…...
代码解析：安卓VHAL的AIDL参考实现
以下内容基于安卓14的VHAL代码。 总体架构 参考实现采用双层架构。上层是 DefaultVehicleHal，实现了 VHAL AIDL 接口，并提供适用于所有硬件设备的通用 VHAL 逻辑。下层是 FakeVehicleHardware，实现了 IVehicleHardware 接口。此类可模拟与实…...
——RESTful API、拦截器、异常处理、数据类型转换)
SpringMVC学习(二)——RESTful API、拦截器、异常处理、数据类型转换
一、RESTful (一)RESTful概述 RESTful是一种软件架构风格，用于设计网络应用程序。REST是“Representational State Transfer”的缩写，中文意思是“表现层状态转移”。它基于客户端-服务器模型和无状态操作，以及使用HTTP请求来处理数据。RES…...
ShenNiusModularity项目源码学习（6：访问控制）
ShenNius.Admin.API项目中的控制器类的函数如果需要访问控制，主要是调用ShenNius.Infrastructure项目下的AuthorityAttribute特性类实现的。AuthorityAttribute继承自ActionFilterAttribute抽象类，后者用于在调用控制器操作函数前后自定义处理逻辑&#…...
前端工程化概述（初版）
阅前悉知 本文为《前端工程化》系列的首篇。由于本系列仍在撰写中，故其余文章暂不发布。您可以通过此链接查看其余已经完成文章：前端工程化专栏 （完善中） | Jay 的博客 需要注意的是，尽管部分文章可以查看，…...
人工智能与物联网：从智慧家居到智能城市的未来蓝图
引言：未来已来，智能化的世界 想象一下，一个早晨，智能闹钟根据你的睡眠状态自动调整叫醒时间，咖啡机早已备好热腾腾的咖啡，窗帘缓缓拉开，迎接清晨的阳光。这不是科幻小说中的场景，而是…...
【达梦数据库】达梦数据库windows安装
目录 1.选择语言与时区 2.安装向导 3.许可证协议 4.验证 Key 文件 5.选择安装组件 6.选择安装目录 7.目录确认 8.开始安装 9.安装过程 10.安装完成 11.创建数据库实例 12.创建数据库模板 13.数据库目录 14.数据库标识 15.数据库文件 16.初始化参数 17.口令管理…...
Django实现异步视图adrf请求
随着现代Web开发需求的不断升级，异步编程逐渐成为了开发者关注的焦点。Django作为一个功能强大的Web框架，其默认视图是同步的，这在处理高并发请求时可能会面临一定的性能瓶颈。为了弥补这一不足，开发者可以结合Django和第三方工具，如ADRF（Async Django Rest Framework），…...
)
如何构建有效的AI Agents：从复杂到简约——深度解读Claude实践总结《Building effective agents》(上)
在人工智能技术日新月异的今天，大语言模型(LLM)已经成为技术创新的热点。 然而，在追逐技术前沿的热潮中，我们是否忽视了工程设计的本质？ 作为全球人工智能领域的领军企业之一，Anthropic以其在AI安全和伦理方面的深入…...
mybatis基础学习
JDBC Mysql java基础 maven Junit 一、简介 1. 什么是mybatis MyBatis 是一款优秀的持久层框架；它支持自定义 SQL、存储过程以及高级映射。MyBatis 免除了几乎所有的 JDBC 代码以及设置参数和获取结果集的工作。MyBatis 可以通过简单的 XML 或注解来配置和映射原…...
【1224】数据结构（sizeof/数组的长度定义/读取字符串函数/线性表长度/左值右值/静态变量/指针与引用）
1.对一维整型数组a的正确说明是 #define SIZE 10 (换行) int a[SIZE];说法是否正确？ 正确 数组的SIZE可以用宏定义，但不能用变量 2.如有定义：char str[20];，能将从键盘输入的字符串“How are you”保存到 str 数组的语句是&#x…...
解决PS 撤销卡顿
1. 关闭Windows Ink - 打开触控笔设置 - 禁用Windows Ink功能 2. 创建 PSUserConfig.txt（注意Win10/11 可能隐藏文件扩展名） - 位置：C:\Users\[用户名]\AppData\Roaming\Adobe\Adobe Photoshop CC 2019\Adobe Photoshop CC 2019 Se…...
Java 中 Stream 流的使用详解
Java 中 Stream 流的使用详解 什么是 Stream？ Stream 是 Java 8 引入的一种全新的操作集合的方式。它支持通过声明性方式对集合进行复杂的数据操作（如过滤、排序、聚合等），避免使用大量的 for 循环，提高代码的可读性…...
助你通过AI培训师中级考试的目录索引
嘿，各位看官！在您正式踏入接下来的知识小宇宙之前，咱先唠唠几句… 家人们，我跟你们说，我脑一热报名了那个 AI 培训师考试。本想着开启一场知识的奇幻之旅，结果呢，学视频内容的时候，那…...
【期末复习】JavaEE（下）
1. MVC开发模式 1.1. 运行流程 1.2. SpringMVC 核心组件 1.3. 注解解释 2. ORM与MyBatis 2.1. ORM—对象关系映射 2.2. MyBatis 2.2.1. 创建步骤 会话是单例的，不能跨方法。（单例的原因主要是从数据安全角度出发） import org.apache.ibatis…...
 并使用Springboot作为后端提供接口)
HarmonyOS Next 实现登录注册页面(ARKTS) 并使用Springboot作为后端提供接口
1. HarmonyOS next ArkTS ArkTS围绕应用开发在 TypeScript （简称TS）生态基础上做了进一步扩展，继承了TS的所有特性，是TS的超集 ArkTS在TS的基础上扩展了struct和很多的装饰器以达到描述UI和状态管理的目的 以下代码是一个基于…...
《HelloGitHub》第 105 期
兴趣是最好的老师，HelloGitHub 让你对编程感兴趣！ 简介 HelloGitHub 分享 GitHub 上有趣、入门级的开源项目。 github.com/521xueweihan/HelloGitHub 这里有实战项目、入门教程、黑科技、开源书籍、大厂开源项目等，涵盖多种编程语言 Python、…...
适配器模式概述
大体介绍 适配器模式（Adapter Pattern）是一种结构型设计模式，其核心目的是通过提供一个适配器类来使得原本接口不兼容的类可以一起工作。它通过将一个类的接口转换成客户端所期望的接口，使得原本因接口不兼容而无法一起工作的类可…...
跟着问题学3.1——R-CNN模型详解
R-CNN解决什么问题 前面我们介绍了经典的网络模型如AlexNet,VGG,ResNet等，这些模型要解决的任务都是分类问题，即输入一张图片，判断图片上是什么类别的物体，而且一般是单个物体。但实际中，我们会遇到一张图片上有多个或…...
微服务-1 认识微服务
目录 1 认识微服务 1.1 单体架构 1.2 微服务 1.3 SpringCloud 2 服务拆分原则 2.1 什么时候拆 2.2 怎么拆 2.3 服务调用 3. 服务注册与发现 3.1 注册中心原理 3.2 Nacos注册中心 3.3 服务注册 3.3.1 添加依赖 3.3.2 配置Nacos 3.3.3 启动服务实例 …...
25秋招面试总结
秋招从八月底开始，陆陆续续面试了不少，现在也是已经尘埃落定，在这里做一些总结一些我个人的面试经历 腾讯 腾讯是我最早面试的一家，一开始捞我面试的是数字人民币，安全方向的岗位，属于腾讯金融科技这块。…...
【C#学习——特性】
前言 C#特性学习、主要是用在数据库连接时如何动态创建对应的表，正常开发应该使用如Entity Framework等ORM框架实现自动创建生成。 代码 1、声明特性 [AttributeUsage(AttributeTargets.Property)] public class PrimaryKeyAttribute : Attribute { }[AttributeUs…...
Appscan扫出API成批分配问题解决方案
漏洞条件： 请求json参数不是接收参数的javabean及其父类中的任意属性。 意思就是：我javaben里面没有这个参数 你缺传递过来了 例如我只需要pageNum pageSize 你还传了role:admin 那么这样就有可能导致致特权升级、数据篡改、绕过安全机制 解决方案&am…...
STM32-笔记14-排队控制系统
一、项目需求 1. 红外传感器检测有人通过并计数； 2. 计数值显示在LCD1602 3. 允许通过时，LED1闪烁，蜂鸣器不响，继电器不闭合； 4. 不允许通过时，LED2闪烁，蜂鸣器响，继电器闭合&#…...
【时间之外】IT人求职和创业应知【80】-特殊日子
目录 北京冬季招聘会 OpenAI CEO炮轰马斯克 英伟达推出全新AI芯片B300 莫欢喜，总成空。本周必须要谨行慎言。 感谢所有打开这个页面的朋友。人生不如意，开越野车去撒野，会害了自己，不如提升自己。提升自己的捷径就是学习和思考…...
【GlobalMapper精品教程】090：合并多个面状图斑（以一个镇的多个村不动产宗地为例）
本文讲述在Globalmapper中，合并多个面状图斑的方法，以一个镇的多个村不动产宗地为例（假设一个镇的多个村的不动产宗地数据是分别存储在不同的村子矢量数据中，此时需要合并），点状和线状的操作方法类似。 文章目录 一、加载数据二、数据分析三、合并图斑四、注意事项一、加…...
ffmpeg之播放一个yuv视频
播放YUV视频的步骤 初始化SDL库： 目的：确保SDL库正确初始化，以便可以使用其窗口、渲染和事件处理功能。操作：调用 SDL_Init(SDL_INIT_VIDEO) 来初始化SDL的视频子系统。 创建窗口用于显示YUV视频： 目的：…...
在国产电脑上运行PDFSAM软件使用pdf分割合并交替混合处理pdf文档
软件下载地址: https://sourceforge.net/projects/pdfsam/files/ 需要注意事项，系统需要java环境，确认系统有java环境，根据软件版本需求安装对应的java运行环境。 下载pdfsam-4.3.4-linux.tar.gz安装包，解压，将runt…...
总结一下本次使用docker部署遇到的问题
1.Invalid bound statement (not found):异常 解决：原因是Dao层与动态Sql映射文件名字没有对应 2.element-plus的upload组件文件上传不成功 因为是直接请求后端不是统一的api前缀，所以nginx需要额外配置跨域 3.文件上传问题 描述：当时文…...
c#泛型学习
使用泛型的优点：使用泛型的好处包括类型安全、代码重用和性能优化。 在C#中，泛型是一种强大的工具，它允许你在编写类、接口、方法和委托时定义类型参数。这些类型参数在实例化泛型类型或调用泛型方法时被具体的类型所替代。 1. 泛型类 泛型…...
十二月第五周python
第一个程序，熟悉转换器，把加法计算器变成exe# // 1,制作加法计算器， # 输入两个数字得到相加结果并输出aint(input("输入数字："))#int()是把输入的内容转换成整数， bint(input("输入数字：&…...
Unity中如何修改Sprite的渲染网格
首先打开SpriteEditor 选择Custom OutLine,点击Genrate 则在图片边缘会出现边缘线，调整白色小方块可以调整边缘 调整后，Sprite就会按照调整后的网格渲染了。 如何在UI中使用？ 只要在UI的Image组件中选择Use Sprite Mesh 即可 结果࿱…...
修复OpenHarmony系统相机应用横屏拍照按钮点不到的问题
适配OpenHarmony系统相机应用横屏UI， 相关pr: https://gitee.com/openharmony/applications_camera/pulls/233/files 适配效果 如何安装 编译好的hap提供在附件中 1.预置在源码，随固件安装 2.安装hap hdc shell "mount -o remount,rw /"…...
keepass实现google自输入_SSH_TELNET_RDP联动
涉及到的是使用开源密码管理工具KeePass结合特定插件实现自动化密码填充的功能，特别是在谷歌浏览器中的应用。KeePass是一款强大的密码管理软件，它允许用户安全地存储各种账号的用户名和密码，并通过加密保护这些敏感信息。 1. keepass安装及配…...
电脑缺失sxs.dll文件要怎么解决？
一、文件丢失问题：以sxs.dll文件缺失为例 当你在运行某个程序时，如果系统提示“找不到sxs.dll文件”，这意味着你的系统中缺少了一个名为sxs.dll的动态链接库文件。sxs.dll文件通常与Microsoft的.NET Framework相关，是许多应用程序…...
Python实现机器学习驱动的智能医疗预测模型系统的示例代码框架
以下是一个使用Python实现机器学习驱动的智能医疗预测模型系统的示例代码框架。这个框架涵盖了数据收集（爬虫）、数据清洗和预处理、模型构建（决策树和神经网络）以及模型评估的主要步骤。 1. 数据收集（爬虫）…...
Vue3生态: 使用Vite进行高速开发
Vue3生态: 使用Vite进行高速开发 一、Vite概述 什么是Vite 法语意为 "快速"）是一个为现代浏览器原生开发提供服务的构建工具。它使用ES模块作为原生浏览器加载工具，利用浏览器去解析 import 的方式加载文件，极大地加快了应用的启动…...
Android MQTT关于断开连接disconnect报错原因
最近项目遇到一个需求，就是在登录状态的时候。才能接收到消息。所有我在上线，下线状态的时候。做了MQTT断开和连接的动作。然后就是发生了。我们标题的这关键点了。直接报错了。报错的内容如下： MqttAndroidClient unregisterRecevicer afte…...
YOLO11全解析：从原理到实战，全流程体验下一代目标检测
前言 一、模型介绍 二、网络结构 1.主干网络（Backbone） 2.颈部网络（Neck） 3.头部网络（Head） 三、算法改进 1.增强的特征提取 2.优化的效率和速度 3.更高的准确性与更少的参数 4.环境适应性强 5.…...
python中函数的用法总结（二阶段）
话接上回，继续讲下函数的用法 10. 函数的注解（Function Annotations） Python 3 引入了函数注解，允许你在函数定义时给参数和返回值添加注解。注解并不影响函数的实际行为，它们更多地用于代码的可读性、文档生成以及静…...
1082 射击比赛
本题目给出的射击比赛的规则非常简单，谁打的弹洞距离靶心最近，谁就是冠军；谁差得最远，谁就是菜鸟。本题给出一系列弹洞的平面坐标(x,y)，请你编写程序找出冠军和菜鸟。我们假设靶心在原点(0,0)。 输入格式：…...
模型工作流：自动化的模型内部三角面剔除
1. 关于自动减面 1.1 自动减面的重要性及现状 三维模型是游戏、三维家居设计、数字孪生、VR/AR等几乎所有三维软件的核心资产，模型的质量和性能从根本上决定了三维软件的画面效果和渲染性能。其中，模型减面工作是同时关乎质量和性能这两个要素的重要工…...