当前位置：首页 > news >正文

卷积神经网络基础（五）

news 来源：原创 2025/8/18 14:34:11

6.3 Softmax-with-Loss 层

我们最后介绍输出层的softmax函数，之前我们知道softmax函数会将输入值正规化之后再输出。在手写数字识别的例子中，softmax层的输出如下：

输入图像通过Affi ne层和ReLU层进行转换，10个输入通过Softmax层进行正规化。在这个例子中，“0”的得分是5.3，这个值经过Softmax层转换为0.008 （0.8%）；“ 2”的得分是10.1，被转换为0.991（99.1%）

softmax函数会将输入值正规化，即输出值的和为1之后再进行输出。手写数字的分类有10个，所以softmax层输入也有十个，输出也是10个，代表各类别的概率。

神经网络中进行的处理有推理（inference）和学习两个阶段。神经网络的推理通常不使用Softmax层。比如，用上面的网络进行推理时，会将最后一个Affine层的输出作为识别结果。神经网络中未被正规化的输出结果（上图中Softmax层前面的Affine层的输出）有时被称为“得分”。也就是说，当神经网络的推理只需要给出一个答案的情况下，因为此时只对得分最大值感兴趣，所以不需要Softmax层。不过，神经网络的学习阶段则需要Softmax层。

我们接下来来实现softmax层，由于这里也包含作为损失函数的交叉熵误差(cross entropy error),所以也被称为soft-max-Loss层，其计算图如下：

由于这个计算图较为复杂，我们只给出结果，不进行推理计算，下面是简化后的计算图：

我们假设这里进行三类的分类，接受前面层的三个输入a1 a2和a3，softmax层对输入值进行正规化后输出y1 y2和y3，传递给交叉熵误差层，结合教师标签t，输出损失L。

特别注意在这个计算图中的反向传播中，输入数据的导数为y-t，y是softmax层输出，t是监督数据，所以y-t是输出和教师标签的差分。神经网络的反向传播会把这个差分表示的误差传递给前面的层，这是神经网络学习中的重要性质。

神经网络进行学习的目的就是通过调整权重参数，使神经网络输出softmax层输出y和教师标签t尽可能接近，即输入a的导数值接近0。因此我们需要将y-t这样的误差高效地传递给前面的层。

这里考虑一个实例，教师标签是(0，1，0)，softmax层输出为（0.3，0.2，0.5）的情况，softmax层的反向传播的误差是(0.3,-0.8,0.5)这样的，因为这个大的误差会向前面的层传播，所以softmax前面的层会从这个大的误差中学习到“大”的内容。

PS：使用交叉熵误差作为softmax函数的损失函数后，反向传播得到（y1 − t1,y2 − t2,y3 − t3）这样 “漂亮”的结果。实际上，这样“漂亮” 的结果并不是偶然的，而是为了得到这样的结果，特意设计了交叉熵误差函数。回归问题中输出层使用“恒等函数”，损失函数使用 “平方和误差”，也是出于同样的理由（3.5节）。也就是说，使用“平方和误差”作为“恒等函数”的损失函数，反向传播才能得到（y1− t1, y2 − t2, y3 − t3）这样“漂亮”的结果。

再举一个例子，比如思考教师标签是(0,1,0)，Softmax层的输出是(0.01, 0.99, 0)的情形（这个神经网络识别得相当准确）。此时Softmax层的反向传播传递的是(0.01,−0.01,0)这样一个小的误差。这个小的误差也会向前面的层传播，因为误差很小，所以Softmax层前面的层学到的内容也很“小”。

接下来进行softmax-with-Loss层的实现：

Class SoftmaxwithLoss:def __init__(self):self.loss = None #损失self.y = None #softmax输出self.t = None #监督数据def forward(self,x,t):self.t = tself.y = yself.loss = cross_entropy_error(self.y,self.t)return self.lossdef backward(self,dout=1)batch_size = self.t.Shape[0]dx = (self.y - self.t) / batch_sizereturn dx

这里直接使用了之前已经实现过的softmax和cross_entropy_error函数。所以实现起来十分简单，在反向传播中，要将传播的值除以批大小后再传递给前面的层才是单个数据的误差。

卷积神经网络基础（五）

6.3 Softmax-with-Loss 层我们最后介绍输出层的softmax函数，之前我们知道softmax函数会将输入值正规化之后再输出。在手写数字识别的例子中，softmax层的输出如下： 输入图像通过Affi ne层和ReLU层进行转换，10个输入通过Softmax层…...

编程日记 2025/8/18 14:34:11

Go语言——string、数组、切片以及map

一、string、数组、切片代码 package mainimport "fmt"// 定义结构体 type student struct {id intname stringage intscore float32 }func main() {// 使用var声明切片var slice1 []intslice1 append(slice1, 1)slice1 append(slice1, 2)slice1 append(sl…...

编程日记 2025/8/16 22:49:49

线性回归有截距

In [ ]: ∑ i 1 m ( y i − x i T w ) 2 \sum _{i1}^{m}(y_{i}-x_{i}^{T}w)^{2} i1∑m(yi−xiTw)2 w ^ ( X T X ) − 1 X T y \hat {w}(X^{T}X)^{-1}X^{T}y w^(XTX)−1XTy In [ ]: 1 ＃如果有截距，求解时，需要梯度下降法求解w 和b …...

编程日记 2025/8/17 8:39:41

【基础】Python包管理工具uv使用全教程

一、uv简介 uv 是由 Astral（前身为 Basis）团队开发的 Python 包安装器和解析器，完全使用 Rust 语言编写。与传统 Python 工具不同，uv 将多个工具的功能整合到一个高性能的解决方案中，旨在提供更现代、更高效的 Python…...

编程日记 2025/8/18 14:34:09

事务（transaction）-上

事务概述食物是一个最小的工作单元。在数据库当中，事务表示一件完整的事儿。一个业务的完成可能需要多条DML语句共同配合才能完成，例如转账业务，需要执行两条DML语句，先更新张三账户的余额，再更新李四账户的余额&…...

编程日记 2025/8/18 14:34:11

Python训练打卡Day17

无监督算法中的聚类知识点聚类的指标聚类常见算法：kmeans聚类、dbscan聚类、层次聚类三种算法对应的流程实际在论文中聚类的策略不一定是针对所有特征，可以针对其中几个可以解释的特征进行聚类，得到聚类后的类别，这样后续进行解…...

编程日记 2025/8/16 22:49:42

【爬虫】码上爬第6题-倚天剑

堆栈入手： 全部复制的话，注意修改一些必要在地方： 通过s函数来获取请求头的加密参数通过xxxxoooo来获取解密后的数据 js代码关键点： python代码我推荐使用这个网站： Convert curl commands to code 根据生成的代码…...

编程日记 2025/8/16 22:49:39

自定义SpringBoot Starter-笔记

SpringBoot Starter的介绍参考： Spring Boot Starter简介-笔记-CSDN博客。这里介绍如何自定义一个springBoot Starter。 1. 项目结构创建一个 Maven 项目，结构如下： custom-spring-boot-starter-demo/ ├── custom-hello-jdk/ # jdk模…...

编程日记 2025/8/16 22:49:37

一周学会Pandas2 Python数据处理与分析-Pandas2数据类型转换操作

锋哥原创的Pandas2 Python数据处理与分析视频教程： 2025版 Pandas2 Python数据处理与分析视频教程(无废话版) 玩命更新中~_哔哩哔哩_bilibili Pandas 提供了灵活的方法来处理数据类型转换，以下是常见操作及代码示例： 1. 查看数据类型 …...

编程日记 2025/8/16 16:01:41

Java中常见的问题

1. SSO中的Cookie/Token生成与安全传递生成Cookie/Token： Cookie：服务器通过Set-Cookie响应头生成，包含用户ID、过期时间等，需设置HttpOnly和Secure属性防止XSS和中间人攻击。Token（如JWT）：使…...

编程日记 2025/8/17 8:27:13

【JEECG】BasicTable内嵌Table表格错位

功能说明： 解决代码生成后，本地内嵌Table表格样式错位。优化前： 优化后： 解决方法： 对应的List.vue页面增加css样式调整。 <style lang"less" scoped>//内嵌表格margin边距覆盖:deep(.ant-table-…...

编程日记 2025/8/17 8:28:46

人工智能计算智能模糊逻辑讲解

引言在计算智能（Computational Intelligence）领域，模糊逻辑（Fuzzy Logic）作为一种处理不确定性与模糊性信息的数学工具，自 1965 年由洛夫特扎德（Lotfi Zadeh）提出以来，…...

编程日记 2025/8/17 8:56:18

基于SSM实现的健身房系统功能实现一

一、前言介绍： 1.1 项目摘要随着社会的快速发展和人们健康意识的不断提升，健身行业也在迅速扩展。越来越多的人加入到健身行列，健身房的数量也在不断增加。这种趋势使得健身房的管理变得越来越复杂，传统的手工或部分自动化的管…...

编程日记 2025/8/17 8:27:16

spring详解-循环依赖的解决

Spring循环依赖重点提示： 本文都快写完了，发现“丈夫” 的英文是husband… 在“②有AOP循环依赖” 改过来了，前面用到的位置太多了就没改。我是说怎么idea的hansband英文下面怎么有波浪线。各位能够理解意思就行，英文拼写不要过…...

编程日记 2025/8/17 8:27:14

【大模型面试每日一题】Day 10：混合精度训练如何加速大模型训练？可能出现什么问题？如何解决？

【大模型面试每日一题】Day 10：混合精度训练如何加速大模型训练？可能出现什么问题？如何解决？ 📌 题目重现 🌟🌟 面试官：混合精度训练如何加速大模型训练？可能出现什么问…...

编程日记 2025/8/17 8:36:30

[学习]RTKLib详解：rtkcmn.c与rtkpos.c

文章目录 Part A、Rrtkcmn.c一、总体功能二、关键API列表三、核心算法实现四、函数功能与参数说明1. uniqnav2. lsq3. filter4. matmul5. satazel6. ionmapf7. geodist8. timeadd9. dgetrf_ / dgetri_（LAPACK接口） 五、工作流程说明4.1 模块在RTKLib中的…...

编程日记 2025/8/17 8:27:12

cookie/session的关系

什么是cookie，session 我们平时去医院看病时，从进医院那一刻，我们最开始要做的就是挂号（需要我们填写表格，记录一些核心信息，医生会把这些信息录入电脑，并给我办一个就诊卡，卡里面只…...

编程日记 2025/8/17 9:19:36

Linux（十四）进程间通信（IPC），管道

一、进程间通信 （一）系统介绍进程间通信进程间通信（IPC）介绍小编插入的这篇文章详细介绍了进程间通信的一些内容，大家可以一起学习。 （二）进程间通信的方法 1、管道 2、信号量 3、共享…...

编程日记 2025/8/17 10:59:25

Nmap 工具的详细使用教程

Nmap（Network Mapper）是一款开源且功能强大的网络扫描和安全审计工具。它被广泛用于网络发现、端口扫描、操作系统检测、服务版本探测以及漏洞扫描等。官方链接: Nmap 官方网站: https://nmap.org/Nmap 官方文档 (英文): https://nmap.org/book/man.h…...

编程日记 2025/8/17 10:38:08

Vue 自定义指令输入校验过滤

/*** 过滤字符串* param {*} filterCharRule* param {*} newVal* returns*/ function filterCharForValue(filterCharRule, newVal) {if(!filterCharRule || !newVal) returnconst isArray filterCharRule instanceof Arrayconst isRegExp filterCharRule instanceof RegExpi…...

编程日记 2025/8/17 9:38:16

OpenGl实战笔记（2）基于qt5.15.2+mingw64+opengl实现纹理贴图

一、作用原理 1、作用：将一张图片（纹理）映射到几何体表面，提升视觉真实感，不增加几何复杂度。 2、原理：加载图片为纹理 → 上传到 GPU；为顶点设置纹理坐标（如 0~1 范围）&…...

编程日记 2025/8/17 8:28:16

tinyrenderer笔记（透视矫正）

tinyrenderer个人代码仓库：tinyrenderer个人练习代码引言还要从上一节知识说起，在上一节中我为了调试代码，换了一个很简单的正方形 obj 模型，配上纹理贴图与法线贴图进行渲染，得了下面的结果： what&…...

编程日记 2025/8/17 8:27:25

c++类【发展】

类的静态成员（用static声明的成员）,在声明之外用例单独的语句进行初始化，初始化时，不再需要用static进行限定。在方法文件中初始化。以防重复。特殊成员函数复制构造函数： 当使用一个对象来初始化另一个对象…...

编程日记 2025/8/17 8:52:59

玛格丽特鸡尾酒评鉴，玛格丽特酒的寓意和象征

玛格丽特鸡尾酒会有独特的风味，而且还会有一个比较吸引人的背后故事。在目前的鸡尾酒界就会占据着很重要的地位，不仅是味蕾的盛宴，同样也会拥有深厚的情感。玛格丽特由龙舌兰酒、柠檬汁和君度橙酒调制而成，将三者巧妙地结合在一起…...

编程日记 2025/8/17 8:28:05

关于Java多态简单讲解

面向对象程序设计有三大特征，分别是封装，继承和多态。这三大特性相辅相成，可以使程序员更容易用编程语言描述现实对象。其中多态多态是方法的多态，是通过子类通过对父类的重写，实现不同子类对同一方法有不同的实现…...

编程日记 2025/8/17 10:09:43

SecureCrt设置显示区域横列数

1. Logical rows //逻辑行调显示区域高度的一般超过50就全屏了 2. Logical columns //逻辑列调显示区域宽度的 3. Scrollback buffer //缓冲区大小...

编程日记 2025/8/17 8:27:29

【PhysUnits】1 SI Prefixes 实现解析（prefix.rs）

一、源码 // prefix.rs //! SI Prefixes (国际单位制词头) //! //! 提供所有标准SI词头用于单位转换，仅处理10的幂次 //! //! Provides all standard SI prefixes for unit conversion, handling only powers of 10.use typenum::{Z0, P1, P2, P3, P6, P9, P12, …...

编程日记 2025/8/17 8:29:37

【Python】--实现多进程

import multiprocessing import time # 1.定义好函数 # codeing def coding():for i in range(10):print(f正在编写第{i}行代码)time.sleep(0.2)# music def music():for i in range(10):print(f正在听第{i}首歌曲)time.sleep(0.2)单任务 # 单任务--时间为4s多 if __name__ _…...

编程日记 2025/8/17 10:23:59

计算机视觉与深度学习｜基于数字图像处理的裂缝检测与识别系统（matlab代码）

🍅🍅🍅🍅🍅🍅🍅🍅🍅🍅🍅🍅🍅🍅🍅🍅 基于数字图像处理的裂缝检测与识别系统 🥦🥦🥦🥦🥦🥦🥦🥦🥦🥦🥦🥦🥦**系统架构设计****1. 图像预处理**目标：消除噪声+增强裂缝特征**2. 图像分割**目标：提取裂缝区域**3. 特征…...

编程日记 2025/8/16 15:14:46

嵌入式MCU语音识别算法及实现方案

在嵌入式MCU（微控制器单元）中实现语音识别，由于资源限制（如处理能力、内存、功耗等），通常需要轻量级算法和优化技术。以下是常见的语音识别算法及实现方案： 一、传统语音识别算法动态时间规整&…...

编程日记 2025/8/17 2:08:55

【C++核心技术深度解析：从继承多态到STL容器】

一、C继承机制：代码复用与层次设计 1. 继承基础概念什么是继承？ 继承是面向对象编程的核心机制，通过class Derived : public Base让子类（派生类）复用父类（基类）的属性和方法，同时…...

编程日记 2025/8/17 10:09:11

【C/C++】new关键字解析

📘 C 中 new 关键字详解笔记 🔹 什么是 new？ new 是 C 中用于动态内存分配的关键字，它在堆内存中为对象或变量分配空间，并返回对应类型的指针。与 C 语言中的 malloc 相比，new 更安全、更方便&#xff…...

编程日记 2025/8/17 8:28:41

C++高性能内存池

目录 1. 项目介绍 1. 这个项目做的是什么? 2. 该项目要求的知识储备 2. 什么是内存池 1. 池化技术 2. 内存池 3. 内存池主要解决的问题 4.malloc 3. 先设计一个定长的内存池 4.高并发内存池 -- 整体框架设计 5. 高并发内存池 -- thread cache 6. 高并发内存池 -- …...

编程日记 2025/8/17 10:52:48

chili3d调试笔记12 deepwiki viewport

xiangechen/chili3d | DeepWiki viewport阅读 🧠deep 我要把模型投影成dxf导出有什么办法引用lookat 截图是如何实现的明天接着搞 ----------------------------------------------------------------...

编程日记 2025/8/17 8:27:18

前端取经路——JavaScript修炼：悟空的九大心法

大家好，我是老十三，一名前端开发工程师。JavaScript如同孙悟空的七十二变，变化多端却又充满威力。本篇文章我将带你攻克JS中最令人头疼的九大难题，从闭包陷阱到原型链继承，从异步编程到性能优化。每个难题都配有实战代…...

编程日记 2025/8/17 8:29:32

从零实战：在Xilinx Zynq PS端移植VxWorks 6.9系统

一、环境准备与工具链搭建 1.1 硬件配置清单开发板: Zynq-7000系列（推荐ZedBoard或ZCU102）调试工具: USB-JTAG调试器（如Xilinx Platform Cable USB II）存储介质: SD卡（建议Class 10以上）1.2 软件环境工具版本作用Vivado2022.1FPGA硬件设计Vitis2022.1系统集成开发Wind…...

编程日记 2025/8/17 8:27:20

网工实验——RIP配置

网络拓扑图配置 1.为每台设备配置ip地址 AR4 <Huawei>u t m <Huawei>sys [Huawei]sysname AR4 [AR4]int g0/0/0 [AR4-GigabitEthernet0/0/0]ip address 172.16.1.1 24 [AR4-GigabitEthernet0/0/0]q#下面配置换回口，模拟网 [AR4]int LoopBack 0 [AR4…...

编程日记 2025/8/17 6:30:41

前端流行框架Vue3教程：14. 组件传递Props效验

(4) 组件传递Props效验 Vue组件可以更细致地声明对传入的props的校验要求 ComponentA.vue <script> import ComponentB from ./ComponentB.vue; export default {components: {ComponentB},data() {return {title: 标题}} } </script> <template><h3&g…...

编程日记 2025/8/17 8:39:20

电子电器架构 --- 网关ECU中采用多CPU解决方案来实现网关功能

我是穿拖鞋的汉子，魔都中坚持长期主义的汽车电子工程师。老规矩，分享一段喜欢的文字，避免自己成为高知识低文化的工程师：钝感力的“钝”，不是木讷、迟钝，而是直面困境的韧劲和耐力，是面对外界噪音的通透淡然。生活中有两种人，一种人格外在意别人的眼光;另一种人无论…...

编程日记 2025/8/17 8:28:58

关于tftpboot的用法

TFTPBOOT 是一个常用于嵌入式系统或网络设备中的命令，用于通过 TFTP 协议从网络上启动操作系统镜像或引导文件。这个命令通常在设备启动时执行，允许设备通过网络从 TFTP 服务器下载启动镜像或其他必要的文件，而不需要从本地存储中启动。一般…...

编程日记 2025/8/17 8:27:19

团队协作的润滑剂——GitHub与协作流程

各位代码界的社交恐惧症患者们，今天我们要聊的是如何假装自己很会团队协作——使用GitHub！这就像程序员版的"相亲平台"，只不过在这里，你展示的不是自拍和收入，而是代码和commit记录（后者往往更令…...

编程日记 2025/8/17 8:27:17

数据库复习

DML操作包括： SELECT INSERT UPDATE DELETE MERGE 返回字符串长度：length() 查询记录：SELECT 增（INSERT）、删（DELETE）、改（UPDATE）、查（SELECT&#…...

编程日记 2025/8/17 8:29:42

AI与机器学习、深度学习在气候变化预测中的应用与实践

前言： 全球气候变化是现代社会面临的最重要的环境挑战之一，影响了气温、降水、海平面、农业、生态系统等多个方面。气候变化的驱动因素主要包括温室气体排放、气溶胶浓度、火灾频发、海冰融化、叶绿素变化、农业变化和生态环境变化等。这些因素在全球范围…...

编程日记 2025/8/17 8:29:31

Laravel 12 基于 EMQX 实现 MQTT 消息发送与接收

Laravel 12 基于 EMQX 实现 MQTT 消息发送与接收要在 Laravel 12 中实现基于 EMQX 的 MQTT 消息发送与接收，你可以按照以下步骤操作： 1. 安装必要的依赖包首先安装 MQTT 客户端库： composer require php-mqtt/client2. 配置 EMQX 连接 …...

编程日记 2025/8/17 8:27:24

论广告系统对存算分离架构的应用

辅助论点辅助论点一：存算分离架构起源于数据库领域，并不是在线系统。存算分离的架构源于Google的Spanner数据库，这个数据库采用了KV做存储层，OLAP做计算层的分离式设计，其目的是能快速伸缩计算资源，且节…...

编程日记 2025/8/17 9:16:47

create-vue搭建Vue3项目（Vue3学习2）

一、认识create-vue image.png 二、create-vue搭建Vue3项目 image.png image.png 依次执行npm install 和npm run dev即可运行项目 image.png image.png © 著作权归作者所有,转载或内容合作请联系作者喜欢的朋友记得点赞、收藏、关注哦！！&#xff…...

编程日记 2025/8/17 8:27:34

NHDEEP档案管理系统功能介绍

NHDEEP档案管理系统单机版专注于提高档案管理效率，无需网络连接即可独立运作，确保数据的安全与私密性。无论是机关单位的常规档案工作，还是工程、基建项目的特殊档案管理需求，系统都能提供全面的解决方案。系统支持信创环境。核心…...

编程日记 2025/8/18 5:41:06

【C++】C++中的命名/名字/名称空间 namespace

C中的命名/名字/名称空间 namespace 1、问题引入2、概念3、作用4、格式5、使用命名空间中的成员5.1 using编译指令（ 引进整个命名空间） ---将这个盒子全部打开5.2 using声明使特定的标识符可用(引进命名空间的某个成员) ---将这个盒子中某个成员的位置打…...

编程日记 2025/8/17 8:29:43

游戏引擎学习第260天:在性能分析器中实现钻取功能

昨天那个帧内存满之后触发段错误实在没找到什么原因导致的继续研究一下为什么导致的内存不够进来释放frame 释放frame 应该会给DebugState->FirstFreeStoredEvent 赋值吧这段宏定义： #define FREELIST_DEALLOCATE(Pointer, FreeListPointer) \if(Pointer) {…...

编程日记 2025/8/17 8:27:46

人工智能100问☞第15问：人工智能的常见分类方式有哪些？

目录一、通俗解释二、专业解析三、权威参考人工智能的常见分类方式包括：按智能水平（弱人工智能、通用人工智能、超级人工智能）、按技术原理（生成式AI、判别式AI、强化学习）、按功能目标（生成内容、优化决策）、按应用领域（自然语…...

编程日记 2025/8/17 10:15:05

6.3 Softmax-with-Loss 层

相关文章：