神经网络—损失函数
文章目录
- 前言
- 一、损失函数概念
- 二、损失函数原理
- 1、分类问题中常见的损失函数
- （1）0-1损失函数
- 原理
- 优缺点
- （2）交叉熵损失（Cross-Entropy Loss）
- 原理
- 优缺点
- （3） 合页损失（Hinge Loss）
- 原理
- 优缺点
- 2、回归问题中常见的损失函数
- （1） 均方误差（Mean Squared Error, MSE）
- 原理
- 优缺点
- （2） 平均绝对误差（Mean Absolute Error, MAE）
- 原理
- 优缺点
- 总结
前言
损失函数在神经网络中充当核心导航者，通过量化预测与真实值的差异，为模型训练明确优化目标（如最小化误差）。它不仅评估当前性能，还通过反向传播计算梯度，指导参数调整方向，确保任务适配（如分类用交叉熵、回归用均方误差），并可通过正则化项控制模型复杂度，防止过拟合，是驱动整个学习过程的关键机制。
一、损失函数概念
神经网络中的损失函数（Loss Function）用于量化模型预测结果与真实值之间的差距，作为衡量模型性能的核心指标。它通过计算预测误差（如分类错误或回归偏差），为反向传播提供梯度方向，指导优化算法（如梯度下降）调整网络权重和偏置，逐步缩小误差，使模型输出逼近真实数据分布。不同任务对应不同损失函数（如交叉熵用于分类、均方误差用于回归），其本质是定义模型优化的目标函数。
二、损失函数原理
1、分类问题中常见的损失函数
（1）0-1损失函数
0-1损失函数是分类任务中最直观的损失函数之一，主要用于衡量分类模型的错误率。其核心思想是：若预测结果与真实标签一致，则损失为0；若不一致，则损失为1。
原理
y：真实标签（如分类任务中的类别）。
y^：模型的预测结果。
对于所有样本，0-1损失是错误分类样本的占比：
1(⋅) 是指示函数（条件满足时为1，否则为0）。
优缺点
优点：
1、直观性：直接反映分类错误率（如准确率 = 1 - 0-1损失）。
2、无参数依赖：仅关注分类结果的对错，不依赖预测概率的置信度。
缺点：
1、无法梯度优化：函数是离散的、非凸的，梯度几乎处处为0或不存在，无法通过梯度下降等算法优化模型参数。
2、对概率不敏感：即使预测概率接近真实标签（如正确类别概率为0.51，错误类别为0.49），只要最终分类错误，损失值仍为1。
（2）交叉熵损失（Cross-Entropy Loss）
原理
交叉熵衡量两个概率分布之间的差异。在分类任务中，真实标签是one-hot编码的确定分布（如类别3的概率为1，其余为0），而模型输出是预测的概率分布。交叉熵通过计算两者之间的信息差异，指导模型调整预测概率逼近真实分布。
公式：
对于单个样本的多分类任务：
与Softmax的配合，Softmax将模型输出的原始得分（logits）转换为概率分布，交叉熵直接优化该分布与真实标签的匹配度，梯度计算高效。
优缺点
优点：梯度更新方向明确，收敛速度快。
缺点：对类别不平衡敏感，需结合加权或采样策略。
适用于绝大多数分类任务（如文本分类、图像识别）。
（3） 合页损失（Hinge Loss）
原理
数学定义：合页损失用于最大化分类边界（Margin），要求正确类别的得分比其他类别至少高出一个固定边界值（通常为1）。
公式推导：
对于二分类任务，标签编码为yi∈{−1,1}，模型输出为原始得分y^i （未归一化）：
对于多分类问题
优缺点
优点：生成清晰的分类边界，对噪声鲁棒。
缺点：不直接输出概率，需后处理（如Platt Scaling）。
适用场景：支持向量机（SVM）、需要强分类边界的任务。
2、回归问题中常见的损失函数
（1） 均方误差（Mean Squared Error, MSE）
原理
优缺点
优点：数学性质良好（处处可导），梯度计算高效，适合梯度下降优化。
缺点：对离群点敏感（平方放大误差），可能导致模型过度拟合异常值。
适用场景：数据噪声较小且分布均匀的任务（如温度预测、房价回归）。
（2） 平均绝对误差（Mean Absolute Error, MAE）
原理
优缺点
优点：对离群点鲁棒（线性惩罚），梯度稳定。
缺点：在零点处不可导，收敛速度可能较慢。
适用场景：存在明显离群点的数据（如传感器噪声数据）。
总结
损失函数在神经网络中反映的是模型预测结果与真实标签之间的差异程度，损失函数将模型的预测（如分类概率、回归值）与真实标签（Ground Truth）的差异转化为数值形式。
模型应该向损失函数更小的方向发展，反应在图片上，既是针对一个下山的任务，损失函数就是此刻下山者距离山底的长度，那么距离山脚越近那么越接近终点。
损失函数是模型训练的“指南针”，通过量化误差生成梯度信号，驱动参数沿降低损失的方向迭代更新。其设计需兼顾数学可导性、任务适配性及鲁棒性，直接影响模型的收敛速度与最终性能。理解损失函数与参数更新的关系，是掌握神经网络训练机制的核心。
相关文章：
神经网络—损失函数
文章目录 前言一、损失函数概念二、损失函数原理1、分类问题中常见的损失函数（1）0-1损失函数原理优缺点 （2）交叉熵损失（Cross-Entropy Loss）原理优缺点 （3） 合页损失（Hin…...
Rust中避免过度使用锁导致性能问题的策略
一、引言 在 Rust 多线程编程中，锁是实现线程同步的重要工具，它可以防止多个线程同时访问和修改共享数据，从而避免数据竞争和不一致的问题。然而，过度使用锁会带来严重的性能问题，如锁竞争导致的线程阻塞、上下文切换…...
Qt connect第五个参数
在 Qt 中，QObject::connect 函数的第五个参数用于指定 连接类型（Qt::ConnectionType），它决定了信号与槽之间的通信方式。以下是各枚举值的详解及使用场景： 1. Qt::AutoConnection（默认值） 行为…...
QT —— 信号和槽（带参数的信号和槽函数）
QT —— 信号和槽（带参数的信号和槽函数） 带参的信号和槽函数信号参数个数和槽函数参数个数1. 参数匹配规则2. 实际代码示例✅ 合法连接（槽参数 ≤ 信号参数）❌ 非法连接（槽参数 > 信号参数） 3. 特殊处理…...
极简GIT使用
只为极简使用。 创建本地仓库 初始化git仓库 1.创建一个新文件夹 2.在文件夹内打开git bash 之后进入如下界面，输入git init，这样此文件就可以使用git了。 在此文件夹中，除了.git文件外，其他全部都是工作文件。 接下来将以一个…...
【嵌入式———通用定时器基本操作——实验需求2：案列：测量PWM的频率/周期】
通用定时器输入捕获 需求：把测到的结果通过串口发送到电脑，检查测试结果。 在溢出之前，两次上升/下降沿记录时间。 345部分 滤波器：用来滤掉一些毛刺信息，信号质量好可以不滤波 边沿检测器：确定要捕获的是…...
兰亭妙微：数据驱动的 B 端设计：如何用 UI 提升企业级产品体验？
在数字化转型的浪潮中，企业级产品的用户体验成为了决定产品竞争力的关键因素。对于 B 端产品而言，其使用场景复杂、用户需求多元，如何通过 UI 设计提升产品体验，成为了摆在设计者面前的重要课题。而数据驱动的设计方法&#x…...
Spring AOP---面向切面编程由认识到使用
1. AOP AOP(Aspect-Oriented Programming), 是一种思想, 面向切面编程。 在前文统一异常处理，统一结果返回就是使用了这一思想（都是在集中处理某一类事情, 但又不影响原有代码的正常运行），但他们不是AOP，只是应用了这…...
深入解析 Python 应用日志监控：ELK、Graylog 的实战指南
深入解析 Python 应用日志监控：ELK、Graylog 的实战指南 引言 在现代应用开发中，日志不仅仅是用于记录错误和调试信息，它更是系统运行状况的窗口，帮助开发者和运维人员监控、优化应用性能。Python 作为广泛应用的开发语言，其应用日志管理的重要性不言而喻。而 ELK（Elas…...
贝叶斯算法实战：从原理到鸢尾花数据集分类
贝叶斯算法实战：从原理到鸢尾花数据集分类 在机器学习的广阔领域中，贝叶斯算法以其基于概率推理的独特优势，成为数据分类和预测的重要工具。今天，我们将通过一段Python代码，深入探讨贝叶斯算法在鸢尾花数据集分类任务…...
CSS学习笔记14——移动端相关知识（rem,媒体查询,less）
移动端 rem适配布局 rem单位 rem基准是相对于html元素的字体大小 父元素设定font-size，子元素根据rem缩放对应字体大小 媒体查询（Media Query） media可以针对不同屏幕尺寸设置不同样式当你重置浏览器大小过程中，页面也会根据…...
使用Node编写轻量级后端快速入门
使用Node编写轻量级后端快速入门 node 要作为轻量级后端需要下载一些对应模块可以参考下面命令。你可以借助 npm（Node Package Manager）来下载它们。 模块下载 express：这是一个广受欢迎的 Node.js Web 应用框架，能用于构建 Web…...
海量数据存储与分析：HBase vs ClickHouse vs Doris 三大数据库优劣对比指南
1.引言 在当今大数据时代，数据正以前所未有的速度持续增长。来自各个领域的数据，如互联网行业用户的每一次点击、浏览记录，金融机构的海量交易数据，以及物联网设备源源不断上传的实时监测数据等，其规模呈指数级攀升。…...
Redis 挂掉后高并发系统的应对策略：使用 Sentinel 实现限流降级与 SkyWalking 监控优化
前言 在现代分布式系统中，Redis 被广泛用作缓存中间件以提升性能和减轻数据库压力。然而，在高并发场景下，一旦 Redis 出现故障（如宕机、网络中断等），如果没有有效的容错机制，可能会导致大量请求…...
C++11新特性_自动类型推导_decltype
decltype 是 C11 引入的一个关键字，用于在编译时推导表达式的类型。它提供了一种方式，让编译器根据表达式的类型来确定变量的类型，而不需要显式地指定类型。下面为你详细介绍 decltype 的使用方法和应用场景。 基本语法 decltype 的基本语法…...
Scrapy爬虫实战总结：动态与登录爬取的精炼经验
引言 在AI时代，信息和数据往往成就你的速度和高度。。。 这篇文章基于前两篇的实践基础之上的一次小结，通过“爬取动态网页”和“登录网站”两场实战，我用Scrapy+Splash破译JavaScript，用FormRequest敲开权限大门。这篇总结凝练两场冒险的体验，淬炼Scrapy爬虫的通用经验…...
)
windows系统搭建自己的ftp服务器，保姆级教程(用户验证+无验证)
前言 最近在搭建环境时，我发现每次都需要在网上下载依赖包和软件，这不仅耗时，而且有时还会遇到网络不稳定的问题，导致下载速度慢或者中断，实在不太方便。于是，我产生了搭建一个FTP服务器的想法。通过搭建FT…...
PDF本地化开源项目推荐
Stirling-PDF 项目详细总结 1. 项目概述 Stirling-PDF 是一个基于 Docker 的本地化 Web 应用，专注于 PDF 文件的多样化处理。其核心特点是： 完全本地化部署：所有文件处理均在用户设备或服务器内存中进行，任务完成后自动清理临…...
从工厂到生活：算法 × 深度学习，正在改写自动化的底层逻辑
一.背景： 从工业革命时期的机械自动化，到信息时代的智能自动化，人类对自动化技术的追求从未停歇。近年来，随着物联网、大数据、云计算等技术的蓬勃发展，自动化系统的复杂度与智能化程度显著提升。算法与深度学习的深度…...
如何拿奖蓝桥杯
要在蓝桥杯中拿奖，可参考以下方法： 备赛规划方面 - 明确目标与计划：选择自己感兴趣或有基础的组别，了解比赛大纲和历年真题，制定包含基础语法学习、算法入门、真题训练等阶段的合理学习计划。 - 合理安排时间…...
【STM32单片机】#12 SPI通信（软件读写）
主要参考学习资料： B站江协科技 STM32入门教程-2023版 细致讲解 中文字幕 开发资料下载链接：https://pan.baidu.com/s/1h_UjuQKDX9IpP-U1Effbsw?pwddspb 单片机套装：STM32F103C8T6开发板单片机C6T6核心板 实验板最小系统板套件科协 目录 SPI…...
从请求到响应：初探spring web
引入： 首先小编想分享下一些开发小知识 2000年——手写servlet/JSP时代 在这个阶段中，那时候写后端代码，可谓是个麻烦事。 毕竟什么都要自己干 发来的请求都要写extends HttpServlet的类，手动在web.xml配置 <servlet>…...
【中间件】bthread_基础_TaskControl
TaskControl 1 Definition2 Introduce**核心职责** 3 成员解析**3.1 数据结构与线程管理****3.2 任务调度与负载均衡****3.3 线程停放与唤醒（ParkingLot）****3.4 统计与监控** 4 **工作流程**5 **设计亮点**6 **使用场景示例**7 **总结**8 学习过程中的疑…...
systemd和OpenSSH
1 systemd 1.1 配置文件 /etc/systemd/system /lib/systemd/system /run/systemd/system /usr/lib/systemd/user 1.2 commands systemctl list-unit-files | grep enable systemctl cat dlt-daemon.service systemctl cat dlt-system.service systemctl show dlt-daemon.ser…...
08 Python集合：数据 “去重神器” 和运算魔法
文章目录 一、Python 中的集合概述1. 集合的特性 二、集合的创建三、元素的遍历四、集合的运算1. 成员运算2. 二元运算3. 比较运算 五、集合的方法六、不可变集合 一、Python 中的集合概述 在 Python 里，集合（Set）是一种无序且元素唯一的数据…...
配置和使用基本存储
配置和使用基本存储 文章目录 配置和使用基本存储[toc]一、什么是卷？二、卷的类型三、使用EmptyDir卷存储数据1.了解EmptyDir卷2.测试EmptyDir卷的使用 四、使用HostPath卷挂载宿主机文件1.了解HostPath卷2.测试HostPath卷的使用 五、使用NFS卷挂载NFS共享目录1.准备…...
win11 终端 安装ffmpeg 使用终端Scoop
1、安装scoop (Windows 包管理器) Set-ExecutionPolicy RemoteSigned -Scope CurrentUser iwr -useb get.scoop.sh | iex 2、使用scoop来安装ffmpeg scoop install ffmpeg 3、测试一下ffmpeg，将Mp3文件转为Wav文件 ffmpeg -i A.mp3 A.wav 然后我们就看到A.wav生成…...
navicat中导出数据表结构并在word更改为三线表（适用于navicat导不出doc）
SELECTCOLUMN_NAME 列名,COLUMN_TYPE 数据类型,DATA_TYPE 字段类型,IS_NULLABLE 是否为空,COLUMN_DEFAULT 默认值,COLUMN_COMMENT 备注 FROMINFORMATION_SCHEMA.COLUMNS WHEREtable_schema db_animal（数据库名） AND table_name activity（…...
Azure Monitor 实战指南：全方位监控应用与基础设施
Azure Monitor 是 Azure 云原生的统一监控解决方案，能够实时追踪应用性能、基础设施健康状态及日志数据。本文将通过 实战步骤 演示如何利用 Azure Monitor 监控 GPT-4 服务、虚拟机、存储等资源，并结合自动化告警和日志分析，构建企业级监控体系。 1. Azure Monitor 核心功能…...
【人工智能】释放本地AI潜能：LM Studio用户脚本自动化DeepSeek的实战指南
《Python OpenCV从菜鸟到高手》带你进入图像处理与计算机视觉的大门！ 解锁Python编程的无限可能：《奇妙的Python》带你漫游代码世界 随着大型语言模型（LLM）的快速发展，DeepSeek以其高效的性能和开源特性成为开发者关注的焦点。LM Studio作为一款强大的本地AI模型管理工具…...
智能体-CyberTask Orchestrator设计概要（V4.1超长版）
智能体-CyberTask Orchestrator设计概要（V4.0超长版） 一、深度演进背景与战略定位（核心篇幅拓展至2187字） （本段新增行业趋势与技术必要性论证） 1.1 全球网络安全威胁态势分析（2023-2025&…...
C# 面向对象实例演示
C# 面向对象编程实例演示 一、基础概念回顾 面向对象编程(OOP)的四大基本特性： 封装 - 将数据和操作数据的方法绑定在一起继承 - 创建新类时重用现有类的属性和方法多态 - 同一操作作用于不同对象产生不同结果抽象 - 简化复杂系…...
软件产品测试报告：如何全面评估及保障软件质量？
软件产品测试报告可以对软件产品质量做全面评估，还能够把评估结果展示出来，它依靠一系列测试手段和数据分析，能为产品的完善以及决策提供重要依据。下面从不同方面展开说明。 测试目的 开展本次软件产品测试，主要目的有三个。一…...
leetcode42-接雨水
leetcode 42 思路 本题使用 单调栈 来计算每个位置能够接住的雨水量 理解问题 题目要求计算一系列柱子之间可以接住的雨水量。输入是一个数组，每个元素代表柱子的高度。输出是一个整数，表示能够接住的水量。 找到边界条件 什么情况下可以接住雨水…...
普通IT的股票交易成长史--20250430晚
声明：本文章的内容只是自己学习的总结，不构成投资建议。文中观点基本来自yt站Andylee，美股Alpha姐，综合自己的观点得出。感谢他们的无私分享。 送给自己的话： 仓位就是生命，绝对不能满仓！&…...
Elastic Security 8.18 和 9.0 中的新功能
作者：来自 Elastic Mark Settle, Tamarian Del Conte, James Spiteri, Tinsae Erkailo, Charles Davison, Raquel Tabuyo, Kseniia Ignatovych, Paul Ewing, Smriti 检测规则的自动迁移、用于 ES|QL 的 Lookup Join、AI 功能增强，以及更多功能。 Elasti…...
使用 Vue 开发 VS Code 插件前端页面（上）
本文的方案主要参考了这篇博客： Vscode 的 extension webview 开发示例： Vue 和 React 实现 https://juejin.cn/post/7325132202970136585样例项目地址： github | vscode-webview-with-vuehttps://github.com/HiMeditator/vscode-webview-w…...
Vue Router路由原理
Vue Router 是 Vue.js 官方的路由管理器，它与 Vue.js 核心深度集成，使得构建单页应用（SPA）变得非常容易。Vue Router 的主要功能包括动态路由匹配、嵌套路由、编程式导航、命名路由、路由守卫等 Vue Router 原理 单页应用&#x…...
Tauri v1 与 v2 配置对比
本文档对比 Tauri v1 和 v2 版本的配置结构和内容差异，帮助开发者了解版本变更并进行迁移。 配置结构变化 v1 配置结构 {"package": { ... },"tauri": { "allowlist": { ... },"bundle": { ... },"security":…...
详解 MyBatis-Plus 框架中 QueryWrapper 类
QueryWrapper 一、 QueryWrapper 的概念为什么需要 QueryWrapper？ 二、 QueryWrapper 的基本使用1. 创建 QueryWrapper 实例2. 添加查询条件3. 执行查询 三、 QueryWrapper 的常见方法1. 基本条件方法1.1 eq - 等于1.2 ne - 不等于1.3 gt - 大于1.4 ge - 大于等于1.…...
小米MiMo-7B大模型：解锁推理潜力的新传奇！
在大语言模型（LLMs）蓬勃发展的时代，推理能力成为衡量模型优劣的关键指标。今天为大家解读的这篇论文，介绍了小米的MiMo-7B模型，它通过独特的预训练和后训练优化，展现出强大的推理实力，快来一探究…...
)
联邦学习的收敛性分析(全设备参与，不同本地训练轮次)
联邦学习的收敛性分析 在联邦学习中，我们的目标是分析全局模型的收敛性，考虑设备异构性（不同用户的本地训练轮次不同）和数据异质性（用户数据分布不均匀）。以下推导从全局模型更新开始，逐步引入假设并推导期望损失的递减关系，最终给出收敛性结论。 1. 全局模型更新与泰…...
硬件工程师面试常见问题（10）
第四十六问：锁存器，触发器，寄存器三者的区别 触发器：能够存储一位二值信号的基本单元电路统称为 "触发器"。（单位） 锁存器：一位触发器只能传送或存储一位数据，而在实际工…...
1295. 统计位数为偶数的数字
题目 解法一 遍历数组挨个判断元素位数并统计（我的第一想法） class Solution { public:int findNumbers(vector<int>& nums) {int result 0;for(int n: nums){if(judge(n)) result;}return result;}bool judge(int a){int sum 1;a a / 10…...
3.1/Q1，Charls最新文章解读
文章题目：Social participation patterns and associations with subsequent cognitive function in older adults with cognitive impairment: a latent class analysis DOI：10.3389/fmed.2025.1493359 中文标题：认知障碍老年人的社会参与模…...
楼宇智能化四章【期末复习】
四、火灾自动报警系统 结构组成：火灾探测器、区域报警器、集中报警器 形式：1. 多线制系统 2.总线制系统 3.集中智能系统 4.分布智能系统 5.网络通信系统 工作原理： 以下是关于火灾自动报警系统及相关灭火系统的详细解答： 1. 火灾自动报警系统有哪几种形式？ 区…...
Splunk 使用Role 实现数据隔离
很多人知道 Splunk 有很多自带的Role, 今天我就要说说定制化的Role: 1: 在创建新role 的界面: 2: 在如下的界面，可以定制allow index name： 3： 创建好新Role 后，在SAML 添加新的group 的时候，就可以看到Role 给某个group： 4： 这样一个特定组的人来申请Splunk 权限，就可…...
Learning vtkjs之ImplicitBoolean
隐式函数布尔操作 介绍 vtkImplicitBoolean 允许对隐式函数（如平面、球体、圆柱体和盒子）进行布尔组合。操作包括并集、交集和差集。可以指定多个隐式函数（所有函数都使用相同的操作进行组合）。 支持的操作：‘UNION…...
LabelVision - yolo可视化标注工具
LabelVision是一款可视化图像标注工具,主要用于计算机视觉研究中的各种标注任务。 支持多边形、矩形、圆形等多种标注方式，并且可以输出JSON、COCO等多种数据格式，方便与其他软件和框架进行集成和互操作。 通过它可以很轻易的对图像进行标注,适合Y…...
系统分析师-第十五章
学习目标 通过参加考试，训练学习能力，而非单纯以拿证为目的。 1.在复习过程中，训练快速阅读能力、掌握三遍读书法、运用番茄工作法。 2.从底层逻辑角度理解知识点，避免死记硬背。 3.通过考试验证学习效果。 学习阶段 快速阅读 …...