当前位置：首页 > news >正文

深度学习中的损失函数

news 来源：原创 2025/7/5 0:10:04

损失函数是深度学习模型训练过程中不可或缺的一部分，是模型预测值与真实值之间差异的客观衡量标准。它们是模型训练的基础，指导算法调整模型参数，以最小化损失并提高预测准确性。它们衡量了模型预测值与真实值的吻合程度。通过最小化这种损失，模型可以学会做出更准确的预测。在训练时，我们的目标是最小化预测值和真实值之间的损失。深度学习模型的目标是最小化这个损失函数。

损失函数是一种数学函数，用于衡量模型预测值与真实值的匹配程度。它为模型预测的准确性提供了量化指标(quantitative metric)，可用于指导模型的训练过程，用于评估算法对数据集的建模效果。如果损失函数的值较低，则表明模型运行良好，否则我们必须更改模型参数以减少或最小化损失。它指导学习算法(learning algorithm)在训练期间调整模型的参数，即权重和偏置。损失函数的目标是指导优化算法调整模型参数，以减少随时间推移的损失。在训练过程中，梯度下降(Gradient Descent)等算法使用损失函数来调整模型的参数，即权重和偏置，旨在减少误差并改善模型的预测。通过量化预测值和真实值之间的差异，损失函数为评估模型的性能提供了基准(benchmark)，损失值越低，通常表示性能越好。损失函数的选择会影响学习动态(learning dynamics)，包括模型学习的速度以及哪种错误受到的惩罚(penalized)更重。不同的损失函数可以导致不同的学习行为和结果。

损失函数有多种形式，每种形式适用于不同类型的问题。选择正确的损失函数(loss function)对于训练深度学习模型非常重要。损失函数的选择会显著影响模型的性能，因此根据手头的具体任务选择合适的损失函数至关重要。损失函数可分为两种主要类型：回归损失函数和分类损失函数。如果我们要预测的值是连续数值，例如房价或温度，那么我们要执行的任务就是回归任务。如果要预测的值是离散值，那么任务就是分类。

损失函数与成本函数：

(1).损失函数：通常用于衡量单个训练样本的预测值与真实值之间的误差。损失函数将误差量化为一个实数，表示错误预测的"成本"或"惩罚"。然后可以使用此误差调整模型的参数，以减少未来预测中的误差。大多数模型使用梯度下降或其变体来最小化损失函数，该算法计算损失函数相对于模型参数的梯度，并沿梯度的相反方向更新参数。

(2).成本函数：通常是对所有训练样本损失函数的平均或总和，表示了整个数据集上模型预测的总体误差。

PyTorch中损失函数的实现在：torch/nn/modules/loss.py ，支持的损失函数有：L1Loss, NLLLoss, NLLLoss2d, PoissonNLLLoss, GaussianNLLLoss, KLDivLoss, MSELoss, BCELoss, BCEWithLogitsLoss, HingeEmbeddingLoss, MultiLabelMarginLoss, SmoothL1Loss, HuberLoss, SoftMarginLoss, CrossEntropyLoss, MultiLabelSoftMarginLoss, CosineEmbeddingLoss, MarginRankingLoss, MultiMarginLoss, TripletMarginLoss, TripletMarginWithDistanceLoss, CTCLoss

1.Mean Squared Error(MSE) Loss:

(1).函数：nn.MSELoss

(2).用途：可微分，适合基于梯度的优化算法。用于预测连续值的问题，例如回归问题。

(3).说明：计算预测值与真实值之间的平方差的平均值。它对较大的错误施加更严厉的惩罚(显著增加损失值)，对异常值很敏感。

2.Mean Absolute Error(MAE) Loss:

(1).函数：nn.L1Loss

(2).用途：用于预测连续值的回归问题。

(3).说明：计算预测值与真实值之间绝对差的平均值。与MSE相比，对异常值的敏感度较低。在零处不可微(不能直接应用梯度下降)，这可能会给某些优化算法带来问题。

3.Huber Loss：

(1).函数：nn.HuberLoss

(2).用途：可用于解决回归问题。

(3).说明：结合了MSE和MAE的优点。与MSE相比，它对异常值的敏感度较低；与MAE不同，它处处可微。对异常值具有鲁棒性，可在MSE和MAE之间实现平衡(如果真实值与预测值之间的绝对差小于或等于阈值delta，则应用MSE。否则，如果误差足够大，则应用MAE)。可微分，便于基于梯度的优化。使用时，有个delta超参数的取值需要微调。如果回归数据中有异常值，使用MAE或HuberLoss而不是MSE。

4.Smooth L1 Loss：

(1).函数：nn.SmoothL1Loss

(2).用途：可用于解决回归问题。

(3).说明：对小误差的行为类似于MSE，对大误差的行为类似于MAE。如果数据中有一些异常值，这是一个很好的折衷方案。

5.Binary Cross-Entropy(BCE) Loss：

(1).函数：nn.BCELoss

(2).用途：二元交叉熵损失(也称为对数损失)用于二元分类问题。

(3).说明：适合基于梯度的优化算法。对不平衡的数据集可能很敏感。可能存在多个局部极小值。

6.Binary Cross-Entropy with Logits Loss:

(1).函数：nn.BCEWithLogitsLoss

(2).用途：用于二分类问题，与BCELoss类似，但在数值上更稳定。

(3).说明：将sigmoid激活函数和二元交叉熵损失合并为一步。在处理非常小或非常大的概率时，它更稳定。

7.Cross-Entropy Loss：

(1).函数：nn.CrossEntropyLoss

(2).用途：用于多分类问题。

(3).说明：将softmax层和负对数似然损失(Negative Log-Likelihood Loss)合并为一步。

8.Kullback-Leibler Divergence Loss：

(1).函数：nn.KLDivLoss

(2).用途：通常用于概率建模任务。

(3).说明：测量两个概率分布之间的差异。对概率分布的细微差异很敏感。

9.Hinge Loss：

(1).函数：nn.HingeEmbeddingLoss

(2).用途：通常用于分类任务，尤其是二分类问题以及支持向量机(SVM)中。

(3).说明：在零处不可微。

10.Negative Log-Likelihood Loss：

(1).函数：nn.NLLLoss

(2).用途：用于具有log_softmax输出的分类问题。

(3).说明：仅适用于以softmax函数作为输出激活层的模型。

11.Focal Loss：

(1).用途：可有效解决类别不平衡问题。是对Cross-Entropy Loss的改编，更加专注于难以分类的示例。

(2).说明：使用时，有两个超参alpha和gamma的取值需要微调。

12.Dice Loss：

(1).用途：用于图像分割任务，对不平衡数据集特别有效。

(2).说明：它测量预测分割与ground truth之间的重叠。

用于二分类的损失函数：BCELoss、BCEWithLogitsLoss、HingeEmbeddingLoss

用于多分类的损失函数：CrossEntropyLoss、LLLoss

用于回归的损失函数：MSELoss、L1Loss(MAE)、SmoothL1Loss、HuberLoss

用于图像分割的损失函数：Focal Loss、Dice Loss

在某些情况下，这些损失函数可能不够用，在这些情况下，你可以编写自定义损失函数来满足你的特定条件。

注：以上整理的内容主要来自：

1. https://medium.com/

2. https://www.geeksforgeeks.org

3. https://neptune.ai

GitHub：https://github.com/fengbingchun/NN_Test

深度学习中的损失函数

损失函数是深度学习模型训练过程中不可或缺的一部分，是模型预测值与真实值之间差异的客观衡量标准。它们是模型训练的基础，指导算法调整模型参数，以最小化损失并提高预测准确性。它们衡量了模型预测值与真实值的吻合程度。通过最小化这种损失…...

编程日记 2025/7/5 0:10:04

android编译assets集成某文件太大更新导致git仓库变大

不知道大家有没有类似的困扰，你的工程assets文件过大，我曾经在某度车机地图团队工作过一段时间时候，每次发包会集成一个上百MB的文件。工作一段时间你的git仓库将会增加特别多。最后，你会发现你如果重新git clone这个仓库会非常大…...

编程日记 2025/7/2 13:45:18

技术支持人员发现跨域问题，该如何处理

跨域问题通常是由于浏览器的同源策略（Same-Origin Policy）引起的。简而言之，浏览器阻止了一个域上的网页访问另一个域的资源，目的是为了安全性。跨域问题通常发生在以下场景： 在一个网站的前端应用程序（如…...

编程日记 2025/7/4 23:57:14

有 SpringBoot 助力，广场舞团解锁花式舞步密码

3 系统分析 3.1 系统可行性分析 3.1.1 经济可行性由于本系统是作为毕业设计系统，且系统本身存在一些技术层面的缺陷，并不能直接用于商业用途，只想要通过该系统的开发提高自身学术水平，不需要特定服务器等额外花费。所有创造及工作…...

编程日记 2025/6/28 8:59:19

【推荐算法】单目标精排模型——FiBiNET

key word: 学术论文 Motivation： 传统的Embedding&MLP算法是通过内积和Hadamard product实现特征交互的，这篇文章的作者提出了采用SENET实现动态学习特征的重要性；作者认为简单的内积和Hadamard product无法有效对稀疏特征进行特征交互&a…...

编程日记 2025/6/28 19:56:54

从零开始学TiDB（3）TiKV 持久化机制

如图，每个TiKV有两个rocksdb实例，rocksdbKV复制存储键值对，rocksdb raft负责存储复制的日志。每个region及其副本构成了raft group。这个OB的Zone其实有点类似，在OB中每个Unit及其副本构成了paxos组，在TiDB中叫raft…...

编程日记 2025/7/3 13:49:15

集合ArrayList

黑马程序员Java的个人笔记 BV17F411T7Ao p111~p115 目录集合存储数据类型的特点创建对象 ArrayList 成员方法 .add 增加元素 .remove 删除元素 .set 修改元素 .get 查询元素 .size 获取长度基本数据类型对应的包装类 Character 练习返回多个数据集合存储…...

编程日记 2025/7/5 0:08:33

后端API接口设计标准（Java）

Controller 层（API接口） 无论是传统的三层架构还是现在的COLA架构，Controller 层依旧有一席之地，说明他的必要性；说它是配角是因为 Controller 层的代码一般是不负责具体的逻辑业务逻辑实现，但是它负责接收…...

编程日记 2025/6/28 19:32:40

Oracle Recovery Tools工具一键解决ORA-00376 ORA-01110故障（文件offline）---惜分飞

客户在win上面迁移数据文件,由于原库非归档,结果导致有两个文件scn不一致,无法打开库,结果他们选择offline文件,然后打开数据库 Wed Dec 04 14:06:04 2024 alter database open Errors in file d:\app\administrator\diag\rdbms\orcl\orcl\trace\orcl_ora_6056.trc: ORA-01113:…...

编程日记 2025/7/1 16:31:58

Python制做一个简易PDF编辑器——关于PDF文字编辑实现的思路

在Python零基础快速入门最后一篇，我们一起做了一个PDF编辑小工具，里面只实现的PDF翻页浏览等，并没有实现PDF的文字在线编辑，是因为在PDF编辑器中实现文字编辑功能是一个相对复杂的过程，因为PDF格式本质上是一个用于呈现…...

编程日记 2025/7/3 12:49:15

RabbitMQ如何保证消息不被重复消费

前言： 正常情况下，消费者在消费消息后，会给消息队列发送一个确认，消息队列接收后就知道消息已经被成功消费了，然后就从队列中删除该消息，也就不会将该消息再发送给其他消费者了。不同消息队列发出的确认消…...

编程日记 2025/7/1 15:15:43

Windows Terminal ssh到linux

1. windows store安装 Windows Terminal 2. 打开json文件配置 {"$help": "https://aka.ms/terminal-documentation","$schema": "https://aka.ms/terminal-profiles-schema","actions": [{"command": {"ac…...

编程日记 2025/7/1 20:34:06

vue实现页面自动滚动，鼠标悬浮暂停，移开继续

1、给div一个id <div class"kb_nei_new_left" id"chartsContainer">2、定义一个自动滚动的方法 autoSroll(Id) {// flag 为true时停止滚动var flag false;// 定时器var timer;function roll() {var h -1;timer setInterval(function () {flag …...

编程日记 2025/7/3 21:31:36

第3章：文本样式 --[CSS零基础入门]

CSS（层叠样式表）允许你以多种方式定制文本的外观。以下是一些常用的文本和字体相关的CSS属性： 1.字体字体系列当然，下面是两个使用不同字体系列的CSS示例。每个示例都展示了如何指定一个字体系列，并提供备用字体以确保在用户的系统中找不到首选字体时仍有合适的字体可…...

编程日记 2025/7/2 13:51:09

从视觉到雷达：多模态感知如何引领自动驾驶安全革命

文章目录摘要引言多模态感知融合的原理与架构感知技术的特点多模态感知融合的目标数据融合实现示例代码结构与主要组件模型定义 MultimodalFusionModel前向传播（forward 方法）模型细节剖析实践应用 QA环节总结参考资料摘要本文探讨了多模态感知技术…...

编程日记 2025/6/30 20:09:42

若依集成更好用的easyexcel

背景若依使用的是apach poi并在此基础上进行封装apach poi的原生的api是很复杂的，若依简化了了此操作apach poi的上传速率和下载速率都是没有优化的，依赖于文件大小的限制在此前提下，如果没法满足客户的需求（超大型文件的上传&am…...

编程日记 2025/7/2 1:23:48

大数据新视界 -- 大数据大厂之 Hive 数据导入：多源数据集成的策略与实战（上）（3/ 30）

💖💖💖亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的…...

编程日记 2025/7/3 1:26:46

线段树模板

单点修改 #include <bits/stdc.h> using namespace std; #define IOS ios::sync_with_stdio(false),cin.tie(nullptr); #define rep(i, x, y) for(int i(x), _(y);i<_;i) #define rrep(i, x, y) for(int i(x), _(y);i>_;i--) #define all(x) x.begin(),x.end() #d…...

编程日记 2025/7/2 0:48:10

算法刷题Day15: BM37 二叉搜索树的最近公共祖先

题目链接描述给定一个二叉搜索树, 找到该树中两个指定节点的最近公共祖先。 1.对于该题的最近的公共祖先定义:对于有根树T的两个节点p、q，最近公共祖先LCA(T,p,q)表示一个节点x，满足x是p和q的祖先且x的深度尽可能大。在这里，一个节点也可以…...

编程日记 2025/7/2 13:15:18

正则表达式去除文本中括号()＜＞[]里的内容

一行文本中包含有各种括号，如()、<>、[]，我们希望把括号及括号内的内容0去除，可以通过正则表达式来实现。匹配() pattern r$[^)]*$ # 匹配()匹配一个左括号(，然后匹配0个或多个不是右括号的任意字符[^)]*&#xff0c…...

编程日记 2025/7/4 11:46:03

Environment Modules安装配置

Environment Modules安装配置 Environment Modules是一款用来管理计算机软件环境的软件，通过简单的命令来控制计算机环境变量。本文接受该软件的安装和配置方法系统： Linux OpenSUSE 15.6 软件版本： modules 5.5 依赖： gcc 7.5…...

编程日记 2025/7/3 23:37:59

constexpr、const和 #define 的比较

constexpr、const 和 #define 的比较一、定义常量 constexpr 定义：constexpr用于定义在编译期可求值的常量表达式。示例：constexpr int x 5;这里，x的值在编译期就确定为5。 const 定义：const表示变量在运行期间不能被修改&…...

编程日记 2025/7/2 22:50:48

STM32串口接收与发送(关于为什么接收不需要中断而发生需要以及HAL_UART_Transmit和HAL_UART_Transmit_IT的区别)

一、HAL_UART_Transmit和HAL_UART_Transmit_IT的区别 1. HAL_UART_Transmit_IT（非阻塞模式）： HAL_UART_Transmit_IT 是非阻塞的传输函数，也就是说，当你调用 HAL_UART_Transmit_IT 时，它不会等到数据完全发…...

编程日记 2025/7/1 23:28:39

如何制作“优美”PPT

目录 1.免费PPT模板网站： 2.免费有较好质量的图片网站： 免费图片资源免费透明PNG图片资源： 免费icon图片资源： 3.选择好的图片： 图片底色 4.要与不要千万不要： 一定要： 6.一些建议…...

编程日记 2025/7/3 3:31:49

5G模组AT命令脚本-控制模组进入飞行模式

控制模组进入飞行模式控制模组进入飞行模式控制模组进入飞行模式控制模组进入飞行模式 #!/bin/bash ## 5G模组采用USB3.0与上位机连接，usb接口在上位机上虚拟出多个port,其中一个可用于发送AT命令，控制模组 ## 本脚本控制模组进入飞行模式## flyin …...

编程日记 2025/7/2 16:49:13

计算机网络-Wireshark探索ARP

使用工具 Wiresharkarp: To inspect and clear the cache used by the ARP protocol on your computer.curl(MacOS)ifconfig(MacOS or Linux): to inspect the state of your computer’s network interface.route/netstat: To inspect the routes used by your computer.Brows…...

编程日记 2025/7/1 1:07:45

相关文章：