当前位置：首页 > news >正文

神经网络之损失函数

news 来源：原创 2025/8/24 11:21:26

引言：损失函数 （Loss Function）是机器学习和深度学习中非常重要的一个概念。用于衡量模型的预测值与真实值之间的差异，从而指导模型优化其参数以最小化这种差异。

一、损失函数作用

在这里插入图片描述

量化误差：损失函数是将预测值和真实值之间的差异转化为一个标量值。
优化目标：通过最小化损失函数，模型可以逐步调整参数以提高预测的准确性，用来优化模型参数。
评估模型性能：反映模型预测结果与目标值的匹配程度。

二、常见损失函数

1. 回归问题

损失函数	公式	特点	适用场景
均方误差（MSE）	$\frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2$	放大误差，对离群点敏感	标准线性回归
平均绝对误差（MAE）	$\frac{1}{n} \sum_{i=1}^{n} \vert y_i - \hat{y}_i\vert$	抗噪强，优化不稳定	离群点多的回归
Huber Loss	$\begin{cases} \frac{1}{2}(y_i - \hat{y}_i)^2 & \text{if } \vert y_i - \hat{y}_i\vert \leq \delta \\ \delta \vert y_i - \hat{y}_i\vert - \frac{1}{2}\delta^2 & \text{其他} \end{cases}$	平衡 MAE 和 MSE	鲁棒回归任务
Log-Cosh Loss	$\sum \log(\cosh(\hat{y} - y))$	平滑的 MAE	对离群点略鲁棒

2. 分类问题

损失函数	公式	特点	适用场景
交叉熵损失（Binary Cross Entropy）	$-\frac{1}{n} \sum_{i=1}^{n} \left[ y_i \log(\hat{y}_i) + (1 - y_i) \log(1 - \hat{y}_i) \right]$	二分类	逻辑回归、二分类神经网络
交叉熵损失（Categorical Cross Entropy）	$-\frac{1}{n} \sum_{i=1}^{n} \sum_{j=1}^{k} y_{ij} \log(\hat{y}_{ij})$	多分类	Softmax 输出
稀疏分类交叉熵（Sparse Categorical Cross Entropy）	使用类索引而不是 one-hot	节省内存	类别数较多
Focal Loss	添加调节因子处理样本不平衡	小样本分类	检测、医学图像分类

3. 其他问题

损失函数	应用	说明
相对熵（KL Divergence）	分布拟合	常见于 NLP / VAE
Contrastive Loss	度量学习	Siamese 网络
Triplet Loss	排序学习	图像识别、人脸匹配
CTC Loss	序列对齐	语音识别、OCR 等
Dice Loss / IoU Loss	图像分割	非常常用于医学图像

三、如何选择损失函数

任务类型	输出形式	推荐损失函数	PyTorch API
回归（无离群）	连续数值	MSE	`nn.MSELoss()`
回归（有离群）	连续数值	MAE / Huber	`nn.L1Loss()` / `nn.HuberLoss()`
二分类	概率（Sigmoid）	Binary Cross Entropy	`nn.BCELoss()` / `nn.BCEWithLogitsLoss()`
多分类	概率（Softmax）	Cross Entropy	`nn.CrossEntropyLoss()`
多标签分类	多个 Sigmoid 输出	`nn.BCEWithLogitsLoss()`	多标签分类问题
图像分割	概率图	Dice Loss / Cross Entropy	自定义 Dice Loss
NLP（语言模型）	词分布	KL Divergence / CE	`nn.KLDivLoss()` / `nn.CrossEntropyLoss()`
度量学习	特征嵌入	Contrastive / Triplet	自定义损失函数

四、举个🌰

import numpy as np# 真实值和预测值
y_true = np.array([1.0, 2.0, 3.0])
y_pred = np.array([1.2, 1.8, 2.5])# 1. 均方误差 (MSE)
mse = np.mean((y_true - y_pred) ** 2)
print(f"均方误差: {mse:.4f}")# 2. 均绝对误差 (MAE)
mae = np.mean(np.abs(y_true - y_pred))
print(f"均绝对误差: {mae:.4f}")# 3. Huber损失 (delta=1.0)
delta = 1.0
diff = np.abs(y_true - y_pred)
huber = np.mean(np.where(diff <= delta, 0.5 * diff ** 2, delta * diff - 0.5 * delta ** 2))
print(f"Huber损失: {huber:.4f}")# 4. 二分类交叉熵 (假设y_true是0/1标签，y_pred是概率)
y_true_binary = np.array([0, 1, 1])
y_pred_binary = np.array([0.2, 0.8, 0.9])
cross_entropy = -np.mean(y_true_binary * np.log(y_pred_binary + 1e-10) + (1 - y_true_binary) * np.log(1 - y_pred_binary + 1e-10))
print(f"二分交叉熵: {cross_entropy:.4f}")

均方误差: 0.1100
均绝对误差: 0.3000
Huber损失: 0.0550
二分交叉熵: 0.1839

五、总结

损失函数是机器学习和深度学习中不可或缺的一部分，合理选择和设计损失函数可以显著提高模型的性能。

神经网络之损失函数

引言：损失函数 （Loss Function）是机器学习和深度学习中非常重要的一个概念。用于衡量模型的预测值与真实值之间的差异，从而指导模型优化其参数以最小化这种差异。一、损失函数作用量化误差：损失函数是将预测值和真实…...

编程日记 2025/8/24 11:21:26

在Ubuntu内网环境中为Gogs配置HTTPS访问(通过Apache反向代理使用IP地址)

一、准备工作确保已安装Gogs并运行在HTTP模式(默认端口3000) 确认服务器内网IP地址(如192.168.1.100) 二、安装Apache和必要模块 sudo apt update sudo apt install apache2 -y sudo a2enmod ssl proxy proxy_http rewrite headers 三、创建SSL证书 1. 创建证书存储目录…...

编程日记 2025/8/24 6:53:19

printf

printf() 是 C 和 C 标准库中的一个输出函数，位于 <cstdio> 头文件中。下面为你详细介绍它的相关知识点。 1. 基本使用 printf() 函数的作用是按照指定格式将数据输出到标准输出设备（通常是控制台）。其基本语法如下： cpp …...

编程日记 2025/8/19 2:55:19

Leetcode 311 Sparse Matrix Multiplication 稀疏矩阵相乘

Problem Given two sparse matrices A and B, return the result of AB. You may assume that A’s column number is equal to B’s row number. Example: A [[ 1, 0, 0],[-1, 0, 3] ]B [[ 7, 0, 0 ],[ 0, 0, 0 ],[ 0, 0, 1 ] ]| 1 0 0 | | 7 0 0 | | 7 0 0 | AB …...

编程日记 2025/8/24 13:20:13

mysql和sqlite关于data数据的识别问题

<input type"date" name"birthday" value""> # 表单传入的日期 birthday request.form.get(birthday) # 获取日期 birthday Column(birthday, Date, comment出生日期, nullableTrue) # 数据库的数据字段模型 birthday_str request…...

编程日记 2025/8/24 13:23:43

2024 天梯赛——工业园区建设题解

思路将点 i i i 视为固定点， 点 j j j 视为灵活点，其中 s i 1 s_{i} 1 si1， s j 0 s_{j} 0 sj0。维护四个队列，其中 q 0 q_{0} q0 和 q 1 q_{1} q1 分别维护还没有被选用的固定点和灵活点， Q 0 Q…...

编程日记 2025/8/22 9:16:06

亚马逊AI新功能上线：5大亮点解锁精准消费预测

在人工智能技术不断重塑跨境电商生态之际，全球电商巨头亚马逊（Amazon）再次迈出关键一步。近日，亚马逊正式对其卖家中心推出一系列基于AI的新功能，聚焦于消费数据预测、用户行为洞察、库存智能管理与个性化营销服务等方…...

编程日记 2025/8/20 17:25:52

opus+ffmpeg+c++实现录音

说明： opusffmpegc实现录音效果图： step1:C:\Users\wangrusheng\source\repos\WindowsProject1\WindowsProject1\WindowsProject1.cpp // WindowsProject1.cpp : 定义应用程序的入口点。 //#include "framework.h" #include "Windows…...

编程日记 2025/8/24 13:20:18

ComfyUI的本地私有化部署使用Stable Diffusion文生图

什么是ComfyUI ？ ComfyUI是一个基于节点流程的Stable Diffusion操作界面。以下是关于它的详细介绍： 特点与优势高度可定制：提供丰富的节点类型，涵盖文本处理、图像处理、模型推理等功能。用户可根据需求自由组合节点&#xff0…...

编程日记 2025/8/24 13:17:15

【学习笔记17】Windows环境下安装RabbitMQ

一. 下载RabbitMQ（ 需要按照 Erlang/OTP 环境的版本依赖来下载） (1) 先去 RabbitMQ 官网，查看 RabbitMQ 需要的 Erlang 支持：https://www.rabbitmq.com/ 进入官网，在 Docs -> Install and Upgrade -> Erlang V…...

编程日记 2025/8/24 13:23:00

【LeetCode 热题100】55：跳跃游戏（详细解析）（Go语言版）

🚀 LeetCode 热题 55：跳跃游戏（Jump Game）完整解析 📌 题目描述给定一个非负整数数组 nums，你最初位于数组的第一个下标。数组中的每个元素代表你在该位置可以跳跃的最大长度。判断你是否能够到达最后一…...

编程日记 2025/8/17 23:21:57

OpenCV轮廓检测全面解析：从基础到高级应用

一、概述轮廓检测是计算机视觉中的基础技术，用于识别和提取图像中物体的边界。与边缘检测不同，轮廓检测更关注将边缘像素连接成有意义的整体，形成封闭的边界。轮廓检测的核心价值 - 物体识别：通过轮廓可以识别图像中的独立物体…...

编程日记 2025/8/21 18:24:56

微服务入门：Spring Boot 初学者指南

大家好，这里是架构资源栈！点击上方关注，添加“星标”，一起学习大厂前沿架构！ 微服务因其灵活性、可扩展性和易于维护性而成为现代软件架构的重要组成部分。在本博客中，我们将探讨如何使用 Spring Boot 构建…...

编程日记 2025/8/20 7:31:28

Windows环境下开发pyspark程序

Windows环境下开发pyspark程序一、环境准备 1.1. Anaconda/Miniconda（Python环境） 如果不怕包的版本管理混乱，可以直接使用已有的Python环境。需要安装anaconda/miniconda（python3.8版本以上）：Anaconda…...

编程日记 2025/8/23 7:27:16

嵌入式学习笔记——大小端及跳转到绝对地址

大小端以及跳转到绝对地址 0x100000 嵌入式编程中的大小端详解一、大端模式与小端模式二、判断当前系统是大端还是小端方法一：指针强制类型转换方法二：使用联合体（union） 三、结构体位段和大小端的影响四、大小端影响内存的 memc…...

编程日记 2025/8/24 13:22:08

eprime相嵌模式实验设计

一、含义与模型结构该模式的实验设计至少由两个存储不同实验材料及属性的List和一个核心实验过程CEP组成。子list1和 list2相嵌在父List中，CEP 可以调用List中的材料，也可以调用list1和list2中的材料。二、相嵌模式的应用应用于解决“多重随…...

编程日记 2025/8/23 23:08:09

编译uboot的Makefile编写

make ARCHarm CROSS_COMPILEarm-linux-gnueabihf- distcleanmake ARCHarm CROSS_COMPILEarm-linux-gnueabihf- mx6ull_14x14_ddr512_emmc_defconfigmake V1 ARCHarm CROSS_COMPILEarm-linux-gnueabihf- -j12 这三条命令中 ARCHarm 设置目标为 arm 架构， CROSS_COMP…...

编程日记 2025/8/24 13:17:13

Go语言常用算法实现

以下是Go语言中常用的算法实现，涵盖排序、搜索、数据结构操作等核心算法。一、排序算法 1. 快速排序 func QuickSort(arr []int) []int {if len(arr) < 1 {return arr}pivot : arr[0]var left, right []intfor i : 1; i < len(arr); i {if arr[i] < pi…...

编程日记 2025/8/24 13:22:08

Windows上使用NSSM注册定时服务

适用和不适用场景适用场景持续运行的脚本或程序（如 Laravel 的 schedule:run 每分钟检查任务）后台常驻的任务或服务（如监听服务、实时同步） 不适用场景低频次任务（如每日/每周备份） NSSM 常驻内存…...

编程日记 2025/8/20 7:43:02

【Gorm】模型定义

intro package mainimport ("gorm.io/gorm""gorm.io/driver/sqlite" // GORM 使用该驱动来连接和操作 SQLite 数据库。 )type Product struct {gorm.Model // 嵌入GORM 内置的模型结构，包含 ID、CreatedAt、UpdatedAt、DeletedAt 四个字段Cod…...

编程日记 2025/8/24 13:23:43

程序化广告行业（65/89）：AdX/SSP系统深度剖析与实战要点

程序化广告行业（65/89）：AdX/SSP系统深度剖析与实战要点大家好！一直以来，我都对程序化广告领域充满热情，这个领域发展迅速且不断涌现新的技术和模式。之前我们探讨了程序化广告的一些基础内容，…...

编程日记 2025/8/24 1:08:17

算法刷题记录——LeetCode篇(2.7) [第161~170题](持续更新)

更新时间：2025-04-06 算法题解目录汇总：算法刷题记录——题解目录汇总技术博客总目录：计算机技术系列博客——目录页优先整理热门100及面试150，不定期持续更新，欢迎关注！ 169. 多数元素给定一个大小为…...

编程日记 2025/8/24 13:22:59

conda安装指定版本python环境

1. 创建指定 Python 版本的环境使用以下命令创建环境，并将 <env_name> 替换为你的环境名称，<python_version> 替换为具体的 Python 版本（如 3.8, 3.9 等） conda create -n <env_name> python<python_vers…...

编程日记 2025/8/24 13:24:38

PH热榜 | 2025-04-05

1. Comp AI 标语：开源的 Vanta 和 Drata 替代方案介绍：这款开源的 Drata 和 Vanta 替代方案，能够帮助你在几周内，轻松满足 SOC 2、ISO 27001 和 GDPR 等合规框架的要求，而不是像往常那样拖延数月。产品网站&#…...

编程日记 2025/8/21 11:27:42

C++之红黑树

目录一、红黑树的概念 1.1、红黑树的规则 1.2、红黑树如何确保最长路径不超过最短路径的二倍 1.3、红黑树的效率二、红黑树的实现 2.1、红黑树的结构 2.2、红黑树的插入 2.2.1、红黑树插入一个值的大概过程 2.2.2、情况一：变色 2.2.3、情…...

编程日记 2025/8/24 5:38:10

各个语言对不同数据结构的叫法

一、基础数据结构对比数组（Array）‌ C/C‌：固定大小数组（int arr），动态数组通过vector（C）实现 ‌ Java‌：固定数组（int[]），动态数组…...

编程日记 2025/8/19 2:55:22

蓝桥杯 web 水果拼盘（css3）

做题步骤： 看结构：html 、css 、f12 分析: f12 查看元素，你会发现水果的高度刚好和拼盘的高度一样，每一种水果的盘子刚好把页面填满了，所以咱们就只要让元素竖着排列，加上是竖着，排不下的换行…...

编程日记 2025/8/21 13:50:31

算法专题(八)：分治-归并排序

目录一、排序数组 1.1 题目 2.2 思路 2.3 代码实现二、LCR 170. 交易逆序对的总数 （数组中的逆序对） 2.1 题目 2.2 思路方法一：快速统计出某个数前面有多少个数比它大方法二：快速统计出某个数后面有多少个数比它小 …...

编程日记 2025/8/21 9:57:27

51单片机使用定时器实现LCD1602的时间显示（STC89C52RC）

本文前半部分直接给出实现（注意进位问题是秒->分->小时，用 if 嵌套即可实现），后半部分讲解定时器和中断系统。效果展示： LCD1602电路图： 项目结构： 代码实现： main.c #…...

编程日记 2025/8/21 11:04:51

微软2025年AI技术深度解析：从多模态大模型到企业级代理服务

微软2025年AI技术深度解析：从多模态大模型到企业级代理服务一、微软AI技术全景概览在2025年的AI领域，微软通过Azure AI Foundry、多模态大模型、企业级AI代理三大核心技术，构建了覆盖开发、部署、应用全流程的AI生态体系。根据最新财报数…...

编程日记 2025/8/21 13:43:43

24 设计模式总结

设计模式分类（意图） • 创建型模式：创建对象的机制，从所需要实例化的对象中解耦。 • 结构型模式：将对象或类组装到更大的结构中。 • 行为型模式：负责对象间的交互和分配职责。分类的目的是为了更抽象的了…...

编程日记 2025/8/22 4:38:03

【ARTS】2873.有序三元组中的最大值!

前言仅做学习使用，侵删什么是ARTS？ 算法(Algorithm): 每周至少一道LeetCode算法题，加强编程训练和算法学习阅读(Review)： 阅读并点评至少一篇英文技术文章，提高英文水平技巧 (Tip)：学习至少一个技…...

编程日记 2025/8/22 7:37:33

Mysql进阶

目录一.Mysql架构 1.连接层 2.服务层 3.引擎层 4.物理文件存储层二.Mysql引擎 1.InnoDB 2.MyISAM 三.索引 1.什么是索引 2.为什么要有索引 3.索引的原理 4.索引优势 5.索引劣势 6.索引分类主键索引唯一索引单值索引组合索引（复合索引&#…...

编程日记 2025/8/20 5:33:57

探秘JVM内部

在我们编写Java代码，点击运行后，会发生什么事呢？ 首先，Java源代码会经过Java编译器将其编译成字节码，放在.class文件中然后这些字节码文件就会被加载到jvm中，然后jvm会读取这些文件，调用相关…...

编程日记 2025/8/21 14:57:55

c语言学习12天

c语言的宏定义：宏定义单纯的文本替换不会检查语法是否合法 #include #pragma 以及开头的#都属于预处理指令预处理指令：在gcc编译套件中的cpp预处理器对程序进行编译之前所做的一些动作，如#include预处理指令就是在程序编译之前有预处理器…...

编程日记 2025/8/22 2:28:29

公司内网部署离线deepseek本地模型实战

企业内部可能有些数据比较敏感，不能连接互联网。deepseek来提高工作效率，这个时候你可以利用ollama在内网本地部署来实现。本式样是先在自己电脑上用虚拟机部署好，再用U盘把虚拟机文件复制到内网去。一、使用VMware新建WIN2022虚拟机 &a…...

编程日记 2025/8/20 18:19:11

rocketmq中的延迟队列使用详解

RocketMQ的延迟队列通过预设的延迟等级实现消息的定时投递，适用于订单超时、定时通知等高并发场景。以下是其核心原理、使用方式及优化策略的详细解析： 一、实现原理延迟等级机制 RocketMQ默认提供18个固定延迟等级（1s、5s、10s、30s、1m、2…...

编程日记 2025/8/23 21:01:14

VB.NET Asp.Net Core模板WebAPI应用-宝塔面板Linux系统通过Docker部署

宝塔面板支持在Linux系统上部署Docker容器吗？ 如何在宝塔面板上通过Docker部署VB.NET应用？ Docker容器中的VB.NET Asp.Net Core WebAPI应用如何配置？ 一,首先,创建一个ASP.NET Core测试项目 1.1 打开VS2019/2022,创建一个.NTE6 Core控制台应…...

编程日记 2025/8/22 5:11:24

4985 蜗牛

4985 蜗牛 ⭐️难度：中等 ⭐️考点：2023、省赛、动态规划 📖 📚 import java.util.Scanner; // 1:无需package // 2: 类名必须Main, 不可修改public class Main {public static void main(String[] args) {Scanner sc new Sc…...

编程日记 2025/8/22 23:22:39

springboot多模块工程打包部署运行

1、问题概述？基于实际项目打包过程，各种配置面面俱到，已配置的可跳过。本文以打包jar包为模板进行操作，部署方便。在实际的开发中，项目的模块可能较多，如果都放在一个项目的目录中，势必会造成项目包中的文件冗余，难以管理，这个时候就需要使用多模块管理项目。 …...

编程日记 2025/8/23 4:29:17

吴恩达深度学习复盘(8)神经网络中激活函数的建模

激活函数的建模原理到目前为止，在隐藏层等一直使用激活函数，最初通过逻辑回归建立新网络，组合多个逻辑回归单元。这表明激活函数在神经网络构建中一直存在，且最初的网络构建方式与逻辑回归相关。实际上，激活函数的种类…...

编程日记 2025/8/21 17:20:34

1-linux的基础知识

一.linux的文件系统结构 windows文件系统微软windows系统将硬盘上的几个分区，用A: B: C: D:等符号标识。存取文件时一定要清楚放在那个磁盘的那个目录下。 linux文件系统 linux文件系统的组织模式犹如一颗倒置的树，这与windows文件系统有很大的差别…...

编程日记 2025/8/23 1:10:28

docker 常用命令

文章目录一、帮助启动类命令启动docker停止docker重启docker查看docker状态开机自启查看docker概要信息二、镜像命令列出本地主机上的镜像搜索镜像拉取镜像查看镜像所占空间删除镜像三、容器命令新建运行容器交互式启动容器守护进程式启动容器列出当前所有的容器进入容器之后…...

编程日记 2025/8/22 16:18:54

使用docker搭建redis镜像时云服务器无法访问到国外的docker官网时如何解决

下载redis镜像 docker redis:版本号此时截图中无法访问到国外的docker官网解决方案： 通过更换镜像源来正常下载redis镜像 sudo mkdir -p /etc/docker sudo tee /etc/docker/daemon.json <<EOF {"registry-mirrors": ["https://docker.1…...

编程日记 2025/8/21 11:50:03

基于Python的人脸识别校园考勤系统

【Python】基于Python的人脸识别校园考勤系统 （完整系统源码开发笔记详细部署教程）✅ 目录一、项目简介二、项目界面展示三、项目视频展示一、项目简介 🌟 该系统主要分为前端和后端两个部分，前端👀负责人脸采集、人…...

编程日记 2025/8/22 19:24:25

微信小程序学习实录11:startLocationUpdateBackground:fail auth deny

startLocationUpdateBackground:fail auth deny 表明小程序在尝试开启后台位置更新时，用户授权被拒绝。以下是可能的原因及解决方法： 原因分析缺少必要的用户授权： 使用 wx.startLocationUpdateBackground 接口需要用户授予 scope.userLo…...

编程日记 2025/8/23 8:53:53

DAPP实战篇：规划下我们的开发线路

前言在DApp实战篇：先用前端起个项目一文中我们起了一个前端项目，在后续开发中笔者将带领大家一步步完成这个DAPP，为了方便后续讲解，本篇将完整说明后续我们要进行的开发和思路。主打前端实际上一个完整的DAPP是由前端和智能…...

编程日记 2025/8/19 17:47:16

docker配置redis容器时配置文件docker-compose.yml示例

1.配置数据节点（主从节点） version: 3.7 services:master:image: redis:5.0.9container_name: redis-masterrestart: alwayscommand: redis-server --appendonly yesports:- 6379:6379slave1:image: redis:5.0.9container_name: redis-slave1restart: a…...

编程日记 2025/8/20 4:47:55

清晰易懂的 Jenkins 安装与核心使用教程

Jenkins 是业界领先的开源自动化服务器，用于实现持续集成与持续交付（CI/CD）。本教程将覆盖安装部署、核心功能配置、避坑指南，助你快速掌握企业级自动化流水线搭建！ 一、Jenkins 安装（全平台指南&#xff…...

编程日记 2025/8/22 16:47:49

anomalib—2—输入图像大小调整

三个地方第一：在定义model时，要在pre_processor里面去定义一个前处理，前处理就一个功能，定义图像的大小 pre_processor0 Patchcore.configure_pre_processor( image_size (128, 128)) model Patchcore( backbone"wide_r…...

编程日记 2025/8/19 16:04:15