深度学习系列--02.损失函数
一.定义
损失函数（Loss Function）是机器学习和深度学习中用于衡量模型预测结果与真实标签之间差异的函数，它在模型训练和评估过程中起着至关重要的作用
二.作用
1.指导模型训练
- 提供优化方向：在训练模型时，我们的目标是调整模型的参数，使模型的预测结果尽可能接近真实结果。损失函数通过计算预测值与真实值之间的差异，为模型参数的调整提供了方向。例如在梯度下降算法中，会根据损失函数对参数的梯度来更新参数，使得损失函数的值逐渐减小，即模型朝着预测结果更准确的方向优化。
- 确定训练停止条件：训练过程通常会持续进行，直到损失函数的值收敛到一个较小的值或者达到预设的训练轮数等条件。损失函数的值可以作为判断模型是否已经训练好的一个重要依据。当损失函数不再明显下降时，我们可以认为模型已经达到了一个相对较好的状态，此时可以停止训练，防止过拟合等问题。
2.评估模型性能
- 衡量模型优劣：在模型训练完成后，需要对模型的性能进行评估。损失函数的值可以直观地反映模型在测试数据集上的表现。损失函数值越小，说明模型的预测结果与真实值越接近，模型的性能也就越好。通过比较不同模型在相同数据集上的损失函数值，我们可以选择出性能最优的模型。
- 比较不同算法和参数设置：在尝试不同的机器学习算法或对同一算法使用不同的参数设置时，损失函数可以帮助我们评估哪种算法或参数设置更优。例如在选择线性回归模型的正则化参数时，可以通过比较不同参数下模型的损失函数值，找到使损失最小的参数值，从而确定最优的模型配置
常见的损失函数包括均方误差（MSE）、交叉熵损失函数、绝对值损失函数等，不同的损失函数适用于不同的任务和数据类型，例如回归任务常用 MSE，分类任务常用交叉熵损失函数。
三.损失函数是如何指导模型训练的
以下以简单的线性回归模型和均方误差损失函数为例，说明损失函数是如何指导模型训练的：
假设我们有一组数据点(Xi,Yi),其中Xi是输入特征，Yi是对应的真实输出值，我们想要训练一个线性回归模型 y = wx + b 来拟合这些数据，这里w是权重，b是偏置。我们选择均方误差（MSE）作为损失函数，其计算公式为:
其中 y^i = wxi + b 是模型的预测值，n 是数据点的数量。
训练过程如下：
-
随机初始化参数
首先，随机初始化权重和偏置的值，例如w=0.5，b=0.2。此时模型的预测结果可能与真实值相差较大，损失函数的值也会比较大。
2. 计算损失值
3.计算梯度
接下来，需要计算损失函数对权重和偏置的梯度。根据求导公式可得：
4. 更新参数
5.重复迭代
重复步骤 2 到步骤 4，不断计算损失值、梯度，并更新参数。随着迭代的进行，损失函数的值会逐渐减小，模型的预测结果会越来越接近真实值。例如，经过多次迭代后，假设，，此时重新计算损失值：
此时损失函数值为 0，说明模型已经完美拟合了这组数据（在实际情况中，损失函数值通常不会恰好为 0，但会趋近于一个较小的值）。
通过以上过程可以看出，损失函数通过计算预测值与真实值的差异，得到损失值，并通过计算梯度为模型参数的更新提供方向，使得模型在训练过程中不断调整参数，以减小损失函数的值，从而逐渐提高模型的准确性。
四.常见的损失函数
1. 分类任务
交叉熵损失函数（Cross-Entropy Loss）
对数损失函数（Log Loss）
Hinge 损失函数
2. 回归任务
平均绝对误差损失函数（Mean Absolute Error, MAE）
平均绝对百分比误差损失函数（Mean Absolute Percentage Error, MAPE）
Huber 损失函数
3.其他
相关文章：
深度学习系列--02.损失函数
一.定义 损失函数（Loss Function）是机器学习和深度学习中用于衡量模型预测结果与真实标签之间差异的函数，它在模型训练和评估过程中起着至关重要的作用 二.作用 1.指导模型训练 提供优化方向：在训练模型时，我们的目…...
如何在自己mac电脑上私有化部署deep seek
在 Mac 电脑上私有化部署 DeepSeek 的步骤如下： 1. 环境准备 安装 Homebrew（如果尚未安装）： Homebrew 是 macOS 上的包管理工具，用于安装依赖。 /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com…...
攻防世界 fileclude
代码审计 WRONG WAY! <?php include("flag.php"); highlight_file(__FILE__);//高亮显示文件的源代码 if(isset($_GET["file1"]) && isset($_GET["file2"]))//检查file1和file2参数是否存在 {$file1 $_GET["file1"];$fi…...
Ubuntu24登录PostgreSql数据库的一般方法
命令格式如 psql -U user -d db 或者 sudo psql -U user -d db 修改配置 /etc/postgresql/16/main/postgresql.conf 改成md5，然后重新启动pgsql sudo systemctl restart postgresql...
)
3.5 Go(特殊函数)
目录 一、匿名函数 1、匿名函数的特点： 2、匿名函数代码示例 2、匿名函数的类型 二、递归函数 1. 递推公式版本 2. 循环改递归 三、嵌套函数 1、嵌套函数用途 2、代码示例 3、作用域 & 变量生存周期 四、闭包 1、闭包使用场景 2、代码示例 五、De…...
)
设计模式学习(三)
行为模式 职责链模式（Chain of Responsibility Pattern） 定义 它允许多个对象有机会处理请求，从而避免请求的发送者与接收者之间的耦合。职责链模式将这些对象连成一条链，并沿着这条链传递请求，直到有对象处理它为止…...
挑战项目 --- 微服务编程测评系统（在线OJ系统）
一、前言 1.为什么要做项目 面试官要问项目，考察你到底是理论派还是实战派？ 1.希望从你的项目中看到你的真实能力和对知识的灵活运用。 2.展示你在面对问题和需求时的思考方式及解决问题的能力。 3.面试官会就你项目提出一些问题，或扩展需求…...
堆（Heap）的原理与C++实现
1. 什么是堆？ 堆（Heap）是一种特殊的树形数据结构，通常用于实现优先队列。堆可以分为两种类型： 最大堆（Max Heap）：每个节点的值都大于或等于其子节点的值。最小堆（Min H…...
（10） 如何获取 linux 系统上的 TCP 、 UDP 套接字的收发缓存的默认大小，以及代码范例
（1） 先介绍下后面的代码里要用到的基础函数： 以及： （2） 接着给出现代版的 读写 socket 参数的系统函数 ： 以及： （3） 给出 一言的 范例代码，获取…...
linux 进程补充
环境变量 基本概念 环境变量(environment variables)一般是指在操作系统中用来指定操作系统运行环境的一些参数 如：我们在编写C/C代码的时候，在链接的时候，从来不知道我们的所链接的动态静态库在哪 里，但是照样可以链接成功&#…...
通过docker安装部署deepseek以及python实现
前提条件 Docker 安装：确保你的系统已经安装并正确配置了 Docker。可以通过运行 docker --version 来验证 Docker 是否安装成功。 网络环境：保证设备有稳定的网络连接，以便拉取 Docker 镜像和模型文件。 步骤一：拉取 Ollama Docker 镜像 Ollama 可以帮助我们更方便地管理…...
vim-plug的自动安装与基本使用介绍
vim-plug介绍 Vim-plug 是一个轻量级的 Vim 插件管理器，它允许你轻松地管理 Vim 插件的安装、更新和卸载。相较于其他插件管理器，vim-plug 的优点是简单易用，速度较快，而且支持懒加载插件（即按需加载） 自动…...
Python 自学秘籍：开启编程之旅，人生苦短，我用python。
从2009年，用了几次python后就放弃了，一直用的php，现在人工智能时代，完全没php什么事情。必须搞python了，虽然已经40多岁了。死磕python了。让滔滔陪着你一起学python 吧。 开启新世界 在当今人工智能化的时代ÿ…...
DRGDIP 2.0时代下基于PostgreSQL的成本管理实践与探索（上）
一、引言 1.1 研究背景与意义 在医疗领域的改革进程中， DRG/DIP 2.0 时代，医院成本管理的重要性愈发凸显。新的医保支付方式下，医院的收入不再单纯取决于医疗服务项目的数量，而是与病种的分组、费用标准以及成本控制紧密相关。这…...
swift 专题三 swift 规范一
一、Swift编码命名规范 对类、结构体、枚举和协议等类型的命名应该采用大驼峰法，如 SplitViewController。 文件名采用大驼峰法，如BlockOperation.swift。 对于扩展文件，有时扩展定义在一个独立的文件中，用“原始类型名 扩展名…...
Vue的状态管理：用响应式 API 做简单状态管理、状态管理库（Pinia ）
文章目录 引言单向数据流多个组件共享一个共同的状态I 用响应式 API 做简单状态管理使用 reactive()创建一个在多个组件实例间共享的响应式对象使用ref()返回一个全局状态II 状态管理库Pinia枚举状态管理引言 单向数据流 每一个 Vue 组件实例都在“管理”它自己的响应式状态了…...
排序算法--希尔排序
希尔排序是插入排序的改进版本，适合中等规模数据排序，性能优于简单插入排序。 // 希尔排序函数 void shellSort(int arr[], int n) {// 初始间隔（gap）为数组长度的一半，逐步缩小for (int gap n / 2; gap > 0; gap …...
HAL库 Systick定时器 基于STM32F103EZT6 野火霸道,可做参考
目录 1.时钟选择(这里选择高速外部时钟) 编辑 2.调试模式和时基源选择: 3.LED的GPIO配置 这里用板子的红灯PB5 4.工程配置 5.1ms的systick中断实现led闪烁 源码: 6.修改systick的中断频率 7.systick定时原理 SysTick 定时器的工作原理 中断触发机制 HAL_SYSTICK_Co…...
ESXI虚拟机中部署docker会降低服务器性能
在 8 核 16GB 的 ESXi 虚拟机中部署 Docker 的性能影响分析 在 ESXi 虚拟机中运行 Docker 容器时，性能影响主要来自以下几个方面： 虚拟化开销：ESXi 虚拟化层和 Docker 容器化层的叠加。资源竞争：虚拟机与容器之间对 CPU、内存、…...
前端 | JavaScript中的reduce方法
1. 什么是reduce reduce 方法是 JavaScript 中数组的重要方法之一，用于对数组中的元素进行累积计算。它接收一个回调函数作为参数，并返回一个最终计算结果。reduce 在许多场景下都非常有用，比如求和、数组扁平化、对象计数、数据转换等。 2…...
基于联合概率密度与深度优化的反潜航空深弹命中概率模型研究摘要
前言：项目题材来自数学建模2024年的D题，文章内容为笔者和队友原创，提供一个思路。 摘要 随着现代军事技术的发展，深水炸弹在特定场景下的反潜作战效能日益凸显，如何最大化的发挥深弹威力也成为重要研究课题。本文针对评估深弹投掷落点对命中潜艇概率的影响进行分析，综合利…...
将OneDrive上的文件定期备份到移动硬盘
背景： 我在oneDrive上存了很多文件，分布在多个文件夹中，也有套了好几层文件夹的情况。我希望每隔一段时间，将oneDrive上的所有文件向移动硬盘上拷贝一份，但是我只想将距离上一次向移动硬盘拷贝的文件相比，发…...
01vue3实战-----前言
01vue3实战-----前言 1.大前端时代2.技术栈3.项目大致展示4.创建Vue项目4.1Vue CLI4.2create-vue 5.参考资料 1.大前端时代 前端移动端iOS/android开发桌面端 window/mac 常用的electron框架来开发其它平台:穿戴设备、车载系统(智能汽车)、VR、AR…web3方向 2.技术栈 开发工…...
SQL 秒变三线表 sql导出三线表
🎯SQL 秒变三线表，校园小助手超神啦 宝子们，搞数据分析、写论文的时候，从 SQL 里导出数据做成三线表是不是特别让人头疼😩 手动调整格式，不仅繁琐，还容易出错，分分钟把人逼疯&#…...
C_位运算符及其在单片机寄存器的操作
C语言的位运算符用于直接操作二进制位，本篇简单结束各个位运算符的作业及其在操作寄存器的应用场景。 一、位运算符的简单说明 1、按位与运算符（&） 功能：按位与运算符对两个操作数的每一位执行与操作。如果两个对应的二进制…...
Rust错误处理：从灭火器到核按钮的生存指南
开篇：错误处理的生存哲学 在Rust的平行宇宙里，错误分为两种人格： panic! → 核按钮💣（不可恢复，全系统警报）Result → 灭火器🧯（可控制，局部处理࿰…...
YK人工智能（六）——万字长文学会基于Torch模型网络可视化
1. 可视化网络结构 随着深度神经网络做的的发展，网络的结构越来越复杂，我们也很难确定每一层的输入结构，输出结构以及参数等信息，这样导致我们很难在短时间内完成debug。因此掌握一个可以用来可视化网络结构的工具是十分有必要的…...
对象的实例化、内存布局与访问定位
一、创建对象的方式 二、创建对象的步骤: 一、判断对象对应的类是否加载、链接、初始化: 虚拟机遇到一条new指令，首先去检查这个指令的参数能否在Metaspace的常量池中定位到一个类的符号引用，并且检查这个符号引用代表的类是否已经被加载、解析和初始化…...
Java面试题2025-并发编程进阶（线程池和并发容器类）
线程池 一、什么是线程池 为什么要使用线程池 在开发中，为了提升效率的操作，我们需要将一些业务采用多线程的方式去执行。 比如有一个比较大的任务，可以将任务分成几块，分别交给几个线程去执行，最终做一个汇总就可…...
Vue Router 客户端路由解决方案：axios 响应拦截（跳转到登录页面）
文章目录 引言客户端路由 vs. 服务端路由简单的路由案例术语I Vue Router 提供的组件RouterLinkRouterViewII 创建路由器实例调用 createRouter() 函数创建路由选项III 注册路由器插件通过调用 use() 来完成注册路由器插件的职责对于组合式 API，Vue Router 给我们提供了一些组…...
Redis的通用命令
⭐️前言⭐️ 本文主要介绍Redis的通用命令 🍉欢迎点赞 👍 收藏 ⭐留言评论 🍉博主将持续更新学习记录收获，友友们有任何问题可以在评论区留言 🍉博客中涉及源码及博主日常练习代码均已上传GitHub 📍内容导…...
利用基础模块构建神经网络并实现分类预测)
[Python人工智能] 四十九.PyTorch入门 (4)利用基础模块构建神经网络并实现分类预测
从本专栏开始，作者正式研究Python深度学习、神经网络及人工智能相关知识。前文讲解PyTorch构建回归神经网络。这篇文章将介绍如何利用PyTorch构建神经网络实现分类预测，其是使用基础模块构建。前面我们的Python人工智能主要以TensorFlow和Keras为主，而现在最主流的深度学习框…...
SpringBoot使用 easy-captcha 实现验证码登录功能
文章目录 一、 环境准备1. 解决思路2. 接口文档3. redis下载 二、后端实现1. 引入依赖2. 添加配置3. 后端代码实现4. 前端代码实现 在前后端分离的项目中，登录功能是必不可少的。为了提高安全性，通常会加入验证码验证。 easy-captcha 是一个简单易用的验…...
RabbitMQ 从入门到精通：从工作模式到集群部署实战（一）
#作者：闫乾苓 文章目录 RabbitMQ简介RabbitMQ与VMware的关系架构工作流程RabbitMQ 队列工作模式及适用场景简单队列模式（Simple Queue）工作队列模式（Work Queue）发布/订阅模式（Publish/Subscribeÿ…...
)
Unity中的虚拟相机(Cinemachine)
Unity Cinemachine详解 什么是Cinemachine Cinemachine是Unity官方推出的智能相机系统，它提供了一套完整的工具来创建复杂的相机运动和行为，而无需编写大量代码。它能够大大简化相机管理，提高游戏开发效率。 Cinemachine的主要组件 1. Vi…...
响应式编程_04Spring 5 中的响应式编程技术栈_WebFlux 和 Spring Data Reactive
文章目录 概述响应式Web框架Spring WebFlux响应式数据访问Spring Data Reactive 概述 https://spring.io/reactive 2017 年，Spring 发布了新版本 Spring 5， Spring 5 引入了很多核心功能，这其中重要的就是全面拥抱了响应式编程的设计思想和实…...
网络设备的安全加固
设备的安全始终是信息网络安全的一个重要方面，攻击者往往通过控制网络中设备来破坏系统和信息，或扩大已有的破坏。网络设备包括主机（服务器、工作站、PC）和网络设施（交换机、路由器等）。 一般说来ÿ…...
OpenCV：特征检测总结
目录 一、什么是特征检测？ 二、OpenCV 中的常见特征检测方法 1. Harris 角点检测 2. Shi-Tomasi 角点检测 3. Canny 边缘检测 4. SIFT（尺度不变特征变换） 5. ORB 三、特征检测的应用场景 1. 图像匹配 2. 运动检测 3. 自动驾驶 4.…...
Java高频面试之SE-17
hello啊，各位观众姥爷们！！！本牛马baby今天又来了！哈哈哈哈哈嗝🐶 Java缓冲区溢出，如何解决？ 在 Java 中，缓冲区溢出 (Buffer Overflow) 虽然不是像 C/C 中那样直接可见…...
移动机器人规划控制入门与实践：基于navigation2 学习笔记（一）
课程实践： （1）手写A*代码并且调试，总结优缺点 （2）基于Gazebo仿真，完成给定机器人在给定地图中的导航调试 （3）使用Groot设计自己的导航行为树 掌握一门技术 规划控制概述 常见移动机器人...
每日一题洛谷P5721 【深基4.例6】数字直角三角形c++
#include<iostream> using namespace std; int main() {int n;cin >> n;int t 1;for (int i 0; i < n; i) {for (int j 0; j < n - i; j) {printf("%02d",t);t;}cout << endl;}return 0; }...
RTMP 和 WebRTC
WebRTC（Web Real-Time Communication）和 RTMP（Real-Time Messaging Protocol）是两种完全不同的流媒体协议，设计目标、协议栈、交互流程和应用场景均有显著差异。以下是两者的详细对比，涵盖协议字段、交互流程及核心设计思想。 一、协议栈与设计目标对比 特性RTMPWebRTC传…...
数据库技术基础
1 数据库系统概述 1.1 数据库的4个概念 （1）数据（信息） 数据：指已记录或可获取的事实，是数据库存储的最小单元。除文本、数字外，还有图形、图像、声音等。 数据由于能为用户利用才被记录和保…...
如何获取sql数据中时间的月份、年份（类型为date）
可用自带的函数month来实现 如： 创建表及插入数据： create table test (id int,begindate datetime) insert into test values (1,2015-01-01) insert into test values (2,2015-02-01) 执行sql语句,获取月份： select MONTH(begindate)…...
每日Attention学习18——Grouped Attention Gate
模块出处 [ICLR 25 Submission] [link] UltraLightUNet: Rethinking U-shaped Network with Multi-kernel Lightweight Convolutions for Medical Image Segmentation 模块名称 Grouped Attention Gate (GAG) 模块作用 轻量特征融合 模块结构 模块特点 特征融合前使用Group…...
分析用户请求K8S里ingress-nginx提供的ingress流量路径
前言 本文是个人的小小见解，欢迎大佬指出我文章的问题，一起讨论进步~ 我个人的疑问点 进入的流量是如何自动判断进入iptables的四表？k8s nodeport模式的原理？ 一 本机环境介绍 节点名节点IPK8S版本CNI插件Master192.168.44.1…...
TensorFlow是个啥玩意？
TensorFlow是一个开源的机器学习框架，由Google开发。它可以帮助开发者构建和训练各种机器学习模型，包括神经网络和深度学习模型。TensorFlow的设计理念是使用数据流图来表示计算过程，其中节点表示数学运算，边表示数据流动。 Tens…...
初识C语言、C语言的学习方向总述与入门
目录 1. 什么是C语言？ 2. 第一个C语言程序 3. 数据类型 4. 变量、常量 4.1 定义变量的方法 4.2 变量的命名 4.3 变量的分类 4.4 变量的作用域和生命周期 4.5 常量 5. 字符串转义字符注释 5.1 字符串 5.2 转义字符 6. 注释 7. 选择语句 8. 循环语句 …...
零基础学习书生.浦语大模型-入门岛
第一关：Linux基础知识 任务一：Cursor连接SSH运行代码 使用Remote - SSH插件即可 运行指令 python hello_world.py端口映射 ssh -p 46561 rootssh.intern-ai.org.cn -CNg -L 7860:127.0.0.1:7860 -o StrictHostKeyCheckingno 注：46561&a…...
【R语言】获取数据
R语言自带2种数据存储格式：*.RData和*.rds。 这两者的区别是：前者既可以存储数据，也可以存储当前工作空间中的所有变量，属于非标准化存储；后者仅用于存储单个R对象，且存储时可以创建标准化档案，…...