当前位置：首页 > news >正文

关于难例损失函数小记

news 来源：原创 2025/9/13 6:55:20

什么是难例损失函数（Hard Example Loss Function）

这玩意儿是深度学习训练中非常重要又很实用的一个概念，特别适用于处理 数据不平衡、模型收敛缓慢、或者**想让模型更“挑剔”**的场景。

🌟 先从名字讲起：

“难例”：就是那些模型很难分类、很难判断、很容易出错的样本（Hard Example）。
“损失函数”：模型用来衡量“猜得有多差”的指标。损失大 = 猜得很离谱，损失小 = 猜得还可以。

所以，“难例损失函数”就是：

✅ 让模型专注在学不会的样本上，把简单样本权重降低，让模型更努力学“难的、易错的”样本。

🧠 为什么需要难例损失？

我们来举个通俗的例子：

假设你在教AI识别“猫”和“狗”：

有 90 张猫，10 张狗。
猫很好识别，AI一学就会；
狗比较特别，比如“萨摩耶”长得像猫，AI老是分不清。

如果你用普通的损失函数，比如交叉熵（Cross Entropy）：

猫识别准确，损失低；
狗识别错误，损失高；
但因为猫的数量多，AI学着学着就忽视了狗。

于是狗就永远识别不好，这时怎么办？
🎯 就要用 难例损失函数，让“狗”这些错误的样本产生更大的惩罚权重，强迫模型“专注学狗”。

💥 最典型的难例损失函数：Focal Loss（焦点损失）

公式如下：

$\text{Focal Loss} = -\alpha (1 - p_t)^\gamma \log(p_t)$

参数解释：

$p_t$ ：模型对真实类别的预测概率（预测对的越大，预测错的越小）
$\gamma$ ：调节“难例”的聚焦强度（常用值为 2）
$\alpha$ ：平衡类别不平衡（比如猫90狗10时可以设狗的权重大）

🎯 核心思想表格：

样本类型	$p_t$ 趋近于	$p_t)^\gamma$ 的结果	最终损失	解释
容易的样本	1	很小	很小	惩罚小，忽略
困难的样本	0.1 ~ 0.5	较大	较大	惩罚大，重点学习

🧪 应用场景举几个：

目标检测（Object Detection）
- 经典：RetinaNet 中用的就是 Focal Loss
- 背景太多、目标太小，普通的损失根本训不起来，Focal Loss 帮你聚焦小目标。
分类任务中的类别不平衡
- 比如医疗图像中肿瘤样本占比极少（阳性样本是难例）
NLP 情感分析
- 有些句子中“情感”模糊不清，这种属于“难例”，模型很难判断。

🛠 PyTorch 实现 Focal Loss（最常见难例损失）

import torch
import torch.nn as nn
import torch.nn.functional as Fclass FocalLoss(nn.Module):def __init__(self, alpha=1, gamma=2):super(FocalLoss, self).__init__()self.alpha = alphaself.gamma = gammadef forward(self, inputs, targets):ce_loss = F.cross_entropy(inputs, targets, reduction='none')  # 普通交叉熵pt = torch.exp(-ce_loss)  # pt越小代表模型越不确定（错得越多）focal_loss = self.alpha * (1 - pt) ** self.gamma * ce_lossreturn focal_loss.mean()

✅ 总结一句话：

难例损失函数的目标是：“让模型少管学得好的样本，专注搞定那些总是错、学不会的。”

它就像一个老师，看到你加法都会了，就不再讲加法了，开始重点讲你不会的乘法题！

关于难例损失函数小记

什么是难例损失函数（Hard Example Loss Function） 这玩意儿是深度学习训练中非常重要又很实用的一个概念，特别适用于处理数据不平衡、模型收敛缓慢、或者**想让模型更“挑剔”**的场景。 🌟 先从名字讲起： “难例”…...

编程日记 2025/9/13 6:55:20

小程序开发指南

小程序开发指南目录 1. 小程序开发概述 1.1 什么是小程序1.2 小程序的优势1.3 小程序的发展历程 2. 开发准备工作 2.1 选择开发平台2.2 开发环境搭建2.3 开发模式选择 3. 小程序开发流程 3.1 项目规划3.2 界面设计3.3 代码开发3.4 基本开发示例3.5 数据存储3.6 网络请求3.7 …...

编程日记 2025/9/12 17:06:12

RCE漏洞学习

1，What is RCE？ 在CTF（Capture The Flag）竞赛中，RCE漏洞指的是远程代码执行漏洞（Remote Code Execution）。这类漏洞允许攻击者通过某种方式在目标系统上执行任意代码，从而完全控制目…...

编程日记 2025/9/9 14:21:01

青少年编程考试 CCF GESP图形化编程三级认证真题 2025年3月

图形化编程三级 2025 年 03 月一、单选题（共 15 题，每题 2 分，共 30 分） 1、2025 年春节有两件轰动全球的事件，一个是 DeepSeek 横空出世，另一个是贺岁片《哪吒 2》票房惊人，入了全球票房榜…...

编程日记 2025/9/11 2:19:25

一、绪论（Introduction of Artificial Intelligence）

写在前面： 老师比较看重的点：对问题的概念本质的理解，不会考试一堆运算的东西，只需要将概念理解清楚就可以，最后一个题会出一个综合题，看潜力，前面的部分考的不是很深，不是很难&…...

编程日记 2025/9/11 22:58:45

## Jailbreaking GPT-4V via Self-Adversarial Attacks with System Prompts ➡️ 论文标题：Jailbreaking GPT-4V via Self-Adversarial Attacks with System Prompts ➡️ 论文作者：Yuanwei Wu, Xiang Li, Yixin Liu, Pan Zhou, Lichao Sun ➡️ 研究机…...

编程日记 2025/9/6 12:20:07

漏洞报告：多短视频平台时间差举报滥用漏洞

漏洞标题：跨平台内容发布时序漏洞导致的恶意举报攻击向量漏洞类型：逻辑缺陷/滥用机制漏洞等级：中高风险漏洞描述： 攻击者可利用多平台内容发布时间差，伪造原创证明对合法内容发起恶意举报。该漏洞源于平台间缺乏发…...

编程日记 2025/9/8 1:08:10

【LINUX】学习宝典

一.Linux系统常用单词翻译 1.new folder 新建文件夹 2.paste 粘贴 3.select all 全选 4.open in terminal 打开终端/命令行 5.keep aligned 保持对齐 6.organize deaktop by name按名称组织桌面 7.change background更改背景 8.cancel 取消 9.create创造创建 10.wal…...

编程日记 2025/9/12 22:51:46

青少年编程考试 CCF GESP图形化编程四级认证真题 2025年3月

图形化编程四级 2025 年 03 月一、单选题（共 10 题，每题 2 分，共 30 分） 1、2025 年春节有两件轰动全球的事件，一个是 DeepSeek 横空出世，另一个是贺岁片《哪吒 2》票房惊人，入了全球票房榜…...

编程日记 2025/9/11 14:06:50

学习海康VisionMaster之平行线查找

一：进一步学习了今天学习下VisionMaster中的平行线查找，这个还是拟合直线的衍生应用，可以同时测量两条线段，输出中线二：开始学习 1：什么是平行线查找？ 按照传统的算法，必须是开两…...

编程日记 2025/9/8 6:23:08

小甲鱼第004讲：变量和字符串（下）| 课后测试题及答案

问答题: 0. 请问下面代码有没有毛病，为什么? 请问下面代码为什么会出错，应该如何解决？ 答:这是由于在字符串中，反斜杠()会与其随后的字符共同构成转义字符。为了避免这种不测情况的发生，我们可以在字符串的引号前面…...

编程日记 2025/9/11 9:24:51

2025 蓝桥杯省赛c++B组个人题解

声明本题解为退役蒻苟所写，不保证正确性，仅供参考。花了大概2个半小时写完，感觉比去年省赛简单，难度大概等价于 codeforces dv4.5 吧菜鸡不熟悉树上背包，调了一个多小时题目旁边的是 cf 预测分所有代码均以通…...

编程日记 2025/9/9 1:31:01

2025蓝桥杯算法竞赛深度突破：创新题型与高阶策略全解析

一、新型算法范式实战 1.1 元启发式算法应用（预测难度：★★★★） 题目场景：星际货物装载需在飞船载重限制下选择最优货物组合，引入遗传算法解决NP-Hard问题： 染色体编码：二进制串表示货物选择…...

编程日记 2025/9/7 2:27:36

网络流量管理-流（Flow）

1. 传统网络的问题：快递员送信模式想象你每天要寄100封信给同一个朋友，传统网络的处理方式就像一个固执的快递员： 每封信都单独处理：检查地址、规划路线、盖章、装车…即使所有信的目的地、收件人都相同，也要重复100…...

编程日记 2025/9/7 13:27:48

Spring Boot对接马来西亚股票数据源API

随着对东南亚市场的兴趣日益增长，获取马来西亚股票市场的实时和历史数据变得尤为重要。本文将指导您如何使用Spring Boot框架对接一个假定的马来西亚股票数据源API（例如，StockTV API），以便开发者能够轻松访问和处理这些…...

编程日记 2025/9/8 1:28:48

MySQL 面经

1、什么是 MySQL？ MySQL 是一个开源的关系型数据库，现在隶属于 Oracle 公司。是我们国内使用频率最高的一种数据库，我本地安装的是比较新的 8.0 版本。 1.1 怎么删除/创建一张表？ 可以使用 DROP TABLE 来删除表，使用…...

编程日记 2025/9/12 17:58:37

【Flink运行时架构】作业提交流程

本文介绍在单作业模式下Flink提交作业的具体流程，如下图所示。客户端将作业提交给YARN的RM；YARN的RM启动Flink JobManager，并将作业提交给JobMaster；JobMaster向Flink内置的RM请求slots；Flink内置的RM向YARN RM请求…...

编程日记 2025/9/8 10:22:39

【AutoTest】自动化测试工具大全（Java）

😊 如果您觉得这篇文章有用 ✔️ 的话，请给博主一个一键三连 🚀🚀🚀 吧 （点赞 🧡、关注 💛、收藏 💚）！！！您的支持 &#x…...

编程日记 2025/9/10 19:54:37

当DRAM邂逅SSD：新型“DRAM+”存储技术来了！

在当今快速发展的科技领域，数据存储的需求日益增长，对存储设备的性能和可靠性提出了更高的要求。传统DRAM以其高速度著称，但其易失性限制了应用范围；而固态硬盘SSD虽然提供非易失性存储，但在速度上远不及DRAM。为了解…...

编程日记 2025/9/11 11:05:01

【算法】快速排序

算法系列六：快速排序一、快速排序的递归探寻 1.思路 2.书写 3.搭建 3.1设计过掉不符情况（在最底层时） 3.2查验能实现基础结果（在最底层往上点时） 3.3跳转结果继续往上回搭 4.实质二、快速排序里的基准排序 …...

编程日记 2025/9/11 16:05:37

Python快速入门指南：从零开始掌握Python编程

文章目录前言一、Python环境搭建🥏1.1 安装Python1.2 验证安装1.3 选择开发工具二、Python基础语法📖2.1 第一个Python程序2.2 变量与数据类型2.3 基本运算三、Python流程控制🌈3.1 条件语句3.2 循环结构四、Python数据结构🎋…...

编程日记 2025/9/11 11:52:58

机器学习中的数学（PartⅡ）——线性代数：2.1线性方程组

概述： 现实中很多问题都可被建模为线性方程组问题，而线性代数为我们提供了解决这类问题的工具。先看两个例子： 例子1： 一家公司有n个产品，分别是，生产上述产品需要m种原料，每个产品需要其中一…...

编程日记 2025/9/9 15:56:13

大模型上下文协议MCP详解（2）—核心功能

编程日记 2025/9/8 15:48:19

检测到目标URL存在http host头攻击漏洞

漏洞描述修复措施方法一： nginx 的 default_server 指令可以定义默认的 server 去处理一些没有匹配到 server_name 的请求，如果没有显式定义，则会选取第一个定义的 server 作为 default_server。 server {listen 80 default_server; …...

编程日记 2025/9/6 18:04:38

【 Beautiful Soup (bs4) 详解】

引言 Beautiful Soup 是 Python 最流行的 HTML/XML 解析库，能够从复杂的网页文档中高效提取数据。以下是其核心知识点及示例代码。一、库简介 1. 核心模块 BeautifulSoup：主类，用于构建文档树结构Tag：表示 HTML/XML 标签的对象…...

编程日记 2025/9/12 20:38:40

Cuto壁纸 2.6.9 | 解锁所有高清精选壁纸，无广告干扰

Cuto壁纸 App 提供丰富多样的壁纸选择，涵盖动物、风景、创意及游戏动漫等类型。支持分类查找与下载，用户可轻松将心仪壁纸设为手机背景，并享受软件内置的编辑功能调整尺寸。每天更新，确保用户总能找到新鲜、满意的壁纸。大小&am…...

编程日记 2025/9/11 8:00:18

人工智能之数学基础：复矩阵

本文重点复矩阵是线性代数中以复数为元素的矩阵，是实矩阵在复数域上的自然推广。与实矩阵相比，复矩阵在数学性质、运算规则和应用场景上具有独特性，尤其在量子力学、信号处理、控制理论等领域发挥关键作用。复矩阵的定义与表示定义：复矩阵指的是元素含有复数的矩阵。…...

编程日记 2025/9/9 12:00:54

numpy初步掌握

文章目录一、前言二、概述2.1 安装2.2 基础三、数组3.1 数组创建3.1.1 从已有数据创建3.1.2 创建特殊值数组3.1.3 创建数值范围数组3.1.4 随机数组生成3.1.5 其他 3.2 数组属性四、数组操作4.1 索引/切片4.2 数组遍历4.3 修改形状4.4 更多五、数组运算5.1 常规运算5.2 广播…...

编程日记 2025/9/13 3:58:48

unity曲线射击

b站教程 using UnityEngine; using System.Collections;public class BallLauncher : MonoBehaviour {public float m_R;public NewBullet m_BulletPre;public Transform m_Target;private void Start(){StartCoroutine(Attack());}private void OnDestroy(){StopAllCoroutine…...

编程日记 2025/9/12 21:03:32