当前位置： 首页 > news >正文

Focal Loss 原理详解及 PyTorch 代码实现

news 来源：原创 2025/7/5 22:51:58

Focal Loss 原理详解及 PyTorch 代码实现

  • 介绍
    • 一、Focal Loss 背景
    • 二、代码逐行解析
      • 1. 类定义与初始化
    • 三、核心参数作用
    • 四、使用示例
    • 五、应用场景
    • 六、总结

介绍

一、Focal Loss 背景

Focal Loss 是为解决类别不平衡问题设计的损失函数，通过引入 gamma 参数降低易分类样本的权重，使用 alpha 参数调节正负样本比例。在目标检测等类别不平衡场景中表现优异。

二、代码逐行解析

1. 类定义与初始化

class FocalLoss(nn.Module):"""应用 Focal Loss 通过 gamma 和 alpha 参数改进 BCEWithLogitsLoss 以处理类别不平衡"""def __init__(self, loss_fcn, gamma=1.5, alpha=0.25):super().__init__()self.loss_fcn = loss_fcn  # 必须使用 nn.BCEWithLogitsLoss()self.gamma = gamma        # 调节难易样本权重的指数参数self.alpha = alpha        # 平衡正负样本比例的权重系数# 修改原损失函数的 reduction 为 'none' 进行逐元素计算self.reduction = loss_fcn.reductionself.loss_fcn.reduction = "none"def forward(self, pred, true):# 计算基础交叉熵损失loss = self.loss_fcn(pred, true)# 通过 sigmoid 获取概率预测值（范围0-1）pred_prob = torch.sigmoid(pred)# 计算 p_t（真实类别对应的预测概率）（正确分类的概率）p_t = true * pred_prob + (1 - true) * (1 - pred_prob)# 计算 alpha 因子：正样本乘 alpha，负样本乘 (1-alpha) （类别权重）alpha_factor = true * self.alpha + (1 - true) * (1 - self.alpha)# 计算调制因子：难分类样本权重更大 （困难样本权重）modulating_factor = (1.0 - p_t) ** self.gamma# 组合得到最终的 Focal Lossloss *= alpha_factor * modulating_factor# 根据 reduction 设置返回结果if self.reduction == "mean":return loss.mean()elif self.reduction == "sum":return loss.sum()else:  # 'none'return loss

三、核心参数作用

  1. Gamma (γ)：

    • γ > 0 时，降低易分类样本（p_t 接近 1）的损失权重
    • 典型取值范围：0.5-5.0
    • 示例：当 p_t=0.9，γ=2 → 调制因子 = 0.01

  2. Alpha (α)：

    • 调节正负样本权重比例
    • α 接近 1 时强调正样本
    • α 接近 0 时强调负样本

四、使用示例

# 初始化
criterion = FocalLoss(loss_fcn=nn.BCEWithLogitsLoss(),gamma=2.0,alpha=0.75
)# 计算损失
pred = model(inputs)
loss = criterion(pred, targets)

五、应用场景

  • 目标检测（如 RetinaNet）
  • 医学图像分析
  • 任何存在严重类别不平衡的分类任务

六、总结

Focal Loss 通过两个关键参数实现了：

  1. 降低大量易分类样本的损失贡献
  2. 平衡正负样本的权重比例
  3. 改善模型对困难样本的学习能力

相关文章：

Focal Loss 原理详解及 PyTorch 代码实现

Focal Loss 原理详解及 PyTorch 代码实现 介绍一、Focal Loss 背景二、代码逐行解析1. 类定义与初始化 三、核心参数作用四、使用示例五、应用场景六、总结 介绍 一、Focal Loss 背景 Focal Loss 是为解决类别不平衡问题设计的损失函数，通过引入 gamma 参数降低易…...

编程日记 2025/7/5 22:51:58

VScode 的插件本地更改后怎么生效

首先 vscode 的插件安装地址为 C:\Users\%USERNAME%\.vscode\extensions 找到你的插件包进行更改 想要打印日志，用下面方法 vscode.window.showErrorMessage(console.log "${name}" exists.); 打印结果 找到插件，点击卸载 然后点击重新启动 …...

编程日记 2025/6/29 0:11:00

这类物种组织heatmap有点东西

如果想知道研究对象（人、小鼠、拟南芥、恒河猴等​​）某个时候各个器官的fMRI信号强度、炎症程度等指标的差异，gganatogram可以以热图的形式轻松满足你的需求。 数据准备 以男性为例，数据包含四列， 每列详细介绍 org…...

编程日记 2025/6/28 23:09:57

通讯录程序

假设通讯录可以存放100个人的信息（人的信息：姓名、年龄、性别、地址、电话） 功能：1>增加联系人 2>删除指定联系人 3>查找指定联系人信息 4>修改指定联系人信息 5>显示所有联系人信息 6>排序（…...

编程日记 2025/7/5 22:44:01

无需翻墙！3D 优质前端模板分享

开发网站时，无需撰写 HTML、CSS 和 JavaScript 代码，直接调用模板内现成的组件，通过拖拽组合、修改参数，几天内即可完成核心页面开发，开发速度提升高达 70% 以上。让开发者更专注于业务逻辑优化与功能创新，…...

编程日记 2025/7/5 22:51:58

Shinkai开源程序 是一个双击安装 AI 管理器（本地和远程），它允许您使用简单的 UI 在 5 分钟或更短的时间内创建 AI 代理

​一、软件介绍 文末提供程序和源码下载 Shinkai 开源应用程序在 Web 浏览器中解锁了一流 LLM （AI） 支持的全部功能/自动化。它允许创建多个代理，每个代理都连接到本地或第三方LLMs（例如 OpenAI GPT），这些…...

编程日记 2025/6/28 23:33:19

vscode不能跳转到同一个工作区的其他文件夹

明白了，你说的“第二种情况”是指： 你先打开的是项目文件夹（比如 MyProject），然后通过 VS Code 的“添加文件夹到工作区”功能，把 ThirdPartyLib 文件夹添加进来。 结果，项目代码里 #include “…...

编程日记 2025/7/5 22:00:58

containerd 之使用 ctr 和 runc 进行底层容器操作与管理

containerd 是目前业界标准的容器运行时，它负责容器生命周期的方方面面，如镜像管理、容器执行、存储和网络等。而 ctr 是 containerd 自带的命令行工具，虽然不如 Docker CLI 用户友好，但它提供了直接与 containerd API 交互的能力…...

编程日记 2025/6/28 23:32:51

IMU 技术概述

IMU（惯性测量单元，Inertial Measurement Unit）是一种通过传感器组合测量物体运动状态和姿态的核心设备，广泛应用于导航、控制、智能设备等领域。以下从原理、组成、应用和发展趋势展开说明： 一、核心定义与本质 IMU …...

编程日记 2025/6/28 23:43:03

talk-centos6之间实现

在 CentOS 6.4 上配置和使用 talk 工具，需要注意系统版本较老，很多配置可能不同于现代系统。我会提供 详细步骤 自动化脚本，帮你在两台 CentOS 6.4 机器上实现局域网聊天。 ⸻ 🧱 一、系统准备 假设你有两台主机： …...

编程日记 2025/7/5 14:35:19

hivesql是什么数据库？

HiveSQL并非指一种独立的数据库，而是指基于Apache Hive的SQL查询语言接口，Hive本身是一个构建在Hadoop生态系统之上的数据仓库基础设施。 以下是对HiveSQL及其相关概念的详细解释： 一、Hive概述 定义： Hive是由Facebook开发&…...

编程日记 2025/7/5 21:49:49

（1）python开发经验

文章目录 1 安装包格式说明2 PySide支持Windows7 更多精彩内容👉内容导航 👈👉Qt开发 👈👉python开发 👈 1 安装包格式说明 PySide下载地址 进入下载地址后有多种安装包，怎么选择： …...

编程日记 2025/7/5 22:07:24

[论文翻译]PPA: Preference Profiling Attack Against Federated Learning

文章目录 摘要一、介绍1、最先进的攻击方式2、PPA3、贡献 二、背景和相关工作1、联邦学习2、成员推理攻击3、属性推理攻击4、GAN攻击5、联邦学习中的隐私推理攻击 三、PPA1、威胁模型与攻击目标（1）威胁模型（2）攻击目标 2、PPA 概述…...

编程日记 2025/7/5 22:04:23

北三短报文数传终端：筑牢水利防汛“智慧防线”，守护江河安澜

3月15日我国正式入汛，较以往偏早17天。据水利部预警显示，今年我国极端暴雨洪涝事件趋多趋频趋强，叠加台风北上影响内陆的可能性，灾害风险偏高，防汛形势严峻复杂。面对加快推进“三道防线”建设，提升“四预”…...

编程日记 2025/7/5 22:33:15

函数加密（Functional Encryption）简介

1. 引言 函数加密（FE）可以被看作是公钥加密（PKE）的一种推广，它允许对第三方的解密能力进行更细粒度的控制。 在公钥加密中，公钥 p k \mathit{pk} pk 用于将某个值 x x x 加密为密文 c t \mathit{ct} c…...

编程日记 2025/6/28 23:34:01

思维链实现 方式解析

思维链的实现方式 思维链的实现方式除了提示词先后顺序外，还有以下几种： 增加详细的中间步骤提示：通过提供问题解决过程中的详细中间步骤提示，引导模型逐步推导和思考。例如，在解决数学证明题时，提示词可以具体到每一步需要运用的定理、公式以及推理的方向，帮助模型构建…...

编程日记 2025/7/5 22:16:25

深入学习Zookeeper的知识体系

目录 1、介绍 1.1、CAP 理论 1.2、BASE 理论 1.3、一致性协议ZAB 1、介绍 2、角色 3、ZXID和myid 4、 历史队列 5、协议模式 6、崩溃恢复模式 7、脑裂问题 2、zookeeper 2.1、开源项目 2.2、功能 2.3、选举机制 3、数据模型 3.1、介绍 3.2、znode分类 4、监听…...

编程日记 2025/7/5 22:25:15

电商平台一站式安全防护架构设计与落地实践

引言：安全即业务，防御即增长 国际权威机构 Forrester 最新报告指出，2024 年全球电商平台因安全防护不足导致的直接营收损失高达 $180 亿，而采用一体化防护方案的头部企业客户留存率提升 32%。本文基于 10 万 节点防护实战数据&a…...

编程日记 2025/7/5 22:15:36

【Pandas】pandas DataFrame cummin

Pandas2.2 DataFrame Computations descriptive stats 方法描述DataFrame.abs()用于返回 DataFrame 中每个元素的绝对值DataFrame.all([axis, bool_only, skipna])用于判断 DataFrame 中是否所有元素在指定轴上都为 TrueDataFrame.any(*[, axis, bool_only, skipna])用于判断…...

编程日记 2025/6/29 0:44:26

奇妙小博客

import matplotlib.pyplot as plt# 定义顶点坐标 A [0, 0] B [6, 1] C [4, 6] P [4, 3]# 绘制三角形 ABC plt.plot([A[0], B[0], C[0], A[0]], [A[1], B[1], C[1], A[1]], b-, labelTriangle ABC) # 绘制点 P plt.scatter(P[0], P[1], colorr, labelPoint P(4,3))# 标注顶点…...

编程日记 2025/6/29 0:40:58

嵌入式学习笔记 - HAL_ADC_ConfigChannel函数解析

贴函数原型： 一 首先配置规则通道序列 其实所有的配置函数都是在对寄存器进行操作，要想看懂Hal库底层函数驱动就先把寄存器如何配置看懂，以下是配置规则通道寄存器的介绍，以ADC_SQR3为例，也就是通道序列1到序列6&…...

编程日记 2025/7/5 22:16:25

Java反射详细介绍

的反射（Reflection）是一种强大的机制，允许程序在运行时动态获取类的信息、操作类的成员（属性、方法、构造器），甚至修改类的行为。它是框架开发（如 Spring、MyBatis）、单元测试工具&a…...

编程日记 2025/6/29 8:31:38

2025年土木建筑与水利工程国际会议（ICCHE 2025）

2025 International Conference on Civil and Hydraulic Engineering (ICCHE 2025) （一）会议信息 会议简称：ICCHE 2025 大会地点：中国银川 投稿邮箱：icchesub-paper.com 收录检索：提交Ei Compendex,CPCI,C…...

编程日记 2025/7/5 22:23:30

适应性神经树：当深度学习遇上决策树的“生长法则”

1st author: Ryutaro Tanno video: Video from London ML meetup paper: Adaptive Neural Trees ICML 2019 code: rtanno21609/AdaptiveNeuralTrees: Adaptive Neural Trees 背景 在机器学习领域，神经网络（NNs）凭借其强大的表示学习能力&…...

编程日记 2025/6/29 0:55:06

IBM BAW（原BPM升级版）使用教程第十四讲

续前篇！ 一、流程设计中的编程 在 IBM Business Automation Workflow (BAW) 中，编程部分涵盖了多种技术、工具和策略，帮助用户定制和扩展流程。BAW 主要通过脚本、集成、服务和自定义代码来实现流程的灵活性和定制化。下面将详细讲解 BAW …...

编程日记 2025/6/29 1:06:55

【计算机网络 第8版】谢希仁编著 第四章网络层 题型总结3 SDN OpenFlow

SDN OpenFlow题型 这题其实，认真看书P196-197的例子也不难理解。我个人认为所谓防自学设计主要就是你没看懂这张图的时候就是天书，你知道怎么读这张图的时候就很简单。不过我相信这个用心一点应该也都是能懂的。 题目 4.66-4.69 4-66 我最大的一个问题…...

编程日记 2025/6/29 0:29:05

【React中函数组件和类组件区别】

在 React 中，函数组件和类组件是两种构建组件的方式，它们在多个方面存在区别，以下详细介绍： 1. 语法和定义 类组件：使用 ES6 的类（class）语法定义，继承自 React.Component。需要通过 this.props 来访问传递给组件的属性（props），并且通常要实现 render 方法返回 JSX…...

编程日记 2025/6/29 0:42:22

多线程代码案例-1 单例模式

单例模式 单例模式是开发中常见的设计模式。 设计模式，是我们在编写代码时候的一种软性的规定，也就是说，我们遵守了设计模式，代码的下限就有了一定的保证。设计模式有很多种，在不同的语言中，也有不同的设计…...

编程日记 2025/6/29 0:48:52

langChain存储文档片段，并进行相似性检索

https://python.langchain.ac.cn/docs/how_to/document_loader_pdf/#vector-search-over-pdfs 这段代码展示了如何使用LangChain框架中的InMemoryVectorStore和OpenAIEmbeddings来存储文档片段，并基于提供的查询进行相似性搜索。下面是对每一行代码的详细解释&…...

编程日记 2025/6/28 23:36:01

MQTT协议技术详解：深入理解物联网通信基础

MQTT协议技术详解：深入理解物联网通信基础 1. MQTT协议概述 MQTT (Message Queuing Telemetry Transport) 是一种轻量级的发布/订阅消息传输协议，专为资源受限设备和低带宽、高延迟或不可靠网络环境设计。作为物联网通信的核心协议之一，MQTT…...

编程日记 2025/6/29 0:32:37

python中的进程锁与线程锁

在Python中，线程和进程使用锁的机制有所不同，需分别通过threading和multiprocessing模块实现。以下是具体用法及注意事项： 一、线程锁（Thread Lock） 基本用法 线程锁用于多线程环境下保护共享资源，防止数据…...

编程日记 2025/6/28 23:36:09

导出导入Excel文件(详解-基于EasyExcel)

前言： 近期由于工作的需要，根据需求需要导出导入Excel模板。于是自学了一下下，在此记录并分享！！ EasyExcel： 首先我要在这里非常感谢阿里的大佬们！封装这么好用的Excel相关的API，真…...

编程日记 2025/6/29 0:24:32

仿正点原子驱动BMP280气压传感器实例

文章目录 前言 一、寄存器头文件定义 二、设备树文件中添加节点 三、驱动文件编写 四、编写驱动测试文件并编译测试 总结 前言 本文驱动开发仿照正点原子的iic驱动实现，同时附上bmp280的数据手册，可访问下面的链接： BMP280_Bosch(博世…...

编程日记 2025/7/5 22:41:30

Java 反射机制（Reflection）

一、理论说明 1. 反射的定义 Java 反射机制是在运行状态中，对于任意一个类，都能够知道这个类的所有属性和方法；对于任意一个对象，都能够调用它的任意方法和属性；这种动态获取信息以及动态调用对象方法的功能称为 Jav…...

编程日记 2025/6/29 0:25:37

每日Prompt：发光线条解剖图

提示词 一幅数字插画，描绘了一个 [SUBJECT]，其结构由一组发光、干净且纯净的蓝色线条勾勒而成。画面设定在深色背景之上，以突出 [SUBJECT] 的形态与特征。某个特定部位，如 [PART]，通过红色光晕加以强调，以…...

编程日记 2025/7/5 22:45:38

从新手到高手：全面解析 AI 时代的「魔法咒语」——Prompt

引言：AI 时代的「语言炼金术」 在人工智能技术突飞猛进的今天，我们正在经历一场堪比工业革命的生产力变革。从聊天机器人到图像生成，从数据分析到自动化写作，AI 模型正在重塑人类与信息交互的方式。而在这一切背后，隐…...

编程日记 2025/6/28 23:02:14

【SpringBoot】集成kafka之生产者、消费者、幂等性处理和消息积压

目录 配置文件 application.properties启动类 ApplicationKafka 配置Message 消息实体类MessageRepository 消息处理消息积压监控服务Kafka消息消费者服务Kafka消息生产者服务API控制器提供测试接口关键特性说明生产环境建议 配置文件 application.properties # 应用配置 serv…...

编程日记 2025/7/5 22:20:48

[SAP] 通过事务码Tcode获取程序名

如何通过事务码查找对应的程序名？ 方法一：直接运行事务码，跳转至功能详情页面，点击【系统】|【状态】即可获取对应事务码的程序名 从上面可以了解到自定义的事务码"ZMM01"对应的程序名为"ZYT36_ZMM001_01"&a…...

编程日记 2025/6/28 23:02:15

蓝桥杯12届国B 纯质数

题目描述 如果一个正整数只有 1 和它本身两个约数，则称为一个质数（又称素数）。 前几个质数是：2,3,5,7,11,13,17,19,23,29,31,37,⋅⋅⋅ 。 如果一个质数的所有十进制数位都是质数，我们称它为纯质数。例如&#xff1…...

编程日记 2025/7/5 21:54:40

国产大模型「五强争霸」，决战AGI！

来源 | 新智元 DeepSeek的横空出世，已经彻底改变了全球的AI局势。 从此，不仅中美大模型竞争格局改变，国产大模型的产业版图，也被一举打破！ 纵观中国基础大模型的市场，可以看到，如今的基础大模…...

编程日记 2025/7/5 22:31:32

C++修炼：继承

Hello大家好&#xff01;很高兴我们又见面啦&#xff01;给生活添点passion&#xff0c;开始今天的编程之路&#xff01; 我的博客&#xff1a;<但凡. 我的专栏&#xff1a;《编程之路》、《数据结构与算法之美》、《题海拾贝》、《C修炼之路》 欢迎点赞&#xff0c;关注&am…...

编程日记 2025/7/5 22:45:37

Mysql新增

插入一个记录需要的时间由下列因素组成&#xff0c;其中的数字表示大约比例&#xff1a; 连接&#xff1a;(3)发送查询给服务器&#xff1a;(2)分析查询&#xff1a;(2)插入记录&#xff1a;&#xff08;1x记录大小&#xff09;插入索引&#xff1a;&#xff08;1x索引&#x…...

编程日记 2025/6/29 1:13:31

华秋2025电子设计与制造技术研讨会（华东站）成功举办！

“探索科技前沿&#xff0c;共筑创新未来”——华秋“2025电子设计与制造技术研讨会第一站&#xff1a;华东站”在江苏苏州圆满落幕。 随着电子信息产业的持续增长和数字化经济的加速转型&#xff0c;数字化电子供应链的作用愈发显著。本届研讨聚焦EDA设计、DFM软件分析、多层…...

编程日记 2025/6/28 23:20:17

[学习] RTKLib详解：qzslex.c、rcvraw.c与solution.c

RTKLib详解&#xff1a;qzslex.c、rcvraw.c与solution.c 本文是 RTKLlib详解 系列文章的一篇&#xff0c;目前该系列文章还在持续总结写作中&#xff0c;以发表的如下&#xff0c;有兴趣的可以翻阅。 [学习] RTKlib详解&#xff1a;功能、工具与源码结构解析 [学习]RTKLib详解…...

编程日记 2025/6/29 0:05:39

【Ubuntu】neovim Lazyvim安装与卸载

安装neovim # 下载 AppImage wget https://github.com/neovim/neovim/releases/latest/download/nvim-linux-x86_64.appimage# 添加执行权限 chmod ux nvim-linux-x86_64.appimage# 移动到系统路径&#xff0c;重命名为 nvim sudo mv nvim-linux-x86_64.appimage /usr/local/b…...

编程日记 2025/6/29 0:32:26

数据结构(一) 绪论

一. 时间复杂度: (1)定义: 时间复杂度是衡量算法执行时间随输入规模(通常用n表示)增长的变化趋势的指标,时间复杂度用O符号表示 用于描述算法在最坏情况下或平均情况下的时间需求 时间复杂度关注的是操作次数的增长率&#xff0c;而非具体执行时间 常见的时间复杂度由小到大依次…...

编程日记 2025/6/29 0:48:44

数据库事务并发问题

目录 脏读 幻读 不可重复读 三者的区别 脏读、幻读和不可重复读是在数据库并发操作中可能出现的问题&#xff0c;以下是对它们的详细介绍&#xff1a; 脏读 定义&#xff1a;指一个事务读取了另一个未提交事务修改的数据。示例&#xff1a;事务 A 修改了一条数据&#xf…...

编程日记 2025/6/28 23:13:57

Android之横向滑动列表

文章目录 前言一、效果图二、使用步骤1.xml布局2.代码3.HomeHxBean3.adapter4.item布局5.两个drawable 总结 前言 横向滑动列表有多种实现方式&#xff0c;也可以用tablayout&#xff0c;也可以用recyclerview&#xff0c;今天主要介绍recyclerview。 一、效果图 二、使用步骤…...

编程日记 2025/6/28 23:44:43

系统稳定性之上线三板斧

&#x1f4d5;我是廖志伟&#xff0c;一名Java开发工程师、《Java项目实战——深入理解大型互联网企业通用技术》&#xff08;基础篇&#xff09;、&#xff08;进阶篇&#xff09;、&#xff08;架构篇&#xff09;清华大学出版社签约作家、Java领域优质创作者、CSDN博客专家、…...

编程日记 2025/6/28 23:27:06

aardio - godking.vlistEx.listbar + win.ui.tabs 实现多标签多页面切换

方法一&#xff1a; import win.ui; import godking.vlistEx.listbar; import fonts.fontAwesome; /*DSG{{*/ mainForm win.form(text"vlistEx - table adapter";right895;bottom503) mainForm.add({ custom{cls"custom";text"自定义控件";lef…...

编程日记 2025/6/29 0:42:03