当前位置：首页 > news >正文

科普：ROC AUC与PR AUC

news 来源：原创 2025/9/12 20:21:40

在评价二分类模型性能时，有许多评价指标，其中，有一对是用面积AUC（Area Under the Curve）做评价的：ROC AUC与PR AUC

本文我们对ROC AUC与PR AUC进行多维度对比分析：

一、定义与核心原理

维度	ROC AUC	PR AUC
全称	Receiver Operating Characteristic AUC	Precision-Recall AUC
横轴	假正率（FPR）= FP / (FP + TN)	召回率（Recall）= TP / (TP + FN)
纵轴	真正率（TPR/Recall）= TP / (TP + FN)	精确率（Precision）= TP / (TP + FP)
曲线生成方式	调整分类阈值，计算不同阈值下的TPR和FPR	调整分类阈值，计算不同阈值下的Precision和Recall
数值意义	模型对正负样本的全局排序能力	模型对正类样本的查准与查全的综合能力

二、使用场景对比

场景类型	ROC AUC	PR AUC
类别平衡数据	适用（如男女用户分类）	适用，但ROC AUC更直观
中度不平衡	仍可用，但需谨慎解读（如正类占10%）	更优（如用户流失预测）
严重不平衡	易虚高（如欺诈检测正类占0.1%）	首选（直接反映正类性能）
业务需求	需全局排序（如信用评分）	需聚焦正类（如癌症筛查）

典型场景示例

金融风控（正类占1%）：
- ROC AUC=0.95：可能因负类主导而虚高，无法反映欺诈识别的实际效果。
- PR AUC=0.35：直接暴露模型对正类的低识别能力，需优化特征或采样策略。
广告点击预测（正类占5%）：
- ROC AUC=0.85：表明模型整体区分能力良好。
- PR AUC=0.65：提示需提高精确率（减少误推成本）。

三、选择标准

决策因素	优先选择ROC AUC	优先选择PR AUC
正类比例	正类≥10%	正类<10%
业务目标	需全局风险排序（如客户分层）	需精准识别正类（如医学诊断）
误判成本容忍度	可接受较高误判（如推荐系统）	误判成本高（如法律审核）
模型解释性	需直观展示整体性能	需聚焦正类细节表现

四、与类别不平衡程度的关系

不平衡程度	ROC AUC表现	PR AUC表现
平衡（1:1）	可靠，反映全局性能（如AUC=0.9优秀）	可靠，与ROC AUC互补（如AUC=0.88）
中度不平衡（1:10）	可能虚高（如AUC=0.85，实际正类识别差）	更敏感（如AUC=0.6，提示需优化）
严重不平衡（1:100）	虚高严重（如AUC=0.95但正类全漏）	真实反映问题（如AUC=0.2，模型无效）

示例分析

正类占0.5%的欺诈检测：
- ROC AUC=0.92：看似优秀，但可能因模型正确分类大量负类（TN）导致虚高。
- PR AUC=0.15：直接显示模型对欺诈交易的识别能力极差（随机模型的PR AUC=0.005）。
结论：在严重不平衡时，PR AUC是唯一可信指标。

建议：

类别不平衡时：PR AUC是黄金指标，ROC AUC仅作参考。
平衡数据时：两者互补，优先ROC AUC。
业务决策时：以PR曲线选择阈值，以PR AUC评估模型优先级。

附：正样本比例与不平衡程度及推荐评估指标的对应表

正样本比例	不平衡程度	推荐评估指标	备注
<1%	严重不平衡	PR AUC、F1分数、召回率（Recall）、MCC、G-Mean	优先关注正类的查全率（Recall）和综合性能（PR AUC），避免ROC AUC的虚高误导。
1%~5%	严重不平衡	PR AUC、F1分数、召回率（Recall）、MCC、G-Mean	需结合过采样（SMOTE）或代价敏感学习，重点关注少数类的识别能力。
5%~10%	中度不平衡	PR AUC、F1分数、G-Mean、平衡准确率（Balanced Accuracy）、ROC AUC	平衡查准与查全，可辅以ROC AUC验证全局排序能力。
10%~20%	轻微不平衡	ROC AUC、F1分数、精确率（Precision）、PR AUC	常规处理即可，关注业务核心指标（如误判成本）。
20%~40%	较平衡	准确率（Accuracy）、ROC AUC、F1分数、精确率/召回率（按业务需求侧重）	无需特殊处理，模型优化重点转向特征工程或复杂度调整。
>40%	平衡	准确率（Accuracy）、ROC AUC、混淆矩阵（TP/FP/TN/FN）	常规分类任务，指标选择取决于业务容忍度（如FP或FN的代价）。

主要指标

严重不平衡（<5%）：
- 核心指标：PR AUC（直接反映正类性能）、召回率（避免漏检）。
- 辅助指标：MCC（综合所有类别）、G-Mean（平衡正负类识别能力）。
- 禁用指标：准确率（虚高且无意义）。
中度不平衡（5%~10%）：
- 核心指标：PR AUC（仍优先）、F1分数（平衡查准与查全）。
- 辅助指标：ROC AUC（验证全局能力）、平衡准确率（简单鲁棒）。
轻微不平衡（10%~20%）：
- 核心指标：ROC AUC（全局排序）、F1分数（平衡性能）。
- 业务适配：若需高精确率（如广告推荐），优先精确率；若需高召回率（如用户流失预警），优先召回率。
实际应用：
- 金融风控：严重不平衡时，PR AUC + 召回率 + 误判成本矩阵。
- 医学诊断：中度不平衡时，召回率 + 特异度（Specificity）。
- 推荐系统：轻微不平衡时，精确率 + ROC AUC。

科普：ROC AUC与PR AUC

在评价二分类模型性能时，有许多评价指标，其中，有一对是用面积AUC（Area Under the Curve）做评价的：ROC AUC与PR AUC 本文我们对ROC AUC与PR AUC进行多维度对比分析： 一、定义与核心原理维度RO…...

编程日记 2025/9/12 20:21:40

服务器IPMI用户名、密码批量检查

背景大规模服务器部署的时候，少不了较多的网管和监测平台，这些平台会去监控服务器的性能、硬件等指标参数，为了便于管理和控制，则需要给服务器IPMI带外管理添加较多的用户，这就需要对较多的服务器检查所对应的IPMI用…...

编程日记 2025/9/11 0:31:53

51单片机中reg52.h与regx52.h在进行位操作时的不同

reg52.h中不能使用例如 P2_0;这样的定义而只能使用 P2^0;这样的定义但是都不可以对位进行直接赋值操作； 而 regx52.h中可以使用 P2_0和P2^0；但是只有使用下划线的才可以对位进行赋值操作例如P2_0 1; 但不可以是P2^0 1; 在 C 语言中，…...

编程日记 2025/9/12 4:25:46

目录 0 Introduction What Why Advantage 1 Example 2 Concept 3 Flow Chart 4 Module 4.1 Transport 4.1.1 Share Memory 4.1.1.1 Segment 4.1.1.1.1 State 4.1.1.1.2 Block 4.1.1.1.3 Common 4.1.1.2 Notifier 4.1.1.2.1 ConditionNotifier 4.1.1.2.2 Multi…...

编程日记 2025/9/12 20:19:40

【Electron入门】进程环境和隔离

目录一、主进程和渲染进程 1、主进程（main） 2、渲染进程（renderer） 二、预加载脚本三、沙盒化为单个进程禁用沙盒全局启用沙盒四、环境访问权限控制：contextIsolation和nodeIntegration 1、contextIsola…...

编程日记 2025/8/26 11:54:01

拉链表介绍

拉链表是处理缓慢变化维（SCD） 的一种常用方法，特别适用于需要保留历史记录的场景。以下是拉链表的详细说明及实现方法： 1. 什么是拉链表？ 拉链表是一种用于记录维度数据历史变化的表结构，通过开始时间 …...

编程日记 2025/9/9 9:55:55

Spring Boot 日志配置与常见问题解析（详解）

目录 Spring Boot 日志配置与常见问题解析引言什么是日志？日志的重要性日志使用打印日志日志框架介绍日志格式的说明⽇志级别日志级别的分类日志级别的使用 Spring Boot 日志配置1. 设置日志级别和格式2. 配置日志收集器3. 查看和分析日志4.日志的持久化5.设置日志…...

编程日记 2025/9/6 19:57:07

-bash: lsof: command not found

一、问题说明执行如下命令时报错： # lsof |grep deleted > deleted_file -bash: lsof: command not found二、处理方法 # yum -y install lsof安装完成后可成功执行上面的命令。...

编程日记 2025/9/11 15:28:48

PC 端连接安卓手机恢复各类数据：安装、操作步骤与实用指南

软件介绍这款用于恢复安卓手机数据的软件，虽运行在 PC 端，却专为安卓手机数据恢复打造，使用时得用数据线把手机和电脑连接起来。它的功能相当强大，能帮你找回安卓手机里已删除的短信、联系人、通话记录、文档，还有照…...

编程日记 2025/9/11 19:03:43

ES、OAS、ERP、电子政务、企业信息化（高软35）

系列文章目录 ES、OAS、ERP、电子政务、企业信息化文章目录系列文章目录前言一、专家系统（ES）二、办公自动化系统（OAS）三、企业资源规划（ERP）四、典型信息系统架构模型1.政府信息化和电子政务2.企业信息…...

编程日记 2025/9/12 20:19:32

android智能指针android::sp使用介绍

android::sp 是 Android 中的智能指针（Smart Pointer）的实现，用于管理对象的生命周期，避免手动管理内存泄漏等问题。它是 Android libutils 库中重要的一部分，常用于管理继承自 android::RefBase 的对象。与标准库中…...

编程日记 2025/9/4 17:30:48

DeepSeek05-大模型WebUI

一、说明： 将DeepSeek部署到前台Web界面的方法主要有以下几种推荐方案，涵盖开源工具、第三方客户端及特定场景适配方案： Open WebUIChatbox AICherry StudioSillyTavern 二、Open WebUI 安装配置教程特点：Open WebUI 是一个开…...

编程日记 2025/9/12 9:15:34

自然语言处理NLP入门 -- 第八节OpenAI GPT 在 NLP 任务中的应用

在前面的学习中，我们已经了解了如何使用一些经典的方法和模型来处理自然语言任务，如文本分类、命名实体识别等。但当我们需要更强的语言生成能力时，往往会求助于更先进的预训练语言模型。OpenAI 旗下的 GPT 系列模型（如 GPT-3、GP…...

编程日记 2025/9/9 3:54:41

FFmpeg av_read_frame 和iOS系统提供的 AVAudioRecorder 实现音频录制的区别

1. 第一种方式：使用 FFmpeg 的 av_read_frame 特点底层实现：基于 FFmpeg，这是一个强大的多媒体处理库，直接操作音频流。灵活性：非常灵活，可以处理多种音频格式、编解码器和输入设备。复杂性：需要手动管理音频流、数据包（AVPacket）、内存释放等，代码复杂度较高。跨平…...

编程日记 2025/9/11 6:58:40

【区块链】深入理解区块链中的 Gas 机制

🌈个人主页: 鑫宝Code 🔥热门专栏: 闲话杂谈｜ 炫酷HTML | JavaScript基础 💫个人格言: "如无必要，勿增实体" 文章目录深入理解区块链中的 Gas 机制一、Gas 的基本概念1.1 为什么需要 Gas&#xff1f…...

编程日记 2025/9/10 21:07:48

2020 年英语（一）考研真题笔记（更新中）

Section I Use of English（完型填空） 原题 Directions：Read the following text. Choose the best word (s) for each numbered blank and mark A, B, C or D on the ANSWER SHEET. (10 points) Even if families are less likely to si…...

编程日记 2025/9/10 9:51:12

mamba_ssm和causal-conv1d详细安装教程

1.前言 Mamba是近年来在深度学习领域出现的一种新型结构，特别是在处理长序列数据方面表现优异。在本文中，我将介绍如何在 Linux 系统上安装并配置 mamba_ssm 虚拟环境。由于官方指定mamba_ssm适用于 PyTorch 版本高于 1.12 且 CUDA 版本大于 11.6 的环境…...

编程日记 2025/9/11 1:25:41

leetcode-442.数组中重复的数据

leetcode-442.数组中重复的数据文章目录 leetcode-442.数组中重复的数据1.题目描述：数组中重复的数据2.第一次代码提交：(不符合仅使用常量额外空间)3.最终代码提交：只使用常数额外空间、时间复杂度为 O(n) 的做法，即“标记法” 1…...

编程日记 2025/9/11 13:22:55

UniApp 按钮组件 open-type 属性详解：功能、场景与平台差异

文章目录引言一、open-type 基础概念1.1 核心作用1.2 通用使用模板二、主流 open-type 值详解2.1 contact - 客服会话功能说明平台支持代码示例 2.2 share - 内容转发功能说明平台支持注意事项 2.3 getUserInfo - 获取用户信息功能说明平台支持代码示例 2.4 getPhoneNumber -…...

编程日记 2025/9/10 1:41:21

Android13修改多媒体默认音量

干就完了! 设置音量为最大音量,修改如下: /framework/base/media/java/android/media/AudioSystem.java/** hide */public static int[] DEFAULT_STREAM_VOLUME new int[] {4, // STREAM_VOICE_CALL7, // STREAM_SYSTEM5, // STREAM_RING-5, // STREAM_MUSIC15, // STREAM…...

编程日记 2025/9/8 21:19:38

【银河麒麟高级服务器操作系统】服务器测试业务耗时问题分析及处理全流程分享

更多银河麒麟操作系统产品及技术讨论，欢迎加入银河麒麟操作系统官方论坛 https://forum.kylinos.cn 了解更多银河麒麟操作系统全新产品，请点击访问麒麟软件产品专区：https://product.kylinos.cn 开发者专区：https://developer…...

编程日记 2025/8/26 11:52:01

HTTP 请求时传递多部分表单数据

HTTP 请求时传递多部分表单数据（multipart/form-data） --data-raw $------demo11111\r\nContent-Disposition: form-data; name"Filedata"; filename"截屏2025-02-27 15.45.46.png"\r\nContent-Type: image/png\r\n\r\n\r\n------d…...

编程日记 2025/9/8 12:44:13

【Python环境】配置极简描述

241220 241220 241220 Python环境配置下载Python 稳定版本：Stable Releases【3.12.3】下载地址：Python Releases for Windows | Python.org. 配环境注意勾上Add Python 3.x to PATH，然后点“Install Now”即可完成安装。配置完成&…...

编程日记 2025/9/4 17:57:34

1. HTTP 数据请求

相关资源： 图片素材📎图片素材.zip 接口文档 1. HTTP 数据请求什么是HTTP数据请求： (鸿蒙)应用软件可以通过(鸿蒙)系统内置的 http 模块和 Axios，通过 HTTP 协议和服务器进行通讯学习核心Http请求技术: Http模块 - 属于鸿…...

编程日记 2025/9/9 11:55:01

基于深度学习+NLP豆瓣电影数据爬虫可视化推荐系统

博主介绍：资深开发工程师，从事互联网行业多年，熟悉各种主流语言，精通java、python、php、爬虫、web开发，已经做了多年的设计程序开发，开发过上千套设计程序，没有什么华丽的语言，只有…...

编程日记 2025/9/9 19:07:35

Apache Spark中的依赖关系与任务调度机制解析

Apache Spark中的依赖关系与任务调度机制解析在Spark的分布式计算框架中，RDD（弹性分布式数据集）的依赖关系是理解任务调度、性能优化及容错机制的关键。宽依赖（Wide Dependency）与窄依赖（Narrow Dependency）作为两种核心依赖类型，直接影响Stage划分、Shuffle操作及容…...

编程日记 2025/9/10 5:32:57

SEO炼金术（4）| Next.js SEO 全攻略

在上一篇文章 SEO炼金术（3）| 深入解析 SEO 关键要素中，我们深入解析了 SEO 关键要素，包括 meta 标签、robots.txt、canonical、sitemap.xml 和 hreflang，并探讨了它们在搜索引擎优化（SEO）中的作…...

编程日记 2025/9/9 13:49:26

DeepSeek开源周，第五弹再次来袭，3FS

Fire-Flyer 文件系统（3FS）总结： 一、核心特点 3FS 是一个专为 AI 训练和推理工作负载设计的高性能分布式文件系统，利用现代 SSD 和 RDMA 网络，提供共享存储层，简化分布式应用开发。其主要特点包括&#xf…...

编程日记 2025/9/8 6:17:46

conda怎么迁移之前下载的环境包，把python从3.9升级到3.10

克隆旧环境（保留旧环境作为备份） conda create -n cloned_env --clone old_env 在克隆环境中直接升级 Python conda activate cloned_env conda install python3.10 升级 Python 后出现所有包导入失败的问题，通常是因为依赖包与新 Pyth…...

编程日记 2025/9/11 3:11:33

一周一个Unity小游戏2D反弹球游戏 - 移动的弹板（鼠标版）

前言本文将实现控制弹板移动，通过Unity的New Input System，可以支持鼠标移动弹板跟随移动，触控点击跟随移动，并且当弹板移动到边界时，弹板不会移动超过边界之外。创建移动相关的InputAction 项目模版创建的时候默认会…...

编程日记 2025/9/12 20:15:04

wordpress子分类调用父分类名称和链接的3种方法

专为导航而生，在wordpress模板制作过程中常常会在做breadcrumbs导航时会用到，子分类调用父分类的名称和链接，下面这段简洁的代码，可以完美解决这个问题。 <?php echo get_category_parents( $cat, true, » ); ?…...

编程日记 2025/9/9 16:41:48

使用mermaid查看cursor程序生成的流程图

一、得到cursor生成的流程图文本 cursor写的程序正常运行后，在对话框输入框中输入诸如“请生成扫雷的代码流程图”，然后cursor就把流程图给生成了，但是看到的还是文本的样子，保留这部分内容待用二、注册一个Mermaid绘图账号 …...

编程日记 2025/9/8 20:27:41

GC垃圾回收介绍及GC算法详解

目录引言 GC的作用域什么是垃圾回收？ 常见的GC算法 1.引用计数法 2.复制算法 3.标记清除 4.标记整理小总结 5.分代收集算法 ps:可达性分析算法？ 可达性分析的作用可达性分析与垃圾回收算法的关系结论引言在编程世界中，…...

编程日记 2025/9/9 1:12:07

设计后端返回给前端的返回体

目录 1、为什么要设计返回体？ 2、返回体包含哪些内容（如何设计）？ 举例 3、总结 1、为什么要设计返回体？ 在设计后端返回给前端的返回体时，通常需要遵循一定的规范，以确保前后端交互的清晰性…...

编程日记 2025/9/8 20:14:41

Pytorch为什么 nn.CrossEntropyLoss = LogSoftmax + nn.NLLLoss？

为什么 nn.CrossEntropyLoss LogSoftmax nn.NLLLoss？ 在使用 PyTorch 时，我们经常听说 nn.CrossEntropyLoss 是 LogSoftmax 和 nn.NLLLoss 的组合。这句话听起来简单，但背后到底是怎么回事？为什么这两个分开的功能加起来就等于…...

编程日记 2025/9/9 11:42:18

Linux实操——在服务器上直接从百度网盘下载（/上传）文件

Linux Linux实操——在服务器上直接从百度网盘下载（/上传）文件文章目录 Linux前言一、下载并安装bypy工具二、认证并授权网盘账号三、将所需文件转移至目的文件夹下四、下载文件五、上传文件六、更换绑定的百度云盘账户前言最近收到一批很大的数据&…...

编程日记 2025/9/7 9:39:47

【无标题】ABP更换MySql数据库

原因：ABP默认使用的数据库是sqlServer，本地没有安装sqlServer，安装的是mysql，需要更换数据库 ABP版本：9.0 此处以官网TodoApp项目为例打开EntityFrameworkCore程序集，可以看到默认使用的是sqlServer&…...

编程日记 2025/9/12 1:26:21

nuxt常用组件库html-validator应用解析

html-validator 主要用于自动验证nuxt服务器呈现的HTML(SSR和SSG)，以检测可能导致水合错误的HTML常见问题，有助于减少水合错误，检测常见的可访问性错误。安装 npx nuxilatest module add html-validator配置若自动更新nuxt.config.ts配置文…...

编程日记 2025/9/8 11:34:46

思维训练（算法+技巧）

1.深度优先搜索：暴力求解，适合判断能不能走出迷宫利用递归，有一个check【】数组来检查该节点是否经过 for循环该节点的邻接节点（存在且没被访问），递归DFS（该节点的某个邻接节点） D…...

编程日记 2025/9/9 11:21:38

AIGC（生成式AI）试用 25 -- 跟着清华教程学习 - DeepSeek+DeepResearch让科研像聊天一样简单

目标：继续学习，以DeepSeek为主个人理解： - 模型结合，充分发挥各模型的优势 - 关注应用，弱化理论，了解就好 - 多模态：多模态（Multimodality）是指结合多种不同类型的数据…...

编程日记 2025/9/10 11:44:08

Solr中得Core和Collection的作用和关系

Solr中得Core和Collection的作用和关系一， 总结在Apache Solr中，Core和Collection 是两个核心概念，他们分别用于单机模式和分布式模式（SolrCloud）中，用于管理和组织数据。二，Core 定义&am…...

编程日记 2025/9/9 4:24:12

温湿度监控设备融入智慧物联网

当医院的温湿度监控设备融入智慧物联网，将会带来许多新的体验，可以帮助医院温湿度监控设备智能化管理，实现设备之间的互联互通，方便医院对温湿度数据进行统一管理和分析。添加智慧物联网技术，实现对医院温湿度的实时…...

编程日记 2025/8/26 12:08:02

软件测试的七大误区

随着软件测试对提高软件质量重要性的不断提高，软件测试也不断受到重视。但是，国内软件测试过程的不规范，重视开发和轻视测试的现象依旧存在。因此，对于软件测试的重要性、测试方法和测试过程等方面都存在很多不恰当的认识&#xf…...

编程日记 2025/9/9 5:46:24

Mac 版本地部署deepseek ➕ RAGflow 知识库搭建流程分享（附问题解决方法）

安装： 1、首先按照此视频的流程一步一步进行安装：(macos版）ragflowdeepseek 私域知识库搭建流程分享_哔哩哔哩_bilibili 2、RAGflow 官网文档指南：https://ragflow.io 3、RAGflow 下载地址：https://github.com/infi…...

编程日记 2025/9/8 5:02:13

标记符号“＜”和“＞”符号被称为“尖括号”或“角括号”

你提到的“<”和“>”符号被称为“尖括号”或“角括号”。它们常用于编程语言中表示类型参数（如泛型）、HTML标签（如<div>）、数学中的不等式（如< 5）等。好的，我来用通俗的方式解…...

编程日记 2025/9/11 20:53:15

DMA发送全部历史记录数据到串口

背景博主参与的项目中，有个读取全部历史记录的功能，如果下位机在主程序中将全部历史记录单纯地通过串口传输会比较占用cpu资源，影响主程序中别的功能。最后商量得出以下实现方案： 定义两个发送缓冲区DMATxbuf1和DMATxbuf2&…...

编程日记 2025/9/11 5:43:34

js基础案例

1.弹出警告框，显示Hello JS 2.在页面输出内容（内容在body标签里面） 3.在控制台输出内容 4.js代码是自上而下执行 5.将js代码编写到标签的onclick属性中，当点击时，js代码才会执行 6.将js写到超链接的href属性中&#xf…...

编程日记 2025/9/8 11:24:24

机器学习之集成学习思维导图

学习笔记—机器学习-集成学习思维导图 20250227，以后复习看（周老师的集成学习） PS：图片看不清，可以下载下来看。往期思维导图： 机器学习之集成学习Bagging（随机深林、VR-树、极端随机树&…...

编程日记 2025/8/26 12:12:31

学生考勤请假管理系统

在当今信息化时代，传统的纸质考勤和请假管理方式已难以满足高校日益增长的管理需求。手工记录效率低下、容易出错，且难以进行数据统计和分析，无法为教学管理提供有效的决策支持。因此，开发一套高效、便捷、安全的学生考勤请假管理…...

编程日记 2025/9/9 16:02:31