当前位置： 首页 > news >正文

【风控】模型监控和异常处理

news 来源：原创 2025/8/15 2:23:46

在风控模型的全生命周期中，模型监控与异常处理是保障模型持续、稳定、可靠运行的关键环节。本指南旨在提供系统化、可落地的监控指标、预警策略及异常处置流程，帮助团队快速定位、响应并修复线上模型问题，最大限度降低风险。

1.模型监控与预警

目标
  • 准确性：确保线上打分与线下结果高度一致，防范环境或逻辑变更带来的偏差。
  • 稳定性：持续监测特征与模型分数分布，及时发现数据漂移及客群波动。
  • 有效性：评估模型区分度和预测能力，检测性能衰减风险。
核心监控指标
维度指标含义监控方式
准确性一致性（线上∕线下分数差）比较线上实时打分与线下重算结果，偏差即触发告警定时（如每小时）抽取样本并对比，阈值误差＞0触发高危告警
稳定性PSI（Population Stability Index）测量当前与基准期特征或评分分布偏移程度日/周拉取最近两周数据，计算主要特征 & 模型分布PSI，PSI＞0.25即警告
有效性AUC、KS评估分类性能，AUC/KS下降表明模型区分能力削弱月度或基于样本量滚动窗口计算，AUC/KS 下跌＞5% 或 KS＜0.2触发告警
有效性IV（Information Value）监测关键特征的信息量变化，IV 下降意味着特征区分度减弱周度计算核心特征 IV，IV 下降＞10%时评估特征稳定性及业务影响

Tip: 根据业务场景与样本量，可灵活调整监控频率：准确性建议小时级，稳定性建议日/周级，有效性建议周/月级。

预警策略与分级
  1. 定义阈值与分级：对各指标设定正常/关注/警告/严重不同级别阈值。
  2. 分级触达：
    • 关注级：邮件/可视化平台通知，RM（模型负责人）定期跟进。
    • 警告级：邮件+企业微信提醒，风控团队24h内排查。
    • 严重级：电话/短信+微信群@全体，启动故障响应流程。

示例：

  • 一致性：线上∕线下分数差 ＞0%（关注）；＞0.1%（警告）；＞0.5%（严重）

  • PSI：＞0.1（关注）；＞0.25（警告）；＞0.4（严重）

  • KS：下降 3%（关注）；＞5%（警告）；＞10%（严重）

2.模型异常处理流程

当监控预警达到警告级或以上时，应立即启动以下异常处理流程：

初步定位
  1. 核对预警信息：指标类型、阈值、发生时间、影响范围。
  2. 确认范围：抽样线下重算、查看原始数据覆盖度及时间窗口。
  3. 环境检查：
    • 运行环境（Python 版本、依赖库版本、配置变动日志）。
    • 部署流水线（代码仓库、容器镜像、配置中心）。
原因分析
  1. 准确性异常：
    • 环境变更：执行 pip freeze、容器镜像比对。
    • 预处理逻辑：检查 ETL/特征脚本，回放关键步骤。
  2. 稳定性异常：
    • 数据源故障：查看数据源可用性、日志报错、空值/异常值比例。
    • 客群变化：对比用户画像、营销渠道、宏观事件影响。
  3. 有效性异常：
    • 特征失效：核心特征 IV 下降，剔除或替换特征。
    • 模型衰减：迭代新模型或启用备选模型。
修复与验证
  1. 修复方案：
    • 环境回滚或依赖锁定。
    • 数据源恢复或更换备用管道。
    • 重新训练 / 调参 / 替换模型。
  2. 验证流程：
    • 重新运行线上-线下对比，确保一致性。
    • 检测 PSI、AUC/KS 恢复正常。
    • 小批量灰度发布，确认无异常后全量推送。
事后复盘
  • 问题记录：撰写事件报告，落地根因分析。
  • 优化改进：调整阈值、补充监控、完善自动化。
  • 知识沉淀：更新文档、分享复盘会、培训相关人员

相关文章：

【风控】模型监控和异常处理

在风控模型的全生命周期中，模型监控与异常处理是保障模型持续、稳定、可靠运行的关键环节。本指南旨在提供系统化、可落地的监控指标、预警策略及异常处置流程，帮助团队快速定位、响应并修复线上模型问题，最大限度降低风险。 1.模型监控与预…...

编程日记 2025/8/15 2:23:46

高并发内存池（一）：项目简介+定长内存池的实现

目录 一，项目介绍 二，什么是内存池 1，池化技术 2，内存池 3，内存池主要解决的问题 4，malloc 三，实现一个定长内存池 定长内存池的设计 大致结构 核心功能实现 申请一块大小为T的内存 释…...

编程日记 2025/8/15 2:23:44

STM32--TIM--函数

void TIM_ITConfig(TIM_TypeDef* TIMx, uint16_t TIM_IT, FunctionalState NewState) 用于使能或禁用指定的定时器中断。...

编程日记 2025/8/15 2:23:42

文生图（Text-to-Image）的发展

文章目录 1. 早期探索（2010-2015）：传统方法与初步尝试2. 文本条件GAN时代（2016-2019）3. 自回归与VQ-VAE时代（2019-2021）4. 扩散模型革命（2021-2022）(1) 扩散模型基础突破…...

编程日记 2025/8/14 4:58:57

vscode预览模式（点击文件时默认覆盖当前标签，标签名称显示为斜体，可通过双击该标签取消）覆盖标签、新窗打开

文章目录 VS Code 预览模式如何取消预览模式（即“固定”标签页）？预览模式有什么用？ VS Code 预览模式 在 VS Code 中，当你单击文件浏览器（例如，资源管理器侧边栏）中的某个文件时&am…...

编程日记 2025/8/15 5:18:06

热部署相关

手动热部署 启动热部署后代码进行修改可以不用重启整个项目Carl F9修改的代码就可以直接生效了 热部署只进行重启的操作而不用进行重载的操作 自动热部署 自定义重启排除项 关闭热部署 ture为开启热部署false为关闭 如果直接在application.yml里写可能会被其他优先级更高的配…...

编程日记 2025/8/15 2:23:40

高防ip是怎么做到分布式防御的

高防IP的分布式防御体系通过多维度技术协同实现攻击流量的分散处理与智能拦截，其核心机制可从以下五个层面解析： ​​一、全球节点网络布局​​ ​​多区域节点覆盖​​ 在全球关键互联网枢纽（如北美、欧洲、亚太）部署清洗中心&am…...

编程日记 2025/8/15 2:23:38

结构可视化：利用数据编辑器剖析数据内在架构​

结构可视化聚焦于展示数据的内部结构和各部分之间的关系，使企业能够深入理解数据的组织方式和层次体系，从而更好地进行数据管理和分析。通过结构可视化，企业可以清晰地看到数据的层次结构、关联关系以及数据流动路径，为数据驱动的…...

编程日记 2025/8/15 2:23:36

QT编程练习20250507

#include <stdio.h> // 包含标准输入输出库 #include <stdlib.h> // 包含通用工具库&#xff08;如malloc, free等&#xff09; #include <string> // 包含C string类定义 #include <iostream> // 包含C输入输出流库using namespace std; // 使用st…...

编程日记 2025/8/15 2:23:34

【软件设计师：算法】3.排序算法

一、排序 将一组杂乱无章的数据按一定的规律次序排列起来。 排序的目的是什么？ 便于查找！排序算法的好坏如何衡量？ 时间效率——排序速度（即排序所花费的全部比较次数）空间效率——占内存辅助空间的大小稳定性——若两个记录A和B的关键字值相等，但排序后A、B的先后次序保…...

编程日记 2025/8/14 20:30:24

Linux 内核学习(7) --- 字符设备驱动

字符设备驱动程序 Linux 中主要有三类设备的驱动程序&#xff0c;分别是字符设备驱动程序&#xff0c;块设备驱动程序和网络设备驱动程序 字符设备是指在 I/O 传输过程中以字符为单位进行传输的设备&#xff0c;例如键盘&#xff0c;打印机等&#xff0c;字符设备的驱动程序结…...

编程日记 2025/8/15 2:23:32

vue3+vite项目引入tailwindcss

从2025年1月tailwindcss4.0发布开始使用tailwindcss比之前简化很多 1,安装 yarn add tailwindcss tailwindcss/vite2,配置vite.config.js import tailwindcss from tailwindcss/vite;...plugins: [tailwindcss(),...] ...3,在主css文件顶部添加 注意一定是css文件,不能是sc…...

编程日记 2025/8/15 1:11:51

IIS配置SSL

打开iis 如果搜不到iis&#xff0c;要先开 再搜就打得开了 cmd中找到本机ip 用http访问本机ip 把原本的http绑定删了 再用http访问本机ip就不行了 只能用https访问了...

编程日记 2025/8/14 7:34:26

LeetCode：对称二叉树

1、题目描述 给你一个二叉树的根节点 root &#xff0c; 检查它是否轴对称。 示例 1&#xff1a; 输入&#xff1a;root [1,2,2,3,4,4,3] 输出&#xff1a;true 示例 2&#xff1a; 输入&#xff1a;root [1,2,2,null,3,null,3] 输出&#xff1a;false 提示&#xff1a; 树中…...

编程日记 2025/8/15 2:23:26

6天从0到精通：MySQL基础快速入门指南

放在前头 6天从0到精通&#xff1a;MySQL基础快速入门指南 6天从0到精通&#xff1a;MySQL基础快速入门指南 在数据驱动的时代浪潮下&#xff0c;MySQL作为全球最受欢迎的开源关系型数据库管理系统之一&#xff0c;广泛应用于Web开发、数据分析、云计算等多个领域。无论是刚…...

编程日记 2025/8/15 2:23:24

信息论12：从信息增益到信息增益比——决策树中的惩罚机制与应用

从信息增益到信息增益比&#xff1a;决策树中的惩罚机制与应用 引言&#xff1a;当"信息量"遇到"公平性" 在2018年某银行的信用卡风控系统中&#xff0c;数据分析师发现一个诡异现象&#xff1a;客户ID号在决策树模型中竟成为最重要的特征。这个案例揭示…...

编程日记 2025/8/15 5:18:04

C++ -- 哈希扩展

目录 位图 位图概念 位图的实现 位图应用 布隆过滤器 布隆过滤器的提出 布隆过滤器概念 布隆过滤器的插入 布隆过滤器的查找 布隆过滤器的删除 位图 给40亿个不重复的无符号整数&#xff0c;没排过序。给一个无符号整数&#xff0c;如何快速判断一个数是否在这40亿个数…...

编程日记 2025/8/15 5:18:02

AI大模型分类以及Prompt优化技巧

目录 一、AI大模型分类 1、按模态分类 2、按开源性分类 3、按规模分类 4、按用途分类 如何对比和选择大模型 二、Token 如何计算 Token 如何估算Token成本 三、Prompt工程 Prompt优化技巧 基础提示技巧 1、明确指定任何和角色 2、提供详细说明和具体示例 3、使用…...

编程日记 2025/8/14 12:28:37

将本地项目提交到新建的git仓库

方式一: # 登录git&#xff0c;新建git仓库和指定的分支&#xff0c;如master、dev# 下载代码&#xff0c;默认下载master分支 git clone http://10.*.*.67/performance_library/pfme-*.git # 切换到想要提交代码的dev分支 git checkout dev# 添加想要提交的文件 git add .#…...

编程日记 2025/8/14 14:40:52

【wpf】10 C#树形控件高效实现：递归构建与路径查找优化详解

在WPF应用程序开发中&#xff0c;树形控件的实现是常见且具有挑战性的需求。本文将深入解析一套高效树形结构的实现方案&#xff0c;包含递归构建、路径查找优化、动态交互等多个关键技术点。 一、递归构建树形结构 private TreeItem CreateTreeViewItem(TreeNode node) {var…...

编程日记 2025/8/15 5:17:55

低空科技护航珞樱春色，技术引领助推广阔应用

春风拂珞珈&#xff0c;樱海绽放时。赏樱季已接近尾声&#xff0c;作为武汉大学测绘遥感信息工程全国重点实验室的成果转化科技型企业&#xff0c;大势智慧积极参与校园的智能化建设&#xff0c;助力武汉大学的樱花季巡航管理&#xff0c;打造更为安全、有序的赏樱体验。 低空…...

编程日记 2025/8/15 5:17:53

Tiny Machine Learning在人类行为分析中的全面综述

论文标题&#xff1a; 中文&#xff1a;《Tiny Machine Learning在人类行为分析中的全面综述》 英文&#xff1a;A Comprehensive Survey on Tiny Machine Learning for Human Behavior Analysis 作者信息&#xff1a; Ismail Lamaakal, Student Member, IEEE, Siham Essahr…...

编程日记 2025/8/15 5:17:51

8.12 GitHub Sentinel企业级进化：容器化优化×AI监控，效率提升300%实战

GitHub Sentinel 扩展优化与商业化演进路径 关键词：企业级 Agent 扩展性设计、容器化部署优化、多格式报告生成、第三方服务集成、SaaS 服务架构 1. 功能扩展方向 1.1 多格式报告生成技术实现 采用模板引擎与文件流处理技术实现动态报告生成： #mermaid-svg-2BhQlvVsDp5NdL…...

编程日记 2025/8/15 5:17:49

算法-时间复杂度和空间复杂度

刷算法必备时间和空间复杂度&#xff0c;记录下方便查询。 时间复杂度 概念 时间复杂度衡量的是算法 执行所需的时间 随输入规模 n 增长的变化趋势&#xff0c;用大O 表示法描述&#xff08;通常是看这个循环&#xff09;。 分类 常数时间O(1) 无论输入多大&#xff0c;执行…...

编程日记 2025/8/14 22:32:30

springboot国家化多语言实现

前言 公司在做国际化项目时需要匹配多语言环境&#xff0c;通过spring实现i18n国际化方便快捷 项目结构 src/ ├── main/ │ ├── java/ │ │ └── com/example/i18ndemo/ │ │ ├── config/ # 配置类 │ │ ├── controller/ # …...

编程日记 2025/8/15 5:17:45

第2章 算法分析基础

2-1 算法的时间复杂度分析 2.1.1 输入规模与基本语句 输入规模&#xff1a;算法处理数据的规模&#xff0c;通常用 n 表示。 基本语句&#xff1a;执行次数与输入规模直接相关的关键操作。 例2.1 顺序查找 int SeqSearch(int A[], int n, int k) { for (int i 0; i < n…...

编程日记 2025/8/15 5:17:43

vue2 计算属性 computed

计算属性他是一个属性&#xff0c;他不是一个函数&#xff0c;使用的时候不要加括号 reduce reduce 是 JavaScript 数组的一个高阶函数&#xff0c;用于对数组中的每个元素执行一个​​累积计算​​&#xff0c;最终返回一个单一的值。...

编程日记 2025/8/15 5:17:41

Milvus 向量数据库详解与实践指南

一、Milvus 核心介绍 1. 什么是 Milvus&#xff1f; Milvus 是一款开源、高性能、可扩展的向量数据库&#xff0c;专门为海量向量数据的存储、索引和检索而设计。它支持近似最近邻搜索&#xff08;ANN&#xff09;&#xff0c;适用于图像检索、自然语言处理&#xff08;NLP&am…...

编程日记 2025/8/15 5:17:38

记录一次 python 文件环境变量配置-sqlmap.py

第一步&#xff1a;环境变量配置 C:\Users\14913\Downloads\application\3.secure\sqlmap-2025.5.6 或者 C:\Users\14913\Downloads\application\3.secure\sqlmap-2025.5.6 都可以&#xff01; 第二步 使用 第一步&#xff1a;不再进目录 第二步&#xff1a;不再python … s…...

编程日记 2025/8/15 5:17:36

使用大语言模型进行机器人规划（Robot planning with LLMs）

李升伟 编译 长期规划在机器人学领域可以从经典控制方法与大型语言模型在现实世界知识能力的结合中获益。 在20世纪80年代&#xff0c;机器人学和人工智能&#xff08;AI&#xff09;领域的专家提出了莫雷奇悖论&#xff0c;观察到人类看似简单的涉及移动和感知的任务&#x…...

编程日记 2025/8/15 5:17:33

STM32 CAN总线

目录 定时传输CAN简介和硬件电路 CAN简介 主流通信协议对比 ​编辑 CAN硬件电路 ​编辑 CAN电平标准 CAN收发器 – TJA1050&#xff08;高速CAN&#xff09; CAN物理层特性 帧格式 数据帧 遥控帧 错误帧 过载帧 ​编辑 帧间隔 ​编辑 位填充 波形实例 位…...

编程日记 2025/8/15 5:17:30

使用JMeter 编写的测试计划的多个线程组如何生成独立的线程组报告

我有一个测试计划&#xff0c;里面有两个线程组&#xff0c;如下&#xff1a; 添加了一个HTTP请求默认值&#xff1a; 然后我使用如下命令生成的可视化报告是两个线程组合并后的聚合报告。 jmeter -n -t 百度测试计划.jmx -l baidu.txt -e -o ./baidu但是我想要的效果是每…...

编程日记 2025/8/15 5:17:27

RabbitMQ如何保证消息不丢失？

在RabbitMQ中&#xff0c;消息丢失可能发生在三个阶段&#xff1a;生产者发送消息时、消息在RabbitMQ服务器内部传递时、消费者接收消息时。为了保证消息不丢失&#xff0c;需要从这三个方面分别采取措施&#xff1a; 1. 生产者确保消息发送成功 开启确认模式&#xff08;Conf…...

编程日记 2025/8/15 5:17:24

RAG 的介绍及评价方法

RAG的作用 大模型虽然具备处理复杂语言任务的强大能力&#xff0c;但在知识更新和依赖外部信息的及时性方面存在局限。大模型在训练时捕获的知识通常是静态的&#xff0c;一旦训练完成&#xff0c;模型便不再更新&#xff0c;无法掌握训练数据集之外的最新信息或事件。RAG可以…...

编程日记 2025/8/15 5:17:22

Linux网络新手注意事项与配置指南

Linux系统在网络管理方面提供了丰富的工具和灵活的配置方式，但对于新手来说，掌握正确的操作方法和注意事项至关重要。本文将从网络基础概念、配置工具、安全设置、故障排查以及常见错误等多个方面，结合具体代码示例，详细讲解Linux网络管理的核心内容，帮助新手快速入门并避…...

编程日记 2025/8/15 5:17:20

CI/CD与DevOps流程流程简述（提供思路）

一 CI/CD流程详解&#xff1a;代码集成、测试与发布部署 引言 在软件开发的世界里&#xff0c;CI/CD&#xff08;持续集成/持续交付&#xff09;就像是一套精密的流水线&#xff0c;确保代码从开发到上线的整个过程高效、稳定。我作为一名资深的软件工程师&#xff0c;接下来…...

编程日记 2025/8/15 5:17:18

【AWS+Wordpress-准备阶段】AWS注册+创建EC2实例

前言 自学笔记&#xff0c;解决问题为主&#xff0c;亲测有效&#xff0c;欢迎补充。 本地WP文件部署到AWS整体步骤如下&#xff1a;&#xff08;本文重点&#xff1a;AWS准备完成&#xff09; 0. [AWS 准备] 注册 AWS 并创建 EC2 实例 ↓ 1. [生成安装包&#xff1a;用 Du…...

编程日记 2025/8/15 5:17:16

FPGA----基于ZYNQ 7020实现定制化的EPICS通信系统

引言&#xff1a;前文我们降到了&#xff0c;使用alinx提供的sd卡&#xff0c;直接在上面编译即可。那么&#xff0c;如果我们的在FPGA侧有一些个性化的开发&#xff0c;那么生成的image.ub和boot.bin将于原sd卡中的不一致&#xff0c;我们应该如何坐呢&#xff1f; 补充知识点…...

编程日记 2025/8/15 5:17:14

读《暗时间》有感

读《暗时间》有感 反思与笔记 这本书还是我无意中使用 ima 给我写职业规划的时候给出的&#xff0c;由于有收藏的习惯&#xff0c;我就去找了这本书。当读到第一章暗时间的时候给了我很大的冲击&#xff0c;我本身就是一个想快速读完一本书的人&#xff0c;看到东西没有深入思…...

编程日记 2025/8/15 5:17:12

MIT关节电机相序校准

UVW三相相序判断 电机相序校正是确保多关节控制系统正常运行的重要步骤。在实际应用中&#xff0c;每个电机定子的三相线&#xff08;W、U、V&#xff09;的连接顺序可能存在差异&#xff0c;这是由于制造过程中的随机接线所致。不过&#xff0c;通过简单的校正方法&#xff0c…...

编程日记 2025/8/15 5:17:10

Qwen2.5模型结构

self.lm_head nn.Linear(config.hidden_size, config.vocab_size, biasFalse) 这个是用来干嘛的 输出层&#xff0c;词汇投影层&#xff0c;将模型输出的隐藏状态向量映射回词表空间&#xff0c;用于预测下一个token # 预测 logits&#xff0c;未经过 softmax lm_logits self…...

编程日记 2025/8/15 5:17:08

2021-11-11 C++泰勒sin(x)以2步进乘方除以阶乘加减第N项

缘由c书本题&#xff0c;求解了&#xff0c;求解-编程语言-CSDN问答 int n 10, d 3, z -1; double x 2.5, xx x;while (n){xx (乘方(x, d) / 阶乘(d)) * z;d 2, --n, z * -1;}std::cout << xx << std::endl;...

编程日记 2025/8/15 5:17:05

【MySQL】C语言访问数据库

C语言访问数据库 一. Linux 安装 MySQL 动静态库二. 使用MySQL数据库1. 创建MySQL对象2. 连接MySQL数据库3. 释放MySQL对象4. SQL 语句操作1. 插入操作2. 修改操作3. 删除操作4. 查询操作 准备工作 use mysql; select user, host from user;# 创建本地连接的用户 create user c…...

编程日记 2025/8/15 5:17:02

dify 部署后docker 配置文件修改

1&#xff1a;修改 复制 ./dify/docker/.env.example ./dify/docker/.env 添加一下内容 # 启用自定义模型 CUSTOM_MODEL_ENABLEDtrue# 将OLLAMA_API_BASE_URL 改为宿主机的物理ip OLLAMA_API_BASE_URLhttp://192.168.72.8:11434# vllm 的 OPENAI的兼容 API 地址 CUSTOM_MODE…...

编程日记 2025/8/15 5:17:00

【神经网络与深度学习】VAE 和 GAN

这位大佬写的 VAE 的讲解很不错 VAE 和 GAN 的相同点和不同点 引言 VAE&#xff08;变分自编码器&#xff09;和 GAN&#xff08;生成对抗网络&#xff09;是深度学习中两种主要的生成模型&#xff0c;它们在数据生成任务中发挥着重要作用。虽然它们的目标相似&#xff0c;都…...

编程日记 2025/8/15 5:16:56

2-C#控件

2-控件 1.panel控件的使用 private void button3_Click(object sender, EventArgs e){Form2 my2 new Form2();my2.TopLevel false;this.panel1.Controls.Add(my2);my2.BringToFront();my2.Show();}private void button4_Click(object sender, EventArgs e){Form3 my3 new F…...

编程日记 2025/8/15 5:16:52

1.1.2 简化迭代器 yield return的使用

yield return 是一个用于简化迭代器&#xff08;Iterator&#xff09;实现的关键字组合。它的核心作用是让开发者能够以更简洁的方式定义一个按需生成序列的方法&#xff08;生成器方法&#xff09;&#xff0c;而无需显式实现 IEnumerable 或 IEnumerator 接口。yield return …...

编程日记 2025/8/14 5:41:21

机器学习实操 第二部分 神经网路和深度学习 第14章 使用卷积神经网络进行深度计算机视觉

机器学习实操 第二部分 神经网路和深度学习 第14章 使用卷积神经网络进行深度计算机视觉 内容概要 第14章深入探讨了卷积神经网络&#xff08;CNNs&#xff09;及其在计算机视觉中的应用。CNNs受大脑视觉皮层的启发&#xff0c;通过局部感受野和权值共享机制&#xff0c;能够…...

编程日记 2025/8/15 5:16:48

电商双11美妆数据分析（2）

接下来用seaborn包给出每个店铺各个大类以及各个小类的销量销售额 关于性别 接下来考虑性别因素&#xff0c;了解各类产品在男性消费者中的销量占比 男士的销量基本来自于清洁类&#xff0c;其次是补水类。而这两类正是总销量中占比最高的两类。 非男士专用中&#xff0c;补水…...

编程日记 2025/8/15 5:16:46

数字康养新范式：七彩喜平台重构智慧养老生态的深度实践

在全球人口老龄化程度日益加深的当下&#xff0c;养老问题成为社会关注的焦点。 智慧养老作为一种创新的养老模式&#xff0c;借助现代信息技术&#xff0c;为提升老年人生活质量、缓解养老压力提供了新的思路与途径。 而当前中国 60 岁以上人口已达 2.8 亿&#xff0c;占总人…...

编程日记 2025/8/15 5:16:45