当前位置： 首页 > news >正文

数据分布偏移检测：保障模型在生产环境中的稳定性

news 来源：原创 2025/8/15 21:04:09

数据分布偏移检测：保障模型在生产环境中的稳定性

引言

在机器学习系统从开发环境部署到生产环境的过程中，数据分布偏移问题是影响模型性能的主要挑战之一。当训练数据与生产环境中的数据分布不一致时，即使是经过精心调优的模型也可能表现出明显的性能下降。本文将深入探讨数据分布偏移的检测方法，并提供一套系统化的解决方案，帮助读者构建更加稳健的机器学习系统。

1. 数据分布偏移问题概述

1.1 分布偏移的类型

数据分布偏移主要可分为以下几种类型：

  • 协变量偏移(Covariate Shift)：输入特征分布发生变化，但条件概率分布保持不变。
  • 概念漂移(Concept Drift)：输入与输出之间的关系发生变化。
  • 先验概率偏移(Prior Probability Shift)：目标变量的分布发生变化。
  • 样本选择偏差(Sample Selection Bias)：训练数据的采样过程存在系统性偏差。

1.2 分布偏移带来的挑战

分布偏移会导致以下问题：

  • 模型预测准确率下降
  • 决策系统稳定性受损
  • 业务指标波动
  • 上游数据源变更引发的连锁反应

2. 统计检验方法深度解析

2.1 KS检验原理及实现

Kolmogorov-Smirnov(KS)检验是一种非参数统计方法，用于比较两个样本是否来自同一分布。其基本原理是计算两个样本的累积分布函数(CDF)之间的最大距离。

from scipy import statsdef run_ks_test(train_features, test_features):n_features = train_features.shape[1]ks_results = []for i in range(n_features):train_feat = train_features[:, i]test_feat = test_features[:, i]# 执行KS检验ks_stat, p_value = stats.ks_2samp(train_feat, test_feat)ks_results.append({'feature_index': i,'ks_statistic': ks_stat,  # 值越大，分布差异越大'p_value': p_value,       # 值越小，差异越显著'significant': p_value < 0.05  # 通常使用0.05作为显著性阈值})# 按KS统计量降序排列ks_results.sort(key=lambda x: x['ks_statistic'], reverse=True)return ks_results

2.2 P值解释与显著性阈值选择

KS检验中的p值表示两个样本来自相同分布的概率。较小的p值（通常<0.05）表示两个分布存在显著差异，具体阈值选择应考虑：

  • 0.05：标准显著性水平，适用于一般场景
  • 0.01：更严格的显著性要求，适用于重要模型
  • 0.001：极高置信度要求，适用于关键业务系统

在生产环境中，可能需要针对不同重要性的特征设置不同的显著性阈值。

3. 分布差异量化指标

3.1 中心趋势差异：均值相对差异分析

均值差异是最直观的分布变化指标，特别是对于对称分布：

def calculate_mean_difference(train_feat, test_feat):train_mean = np.mean(train_feat)test_mean = np.mean(test_feat)# 绝对差异mean_diff = abs(train_mean - test_mean)# 相对差异（避免除以零）mean_rel_diff = mean_diff /

相关文章：

数据分布偏移检测：保障模型在生产环境中的稳定性

数据分布偏移检测：保障模型在生产环境中的稳定性 引言 在机器学习系统从开发环境部署到生产环境的过程中，数据分布偏移问题是影响模型性能的主要挑战之一。当训练数据与生产环境中的数据分布不一致时，即使是经过精心调优的模型也可能表现出明显的性能下降。本文将深入探讨…...

编程日记 2025/8/15 21:04:09

redis删除与先判断再删除的区别

在Redis中&#xff0c;“先判断存在再删除”与“直接删除”的区别主要体现在‌操作效率、原子性保障、并发安全性‌三个方面&#xff0c;具体对比如下&#xff1a; ‌1. 操作效率‌ ‌直接删除‌&#xff1a;仅需执行DEL命令一次&#xff0c;无论键是否存在均直接操作&#xf…...

编程日记 2025/8/13 10:49:01

3.6、数字签名

目录 数字签名数字签名与验证过程 数字签名 数字签名是签名者使用自己的私钥对待签名数据的哈希值做密码运算得到的一个结果 第一签名者用自己的私钥来对我们待签数据的哈希值进行签名&#xff0c;直接对数据进行签名其实也是可以的&#xff0c;只是对数据签名&#xff0c;这…...

编程日记 2025/8/15 21:02:17

华为手机助手输入连接码时光标乱跳

问题复现&#xff1a;输入12345678&#xff0c;光标自动跳转导致连接码出现乱序情况。 千万别试着找出规律&#xff0c;已试动态规律非大牛误轻试 问题原因&#xff1a; 想啥呢&#xff1f;华哥的软件又不是我开发我要Know Why干啥 我只需关心解决方案 &#xff08;可能时输入…...

编程日记 2025/8/15 20:11:08

本地化部署Deepseek关于Ollama 安全加固方案（新手易学）

本地化部署Deepseek关于Ollama 安全加固方案&#xff08;新手易学&#xff09; 本方案针对使用ChatBox调用Ollama部署DeepSeek-R1:14b模型时的安全防护需求&#xff0c;提供四重防护措施。 &#x1f512; 一、关闭外网访问&#xff08;关键步骤&#xff09; 1. 修改监听地址 …...

编程日记 2025/8/15 14:49:54

C++ STL算法函数 —— 应用及其操作实现

一、STL算法函数分类概述 STL算法库提供了大量实用函数&#xff0c;按功能可分为以下五类&#xff1a; 1. 不修改序列的操作 定义&#xff1a;这些算法不会改变容器中的元素&#xff0c;仅对数据进行查询或统计。 典型函数&#xff1a; 函数功能示例find(first, last, value…...

编程日记 2025/8/12 17:01:27

AI数字人：口播与唇形同步的福音，支持本地部署/批量生成/口齿清晰

Heygem&#xff1a;开源前端界面的老六玩家 好消息&#xff01;Heygem 在 GitHub 上开源了&#xff01;不过&#xff0c;嘻嘻&#xff0c;只是前端界面开源&#xff0c;感觉更像是来 GitHub 刷一波知名度。不过这依然是个值得关注的工具。让我们先来看看它的官方介绍&#xff…...

编程日记 2025/8/14 2:00:16

【鸿蒙】封装日志工具类 ohos.hilog打印日志

封装一个ohos.hilog打印日志 首先要了解hilog四大日志类型&#xff1a; info、debug、warm、error 方法中四个参数的作用 domain: number tag: string format: string ...args: any[ ] 实例&#xff1a; //普通的info日志&#xff0c;使用info方法来打印 //第一个参数 : 0x0…...

编程日记 2025/8/15 1:20:05

附下载 | 2024 OWASP Top 10 基础设施安全风险.pdf

《2024 OWASP Top 10 基础设施安全风险》报告&#xff0c;由OWASP&#xff08;开放网络应用安全项目&#xff09;发布&#xff0c;旨在提升企业和组织对基础设施安全风险、威胁与漏洞的意识&#xff0c;并提供高质量的信息和最佳实践建议。报告列出了2024年最重要的10大基础设施…...

编程日记 2025/8/14 16:37:16

Chatbox通过百炼调用DeepSeek

解决方案链接&#xff1a;评测&#xff5c;零门槛&#xff0c;即刻拥有DeepSeek-R1满血版 方案概览 本方案以 DeepSeek-R1 满血版为例进行演示&#xff0c;通过百炼模型服务进行 DeepSeek 开源模型调用&#xff0c;可以根据实际需求选择其他参数规模的 DeepSeek 模型。百炼平台…...

编程日记 2025/8/13 10:07:19

Vue前端项目部署到宝塔面板的详细过程

目录 前言 一、项目的打包与上传 1、修改前端项目 2、关于test环境的补充修改 3、打包前端项目 二、添加站点&#xff0c;启动项目 三、总结 前言 书接上回 SpringBoot项目部署到宝塔面板的详细过程-CSDN博客 本次以SmartAdmin的项目为例&#xff0c;通过宝塔面板部署…...

编程日记 2025/8/15 13:22:01

免费高质量贴图（Textures） 网站推荐

以下是一些提供 免费或高质量贴图&#xff08;Textures&#xff09; 的网站&#xff0c;包括 PBR 贴图、HDRI 贴图、材质等&#xff0c;适用于 Three.js、Blender、Unity、Unreal Engine 等软件。 &#x1f30d; 1. Poly Haven&#xff08;https://polyhaven.com/&#xff09;⭐…...

编程日记 2025/8/14 8:50:03

C++进阶——map和set的使用

目录 1、序列式容器和关联式容器 2、set系列的使用 2.1 set和multiset的参考文档 2.2 set类的介绍 2.3 set的构造和迭代器 2.4 set的增删查 2.5 set的insert和迭代器遍历 2.6 set的find和erase 2.7 set的lower_bound和upper_bound 2.8 multiset和set的差异 2.9 349.…...

编程日记 2025/8/13 9:14:39

AI机器学习---Anaconda

Anaconda指的是一个开源的Python发行版本&#xff0c;其包含了Conda、Python等180多个科学包及其依赖项。因为包含了大量的科学包&#xff0c;Anaconda 的下载文件比较大&#xff08;约 531 MB&#xff09;&#xff0c;如果只需要某些包&#xff0c;或者需要节省带宽或存储空间…...

编程日记 2025/8/14 7:17:11

如何在Futter开发中做性能优化？

目录 1. 避免不必要的Widget重建 问题&#xff1a;频繁调用setState()导致整个Widget树重建。 优化策略&#xff1a; 2. 高效处理长列表 问题&#xff1a;ListView一次性加载所有子项导致内存暴涨。 优化策略&#xff1a; 3. 图片加载优化 问题&#xff1a;加载高分辨率…...

编程日记 2025/8/13 17:28:34

leetcode 75.颜色分类（荷兰国旗问题）

题目描述 题目分析 本题是经典的「荷兰国旗问题」&#xff0c;由计算机科学家 Edsger W. Dijkstra 首先提出。 要想单独解决这道题本身还是很简单的&#xff0c;统计0、1、2的数量然后按顺序赋值&#xff0c;或者手写一个冒泡排序&#xff0c;whatever。 但是在这一题中我们主…...

编程日记 2025/8/11 14:46:21

JVM--垃圾回收

垃圾回收的概念 垃圾回收主要针对的是堆中的对象&#xff0c;堆是一个共享的区域&#xff0c;创建的对象和数组都放在这个位置。但是我们不能一直的创建对象&#xff0c;也不是所有的对象能一直存放&#xff0c;如果不进行垃圾回收&#xff0c;内存迟早会耗尽&#xff0c;及时…...

编程日记 2025/8/15 4:47:36

Spring boot3-Http Interface： 声明式编程

来吧 1.首先引入pom.xml依赖 <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-webflux</artifactId> </dependency> 2.创建WebClientController控制器 import com.atguigu.boot3_07_http.serv…...

编程日记 2025/8/12 11:56:21

springboot EasyExcel 实现导入导出

1. 添加依赖 确保 Maven 依赖中包含 EasyExcel 3.0.5&#xff1a; <dependency><groupId>com.alibaba</groupId><artifactId>easyexcel</artifactId><version>3.0.5</version></dependency><!-- excel工具 --><dep…...

编程日记 2025/8/12 19:19:09

基于RAGFlow本地部署DeepSpeek-R1大模型与知识库：从配置到应用的全流程解析

作者&#xff1a;后端小肥肠 &#x1f34a; 有疑问可私信或评论区联系我。 &#x1f951; 创作不易未经允许严禁转载。 姊妹篇&#xff1a; DeepSpeek服务器繁忙&#xff1f;这几种替代方案帮你流畅使用&#xff01;&#xff08;附本地部署教程&#xff09;-CSDN博客 10分钟上手…...

编程日记 2025/8/12 5:08:41

spring 创建单例 Bean 源码分析

一、创建单例Bean 1、创建单例 Bean 通过方法getBean()来创建单例bean。 代码入口&#xff1a; org.springframework.beans.factory.support.DefaultListableBeanFactory#preInstantiateSingletons spring boot version&#xff1a;2.6.13 org.springframework.beans.factory…...

编程日记 2025/8/14 8:49:34

GetCurrentTime

在实际编程中难免要获取当前时间并且进行格式化&#xff0c;本文给出了多种 GetCurrentTime() 方法以供选择。 C语言下使用strftime C 语言中可以使用 <time.h> 中的函数来获取和格式化时间 #include <stdio.h> #include <time.h>char* getCurrentTime() …...

编程日记 2025/8/15 12:03:26

HTB 学习笔记 【中/英】《Web 应用简介》P1

&#x1f4cc; 这篇文章讲了什么&#xff1f; 介绍了 Web 应用 的概念、架构&#xff0c;以及与传统网站的区别。重点讲解了 Web 安全风险&#xff0c;包括 常见攻击方法&#xff08;SQL 注入、文件包含、不安全的文件上传等&#xff09;。介绍了 Web 渗透测试 的重要性&#…...

编程日记 2025/8/14 5:10:45

ROS catkin_make编译报错问题

对问题 CMake Error at graduation_design/CMakeLists.txt:226 (add_dependencies): The dependency target "graduation_design_generate_messages_cpp" of target "listener" does not exist 检查 generate_messages() 是否被注释 对 CMake Error at …...

编程日记 2025/8/13 6:40:15

【结构设计】3D打印创想三维Ender 3 v2

【结构设计】3D打印创想三维Ender 3 v2 文章目录 前言一、Creality Slicer1.2.3打印参数设置二、配件更换1.捆扎绑扎线2.气动接头3D打印机配件插头3.3D打印机配件Ender3pro/V2喷头套件4.读卡器 TF卡5.micro sd卡 三、调平四、参考文章总结 前言 使用工具&#xff1a; 1.创想三…...

编程日记 2025/8/14 16:59:18

并发编程2

接并发编程1 synchronized锁的实现 通过底层指令控制实现&#xff0c;Java提供的一种原子性内置锁&#xff0c;在进入synchronized后会从主内存复制一份共享变量到自己的工作内存&#xff0c;在工作内存中修改完成后&#xff0c;退出时会把工作内存的值写入到主内存&#xff…...

编程日记 2025/8/11 16:43:30

Linux 中 Git 使用指南：从零开始掌握版本控制

目录 1. 什么是 Git&#xff1f; Git 的核心功能&#xff1a; 2. Git 的安装 Ubuntu/Debian 系统&#xff1a; 验证安装&#xff1a; 3.gitee库 4. Git 的首次配置 配置用户名和邮箱&#xff1a; 查看配置&#xff1a; 5. Git 的基本使用 初始化仓库 添加文件到暂存区…...

编程日记 2025/8/13 22:36:35

C# Exe + Web 自动化 （BitComet 绿灯 自动化配置、设置）

BitComet GreenLight,内网黄灯转绿灯 (HighID), 增加p2p连接率提速下载-CSDN博客 前两天写个这个&#xff0c;每次开机关机后要重来一遍很麻烦的索性写个自动化。 先还是按照上面的教程自己制作一遍&#xff0c;留下Luck 以及 路由器相关的 端口记录信息。 &#xff08;因为自…...

编程日记 2025/8/10 1:07:29

2024年12月CCF-GESP编程能力等级认证C++编程四级真题解析

四级真题的难度： 一、总体难度评价 CCF-GESP编程能力等级认证C++四级真题的难度通常被认为相对较高。它不仅要求考生具备扎实的C++编程基础，还需要考生掌握一定的算法和数据结构知识，以及良好的问题解决能力。 二、具体难度分析 ‌理论知识考察‌： 单选题和判断题中，会涉…...

编程日记 2025/8/10 20:58:49

谷歌Chrome或微软Edge浏览器修改网页任意内容

在谷歌或微软浏览器按F12&#xff0c;打开开发者工具&#xff0c;切换到console选项卡&#xff1a; 在下面的输入行输入下面的命令回车&#xff1a; document.body.contentEditable"true"效果如下&#xff1a;...

编程日记 2025/7/14 0:33:36

《DeepSeek深度使用教程：开启智能交互新体验》Deepseek深度使用教程

《DeepSeek使用教程&#xff1a;开启智能交互新体验》 在当今数字化时代&#xff0c;人工智能技术正以前所未有的速度改变着我们的生活和工作方式。DeepSeek作为一款强大的人工智能工具&#xff0c;凭借其卓越的自然语言处理能力和多领域应用潜力&#xff0c;受到了众多开发者…...

编程日记 2025/8/15 5:40:29

Dijkstra算法

Dijkstra算法&#xff08;迪杰斯特拉算法&#xff09;是一种经典的单源最短路径算法&#xff0c;用于在加权图中找到从一个源点到所有其他顶点的最短路径。它要求图中不能有负权边&#xff0c;因为负权边可能会导致算法的贪心策略失效。 Dijkstra算法的基本思想 Dijkstra算法…...

编程日记 2025/8/11 6:52:48

Python中的静态方法如何使用？

在Python里&#xff0c;类当中的方法可以分为多种不同的类型&#xff0c;其中staticmethod是一个十分有趣而又实用的功能。我们来好好地聊一聊什么是静态方法&#xff0c;它的用途是什么&#xff0c;以及如何在实际应用中使用它们&#xff01; 首先&#xff0c;定义一下静态方…...

编程日记 2025/8/11 23:38:32

【最后203篇系列】016 Q201架构思考

前言 Q200已经达到了我既定的目标&#xff0c;在最近的3个月&#xff0c;我需要进一步完善&#xff0c;达到可以试产的程度。 在这个过程当中&#xff0c;许多知识和体会一直在变。 qtv200到目前&#xff0c;虽然通过习惯(每晚运行离线策略和比对)方式维持了注意力的集中&…...

编程日记 2025/8/15 1:17:45

小脑萎缩会致命吗？

小脑萎缩&#xff0c;顾名思义&#xff0c;是指小脑的体积减小或结构发生异常&#xff0c;进而影响其正常功能。小脑作为人体重要的协调和运动控制中心&#xff0c;负责维持身体平衡、调节肌肉张力和协调运动等关键功能。当小脑出现萎缩时&#xff0c;患者可能会出现步态不稳、…...

编程日记 2025/8/15 12:48:49

pip install和conda install的区别

这里写目录标题 一、什么是 Python 依赖&#xff08;Python Dependencies&#xff09;&#xff1f;1. 依赖的作用2. 如何管理 Python 依赖3. 依赖管理问题4. 依赖锁定总结 二、使用pip安装包venv隔离环境方法 1&#xff1a;使用 venv&#xff08;推荐&#xff09;创建虚拟环境激…...

编程日记 2025/8/10 21:13:46

這是我第一次寫關於aapenal服務器管理控制面板的文章

首先我們來認識一下服務器管理面板的所有功能  網站管理功能&#xff1a; 支持創建和管理多個網站。配置虛擬主機&#xff08;Vhost&#xff09;和域名綁定。自動安裝常用應用&#xff08;如WordPress、Joomla等&#xff09;。  文件管理功能&#xff1a; 文件上傳、…...

编程日记 2025/8/5 1:24:00

requests库的request和response对象的属性和方法

Python requests库 request 参数信息 response 参数信息...

编程日记 2025/7/28 23:59:08

8664蛋糕的美味值

8664蛋糕的美味值 ⭐️难度&#xff1a;中等 &#x1f31f;考点&#xff1a;枚举 &#x1f4d6; &#x1f4da; import java.util.Scanner;public class Main {public static void main(String[] args) {Scanner sc new Scanner(System.in );int n sc.nextInt();int k s…...

编程日记 2025/8/15 7:38:38

【MySQL】数据库简要介绍和简单应用

目录 数据库简要介绍 SQL 的简单应用 需要注意的&#xff1a; 数据库简要介绍 数据库(database)是指长期存储在计算机内&#xff0c;有组织的、可共享的数据集合。它可视为一个电子化的文件柜&#xff0c;用来存储电子文件,用户可以对文件中的数据进行査询、新增、更新、删…...

编程日记 2025/8/14 18:14:07

yolo环境 pytorch环境配置 CUDA安装

我的成功案例&#xff1a;首先安装python 3.12.9的conda虚拟环境 &#xff08;如果不安装3.12的会报错误ModuleNotFoundError&#xff1a;没有名为“numpy._core”的模块&#xff09; 然后安装11.8cuda &#xff08;其实我是可以最高安装12.6的cuda但我实测&#xff0c;太高版…...

编程日记 2025/8/15 1:10:34

camellia redis proxy v1.3.3对redis主从进行读写分离（非写死，自动识别故障转移）

1 概述 camellia-redis-proxy是一款高性能的redis代理&#xff08;https://github.com/netease-im/camellia&#xff09;&#xff0c;使用netty4开发&#xff0c;主要特性如下&#xff1a; 支持代理到redis-standalone、redis-sentinel、redis-cluster。支持其他proxy作为后端…...

编程日记 2025/8/14 12:12:40

python相关语法的学习文档1

python相关语法的学习文档1 1、tqdm tqdm 是 Python 中一个非常流行的进度条库，可以实时显示循环或任务的进度。它简单易用，支持多种场景（如循环、文件处理、多线程/进程等）。以下是详细的使用讲解： 1.1 安装 pip install tqdm1.2 基本用法 from tqdm import tqdm impo…...

编程日记 2025/8/15 18:32:04

Web元件库 ElementUI元件库+后台模板页面（支持Axure9、10、11）

Axure是一款非常强大的原型设计工具&#xff0c;它允许设计师和开发者快速创建高保真原型&#xff0c;以展示应用或网站的设计和功能。通过引入各种元件库&#xff0c;如ElementUI元件库&#xff0c;可以极大地丰富Axure的原型设计能力&#xff0c;使其更加贴近实际开发中的UI组…...

编程日记 2025/8/12 7:53:27

Java 并发编程——BIO NIO AIO 概念

参考 Java 并发编程——BIO NIO AIO 概念 阻塞与非阻塞、同步与异步概念 系统调用、缓存、物理设备阻塞与非阻塞同步与异步 四种主要的 IO 模型 同步阻塞 IO同步非阻塞 IOIO 多路复用异步 IO select&#xff0c;poll&#xff0c;epoll 系统调用命令...

编程日记 2025/8/11 14:20:40

在微信小程序或前端开发中，picker 和 select 都是用户交互中用于选择的组件，但它们在功能、设计和使用场景上有一定的区别

在微信小程序或前端开发中&#xff0c;picker 和 select 都是用户交互中用于选择的组件&#xff0c;但它们在功能、设计和使用场景上有一定的区别。 1. picker 的特点 描述&#xff1a; picker 是微信小程序中的原生组件&#xff0c;通常用于选择单项或多项值&#xff0c;如时…...

编程日记 2025/8/14 22:47:20

笔记本 Win10 部署阿里通义千问 1.5-0.5B 大模型 mini 版

文章目录 1.环境准备1.1 硬件环境1.2 OS 环境1.3 Python 环境 2.环境安装2.1 CUDA 驱动下载安装2.2 torch 库下载安装2.3 transformers 库安装2.3 accelerate 库安装2.4 验证 CUDA 是否可用2.5 下载 Qwen1.5-0.5B 大模型 3.测试大模型3.1 加载大模型3.2 简单对话3.3 亲测体验感…...

编程日记 2025/8/10 1:24:15

SpringBoot事件驱动

1、概述 Spring事件驱动采用了观察者设计模式&#xff0c;主要作用就是实现对象之间的松耦合通信。它的核心思想是通过事件的发布和监听来实现不同组件之间的交互。&#xff08;跟mq挺像&#xff09; 基础概念&#xff1a; 事件&#xff08;Event&#xff09;: 在Spring中&am…...

编程日记 2025/8/14 6:11:20

nginx中间件部署

普通权限账户安装NGINX中间件 1、拥有高级权限的账户安装必要的插件 sudo yum install -y gcc-c make pcre pcre-devel zlib zlib-devel openssl openssl-devel 2、普通账户进行NGINX的脚本式安装 vi nginx_intall.sh #!/bin/bash TAR_NAME"$1" TAR_NAME_DIRba…...

编程日记 2025/8/14 13:32:23

Qt程序基于共享内存读写CodeSys的变量

文章目录 1.背景2.结构体从CodeSys导出后导入到C2.1.将结构体从CodeSys中导出2.2.将结构体从m4文件提取翻译成c格式 3.添加RTTR注册信息4.读取PLC变量值5.更改PLC变量值 1.背景 在文章【基于RTTR在C中实现结构体数据的多层级动态读写】中&#xff0c;我们实现了通过字符串读写…...

编程日记 2025/8/10 20:41:05