当前位置：首页 > news >正文

day 14 SHAP可视化

news 来源：原创 2025/8/16 2:59:34

一、原理——合作博弈论

SHAP（SHapley Additive exPlanations）是一种用于解释机器学习模型预测结果的方法，它基于合作博弈论中的 Shapley 值概念。Shapley 值最初用于解决合作博弈中的利益分配问题。假设有 n 个参与者共同合作完成一项任务并获得一定收益，Shapley 值能公平地分配这个总收益给每个参与者，它考虑了每个参与者在所有可能的合作组合中的边际贡献。

在机器学习中，特征的边际贡献指的是某个特征在模型中对预测结果所带来的额外价值或影响。它衡量了在已有其他特征的基础上，单独添加该特征后模型性能的提升程度。

例如：甲、乙、丙、丁四个工人一起打工，甲和乙完成了价值100元的工件，甲、乙、丙完成了价值120元的工件，乙、丙、丁完成了价值150元的工件，甲、丁完成了价值90元的工件，那么该如何公平、合理地分配这四个人的工钱呢？

这里每个工人获得的工钱反映了他在不同组合中对最终价值产出的独特贡献。这里通过对比不同工人组合完成工件价值的差异，来确定每个工人的贡献。比如从 “甲和乙完成价值 100 元工件” 到 “甲、乙、丙完成价值 120 元工件”，差值 20 元体现了丙在这个组合变化中的贡献，即丙的工钱。

二、shapley值计算思路

特征组合枚举：对于一个有 n 个特征的模型，需要考虑所有可能的特征子集组合。例如，当有 3 个特征 A、B、C 时，特征子集包括空集 {}，单特征集 {A}、{B}、{C}，双特征集 {A, B}、{A, C}、{B, C}，以及包含所有特征的集合 {A, B, C}。总共有 $2^n$ 种组合。

边际贡献计算：对于每个特征子集 S ，计算包含该特征 i （ i ∉ S ）和不包含该特征 i （即子集 S ）时模型预测值的差异，这个差异就是特征 i 在特征子集 S 下的边际贡献。

平均边际贡献（shap值）：对特征 i 在所有可能的特征子集组合下的边际贡献进行加权平均，权重是该子集组合出现的概率，得到的结果就是该特征的 SHAP 值。正值表示该特征倾向于使模型预测值增加，负值表示倾向于使模型预测值减少。

三、shap的关键特性

基准值代表了在没有考虑任何特定样本特征时，模型基于整个训练数据集的平均预测输出。例如，在一个预测房价的模型中，如果对训练数据集中所有房屋的价格求平均，得到的这个平均价格就是基准值。它为解释模型对特定样本的预测提供了一个参考点。

加性特性解释：SHAP 的加性特性表明，对于任何一个样本的预测，模型预测值可以分解为基准值与每个特征的 SHAP 值之和。也就是说，每个特征对模型预测值的贡献是独立可加的。

假设有一个预测客户是否会购买产品（0 ：不购买，1 ：购买）的模型，基准值为 0.3（即平均来看，在不考虑任何客户特征时，模型预测客户购买产品的概率是 0.3）。对于某个特定客户，特征 1（比如客户年龄）的 SHAP 值为 0.1，特征 2（比如客户收入）的 SHAP 值为 0.2，特征 3（比如客户购买历史）的 SHAP 值为 0.05。根据 SHAP 的加性特性，该客户的模型预测值就是基准值加上各个特征的 SHAP 值，即 0.3+0.1+0.2+0.05=0.65 ，这意味着考虑了该客户的年龄、收入和购买历史等特征后，模型预测该客户购买产品的概率为 0.65。

四、`shap_values` 数组

SHAP 旨在深入剖析模型对单个样本做出预测的内在原因。对于每个样本的预测，需要明确每个特征对预测值的作用方向（是使预测值升高还是降低）以及作用程度（升高或降低了多少）。SHAP 值直观地反映了特征对样本预测值的 “推力”，SHAP 值的绝对值越大，说明该特征对预测值的影响越显著。

回归问题：

模型输出特点：回归模型的输出是一个连续的数值，例如预测房价、温度等。

计算逻辑：对于数据集中的每个样本（共n_samples个），都要计算每个特征（共n_features个）对该样本预测值的 SHAP 值。

数组结构：shap_values生成的是一个numpy数组，它的形状为 (n_samples, n_features)。例如，shap_values[10, 3] 表示第 10 个样本的第 3 个特征对该样本预测值的贡献。

即：shap_values.shape = (n_samples, n_features)

分类问题：

模型输出特点：分类模型通常为每个类别输出一个分数或概率，例如在判断一封邮件是垃圾邮件还是正常邮件时，模型会给出邮件属于垃圾邮件和正常邮件的概率。

计算逻辑：SHAP 需要分别解释模型是如何得出每个类别的分数的。所以对于每个样本，要针对每个类别分别计算每个特征的 SHAP 值。

数组结构：常见的组织方式是返回一个列表，列表长度等于类别数。列表的第 k 个元素是一个 (n_samples, n_features) 的numpy数组，表示所有样本的所有特征对预测类别k的贡献。

即：shap_values.shape =(n_samples, n_features, n_classes)

例如二分类问题中，shap_values[0][10, 3] 表示第 10 个样本的第 3 个特征对该样本被预测为第 0 类的贡献；shap_values[1][10, 3] 则表示第 10 个样本的第 3 个特征对该样本被预测为第 1 类的贡献。

总结：

SHAP 通过计算 Shapley 值，将模型预测分解到每个特征上，这种分解针对每个样本、每个特征以及分类问题中的每个类别都要进行，从而形成了特定结构的shap_values数组。通过这个数组，我们能够清晰地了解模型预测背后每个特征的作用，为模型解释提供了有力的工具。

五、代码实例

import shap
import matplotlib.pyplot as plt# 初始化 SHAP 解释器，他会分析模型结构，为后续计算shap值做准备
explainer = shap.TreeExplainer(rf_model)# 计算 SHAP 值（测试集），这个计算耗时
shap_values = explainer.shap_values(X_test)# 生成所有特征对每个样本预测结果的影响程度
shap_values

array表示不同类别，每行表示单个样本，每列表示单个特征，值表示特征对样本预测结果的影响程度，正值表示正向影响，负值表示负向影响。

注意！！！分类问题返回的是列表，列表没有shape属性，所以会报错：

将列表转化为数组，形状为(num_classes, n_samples, n_features)
shap_array = np.array(shap_values)
#根据索引对维度进行转置，变成 (n_samples, n_features, num_classes)
shap_array_aligned = np.transpose(shap_array, axes=(1, 2, 0))
shap_array_aligned.shape
# 输出：（1500,31,2）

print("shap_array_aligned shape:", shap_array_aligned.shape)
print("shap_array_aligned[0] shape:", shap_array_aligned[0].shape)
print("shap_array_aligned[:, :, 0] shape:", shap_array_aligned[:, :, 0].shape)
print("X_test shape:", X_test.shape)
# 输出：
shap_array_aligned shape: (1500, 31, 2)
shap_array_aligned[0] shape: (31, 2)
shap_array_aligned[:, :, 0] shape: (1500, 31)
X_test shape: (1500, 31)

shap_array_aligned[:, :, 0] ：

第一个 : 表示选取第一个维度（样本维度）上的所有元素。

第二个 : 表示选取第二个维度（特征维度）上的所有元素。

0 表示选取第三个维度（类别维度）上索引为 0 的元素。

shap_array_aligned 的形状是 (n_samples, n_features, num_classes)，经过这个切片操作后，会得到一个新的二维数组，其形状为 (n_samples, n_features)。这个新数组包含了所有样本的所有特征对于类别索引为 0 的 SHAP 值。

在处理多维数组切片时，start:stop:step 这种格式中 step 用于指定步长，即每隔多少个元素取一个。但当只写一个数字，如这里的 0，它就被当作索引，用来精确获取指定位置的元素。如果想要在第三个维度上使用步长，格式会变为 shap_array_aligned[:, :, ::2]，这表示在第三个维度上，从开头开始，每隔一个元素（步长为 2）进行选取。

上面这些输出有点玄学，不同电脑可能输出不同，中间的2个谁和x_test的尺寸一样就选谁

特征重要性条形图

print("--- 1. SHAP 特征重要性条形图 ---")
#  show=False表示不立即显示图形,这样可继续用plt自定义修改图形
shap.summary_plot(shap_array_aligned[:, :, 0], X_test, plot_type="bar",show=False)  
plt.title("SHAP Feature Importance (Bar Plot)")
plt.show()

特征重要性蜂巢图

print("--- 2. SHAP 特征重要性蜂巢图 ---")
shap.summary_plot(shap_array_aligned[:, :, 0], X_test,plot_type="violin",show=False,max_display=10) 
# max_display=10 表示只显示对预测结果影响最大的前 10 个特征，默认为20.
plt.title("SHAP Feature Importance (Violin Plot)")
plt.show()

注意！！！小提琴图的横轴表示单个样本中特征的shap值，和条形图横轴表示特征在所有样本的特征平均值。

假设我们有一个包含 1000 个样本的数据集，在绘制 “信用评分” 这个特征的小提琴图时，横轴会涵盖这 1000 个样本中 “信用评分” 特征各自对应的 SHAP 值。小提琴图会展示出这 1000 个 SHAP 值是如何分布的，是集中在正值区域还是负值区域，是分布得比较分散还是相对集中等信息。

六、阅读材料：

SHAP 可视化解释机器学习模型简介_shap图-CSDN博客

@浙大疏锦行

day 14 SHAP可视化

一、原理——合作博弈论 SHAP（SHapley Additive exPlanations）是一种用于解释机器学习模型预测结果的方法，它基于合作博弈论中的 Shapley 值概念。Shapley 值最初用于解决合作博弈中的利益分配问题。假设有 n 个参与者共同合作完成一项任务并…...

编程日记 2025/8/16 2:59:34

处理PostgreSQL数据库事务死锁过程

查询pg_locks表，获取未得到满足的锁信息： select * from pg_locks where granted is false ; --查询得不到锁的，那就是两个互相等待对方持有的锁查询活动的事务会话进程，和上一步的锁的事务对应起来： select * from …...

编程日记 2025/8/16 2:59:32

大数据、物联网（IoT）、平台架构与设计重构大模型应用

结合大数据、物联网（IoT）、平台架构与设计重构大模型应用，需构建一个数据驱动、实时响应、弹性扩展的智能系统。以下从技术架构、数据流、核心模块设计三个维度展开：一、整体架构设计分层架构（基于云-边-端协同）： [物联网设备层] → [边缘计算层] → [大数据平台层]…...

编程日记 2025/8/16 2:59:31

开发 Chrome 扩展中的侧边栏图标设置实录（Manifest V3）

在开发自己的 Chrome 扩展 Pocket Bookmarks（口袋书签） 的过程中，我遇到了一个看似简单却颇具挑战的问题：如何在扩展的侧边栏显示自定义图标？ 这篇文章记录一下我踩过的坑，以及最终的解决方案。这里说的侧…...

编程日记 2025/8/16 2:59:29

Baumer工业相机堡盟工业相机如何通过BGAPI SDK在Linux系统下设置多个USB相机（C++）

Baumer工业相机堡盟工业相机如何通过BGAPI SDK在Linux系统下设置多个USB相机（C） Baumer工业相机Baumer工业相机BGAPI SDK在Linux系统下设置USB相机的技术背景Linux系统内核 USB 模块内存的修改内存限制的确定使用 GRUB 引导加载程序修改内存限制使用 U-B…...

编程日记 2025/8/16 2:59:27

zst-2001 历年真题知识产权

知识产权 - 第1题发表权有时间限制其他下面3个没有 c 知识产权 - 第2题 bd是财产权 c 知识产权 - 第3题 b 知识产权 - 第4题 d 知识产权 - 第5题 d 知识产权 - 第6题 d 知识产权 - 第7题 d 知识产权 - 第8题 b是国务院发布的 d没有复制权…...

编程日记 2025/8/16 2:59:26

设备与驱动：UART设备

大部分的嵌入式系统都包括一些I/O设备，例如仪器上的数据显示屏、工业设备上的串口通信、数据采集设备上模拟数据采样、用于保存数据的Flash/SD卡以及网络设备上的以太网接口等，都是嵌入式系统中容易找到的I/O设备例子。本专栏主要是分享RT-Thread是如何…...

编程日记 2025/8/16 2:59:24

Linux 服务器静态 IP 配置初始化指南

✅ 第一步：确认网络管理方式运行以下命令判断系统使用的网络管理服务： # 检查 NetworkManager 是否活跃 systemctl is-active NetworkManager# 检查 network（旧服务）是否活跃 systemctl is-active network或者检查配置路径&…...

编程日记 2025/8/16 2:59:22

【ROS2】Nav2源码之行为树定义、创建、加载

1、简述在 Navigation2 里，机器人的导航是一项复杂的任务，包含路径规划、避障、恢复机制等多个子任务。行为树能把这些子任务组织成清晰的层次结构，让机器人可以依据不同的情况做出合理的决策。例如，当机器人在导航途中碰到障碍物时，行为树可以决定是重新规划路径、尝试…...

编程日记 2025/8/16 2:59:20

Redis持久化存储介质评估：NFS与Ceph的适用性分析

#作者：朱雷文章目录一、背景二、Redis持久化的必要性与影响1. 持久化的必要性2. 性能与稳定性问题三、NFS作为持久化存储介质的问题1. 性能瓶颈2. 数据一致性问题3. 存储服务单点故障4. 高延迟影响持久化效率.5. 吞吐量瓶颈四、Ceph作为持久化存储介质的问题1.…...

编程日记 2025/8/16 2:59:18

如何统一修改word中所有英文字母的字体格式

1.需求分析我想让整篇论文中的所有英文字母格式都修改为Time New Roman格式。 2.直观操作流程点击左上角开始 --> 点击替换 --> 点击更多 --> 点击特殊格式 --> 选择查找内容为任意字母(Y) --> 将光标点到替换内容 --> 点击格式 --> 点击字体 --> …...

编程日记 2025/8/16 1:17:24

服务器上机用到的设备

服务器上机通常需要以下硬件设备： 服务器主机： CPU：选择高性能的多核处理器，如英特尔至强（Xeon）系列或AMD EPYC系列，以满足高并发和多任务处理需求。内存（RAM）&#xf…...

编程日记 2025/8/16 2:59:15

【Java ee 初阶】多线程（8）

Synchronized优化： 一、锁升级锁升级时一个自适应的过程，自适应的过程如下： 在Java编程中，有一部分的人不一定能正确地使用锁，因此，Java的设计者为了让大家使用锁的门槛更低，就在synchronize…...

编程日记 2025/8/16 2:59:13

数字孪生大屏UI设计

近年来,5G、大数据、云计算等新一代信息技术的蓬勃发展,计算机仿真技术与拟真软件的成熟运用,让数字孪生技术开始蔓延渗透到“互联网”相关的产业中。数字孪生大屏给予了可视化的数据直观窗口,其中展现的动态映射与实时数据让业务流转效率得到了有效提升,管理、运营和决策都能高…...

编程日记 2025/8/16 2:59:11

【Java ee 初阶】多线程（9）上

一、信号量Semaphore 本质上就是一个计数器，描述了一种“可用资源”的个数申请资源（P操作）：使得计数器-1 释放资源（V操作）：使得计数器1 如果计数器为0了，继续申请资源&#xff…...

编程日记 2025/8/16 2:59:09

eclipse开发环境中缺少JavaEE组件如何安装

新版本eclipse去掉server了吗？在最近新版本的eclipse里面，确实找不到server模块了，无法配置tomcat等web服务器插件了。我们需要自己手工安装一下javaEE组件才行。 1 1：找到自己当前eclipse版本号码 2：去这个地址&…...

编程日记 2025/8/16 2:59:07

stm32之ADC

目录 1.简介2.逐次逼近型ADC3.基本结构4.输入通道5.转换模式6.触发控制7.数据对齐8.转换时间7.校准10.ADC外围电路11.api和结构体11.1 结构体11.2 api1. ADC_DeInit2. ADC_Init3. ADC_StructInit4. ADC_Cmd5. ADC_DMACmd6. ADC_ITConfig7. ADC_ResetCalibration8. ADC_GetReset…...

编程日记 2025/8/16 2:59:05

从电话到V信语音：一款App实现全场景社交脱身

作为一名资深社恐人士，我深知那些无法脱身的社交场合有多煎熬。上周参加一个行业聚会，面对滔滔不绝的陌生人，我如坐针毡却又找不到合适的离场理由。这时我突然想起之前朋友推荐的一款神器应用，它让我得以优雅脱身。今天就来分享这…...

编程日记 2025/8/16 2:59:03

conda init before conda activate

先conda init 然后退出命令窗口，再重新打开命令窗口再conda activate...

编程日记 2025/8/16 2:59:01

MySQL数据库高可用（MHA）详细方案与部署教程

一：MHA简介核心功能二：MHA工作原理三：MHA组件四：MHA 架构与工具 MHA架构 Manager关键工具 Node工具五：工作原理与流程 1: 故障检测 2: 故障切换（Failover） 3 : 切换模式六&a…...

编程日记 2025/8/16 2:58:59

《Python星球日记》第44天: 线性回归与逻辑回归

名人说：路漫漫其修远兮，吾将上下而求索。—— 屈原《离骚》创作者：Code_流苏(CSDN)（一个喜欢古诗词和编程的Coder😊）专栏：《Python星球日记》，限时特价订阅中ing 目录一、引言：回归方法的重要性二、线性回归原理与损失函数1. 线性回归的数学模型2. 损失函数：衡量…...

编程日记 2025/8/15 8:33:37

Flutter TabBar / TabBarView 详解

目录一、引言二、基本用法代码解析三、主要属性 3.1 TabBar 3.2 TabBarView 四、进阶定制：突破默认样式 4.1 视觉样式深度定制 4.2 自定义指示器与标签 4.3 动态标签管理五、工程实践关键技巧 5.1 性能优化方案 5.2 复杂手势处理 5.3 响应式布局…...

编程日记 2025/8/16 2:58:56

001 环境搭建

🦄 个人主页: 小米里的大麦-CSDN博客 🎏 所属专栏: Linux_小米里的大麦的博客-CSDN博客 🎁 GitHub主页: 小米里的大麦的 GitHub ⚙️ 操作环境: Visual Studio 2022 文章目录 Linux 环境搭建全解析：从历史到实践一、Linux 的起源与…...

编程日记 2025/8/16 2:58:54

Spark-core-RDD入门

RDD基本概念 Resilient Distributed Dataset 叫做弹性分布式数据集，是Spark中最基本的数据抽象，是分布式计算的实现载体，代表一个不可变，可分区，里面的元素并行计算的集合。 - Dataset： 一个数据集合&…...

编程日记 2025/8/16 2:58:52

在scala中，转换算子和行动算子有什么区别

在Scala结合Spark编程中，转换算子（Transformation）和行动算子（Action）有以下区别： 执行机制 **转换算子**： 具有惰性求值（延迟计算）特性。它对RDD（弹性分布…...

编程日记 2025/8/16 2:58:50

六级阅读---2024.12 卷一仔细阅读1

文章 Imagine youre an alien sent to Earth to document the behaviour of the mammals inhabiting the planet. You stumble into a movie theatre thats showing the latest Hollywood horror film. Several dozen humans are gathered together in a dark, undercoated r…...

编程日记 2025/8/16 2:58:49