当前位置：首页 > news >正文

Day 15 训练

news 来源：原创 2025/8/4 14:49:48

Day 15

- 对鸢尾花数据集进行处理，特征可视化，贝叶斯优化随机森林，Shap解释
- - 1. 导入必要的库
  - 2. 设置中文字体
  - 3. 加载数据集
  - 4. 查看数据
  - 5. 数据准备
  - 6. 贝叶斯优化随机森林
  - 7. 评估结果
  - 8. 绘制箱形图
  - 9. 绘制特征相关性热力图
  - 10. SHAP模型解释
  - 总结

对鸢尾花数据集进行处理，特征可视化，贝叶斯优化随机森林，Shap解释

完整代码：

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn import datasets
from sklearn.metrics import classification_report,confusion_matrix
from sklearn.model_selection import train_test_split
import seaborn as sns   #基于matplotlib的高级绘图库，能绘制更美观的统计图形。
import warnings
warnings.filterwarnings("ignore")# 设置中文字体（解决中文显示问题）
plt.rcParams['font.sans-serif'] = ['SimHei']  # Windows系统常用黑体字体
plt.rcParams['axes.unicode_minus'] = False    # 正常显示负号iris = datasets.load_iris()  # 加载鸢尾花数据集
# 将iris数据集转换为DataFrame
data = pd.DataFrame(data=np.c_[iris['data'], iris['target']],columns=iris['feature_names'] + ['target'])# 查看前5行数据
print(data.head())# 数据准备
X = data.drop('target', axis=1)
y = data['target']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)# 贝叶斯优化随机森林
from skopt import BayesSearchCV
from skopt.space import Integer
from sklearn.ensemble import RandomForestClassifier# 定义搜索空间
search_space = {'n_estimators': Integer(50, 200),'max_depth': Integer(5, 30),'min_samples_split': Integer(2, 10),'min_samples_leaf': Integer(1, 4)
}# 初始化贝叶斯优化
bayes_search = BayesSearchCV(estimator=RandomForestClassifier(random_state=42),search_spaces=search_space,n_iter=50,cv=5,scoring='accuracy',n_jobs=-1
)# 执行优化
bayes_search.fit(X_train, y_train)# 评估结果
best_model = bayes_search.best_estimator_
y_pred = best_model.predict(X_test)print("\n最佳参数:", bayes_search.best_params_)
print("\n分类报告:")
print(classification_report(y_test, y_pred))
print("混淆矩阵:")
print(confusion_matrix(y_test, y_pred))# 绘制前六个特征的箱形图
plt.figure(figsize=(15, 10))
features = data.columns[:6]  # 获取前六个特征名for i, feature in enumerate(features):plt.subplot(2, 3, i+1)  # 2行3列布局sns.boxplot(data=data, y=feature)plt.title(f'{feature} 箱形图')plt.tight_layout()  # 自动调整子图间距
plt.show()# 绘制特征相关性热力图
plt.figure(figsize=(10, 8))
corr = data.corr()
sns.heatmap(corr, annot=True, cmap='coolwarm', center=0)
plt.title('特征相关性热力图')
plt.tight_layout()
plt.show()# SHAP模型解释
import shap# 初始化解释器
explainer = shap.TreeExplainer(best_model)# 计算SHAP值
shap_values = explainer.shap_values(X_test)# 特征重要条形图
plt.figure(figsize=(10, 6))
shap.summary_plot(shap_values, X_test, plot_type="bar", show=False)
plt.title("特征重要性条形图")
plt.tight_layout()
plt.show()# 蜂巢图
plt.figure(figsize=(10, 6))
shap.summary_plot(shap_values, X_test, show=False)
plt.title("特征影响蜂巢图")
plt.tight_layout()
plt.show()

这段代码是一个完整的机器学习流程，包括数据加载、预处理、模型训练（使用贝叶斯优化的随机森林）、模型评估、结果可视化（箱形图、热力图、SHAP解释）等步骤。以下是对代码的详细解释：

1. 导入必要的库

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn import datasets
from sklearn.metrics import classification_report, confusion_matrix
from sklearn.model_selection import train_test_split
import seaborn as sns  # 基于matplotlib的高级绘图库
import warnings
warnings.filterwarnings("ignore")

numpy：用于数学运算。
pandas：用于数据处理和分析。
matplotlib.pyplot：用于绘图。
sklearn.datasets：用于加载数据集。
sklearn.metrics：用于评估模型性能。
sklearn.model_selection：用于数据分割。
seaborn：用于绘制更美观的统计图形。
warnings：用于忽略警告信息。

2. 设置中文字体

plt.rcParams['font.sans-serif'] = ['SimHei']  # Windows系统常用黑体字体
plt.rcParams['axes.unicode_minus'] = False    # 正常显示负号

设置Matplotlib的字体为黑体，以确保中文可以正常显示。
确保负号可以正常显示。

3. 加载数据集

iris = datasets.load_iris()  # 加载鸢尾花数据集
data = pd.DataFrame(data=np.c_[iris['data'], iris['target']],columns=iris['feature_names'] + ['target'])

使用sklearn.datasets加载鸢尾花数据集。
将数据集转换为pandas.DataFrame，方便后续操作。

4. 查看数据

print(data.head())

打印数据集的前5行，查看数据结构。

5. 数据准备

X = data.drop('target', axis=1)
y = data['target']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

将特征和目标变量分开。
使用train_test_split将数据集分为训练集和测试集，测试集占20%。

6. 贝叶斯优化随机森林

from skopt import BayesSearchCV
from skopt.space import Integer
from sklearn.ensemble import RandomForestClassifiersearch_space = {'n_estimators': Integer(50, 200),'max_depth': Integer(5, 30),'min_samples_split': Integer(2, 10),'min_samples_leaf': Integer(1, 4)
}bayes_search = BayesSearchCV(estimator=RandomForestClassifier(random_state=42),search_spaces=search_space,n_iter=50,cv=5,scoring='accuracy',n_jobs=-1
)bayes_search.fit(X_train, y_train)

使用BayesSearchCV进行贝叶斯优化，优化随机森林的超参数。
定义搜索空间，包括n_estimators（树的数量）、max_depth（树的最大深度）、min_samples_split（分裂内部节点所需的最小样本数）、min_samples_leaf（叶节点最小样本数）。
设置优化的迭代次数为50，交叉验证为5折，评分标准为准确率，使用所有可用的CPU核心。

7. 评估结果

best_model = bayes_search.best_estimator_
y_pred = best_model.predict(X_test)print("\n最佳参数:", bayes_search.best_params_)
print("\n分类报告:")
print(classification_report(y_test, y_pred))
print("混淆矩阵:")
print(confusion_matrix(y_test, y_pred))

使用最佳模型对测试集进行预测。
打印最佳参数、分类报告和混淆矩阵，评估模型性能。

8. 绘制箱形图

plt.figure(figsize=(15, 10))
features = data.columns[:6]  # 获取前六个特征名for i, feature in enumerate(features):plt.subplot(2, 3, i+1)  # 2行3列布局sns.boxplot(data=data, y=feature)plt.title(f'{feature} 箱形图')plt.tight_layout()
plt.show()

绘制前六个特征的箱形图，查看数据的分布情况。

9. 绘制特征相关性热力图

plt.figure(figsize=(10, 8))
corr = data.corr()
sns.heatmap(corr, annot=True, cmap='coolwarm', center=0)
plt.title('特征相关性热力图')
plt.tight_layout()
plt.show()

计算特征之间的相关性，并绘制热力图，查看特征之间的相关性。

10. SHAP模型解释

import shapexplainer = shap.TreeExplainer(best_model)
shap_values = explainer.shap_values(X_test)plt.figure(figsize=(10, 6))
shap.summary_plot(shap_values, X_test, plot_type="bar", show=False)
plt.title("特征重要性条形图")
plt.tight_layout()
plt.show()plt.figure(figsize=(10, 6))
shap.summary_plot(shap_values, X_test, show=False)
plt.title("特征影响蜂巢图")
plt.tight_layout()
plt.show()

使用SHAP（SHapley Additive exPlanations）对模型进行解释。
计算SHAP值，绘制特征重要性条形图和特征影响蜂巢图，直观展示特征对模型预测的影响。

总结

这段代码完整地展示了从数据加载、预处理、模型训练、优化、评估到结果可视化的流程。通过贝叶斯优化提升了随机森林的性能，并通过SHAP解释了模型的预测结果，使整个机器学习过程更加透明和可解释。
@浙大疏锦行

Day 15 训练

Day 15 对鸢尾花数据集进行处理，特征可视化，贝叶斯优化随机森林，Shap解释1. 导入必要的库2. 设置中文字体3. 加载数据集4. 查看数据5. 数据准备6. 贝叶斯优化随机森林7. 评估结果8. 绘制箱形图9. 绘制特征相关性热力图10. SHAP模型解释总结对…...

编程日记 2025/8/4 14:49:48

Path to Integer_ABC402分析与解答

考虑怎么降低复杂度，使用分治策略降低搜索的复杂度。对于a_i,j，其一定在最后结果数的第(2n-i-j)位（如果将最低位看成第0位），故将a_i,j看成a_i,j * 10^(2n-i-j)，这样每次加上a_i,j就可以了。从(1,1)到(n…...

编程日记 2025/8/4 14:44:03

嵌入式学习笔记 - 关于结构体成员地址对齐问题

一在没有#pragma pack（）这个宏声明的情况下 C语言中结构体成员分配内存大小时需要满足2个条件，这也是内存对齐的原则： ①每个成员变量的起始地址必须为其数据类型所占空间大小的整数倍 ②结构体所占空间总大小为其最大数据类…...

编程日记 2025/8/4 14:47:09

JAVA实战开源项目：健身房管理系统 (Vue+SpringBoot) 附源码

本文项目编号 T 180 ，文末自助获取源码 \color{red}{T180，文末自助获取源码} T180，文末自助获取源码目录一、系统介绍二、数据库设计三、配套教程3.1 启动教程3.2 讲解视频3.3 二次开发教程四、功能截图五、文案资料5.1 选题背景5.2 国内…...

编程日记 2025/8/4 6:09:24

升级element-ui步骤

1 执行 cnpm uninstall element-ui 删除element-ui依赖2 执行 cpm install element-ui -S 安装最新的element-ui，并加入到packjson中3 在element-ui中生成主题，并将主题文件加入到element-ui-theme中。删除所有旧版本到主题文件 *4 修改element-ui-theme…...

编程日记 2025/8/4 0:02:40

Dp通用套路(闫式)

闫式dp分析法： 从集合角度来分析DP问题。核心思想： DP是一种求有限集中的最值或者个数问题由于集合中元素的数量都是指数级别的，直接用定义去求，把每种方案都用dfs暴力枚举一遍，时间复杂度很高，此时用…...

编程日记 2025/8/4 5:54:37

如何删除豆包本地大模型

由于无法选择大模型的安装位置，因此会占用C盘大量空间，然后又找到不卸载的地方，经排查豆包大模型安装位为：C:\Users\[当前电脑用户]\AppData\Local\Doubao\User Data，只能进行手动卸载。...

编程日记 2025/8/4 14:47:56

在ISOLAR A/B 工具使用UDS 0x14服务清除单个DTC故障的配置

在ISOLAR A/B 工具使用UDS 0x14服务清除单个DTC故障的配置如下图所示将DemClearDTCLimitation参数改成DEM_ALL_SUPPORTED_DTCS 此时0x14 服务就可以支持单个DTC的故障清除， 如果配置成 DEM_ONLY_CLEAR_ALL_DTCS 则只能够用0x14服务清楚所有DTC。...

编程日记 2025/8/4 14:49:47

Linux59 SSH配置前瞻 JumpServer双网卡ping通

为什么Ping这个IP地址Ping得通本地址 [rootlocalhost network-scripts]# cat ifcfg-ens33 iTYPEEthernet BOOTPROTOnone DEFROUTEyes DEVICEens33 ONBOOTno IPADDR192.168.235.4 NETMASK255.255.255.0 GATEWAY192.168.235.2 DNS1114.114.114.114 [rootlocalhost network-scrip…...

编程日记 2025/8/4 14:45:31

TensorFlow中数据集的创建

目录前言示例示例1示例2示例3示例4 前言 TensorFlow 的 tf.data.Dataset API 提供了一种灵活且高效的方式来加载和预处理数据。它可以轻松处理大规模数据集，并支持多种数据源格式。所有数据集相关的内容都在tf.data中，from_tensor_slices：…...

编程日记 2025/8/3 17:10:54

OpenHarmony SystemUI开发——实现全局导航栏和状态栏关闭

在实际生产中，进场遇到需要关闭导航栏和状态栏的需求，现分享解决办法： 开发环境 OpenHarmony 5.0.0r 代码分析思路： launcher本身可以关闭导航栏（实际是公共事件，发送消息给systemUI来实控制&#x…...

编程日记 2025/8/4 14:49:48

机器视觉的平板电脑屏幕组件覆膜应用

在现代智能制造业中，平板电脑屏幕组件覆膜工序是确保产品外观和功能完整性的重要环节。随着技术的进步，传统的覆膜方式已经无法满足高速度、高精度的生产需求。而MasterAlign视觉系统的出现，将传统覆膜工艺转变为智能化、自动化的生产流程。在…...

编程日记 2025/8/3 6:35:47

Windows 10 无法启动或黑屏的修复指南（适用于更新失败或磁盘故障）

Windows 10 无法启动或黑屏的修复指南（适用于更新失败或磁盘故障） 当 Windows 10 突然无法启动（黑屏、无限重启、更新失败后断电等情况），很可能是由于启动引导程序损坏或系统映像异常（如系统磁盘出现坏道&…...

编程日记 2025/8/3 9:13:33

AI星智协脑：智能驱动的高效协作管理平台全解读

前言想象一下：早上刚开电脑，十几条未读消息如机关枪般扫射而来，各路任务像陨石雨一样砸向你，会议排得比热播剧还密集，文档版本堪比宫斗剧剧情反转，同事围着你转圈追KPI，活脱脱一场《职场大逃杀…...

编程日记 2025/8/3 11:25:12

WebSocket：实时通信的新时代

在现代Web应用中，实时通信变得越来越重要。传统的HTTP协议虽然能够满足基本的请求-响应模式，但在需要频繁更新数据的场景下，其效率和性能显得捉襟见肘。WebSocket协议应运而生，它提供了一种在单个TCP连接上进行全双工通信的机制&a…...

编程日记 2025/7/30 22:49:38

NetSuite Saved Search如何在Criteria中利用Expressions处理不同Transaction之间的关系？

最近有几个Saved Search都用到了Criteria中的Use Expressions的参数，具体的场景是我们想要对不同的Transaction Type做出不同条件的限定，这里有两个不同的举例。 1.除了ER类型头和行的内容要根据实际取，其余所有Transaction类型都取头信息&a…...

编程日记 2025/8/4 11:13:22

2025年全新 AI 编程工具 Cursor 安装使用教程

一、Cursor 软件下载首选，登录Cursor官网，进行软件下载，官网下载地址如下： Cursor AI IDE 下载二、Cursor软件安装配置此处以Windows10系统安装为例，下载完成之后，右键安装包，以管理员身份…...

编程日记 2025/7/30 22:49:33

跨平台编码规范文档

1. 引言 1.1 目的与范围本编码规范旨在为软件开发团队提供统一的代码编写标准，以提高代码质量、可维护性和团队协作效率。适用于使用C#、Java、安卓和Web前端（HTML/CSS/JavaScript/TypeScript）的项目开发，不针对特定语言特性&a…...

编程日记 2025/7/30 22:49:31

Spring创建的线程池

在自动审核的方法上加上Async注解（标明要异步调用） Async//异步方法调用public void audit(WmNews wmNews) {//这个方法处理时间很长，单体异步思想，线程池}在自媒体引导类中使用EnableAsync注解开启异步调用 SpringBootApplicati…...

编程日记 2025/7/30 22:49:29

【深度学习新浪潮】苹果在显示算法技术上的研发进展调研

苹果的显示算法技术研发呈现三大趋势：AI深度整合（如HDR增强、动态校准）、多模态环境感知（光、温湿度、生物特征）、软硬件协同优化（芯片、传感器、算法深度耦合）。一、动态刷新率与功耗管理 1. ProMotion技术的算法升级技术修正：像素级功耗管理：iPhone 13系列的Pr…...

编程日记 2025/7/30 22:49:27

图像画质算法记录(前言)

一、背景介绍本篇主要是对图像画质增强相关，进行简单整理和记录。二、整体流程整体效果主要受到两部分影响： 1、前端isp处理。 2、后端画质增强。三、isp常规流程可以参考：刘斯宁：Understanding ISP Pipeline 四、后端画质…...

编程日记 2025/8/3 15:02:42

uniapp-商城-47-后台分类数据的生成（通过数据）

在第46章节中，我们为后台数据创建了分类的数据表结构schema，使得可以通过后台添加数据并保存，同时使用云函数进行数据库数据的读取。文章详细介绍了如何通过前端代码实现分类管理功能，包括获取数据、添加、更新和删除分类。主要代…...

编程日记 2025/8/4 4:57:00

阿里云服务器数据库故障排查指南?

阿里云服务器数据库故障排查指南? 以下是针对阿里云服务器（如ECS自建数据库或阿里云RDS等托管数据库）的故障排查指南，涵盖常见问题的定位与解决方案： 一、数据库连接失败检查网络连通性 ECS自建数据库确认安全组规则放行数据库…...

编程日记 2025/8/3 15:51:52

服务器不备案有影响吗

在当今数字化的时代，服务器成为了众多企业和个人开展业务、展示自我的重要工具。然而，有一个问题常常被忽视，那就是服务器不备案到底有没有影响？ 答案是肯定的！服务器不备案，影响可不小。据相关数据显示&a…...

编程日记 2025/8/1 18:23:50

LVGL9保姆级教程（源码获取）

文章目录 🌟 LVGL 9 源码获取全流程指南📥 获取 LVGL 9 源码✅ 官方 GitHub 仓库下载📌 下载步骤： 🛠️ 获取 LVGL Code::Blocks 工程源码下载步骤有两种方式：🚀 方法一：通过 README…...

编程日记 2025/8/4 1:22:45

【react组件】矩形框选小组件，鼠标左键选中 div，键盘 ESC 清空

在线预览 GitHub demo import React, { useState } from react; import Chooser from rc-chooser;const containerStyle: React.CSSProperties {display: flex,alignItems: center,justifyContent: center,flexWrap: wrap, };const boxStyle: React.CSSProperties {width:…...

编程日记 2025/8/3 7:24:20