当前位置：首页 > news >正文

机器学习（3）——决策树

news 来源：原创 2025/9/12 1:20:06

文章目录

1. 决策树基本原理
- 1.1. 什么是决策树？
- 1.2. 决策树的基本构成：
- 1.3. 核心思想
2. 决策树的构建过程
- 2.1. 特征选择
- 2.1.1. 信息增益（ID3）
- 2.1.2. 基尼不纯度（CART）
- 2.1.3. 均方误差（MSE）
- 2.2. 节点划分
- 2.3. 停止条件：
3. 决策树的剪枝（防止过拟合）
4. 决策树的优缺点
5. 常见决策树算法
6. 样例代码：
7. 归纳

1. 决策树基本原理

1.1. 什么是决策树？

决策树（Decision Tree）是一种非参数的监督学习算法，适用于分类和回归任务。其核心思想是通过一系列规则（if-then结构）对数据进行递归划分，最终形成一棵树形结构，实现预测或分类。

1.2. 决策树的基本构成：

根节点（Root Node）：代表整个数据集，选择第一个最优特征进行分裂。
内部节点（Internal Nodes）：代表对某个特征的判断，用来决定如何分裂数据。
叶子节点（Leaf Nodes）：存放最终的预测结果，表示分类或回归结果。

1.3. 核心思想

目标：构建一棵树，使得每个分支节点代表一个特征判断，每个叶子节点代表一个预测结果。
关键问题：
- 如何选择划分特征？（特征选择准则）
- 何时停止划分？（防止过拟合）

2. 决策树的构建过程

决策树的构建是一个递归分割（Recursive Partitioning）的过程

2.1. 特征选择

选择最佳特征：在每一步分裂中，算法会选择一个最优的特征来进行数据划分。

常用的准则：

信息增益（Information Gain, ID3算法）
信息增益比（Gain Ratio, C4.5算法）
基尼不纯度（Gini Impurity, CART算法）
均方误差（MSE, 回归树）

2.1.1. 信息增益（ID3）

衡量使用某特征划分后信息不确定性减少的程度。
计算公式： $信息增益 = H (D) - H (D ∣ A)$
- H(D)：数据集的熵（不确定性）。
- H(D∣A)：在特征 A划分后的条件熵。

2.1.2. 基尼不纯度（CART）

衡量数据集的不纯度，越小越好，表示数据集越纯。
计算公式：
$\text{Gini}(D) = 1 - \sum_{k=1}^{K} p_k^2$
- $p_k$ ：数据集中第 $k$ 类样本的比例。

2.1.3. 均方误差（MSE）

用于回归问题，计算预测值与真实值的差异。
计算公式： $\frac {1}{n}\sum(y_i − \hat y_i) ^2$
- $y_i$ 是实际值， $\hat y_i$ 是预测值。

2.2. 节点划分

分类任务：选择使信息增益最大（或基尼不纯度最小）的特征进行划分。
回归任务：选择使均方误差（MSE）最小的特征进行划分。

2.3. 停止条件：

当前节点所有样本属于同一类别（纯度100%）。
所有特征已用完，或继续划分无法显著降低不纯度。
达到预设的最大深度（max_depth）或最小样本数（min_samples_split）。

3. 决策树的剪枝（防止过拟合）

决策树容易过拟合（训练集表现好，测试集差）。为了防止过拟合，我们通常会使用剪枝技术。

预剪枝（Pre-pruning）：在训练时提前停止（如限制树深度）。
后剪枝（Post-pruning）：先训练完整树，再剪掉不重要的分支（如C4.5的REP方法）。

4. 决策树的优缺点

✅ 优点
- 可解释性强：规则清晰，易于可视化（if-then结构）。
- 无需数据标准化：对数据分布无严格要求。
- 可处理混合类型数据（数值型+类别型）。
- 适用于小规模数据。
❌ 缺点
- 容易过拟合（需剪枝或限制树深度）。
- 对噪声敏感（异常值可能导致树结构不稳定）。
- 不稳定性：数据微小变化可能导致完全不同的树。
- 不适合高维稀疏数据（如文本数据）。

5. 常见决策树算法

算法	适用任务	特征选择准则	特点
ID3	分类	信息增益	只能处理离散特征，容易过拟合
C4.5	分类	信息增益比	可处理连续特征，支持剪枝
CART	分类/回归	基尼不纯度（分类）均方误差（回归）	二叉树结构，Scikit-learn默认实现
CHAID	分类	卡方检验	适用于类别型数据

6. 样例代码：

# 导入必要的库
from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
import matplotlib.pyplot as plt
from sklearn.tree import plot_tree# 加载鸢尾花数据集
data = load_iris()
X = data.data
y = data.target# 将数据分为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)# 创建决策树分类器
clf = DecisionTreeClassifier(criterion='gini', max_depth=3, random_state=42)# 训练决策树
clf.fit(X_train, y_train)# 预测测试集
y_pred = clf.predict(X_test)# 输出准确率
print(f"Accuracy: {accuracy_score(y_test, y_pred):.4f}")# 可视化决策树
plt.figure(figsize=(12, 8))
plot_tree(clf, filled=True, feature_names=data.feature_names, class_names=data.target_names)
plt.show()

7. 归纳

决策树的核心：递归划分数据，选择最优特征，构建树结构。

关键问题：
- 如何选择划分特征？（信息增益、基尼不纯度）
- 如何防止过拟合？（剪枝、限制树深度）
适用场景：
- 需要可解释性的任务（如金融风控）。
- 小规模、低维数据分类/回归

机器学习（3）——决策树

文章目录 1. 决策树基本原理1.1. 什么是决策树？1.2. 决策树的基本构成：1.3. 核心思想 2. 决策树的构建过程2.1. 特征选择2.1.1. 信息增益（ID3）2.1.2. 基尼不纯度（CART）2.1.3. 均方误差（MSE&…...

编程日记 2025/9/12 1:20:06

【人脸识别中的“类内差异”和“类间差异】

核心问题：人脸识别中的“类内差异”和“类间差异” 想象你在教一个小朋友认人： 类间差异（不同人之间的区别）： 目标：让小朋友能分清“爸爸”和“妈妈”。方法：指着爸爸说“这是爸爸”&#xff0…...

编程日记 2025/9/12 1:11:34

第十六届蓝桥杯省赛C/C++ 大学B组

编程题目现在在洛谷上都可以提交了。未完待续，写不动了。 C11 编译命令 g A.cpp -o A -Wall -lm -stdc11A. 移动距离本题总分：5 分问题描述小明初始在二维平面的原点，他想前往坐标 ( 233 , 666 ) (233, 666) (233,666)。在移动过程…...

编程日记 2025/9/12 1:14:51

SpringBoot3.0 +GraalVM21 + Docker 打包成可执行文件

SpringBoot3.0 GraalVM21 Docker 打包成可执行文件前言随着时代的飞速发展，JDK 17 及以上版本开始支持通过 GraalVM 将运行在 JVM 上的 jar 包直接打包成可在操作系统上运行的原生可执行文件。这一特性能使开发者在某些场景下更加灵活地部署 Java 程序。在云原…...

编程日记 2025/9/10 8:19:03

从编程范式看 “万物皆智能，万事皆自动” 愿景

从编程范式看“万物皆智能，万事皆自动”愿景引言在信息技术飞速发展的今天，“万物皆智能，万事皆自动”成为了众多 IT 从业者和科技爱好者心中的终极愿景。这一愿景描绘了一个所有事物都具备智能、所有事情都能自动完成的美好未来。而在实现这一愿景的征程中，面向对象编…...

编程日记 2025/9/7 0:33:45

Vue 项目中 package.json 文件的深度解析

Vue 项目中 package.json 文件的深度解析在 Vue 项目中，package.json 文件是项目配置的核心，它管理着项目的依赖关系、脚本命令、版本信息等重要内容。正确理解和配置 package.json 文件，对于项目的开发、构建、测试和部署都至关重要。本文…...

编程日记 2025/9/12 1:17:56

解决2080Ti使用节点ComfyUI-PuLID-Flux-Enhanced中遇到的问题

使用蓝大的工作流《一键同时换头、换脸、发型、发色之双pulid技巧》刚开始遇到的是不支持bf16的错误根据《bf16 is only supported on A100 GPUs #33》中提到，修改pulidflux.py中的dtype 为 dtype torch.float16 后，出现新的错误，这个…...

编程日记 2025/9/12 1:11:06

1 程序的本质，计算机语言简史，TIOBE 指数，C 语言的独特魅力、发展历程、发行版本和应用场景

👋 嘿，各位编程探险家们！是不是一提到 C 语言，脑海中就浮现出指针乱舞、内存泄漏的恐怖画面？别怕，你并不孤单！😅 今天，你踏入了这个专为 “C 语言恐惧症” 患者打造的避…...

编程日记 2025/9/12 1:17:56

python格式化字符串漏洞

什么是python格式化字符串漏洞 python中，存在几种格式化字符串的方式，然而当我们使用的方式不正确的时候，即格式化的字符串能够被我们控制时，就会导致一些严重的问题，比如获取敏感信息 python常见的格式化字符串百…...

编程日记 2025/9/8 9:06:28

撰写学位论文Word图表目录的自动生成

第一步：为图片和表格添加题注选中图片或表格右键点击需要编号的图片或表格，选择【插入题注】（或通过菜单栏引用 → 插入题注）。设置题注标签在弹窗中选择标签（如默认有“图”“表”，若无需自定义标…...

编程日记 2025/9/8 8:33:25

SDC命令详解：使用相对路径访问设计对象(current_instance命令)

相关阅读 SDC命令详解https://blog.csdn.net/weixin_45791458/category_12931432.html?spm1001.2014.3001.5482 在使用get_cells等命令访问设计对象时，需要指定设计对象的名字，这个名字是一个相对路径，本文就将对此进行讨论。相对路径使…...

编程日记 2025/9/10 13:21:48

vector的应用

在平常使用c是，只使用普通数组肯定不够便捷，这时，我们就可以使用vector来使代码更加简洁目录 1.vector的定义 2.在vector末尾增加一个元素 3.输出元素 （1）输出单个元素 （2）循环输出元素 4…...

编程日记 2025/9/5 19:30:45

输出tensor变量维度 print(a.shape)输出字典维度 for key, value in output_dict.items():if isinstance(value, torch.Tensor):print(f"{key} shape:", value.shape)输出列表维度 def get_list_dimensions(lst):# 基线条件：如果lst不是列表&#xff0…...

编程日记 2025/9/9 1:05:36

征程 6 VIO Frame 时间戳介绍

1. 时间类型征程 6 内部的时间类型如下 Linux 系统时间是基于 arm system counter 抽象的，Linux 的基于 arm system counter 抽象了很多种时间，图中画了两种。CLOCK_MONOTONIC_RAW 是不会被时间同步调整的。 2. Frame 时间戳从 VIO 侧获取的图像数…...

编程日记 2025/9/8 10:56:40

DotnetCore开源库SampleAdmin源码编译

1.报错: System.Net.Sockets.SocketException HResult0x80004005 Message由于目标计算机积极拒绝，无法连接。 SourceSystem.Net.Sockets StackTrace: 在 System.Net.Sockets.Socket.AwaitableSocketAsyncEventArgs.ThrowException(SocketError error, C…...

编程日记 2025/9/6 7:48:36

QML之ScrollView（滚动视图）

ScrollView 是 Qt Quick Controls 2 中提供的可滚动视图容器，用于创建可滚动区域。以下是详细使用方法： 基本用法 qml import QtQuick 2.15 import QtQuick.Controls 2.15ScrollView {id: scrollViewwidth: 300height: 200clip: true// 背景设置&…...

编程日记 2025/9/12 0:16:22

FreeRTOS使任务处于就绪状态的API

在FreeRTOS中，任务的**就绪状态（Ready State）**意味着任务已准备好运行，但尚未被调度器分配CPU时间。以下是通过API使任务进入就绪状态的常见方法及其分类： 1. 恢复被挂起的任务 vTaskResume(TaskHandle_t xTaskToResume) 将被挂起（Suspended）的任务恢复为就绪状态。示…...

编程日记 2025/9/7 0:46:15

第四篇：Python文件操作与异常处理

第一章：文件操作基础与核心原理 1.1 文件系统基础文件系统是操作系统用于管理存储设备中数据的核心机制。Python通过内置的open()函数实现文件操作，支持文本文件（.txt、.csv）和二进制文件（.jpg、.dat）的…...

编程日记 2025/9/9 17:57:25

蓝桥杯嵌入式小结

一、BSP模版 1. Key 按键扫描模版，需要注意的是 key_val 。 uint8_t Key_Scan(void) {uint8_t key_val0;if(HAL_GPIO_ReadPin(GPIOB,GPIO_PIN_0)GPIO_PIN_RESET){key_val1;}if(HAL_GPIO_ReadPin(GPIOB,GPIO_PIN_1)GPIO_PIN_RESET){key_val2;}if(HAL_GPIO_ReadPin(…...

编程日记 2025/9/11 0:34:15

【音视频】SDL渲染YUV格式像素

SDL视频显示的流程实现流程准备视频文件准备一个格式为yuv420p，分辨率为320x240的yuv数据，并且将视频文件放入项目构建的目录下： 初始化SDL 初始化SDL的视频模块 //初始化 SDL if(SDL_Init(SDL_INIT_VIDEO)) {fprintf( stderr, "…...

编程日记 2025/9/9 1:30:42

ThingsBoard3.9.1 MQTT Topic(1)

1.网关转发子设备的遥测信息, Topic:v1/gateway/telemetry { "m1": [{ "mode": "CW", "temperature": 23 }], "m2": [{ "mode": "CW", "temperature": 23 }] } 说明：json格式&a…...

编程日记 2025/9/10 14:23:08

如何查看自己抖音的IP属地？详细教程+常见问题解答

在当今互联网时代，IP属地信息已成为各大社交平台（如抖音、微博、快手等）展示用户真实网络位置的重要功能。无论是出于隐私保护、账号安全，还是单纯好奇自己的IP归属地，了解如何查看抖音IP属地都很有必要。本文将详细介…...

编程日记 2025/9/9 4:38:10

李宏毅NLP-2-语音识别part1

语音识别part1 这是一篇名为 “Speech Recognition is Difficult?”（语音识别很难吗？ ）的文章。作者是 J.R. Pierce，来自贝尔电话实验室（Bell Telephone Laboratories, Inc.） 。文中提到语音识别虽有吸引力…...

编程日记 2025/9/8 12:01:21

AUTOSAR图解==＞AUTOSAR_SWS_MemoryMapping

AUTOSAR 内存映射机制详解深入解析AUTOSAR标准中的内存映射技术目录 AUTOSAR 内存映射机制详解目录1. 概述2. 内存映射架构 2.1 架构组成2.2 映射类型2.3 关键组件3. 配置数据模型 3.1 主要配置容器3.2 内存段类型3.3 初始化策略4. 映射使用流程 4.1 配置阶段4.2 开发阶段...

编程日记 2025/9/9 1:04:55

探索 HTML5 新特性：提升网页开发的现代体验

在 Web 开发的演进历程中，HTML5 无疑是一座重要的里程碑。它不仅为网页带来了更丰富的功能，还提升了开发效率与用户体验。本文将深入探讨 HTML5 那些令人瞩目的新特性，助你紧跟现代 Web 开发潮流。一、语义化标签：让结构更清晰 …...

编程日记 2025/9/7 15:46:53

系统设计思维的讨论

我们经常说自己熟悉了spring，能够搭建起一个项目基本框架，并且在此之上进行开发，用户or客户提出需求碰到不会的百度找找就可以实现。干个四五年下一份工作就去面试架构师了，运气好一些可能在中小公司真的找到一份架构师、技术负责…...

编程日记 2025/9/11 0:13:31

【音视频】SDL播放PCM音频

相关API 打开音频设备 int SDLCALL SDL_OpenAudio(SDL_AudioSpec * desired, SDL_AudioSpec * obtained); desired：期望的参数。obtained：实际音频设备的参数，一般情况下设置为NULL即可。 SDL_AudioSpec typedef struct SDL_AudioSpec { i…...

编程日记 2025/9/8 1:28:26

FATFS文件系统配置

1、FatFs模块功能配置选项参考ffconf.h函数配置链接：FatFs模块功能配置选项 2、FATFS配置 FATFS 支持长文件名链接: FATFS：配置 FATFS 支持长文件名 3、 FATFS移植链接1 4、 FATFS移植链接2 5、FAT32 和 FATFS 是两个不同层次的概念，分别属于…...

编程日记 2025/9/3 19:43:55

JVM 字节码是如何存储信息的？

JVM 字节码是 Java 虚拟机 (JVM) 执行的指令集，它是一种与平台无关的二进制格式，在任何支持 JVM 的平台上都可运行的Java 程序。字节码存储信息的方式，主要通过以下几个关键组成部分和机制来实现： 1. 指令 (Opcodes) 和操作数 …...

编程日记 2025/9/11 22:12:34

Linux：多路转接（上）——select

目录一、select接口 1.认识select系统调用 2.对各个参数的认识二、编写select服务器一、select接口 1.认识select系统调用 int select(int nfds, fd_set readfds, fd_set writefds, fd_set exceptfds, struct timeval* timeout); 头文件：sys/time.h、sys/ty…...

编程日记 2025/9/10 13:44:32

如何解决DDoS攻击问题？—专业解决方案深度分析

本文深入解析DDoS攻击面临的挑战与解决策略，提供了一系列防御技术和实践建议，帮助企业加强其网络安全架构，有效防御DDoS攻击。从攻击的识别、防范措施到应急响应，为网络安全工作者提供了详细的操作指引。 DDoS攻击概览&#xff1a…...

编程日记 2025/9/7 1:24:19

机器学习Python实战-第三章-分类问题-3.决策树算法

目录 3.3.1 原理简介 3.3.2 算法步骤 3.3.3 实战 3.3.4 实验前半部分是理论介绍，后半部分是代码实践，可以选择性阅读。决策树（decision tree）是功能强大而且相当受欢迎的分类和预估方法&…...

编程日记 2025/9/10 14:20:29

Spring三级缓存学习

Spring的三级缓存机制主要用于解决单例Bean的循环依赖问题。其核心在于提前暴露Bean的引用，允许未完全初始化的对象被其他Bean引用。以下是三级缓存的详细说明及其解决循环依赖的原理： 三级缓存结构一级缓存（singletonObjects） 存…...

编程日记 2025/9/6 14:25:32

欧拉函数φ

函数作用计算 1 1 1 ~ n n n中有多少个与 n n n互质的数。函数公式 φ ( n ) n p 1 − 1 p 1 p 2 − 1 p 2 … … p m − 1 p m φ(n)n\times\frac{p_1-1}{p_1}\times\frac{p_2-1}{p_2}\times……\times\frac{p_m-1}{p_m} φ(n)np1p1−1p2p2−1……pmp…...

编程日记 2025/9/7 21:29:01

蓝桥杯刷题指南

蓝桥杯是中国普及性最好的计算机程序设计竞赛之一，参加者包括大学生、高中生和草根程序员等各个群体。通过刷题来提升自己的编程能力是参加蓝桥杯比赛的常见做法。下面是一些蓝桥杯常见的题型和刷题技巧，希望对大家有所帮助。基础入门题目：…...

编程日记 2025/9/11 4:00:52

ctfshow WEB web12

发现只有这样一句话，应该是要看页面源代码的，右键查看页面源代码发现可能存在代码执行漏洞，拼接一个?cmdphpinfo(); 成功显示出php信息, 说明存在代码执行漏洞接下来遍历目录，我们要用到一个函数 glob() glob() 函数可以查找…...

编程日记 2025/9/11 4:08:21

ChromeOS 135 版本更新

ChromeOS 135 版本更新一、ChromeOS 135 更新内容 1. ChromeOS 电池寿命优化策略为了延长 Chromebook 的使用寿命，ChromeOS 135 引入了一项全新的电池充电限制策略 —— DevicePowerBatteryChargingOptimization，可提供更多充电优化选项&#xff0c…...

编程日记 2025/9/5 10:21:31

redis的缓存

redis的缓存一.缓存简介1.缓存2.redis作为数据库（MySQL）缓存的原因二.缓存更新策略1.定期生成2.实时生成3.内存淘汰策略1）FIFO(First In First Out) 先进先出2）LRU(Least Recently Used)淘汰最久未使用的3）LFU(Least…...

编程日记 2025/9/7 21:50:24

字符串与相应函数（上）

字符串处理函数分类求字符串长度：strlen长度不受限制的字符串函数：strcpy,strcat,strcmp长度受限制的字符串函数:strncpy,strncat,strncmp字符串查找：strstr,strtok错误信息报告：strerror字符操作，内存操作函数&…...

编程日记 2025/9/11 10:43:49

【微知】Mellanox网卡网线插入后驱动的几个日志？（Cable plugged；IPv6 ... link becomes ready）

概要本文是一个简单的信息记录。记录的是当服务器网卡的光模块插入后内核的日志打印。通过这种日志打印，可以在定位分析问题的时候，知道进行过一次模块插拔。日志截图版： 文字版： [32704.121294] mlx5_core 0000:01:00.0…...

编程日记 2025/9/10 20:17:29

spring security oauth2.0的四种模式

OAuth 2.0 定义了 4 种授权模式（Grant Type），用于不同场景下的令牌获取。以下是每种模式的详细说明、适用场景和对比： 一、授权码模式（Authorization Code Grant） 适用场景 • Web 应用（有后端…...

编程日记 2025/9/3 1:26:16

MyBatis-Plus 核心功能

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录一、条件构造器1、核心 Wrapper 类型基础查询示例SQL 查询使用 QueryWrapper 实现查询更新操作示例场景一：基础更新SQL 查询使用 QueryWrapper 实现更新…...

编程日记 2025/9/8 9:18:50

阿里云实时计算Flink版产品体验测评

阿里云实时计算Flink版产品体验测评什么是阿里云实时计算Flink应用场景实时计算Flink&自建Flink集群性价比开发效率运维管理企业安全场景落地什么是阿里云实时计算Flink 实时计算Flink大家可能并不陌生，在实时数据处理上，可能会有所接触&#xf…...

编程日记 2025/9/8 17:47:04

少儿编程 scratch四级真题 2025年3月电子学会图形化编程等级考试Scratch四级真题解析（判断题）

2025年3月scratch编程等级考试四级真题判断题（共10题，每题2分，共20分） 11、小圆点角色的程序如下左图所示，程序运行后的效果如下右图所示，自制积木中又调用了自己，这种算法叫做递归。答案&a…...

编程日记 2025/9/11 16:08:48

【连载3】基础智能体的进展与挑战综述

基础智能体的进展与挑战综述从类脑智能到具备可进化性、协作性和安全性的系统【翻译团队】刘军(liujunbupt.edu.cn) 钱雨欣玥冯梓哲李正博李冠谕朱宇晗张霄天孙大壮黄若溪 2. 认知人类认知是一种复杂的信息处理系统，它通过多个专门的神经回路协调运行…...

编程日记 2025/9/7 17:46:57

Schaefer 400图谱

图谱下载： https://github.com/ThomasYeoLab/CBIG/tree/master/stable_projects/brain_parcellation/Schaefer2018_LocalGlobal/Parcellations/MNI 图 （第一行）显示了 Yeo et al. （2011） 的 7 网络和 17 网络分包。图…...

编程日记 2025/9/10 9:09:58

通过uri获取文件路径手机适配

青铜版本 return contentResolver.query(this, arrayOf(MediaStore.MediaColumns.DATA), null, null).let {if (it?.moveToFirst() true) {val columnIndex it.getColumnIndex(MediaStore.MediaColumns.DATA)val path it.getString(columnIndex)it.close()return path}&quo…...

编程日记 2025/8/17 21:03:16