当前位置：首页 > news >正文

【机器学习】机器学习的基本分类-监督学习-决策树-CART（Classification and Regression Tree）

news 来源：原创 2025/5/9 14:13:28

CART（Classification and Regression Tree）

CART（分类与回归树）是一种用于分类和回归任务的决策树算法，提出者为 Breiman 等人。它的核心思想是通过二分法递归地将数据集划分为子集，从而构建一棵树。CART 算法既可以生成分类树，也可以生成回归树。

1. CART 的特点

二叉树结构：CART 始终生成二叉树，每个节点只有两个分支（左子树和右子树）。
分裂标准不同：
- 对于分类任务，CART 使用**基尼指数（Gini Index）**作为分裂标准。
- 对于回归任务，CART 使用**最小均方误差（MSE）**作为分裂标准。
支持剪枝：通过后剪枝减少过拟合。
处理连续和离散数据：支持连续特征的划分点选择。

2. CART 的基本流程

输入：训练数据集 D，目标变量类型（分类或回归）。
递归分裂：
- 按照基尼指数（分类）或均方误差（回归）选择最佳划分点。
- 对数据集划分为两个子集，递归构造子树。
停止条件：
- 节点样本数量小于阈值。
- 划分后不再能显著降低误差。
剪枝：
- 通过校验集性能优化，剪去不显著的分支。
输出：最终的二叉决策树。

3. 分类树

(1) 基尼指数

基尼指数（Gini Index）用于衡量一个节点的“纯度”，越小表示越纯：

$Gini(D) = 1 - \sum_{k=1}^K \left(\frac{|D_k|}{|D|}\right)^2$

其中：

$D_k$ ：类别 k 的样本数量。
K：类别的总数。

节点分裂的基尼指数计算为：

$Gini_{split}(D) = \frac{|D_1|}{|D|} Gini(D_1) + \frac{|D_2|}{|D|} Gini(D_2)$

最佳划分点是使 $Gini_{split}(D)$ 最小的特征和对应的划分点。

(2) 示例：分类树

数据集：

天气	温度	湿度	风力	是否运动
晴天	30	高	弱	否
晴天	32	高	强	否
阴天	28	高	弱	是
雨天	24	正常	弱	是
雨天	20	正常	强	否

计算每个特征的基尼指数：
- 对离散特征（如天气），分别计算不同类别划分后的基尼指数。
- 对连续特征（如温度），尝试所有划分点，计算每个划分点的基尼指数。
选择最优特征和划分点：
- 选择基尼指数最小的划分点。
生成子树：
- 对每个子集递归分裂，直到满足停止条件。

4. 回归树

(1) 分裂标准

对于回归任务，CART 使用**均方误差（MSE）**作为分裂标准：

$MSE(D) = \frac{1}{|D|} \sum_{i=1}^{|D|} \left(y_i - \bar{y}\right)^2$

其中：

$y_i$ ：第 i 个样本的目标值。
$\bar{y}$ ：节点中所有样本目标值的均值。

节点分裂的误差计算为：

$MSE_{split}(D) = \frac{|D_1|}{|D|} MSE(D_1) + \frac{|D_2|}{|D|} MSE(D_2)$

最佳划分点是使 $MSE_{split}(D)$ 最小的特征和对应的划分点。

(2) 示例：回归树

假设我们有如下数据集（目标值为房价）：

面积（平方米）	房价（万元）
50	150
60	180
70	210
80	240
90	270

尝试划分点：
- 例如，划分点为 656565。
- 左子集：{50,60}，右子集：{70, 80, 90}。
计算误差：
- 左子集的均值： $\bar{y}_L = (150 + 180) / 2 = 165$ 。
- 右子集的均值： $\bar{y}_R = (210 + 240 + 270) / 3 = 240$ 。
- 计算分裂后的总均方误差。
选择最佳划分点：
- 选择误差最小的划分点，继续构造子树。

5. 剪枝

CART 使用后剪枝来防止过拟合：

生成完全生长的决策树。
计算子树的损失函数：

其中：
- $T_i$ ：第 i 个叶子节点。
- $|T|$ ：叶子节点的数量。
- α：正则化参数，控制树的复杂度。
剪去对验证集性能提升不大的分支。

6. CART 的优缺点

优点

生成二叉树，逻辑清晰，易于实现。
支持分类和回归任务。
支持连续特征和缺失值处理。
剪枝机制增强了泛化能力。

缺点

易受数据噪声影响，可能生成复杂的树。
对高维数据表现一般，无法处理稀疏特征。
生成的边界是轴对齐的，可能不适用于复杂分布。

7. 与其他决策树算法的比较

特点	ID3	C4.5	CART
划分标准	信息增益	信息增益比	基尼指数 / MSE
支持连续特征	否	是	是
树结构	多叉树	多叉树	二叉树
剪枝	无	后剪枝	后剪枝
应用	分类	分类	分类与回归

8. 代码实现

以下是一个简单的 CART 分类树实现：

import numpy as np# 计算基尼指数
def gini_index(groups, classes):total_samples = sum(len(group) for group in groups)gini = 0.0for group in groups:size = len(group)if size == 0:continuescore = 0.0for class_val in classes:proportion = [row[-1] for row in group].count(class_val) / sizescore += proportion ** 2gini += (1 - score) * (size / total_samples)return gini# 划分数据集
def split_data(data, index, value):left, right = [], []for row in data:if row[index] < value:left.append(row)else:right.append(row)return left, right# 示例数据
dataset = [[2.771244718, 1.784783929, 0],[1.728571309, 1.169761413, 0],[3.678319846, 2.81281357, 0],[3.961043357, 2.61995032, 0],[2.999208922, 2.209014212, 1],
]# 计算基尼指数
split = split_data(dataset, 0, 2.5)
gini = gini_index(split, [0, 1])
print("基尼指数:", gini)

输出结果

基尼指数: 0.30000000000000004

CART 是机器学习中非常经典的算法，同时也是随机森林、梯度提升决策树等模型的基础。

【机器学习】机器学习的基本分类-监督学习-决策树-CART（Classification and Regression Tree）

CART（Classification and Regression Tree） CART（分类与回归树）是一种用于分类和回归任务的决策树算法，提出者为 Breiman 等人。它的核心思想是通过二分法递归地将数据集划分为子集，从而构建一棵树。CART …...

编程日记 2025/5/9 14:13:28

使用GDI对象绘制UI时需要注意的若干细节问题总结

目录 1、一个bitmap不能同时被选进两个dc中 2、CreateCompatibleDC和CreateCompatibleBitmap要使用同一个dc作为参数 3、不能删除已经被选入DC中的GDI对象 4、使用完的GDI对象，要将之释放掉，否则会导致GDI对象泄漏 5、CreateCompatibleBitmap返回错…...

编程日记 2025/4/30 7:48:14

C++：std::fstream详细介绍

std::fstream 是 C 标准库中的一个类，用于处理文件的输入输出操作。它可以同时进行文件的读和写操作，因此被称为“文件流”（File Stream）。它是 C 输入输出流库 iostream 的一部分，继承了 std::istream 和 std::ostrea…...

编程日记 2025/5/2 5:59:14

ndp协议简介

在IPv6中，ARP（地址解析协议）被替代为邻居发现协议（Neighbor Discovery Protocol，NDP）。NDP是IPv6网络中用于发现邻居节点（相邻设备）的协议，类似于IPv4中的ARP。但与ARP不…...

编程日记 2025/5/9 14:12:38

915DEBUG-obsidianTemplater使用

Templater使用 tp函数不正常显示相应数据模板使用方式不正确 <% tp.date.now("YYYY-MM-DD") %> 应该被放置在一个被Templater识别为模板的文件中，或者在你使用Templater的插入模板功能时输入。如果只是在一个普通的Markdown文件中直接输入这段代码…...

编程日记 2025/5/6 11:11:45

【Linux篇】权限管理 - 用户与组权限详解

一. 什么是权限？ 首先权限是限制人的。人真实的人身份角色权限角色事物属性二. 认识人–用户 Linux下的用户分为超级用户和普通用户 root :超级管理员，几乎不受权限的约束普通用户 :受权限的约束超级用户的命令提示符是#，普通用…...

编程日记 2025/5/8 2:25:25

JWT 在 SaaS 系统中的作用与分布式 SaaS 系统设计的最佳实践

在现代 SaaS（软件即服务） 系统中，随着服务规模的扩大和用户需求的多样化，如何高效、安全地进行用户身份验证、权限控制以及租户隔离，成为了系统架构中的核心问题之一。**JWT（JSON Web Token）**作…...

编程日记 2025/5/8 22:49:33

docker更换容器存储位置

一：原因今天之前在某个服务器上使用docker搭建的服务突然无法访问了，进入服务器查看发现服务运行正常，但是就是无法使用，然后我这边准备将docker服务重新启动下看看，发现docker服务无法重启，提示内存已满…...

编程日记 2025/5/9 14:02:30

gitlab-cicd部署安装与具体操作

一、安装本例中是用安装包直接在ubuntu下安装的，也可以用docker镜像。 curl -LJO https://gitlab-runner-downloads.s3.amazonaws.com/latest/rpm/gitlab-runner_amd64.rpmrpm -i gitlab-runner_amd64.rpm 安装runner后，需要跟在runner所在服务器安装…...

编程日记 2025/5/9 14:04:13

基于MFC实现的人机对战五子棋游戏

基于MFC实现的人机对战五子棋游戏 1、引言此报告将详细介绍本次课程设计的动机、设计思路及编写技术的详细过程，展现我所学过的C知识以及我通过本次课程设计所学到例如MFC等知识。在文档最后我也会记录我所编写过程遇到的问题以及解决方案。 1.1 背景五子棋是…...

编程日记 2025/5/9 13:44:50

mac电脑多个ssh keys共存

一、同一台电脑，不同域名的git仓库为什么要设置不同的ssh keys？ 每个git仓库通常要求使用唯一的ssh key，以防止权限冲突和安全问题。权限控制：每个git仓库的权限是独立的，使用不同的ssh keys可以更好的管理权限&…...

编程日记 2025/5/5 4:16:56

Elasticsearch数据迁移（快照）

1. 数据条件一台原始es服务器（192.168.xx.xx），数据迁移后的目标服务器（10.2.xx.xx）。 2台服务器所处环境： centos7操作系统， elasticsearch-7.3.0。 2. 为原始es服务器数据创建快照修改elas…...

编程日记 2025/5/9 13:51:50

【Java-数据结构篇】Java 中栈和队列：构建程序逻辑的关键数据结构基石

我的个人主页我的专栏：Java-数据结构，希望能帮助到大家！！！点赞❤ 收藏❤ 一、引言 1. 栈与队列在编程中的角色定位栈和队列作为两种基本的数据结构，在众多编程场景中都有着独特的地位。它们为数据的有序…...

编程日记 2025/5/6 10:55:48

使用ensp搭建内外互通，使用路由跨不同vlan通信。

1.网络拓扑图 2.规则 （1）允许 （自己）ping通内外网，内外网随便一个pc就可以. （2） 允许（电信）ping通内外网，内外网随便一个pc就可以 （时间问题不做…...

编程日记 2025/5/5 15:47:26

URDF 发布者 #! /usr/bin/env python3 import rclpy from rclpy.node import Node import rclpy.parameter from sensor_msgs.msg import JointState from rcl_interfaces.msg import SetParametersResultimport threading import timeclass RotateWheelNode(Node):def __init…...

编程日记 2025/5/9 14:08:59

用于目标检测的集中式特征金字塔

摘要 https://arxiv.org/pdf/2210.02093 视觉特征金字塔在多种应用中已展现出其在有效性和效率方面的优越性。然而，现有方法过度关注层间特征交互，却忽略了经验证明有益的层内特征调节。尽管一些方法试图借助注意力机制或视觉变换器来学习紧凑的层内特征表示，但它们忽略了…...

编程日记 2025/5/6 6:33:44

微信小程序购物车全选反选功能以及合计

微信小程序基于Vant Weapp的购物车功能实现 1、单选使用微信小程序原生表单组件checkbox和checkbox-group 注意：checkbox原生不支持bind:change事件，checkbox-group支持 <checkbox-group bindchange"handleCheck"><checkbox val…...

编程日记 2025/5/8 11:30:45

大数据新视界 -- Hive 数据湖集成与数据治理（下）（26 / 30）

💖💖💖亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的…...

编程日记 2025/5/4 17:40:24

【基础数学二】整除，最大公约数约数，最小公倍数

编程日记 2025/5/6 10:56:50

【lua语言基础(四)】IO模型以及补充知识

💓博主CSDN主页:杭电码农-NEO💓 ⏩专栏分类:lua从入门到精通⏪ 🚚代码仓库:NEO的学习日记🚚 🌹关注我🫵带你学更多lua语言的知识 🔝🔝 lua语言基础 1. 简单的IO模型2…...

编程日记 2025/5/9 2:16:34

Python知识分享第十九天-网络编程

网络编程概述用来实现网络互联不同计算机上运行的程序间可以进行数据交互也叫Socket编程套接字编程三要素IP地址概述设备在网络中的唯一标识分类IPV4城域网13广域网22局域网31IPV6八字节十六进制相关dos命令查看ipwindows: ipconfigmac和linux: ifconfig测试网络ping 域…...

编程日记 2025/5/5 1:12:35

【JuMP.jl】非线性规划

[JuMP] 03 非线性规划非线性规划模型非线性规划问题是线性规划问题的自然推广， 在实际的工程问题中，优化问题中的目标函数与约束不会总是线性函数，因此非线性规划的求解功能是必要的。 min ⁡ x ∈ R n f 0 ( x ) s.t. l j ≤ f j ( x ) ≤…...

编程日记 2025/5/5 6:03:49

网络（TCP）

目录 TCP socket API 详解套接字有哪些类型？socket有哪些类型？ 图解TCP四次握手断开连接图解TCP数据报结构以及三次握手（非常详细） socket缓冲区以及阻塞模式详解再谈UDP和TCP bind(): 我们的程序中对myaddr参数是这样…...

编程日记 2025/5/4 16:09:28

40分钟学 Go 语言高并发：服务性能调优实战

服务性能调优实战一、性能优化实战概述优化阶段主要内容关键指标重要程度瓶颈定位收集性能指标，确定瓶颈位置CPU、内存、延迟、吞吐量⭐⭐⭐⭐⭐代码优化优化算法、并发、内存使用代码执行时间、内存分配⭐⭐⭐⭐⭐系统调优调整系统参数、资源配置系统资源利用率…...

编程日记 2025/5/7 6:26:14

5092 星际争霸

逆序对排序； 字符串遍历； pair 特点： 两个值，第一个是字符串，第二个是逆序对数。而且没有重复的字符串。 #include<bits/stdc.h>using namespace std; typedef long long ll; const int N1e35; #define x f…...

编程日记 2025/5/8 5:31:16

AUTOSAR AP 汽车API知识点总结（Automotive API ）R24-11

汽车API知识点总结一、背景与目标背景：智能互联汽车正逐步依赖远程诊断、软件更新等功能以确保行驶安全，并且用户已习惯于通过智能设备中的应用程序控制连接设备。虽然AUTOSAR标准支持车辆软件的可更新性，但尚未提供将AUTOSAR应用产生的数据和功能安全可靠地暴露给非AUTO…...

编程日记 2025/5/6 6:33:11

vue2：Cascader 级联选择器中加载两种不同的数据结构

前言因UI调整，需要将el-tree控件更换为级联选择器，而在原树形控件中，加载了两种不同的数据结构，（参见vue2：树形控件el-tree中加载两种不同结构的数据_vue2 树形插件-CSDN博客）所以现在级联选择器中也需要加载这两种不同的数据结构。问题原本以为处理方式差不多，在…...

编程日记 2025/5/6 12:43:12

【xLSTM-Transformer序列分类】Pytorch使用xLSTM-Transformer对序列进行分类源代码

Python, Pytorch使用xLSTM-Transformer对序列进行分类源代码。xLSTM是不久前LSTM团队提出来的新模型，将xLSTM融入Transformer的Encoder中，创新型较强。另外，Transformer是完整的，即使用了Encoder、Decoder和Embedding所有模块。 …...

编程日记 2025/5/7 14:07:52

TDengine 签约安徽智质，助力海螺水泥智慧工厂升级

在当前制造业数字化转型的浪潮中，如何实现智能化、自动化与数据驱动的高效生产，成为企业提升竞争力的关键。尤其是在水泥、钢铁等传统行业，随着技术的不断进步，如何打破数据孤岛、提升生产管理效率，已经成为许多工厂亟…...

编程日记 2025/5/8 21:34:09

Hbase整合Mapreduce案例2 hbase数据下载至hdfs中——wordcount

目录整合结构准备数据下载pom.xmlMain.javaReduce.javaMap.java操作总结整合结构和案例1的结构差不多，Hbase移动到开头，后面跟随MR程序。因此对于输入的K1 V1会进行一定的修改准备在HBASE中创建表，并写入数据 create "wunaii…...

编程日记 2025/5/9 12:15:40

WHLUG丨deepin、华中科技大学开放原子开源俱乐部、 RustSBI 和清华大学开源操作系统训练营共话开源新生代成长之路

2024年11月30日下午，由 deepin（深度）社区联合华中科技大学开放原子开源俱乐部、 RustSBI 开源社区和清华大学开源操作系统训练营共同举办的WHLUG（武汉Linux用户组）线下沙龙在华中科技大学成功举办。本次活动聚集了50余…...

编程日记 2025/5/9 8:34:00

深入理解AVL树：结构、旋转及C++实现

1. AVL树的概念什么是AVL树？ AVL树是一种自平衡的二叉搜索树，其发明者是Adelson-Velsky和Landis，因此得名“AVL”。AVL树是首个自平衡二叉搜索树，通过对树的平衡因子进行控制，确保任何节点的左右子树高度差最多为1&…...

编程日记 2025/5/4 5:11:34

L15.【LeetCode笔记】相同的树

目录 1.题目代码模板 2.分析通过合理的if判断分类讨论两个根节点 1.首先,p和q都为NULL的情况最好排除 2.排除了两个都为NULL的情况,剩下的情况:1.其中一个为NULL;2.两个都不为NULL 写法1 写法2 3.只剩下最后一种情况:p和q都不为NULL 3.代码提交结果 1.题目 https…...

编程日记 2025/5/5 1:42:52

【算法】【优选算法】位运算（下）

目录一、：⾯试题 01.01.判定字符是否唯⼀1.1 位图1.2 hash思路1.3 暴力枚举二、268.丢失的数字2.1 位运算，异或2.2 数学求和三、371.两整数之和四、137.只出现⼀次的数字 II五、⾯试题 17.19.消失的两个数字一、：⾯试题 01.01.判定字符是…...

编程日记 2025/5/8 17:51:00

网络——Socket与WebSocket

Socket与WebSocket都是网络通信中的重要概念，但它们在原理、应用场景及特性上存在显著的差异。以下是对两者的详细比较： 一、Socket 定义：Socket（套接字）是计算机网络中的一个抽象层，它允许应用程序通过网…...

编程日记 2025/4/22 18:59:25

Springboot3整合Redis

书接上篇《Redis 安装篇（阿里云服务器）_阿里云安装redis-CSDN博客》，安装好Redis后，就需要在springboot项目中使用Redis了。一、SpringBoot整合Redis 1.添加坐标  <dependency><groupId>org.sp…...

编程日记 2025/5/6 3:27:14

Java CountDownLatch 用法和源码解析

🧑 博主简介：CSDN博客专家，历代文学网（PC端可以访问：https://literature.sinhy.com/#/literature?__c1000，移动端可微信小程序搜索“历代文学”）总架构师，15年工作经验，…...

编程日记 2025/5/6 11:57:23

微信小程序3-显标记信息和弹框

感谢阅读，初学小白，有错指正。一、实现功能： 在地图上添加标记点后，标记点是可以携带以下基础信息的，如标题、id、经纬度等。但是对于开发来说，这些信息还不足够，而且还要做到点击标记点时&a…...

编程日记 2025/5/4 18:17:56

Android 消息队列之MQTT的使用：物联网通讯，HTTP太重了，使用MQTT；断网重连、注册、订阅、发送数据和接受数据，实现双向通讯。

目录： 问题MQTT是什么以及为什么使用如何使用：第一阶段、基础功能如何使用：第二阶段、增加断网重连如何使用：第三阶段、封装一、问题在开发的时候，我们一般都使用Http和后台进行通讯，比如我们是开发物联…...

编程日记 2025/5/7 2:01:41

详解Java数据库编程之JDBC

目录首先创建一个Java项目在Maven中央仓库下载mysql connector的jar包针对MySQL版本5 针对MySQL版本8 下载之后，在IDEA中创建的项目中建立一个lib目录，然后把刚刚下载好的jar包拷贝进去，然后右键刚刚添加的jar包，点击‘添…...

编程日记 2025/5/6 17:22:53

详解C++类与对象（四）

文章目录 1.类型转换1.1 前言1.2 类型转换的性质 2.static成员2.1 前言2.2 static的基本概念 3.友元4.内部类5.匿名对象 1.类型转换 1.1 前言在C中，由于程序员可以自己显示定义一个新的类。这样就会出现一个问题：程序员自己显示定义的类类型与编译器中…...

编程日记 2025/5/9 5:30:17

使用 postman 传递 binary 类型的图片到后端接口遇到的坑

使用 psotman 传 binary 类型图片报错： -2024-12-04 [http-nio-9090-exec-1] WARN org.springframework.web.servlet.mvc.support.DefaultHandlerExceptionResolver Resolved [org.springframework.http.converter.HttpMessageNotReadableException: Required r…...

编程日记 2025/5/9 1:46:32

第9章大模型的有害性（上）

9.1 引言本章将探讨大型语言模型（LLMs）可能带来的有害性，重点讨论以下几个方面： 性能差异社会偏见和刻板印象在后续内容中，还会涉及其他层面的危害，如有害信息、虚假信息、隐私和安全风险、版权问题、…...

编程日记 2025/5/9 14:01:31

计算机视觉——相机标定(Camera Calibration)

文章目录 1. 简介2. 原理3. 相机模型3.1 四大坐标系3.2 坐标系间的转换关系3.2.1 世界坐标系到相机坐标系3.2.2 相机坐标系到图像坐标系3.2.3 像素坐标系转换为图像坐标系3.2.4 世界坐标转换为像素坐标 3.3 畸变3.3.1 畸变类型3.3.1.1 径向畸变（Radial Distortion&a…...

编程日记 2025/4/9 1:15:06

Java爬虫技术全解析：从入门到精通

引言在信息爆炸的今天，数据成为了最宝贵的资源之一。爬虫技术作为获取网络数据的重要手段，广泛应用于数据采集、信息聚合、市场分析等多个领域。Java作为一种强类型、面向对象的编程语言，以其稳健的性能和跨平台的特性，成为了开…...

编程日记 2025/5/6 23:18:36

leetcode hot100【Leetcode 416.分割等和子集】java实现

Leetcode 416.分割等和子集题目描述给定一个非负整数的数组 nums ，你需要将该数组分割成两个子集，使得两个子集的元素和相等。如果可以分割，返回 true ，否则返回 false。示例 1： 输入：nums [1,5,11,…...

编程日记 2025/5/4 23:53:50

位段详解+代码展示

系列文章目录 🎈 🎈 我的CSDN主页:OTWOL的主页，欢迎！！！👋🏼👋🏼 🎉🎉我的C语言初阶合集：C语言初阶合集，希望能…...

编程日记 2025/5/9 0:26:43

python实现c++中so库调用及dbus服务开发

本期介绍主要分两块，一块是python如何调用so库，另一块是dbus服务的注册与调用； python调用so库 1. c++源码 # test.h文件#include<iostream> using namespace std;extern "C"{ int cacl(int a, int b); struct student{char sname[50];int score;}; stud…...

编程日记 2025/4/29 17:36:49

如何进行GC调优

目录 1、GC是什么? 垃圾回收算法、收集器等 2、优化目标 3、优化策略这个属于较为开放题目，可以结合自己项目实战出发，体现JVM调优。 1、GC是什么? 垃圾回收算法、收集器等 2、优化目标 (1) 将进入老年代的对象数量降到最低 (2) 减少FullGC的执行…...

编程日记 2025/5/4 17:27:24

JAVA ｜日常开发中读写TXT文本详解

JAVA ｜日常开发中读写TXT文本详解前言一、读取 TXT 文本1.1 使用BufferedReader读取1.2 使用Scanner读取二、写入 TXT 文本2.1 使用BufferedWriter写入2.2 使用PrintWriter写入2.3 字节流写入（FileOutputStream）后转换为字符流（…...

编程日记 2025/5/5 4:46:37