当前位置：首页 > news >正文

【机器学习】机器学习的基本分类-监督学习-决策树-ID3 算法

news 来源：原创 2025/5/11 4:37:21

ID3（Iterative Dichotomiser 3）是决策树的一种构造算法，由 Ross Quinlan 在 1986 年提出。它主要用于分类问题，通过信息增益选择特征来构建决策树。ID3 假设数据是离散型特征，且不支持连续型数据。

1. 核心思想

划分标准：
- 使用 信息增益（Information Gain）作为特征选择的标准。
- 选择信息增益最大的特征进行分裂。
递归构造：
- 从根节点开始，每次根据信息增益选择特征，生成子节点。
- 对每个子节点重复这一过程，直到满足停止条件（例如数据不可再分，或者所有样本类别相同）。

2. 信息增益

信息增益基于**信息熵（Entropy）**的概念：

信息熵的定义

信息熵衡量数据集的不确定性：

$H(D) = - \sum_{i=1}^C p_i \log_2(p_i)$

D：数据集。
C：类别数。
$p_i$ ：数据集中属于第 i 类的概率。

条件熵

划分数据集 D 后的条件熵为：

$H(D|A) = \sum_{v \in \text{Values}(A)} \frac{|D_v|}{|D|} H(D_v)$

A：划分特征。
$D_v$ ：特征 A 的值为 v 时的子数据集。
$|D_v|/|D|$ ：数据划分到 v 类的比例。

信息增益公式

信息增益是划分前后信息熵的减少：

$IG(D, A) = H(D) - H(D|A)$

H(D)：划分前的熵。
H(D|A)：划分后的条件熵。
特征 A 的信息增益越大，说明使用 A 划分后数据集的不确定性降低越多，划分效果越好。

3. ID3 算法步骤

输入：
- 数据集 D（包含样本和对应的类别标签）。
- 特征集 A。
步骤：
1. 计算当前数据集的熵 H(D)。
2. 对于每个特征 A ∈ A：
  - 计算特征 A 的信息增益 IG(D, A)。
3. 选择信息增益最大的特征 $A^*$ ，作为当前节点的分裂特征。
4. 根据特征的每个取值 v，划分数据集：
  - 如果子数据集 $D_v$ 为空，设置叶节点为多数类别。
  - 如果子数据集 $D_v$ 非空，递归构造子树。
5. 当满足停止条件时，停止分裂。
输出：
- 决策树。

4. 算法特点

优点

简单易实现：基于熵和信息增益的数学原理，计算相对直观。
解释性强：生成的决策树规则可以直接解释分类依据。

缺点

对连续特征无直接支持：需要离散化连续特征。
易过拟合：树可能过于复杂，适应训练数据的噪声。
偏好多值特征：特征的可能取值越多，信息增益往往越高，可能导致模型偏向这些特征。

5. 示例

数据示例

假设有以下样本数据：

天气	温度	湿度	风力	是否运动
晴天	高	高	弱	否
晴天	高	高	强	否
阴天	高	高	弱	是
雨天	中	高	弱	是
雨天	低	正常	弱	是

目标：构造决策树判断是否运动。

计算步骤

计算根节点的熵 H(D) 数据集中是否运动的比例为：
- P(是) = 3/5, P(否) = 2/5。
  熵为：
计算每个特征的条件熵 H(D|A) 和信息增益
- 天气（Weather）：
  - $H(D|\text{Sunny}) = -1 \log_2(1) = 0$ 。
  - 对所有天气取值加权计算条件熵，得到 $H(D|\text{Weather})$ 。
  - 信息增益 $IG(D, \text{Weather}) = H(D) - H(D|\text{Weather})$ 。
- 温度（Temperature）：
  - 类似方法计算温度的条件熵和信息增益。
- 湿度、风力：
  - 按相同方法计算。
选择信息增益最大的特征：
- 设 $A^* = \text{Weather}$ ，构造根节点。
递归分裂子数据集：
- 对子数据集重复计算，直到满足停止条件。

6. 代码实现

Python 示例

from math import log2# 计算熵
def entropy(labels):total = len(labels)counts = {}for label in labels:counts[label] = counts.get(label, 0) + 1return -sum((count / total) * log2(count / total) for count in counts.values())# 计算信息增益
def information_gain(data, labels, feature_index):total_entropy = entropy(labels)feature_values = [row[feature_index] for row in data]unique_values = set(feature_values)conditional_entropy = 0for value in unique_values:subset = [labels[i] for i in range(len(data)) if data[i][feature_index] == value]conditional_entropy += (len(subset) / len(data)) * entropy(subset)return total_entropy - conditional_entropy# 示例数据
data = [["晴天", "高", "高", "弱"],["晴天", "高", "高", "强"],["阴天", "高", "高", "弱"],["雨天", "中", "高", "弱"],["雨天", "低", "正常", "弱"]
]
labels = ["否", "否", "是", "是", "是"]# 特征索引（天气、温度、湿度、风力）
for i in range(4):print(f"Feature {i}, Information Gain: {information_gain(data, labels, i):.4f}")

输出结果

Feature 0, Information Gain: 0.9710
Feature 1, Information Gain: 0.4200
Feature 2, Information Gain: 0.1710
Feature 3, Information Gain: 0.3219

7. 扩展

C4.5 算法：
- 使用信息增益比替代信息增益，解决偏好多值特征问题。
- 支持连续型特征。
CART 算法：
- 支持分类与回归，使用基尼指数或均方误差。

ID3 是决策树的早期版本，适用于简单的分类问题，但由于其限制（如无法处理连续型特征、易过拟合），后续算法（如 C4.5 和 CART）进一步改进了 ID3。

【机器学习】机器学习的基本分类-监督学习-决策树-ID3 算法

ID3（Iterative Dichotomiser 3）是决策树的一种构造算法，由 Ross Quinlan 在 1986 年提出。它主要用于分类问题，通过信息增益选择特征来构建决策树。ID3 假设数据是离散型特征，且不支持连续型数据。 1. 核心思想划分标…...

编程日记 2025/5/11 4:37:21

nginx配置http及https

nginx配置http及https 1.动静分离2.负载均衡3.配置https4.请求重定向5.常用参数配置介绍现在日常工作中的项目大多数都是采用前后端分离，就用到了nginx进行反向代理、处理静态资源等；因此，记录整理了nginx一些常用的配置； 1.动静…...

编程日记 2025/5/5 23:38:32

威联通-001 手机相册备份

文章目录前言1.Qfile Pro2.Qsync Pro总结前言威联通有两种数据备份手段：1.Qfile Pro和2.Qsync Pro，实践使用中存在一些区别，针对不同备份环境选择是不同。 1.Qfile Pro 用来备份制定目录内容的。 2.Qsync Pro 主要用来查看和操作文…...

编程日记 2025/5/6 17:40:56

柔性数组详解+代码展示

系列文章目录 🎈 🎈 我的CSDN主页:OTWOL的主页，欢迎！！！👋🏼👋🏼 🎉🎉我的C语言初阶合集：C语言初阶合集，希望能…...

编程日记 2025/5/11 3:47:42

【oracle数据库提示oracle initialization or shutdown in process】

问题如下截图： 解决方案： 1.进入sqlplus，下图中红圈即处理方式备注：redo03.log是数据库路径“E:\app\Administrator\oradata\MKDB3D\”下最新的归档日志文件 2.alter database open resetlogs 3.netmanager测试登录是否成功&am…...

编程日记 2025/4/22 22:15:11

面试题-RocketMQ的基本架构、支持的消息模式、如何保证消息的可靠传输

相关问题 1、RocketMQ的基本架构是怎样的？请简述各组件的作用。 2、RocketMQ支持哪几种消息模式（如点对点、发布/订阅）？请简要说明它们的区别。 3、如何使用Java客户端实现一个简单的消息生产者和消费者？ 4、RocketMQ…...

编程日记 2025/5/7 7:15:27

VUE脚手架练习

脚手架安装的问题： 1.安装node.js,配置环境变量,cmd输入node -v和npm -v可以看到版本号（如果显示不是命令，确认环境变量是否配置成功，记得配置环境变量之后重新打开cmd，再去验证） 2.在安装cnmp时&#xf…...

编程日记 2025/5/9 20:23:07

package gjhs114import scala.collection.mutableobject fx {队列 // def main(args: Array[String]): Unit { // val q1 mutable.Queue(1) // q1.enqueue(2) // q1.enqueue(3) // q1.enqueue(4) // // println(q1.dequeue())//出队 1 // println(q1.dequ…...

编程日记 2025/5/9 22:58:18

小程序-基于java+SpringBoot+Vue的音乐播放器小程序设计与实现

项目运行 1.运行环境：最好是java jdk 1.8，我们在这个平台上运行的。其他版本理论上也可以。 2.IDE环境：IDEA，Eclipse,Myeclipse都可以。推荐IDEA; 3.tomcat环境：Tomcat 7.x,8.x,9.x版本均可 4.硬件环境&#xff1a…...

编程日记 2025/5/9 21:37:45

在21世纪的我用C语言探寻世界本质——字符函数和字符串函数(2)

人无完人，持之以恒，方能见真我！！！ 共同进步！！ 文章目录一、strncpy函数的使用二、strncat函数的使用三、strncmp函数的使用四、strstr的使用和模拟实现五、strtok函数的使用六、strerror和perr…...

编程日记 2025/5/10 15:17:38

oracle to postgresql使用Oracle Golden Gate同步数据

参考 https://www.ktexperts.com/replication-to-gcp-postgresql-using-oracle-goldengate/ https://www.ktexperts.com/how-to-change-remote-trail-file-location-in-oracle-goldengate/...

编程日记 2025/5/6 13:17:58

基于Java Springboot校园导航微信小程序

一、作品包含源码数据库设计文档万字PPT全套环境和工具资源部署教程二、项目技术前端技术：Html、Css、Js、Vue、Element-ui 数据库：MySQL 后端技术：Java、Spring Boot、MyBatis 三、运行环境开发工具：IDEA/eclipse微信开发…...

编程日记 2025/5/6 14:11:36

【软件安全专题文档】系统安全设计规范，网络与信息系统安全设计规范，信息系统安全架构方案设计规范（Word原件）

1.1安全建设原则 1.2 安全管理体系 1.3 安全管理规范 1.4 数据安全保障措施 1.4.1 数据库安全保障 1.4.2 操作系统安全保障 1.4.3 病毒防治 1.5安全保障措施 1.5.1实名认证保障 1.5.2 接口安全保障 1.5.3 加密传输保障 1.5.4终端安全保障软件项目全周期文档清单部分文件概览&a…...

编程日记 2025/5/6 13:35:59

【青牛科技】SCU2N60E/SCD2N60E N沟道增强型功率场效应晶体管采用Silicore先进的VDMOS技术生产

描述： 这些N沟道增强型功率场效应晶体管采用Silicore先进的VDMOS技术生产，为设计人员提供了卓越的开关性能、坚固的器件设计、低导通电阻和成本效益。特点： 在VGS10V时，600V，2.0A，Rdson4.5Ω&#xff08…...

编程日记 2025/5/6 13:37:30

常见限流算法介绍和 Spring Cloud Sentinel使用方式

sentinel 限流及熔断为什么要限流呢？对于一些突发流量，如双11大促，甚至恶意攻击，这时系统的访问量远远超出系统的承受能力，如果不做任何保护措施， 服务器资源会耗尽，进而系统不可用。限流就…...

编程日记 2025/5/7 17:15:18

工业齐套管理虚拟现实仿真模拟软件

工业齐套管理虚拟现实仿真模拟软件是与法国最大的汽车制造商合作开发的一款虚拟现实仿真模拟软件，借助身临其境的虚拟现实环境，无需停止生产线，即可模拟仓库和提货区域。工业齐套管理虚拟现实仿真模拟软件不仅适用于汽车工业，安全…...

编程日记 2025/5/6 14:07:33

HarmonyOS(60)性能优化之状态管理最佳实践

状态管理最佳实践 1、避免在循环中访问状态变量1.1 反例1.2 正例 2、避免不必要的状态变量的使用3、建议使用临时变量替换状态变量3.1 反例3.2 正例 4、参考资料 1、避免在循环中访问状态变量在应用开发中，应避免在循环逻辑中频繁读取状态变量，而是应该…...

编程日记 2025/5/6 13:36:33

Qt5语法的connect指定多个重载信号槽函数中的具体某一个

Qt5新语法的connect函数，使用起来更加简洁明了，但如果信号槽有同名的多个重载函数，只用类名和函数名就无法绑定，这时，可以使用qOverload来指定参数类型，例如： connect(ui->comboBox, qOverlo…...

编程日记 2025/5/6 1:25:14

Mysql远程工具Navicat Premium连接报错1130、2003解决方案

这里写自定义目录标题 1130报错：![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/107d09a6fc324a46b922bf65cab81c58.png)2003报错： 1130报错： 原因： 连接异常 1130，没有远程登录权限。解决方案&#xff…...

编程日记 2025/5/9 20:26:35

ShardingSphere介绍

1. ShardingSphere简单介绍 ShardingSphere是一款目前业内比较流行的分库分表框架，到现在为止有接近十年的开发历程了，其已经不仅仅只是⽤来做分库分表，⽽是形成了⼀个围绕分库分表核⼼的技术⽣态。他的核⼼功能已经包括了数据分⽚、分布式…...

编程日记 2025/5/10 9:50:54

操作系统 | 学习笔记 | 王道 | 2.2处理机调度

2.2 处理机调度文章目录 2.2 处理机调度2.2.1 调度的概念2.2.2 调度的目标2.2.3 调度的实现2.2.4 典型的调度算法错题总结： 2.2.1 调度的概念调度的基本概念处理机调度是对处理机进行分配，即从就绪队列中按照一定的算法（公平、高效的原则&…...

编程日记 2025/5/6 13:39:14

我们项目要升级到flutter架构的几点原因

一、探索 Flutter打造卓越移动应用的新时代框架在移动应用开发的世界里，Flutter已经成为了一个炙手可热的话题。诞生于Google的怀抱，Flutter以其独特的优势和理念，正在引领一场全球范围内的应用开发 ** 。本文将深入探讨Flutter项目的特点、…...

编程日记 2025/5/10 12:56:49

Solidity开发智能合约

05-Solidity开发智能合约 0 Solidity和智能合约 Solidity开发可运行的智能合约步骤： 源代码通过编译成字节码（Bytecode），同时会产生二进制接口规范（ABI） 通过交易将字节码部署到以太坊网络，部署…...

编程日记 2025/5/7 14:28:57

bind实验

服务端查看域名 [rootclient yum.repos.d]# hostname client 设置域名 [rootclient yum.repos.d]# hostnamectl set-hostname dns1.openlab.edu [rootclient yum.repos.d]# cd [rootclient ~]# hostname dns1.openlab.edu 安装bind包 [rootclient ~]# yum install bind -y…...

编程日记 2025/5/10 2:35:13

ARM架构下安装新版docker及docker-compose

一、常见CPU 架构： 二、环境信息 CPU架构操作系统配置HUAWEI Kunpeng 920 5220 aarch64openEuler 22.03 (LTS-SP3)64C128g15T 三、安装docker 3.1 二进制包下载 docker-ce 社区下载地址： wget https://mirrors.nju.edu.cn/docker-ce/linux/static/s…...

编程日记 2025/5/9 21:14:38

自锁/非自锁开关原理笔记

前言：编写不易，请勿搬运，感谢理解，仅供学习。开关介绍 6指针开关，这种开关分为自锁和非自锁开关，自锁开关有两种状态，按下和松开的状态，非自锁开关在按下过后，按键会复…...

编程日记 2025/5/9 0:13:47

基于SpringBoot+Vue的论坛网站-无偿分享 (附源码+LW+调试)

目录 1. 项目技术 2. 功能菜单 3. 部分功能截图 4. 研究背景 5. 研究目的 6. 可行性分析 6.1 技术可行性 6.2 经济可行性 6.3 操作可行性 7. 系统设计 7.1 概述 7.2 系统流程和逻辑 7.3 系统结构 8. 数据库设计 8.1 数据库ER图 （1）问题反…...

编程日记 2025/5/9 22:02:40

基于SSM的博客系统+LW参考示例

1项目介绍系统角色：管理员、普通用户功能模块：管理员（用户管理，博文分类管理，博文信息管理，话题分类管理，热议话题管理，私信管理，敏感词管理，系统管理等&am…...

编程日记 2025/5/6 13:23:46

[241129] Docker Desktop 4.36 发布：企业级管理功能、WSL 2 增强 | Smile v4.0.0 发布

目录 Docker Desktop 4.36 发布：企业级管理功能、WSL 2 和 ECI 增强Smile v4.0.0 发布！Java 机器学习库迎来重大升级 Docker Desktop 4.36 发布：企业级管理功能、WSL 2 和 ECI 增强 Docker Desktop 4.36 带来了强大的更新，简化了…...

编程日记 2025/5/11 3:34:22

webpack5开发环境、生产环境配置 (三)

开发环境：就是我们开发代码时使用的模式。这个模式我们做两件事情： 1、编译代码，使浏览器能识别运行 2、代码质量检查，树立代码规范生产环境：开发完成代码后，我们需要得到代码将来部署上线。这个模式…...

编程日记 2025/5/10 14:29:42

一次Kafka启动失败引出的问题

背景 Some time，有个现场童鞋说咱的Kafka实例有个broker一直crash，还截图给我看了，大致是Kafka启动加载topic分区日志文件的时候，然后就没了，连个WARN都没有。当然，光看这个截图咱啥都不知道，因…...

编程日记 2025/5/6 15:17:25

[Linux] 进程间通信——匿名管道命名管道

标题：[Linux] 进程间通信——匿名管道&&命名管道水墨不写bug （图片来源于网络） 目录一、进程间通信二、进程间通信的方案——匿名管道 （1）匿名管道的原理 （2）使用匿名管道三、进…...

编程日记 2025/5/6 14:52:02

人机交互中的状态交互、趋势交互

在人机交互中， 状态交互和趋势交互是两种重要的交互方式，它们分别涉及到用户与系统之间不同的交互模型和机制。 1. 状态交互状态交互主要聚焦于用户与系统之间的状态转换及其反馈机制。在这种交互模式下，系统会根据用户的输入或行为发生状…...

编程日记 2025/5/8 7:37:27

基于Java Springboot房屋租赁App且微信小程序

一、作品包含源码数据库设计文档万字PPT全套环境和工具资源部署教程二、项目技术前端技术：Html、Css、Js、Vue、Element-ui 数据库：MySQL 后端技术：Java、Spring Boot、MyBatis 三、运行环境开发工具：IDEA/eclipse 微信…...

编程日记 2025/5/8 21:17:57

golang的wails框架在macos下的问题

1、前言之前练手写了格调用ollama api的web应用，想找个容器打包下，于是找到wails来打包，windows下都是很正常的，因为就是普通的http调用，也没遇到cors跨域问题，但是到了macos下使用wails dev命令启动的客户…...

编程日记 2025/5/6 15:29:41

编程设计模式助记顺口溜

1、顺口溜创建型，工厂多，单例建对象，抽象工厂做。建造者分步做，原型克隆最不愁。结构型，适配器，桥接组合都不错，装饰外观飞享元，代理再添一把火。行为型，责任链&…...

编程日记 2025/5/6 14:36:31

java网络通信（三）：TCP通信、实现客户端-服务端消息通信

目录 1、什么是 TCP协议？ 2、代码实现TCP协议的一发一收 2.1、客户端 2.2、服务端 2.3 结果演示 3、代码实现TCP协议的多发多收 3.1 客户端 3.2 服务端 3.3 结果演示简介：本文章主要是演示如何用java代码以及TCP协议实现网络通信，实…...

编程日记 2025/5/11 5:24:55

mybatis-plus 对于属性为null字段不更新

MyBatis-Plus 默认情况下会根据字段的值是否为 null 来决定是否生成对应的 UPDATE 语句。这是由更新策略决定的，默认的行为是忽略 null 值，即如果字段值为 null，该字段将不会出现在 UPDATE 语句中。默认行为分析 MyBatis-Plus 默认的 Fi…...

编程日记 2025/5/8 8:06:55

GAGAvatar: Generalizable and Animatable Gaussian Head Avatar 学习笔记

1 Overall GAGAvatar（Generalizable and Animatable Gaussian Avatar），一种面向单张图片驱动的可动画化头部头像重建的方法，解决了现有方法在渲染效率和泛化能力上的局限。旋转参数现有方法的局限性： 基于NeRF的方…...

编程日记 2025/5/6 7:19:10

《数据挖掘：概念、模型、方法与算法（第三版）》

嘿，数据挖掘的小伙伴们！今天我要给你们介绍一本超级实用的书——《数据挖掘：概念、模型、方法与算法》第三版。这本书是数据挖掘领域的经典之作，由该领域的知名专家编写，系统性地介绍了在高维数据空间中分析和提取大量…...

编程日记 2025/5/10 17:37:32

springboot vue 开源会员收银系统 (12)购物车关联服务人员订单计算提成

前言完整版演示 http://120.26.95.195/ 开发版演示 http://120.26.95.195:8889/ 在之前的开发进程中，我们完成订单的挂单和取单功能，今天我们完成购物车关联服务人员，用户计算门店服务人员的提成。 1.商品关联服务人员服务人员可以选择一…...

编程日记 2025/5/6 13:11:28

lua闭包Upvalue

闭包 lua任何函数都是闭包，闭包至少带1个upValue； CClosure是使用Lua提供的lua_pushcclosure这个C-Api加入到虚拟栈中的C函数，它是对LClosure的一种C模拟如string.gmatch就是cclosure 定义： #define ClosureHeader \CommonH…...

编程日记 2025/5/7 2:19:07

下载maven 3.6.3并校验文件做md5或SHA512校验

一、下载Apache Maven 3.6.3 Apache Maven 3.6.3 官方下载链接： 二进制压缩包（推荐）: ZIP格式: https://archive.apache.org/dist/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.zipTAR.GZ格式: https://archive.apache.org/dist/…...

编程日记 2025/5/10 6:41:42

深入探索Flax：一个用于构建神经网络的灵活和高效库

深入探索Flax：一个用于构建神经网络的灵活和高效库在深度学习领域，TensorFlow 和 PyTorch 作为主流的框架，已被广泛使用。不过，Flax 作为一个较新的库，近年来得到了越来越多的关注。Flax 是一个由Google Research团队…...

编程日记 2025/5/6 13:13:35

vue项目中单独文件的js不存在this.$store?.state怎么办

在Vue项目中，如果你在单独的文件（比如插件、工具函数等）中遇到this.$store不存在的情况，这通常是因为this上下文不指向Vue实例，或者Vuex store没有被正确地注入到Vue实例中。以下是几种可能的解决方案： 确保…...

编程日记 2025/5/6 17:41:10

物联网客户端在线服务中心（客服功能/私聊/群聊/下发指令等功能）

一、界面私聊功能（下发通知类，一对多）群聊（点对点）发送指令（配合使用客户端，基于cefsharp做的物联网浏览器客户端）修改远程参数配置（直接保存到本地）&#…...

编程日记 2025/5/6 14:00:15

AI开发：逻辑回归 - 实战演练- 垃圾邮件的识别（二）

接上一篇AI开发：逻辑回归 - 实战演练- 垃圾邮件的识别（一） new_email 无论为什么文本，识别结果几乎都是垃圾邮件,因此我们需要对源码的逻辑进行梳理一下： 在代码中，new_email 无论赋值为何内容都被识别为…...

编程日记 2025/5/5 23:03:33

hint: Updates were rejected because the tip of your current branch is behind!

问题本地仓库往远段仓库推代码时候提示： error: failed to push some refs to 192.168.2.1:java-base/java-cloud.git hint: Updates were rejected because the tip of your current branch is behind! refs/heads/master:refs/heads/master [rejected] (…...

编程日记 2025/5/6 14:06:08

Vue的数据驱动原理

文章目录什么是数据驱动那么vuejs是如何实现这种数据驱动的呢？对getter/setter的理解？一个简单的演示例子vue数据驱动原理是：采用数据劫持结合发布者和订阅者模式，通过“object.defineproperty()”来劫持各个属性的setter、getter，在数据变动时发布消息给订阅者，触发相应…...

编程日记 2025/5/8 11:15:59

【Db First】.NET开源 ORM 框架 SqlSugar 系列

.NET开源 ORM 框架 SqlSugar 系列【开篇】.NET开源 ORM 框架 SqlSugar 系列【入门必看】.NET开源 ORM 框架 SqlSugar 系列【实体配置】.NET开源 ORM 框架 SqlSugar 系列【Db First】.NET开源 ORM 框架 SqlSugar 系列【Code First】.NET开源 ORM 框架 SqlSugar 系列【数据事务…...

编程日记 2025/5/11 6:16:35