当前位置：首页 > news >正文

【机器学习】机器学习的基本分类-监督学习-随机森林（Random Forest）

news 来源：原创 2025/5/9 14:12:39

随机森林是一种基于集成学习（Ensemble Learning）思想的算法，由多个决策树构成。它通过结合多棵决策树的预测结果来提升模型的泛化能力和准确性，同时减少过拟合的风险。

1. 随机森林的核心思想

多样性：
- 随机森林通过引入随机性，使每棵树有所不同，从而避免单一模型的过拟合问题。
集成决策：
- 对于分类问题，随机森林通过多数投票法确定最终类别。
- 对于回归问题，随机森林通过平均法预测最终结果。

随机森林的“随机性”体现在两个方面：

数据随机性（Bagging 方法）：
- 每棵树训练时使用一个由原始训练集通过**自助采样法（Bootstrap Sampling）**生成的样本子集。
- 每个样本子集中可能包含重复的数据，也可能遗漏一些数据（袋外样本，Out-Of-Bag）。
特征随机性：
- 每次节点分裂时，随机选择特征的子集作为候选，进一步增加模型的多样性。

2. 随机森林的构建过程

(1) 构建步骤

输入：
- 数据集 D。
- 树的数量 T。
- 每次分裂时的随机特征数量 m。
训练过程：
- 第 1 步：为每棵树随机采样一个样本子集（Bootstrap）。
- 第 2 步：从所有特征中随机选择 m 个候选特征。
- 第 3 步：使用候选特征按 CART 算法构造一棵决策树。
- 第 4 步：重复以上步骤 T 次，构建 T 棵树。
预测：
- 分类问题：采用多数投票。
- 回归问题：取均值。

(2) 特征子集数量选择

对于分类问题，推荐选择 $m = \sqrt{M}$ ，其中 M 是特征总数。
对于回归问题，推荐选择 $m = M/3$ 。

3. 随机森林的袋外估计（OOB）

随机森林中的每棵树仅使用部分训练数据，而剩余的数据称为袋外样本（Out-of-Bag Samples）。袋外样本可以用来：

估计模型性能：袋外样本作为验证集评估模型的预测准确性。
避免独立验证集：节约数据资源。

袋外误差（OOB Error）：

$OOB \ Error = \frac{1}{N} \sum_{i=1}^{N} L(y_i, \hat{y}_i)$

其中：

N：总样本数。
L：损失函数（如分类错误率）。

4. 随机森林的优缺点

优点

高精度：通过集成学习减少单一决策树的误差。
抗过拟合：引入随机性和平均化策略，有效避免过拟合。
特征重要性评估：能够评估每个特征对模型的重要性。
袋外估计：无需额外划分验证集即可估计模型性能。
鲁棒性：对异常值和噪声数据不敏感。

缺点

计算复杂度高：训练过程需要构建大量决策树，计算开销大。
解释性较差：相比单一决策树，随机森林的结果较难解释。
内存占用大：需要存储所有决策树，特别是特征数量较多时。

5. 随机森林的应用场景

分类问题：如图片分类、文本分类、金融欺诈检测。
回归问题：如房价预测、销量预测。
特征选择：通过计算特征重要性，筛选关键特征。
异常检测：分析样本的异常程度。

6. 随机森林的特征重要性

随机森林可以评估每个特征对目标变量的重要性，通过两种方法：

基于分裂点的累计贡献：
- 计算每个特征作为分裂点时，对目标变量的贡献。
- 累加所有树上的贡献值。
基于袋外误差：
- 随机打乱某一特征后，计算袋外误差的变化量。
- 袋外误差增加越多，说明该特征越重要。

7. 随机森林的代码实现（分类问题）

以下是一个简单的 Python 实现：

from sklearn.datasets import load_iris
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score# 加载数据集
data = load_iris()
X = data.data
y = data.target# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)# 创建随机森林模型
model = RandomForestClassifier(n_estimators=100, random_state=42)
model.fit(X_train, y_train)# 预测
y_pred = model.predict(X_test)# 计算准确率
accuracy = accuracy_score(y_test, y_pred)
print("分类准确率:", accuracy)# 特征重要性
importances = model.feature_importances_
for i, importance in enumerate(importances):print(f"特征 {data.feature_names[i]} 的重要性: {importance:.4f}")

输出结果

分类准确率: 1.0
特征 sepal length (cm) 的重要性: 0.1041
特征 sepal width (cm) 的重要性: 0.0446
特征 petal length (cm) 的重要性: 0.4173
特征 petal width (cm) 的重要性: 0.4340

8. 随机森林的扩展

(1) ExtraTrees（极端随机森林）

在每个节点分裂时，随机选择特征和分裂阈值（而不是最优阈值）。
增加随机性，降低过拟合。

(2) 随机森林 + 特征选择

使用随机森林评估特征重要性后，筛选最重要的特征进行建模。

9. 随机森林与其他集成学习方法的对比

方法	随机森林	梯度提升树（GBDT）
模型类型	并行训练	顺序训练
特征选择	随机选取特征	每次迭代关注所有特征
参数调节	较少（如树数、深度）	较多（如学习率、树数）
性能	快速，抗过拟合	精度高，但较慢

随机森林是一种性能稳定、应用广泛的模型，尤其适合中小规模数据的分类和回归任务。

【机器学习】机器学习的基本分类-监督学习-随机森林（Random Forest）

随机森林是一种基于集成学习（Ensemble Learning）思想的算法，由多个决策树构成。它通过结合多棵决策树的预测结果来提升模型的泛化能力和准确性，同时减少过拟合的风险。 1. 随机森林的核心思想多样性： 随机森林通过引…...

编程日记 2025/5/9 14:12:39

Java入门：22.集合的特点，List，Set和Map集合的使用

1 什么是集合本质就是容器的封装，可以存储多个元素数组一旦创建，长度就不能再改变了。数组一旦创建，存储内容的类型不能改变。数组可以存储基本类型，也可以存储引用类型。数组可以通过length获得容量的大小，但…...

编程日记 2025/5/6 17:24:50

Web3与区块链如何通过智能合约实现自动化生态？

Web3和区块链正在重塑互联网的未来，其核心在于去中心化和用户数据自主权。而作为区块链技术的重要组成部分，智能合约通过自动执行预设规则，大大提升了效率和安全性。本文将探讨Web3与区块链如何通过智能合约实现生态的自动化。什么是智能合约…...

编程日记 2025/5/6 21:11:48

排序算法入门：分类与基本概念详解

引言排序是编程世界中最常见的操作之一，也是许多算法的基础。不管是从数据中找出最大值还是将一堆乱序的名字整理得井井有条，排序算法都在幕后默默工作。你可能会觉得排序很简单：从小到大排个序而已嘛。但当数据量大到上百万、上亿&#xf…...

编程日记 2025/5/9 13:57:25

【Spring Cloud 微服务的简单概述】

🎥博主：程序员不想YY啊 💫CSDN优质创作者，CSDN实力新星，CSDN博客专家 🤗点赞🎈收藏⭐再看💫养成习惯 ✨希望本文对您有所裨益，如有不足之处，欢迎在评论区提出…...

编程日记 2025/5/3 18:51:50

稳定运行的以Azure Synapse Dedicated SQL Pool数据仓库为数据源和目标的ETL性能变差时提高性能方法和步骤

在Azure Synapse Dedicated SQL Pool（以前称为SQL Data Warehouse）的ETL性能变差时，可以通过以下方法和步骤来提高性能： 1. 分析和监控性能瓶颈查看执行计划：使用SQL的SET STATISTICS IO ON和SET STATISTICS TIME O…...

编程日记 2025/5/2 9:08:09

可供参考的GitHub国内镜像

在配置了本地hosts文件和魔法后仍存在无法访问的问题针对如上问题，可以使用国内的镜像地址做替换例如: https://github.com/bubbliiiing/detr-pytorch改成 https://hub.nuaa.cf/bubbliiiing/detr-pytorch推荐使用的镜像 https://hub.yzuu.cf/ https://hub.nua…...

编程日记 2025/5/4 23:38:57

统计中间件稳定性指标

目前订单业务域涉及中间件：MySQL、Redis、TiDB、MQ、ES。（遗漏项请补充） 一、RDS 资源使用率实例ID实例名称规格maxCPUavgCPUmaxDISKmaxIOPSavgIOPS活跃会话maxTPSavgTPSmaxQPSavgQPS实例风险慢查询慢查询会消耗大量的系统资源&#x…...

编程日记 2025/5/7 10:37:51

Qt Quick开发基础+实战（持续更新中…）

最近更新日期：2024/12/4 一、Qt Quick简介写在前面： 本篇文章虽然只是作为我的学习笔记，但也作为我日后复习之用，所以会认真并详细记录，但会分重点。 1.3 新建Qt Quick Application工程这节主要讲2个知识点&#x…...

编程日记 2025/5/9 13:54:24

FPGA Xilinx维特比译码器实现卷积码译码

FPGA Xilinx维特比译码器实现卷积码译码文章目录 FPGA Xilinx维特比译码器实现卷积码译码1 Xilinx维特比译码器实现2 完整代码3 仿真结果 MATLAB （n,k,m）卷积码原理及仿真代码（你值得拥有）_matlab仿真后代码-CSDN博客 MATLAB 仿真…...

编程日记 2025/5/9 13:55:34

数据结构初阶1 时间复杂度和空间复杂度

本章重点算法效率时间复杂度空间复杂度常见时间复杂度以及复杂度OJ练习 1.算法效率 1.1 如何衡量一个算法的好坏如何衡量一个算法的好坏呢？比如对于以下斐波那契数列： long long Fib(int N) { if(N < 3) return 1;return Fib(N-1) Fib(N-2); }斐…...

编程日记 2025/5/9 13:52:41

基于Matlab计算机视觉的车道线识别与前车检测系统研究

随着自动驾驶技术的发展，车道线识别和前车检测成为智能驾驶系统中的核心技术之一。本实训报告围绕基于计算机视觉的车道线识别与前车检测系统展开，旨在通过处理交通视频数据，实时检测车辆所在车道及其与前车的相对位置，从而为车道…...

编程日记 2025/5/9 2:19:45

刷蓝桥杯历年考题(更新至15届~)

第十五届 CA组省赛 AcWing5980.训练士兵方法一：树状数组:O(nlogn) self-complete /*先枚举组团，后分析每个士兵，有一个特点，组团费用是固定的，那当然是让所有士兵一块训练，训练完的士兵也不会有损失当还…...

编程日记 2025/5/9 9:43:45

Stream API来提取两个字符串字段

如果您有一个包含对象的List，并且想要使用Java 8的Stream API来提取两个字符串字段，然后将这些字段的值连接成一个以逗号隔开的单个字符串或者集合List，您可以按照以下步骤操作： 假设您有一个Person类，其中包含两个字…...

编程日记 2025/5/9 9:12:21

《无畏契约》运行时提示“d3dcompiler_43.dll丢失”是什么原因？“找不到d3dcompiler_43.dll文件”如何解决？

《无畏契约》运行时提示“d3dcompiler_43.dll丢失”是什么原因？“找不到d3dcompiler_43.dll文件”如何解决？ 作为一位软件开发从业者，我深知在游戏运行过程中，遇到各种文件丢失、文件损坏和系统报错等问题是多么令人头疼。今天&a…...

编程日记 2025/5/5 2:27:49

社群分享在商业引流与职业转型中的作用：开源 AI 智能名片 2+1 链动模式小程序的应用契机

摘要：本文聚焦于社群分享在商业领域的重要性，阐述其作为干货诱饵在引流方面的关键意义。详细探讨了提供有价值干货的多种方式，包括文字分享、问题解答以及直播分享等，并分析了直播分享所需的条件。同时，以自身经历为例…...

编程日记 2025/5/9 13:38:38

芯食代冻干科技研究院：创新与品质并重，推动家用冻干机高质量发展

11月25日,芯食代首届食品冻干前沿与智能化升级创新大会在江苏常州成功举办。本次大会由芯食代冻干科技研究院(江苏)有限公司与芯食代(上海)科技发展有限公司联合主办,云集学界专家教授、商界企业精英,共议家用冻干机的未来创新发展。作为创新大会,芯食代冻干科技研究院也在本次…...

编程日记 2025/5/6 7:20:08

【C++】栈和队列的模拟实现（适配器模式）

不论是C语言还是C，我们都用其对应的传统写法对栈和队列进行了模拟实现，现在我们要用新的方法模拟实现栈和队列，这个新方法就是适配器模式。 C语言传统写法： C语言模拟实现栈 C传统写法：C模拟实现栈 1.容器适配器 …...

编程日记 2025/5/9 13:41:24

CSS过渡练习-进度条（12）

该进度条先需要一个大盒子和一个小盒子，然后给大盒子与小盒子加style，看进度到多少就是百分之多少；如果要进度条从百分之五十到满格的话就加一个hover的样式（鼠标移到链接上时添加的特殊样式），然后是想要进…...

编程日记 2025/5/7 13:51:57

青动CRM系统PHP+Uniapp

全面解决企业销售团队的全流程客户服务难题,旨在助力企业销售全流程精细化、数字化管理，全面解决企业销售团队的全流程客户服务难题，帮助企业有效盘活客户资源、量化销售行为，合理配置资源、建立科学销售体系，提升销售业绩。青动…...

编程日记 2025/5/5 12:46:42

word如何快速创建目录？

文章目录 1，先自己写出目录的各级标题。2、选中目标标题，然后给它们编号3、给标题按照个人需求开始分级4、插入域构建目录。4.1、利用快捷键插入域构建目录4.2、手动插入域构建目录听懂掌声！学会了吗？ 前提声明：我在此…...

编程日记 2025/5/4 17:40:23

【机器学习】机器学习的基本分类-监督学习-决策树-CART（Classification and Regression Tree）

CART（Classification and Regression Tree） CART（分类与回归树）是一种用于分类和回归任务的决策树算法，提出者为 Breiman 等人。它的核心思想是通过二分法递归地将数据集划分为子集，从而构建一棵树。CART …...

编程日记 2025/5/5 11:13:00

使用GDI对象绘制UI时需要注意的若干细节问题总结

目录 1、一个bitmap不能同时被选进两个dc中 2、CreateCompatibleDC和CreateCompatibleBitmap要使用同一个dc作为参数 3、不能删除已经被选入DC中的GDI对象 4、使用完的GDI对象，要将之释放掉，否则会导致GDI对象泄漏 5、CreateCompatibleBitmap返回错…...

编程日记 2025/4/30 7:48:14

C++：std::fstream详细介绍

std::fstream 是 C 标准库中的一个类，用于处理文件的输入输出操作。它可以同时进行文件的读和写操作，因此被称为“文件流”（File Stream）。它是 C 输入输出流库 iostream 的一部分，继承了 std::istream 和 std::ostrea…...

编程日记 2025/5/2 5:59:14

ndp协议简介

在IPv6中，ARP（地址解析协议）被替代为邻居发现协议（Neighbor Discovery Protocol，NDP）。NDP是IPv6网络中用于发现邻居节点（相邻设备）的协议，类似于IPv4中的ARP。但与ARP不…...

编程日记 2025/5/9 14:12:38

915DEBUG-obsidianTemplater使用

Templater使用 tp函数不正常显示相应数据模板使用方式不正确 <% tp.date.now("YYYY-MM-DD") %> 应该被放置在一个被Templater识别为模板的文件中，或者在你使用Templater的插入模板功能时输入。如果只是在一个普通的Markdown文件中直接输入这段代码…...

编程日记 2025/5/6 11:11:45

【Linux篇】权限管理 - 用户与组权限详解

一. 什么是权限？ 首先权限是限制人的。人真实的人身份角色权限角色事物属性二. 认识人–用户 Linux下的用户分为超级用户和普通用户 root :超级管理员，几乎不受权限的约束普通用户 :受权限的约束超级用户的命令提示符是#，普通用…...

编程日记 2025/5/8 2:25:25

JWT 在 SaaS 系统中的作用与分布式 SaaS 系统设计的最佳实践

在现代 SaaS（软件即服务） 系统中，随着服务规模的扩大和用户需求的多样化，如何高效、安全地进行用户身份验证、权限控制以及租户隔离，成为了系统架构中的核心问题之一。**JWT（JSON Web Token）**作…...

编程日记 2025/5/8 22:49:33

docker更换容器存储位置

一：原因今天之前在某个服务器上使用docker搭建的服务突然无法访问了，进入服务器查看发现服务运行正常，但是就是无法使用，然后我这边准备将docker服务重新启动下看看，发现docker服务无法重启，提示内存已满…...

编程日记 2025/5/9 14:02:30

gitlab-cicd部署安装与具体操作

一、安装本例中是用安装包直接在ubuntu下安装的，也可以用docker镜像。 curl -LJO https://gitlab-runner-downloads.s3.amazonaws.com/latest/rpm/gitlab-runner_amd64.rpmrpm -i gitlab-runner_amd64.rpm 安装runner后，需要跟在runner所在服务器安装…...

编程日记 2025/5/9 14:04:13

基于MFC实现的人机对战五子棋游戏

基于MFC实现的人机对战五子棋游戏 1、引言此报告将详细介绍本次课程设计的动机、设计思路及编写技术的详细过程，展现我所学过的C知识以及我通过本次课程设计所学到例如MFC等知识。在文档最后我也会记录我所编写过程遇到的问题以及解决方案。 1.1 背景五子棋是…...

编程日记 2025/5/9 13:44:50

mac电脑多个ssh keys共存

一、同一台电脑，不同域名的git仓库为什么要设置不同的ssh keys？ 每个git仓库通常要求使用唯一的ssh key，以防止权限冲突和安全问题。权限控制：每个git仓库的权限是独立的，使用不同的ssh keys可以更好的管理权限&…...

编程日记 2025/5/5 4:16:56

Elasticsearch数据迁移（快照）

1. 数据条件一台原始es服务器（192.168.xx.xx），数据迁移后的目标服务器（10.2.xx.xx）。 2台服务器所处环境： centos7操作系统， elasticsearch-7.3.0。 2. 为原始es服务器数据创建快照修改elas…...

编程日记 2025/5/9 13:51:50

【Java-数据结构篇】Java 中栈和队列：构建程序逻辑的关键数据结构基石

我的个人主页我的专栏：Java-数据结构，希望能帮助到大家！！！点赞❤ 收藏❤ 一、引言 1. 栈与队列在编程中的角色定位栈和队列作为两种基本的数据结构，在众多编程场景中都有着独特的地位。它们为数据的有序…...

编程日记 2025/5/6 10:55:48

使用ensp搭建内外互通，使用路由跨不同vlan通信。

1.网络拓扑图 2.规则 （1）允许 （自己）ping通内外网，内外网随便一个pc就可以. （2） 允许（电信）ping通内外网，内外网随便一个pc就可以 （时间问题不做…...

编程日记 2025/5/5 15:47:26

URDF 发布者 #! /usr/bin/env python3 import rclpy from rclpy.node import Node import rclpy.parameter from sensor_msgs.msg import JointState from rcl_interfaces.msg import SetParametersResultimport threading import timeclass RotateWheelNode(Node):def __init…...

编程日记 2025/5/9 14:08:59