当前位置：首页 > news >正文

机器学习_19 集成学习知识点总结

news 来源：原创 2025/9/21 18:40:46

集成学习（Ensemble Learning）是一种强大的机器学习范式，通过组合多个模型的预测结果来提高整体性能和泛化能力。它在分类、回归和特征选择等任务中表现出色，广泛应用于各种实际问题。今天，我们就来深入探讨集成学习的原理、实现和应用。

一、集成学习的基本概念

1.1 集成学习的定义

集成学习通过组合多个学习器（通常称为“弱学习器”）的预测结果，构建一个更强的模型（“强学习器”）。其核心思想是利用多个模型的多样性，减少单一模型的偏差和方差，从而提高整体性能。

1.2 集成学习的优势

提高模型性能：通过组合多个模型，集成学习可以显著提高预测的准确性和稳定性。
减少过拟合风险：多样化的模型组合有助于降低过拟合的可能性，提高模型的泛化能力。
增强模型鲁棒性：即使部分弱学习器表现不佳，整体模型仍然可以保持较好的性能。

1.3 集成学习的主要方法

集成学习主要分为两大类：

Bagging（自助聚合）：通过自助采样生成多个数据子集，训练多个模型，并通过投票或平均的方式组合预测结果。随机森林是Bagging的典型应用。
Boosting（提升）：通过迭代训练多个模型，每个模型试图修正前一个模型的错误。AdaBoost和Gradient Boosting是Boosting的典型应用。

二、Bagging与Boosting

2.1 Bagging（Bootstrap Aggregating）

工作原理：从训练数据中随机有放回地抽取多个子样本，每个子样本训练一个模型，最终通过投票或平均的方式组合预测结果。
优点：
- 减少方差：通过随机抽样增加模型的多样性，降低过拟合风险。
- 并行化处理：多个模型可以并行训练，提高计算效率。
缺点：
- 对弱学习器的依赖：如果弱学习器本身性能较差，整体性能也会受限。
- 计算成本高：需要训练多个模型，内存和计算资源消耗较大。

2.2 Boosting

工作原理：通过迭代训练多个模型，每个模型试图修正前一个模型的错误。通过加权平均的方式组合预测结果。
优点：
- 减少偏差：通过逐步修正错误，提高模型的准确性。
- 自适应性：能够自动调整模型的权重，重点关注难以分类的样本。
缺点：
- 容易过拟合：如果迭代次数过多，可能导致模型过拟合。
- 训练时间长：模型需要依次训练，难以并行化处理。

三、常见的集成学习算法

3.1 随机森林（Random Forest）

工作原理：基于Bagging，通过随机选择特征子集和样本子集，训练多棵决策树，并通过投票或平均的方式组合预测结果。
优点：
- 抗过拟合能力强：通过随机抽样和特征选择，显著降低过拟合风险。
- 特征重要性评估：可以评估每个特征对模型的重要性，帮助理解数据。
缺点：
- 模型复杂度高：由多棵决策树组成，模型复杂度较高，解释性较差。
- 计算和存储成本高：需要训练多棵决策树，计算和存储资源消耗较大。

3.2 AdaBoost（Adaptive Boosting）

工作原理：通过迭代训练多个弱学习器（如决策树桩），每个学习器试图修正前一个学习器的错误。通过加权平均的方式组合预测结果。
优点：
- 自适应性：能够自动调整模型的权重，重点关注难以分类的样本。
- 简单高效：弱学习器通常简单，训练速度快。
缺点：
- 对噪声敏感：对数据中的噪声和异常值较为敏感。
- 容易过拟合：如果迭代次数过多，可能导致模型过拟合。

3.3 Gradient Boosting

工作原理：通过梯度下降的方式迭代训练多个模型，每个模型试图拟合前一个模型的残差。通过加权平均的方式组合预测结果。
优点：
- 高准确性：通过逐步拟合残差，显著提高模型的准确性。
- 灵活性：可以处理各种类型的数据，适用于分类和回归任务。
缺点：
- 训练时间长：模型需要依次训练，难以并行化处理。
- 参数调优复杂：需要调整多个超参数，如学习率、树的数量等。

四、集成学习的实现与案例

4.1 Python实现

以下是使用Python和Scikit-Learn库实现随机森林分类的代码示例：

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import load_iris
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score# 加载鸢尾花数据集
iris = load_iris()
X = iris.data
y = iris.target# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)# 创建随机森林分类器
rf_classifier = RandomForestClassifier(n_estimators=100, random_state=42)# 训练模型
rf_classifier.fit(X_train, y_train)# 预测测试集
y_pred = rf_classifier.predict(X_test)# 评估模型性能
accuracy = accuracy_score(y_test, y_pred)
print("准确率:", accuracy)# 可视化特征重要性
importances = rf_classifier.feature_importances_
indices = np.argsort(importances)[::-1]
feature_names = iris.feature_namesplt.figure(figsize=(10, 6))
plt.title("特征重要性")
plt.bar(range(X_train.shape[1]), importances[indices], align="center", color='teal')
plt.xticks(range(X_train.shape[1]), [feature_names[i] for i in indices], rotation=45)
plt.xlim([-1, X_train.shape[1]])
plt.show()

4.2 案例分析

假设我们有一组数据，记录了用户的年龄、性别、收入和是否购买某产品的标签。我们希望通过集成学习方法预测用户是否会购买产品。

数据准备：收集用户的年龄、性别、收入等特征，以及是否购买产品的标签。
模型训练：使用随机森林分类器拟合数据，选择合适的超参数（如树的数量、最大深度等）。
模型评估：通过准确率、召回率等指标评估模型性能。
特征重要性分析：通过特征重要性评估，了解哪些特征对预测结果影响最大。
预测应用：根据模型预测新用户的购买行为，为企业营销决策提供参考。

五、集成学习的优化与超参数选择

5.1 超参数选择

集成学习的性能受到多个超参数的影响，常见的超参数包括：

弱学习器的数量：如随机森林中的树的数量、AdaBoost中的迭代次数。
弱学习器的深度：如决策树的最大深度。
学习率：在Boosting方法中，控制每一步的权重更新速度。
特征选择比例：在随机森林中，每次分裂节点时随机选择的特征数量。

5.2 优化方法

网格搜索（Grid Search）：通过遍历超参数的组合，找到最优的超参数配置。
随机搜索（Random Search）：在超参数空间中随机选择组合，找到较好的超参数配置。
交叉验证（Cross-Validation）：通过交叉验证评估模型的泛化能力，避免过拟合。

六、集成学习的应用场景

6.1 分类任务

集成学习广泛应用于二分类和多分类问题，例如：

医学诊断：预测患者是否患有某种疾病。
信用风险评估：预测客户是否违约。
图像分类：识别图像中的物体类别。

6.2 回归任务

集成学习同样适用于回归问题，例如：

房价预测：根据房屋特征预测房价。
股票价格预测：预测股票的未来价格。

6.3 特征选择

集成学习可以评估特征的重要性，帮助选择对模型预测最有影响的特征，从而简化模型并提高性能。

👏觉得文章对自己有用的宝子可以收藏文章并给小编点个赞！

👏想了解更多统计学、数据分析、数据开发、数据治理、机器学习算法、深度学习等有关知识的宝子们，可以关注小编，希望以后我们一起成长！

机器学习_19 集成学习知识点总结

集成学习（Ensemble Learning）是一种强大的机器学习范式，通过组合多个模型的预测结果来提高整体性能和泛化能力。它在分类、回归和特征选择等任务中表现出色，广泛应用于各种实际问题。今天，我们就来深入探讨集成学习的原…...

编程日记 2025/9/21 18:40:46

自动驾驶---基于深度学习模型的轨迹预测

1 背景自动驾驶任务中，轨迹预测一直以来是一个难题。在复杂交通场景中，即使驾驶员最终意图确定，但决策过程中其他车辆的动态行驶路径的即时变化会导致自车路径呈现多模态属性，即车辆的未来轨迹有多种可能性。对车辆的多模态轨迹…...

编程日记 2025/9/21 17:59:58

线性模型 - 二分类问题的损失函数

在二分类问题中，损失函数用于量化模型预测与真实标签之间的差异，以指导模型参数的调整。本文，我们来一起学习一下常见的损失函数及其直观解释。一、核心二分类损失函数及通俗理解 1. 0-1损失（Zero-One Loss） 公式&…...

编程日记 2025/9/19 16:17:45

string类详解（上）

文章目录目录1. STL简介1.1 什么是STL1.2 STL的版本1.3 STL的六大组件 2. 为什么学习string类3. 标准库中的string类3.1 string类3.2 string类的常用接口说明目录 STL简介为什么学习string类标准库中的string类string类的模拟实现现代版写法的String类写时拷贝 1. STL简介 …...

编程日记 2025/9/21 18:39:29

c# —— StringBuilder 类

StringBuilder 类是 C# 和其他一些基于 .NET Framework 的编程语言中的一个类，它位于 System.Text 命名空间下。StringBuilder 类表示一个可变的字符序列，它是为了提供一种比直接使用字符串连接操作更加高效的方式来构建或修改字符串。与 C# 中的 stri…...

编程日记 2025/9/18 1:09:53

今日行情明日机会——20250217

2025年02月17日行情后续投资机会分析根据最新盘面信息，以下板块和个股具备潜在投资机会，需结合市场动态和基本面进一步验证： 1. 腾讯系AI（18家涨停） 核心逻辑：涨停家数最多（18家&#xff0…...

编程日记 2025/9/19 13:31:03

本案例以版本2.3.0为例 1. 源码编译成jar包 source code: https://github.com/xuxueli/xxl-job/blob/2.3.0/ 这里我们会得到两个jar包：xxl-job-admin-2.3.0.jar和xxl-job-executor-sample-springboot-2.3.0.jar 2. 初始化mysql数据库 sql code: https://github.…...

编程日记 2025/9/17 23:32:58

vite+vue3开发uni-app时低版本浏览器不支持es6语法的问题排坑笔记

重要提示：请首先完整阅读完文章内容后再操作，以免不必要的时间浪费！切记！！！在使用vitevue3开发uni-app项目时，存在低版本浏览器不兼容es6语法的问题，如“?.” “??” 等。为了方便…...

编程日记 2025/9/21 18:39:27

使用 Apache PDFBox 提取 PDF 中的文本和图像

在许多应用中，我们需要从 PDF 文件中提取文本内容和嵌入的图像。为了实现这一目标，Apache PDFBox 是一个非常实用的开源工具库。它提供了丰富的 API，可以帮助我们轻松地读取 PDF 文件、提取其中的文本、图像以及其他资源。本文将介绍如何使…...

编程日记 2025/9/21 18:39:17

centos7arm架构安装mysql服务

1.安装新版mysql前，需将系统自带的mariadb卸载 rpm -qa|grep mariadb //查找mariadb的rpm包 rpm -e mariadb-libs-5.5.56-2.el7.x86_64 //卸载mariadb包 2.去官网下载对应mysq包https://downloads.mysql.com/archives/community/ 3.解压下载包&…...

编程日记 2025/9/18 12:19:15

【个人开发】deepspeed+Llama-factory 本地数据多卡Lora微调

文章目录 1.背景2.微调方式2.1 关键环境版本信息2.2 步骤2.2.1 下载llama-factory2.2.2 准备数据集2.2.3 微调模式2.2.3.1 zero-3微调2.2.3.2 zero-2微调2.2.3.3 单卡Lora微调 2.3 踩坑经验2.3.1 问题一：ValueError: Undefined dataset xxxx in dataset_info.json.2…...

编程日记 2025/9/13 9:02:39

后端生成二维码，前端请求接口生成二维码并展示，且多个参数后边的参数没有正常传输问题处理

一、后端代码 1、controller GetMapping("/generateQRCode/{url}")ApiOperation(value "生成url链接二维码",notes "生成url链接二维码")public JsonResult<NewsQRCodeVo> generateQRCode(PathVariable String url,HttpServletRespons…...

编程日记 2025/9/13 9:02:36

NBT群落物种级丰度鉴定新方法sylph

文章目录简介为什么选择Sylph？Sylph的工作原理 Install使用解析成gtdb格式sylph 能做什么？sylph 不能做什么？ANI定义如何使用 sylph-utils 生成包含分类信息的配置文件耗时：66个样本耗时1h 转成easymicroplot可用数据简介 Sylp…...

编程日记 2025/9/21 18:39:19

长视频生成、尝试性检索、任务推理 | Big Model Weekly 第56期

点击蓝字关注我们 AI TIME欢迎每一位AI爱好者的加入！ 01 COMAL:AConvergent Meta-Algorithm for Aligning LLMs with General Preferences 许多对齐方法，包括基于人类反馈的强化学习（RLHF），依赖于布拉德利-特里&#…...

编程日记 2025/9/20 22:53:02

使用右侧值现象来处理一个word导入登记表的需求

需求也简单，导word文件用户登记表，有各部门的十几个版本（为什么这么多？不知道）。这里说下谈下我的一些代码做法： 需求分析： 如果能解决java字段和各项填的值怎么配对的问题，那么就…...

编程日记 2025/9/21 16:07:35

FRRouting配置与OSPF介绍，配置，命令，bfd算法：

文章目录 1、frrouting的配置：2、ospf2.1、检测和维护邻居关系2.2、ospfDR和BDR2.3、odpf邻居表2.4、ospf常用命令2.5、bfd配置 1、frrouting的配置： sudo service zebra start sudo service ospfd start telnet localhost 2604 en configure termina…...

编程日记 2025/9/21 18:39:27

基于ThinkPHP 5~8兼容的推荐算法类实现，

在现代推荐系统中，随着用户量和物品量的增长，传统的推荐算法可能会面临性能瓶颈。本文将介绍如何基于 ThinkPHP 实现一个高性能的推荐系统，结合显性反馈（如兴趣选择）、隐性反馈（如观看时长、评论、点赞、搜…...

编程日记 2025/9/15 10:54:43

使用Python爬虫实时监控行业新闻案例

目录背景环境准备请求网页数据解析网页数据定时任务综合代码使用代理IP提升稳定性运行截图与完整代码总结在互联网时代，新闻的实时性和时效性变得尤为重要。很多行业、技术、商业等领域的新闻都可以为公司或者个人发展提供有价值的信息。如果你有一项需求是要实时…...

编程日记 2025/9/21 18:39:18

kong身份认证插件详解之Basic Auth插件

1.3、Basic Authentication 支持基于用户名和密码的基本认证，通常用于简单的身份验证场景。 1.3.1、环境准备 1.3.1.1、创建一个服务，basic-auth-service curl -i -s -X POST http://localhost:8001/services \--data namebasic-auth-service \--dat…...

编程日记 2025/9/11 19:04:20

Copilot基于企业PPT模板生成演示文稿

关于copilot创建PPT，咱们写过较多文章了： Copilot for PowerPoint通过文件创建PPT Copilot如何将word文稿一键转为PPT Copilot一键将PDF转为PPT，治好了我的精神内耗测评Copilot和ChatGPT-4o从PDF创建PPT功能 Copilot for PPT全新功能&a…...

编程日记 2025/9/21 1:28:05

用React实现一个登录界面

使用React来创建一个简单的登录表单。以下是一个基本的React登录界面示例： 1. 设置React项目如果你还没有一个React项目，你可以使用Create React App来创建一个。按照之前的步骤安装Create React App，然后创建一个新项目。 2. 创建登录组…...

编程日记 2025/9/13 11:47:16

前端布局的方式有哪些

前端布局的方式有哪些在前端开发里，布局就像是装修房子，把不同的东西合理地摆放在合适的位置，让整个空间既美观又实用。下面给你介绍几种常见的前端布局方式： 1. 普通流布局（标准文档流布局） 这就像是按…...

编程日记 2025/9/21 18:39:15

seata集成nacos

#nacos集成nacos并配置mysql数据源 1. 所需依赖 <dependency><groupId>com.alibaba.cloud</groupId><artifactId>spring-cloud-starter-alibaba-seata</artifactId></dependency> 2. 打开seata目录&#xff…...

编程日记 2025/9/20 11:18:32

第29篇基于ARM A9处理器用C语言实现中断＜五＞

Q：怎样设计基于ARM A9处理器的C语言程序使用定时器中断实现实时时钟？ A：在上一期的程序中添加A9 Private Timer作为第三个中断源，配置该定时器使其每隔0.01秒产生一次中断。使用该定时器使全局变量time的值递增，并将…...

编程日记 2025/9/18 15:21:29

deepseek多列数据对比，联想到excel的高级筛选功能

目录 1 业务背景 2 deepseek提示词输入 3 联想分析 4 EXCEL高级搜索 1 业务背景系统上线的时候经常会遇到一个问题，系统导入的数据和线下的EXCEL数据是否一致，如果不一致，如何快速找到差异值，原来脑海第一反应就是使用公…...

编程日记 2025/9/13 9:01:35

C 程序多线程拆分文件

C 程序多线程拆分文件在C语言中，实现多线程来拆分文件通常需要借助多线程库，比如 POSIX 线程库（pthread）或者 Windows 的线程库（CreateThread 或类似的函数）。下面我将分别展示在 Linux 和 Windows 环境下…...

编程日记 2025/9/13 9:01:33

mysql 使用 CONCAT、GROUP_CONCAT 嵌套查询出 json 格式数据

tb_factory表由 factory_code 和 factory_name 字段，查询出如下所示效果： {"factory_0001": "工厂1","factory_0002": "工厂2",... } select sql： SELECT CONCAT( "{",GROUP_CONCAT( C…...

编程日记 2025/9/13 9:01:31

Leetcode 2466. Count Ways To Build Good Strings

Problem Given the integers zero, one, low, and high, we can construct a string by starting with an empty string, and then at each step perform either of the following: Append the character ‘0’ zero times.Append the character ‘1’ one times. This can …...

编程日记 2025/9/21 1:10:24