梯度提升用于高效的分类与回归
使用 决策树（Decision Tree） 实现 梯度提升（Gradient Boosting） 主要是模拟 GBDT（Gradient Boosting Decision Trees） 的原理，即：
- 第一棵树拟合原始数据
- 计算残差（负梯度方向）
- 用新的树去拟合残差
- 累加所有树的预测值
- 重复步骤 2-4，直至达到指定轮数
下面是一个 纯 Python + PyTorch 实现 GBDT（梯度提升决策树） 的代码示例。
1. 纯 Python 实现梯度提升决策树
import numpy as np
from sklearn.tree import DecisionTreeRegressor
from sklearn.metrics import mean_squared_error
from sklearn.datasets import make_regression
from sklearn.model_selection import train_test_split# 生成数据
X, y = make_regression(n_samples=1000, n_features=5, noise=0.1, random_state=42)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)# 参数
n_trees = 50 # 多少棵树
learning_rate = 0.1 # 学习率# 初始化预测值（全部为 0）
y_pred_train = np.zeros_like(y_train)
y_pred_test = np.zeros_like(y_test)# 训练梯度提升决策树
trees = []
for i in range(n_trees):residuals = y_train - y_pred_train # 计算残差（负梯度方向）tree = DecisionTreeRegressor(max_depth=3) # 这里使用较浅的树tree.fit(X_train, residuals) # 让树学习残差trees.append(tree)# 更新预测值（累加弱学习器的结果）y_pred_train += learning_rate * tree.predict(X_train)y_pred_test += learning_rate * tree.predict(X_test)# 计算损失mse = mean_squared_error(y_train, y_pred_train)print(f"Iteration {i+1}: MSE = {mse:.4f}")# 计算最终测试集误差
final_mse = mean_squared_error(y_test, y_pred_test)
print(f"\nFinal Test MSE: {final_mse:.4f}")
代码解析
- 第一步：构建一个基础决策树
DecisionTreeRegressor(max_depth=3)。 - 第二步：每棵树学习前面所有树的残差（负梯度方向）。
- 第三步：训练
n_trees棵树，每棵树的预测结果乘以learning_rate累加到最终预测值。 - 第四步：每次迭代后更新预测值，减少误差。
2. 用 PyTorch 实现 GBDT
虽然 GBDT 主要基于决策树，但如果你希望用 PyTorch 计算梯度并模拟 GBDT，可以如下操作：
- 用 PyTorch 计算 损失函数的梯度
- 用
sklearn.tree.DecisionTreeRegressor拟合梯度 - 用 PyTorch 计算最终误差
import torch
from sklearn.tree import DecisionTreeRegressor
from sklearn.metrics import mean_squared_error
from sklearn.datasets import make_regression
from sklearn.model_selection import train_test_split# 生成数据
X, y = make_regression(n_samples=1000, n_features=5, noise=0.1, random_state=42)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)# 参数
n_trees = 50 # 多少棵树
learning_rate = 0.1 # 学习率# 转换数据为 PyTorch 张量
X_train_torch = torch.tensor(X_train, dtype=torch.float32)
y_train_torch = torch.tensor(y_train, dtype=torch.float32)# 初始化预测值
y_pred_train = torch.zeros_like(y_train_torch)# 训练 GBDT
trees = []
for i in range(n_trees):# 计算梯度（残差）residuals = y_train_torch - y_pred_train# 用决策树拟合梯度tree = DecisionTreeRegressor(max_depth=3)tree.fit(X_train, residuals.numpy())trees.append(tree)# 更新预测值y_pred_train += learning_rate * torch.tensor(tree.predict(X_train), dtype=torch.float32)# 计算损失mse = mean_squared_error(y_train, y_pred_train.numpy())print(f"Iteration {i+1}: MSE = {mse:.4f}")
PyTorch 实现的关键点
y_train_torch - y_pred_train计算 损失的梯度DecisionTreeRegressor作为弱学习器，拟合梯度- 预测值
+= learning_rate * tree.predict(X_train)
3. 结合 PyTorch 和 XGBoost
如果你要 结合 PyTorch 和 GBDT，可以先用 XGBoost 训练 GBDT，再用 PyTorch 进行深度学习：
import xgboost as xgb
import torch.nn as nn
import torch.optim as optim
import torch
from sklearn.datasets import make_regression
from sklearn.model_selection import train_test_split# 生成数据
X, y = make_regression(n_samples=1000, n_features=5, noise=0.1, random_state=42)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)# 训练 XGBoost 作为特征提取器
xgb_model = xgb.XGBRegressor(n_estimators=50, max_depth=3, learning_rate=0.1)
xgb_model.fit(X_train, y_train)# 提取 XGBoost 叶子节点特征
X_train_leaves = xgb_model.apply(X_train)
X_test_leaves = xgb_model.apply(X_test)# 定义 PyTorch 神经网络
class NeuralNet(nn.Module):def __init__(self, input_size):super(NeuralNet, self).__init__()self.fc = nn.Linear(input_size, 1)def forward(self, x):return self.fc(x)# 训练 PyTorch 神经网络
model = NeuralNet(X_train_leaves.shape[1])
optimizer = optim.Adam(model.parameters(), lr=0.01)
loss_fn = nn.MSELoss()X_train_tensor = torch.tensor(X_train_leaves, dtype=torch.float32)
y_train_tensor = torch.tensor(y_train, dtype=torch.float32).view(-1, 1)for epoch in range(100):optimizer.zero_grad()output = model(X_train_tensor)loss = loss_fn(output, y_train_tensor)loss.backward()optimizer.step()print("Training complete!")
结论
| 方法 | 适用场景 | 备注 |
|---|---|---|
| 纯 Python GBDT | 适合小规模数据 | 使用 sklearn.tree.DecisionTreeRegressor |
| PyTorch 计算梯度 + GBDT | 适合梯度优化实验 | 计算梯度后用 DecisionTreeRegressor 训练 |
| XGBoost + PyTorch | 适合大规模数据 | 先用 XGBoost 提取特征，再用 PyTorch 训练 |
如果你的数据是结构化的（如 表格数据），建议 直接使用 XGBoost/LightGBM，再结合 PyTorch 进行特征工程或后处理。
相关文章：
梯度提升用于高效的分类与回归
使用 决策树（Decision Tree） 实现 梯度提升（Gradient Boosting） 主要是模拟 GBDT（Gradient Boosting Decision Trees） 的原理，即： 第一棵树拟合原始数据计算残差（负梯度…...
使用Ollama和Open WebUI快速玩转大模型：简单快捷的尝试各种llm大模型，比如DeepSeek r1
Ollama本身就是非常优秀的大模型管理和推理组件，再使用Open WebUI更加如虎添翼！ Ollama快速使用指南 安装Ollama Windows下安装 下载Windows版Ollama软件：Release v0.5.7 ollama/ollama GitHub 下载ollama-windows-amd64.zip这个文件即可…...
2025年1月个人工作生活总结
本文为 2025年1月工作生活总结。 研发编码 使用sqlite3命令行查询表数据 可以直接使用sqlite3查询数据表，不需进入命令行模式。示例如下： sqlite3 database_name.db "SELECT * FROM table_name;"linux shell使用read超时一例 先前有个编译…...
Windows环境安装nvm，并使用nvm管理nodejs版本教程
目录 1.nvm安装步骤 2.验证nvm是否安装成功 3.查看本地可以安装的所有版本 4.安装特定nodejs版本 5.配置nvm镜像 6.使用特定nodejs版本 7.给nodejs配置镜像和环境变量 8.查看本地安装的所有版本(* 表示当前版本) 9.卸载指定版本的nodejs 前端开发中，不…...
C++中常用的排序方法之——冒泡排序
成长路上不孤单😊😊😊😊😊😊 【14后😊///计算机爱好者😊///持续分享所学😊///如有需要欢迎收藏转发///😊】 今日分享关于C中常用的排序方法之——冒泡排序的…...
SQL进阶实战技巧：如何分析浏览到下单各步骤转化率及流失用户数？
目录 0 问题描述 1 数据准备 2 问题分析 3 问题拓展 3.1 跳出率计算 3.2 计算从浏览商品到支付订单的不同路径的用户数，并按照用户数降序排列。 往期精彩 0 问题描述 统计从浏览商品到最终下单的各个步骤的用户数和流失用户数,并计算转化率 用户表结构和…...
NLP模型大对比：Transformer ＞Seq2Seq ＞ LSTM ＞ RNN ＞ n-gram
结论 Transformer 大于 传统的Seq2Seq 大于 LSTM 大于 RNN 大于 传统的n-gram n-gram VS Transformer 我们可以用一个 图书馆查询 的类比来解释它们的差异： 一、核心差异对比 维度n-gram 模型Transformer工作方式固定窗口的"近视观察员"全局关联的&q…...
接口技术-第5次作业
目录 作业内容 解答 一、填空题 二、综合题 1.采用AD570通过82C55A与CPU接口，82C55A的端口地址为300H~303H,完成用查询方式采集250个数据，送到2000H开始的存储单元存储。绘制电路连接图（AD570的4种主要信号线都要标出）。 2…...
实战技巧：如何快速提高网站的收录比例？
本文转自：百万收录网 原文链接：https://www.baiwanshoulu.com/28.html 快速提高网站的收录比例是网站优化中的重要目标之一。以下是一些实战技巧，可以帮助你实现这一目标： 一、内容优化 高质量原创内容： 确保网站内…...
WEB集群6-10天
第六天 nginx编译安装 全新的进行编译安装 [rootweb-1 ~]# mkdir /nginx [rootweb-1 ~]# cd /nginx/ [rootweb-1 nginx]# ls [rootweb-1 nginx]#curl -O https://nginx.org/download/nginx-1.26.1.tar.gz解压源码包 [rootweb-1 nginx]#tar xf nginx-1.26.1.tar.gz [rootw…...
10.共享内存 信号量集 消息队列
10.共享内存 信号量集 消息队列 **1. IPC对象操作通用框架****2. 共享内存（Shared Memory）****3. 信号量集（Semaphore）****4. 消息队列（Message Queue）****5. 练习与作业****6. 总结** 1. IPC对象操作通用框…...
玩转大语言模型——使用langchain和Ollama本地部署大语言模型
系列文章目录 玩转大语言模型——使用langchain和Ollama本地部署大语言模型 玩转大语言模型——ollama导入huggingface下载的模型 玩转大语言模型——langchain调用ollama视觉多模态语言模型 玩转大语言模型——使用GraphRAGOllama构建知识图谱 玩转大语言模型——完美解决Gra…...
数据结构与算法学习笔记----容斥原理
数据结构与算法学习笔记----容斥原理 author: 明月清了个风 first publish time: 2025.1.30 ps⭐️介绍了容斥原理的相关内容以及一道对应的应用例题。 Acwing 890. 能被整除的数 [原题链接](890. 能被整除的数 - AcWing题库) 给定一个整数 n n n和 m m m个不同的质数 p 1 …...
Appium介绍
在使用不同版本的Appium包进行自动化测试时，出现警告问题可能是由于版本不兼容、配置不正确等原因导致的。下面将详细介绍解决这些问题的步骤，确保模拟器能够正常启动，并能在Appium查看器中同步显示。 1. 环境准备 首先，确保你已…...
doris：Bitmap
BITMAP 类型可以在 Duplicate 表、Unique 表、Aggregate 表中使用，只能作为 Key 类，无法作为 Value 列使用。在 Aggregate 表中使用 BITMAP 类型，其建表时必须使用聚合类型 BITMAP_UNION。用户不需要指定长度和默认值。长度根据数据的聚合程度…...
gitee——报错修改本地密码
有时候当我们向远端push本地的仓库时会有一些报错的行为。 如下： 这是因为我们在gitee修改了密码时，本地还没有更新提交，总是报错 解决修改密码报错 如下： 1.在本地点击搜索栏找到控制面板 步骤如下...
Leetcode 45. 跳跃游戏 II
这题是一个动态规划问题，首先我先说一下自己的动态规划解题步骤： 1，首先需要明确动态规划数组的含义：这个是根据题目来定的，这一个题目的数组含义：dp【i】指的是从0跳到i所需要的最小的步骤。 2ÿ…...
ROS2---基础操作
工作空间(workspace) workspace是一个存放项目开发相关文件的文件夹。例如我们要开发一个机器人，我们可以创建一个工作空间，然后存放这个机器人不同功能的包（感知（雷达，相机等），运动࿰…...
【Leetcode 每日一题】350. 两个数组的交集 II
问题背景 给你两个整数数组 n u m s 1 nums_1 nums1 和 n u m s 2 nums_2 nums2，请你以数组形式返回两数组的交集。返回结果中每个元素出现的次数，应与元素在两个数组中都出现的次数一致（如果出现次数不一致，则考虑取较小值…...
第13章 深入volatile关键字（Java高并发编程详解：多线程与系统设计）
1.并发编程的三个重要特性 并发编程有三个至关重要的特性，分别是原子性、有序性和可见性 1.1 原子性 所谓原子性是指在一次的操作或者多次操作中，要么所有的操作全部都得到了执行并 且不会受到任何因素的干扰而中断，要么所有的操作都不执行…...
STM32 PWMI模式测频率占空比
接线图： PWMI基本结构 代码配置： 与上一章输入捕获代码一样，根据结构体，需要在输入捕获单元再配置一个通道。我们调用一个函数 这个函数可以给结构体赋值，当我们定义了一遍结构体参数，再调用这个函数&…...
无心剑七绝《恭贺新春》
七绝恭贺新春 软件通灵万象真 生机繁茂绘星辰 智联世界情不尽 系统更新又一春 2025年1月29日 平水韵十一真平韵 无心剑七绝《恭贺新春》以“软件生态”为题旨，巧妙融入新春喜庆氛围，展现出科技与自然和谐共生的意境。首句“软件通灵万象真”，…...
低代码产品表单渲染架构
在React和Vue没有流行起来的时候，低代码产品的表单渲染设计通常会使用操作Dom的方式实现。 下面是一个表单的例子： 产品层 用户通过打开表单，使用不同业务场景业务下的表单页面，中间的Render层就是技术实现。 每一个不同业务的表单…...
allegro修改封闭图形线宽
说在前面 我们先把最优解说在前面，然后后面再说如果当时不熟悉软件的时候为了挖孔是用了shapes该怎么修改回来。 挖空最方便的方式是在cutout层画一个圆弧，下面开始图解，先add一个圆弧 z 最好是在画的时候就选择好层，如果忘记了后续再换回去也行，但好像软件有bug，此处并…...
C++实现2025刘谦魔术（勺子 筷子 杯子）
目录 1、魔术步骤 2、C代码 2.1、定义物品 2.2、枚举初始顺序 2.3、进行step2筷子交换 2.4、进行step3杯子交换 2.5、进行step4勺子交换 3、运行结果 4、全部源码 又是一年春晚啦，今年比较期待的是刘谦的魔术表演，现在用C实现刘谦的第一个魔术&…...
Leetcode：219
1，题目 2，思路 第一种就是简单的暴力比对当时过年没细想 第二种： 用Map的特性key唯一，把数组的值作为Map的key值我们每加载一个元素都会去判断这个元素在Map里面存在与否如果存在进行第二个判断条件abs(i-j)<k,条件 符合直接…...
SpringBoot+Vue的理解（含axios/ajax）-前后端交互前端篇
文章目录 引言SpringBootThymeleafVueSpringBootSpringBootVue（前端）axios/ajaxVue作用响应式动态绑定单页面应用SPA前端路由 前端路由URL和后端API URL的区别前端路由的数据从哪里来的 Vue和只用三件套axios区别 关于地址栏url和axios请求不一致VueJSPS…...
小米CR6606,CR6608,CR6609 启用SSH和刷入OpenWRT 23.05.5
闲鱼上收了一台CR6606和一台CR6609, 一直没时间研究, 趁春节假期把这两个都刷成 OpenWRT 配置说明 CPU: MT7621AT，双核880MHz内存: NT5CC128M16JR-EKI 或 M15T2G16128A, 256MB闪存: F59L1G81MB, 128MB无线基带芯片(BB): T7905DAN无线射频芯片(RF): MT7975DN无外置F…...
我的求职面经：（2）C++中空指针请使用nullptr不要使用NULL
1. C中NULL定义就是整数字面量0 2. 对于C函数，由于存在重载，使用NULL而不是nullptr可能导致函数走错重载。 3. C中定义NULL为（void* ）0，确实是代表空指针。使用时隐式转换成对应的需要类型的空指针。 4. C中void指针…...
Java8_StreamAPI
Stream 1.创建流 1.1 集合创建流 List<String> list List.of("a", "b", "c"); Stream<String> stream list.stream(); stream.forEach(System.out::println);1.2 数组创建流 String[] array {"a","b",&qu…...
[STM32 - 野火] - - - 固件库学习笔记 - - -十二.基本定时器
一、定时器简介 STM32 中的定时器（TIM，Timer）是其最重要的外设之一，广泛用于时间管理、事件计数和控制等应用。 1.1 基本功能 定时功能：TIM定时器可以对输入的时钟进行计数，并在计数值达到设定值时触发中…...
信息学奥赛一本通 1606：【 例 1】任务安排 1 | 洛谷 P2365 任务安排
【题目链接】 ybt 1606：【 例 1】任务安排 1 洛谷 P2365 任务安排 【题目考点】 1. 动态规划：线性动规 【解题思路】 可以先了解法1，虽然不是正解，但该解法只使用了动规的基本思路，易于理解，有助于理解…...
【解决方案】MuMu模拟器移植系统进度条卡住98%无法打开
之前在Vmware虚拟机里配置了mumu模拟器，现在想要移植到宿主机中 1、虚拟机中的MuMu模拟器12-1是目标系统，对应的目录如下 C:\Program Files\Netease\MuMu Player 12\vms\MuMuPlayer-12.0-1 2、Vmware-虚拟机-设置-选项，启用共享文件夹 3、复…...
【C语言】预处理详解
他们想要逃避工作的压迫，却又被功绩社会深植的价值观绑架。 前言 这是我自己学习C语言的第九篇博客总结。后期我会继续把C语言学习笔记开源至博客上。 上一期笔记是关于C语言的编译链接，没看的同学可以过去看看： 【C语言】编译链接_c 读取一行…...
设计模式Python版 适配器模式
文章目录 前言一、适配器模式二、适配器模式实现三、适配器模式在Django中的应用 前言 GOF设计模式分三大类： 创建型模式：关注对象的创建过程，包括单例模式、简单工厂模式、工厂方法模式、抽象工厂模式、原型模式和建造者模式。结构型模式&…...
系统思考—蝴蝶效应
“个体行为的微小差异，可能在系统中引发巨大且不可预测的结果。” — 诺贝尔经济学得主托马斯谢林 我们常说，小变动带来大影响，这种现象，在复杂系统理论中被称为“蝴蝶效应”：即使极小的变化，也能在动态系…...
使用Edu邮箱申请一年免费的.me域名
所需材料：公立Edu教育邮箱一枚（P.S：该服务不支持所有的Edu教育邮箱，仅支持比较知名的院校） 说到域名，.me这个后缀可谓是个性十足，适合个人网站、博客等。.me是黑山的国家顶级域名（c…...
【开源免费】基于SpringBoot+Vue.JS体育馆管理系统（JAVA毕业设计）
本文项目编号 T 165 ，文末自助获取源码 \color{red}{T165，文末自助获取源码} T165，文末自助获取源码 目录 一、系统介绍二、数据库设计三、配套教程3.1 启动教程3.2 讲解视频3.3 二次开发教程 四、功能截图五、文案资料5.1 选题背景5.2 国内…...
C++ ——— 仿函数
目录 何为仿函数 仿函数和模板的配合使用 何为仿函数 代码演示： class Add { public:int operator()(int x, int y){return x y;} }; 这是一个 Add 类，类里面有一个公有成员函数重载，重载的是括号 那么调用的时候： Add ad…...
基于FPGA的BT656解码
概述 BT656全称为“ITU-R BT.656-4”或简称“BT656”，是一种用于数字视频传输的接口标准。它规定了数字视频信号的编码方式、传输格式以及接口电气特性。在物理层面上，BT656接口通常包含10根线（在某些应用中可能略有不同，但标准配置为10根）。这些线分别用于传输视频数据、…...
【Proteus仿真】【51单片机】简易计算器系统设计
目录 一、主要功能 二、使用步骤 三、硬件资源 四、软件设计 五、实验现象 联系作者 一、主要功能 1、LCD1602液晶显示 2、矩阵按键 3、可以进行简单的加减乘除运算 4、最大 9999*9999 二、使用步骤 系统运行后，LCD1602显示数据，通过矩阵按键…...
【16届蓝桥杯寒假刷题营】第1期DAY2
1.能选取元素的最多个数 - 蓝桥云课 问题描述 给定一个长度为 n 的数组 a，小蓝希望从数组中选择若干个元素（可以不连续），并将它们重新排列，使得这些元素 能够形成一个先严格递增然后严格递减的子序列（可以…...
饭堂广播【Android移动开发基础案例教程（第2版）黑马程序员】)
安卓(android)饭堂广播【Android移动开发基础案例教程（第2版）黑马程序员】
一、实验目的（如果代码有错漏，可查看源码） 1.熟悉广播机制的实现流程。 2.掌握广播接收者的创建方式。 3.掌握广播的类型以及自定义官博的创建。 二、实验条件 熟悉广播机制、广播接收者的概念、广播接收者的创建方式、自定广播实现方式以及有…...
linux的/proc 和 /sys目录差异
/proc 和 /sys 都是Linux系统中用于提供系统信息和进行系统配置的虚拟文件系统，但它们的原理并不完全一样，以下是具体分析： 目的与功能 /proc ：主要用于提供系统进程相关信息以及内核运行时的一些参数等，可让用户和程…...
使用Navicat Premium管理数据库时，如何关闭事务默认自动提交功能？
使用Navicat Premium管理数据库时，最糟心的事情莫过于事务默认自动提交，也就是你写完语句运行时，它自动执行commit提交至数据库，此时你就无法进行回滚操作。 建议您尝试取消勾选“选项”中的“自动开始事务”，点击“工…...
HTB：Active[RE-WriteUP]
目录 连接至HTB服务器并启动靶机 信息收集 使用rustscan对靶机TCP端口进行开放扫描 将靶机TCP开放端口号提取并保存 使用nmap对靶机TCP开放端口进行脚本、服务扫描 使用nmap对靶机TCP开放端口进行漏洞、系统扫描 使用nmap对靶机常用UDP端口进行开放扫描 使用nmap对靶机…...
新春登蛇山：告别岁月，启航未来
大年初一，晨曦透过薄雾，温柔地洒在武汉的大街小巷。2025 年的蛇年春节，带着新春的喜气与希望悄然而至。我站在蛇山脚下，心中涌动着复杂的情感，因为今天，我不仅将与家人一起登山揽胜，更将在这一天…...
如何获取小程序的code在uniapp开发中
如何获取小程序的code在uniapp开发中，也就是本地环境，微信开发者工具中获取code，这里的操作是页面一进入就获取code登录，没有登录页面的交互，所以写在了APP.vue中，也就是小程序一打开就获取用户的code APP.…...
LLM评估与优化技术解析
标题：LLM评估与优化技术解析 文章信息摘要： LLM的评估方法主要包括自动化基准测试、人工评估和基于模型的评估，每种方法各有优缺点。自动化测试快速但难以捕捉细微差别，人工评估细致但成本高，基于模型的评估结合了两者…...
SpringBoot 原理分析
SpringBoot 原理分析 依赖管理相关 启动器 starter Spring Boot 的 Starter 是预定义依赖项集合，可简化 Spring 应用配置与构建，启动时自动引入所需库、配置和功能。 Spring Boot 有很多预定义 Starter，如 spring - boot - starter - web 用…...