当前位置：首页 > news >正文

机器学习实战：归一化与标准化的选择指南

news 来源：原创 2025/7/17 15:12:53

在机器学习实战中——是否需要归一化（Normalization）或标准化（Standardization），取决于所使用的模型类型。

✅ LightGBM / XGBoost 是否需要归一化或标准化？

不需要。

🔧 原因：

LightGBM 和 XGBoost 都是 基于决策树的模型，它们对特征的数值分布不敏感：

决策树只关心特征的相对大小和分裂点，而不是绝对数值或分布形态。
不存在权重乘以特征的问题，所以不需要归一化或标准化。

❓归一化和标准化是什么，有什么区别？

方法	名称	作用	公式	使用场景
✅ 归一化	Min-Max Normalization	把数据压缩到 [0,1] 范围	`x' = (x - min) / (max - min)`	深度学习（如Keras）或欧几里得距离计算
✅ 标准化	Z-score Standardization	转换为均值为0、方差为1的数据	`x' = (x - mean) / std`	线性回归、SVM、KNN、神经网络

🔍 举个例子：

假设温度范围是 [60°C, 120°C]，振动范围是 [0.1, 10.0] mm/s
如果你用神经网络，振动的数值对损失函数的影响将远大于温度 —— 所以需要归一化/标准化。

而 LightGBM/XGBoost 会自动找到“哪个值做分裂点最好”，不会因为振动数值更大就更“重视”它。

在这里插入图片描述

✅ 总结

问题	回答
是否需要对 LightGBM / XGBoost 做归一化或标准化？	❌ 不需要
是否建议你预处理？	✅ 建议做缺失值处理，但不需要缩放
哪些模型必须做归一化或标准化？	神经网络、KNN、SVM、线性模型等

如果未来使用类似于Keras 的神经网络模型（比如你前面提到的 CNN、LSTM），那就必须做归一化或标准化。

在实际应用中，归一化（Normalization）和标准化（Standardization）通常只选一个，其实我们不需要两个都做，选择哪一个取决于所用模型和数据分布。

✅ 选择哪一个的判断依据：

场景	推荐操作	原因
神经网络（Keras, TensorFlow, PyTorch）	🔹归一化或 🔹标准化都可，但选其一即可	网络更稳定、收敛更快
数据近似服从正态分布	✅ 标准化	把数据压成均值为0、标准差为1
数据在固定范围内分布（如0-255图像）	✅ 归一化	保持原分布特性，缩放到[0,1]或[-1,1]
KNN、SVM、线性模型	✅ 标准化更常见	对欧几里得距离和梯度敏感
决策树类模型（XGBoost、LightGBM）	❌ 都不需要	树模型对数据缩放不敏感

🔍 区别总结

操作	名称	结果	应用常见于
`x' = (x - min) / (max - min)`	归一化	数据压缩到 [0, 1]	图像像素、深度学习输入
`x' = (x - μ) / σ`	标准化	数据均值为0，标准差为1	KNN/SVM/回归/神经网络

🧪 举例代码：

✅ 1. 标准化（Z-score）：

from sklearn.preprocessing import StandardScalerscaler = StandardScaler()
X_scaled = scaler.fit_transform(X)  # 用于训练集 & 测试集

✅ 2. 归一化（Min-Max）：

from sklearn.preprocessing import MinMaxScalerscaler = MinMaxScaler()
X_scaled = scaler.fit_transform(X)

⚠️ 注意：训练集用 fit_transform，测试集用 transform，不能重新 fit！

✅ 最终结论：

问题	回答
是否需要同时做归一化和标准化？	❌ 不需要，只选其一
选哪个？	神经网络用归一化或标准化都可以，推荐标准化更通用
树模型要不要做？	❌ 都不做，直接用原始数据即可

机器学习实战：归一化与标准化的选择指南

在机器学习实战中——是否需要归一化（Normalization）或标准化（Standardization），取决于所使用的模型类型。 ✅ LightGBM / XGBoost 是否需要归一化或标准化？ 不需要。 🔧 原因： L…...

编程日记 2025/7/17 15:12:53

【内蒙古】《内蒙古自治区本级政务信息化建设项目预算支出标准（试行）》（内财预〔2024〕1449号）-费用标准解读系列

内蒙古自治区政务服务与数据管理局在2024年11月29日发布了《内蒙古自治区本级政务信息化建设项目预算支出标准(试行)》（内财预〔2024〕1449号）。该文件适用于自治区本级各部门、单位非涉密政务信息化建设项目(以下简称建设项目)经费的预算编制、审核。下…...

编程日记 2025/6/29 4:02:20

文本数据可视化

目录【实验目的】【实验原理】【实验环境】【实验步骤】原理操作步骤图像展示【实验目的】了解什么是文本可视化掌握文本可视化的相关技术文本信息的提取和可视表达本次实验是将某一文本进行可视化生成词云图片尝试构造文本指纹【实验原理】…...

编程日记 2025/7/17 15:06:57

#ifndef CIR_H #define CIR_Hnamespace cir {double PI3.141592653;//获取圆行周长double getLenthOfCircle(double radius){return 2*PI*radius;}//获取圆形面积double getAreaOfCircle(double radius){return PI*radius*radius;}} #endif // CIR_H#include <iostream> …...

编程日记 2025/7/17 15:08:27

Android学习总结之布局篇

一、大厂面试高频布局真题解析 1. ConstraintLayout vs RelativeLayout 深度对比真题问法： "为什么说 ConstraintLayout 是 RelativeLayout 的替代方案？两者在布局原理、性能、复杂场景处理上有什么核心区别？" 核心考点解析&am…...

编程日记 2025/7/17 15:04:19

星际篮球争霸赛/MVP争夺战 - 华为OD机试真题(A卷、Java题解)

华为OD机试题库《C》限时优惠 9.9 华为OD机试题库《Python》限时优惠 9.9 华为OD机试题库《JavaScript》限时优惠 9.9 针对刷题难，效率慢，我们提供一对一算法辅导， 针对个人情况定制化的提高计划（全称1V1效率更高）。看…...

编程日记 2025/6/29 1:39:25

RNN（循环神经网络）原理与结构

1 RNN（循环神经网络）原理与结构循环神经网络（Recurrent Neural Network, RNN）是一类专门用于处理序列数据（如时间序列、文本、语音等）的深度学习模型。与传统的前馈神经网络不同，RNN在每个时间…...

编程日记 2025/7/4 15:01:03

Claude深度解析：从技术原理到实战应用的全栈指南

🔥「炎码工坊」技术弹药已装填！点击关注 → 解锁工业级干货【工具实测|项目避坑|源码燃烧指南】引言：AI编程新纪元中的Claude 在生成式AI技术爆发的2024年，Anthropic的Claude系列模型以卓越的长文本处理能力和精确的代码生成质量，正在重塑程序员的开发范式。当开发者…...

编程日记 2025/7/11 23:22:47

9.渐入佳境 -- 套接字的多种可选项

前言套接字具有多种特性，这些特性可通过可选项更改。本章将介绍更改套接字可选项的方法，并以此为基础进一步观察套接字内部。一、套接字可选项和I/O缓冲大小我们进行套接字编程时往往只关注数据通信，而忽略了套接字具有的不同特性。但是…...

编程日记 2025/6/29 4:58:16

AI日报 - 2024年05月13日

🌟 今日概览 (60秒速览) ▎🚀 技术突破 | Flow-GRPO将在线RL引入流匹配模型，提升性能并降低训练成本；「层内循环」(ILR)技术无需增加参数即可提升Transformer性能。▎💬 行业热议 | ICML强制作者参会政策引发广泛争议…...

编程日记 2025/6/29 2:21:43

开发工具分享: Web前端编码常用的在线编译器

1.OneCompiler 工具网址：https://onecompiler.com/ OneCompiler支持60多种编程语言，在全球有超过1280万用户，让开发者可以轻易实现代码的编写、运行和共享。 OneCompiler的线上调试功能完全免费，对编程语言的覆盖也很全&#x…...

编程日记 2025/6/29 3:39:44

Android学习总结之线程池篇

一、线程池参数调优实战真题真题 1：直播 APP 弹幕加载线程池设计题目描述：直播 APP 需要实时加载弹幕数据（网络请求，IO 密集型），同时渲染弹幕视图（UI 操作需切主线程）&#xff0…...

编程日记 2025/7/10 11:28:51

03.Golang 切片（slice）源码分析（二、append实现）

Golang 切片（slice）源码分析（二、append实现） 前言： Golang 切片（slice）源码分析（一、定义与基础操作实现） 在前面的文章我们介绍了，切片的结构体与创建\扩容…...

编程日记 2025/7/11 14:03:05

Python实例题：pygame开发打飞机游戏

目录 Python实例题题目 pygame-aircraft-game使用 Pygame 开发的打飞机游戏脚本代码解释初始化部分： 游戏主循环： 退出部分： 运行思路注意事项 Python实例题题目 pygame开发打飞机游戏 pygame-aircraft-game使用 Pygame 开发…...

编程日记 2025/7/16 21:54:31

MySQL创建了一个索引表,如何来验证这个索引表是否使用了呢？

MySQL创建了一个索引表,如何来验证这个索引表是否使用了呢？ 1. 使用 EXPLAIN 分析查询执行计划在 SQL 查询前添加 EXPLAIN 关键字，查看 MySQL 优化器是否选择了你的索引。示例： EXPLAIN SELECT * FROM db关键输出字段： typ…...

编程日记 2025/6/29 4:15:32

Go语言多线程爬虫与代理IP反爬

有个朋友想用Go语言编写一个多线程爬虫，并且使用代理IP来应对反爬措施。多线程在Go中通常是通过goroutine实现的，所以应该使用goroutine来并发处理多个网页的抓取。然后，代理IP的话，可能需要一个代理池，从中随机选择代…...

编程日记 2025/6/29 3:20:59

Linux文件编程：操作流程与内核机制

在 Linux 操作系统中，一切皆文件，这意味着从硬盘上的数据文件、设备驱动、到管道、套接字等都以文件的形式存在。Linux 的文件系统将这些不同类型的文件统一抽象成文件对象，允许程序通过文件描述符来访问它们。一、核心概念解析文件描述符…...

编程日记 2025/6/29 3:33:55

用短说社区搭建的沉浸式生活方式分享平台

你是否想打造一个融合小红书式种草基因与论坛深度互动的全新社区？本文依托短说社区论坛系统的社区功能规划，一起来规划，如何搭建一个集内容分享、社交互动、消费决策于一体的沉浸式生活社区。短说社区的界面样式支持普通资讯列表或瀑布流列…...

编程日记 2025/6/29 4:16:04

【ASR学习笔记】：语音识别领域基本术语

一、基础术语 ASR (Automatic Speech Recognition) 自动语音识别，把语音信号转换成文本的技术。 VAD (Voice Activity Detection) 语音活动检测，判断一段音频里哪里是说话，哪里是静音或噪音。 Acoustic Model（声学模型&#xff0…...

编程日记 2025/7/14 10:20:32

2025年best好用的3dsmax插件和脚本

copitor 可以从一个3dsmax场景里将物体直接复制到另一个场景中 Move to surface 这个插件可以将一些物体放到一个平面上 instancer 实体器，举例：场景中有若干独立的光源，不是实体对象，我们可以使用instancer将他变成实体。 paste …...

编程日记 2025/6/29 1:44:22

电厂除灰系统优化：时序数据库如何降低粉尘排放

在环保要求日益严苛的当下，电厂作为能源生产的重要主体，其除灰系统的运行效率与粉尘排放控制效果紧密相关。传统除灰系统在数据处理和排放控制方面存在一定局限性，而时序数据库凭借对时间序列数据的高效存储、处理和分析能力，为电…...

编程日记 2025/7/8 10:40:45

upload-labs通关笔记-第2关文件上传之MIME绕过

目录一、MIME字段 1. MIME 类型的作用 2. 常见的 MIME 类型二、实验准备 1.构造脚本 2.打开靶场 3.源码分析三、修改MIME字段渗透法 1.选择shell脚本 2.bp开启拦截 3.上传脚本bp拦包 4.bp改包 5.获取脚本地址 6.获取木马URL 7.hackbar渗透 8.蚁剑渗透本文通…...

编程日记 2025/7/13 9:38:11

未来技术展望：光子量子计算集成与连续变量可视化

光子量子计算作为量子计算的重要分支，凭借其独特的光子传输优势和连续变量编码方式，正在量子计算领域掀起新的技术革命。以Xanadu公司的Borealis光量子处理器为代表，连续变量量子计算的可视化技术将面临全新的挑战与机遇。以下从技术适配、可视化方法及工具开发三个维度展开…...

编程日记 2025/6/29 4:36:29

vite项目使用i18n-ally未读取到文件

前言在使用 Vue CLI 创建的Vue 3项目中，语言文件（src/lang/zh.js和en.js）正常加载。 .vscode/settings.json如下：i18n-ally.enabledParsers中增加了js {"i18n-ally.localesPaths": ["src/i18n","src/…...

编程日记 2025/6/29 1:39:17

yarn workspace使用指南

作用 Yarn workspace 是 Yarn 包管理工具中的一个功能，主要用于管理多包项目（monorepo）。它的主要作用如下： 支持多包结构：允许在一个仓库中管理多个独立的包或项目。项目间依赖管理：方便地在不同包之间添…...

编程日记 2025/7/4 22:34:13

Spring Boot 参数验证

一、依赖配置首先确保在 pom.xml 中添加了以下依赖： <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-validation</artifactId> </dependency> 这个依赖包含了 Hibernate Valida…...

编程日记 2025/7/14 22:37:09

Electron学习大纲

Electron 实际工作学习大纲路线，结合技术原理、实战开发与工程化最佳实践，分为 5 大核心阶段，每个阶段包含关键知识点和实践目标，帮助快速掌握桌面应用开发能力：阶段一：Electron 基础与环境搭建（1-2周）核心概念与架构Electron 组成：主进程（Main Process）：控制应…...

编程日记 2025/6/29 1:37:12

Linux 系统中设置开机启动脚本

Linux 系统中设置开机启动脚本有多种方法，适用于不同的场景和需求。以下是几种最常用且详细的方法：核心理念：无论哪种方法，核心都是让系统在启动过程中的某个阶段执行你的脚本。 1. 使用 systemd (推荐，现代 Linux 发行版的标准) systemd 是目前大多数主流 Linux 发行…...

编程日记 2025/6/29 1:37:14

如何解决Deepseek服务器繁忙的问题？

在现如今互联网技术飞速发展的时代，AI技术也逐渐开始兴起，Deepseek作为一款强大的AI工具，可以帮助各个行业的用户高效的处理复杂任务，但是，用户在使用这一工具的过程中，可能会遇到服务器繁忙的问题&#xf…...

编程日记 2025/6/29 1:39:11

四、STM32 HAL库API完全指南：从功能分类到实战示例

STM32 HAL库API完全指南：从功能分类到实战示例一、HAL库API的总体架构 STM32 HAL库（Hardware Abstraction Layer）作为STMicroelectronics推出的统一驱动框架，提供了覆盖所有STM32外设的标准化API。HAL库的API设计遵循严格的分层…...

编程日记 2025/6/29 3:36:31

集成学习——Bagging，Boosting

一.什么是集成学习集成学习的基本思想是通过结合多个基学习器的预测结果，来提高模型的泛化能力和稳定性。这些基学习器可以是相同类型的算法，也可以是不同类型的算法。当基学习器之间具有一定的差异性时，它们在面对不同的样本子集或特征子…...

编程日记 2025/6/29 3:46:44

如何有效追踪需求的实现情况

有效追踪需求实现情况，需要清晰的需求定义、高效的需求跟踪工具、持续的沟通反馈机制，其中高效的需求跟踪工具尤为关键。使用需求跟踪工具能确保需求实现进度可视化、提高团队协作效率，并帮助识别和管理潜在风险。例如，使用专业的…...

编程日记 2025/6/29 3:56:21

网页Web端无人机直播RTSP视频流，无需服务器转码，延迟300毫秒

随着无人机技术的飞速发展，全球无人机直播应用市场也快速扩张，从农业植保巡检到应急救援指挥，从大型活动直播到智慧城市安防，实时视频传输已成为刚需。预计到2025年，全球将有超过1000万架商用无人机搭载直播功能&#…...

编程日记 2025/7/7 6:46:41

基于SpringBoot的蜗牛兼职网设计与实现｜源码+数据库+开发说明文档

一、项目简介蜗牛兼职网是一个集职位信息发布、用户申请、企业管理、后台运维于一体的校园类兼职招聘平台，使用 SpringBoot 作为后端核心框架，搭配 Layui Bootstrap 实现前端页面开发，前后端结合，功能齐全。系统共分为三种角…...

编程日记 2025/6/29 3:45:59

kafka消费组

Kafka【二】关于消费者组（Consumer Group）、分区（partition）和副本（replica）的理解_consumergroup-CSDN博客定义： 消费者组是一组可以协同工作的消费者实例的集合。每个消费者都属于一个特定…...

编程日记 2025/7/2 0:50:21

每日一题洛谷P8662 [蓝桥杯 2018 省 AB] 全球变暖c++

P8662 [蓝桥杯 2018 省 AB] 全球变暖 - 洛谷 (luogu.com.cn) DFS #include<iostream> using namespace std; char a[1001][1001]; bool s[1001][1001]; int res 0; int n; bool flag true; int dx[4] { -1,0,1,0 }; int dy[4] { 0,-1,0,1 }; void dfs(int x, int y)…...

编程日记 2025/6/29 1:37:32

2025年Energy SCI1区TOP，改进雪消融优化算法ISAO+电池健康状态估计，深度解析+性能实测

目录 1.摘要2.雪消融优化算SAO原理3.改进策略4.结果展示5.参考文献6.代码获取7.读者交流 1.摘要锂离子电池（LIBs）的健康状态（SOH）估计对于电池健康管理系统至关重要，为了准确估计LIBs的健康状态，本文提出…...

编程日记 2025/7/11 5:56:57

docker使用过程中遇到概念问题

容器和虚拟机的区别容器共享主机内核；虚拟机占用主机内核硬件容器的启动速度是秒级别；虚拟机的启动速度是分钟级别容器资源占用低，性能接近原生；虚拟机资源占用高，性能有一定的损耗容器是进程级别的隔离；…...

编程日记 2025/6/29 1:37:48

leetcode-hot-100(双指针)

1. 移动零题目链接：移动 0 题目描述：给定一个数组 nums，编写一个函数将所有 0 移动到数组的末尾，同时保持非零元素的相对顺序。请注意 ，必须在不复制数组的情况下原地对数组进行操作。解答类似于签到题&#x…...

编程日记 2025/6/29 1:37:30

力扣HOT100之二叉树：101. 对称二叉树

这道题我本来想着挑战一下自己，尝试着用迭代的方法来做，然后就是用层序遍历，将每一层的元素收集到一个临时的一维向量中，然后再逐层判断每一层是否都是轴对称的，一旦发现某一层不是轴对称的，就直接return f…...

编程日记 2025/7/9 5:46:02

深入解读tcpdump：原理、数据结构与操作手册

一、tcpdump 核心原理 tcpdump 是基于 libpcap 库实现的网络数据包捕获与分析工具，其工作原理可分解为以下层次： 数据包捕获机制底层依赖：通过操作系统的数据链路层接口（如 Linux 的 PF_PACKET 套接字或 AF_PACKET 类型&#x…...

编程日记 2025/6/29 3:41:33

HTML5 中实现盒子水平垂直居中的方法

在 HTML5 中，有几种方法可以让一个定位的盒子在父容器中水平垂直居中。以下是几种常用的方法： 使用 Flexbox 布局 <div class"parent"><div class"child">居中内容</div> </div><style>.parent {di…...

编程日记 2025/6/29 4:41:51

个人博客系统测试报告

目录 1 项目背景 2 项目功能 3 项目测试 3.1 测试用例 3.2 登录页面测试 3.3 博客列表页面测试 3.4 博客详情页面测试 3.5 自动化测试 3.5.1 Utils类 3.5.2 登录测试页面类 3.5.3 博客列表页测试类 3.5.4 博客详情页测试类 3.5.5 博客修改页测试类 3.5.6 未登录…...

编程日记 2025/6/29 1:37:35

适配WIN7的最高版本Chrome谷歌浏览器109版本下载

本仓库提供了一个适用于Windows 操作系统的谷歌浏览器109版本的离线安装包。点击下面链接下载 WIN7的最高版本Chrome谷歌浏览器109版本下载...

编程日记 2025/6/29 1:37:45

从规划到完善，原型标注图全流程设计

一、原型标注图：设计到开发的精准翻译器 1. 设计意图的精准传递消除模糊性：将设计师的视觉、交互逻辑转化为可量化的数据（尺寸、颜色、动效参数），避免开发“凭感觉还原”。统一理解标准：通过标注建立团…...

编程日记 2025/6/29 3:45:44

极狐GitLab 通用软件包存储库功能介绍

极狐GitLab 是 GitLab 在中国的发行版，关于中文参考文档和资料有： 极狐GitLab 中文文档极狐GitLab 中文论坛极狐GitLab 官网极狐GitLab 通用软件包存储库 (BASIC ALL) 在项目的软件包库中发布通用文件，如发布二进制文件。然后，…...

编程日记 2025/6/29 1:37:27

系统架构-嵌入式系统架构

原理与特征嵌入式系统的典型架构可概括为两种模式，即层次化模式架构和递归模式架构层次化模式架构，位于高层的抽象概念与低层的更加具体的概念之间存在着依赖关系，封闭型层次架构指的是，高层的对象只能调用同一层或下一层对象…...

编程日记 2025/7/12 12:38:48

hive两个表不同数据类型字段关联引发的数据倾斜

不同数据类型引发的Hive数据倾斜解决方案 #### 一、‌原因分析‌ 当两个表的关联字段存在数据类型不一致时（如int vs string、bigint vs decimal），Hive会触发隐式类型转换引发以下问题： ‌Key值的精度损失‌：若关联字…...

编程日记 2025/7/16 16:04:41

制作一款打飞机游戏45：简单攻击

粒子系统修复首先，我们要加载cow（可能是某个项目或资源），然后直接处理粒子系统。你们看到在粒子系统中，我们仍然有X滚动。这现在已经没什么意义了，因为我们正在使用一个奇怪的新系统。所以我们实际上不再…...

编程日记 2025/6/29 1:37:37

《Vuejs设计与实现》第 5 章（非原始值响应式方案）中

目录 5.4 合理触发响应 5.5 浅响应与深响应 5.6 只读和浅只读 5.4 合理触发响应为了合理触发响应，我们需要处理一些问题。首先，当值没有变化时，我们不应该触发响应： const obj = { foo: 1 } const p = new Proxy(obj, { /* ... */ })effect(() => {console.log(p…...

编程日记 2025/6/29 3:58:56