当前位置：首页 > news >正文

机器学习-无量纲化与特征降维（一）

news 来源：原创 2025/8/4 0:29:37

一.无量纲化-预处理

无量纲，即没有单位的数据

无量纲化包括"归一化"和"标准化"，这样做有什么用呢？假设用欧式距离计算一个公司员工之间的差距，有身高（m）、体重（kg）以及收入（元）三个标准，正常情况下，收入带来的差距会很大，且看下面的公式：

从计算上来看, 发现身高体重对计算结果没有什么影响, 基本主要由收入来决定了,但是现实生活中,身高是比较重要的判断标准. 所以需要无量纲化.

1.1 MinMaxScaler 归一化

公式：

API：

sklearn.preprocessing.MinMaxScaler(feature_range)

参数：

- feature_range：归一化后的数据的范围，默认为(0,1)。归一化中假设x是(0，1)，设置为(2,5)背后即用x*(5-2)+2就可以完成归一化后的范围转化。

返回值为ndarray类型

# 导入相关库
from sklearn.preprocessing import MinMaxScaler# 定义数据
data = [[2, 3, 4], [5, 6, 7],[8, 9, 10]]# 实例化MinMaxScaler
scaler = MinMaxScaler(feature_range=(1, 2))
data_new = scaler.fit_transform(data)# 打印结果
print(data_new)

[[1. 1. 1. ]
[1.5 1.5 1.5]
[2. 2. 2. ]]

1.2 normalize归一化

API:

normalize(data, norm='l2', axis=1)

参数：

- norm：归一化方式，默认为l2，可选l1、l2、max

- l1：绝对值相加作为分母,特征值作为分子

- l2：平方相加作为分母,特征值作为分子

- max：最大值作为分母,特征值作为分子

- axis：归一化的维度，默认为1，可选0、1

返回值：归一化后的数据

# 导入相关库
from sklearn.preprocessing import normalize# 定义数据
data = [[1, 2, 3],[4, 5, 6],[7, 8, 9]]# 归一化
normalized_data = normalize(data,norm='l1',axis=0)# 打印结果
print(normalized_data)

[[0.08333333 0.13333333 0.16666667]
[0.33333333 0.33333333 0.33333333]
[0.58333333 0.53333333 0.5 ]]

注意：这里的normalize是不需要进行fit_transform操作的

上述两种归一化都有缺点：最大值和最小值容易受到异常点影响，所以鲁棒性较差。所以常使用标准化的无量钢化

1.3 StandardScaler 标准化

也是数据归一化的一种，目的是将不同特征的数值范围缩放到统一的标准范围。

最常见的标准化方法是Z-score标准化，也叫零均值标准化。通过对每个特征的值减去其均值，再除以其标准差，将数据转换为均值为0，标准差为1的分布：

API：

sklearn.preprocessing.StandardScale

所有归一化返回的都是ndarray类型

# 导入相关库
from sklearn.preprocessing import StandardScaler# 定义数据
data = [[1,2,3],[4,5,6],[7,8,9]]# 标准化数据
scaler = StandardScaler()
data_new = scaler.fit_transform(data)# 打印结果
print(data_new)

[[-1.22474487 -1.22474487 -1.22474487]
[ 0. 0. 0. ]
[ 1.22474487 1.22474487 1.22474487]]

这里补充讲讲前面提到过的 fit_transform() 与 fit() 和 transform() 的区别：

fit() 是对传入的数据进行计算，transform() 是对传入的数据进行特征转换，fit_transform() 是先 fit()再 transform()。

# 导入相关库
from sklearn.preprocessing import StandardScaler# 定义数据
data = [[1,2,3],[4,5,6],[7,8,9]]data1 = [[10,20,30],[40,50,60],[70,80,90]]# 标准化数据
scaler = StandardScaler()
# 先调用fit
scaler.fit(data)# 可以查看fit计算的均值和方差
print(scaler.mean_)
print(scaler.var_)# 再调用transform
data_scaled = scaler.transform(data1)# 打印结果
print(data_scaled)

[4. 5. 6.]
[6. 6. 6.]
[[ 2.44948974 6.12372436 9.79795897]
[14.69693846 18.37117307 22.04540769]
[26.94438717 30.61862178 34.2928564 ]]

可以发现，上面的结果有所不同，这是因为先调用了 fit() 对data的数据进行计算，得到data的均值和方差，此时调用 transform() 会使用最近一次 fit() 计算的均值与方差，所以这里就是用data的均值和方差来对data1进行标准化处理。也可以先调 fit_transform 然后再调 transform ，就是使用前面 fit_transform 计算的均值和方差转化。

这个通常用于训练集与测试集，要用训练集中的均值和方差来对测试集进行转化，一般不使用测试集的均值方差。

二.特征降维

实际数据中,有时候特征很多,会增加计算量,降维就是去掉一些特征,或者转化多个特征为少量个特征。其目的就是减少数据集维度，尽可能保留重要信息。

有两种常见的特征降维方式：

- 特征选择

- 从原始特征集中挑选出最相关的特征

- 主成份分析(PCA)

- 主成分分析就是把之前的特征通过一系列数学计算，形成新的特征，新的特征数量会小于之前特征数量

接下来介绍一下基本的特征选择：

2.1 特征选择

2.1.1 VarianceThreshold 低方差过滤特征选择

若一个特征的方差很小，说明这个特征的值在样本中几乎相同或变化不大，包含的信息量很少，下面是VarianceThreshold的工作原理：

1. 计算方差：对于每个特征，计算其在训练集中的方差(每个样本值与均值之差的平方,在求平均)。

2. 设定阈值：选择一个方差阈值，任何低于这个阈值的特征都将被视为低方差特征。

3. 过滤特征：移除所有方差低于设定阈值threshold的特征

API：

sklearn.feature_selection.VarianceThreshold(threshold=2.0)

# 导入相关库
from sklearn.feature_selection import VarianceThreshold# 定义数据
data = [[12,22,4],[11,23,1],[11,23,9]]# 实例化VarianceThreshold
vt = VarianceThreshold(threshold=2)# 应用VarianceThreshold
result = vt.fit_transform(data)# 打印结果
print(result)

[[4]
[1]
[9]]

2.1.2 根据相关系数的特征选择

皮尔逊相关系数（Pearson correlation coefficient)是一种度量两个变量之间线性相关性的统计量，它是一个介于-1和1之间的数。

- ρ = 1 表示完全正相关，即随着一个变量的增加，另一个变量也线性增加。

- ρ = -1 表示完全负相关，即随着一个变量的增加，另一个变量线性减少。

- ρ = 0 表示两个变量之间不存在线性关系。

|ρ|<0.4为低度相关; 0.4<=|ρ|<0.7为显著相关； 0.7<=|ρ|<1为高度相关

API:

scipy.stats.personr(x, y)

参数：

- x, y: 数组或序列，维度必须相同或能广播至相同。

返回对象有两个属性:

- statistic 皮尔逊相关系数

- pvalue 另一种相关稀疏，零假设(作了解),统计上评估两个变量之间的相关性,越小越相关

# 导入相关库
from scipy.stats import pearsonr# 定义数据
data = [12,22,4]tezheng = [1,2,3]# 计算相关系数
re = pearsonr(data, tezheng)# 输出相关系数
print(re.statistic)
print(re.pvalue)

-0.4435327625727436
0.7074499612035013

机器学习-无量纲化与特征降维（一）

一.无量纲化-预处理无量纲，即没有单位的数据无量纲化包括"归一化"和"标准化"，这样做有什么用呢？假设用欧式距离计算一个公司员工之间的差距，有身高（m）、体重（kg&#x…...

编程日记 2025/8/4 0:29:37

Shiro（八）：JWT介绍

1、什么是JWT？ JWT（JSON Web Token，JSON Web令牌）是一种开放标准（RFC 7519），用于在网络应用环境间安全地传递声明（claims）作为JSON对象；JWT会按指定的加密算…...

编程日记 2025/8/4 22:48:18

linux0.11内核源码修仙传第十六章——获取硬盘信息

🚀 前言书接第十四章：linux0.11内核源码修仙传第十四章——进程调度之fork函数，在这一节博客中已经通过fork进程创建了一个新的进程1，并且可以被调度，接下来接着主线继续走下去。希望各位给个三连，拜托啦&…...

编程日记 2025/8/4 23:58:10

画家沈燕的山水实验：在传统皴法里植入时代密码

导语：当宋代山水遇上AI算法，当青绿颜料邂逅生态数据，沈燕在宣纸与人工智能的交界处，开启了一场关于水墨基因的“基因突变”实验。她的画笔既似考古学家的洛阳铲，又似未来学家的扫描仪，在古今对话中重构山水…...

编程日记 2025/8/2 2:21:08

聊聊四种实时通信技术：短轮询、长轮询、WebSocket 和 SSE

这篇文章，我们聊聊四种实时通信技术：短轮询、长轮询、WebSocket 和 SSE 。 1 短轮询浏览器定时（如每秒）向服务器发送 HTTP 请求，服务器立即返回当前数据（无论是否有更新）。优点&#xff1…...

编程日记 2025/8/5 0:04:37

国联股份卫多多与北京经纬智诚签署战略合作协议

5月9日，北京经纬智诚电子商务有限公司（以下简称“经纬智诚”）总经理王学文一行到访国联股份卫多多，同卫多多/纸多多副总裁、产发部总经理段任飞，卫多多机器人产业链总经理郭碧波展开深入交流，双方就未来合作…...

编程日记 2025/8/5 0:08:25

在 Envoy 的配置文件中出现的 “@type“ 字段

在 Envoy 的配置文件中出现的 "type" 字段是 Protocol Buffers（Protobuf）的 JSON/YAML 编码规范的一部分，属于 Typed Struct 的表示方式。它的作用是明确指定当前配置对象的 Protobuf 类型，以便 Envoy 正确解析配置。以…...

编程日记 2025/7/31 5:13:32

编译原理实验之语法分析程序自动生成工具Yacc实验

文章目录实验环境准备复现实验例子分析总的文件架构实验任务什么是Yacc Yacc(Yet Another Compiler Compiler)是一个语法分析程序自动生成工具，Yacc实验通常是在编译原理相关课程中进行的实践项目，旨在让学生深入理解编译器的语法分析阶段以及掌握Yac…...

编程日记 2025/7/31 5:13:30

【大模型】LLM概念相关问题（上）

1.主流的大语言模型截至2025年，主流的大型语言模型（LLM）体系涵盖了多个国家和机构的成果，具有多样的架构设计、参数规模和应用场景。以下是一些具有代表性的开源和闭源 LLM 体系： 🇺🇸 OpenA…...

编程日记 2025/8/4 23:59:42

AWS IoT Core与MSK集成实战:打造高可靠实时IoT数据管道

在物联网快速发展的今天,如何高效、安全地处理海量设备数据成为企业面临的一大挑战。本文将带您深入探索AWS IoT Core与Amazon MSK(Managed Streaming for Apache Kafka)的集成方案,手把手教您搭建一个可靠、可扩展的实时IoT数据处理管道。无论您是IoT开发者、大数据工程师还是…...

编程日记 2025/7/31 2:12:29

智慧交通-车门开关状态检测数据集VOC+YOLO格式1006张2类

数据集格式：Pascal VOC格式YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件) 图片数量(jpg文件个数)：1006 标注数量(xml文件个数)：1006 标注数量(txt文件个数)：1006 …...

编程日记 2025/8/5 0:08:24

【传感器】代码——DHT11温湿度传感器

目录一、代码流程二、模块.c代码三、模块.h代码四、主函数代码一、代码流程 1.模块复位：主机发送开始通信时序，从机做出响应（需检测是否有响应） 2.MCU读取1Bit数据 3.MCU读取1Byte数据 4.MCU读取8Byte数据组成完整Dat…...

编程日记 2025/8/4 23:58:02

MySQL 的事务（Transaction）

1. 什么是事务？ 事务是一组原子性的数据库操作序列，这些操作要么全部执行成功，要么全部失败回滚。事务的目的是确保数据库从一个一致状态转换到另一个一致状态，即使在执行过程中发生错误或中断。 …...

编程日记 2025/7/31 5:13:20

vue知识点总结依赖注入动态组件异步加载

一依赖注入使用场景：当需要多层组件需要传值如祖宗-》父亲-》儿子-》孙子如祖宗的数据需要直接传给孙子在祖宗组件中写： data(){return {}} provide(){ return {shujukey:数据值 } }在孙子组件中接收,模板代码中直接使用{{shujukey}}获取数据 dat…...

编程日记 2025/8/4 23:58:03

【软件设计师：存储】16.计算机存储系统

一、主存储器存储器是计算机系统中的记忆设备，用来存放程序和数据。计算机中全部信息，包括输入的原始数据、计算机程序、中间运行结果和最终运行结果都保存在存储器中。存储器分为：寄存器Cache（高速缓冲存储器）主存储器辅存储器一、存储器的存取方式二、存储器的性…...

编程日记 2025/7/31 18:31:42

快速开发-基于gin的中间件web项目开发

一、概述在 Gin 框架中，中间件（Middleware）是一种在处理 HTTP 请求之前或之后执行的函数。使用中间件可以方便地实现诸如身份验证（Auth）、日志记录、请求限流等功能。二、编写中间件 // 中间件 func StartCost1(c …...

编程日记 2025/8/5 0:07:17

耀圣-气动带刮刀硬密封法兰球阀：攻克颗粒高粘度介质的自清洁 “利器”

气动带刮刀硬密封法兰球阀：攻克颗粒高粘度介质的自清洁 “利器” 在化工、矿业、食品加工等行业中，带颗粒高粘度介质、料浆及高腐蚀性介质的输送与控制一直是行业难题。普通阀门极易因介质附着、颗粒堆积导致卡阻失效，密封面磨损加剧&#x…...

编程日记 2025/8/4 19:49:01

MySQL + Elasticsearch：为什么要使用ES，使用场景与架构设计详解

MySQL Elasticsearch：为什么要使用ES，使用场景与架构设计详解前言一、MySQL Elasticsearch的背景与需求1.1 为什么要使用Elasticsearch（ES）？1.2 为什么MySQL在某些场景下不足以满足需求？1.3 MySQL Elas…...

编程日记 2025/8/4 19:00:32

【C语言】--指针超详解(三)

目录一.数组名的理解二.使用指针访问数组三.一维数组传参的本质四.冒泡排序五.二级指针六.指针数组 6.1--指针数组的定义 6.2--指针数组模拟二维数组 🔥个人主页：草莓熊Lotso的个人主页 🎬作者简介：C方向学习者 &…...

编程日记 2025/7/31 18:31:35

污水处理厂逆袭：Ethernet/IP 转 CANopen 开启“智净”时代

在我们的日常生活中，污水处理厂发挥着至关重要的作用，它们处理着城市污水，确保我们的水源安全。然而，这些关键设施的运行和管理并非易事，尤其是在数字化转型的大潮中。现在，我们有了一款创新的解决方案——…...

编程日记 2025/8/5 0:09:30

ROS导航局部路径规划算法

在导航功能包中，局部路径规划器的位置如图红框所示。它接受全局路径规划器生成的全局路径以及里程计信息和局部代价地图，最后输出速度控制信息一、DWA（Dynamic Window Approach） 原理介绍 DWA 是一种基于动态窗口采样的局部路…...

编程日记 2025/7/31 18:31:32

《深挖Java中的对象生命周期与垃圾回收机制》

大家好呀！👋 今天我们要聊一个Java中超级重要的话题——对象的生命周期和垃圾回收机制。一、先来认识Java世界的"居民"——对象 👶 在Java世界里，一切皆对象。就像现实世界中的人一样，每个Java对象也有自…...

编程日记 2025/7/31 18:31:30

Java——包装类

目录 3.5 包装类 3.5 包装类有时需要把基本类型转换为对象。所有基本类型都有一个与之对应的类。这些类称为包装器/类。这些类是不可变类，即一旦构造了包装器/类，就不允许改变包装在其中的值。其次包装类还是final，不用可以被继承。为什么要…...

编程日记 2025/8/4 23:58:00

【谭浩强】第七章第14题

实验结果：当M1时输出的结果实验总结：用define定义要频繁使用的值可以节省时间；求完一门课平均成绩之后要让sum重新等于0；求最高分对应的学生和对应的课程要循环完一遍覆盖一遍r和c的值； 程序代码 #include <stdi…...

编程日记 2025/8/5 0:05:01

Linux 内核中的 security_sk_free：安全模块与 Socket 释放机制解析

引言在 Linux 内核中，网络通信和进程间交互（IPC）的核心数据结构之一是 struct sock（即 socket）。其生命周期管理涉及复杂的资源分配与释放逻辑。本文聚焦于 security_sk_free 这一函数，探讨其作用、调用场景以及与安全模块的交互机制，并解答一个常见疑问：在单机间 TC…...

编程日记 2025/8/5 0:03:30

学习笔记：黑马程序员JavaWeb开发教程(2025.4.1)

11.10 案例-配置文件-yml配置文件 Yml语法： 数据格式： 11.11 案例-配置文件-ConfigurationProperties 配置项自动注入，需要保持KEY的属性名一样，需要在文件中加上Data注解，要将这个类交给IOC容器管理，使其成…...

编程日记 2025/8/5 0:00:02

深度学习-161-Dify工具之对比使用工作流和聊天流生成图表可视化的html文件

文章目录 1 任务背景2 使用chatflow聊天流2.1 开始节点2.2 文档提取器2.3 LLM2.4 参数提取器2.5 代码执行2.6 直接回复2.7 应用展示3 生成html文件可视化图表3.1 使用workflow工作流3.1.1 LLM3.1.2 效果展示3.2 使用chatflow聊天流3.2.1 LLM3.2.2 效果展示4 参考附录分别使用聊…...

编程日记 2025/7/31 15:53:59

关于VScode的调试

调试代码要有这么几个工具：源代码、带调试符号的程序、MAP表，调试器。在启动调试器之前，要首先编译带有符号表的程序，生成对应map。然后启动调试器。不同的语言有不同的特性，比如解释型语言不需要编译成可执行程序…...

编程日记 2025/7/31 15:53:57

(x ^ 2 + 2y − 1) ^ 3 − x ^ 2 * y ^ 3 = 1

二元高次方程 EquationSolver20250509.java package math;import org.apache.commons.math3.analysis.MultivariateFunction; import org.apache.commons.math3.optim.InitialGuess; import org.apache.commons.math3.optim.MaxEval; import org.apache.commons.math3.optim.P…...

编程日记 2025/7/31 15:53:55

一.无量纲化-预处理

1.1 MinMaxScaler 归一化

1.2 normalize归一化

1.3 StandardScaler 标准化

二.特征降维

2.1 特征选择

2.1.1 VarianceThreshold 低方差过滤特征选择

2.1.2 根据相关系数的特征选择

相关文章：