当前位置：首页 > news >正文

常见的降维算法

news 来源：原创 2025/8/2 16:13:33

作业：

自由作业：探索下什么时候用到降维？降维的主要应用？或者让ai给你出题，群里的同学互相学习下。可以考虑对比下在某些特定数据集上t-sne的可视化和pca可视化的区别。

一、什么时候用到降维？

降维通常用于以下几类情况：

1. 数据可视化

高维数据（>3维）无法直接可视化，常用降维将数据映射到2D或3D平面进行展示。
常用方法：PCA、t-SNE、UMAP。

2. 数据压缩 / 存储优化

高维数据存储代价大，降维后可减少冗余特征，节省存储空间。

3. 降噪（Denoising）

高维特征空间中可能存在大量噪声维度，降维有助于突出主要结构。

4. 加速模型训练 / 避免维数灾难

在监督学习或聚类中，太多维度容易导致过拟合或训练缓慢，降维可提升效率和模型泛化能力。

5. 特征冗余或共线性问题

特征间高度相关时，降维可消除多重共线性，提高建模稳定性。

二、降维的主要方法与应用场景

方法	类型	原理简介	适用场景
PCA	线性、无监督	主成分投影，保留最大方差方向	高维数据压缩、线性结构数据可视化
t-SNE	非线性、无监督	保持局部结构的概率分布相似性	聚类结构可视化、非线性流形数据展示
UMAP	非线性、无监督	通过图拓扑保持局部和整体结构	替代t-SNE，用于可视化/特征工程
LDA	线性、有监督	最大化类间方差与类内方差比	分类问题的有监督降维
Autoencoder	非线性、有监督	利用神经网络编码压缩再解码还原数据	图像降噪、生成模型、特征提取

三、t-SNE vs PCA：可视化对比分析

1. 适用数据集

以MNIST（手写数字图像，784维）或Iris数据集（4维）为例，我们可以观察两者的区别。

2. 可视化效果（以MNIST为例）

PCA 可视化：

优点：快速，线性变换，可解释性强。
缺点：只能保留全局最大方差方向，聚类不明显，容易“混团”。

t-SNE 可视化：

优点：保留局部结构，同类样本聚得更紧，异类分得更开。
缺点：
- 非线性变换，不能用于后续建模；
- 随机性大（不同run结果可能不同）；
- 参数敏感，尤其是perplexity。

可视化示意图

方法	可视化效果简述
PCA	线性投影，点分布均匀，类聚不明显
t-SNE	同类样本成簇，聚类轮廓清晰

PCA

t-SNE

四、实践建议：如何选用降维方法？

场景	建议方法	理由
数据预处理	PCA	快速提取主成分，增强模型泛化性
可视化非线性聚类结构	t-SNE / UMAP	更好展示局部结构，直观展示聚类效果
图像/文本压缩或编码	Autoencoder	可自适应学习低维特征表达
有标签分类建模前特征压缩	LDA	结合类别信息降维，提高类别区分能力

@浙大疏锦行

常见的降维算法

作业： 自由作业：探索下什么时候用到降维？降维的主要应用？或者让ai给你出题，群里的同学互相学习下。可以考虑对比下在某些特定数据集上t-sne的可视化和pca可视化的区别。一、什么时候用到降维？ 降维通常…...

编程日记 2025/8/2 16:13:33

Spring Boot 中如何启用 MongoDB 事务

在 Spring Boot 中启用和使用 MongoDB 事务主要依赖于以下几个方面： MongoDB 服务器和部署模式： MongoDB 版本 4.0 或更高版本才支持副本集 (Replica Set) 上的多文档 ACID 事务。MongoDB 版本 4.2 或更高版本才支持分片集群 (Sharded Cluster) 上的多文…...

编程日记 2025/7/30 1:47:53

2025年5月15日前免费考试了！ Oracle AI 矢量搜索专业认证

2025年5月5日前免费考试了！ Oracle AI 矢量搜索专业认证立刻预约吧文章目录 2025年5月5日前免费考试了！ Oracle AI 矢量搜索专业认证立刻预约吧🔍 探索 AI 向量搜索的强大功能！🎯 学习路径目标&#x1f6e…...

编程日记 2025/8/3 8:45:05

1. 定义假设 f ( n ) g ( n ) f(n)\ g(n) f(n) g(n)是定义在正整数上的两个函数 ，且 f ( n ) ∑ d ∣ n g ( d ) ∑ d ∣ n g ( n d ) f(n)\sum_{d|n}g(d)\sum_{d|n}g(\frac{n}{d}) f(n)d∣n∑g(d)d∣n∑g(dn) 那么 g ( n ) ∑ d ∣ n μ ( d ) f ( n d…...

编程日记 2025/8/1 22:58:46

访问者模式（Visitor Pattern）详解

文章目录 1. 访问者模式概述1.1 定义1.2 基本思想2. 访问者模式的结构3. 访问者模式的UML类图4. 访问者模式的工作原理5. Java实现示例5.1 基本实现示例5.2 访问者模式处理复杂对象层次结构5.3 访问者模式在文件系统中的应用6. 访问者模式的优缺点6.1 优点6.2 缺点7. 访问者模式…...

编程日记 2025/7/30 1:47:46

C++ 关联式容器：map，multimap,set,multiset

目录引言一、关联式容器概述 1.1 与序列式容器的区别 1.2 底层结构二、set容器详解set介绍 2.1 set的特性 2.2 set的模板参数 2.3 set的常用接口 2.4 set使用示例三、map容器详解map介绍 3.1 map的特性 3.2 map的模板参数 3.3 map的常用接口 3.4 map使用示例 …...

编程日记 2025/8/2 23:55:03

Discriminative and domain invariant subspace alignment for visual tasks

用于视觉任务的判别性和域不变子空间对齐作者：Samaneh Rezaei，Jafar Tahmoresnezhad 文章于2018年12月4日收到，2019年5月24日被接受，2019年6月3日在线发表于Iran Journal of Computer Science期刊，DOI: 10.1007/s42…...

编程日记 2025/8/3 8:45:05

comfyui 如何优雅的从Hugging Face 下载模型，文件夹

如下图所示使用git 下载整个仓库然后把需要的放到对应的位置...

编程日记 2025/7/29 14:20:01

【C++】 —— 笔试刷题day_27

一、kotori和气球题目解析这道题，有n中气球，每一种气球有无数多个；现在我们需要将这些气球摆成一排，但是，如果相邻的气球是相同的就会发生爆炸（也就是说，相同的气球相邻的摆法是不合法的&…...

编程日记 2025/8/3 4:52:07

2025年“深圳杯”数学建模挑战赛C题国奖大佬万字思路助攻

完整版1.5万字论文思路和Python代码下载：https://www.jdmm.cc/file/2712073/ 引言本题目旨在分析分布式能源 (Distributed Generation, DG) 接入配电网系统后带来的风险。核心风险评估公式为： R P_{loss} \times C_{loss} P_{over} \times C_{over}…...

编程日记 2025/7/30 1:47:36

大模型微调指南之 LLaMA-Factory 篇：一键启动LLaMA系列模型高效微调

文章目录一、简介二、如何安装2.1 安装2.2 校验三、开始使用3.1 可视化界面3.2 使用命令行3.2.1 模型微调训练3.2.2 模型合并3.2.3 模型推理3.2.4 模型评估四、高级功能4.1 分布训练4.2 DeepSpeed4.2.1 单机多卡4.2.2 多机多卡五、日志分析一、简介 LLaMA-Factory 是一个…...

编程日记 2025/7/30 1:47:34

游戏引擎学习第268天:合并调试链表与分组

回顾并为今天的内容设定基调我们正在直播中开发完整的游戏，目前调试系统的开发已接近尾声。这个调试系统的构建过程经历了较长的时间，中间还暂停过一段时间去做硬件渲染路径的开发，并在已有的软件渲染路径基础上进行了扩展。后来我们又回到…...

编程日记 2025/8/2 13:31:04

【Linux系统编程】进程属性--标识符

编程日记 2025/7/30 1:47:31

React文档-State数据扁平化

1、选择 State 结构思考一下： 如果渲染列表， 并更新列表数据在下面展示~ state 过去常常是这样复制的： items [{ id: 0, title: pretzels}, ...]selectedItem {id: 0, title: pretzels} 改了之后是这样的：items [{ id: 0, …...

编程日记 2025/7/30 1:47:29

kotlin flow防抖

一防抖设计 ✅ 1. 点击事件的防抖：用于防止频繁触发逻辑 🎯 适用场景： 用户连续快速点击按钮，可能会导致多次发送网络请求、CAN 指令或反复切换状态等副作用。所以我们通常在点击函数中处理防抖，例如： …...

编程日记 2025/7/29 4:56:12

基础语法（二）

Mysql基础语法（二） Mysql基础语法（二）主要介绍Mysql中稍微进阶一点的内容，会稍微有一些难度（博主个人认为）。学习完基础语法（一）和基础语法（二）之…...

编程日记 2025/7/30 1:47:26

FreeTex v0.2.0：功能升级/支持Mac

概述 FreeTex在发布之后，迎来很多反馈，本次根据主流的反馈建议，又进行一轮小升级，正式发布v0.2.0版本，主要升级点如下： 新增识别结果预览显示 Latex识别结果支持格式化输出软件体积更小，并移…...

编程日记 2025/8/2 21:30:18

MacOS 用brew 安装、配置、启动Redis

MacOS 用brew 安装、配置、启动Redis 一、安装 brew install redis 二、启动 brew services start redis 三、用命令行检测 set name tom get name...

编程日记 2025/7/29 23:07:26

大型旋转机械信号分解算法模块

大型旋转机械信号分解算法模块，作为信号处理算法工具箱的主要功能模块，可应用于各类关键机械部件（轴承、齿轮、转子、联轴器等）的信号分析、故障探测、趋势劣化评估等，采用全Python语言，以B/S模式&#xff…...

编程日记 2025/7/29 23:07:25

Java 中的数据类型误导点！！！

在 Java 中，数据类型分为两大类：基本类型（Primitive Types） 和引用类型（Reference Types）。它们的存储方式和行为完全不同。 1. 基本类型 Java 有 8 种基本数据类型，它们直接存储值&#xff…...

编程日记 2025/7/29 23:07:23

Linux--JsonCpp

1.JsonCpp 简介 JsonCpp 是一个用于 C 的 JSON 解析和生成库，支持 JSON 数据的读写、解析和序列化。它提供了简单的 API 来操作 JSON 对象、数组、字符串、数字等类型，是 C 开发中处理 JSON 数据的常用工具。核心功能与类 JsonCpp 主要包含以下核心类…...

编程日记 2025/8/1 13:47:02

cv_connection (像halcon一样对区域进行打散)

主题： 分享一个自己用opencv写的小方法， 可以像halcon的connection算子一样， 对cv2.threshold得到的region进行打散， 并返回一个打散后的不相连的region的列表。代码如下 def cv_connection(region):# he的拓扑信息为后一…...

编程日记 2025/7/31 4:43:49

ConcurrentHashMap和锁

文章目录 JDK1.7的分段锁JDK1.8的volatileCAS synchronized可重入锁公平锁和非公平锁悲观锁和乐观锁 JDK1.7的分段锁数据结构：数组（大数组 Segment 和小数组 HashEntry）链表 #mermaid-svg-dfSgz5E7tBmTbx14 {font-family:"trebuchet …...

编程日记 2025/8/1 16:57:42

黑马k8s（二）

集群环境搭建 1.环境规划 2.环境搭建-主机安装主节点： 软件选择选择基础设施服务器，这样安装系统完毕之后，会有很多软件我们可以直接使用了系统点开，点一下完成 ip地址的设置：要跟虚拟网络编辑器，Net…...

编程日记 2025/7/29 23:07:15

LeetCode热题100--240.搜索二维矩阵--中等

1. 题目编写一个高效的算法来搜索 m x n 矩阵 matrix 中的一个目标值 target 。该矩阵具有以下特性： 每行的元素从左到右升序排列。每列的元素从上到下升序排列。示例 1： 输入：matrix [[1,4,7,11,15],[2,5,8,12,19],[3,6,9,16,22],[1…...

编程日记 2025/8/1 18:02:43

python校园新闻发布管理系统

目录技术栈介绍具体实现截图系统设计研究方法：设计步骤设计流程核心代码部分展示研究方法详细视频演示试验方案论文大纲源码获取/详细视频演示技术栈介绍 Django-SpringBoot-php-Node.js-flask 本课题的研究方法和研究步骤基本合理，难度适中&#xf…...

编程日记 2025/8/2 13:17:12

Spring MVC 视图解析器 (ViewResolver) 如何配置？ Spring Boot 是如何自动配置常见视图解析器的？

我们来详细分析一下视图解析器 (ViewResolver) 的配置以及 Spring Boot 是如何自动配置它们的。视图解析器 (ViewResolver) 是什么？ 在 Spring MVC 中，当控制器 (Controller) 方法处理完请求并返回一个逻辑视图名 (String) 时，DispatcherS…...

编程日记 2025/7/29 23:07:09

LeetCode 2918.数组的最小相等和：if-else

【LetMeFly】2918.数组的最小相等和：if-else 力扣题目链接：https://leetcode.cn/problems/minimum-equal-sum-of-two-arrays-after-replacing-zeros/ 给你两个由正整数和 0 组成的数组 nums1 和 nums2 。你必须将两个数组中的所有 0 替换为严格正…...

编程日记 2025/7/29 23:07:08

C++修炼：stack和queue

Hello大家好！很高兴我们又见面啦！给生活添点passion，开始今天的编程之路！ 我的博客：<但凡. 我的专栏：《编程之路》、《数据结构与算法之美》、《题海拾贝》、《C修炼之路》欢迎点赞，关注&am…...

编程日记 2025/7/31 5:21:55

欧拉计划 Project Euler 69（欧拉总计函数与最大值）题解

欧拉计划 Project Euler 69 题解题干欧拉总计函数与最大值思路code 题干欧拉总计函数与最大值小于 n n n且与 n n n互质的正整数的数量记为欧拉总计函数 φ ( n ) \varphi(n) φ(n)，例如， 1 、 2 、 4 、 5 、 7 1、2、4、5、7 1、2、4、5、7和 8 …...

编程日记 2025/8/1 4:43:42

TCP Socket编程

最基本的Socket编程想客户端和服务器能在网络中通信，就得使用 Socket 编程，它可以进行跨主机间通信。在创建Socket时可以选择传输层使用TCP还是UDP。相对于TCP来说，UDP更为简单，下面以TCP为例。 TCP服务端要先建立起来&#xf…...

编程日记 2025/8/2 21:59:34

[CLS] 向量是 BERT 类模型中一个特别重要的输出向量，它代表整个句子或文本的全局语义信息

[CLS] 向量是 BERT 类模型中一个特别重要的输出向量，它代表整个句子或文本的全局语义信息。 ✅ 什么是 [CLS] 在 BERT 模型中，每条输入前会加一个特殊的 token：[CLS]（classification 的缩写）。这个 token 没有具体语义…...

编程日记 2025/8/2 17:10:27

47.电压跌落与瞬时中断干扰的防护改善措施

电压跌落与瞬时中断干扰的防护改善措施 1. 电压跌落与瞬时中断的影响机理2. 解决措施 1. 电压跌落与瞬时中断的影响机理跌落发生的常见场景如下： （1）电源插头接触不良，瞬态中断即刻恢复； （2）电…...

编程日记 2025/7/30 1:47:20

LeetCode热题100 两数之和

目录两数之和题目解析方法一暴力求解代码方法二哈希代码感谢各位大佬对我的支持,如果我的文章对你有用,欢迎点击以下链接 🐒🐒🐒 个人主页 🥸🥸🥸 C语言 🐿️🐿️🐿…...

编程日记 2025/7/30 1:47:19

【无标题】I/O复用（epoll）三者区别▲

一、SOCKET-IO复用技术定义：SOCKET - IO复用技术是一种高效处理多个套接字（socket）的手段，能让单个线程同时监听多个文件描述符（如套接字）上的I/O事件（像可读、可写、异常）&#x…...

编程日记 2025/7/31 11:56:38

【数据结构】子串、前缀

子串 (Substring) 字符串中连续的一段字符序列，例如 "abc" 是 "abcd" 的子串。特点：必须连续，顺序不可改变。子序列 (Subsequence) 字符串中不连续但保持顺序的字符序列，例如 "acd" 是 "…...

编程日记 2025/7/30 1:47:15

[docker基础四]容器虚拟化基础之 LXC

目录一认识LXC 二 LXC容器操作实战 1）实战目的 2）基础知识 lxc-checkconfig lxc-create lxc-start lxc-ls lxc-info lxc-attach lxc-stop lxc-destory 3）安装LXC(我的是Ubuntu) 4）操作实战 1. 检查 lxc 是否运行…...

编程日记 2025/7/30 1:47:13

leetcode 2918. 数组的最小相等和中等

给你两个由正整数和 0 组成的数组 nums1 和 nums2 。你必须将两个数组中的所有 0 替换为严格正整数，并且满足两个数组中所有元素的和相等。返回最小相等和 ，如果无法使两数组相等，则返回 -1 。示例 1： 输入&#xf…...

编程日记 2025/8/2 16:07:07

RT-Thread 深入系列 Part 5：物联网与网络应用实战

摘要本文聚焦 RT-Thread 在物联网场景下的网络应用实战，从网络协议栈集成到 MQTT/CoAP/HTTP 客户端实现，再到 mbedTLS 安全通信与 OTA 升级，最后以阿里云、腾讯云和 OneNet 平台对接为案例，完整呈现端到端的物联网解决方案落地过程。目录网络协议栈：LWIP 与网络设备 MQ…...

编程日记 2025/8/2 22:46:09

onGAU：简化的生成式 AI UI界面，一个非常简单的 AI 图像生成器 UI 界面，使用 Dear PyGui 和 Diffusers 构建。

一、软件介绍文末提供程序和源码下载 onGAU：简化的生成式 AI UI界面开源程序，一个非常简单的 AI 图像生成器 UI 界面，使用 Dear PyGui 和 Diffusers 构建。二、Installation 安装文末下载后解压缩 Run install.py with python to setup…...

编程日记 2025/7/30 1:47:08

Linux系统入门第十二章 --Shell编程之正则表达式

一、正则表达式之前学习了 Shell 脚本的基础用法，已经可以利用条件判断、循环等语句编辑 Shell脚本。接下来我们将开始介绍一个很重要的概念-正则表达式(RegularExpression，RE) 1.正则表达式的定义正则表达式又称正规表达式、常规表达式。在代码中常…...

编程日记 2025/8/3 7:30:56

Ubuntu22.04怎么退出Emergency Mode(紧急模式)

1.使用nano /etc/fstab命令进入fstab文件下； 2.将挂载项首行加#注释掉，修改完之后使用ctrlX退出; 3.重启即可退出紧急模式！...

编程日记 2025/7/30 1:47:04

IC ATE集成电路测试学习——开尔文连接

首先，我们先了解一下ATE在测试时的PMU测量原理。驱动线路和感知线路为了提升 PMU 驱动电压的精确度，常使用 4 条线路的结构：两条驱动线路传输电流，另两条感知线路监测我们感兴趣的点（通常是DUT）的电压。…...

编程日记 2025/7/30 1:47:03

Ubuntu 与 Windows 双系统环境下 NTFS 分区挂载教程

Ubuntu 与 Windows 双系统环境下 NTFS 分区挂载教程摘要本技术指南针对Ubuntu与Windows双系统用户，系统阐述NTFS分区挂载的技术原理与操作流程。通过规范的技术说明和专业的故障排除方案，帮助用户在异构操作系统环境下实现文件系统的无缝访问&#x…...

编程日记 2025/7/30 3:23:13

C++学习-入门到精通-【6】指针

C学习-入门到精通-【6】指针指针 C学习-入门到精通-【6】指针一、指针的初始化二、指针运算符地址运算符&间接引用运算符* 三、使用指针的按引用传递方式四、内置数组标准库函数的begin和end内置数组的局限性五、使用const修饰指针一、指针的初始化指针在声明或赋值时…...

编程日记 2025/7/30 3:23:11

数据集-目标检测系列- 冥想检测数据集 close_eye＞＞ DataBall

数据集-目标检测系列- 冥想检测数据集 close * 相关项目 1）数据集可视化项目：gitcode: https://gitcode.com/DataBall/DataBall-detections-100s/overview 2）数据集训练、推理相关项目：GitHub - XIAN-HHappy/ultralytics-yolo-…...

编程日记 2025/7/30 3:23:09

CoAP 协议介绍及应用场景

CoAP 协议，即受限应用协议（Constrained Application Protocol），是专为资源受限的设备和网络设计的一种应用层协议 ，旨在让小型、低功耗的设备能够接入物联网（IoT），并以最小的资源与更…...

编程日记 2025/7/30 3:23:06

【并发编程】基于 Redis 手写分布式锁

目录一、基于 Redis 演示超卖现象 1.1 Redis 超卖现象 1.2 超卖现象解决方案二、Redis 的乐观锁机制 2.1 原生客户端演示 2.2 业务代码实现三、单机部署 Redis 实现分布式锁 3.1 分布式锁的演变和升级 3.2 setnx 实现分布式锁 3.2.1 递归调用实现分布式锁 3.2.2 循…...

编程日记 2025/7/30 3:23:04

adb命令查询不到设备？

一、背景 -----以鸿蒙系统为例，其他系统类似--- 1、确保adb在电脑上成功安装 2 、连接手机 adb devices 列表中无显示设备二、解决 1. 手机打开开发者模式手机型号不同，所以选项不一样 2. 一般流程是：设置--搜索--“开发”--会出现开…...

编程日记 2025/7/31 7:54:28

JavaScript 数组去重：11 种方法对比与实战指南

文章目录前言一、使用 Set 数据结构二、使用 filter indexOf三、使用 reduce 累加器四、双重 for 循环五、利用对象属性唯一性六、先排序后去重七、使用 Map 数据结构八、使用 includes 方法九、优化处理 NaN 的 filter 方法十、利用 findIndex十一.利用Set和展开运算符处理多…...

编程日记 2025/7/30 3:22:59