当前位置：首页 > news >正文

20250412 机器学习ML -（3）数据降维（scikitlearn）

news 来源：原创 2025/9/12 6:48:53

1. 背景

数学小白一枚，看推理过程需要很多时间。好在有大神们源码和DS帮忙，教程里的推理过程才能勉强拼凑一二。

* 留意：推导过程中X都是向量组表达: shape(feature, sample_n); 和numpy中的默认矩阵正好相反。

2. PCA / KPCA

PCA

KPCA(Linear Kernel)

详细推理基本过程找教程。(详细步骤我也推不出来，数学太菜）

大概过程：

1. 求最小|X-XWWt|^2 时的W

2. 通过trace的性质，等价于求trace(AtA)

3. 最后推导出：需要最大化XXtW=lambdaW，又要降低维度；

所以计算比例lamda中由大到小排序，保留满足一定阈值的前n个特征值和对应的特征向量（就是W）。

输出：

降维Xd= X@Wd

代码很简单.

详细推理基本过程找教程。(详细步骤我也推不出来，数学太菜）

大概过程：

1. 巧妙的设了一个A=XW/sqrt(lambda), K=XtX

2. 通过推导KA=lamdaA，W=XtA/sqrt(lamda)

* 大模型解释的A为什么要这么设

输出：

降维Xd= X@Wd = lambda * sqrt(lamda)

代码相对复杂一些。运行的结果和PCA一样的。

PCA

import numpy as np
from sklearn.datasets import load_digits, load_iris
from sklearn.decomposition import KernelPCA#global round float to scale 2
np.set_printoptions(precision=2, suppress=True)X, _ = load_iris(return_X_y=True)X=X[:5]
print(X)#========================================================
#PCA
# 1. W= XtX's eigVec (responding to max eigVal)
# 2. X_rec=X@W@W.T
#========================================================
eVals, eVecs=np.linalg.eig(X.T@X)
print(np.allclose(X.T@X, eVecs@np.diag(eVals)@eVecs.T))
print('val',eVals)
print('val',eVals[:2])
print('vec',eVecs)
print('vec',eVecs[:2])W=eVecs.T[:2].Tprint("W",W)
X_rec=X@W@W.T
print(X_rec)
print(X)
print(np.linalg.norm(X - X_rec))
print(np.var(X - X_rec))

KPCA

import numpy as np
from sklearn.datasets import load_digits, load_iris
from sklearn.decomposition import KernelPCA#global round float to scale 2
np.set_printoptions(precision=2, suppress=True)X, _ = load_iris(return_X_y=True)# X=X[:5]
# XMean=np.mean(X)
# X=X-XMean
print(X)#========================================================
# KPCA
# set:                       A= XW/sqrt(lambda)
# based on PCA's conclusion: XtXW=lambda W                      //由于W有约束, WtW=1 单位正交向量组
# >>>                        W=XtXW/lambda = XtA/sqrt(lambda)   //WtW == 1 == AtXXtA/lambda = AtKA/lambda = At lambda A/lambda = lambda/lambda AtA = 1
# >>>                   同时：XXtXW=lambda XW >>> KA*sqrt(lambda) = lambda A*sqrt(lambda) >>> KA = lambda A  //设A时XW/n(任意值），这个公式都成立；但按上面的设定，可以保证W单位正交。
#
# 1. W = XtA/sqrt(lambda) (A is eigVec of X@X.T)
# 2. X_rec=X@W@W.T
#========================================================
# create a callable kernel PCA object
# transformer = KernelPCA(n_components=2, kernel='linear')
# X_transformed = transformer.fit_transform(X)
eVals, eVecs=np.linalg.eig(X@X.T)
print(np.allclose(X@X.T, eVecs@np.diag(eVals)@eVecs.T))print('val',eVals)
print('val',eVals[:2])
print('vec',eVecs)
print('vec',eVecs[:2])# W = XtA/sqrt(lambda)
W=X.T@eVecs.T[:2].T@np.linalg.pinv(np.sqrt(np.diag(eVals[:2])))# X_hat = XW = XXtA/sqrt(lambda)= KA/sqrt(lambda) = lambda A/sqrt(lambda) = A*sqrt(lambda)
# 这就是源码中直接用 A*sqrt(lambda) 返回X_transformed的原因：
#<code>
# no need to use the kernel to transform X, use shortcut expression
# X_transformed = self.eigenvectors_ * np.sqrt(self.eigenvalues_)
#</code># print(X_transformed.shape)
# print(X_transformed)
#
# W=X.T@transformer.eigenvectors_
# print(transformer.eigenvectors_.shape)
# print(transformer.eigenvectors_)print("W",W)
X_rec=X@W@W.T
print(X_rec)
print(X)
print(np.linalg.norm(X - X_rec))
print(np.var(X - X_rec))

参考：

《Python机器学习》

20250412 机器学习ML -（3）数据降维（scikitlearn）

1. 背景数学小白一枚，看推理过程需要很多时间。好在有大神们源码和DS帮忙，教程里的推理过程才能勉强拼凑一二。 * 留意： 推导过程中X都是向量组表达: shape(feature, sample_n); 和numpy中的默认矩阵正好相反。 2. PCA / KPCA PCAKPCA(Li…...

编程日记 2025/9/12 6:48:53

深入解析系统频率响应：通过MATLAB模拟积分器对信号的稳态响应

稳态响应分析与MATLAB可视化在控制系统中，线性时不变系统的稳态响应是描述输入与输出之间关系的关键。对于一个频率为 ω i \omega_i ωi 的正弦输入 u ( t ) M i sin ⁡ ( ω i t φ i ) u(t) M_i \sin(\omega_i t \varphi_i) u(t)Misin(ωitφi)&…...

编程日记 2025/9/11 18:29:56

[16届蓝桥杯 2025 c++省 B] 画展布置

解题思路理解 ( L ) 的本质当 ( B ) 按平方值从小到大排序后，相邻项的差非负，此时 ( L ) 等于区间内最大平方值与最小平方值的差（数学公式推导） 滑动窗口找最小差值遍历所有长度为 ( M ) 的连续…...

编程日记 2025/9/10 13:15:00

从代码学习深度学习 - Bahdanau注意力 PyTorch版

文章目录 1. 前言为什么选择Bahdanau注意力本文目标与预备知识2. Bahdanau注意力机制概述注意力机制简述加性注意力与乘性注意力对比Bahdanau注意力的数学原理与流程图数学原理流程图可视化与直观理解3. 数据准备与预处理数据集简介数据加载与预处理1. 读取数据集2. 预处理文本…...

编程日记 2025/9/9 4:09:08

具身智能零碎知识点（三）：深入解析 “1D UNet”：结构、原理与实战

深入解析 “1D UNet”：结构、原理与实战【深度学习入门】1D UNet详解：结构、原理与实战指南一、1D UNet是什么？二、核心结构与功能1. 整体架构2. 编码器（Encoder）3. 解码器（Decoder）4. 跳跃连…...

编程日记 2025/8/24 17:50:47

基于论文的大模型应用：基于SmartETL的arXiv论文数据接入与预处理（二）

上一篇文章介绍了arXiv采集处理的任务背景、整体需求，并对数据进行了调研。本文介绍整体方案设计。 4.整体方案设计 4.1.总体流程基于上述调研了解的情况，针对工作需求设计处理流程如下： 下载kaggle数据集作为流程输入，出…...

编程日记 2025/9/12 15:17:43

Halo 设置 GitHub - OAuth2 认证指南

在当今数字化时代，用户认证的便捷性和安全性愈发重要。对于使用 Halo 搭建个人博客或网站的开发者而言，引入 GitHub - OAuth2 认证能够极大地提升用户登录体验。今天，我们就来详细探讨一下如何在 Halo 中设置 GitHub - OAuth2 认证。一、为…...

编程日记 2025/9/9 15:27:44

脑影像分析软件推荐 | AIDA介绍

目录 1.软件界面 2.工具包功能简介 3.软件安装注意事项 1.软件界面 2.工具包功能简介 AIDAmri是一种新型的基于图谱的成像数据分析流程，用于处理小鼠大脑的结构和功能数据，包括解剖MRI、基于扩散张量成像（DTI）的纤维追踪以及基…...

编程日记 2025/9/10 16:29:00

SQL：Relationship（关系）

目录 🔗 什么是 Relationship？ 三种基本关系类型（基于实体间的关系）： 1. 一对一（One-to-One） 2. 一对多（One-to-Many） 3. 多对多（Many-to-Many&#xf…...

编程日记 2025/9/11 0:08:05

【今日三题】压缩字符串(模拟) / chika和蜜柑(topK) / 01背包

⭐️个人主页：小羊 ⭐️所属专栏：每日两三题很荣幸您能阅读我的文章，诚请评论指点，欢迎欢迎 ~ 目录压缩字符串 (模拟)chika和蜜柑 (topK)01背包压缩字符串 (模拟) 压缩字符串 class Solution { public:string compressStri…...

编程日记 2025/9/10 5:48:36

PHP多维数组

在 PHP 中，多维数组是数组的数组，允许你存储和处理更复杂的数据结构。多维数组可以有任意数量的维度，但通常我们最常用的是二维数组（数组中的数组）。首先来介绍一下一维数组， <?php//一维数组 $strAr…...

编程日记 2025/9/8 18:54:04

智能手机功耗测试

随着智能手机发展，用户体验对手机的续航功耗要求越来越高。需要对手机进行功耗测试及分解优化，将手机的性能与功耗平衡。低功耗技术推动了手机的用户体验。手机功耗测试可以采用powermonitor或者NI仪表在功耗版上进行测试与优化。作为一个多功能的智能终端，手机的功耗组成极…...

编程日记 2025/9/8 9:01:51

0x02.Redis 集群的实现原理是什么？

回答重点 Redis 集群（Redis cluster）是通过多个 Redis 实例组成的，每个主节点实例负责存储部分的数据，并且可以有一个或多个从节点作为备份。具体是采用哈希槽（Hash Slot）机制来分配数据，将整…...

编程日记 2025/9/9 15:17:51

游戏引擎学习第219天

游戏运行时的当前状态目前的工作基本上就是编程，带着一种预期，那就是一切都会很糟糕，而我们需要一个系统来防止它变得更糟。接下来，我们来看看目前的进展。简要说明昨天提到的无限调试信息存储系统昨天我们完成了内存管理的…...

编程日记 2025/9/11 14:31:54

二叉树深度解析：从基础概念到算法实现与应用

一、二叉树的本质定义与核心特性 （一）递归定义与逻辑结构二叉树是一种严格有序的树结构，其递归定义为： 空树：不含任何结点的集合，是二叉树的特殊形态。非空二叉树：由以下三部分组成&#x…...

编程日记 2025/9/10 0:50:25

Model Context Protocol（MCP）模型上下文协议

Model Context Protocol（MCP）模型上下文协议前言一、什么是MCP二、MCP的作用三、MCP与Function call对比四、构建一个简单的MCP DEMO环境准备实现MCP Server运行 ServerMCP Client端配置验证总结前言在Agent时代，将Agent确立为大模型未来…...

编程日记 2025/9/7 14:10:52

代码随想录算法训练营第十六天

LeetCode题目: 530. 二叉搜索树的最小绝对差501. 二叉搜索树中的众数236. 二叉树的最近公共祖先3272. 统计好整数的数目(每日一题) 其他: 今日总结往期打卡 530. 二叉搜索树的最小绝对差跳转: 530. 二叉搜索树的最小绝对差学习: 代码随想录公开讲解问题: 给你一个二叉搜…...

编程日记 2025/9/10 6:27:00

类似东郊到家的上门按摩预约服务系统小程序APP源码全开源

🔥 为什么上门按摩正在席卷全国？ 万亿蓝海市场爆发 2024年中国按摩市场规模突破8000亿，上门服务增速达65% 90后成消费主力，**72%**白领每月至少使用1次上门按摩（数据来源：艾媒咨询） 传统痛点…...

编程日记 2025/9/7 14:15:07

MySQL 5.7.30 Linux 二进制安装包详解及安装指南

MySQL 5.7.30 Linux 安装包详解 mysql-5.7.30-linux-glibc2.12-x86_64.tar 是 MySQL 服务器 5.7.30 版本的 Linux 二进制发行包。 mysql-5.7.30-linux-glibc2.12-x86_64.tar 安装包下载链接：https://pan.quark.cn/s/2943cd209ca5 包信息版本: MySQL 5.7.30 平…...

编程日记 2025/9/6 2:13:28

C语言超详细指针知识（二）

在上一篇有关指针的博客中，我们介绍了指针的基础知识，如：内存与地址，解引用操作符，野指针等，今天我们将更加深入的学习指针的其他知识。 1.指针的使用和传址调用 1.1strlen的模拟实现库函数strlen的功能是…...

编程日记 2025/9/11 22:44:34

Java集合框架详解：核心类、使用场景与最佳实践

文章目录一、Java集合框架概览二、核心集合类详解1. List接口（有序、可重复）**ArrayList****LinkedList****List对比表** 2. Set接口（无序、唯一）**HashSet****TreeSet****Set对比表** 3. Queue接口（队列）…...

编程日记 2025/9/5 1:23:02

模板引擎语法-标签

模板引擎语法-标签文章目录模板引擎语法-标签[toc]一、用于进行判断的{% if-elif-else-endif %}标签二、关于循环对象的{% for-endfor %}标签三、关于自动转义的{% autoescape-endautoescape %}标签四、关于循环对象的{% cycle %}标签五、关于检查值是否变化的{% ifchange %}…...

编程日记 2025/9/12 0:58:06

刘火良FreeRTOS内核实现与应用学习之7——任务延时列表

在《刘火良FreeRTOS内核实现与应用学习之6——多优先级》的基础上：关键是添加了全局变量：xNextTaskUnblockTime ，与延时列表（xDelayedTaskList1、xDelayedTaskList2）来高效率的实现延时。以前需要在扫描就绪列表中所…...

编程日记 2025/9/10 22:31:52

基于红外的语音传输及通信系统设计

标题:基于红外的语音传输及通信系统设计内容:1.摘要本设计聚焦于基于红外的语音传输及通信系统，以解决传统通信方式在特定场景下的局限性为背景，旨在开发一种高效、稳定且具有一定抗干扰能力的语音传输系统。方法上，采用红外技术作为语音信…...

编程日记 2025/9/8 4:43:53

解锁AI未来，开启创新之旅——《GPTs开发详解》与《ChatGPT 4应用详解》两本书的深度解析

前言在这个数字化时代，AI技术正在以前所未有的速度改变我们的生活和工作方式。作为一名AI爱好者和从业者，我深知了解并掌握先进技术的重要性。今天，我想向大家推荐两本极具价值的书籍：《GPTs开发详解》和《ChatGPT 4应用详解》。…...

编程日记 2025/9/6 16:40:51

Linux进程通信入门：匿名管道的原理、实现与应用场景

Linux系列文章目录 Linux系列前言一、进程通信的目的二、进程通信的原理2.1 进程通信是什么2.2 匿名管道通讯的原理三、进程通讯的使用总结前言 Linux进程间同通讯（IPC）是多个进程之间交换数据和协调行为的重要机制，是我们学习Linux操作系…...

编程日记 2025/9/8 10:21:45

[SpringMVC]上手案例

创建工程新建项目，选择maven工程，原型（Archetype）选择maven的webapp，注意名称头尾。会使用到tomcat（因为是javaWeb）。新建的项目结构目录如下，如果没有java目录，需要自…...

编程日记 2025/9/2 0:21:08

kubernetes 入门篇之架构介绍

经过前段时间的学习和实践，对k8s的架构有了一个大致的理解。 1. k8s 分层架构架构层级核心组件控制平面层etcd、API Server、Scheduler、Controller Manager工作节点层Kubelet、Kube-proxy、CRI（容器运行时接口）、CNI（网络插件&…...

编程日记 2025/9/10 0:48:30

说一说 Spring 中的事务

什么是事务？ 事务就是用户定义的一系列执行SQL语句的操作, 这些操作要么完全地执行，要么完全地都不执行， 它是一个不可分割的工作执行单元。 Spring 中的事务是怎么实现的？ Spring事务底层是基于数据库事务和AOP机制的首先对于…...

编程日记 2025/9/7 7:54:30

docker容器安装的可道云挂接宿主机的硬盘目录:解决群晖威联通飞牛云等nas的硬盘挂接问题

基于Docker部署可道云（KodCloud）时，通过挂载宿主机其他磁盘目录可实现高效、安全的数据管理。具体而言，使用绑定挂载（Bind Mounts）将宿主机目录（如/data/disk2）映射到容器内的可道云…...

编程日记 2025/9/7 18:48:20

Oracle 23ai Vector Search 系列之5 向量索引（Vector Indexes）

文章目录 Oracle 23ai Vector Search 系列之5 向量索引Oracle 23ai支持的向量索引类型内存中的邻居图向量索引 (In-Memory Neighbor Graph Vector Index)磁盘上的邻居分区矢量索引 (Neighbor Partition Vector Index) 创建向量索引HNSW索引IVF索引向量索引示例参考 Windows 环…...

编程日记 2025/8/31 22:52:26

GPT模型架构与文本生成技术深度解析

核心发现概述本文通过系统分析OpenAI的GPT系列模型架构，揭示其基于Transformer解码器的核心设计原理与文本生成机制。研究显示，GPT模型通过自回归机制实现上下文感知的序列生成，其堆叠式解码器结构配合创新的位置编码方案，可有效…...

编程日记 2025/9/10 0:10:04

【读者求助】如何跨行业进入招聘岗位？

文章目录读者留言回信岗位细分1. 中介公司的招聘岗位2. 猎头专员3. 公司的招聘专员选择建议面试建议1. 请简单介绍你过去 3 年的招聘工作经历，重点说下你负责的岗位类型和规模2. 你在招聘流程中最常用的渠道有哪些？如何评估渠道效果？3. 当你…...

编程日记 2025/8/27 1:22:42

2025蓝桥杯省赛C++B组解题思路

由于题面还没出来，现在先口胡一下思路填空题直接打表找规律或者乱搞一下就能出，从大题开始说。 1，题意： 给你一个数组，这个数组里有几个数可以被一个连续递增的数字区间求和得出思路：诈骗题，显…...

编程日记 2025/9/7 18:17:03

springcloud整理

问题1.服务拆分后如何进行服务之间的调用我们该如何跨服务调用，准确的说，如何在cart-service中获取item-service服务中的提供的商品数据呢？ 解决办法：Spring给我们提供了一个RestTemplate的API，可以方便的实现Http请…...

编程日记 2025/9/10 3:57:51

游戏引擎学习第220天

介绍今天的工作主要是进行一些代码整理和清理，目的是将我们之前写过的代码重新整合在一起，使它们能够更好地协同工作。现在的阶段，我们的任务并不是进行大规模的功能开发，而是集中精力对现有的代码进行整合和思考，确…...

编程日记 2025/9/7 21:22:52

OceanBase企业版单机部署：obd命令行方式

OceanBase企业版单机部署：obd命令行方式安装包准备服务器准备最低资源配置是否部署ODP组件？仲裁服务器服务器配置操作系统内核参数BIOS设置磁盘挂载网卡设置 obd部署前配置obd部署单机版安装obd配置obd部署OB集群部署后检查环境清理与集群销毁本文介…...

编程日记 2025/9/11 0:10:01

KWDB创作者计划—KWDB认知引擎：数据流动架构与时空感知计算的范式突破

引言：数据智能的第三范式在数字化转型进入深水区的2025年，企业数据系统正面临三重悖论：数据规模指数级增长与实时决策需求之间的矛盾、多模态数据孤岛与业务连续性要求之间的冲突、静态存储范式与动态场景适配之间的鸿沟。KWDB（K…...

编程日记 2025/9/11 14:29:38

车载通信系统中基于ISO26262的功能安全与抗辐照协同设计研究

摘要：随着智能网联汽车的快速发展，车载通信系统正面临着功能安全与抗辐照设计的双重挑战。在高可靠性要求的车载应用场景下，如何实现功能安全标准与抗辐照技术的协同优化，构建满足ISO26262安全完整性等级要求的可靠通信架构&#…...

编程日记 2025/9/10 17:22:16

Oracle OCP认证考试考点详解083系列03

题记： 本系列主要讲解Oracle OCP认证考试考点（题目），适用于19C/21C,跟着学OCP考试必过。 11. 第11题： 题目解析及答案： 关于 RMAN（恢复管理器）多路复用备份集，以下哪…...

编程日记 2025/9/3 15:36:57

Spring

一.Ioc&DI 1.类的五种控制反转注解这五个注解作用都一样，只是意义不一样，用来提高代码的可读性。 Controller：控制层，接收请求，对请求进⾏处理，并进⾏响应。 Servie：业务逻辑层&#xff0…...

编程日记 2025/8/27 8:42:08

基于开源链动2+1模式、AI智能名片与S2B2C商城小程序源码的体验式关系深化与商业转化研究

摘要：本文探讨了通过体验过程中的共同经历强化关系，促使KOC（关键意见消费者）为品牌背书的机制，并深入分析了开源链动21模式、AI智能名片以及S2B2C商城小程序源码在其中的创新应用。研究发现，这些新模式和技…...

编程日记 2025/8/29 3:32:10

【区块链安全 | 第三十九篇】合约审计之delegatecall（一）

文章目录外部调用函数calldelegatecall call 与 delegatecall 的区别示例部署后初始状态调用B.testCall()函数调用B.testDelegatecall()函数区别总结漏洞代码代码审计攻击代码攻击原理解析攻击流程修复建议审计思路外部调用函数在 Solidity 中，常见的两种底层外…...

编程日记 2025/9/9 7:28:47

Kingbase 常用运维命令总结

一、数据库连接与基础操作连接指定服务器数据库 ksql -h 主机IP -p 端口号 -U 用户名 -d 数据库名 -W # 示例：连接 IP 为 192.168.1.100 的数据库 ksql -h 192.168.1.100 -p 54321 -U system -d test -W 断开数据库连接 \q 或 exit 查看数据库列表及详细信息…...

编程日记 2025/9/10 10:41:06

从零开始的C++编程 2(类和对象下)

目录 1.构造函数初始化列表 2.类型转换 3.static成员 4.友元 5.内部类 6.匿名对象 1.构造函数初始化列表 ①之前我们实现构造函数时，初始化成员变量主要使⽤函数体内赋值，构造函数初始化还有⼀种⽅式，就是初始化列表，初始化…...

编程日记 2025/9/8 15:10:16

Java---抽象类与接口

抽象类与接口前言一、抽象类1.抽象类的概念2.抽象类的语法3.抽象类的特点4.抽象类的操作5.抽象类的作用二、接口1.接口的概念2.接口语法3.接口的使用与特性4.实现多个接口5.接口之间的继承6.接口的实例(1).对象大小的比较(1).Comparable接口(2).Comparator接口 (2).实现类的克…...

编程日记 2025/9/5 22:14:17

玩转Docker | 使用Docker部署linkding书签管理工具

玩转Docker | 使用Docker部署linkding书签管理工具前言一、linkding介绍简介主要特点二、系统要求环境要求环境检查Docker版本检查检查操作系统版本三、部署linkding服务下载镜像创建容器检查容器状态检查服务端口设置登录账号与密码安全设置四、访问linkding服务访问linkding…...

编程日记 2025/9/8 3:56:28

K8s 集群网络疑难杂症：解决 CNI 网络接口宕机告警的完整指南

引言在 Kubernetes 集群运维过程中，网络问题往往是最棘手的故障之一。当你收到一条 [CRITICAL] 网络接口宕机 (172.18.109.55:9100) 的告警，并且告警内容显示 172.18.109.55:9100 的网络接口 cni0 已宕机5分钟时，这通常意味着你的 Kubernetes 集群中有一个节点的容器网络…...

编程日记 2025/9/5 5:59:50

程序员/运维绘图工具---Mermaid

效果介绍 Mermaid 是一种基于文本的图表生成工具，通过类似 Markdown 的简洁语法快速创建流程图、甘特图、类图等各类专业图表应用场景程序员绘图系统架构图&代码逻辑可视化项目管理图数据可视化 AI辅助生成：LLM生成mermaid代码然后去渲染成…...

编程日记 2025/9/8 1:28:34

《MATLAB实战训练营：从入门到工业级应用》趣味入门篇-用MATLAB画一朵会动的3D玫瑰：从零开始的浪漫编程之旅

《MATLAB实战训练营：从入门到工业级应用》趣味入门篇-🌹用MATLAB画一朵会动的3D玫瑰：从零开始的浪漫编程之旅你是否想过用代码创造一朵永不凋谢的玫瑰？今天，我将带你走进MATLAB的奇妙世界，用数学公式和编…...

编程日记 2025/9/12 12:43:30

1. 背景

2. PCA / KPCA

参考：

相关文章：