当前位置：首页 > news >正文

PCA主成分分析法(最大投影方差,最小重构距离,SVD角度)

news 来源：原创 2025/5/11 11:55:32

统计分析中，数据的变量之间可能存在相关性，以致增加了分析的难度。于是，考虑由少数不相关的变量来代替相关的变量，用来表示数据，并且要求能够保留数据中的大部分信息。

在信号处理领域,信号具有较大方差,噪声具有较小方差,因此,我们不难引出PCA的目标,即最大化投影方差,即让数据在主轴上投影的方差最大.

最大投影方差

推导过程

给定一组数据点 $\left \{ v_{1},v_{2},v_{3},... ,v_{n} \right \}$ ,其中每个向量均为列向量

中心化为 $\left \{ x_{1},x_{2},...,x_{n} \right \}=\left \{ v_{1}-\mu,v_{2}-\mu,... ,v_{n}-\mu \right \}$

由于向量内积在几何上表示为第一个向量投影到第二个向量上的长度,又由于投影之后均值为0,因此向量 $_{}$ $x_{i}$ 在w(单位方向向量)上的投影方差可以表示为

$D(x)=\frac{1}{n}\sum_{i=1}^{n}(x_{i}^{T}w)^{2}=\frac{1}{n}\sum_{i=1}^{n}(x_{i}^{T}w)^{T}(x_{i}^{T}w)\\=\frac{1}{n}\sum_{i=1}^{n}w^{T}x_{i}x_{i}^{T}w\\=w^{T}(\frac{1}{n}\sum_{i=1}^{n}x_{i}x_{i}^{T})w$

其中

$\frac{1}{n}\sum_{i=1}^{n}x_{i}x_{i}^{T}$ 是样本协方差矩阵,记为 $\Sigma$ ,(协方差矩阵计算的是不同维度之间的协方差而不是不同样本之间的)且w是单位方向向量,有 $w^{T}w=1$

引入拉格朗日乘子,对w求导令其等于0

$L(w,\lambda )=w^{T}\Sigma w+\lambda (1-w^{T}w)\\ \frac{\partial L}{\partial w}=2\Sigma w-\lambda 2w=0\\ \Sigma w=\lambda w$

此时

$D(x)=w^{T}\Sigma w=\lambda w^{T} w=\lambda$

即样本投影后的方差就是协方差矩阵的特征值,最佳投影方向就是最大特征值所对应的特征向量.

求解方法

(1)样本数据中心化处理

(2)求样本协方差矩阵

(3)对协方差矩阵进行特征值分解,将特征值从大到小排列

(4)取特征值前d大对应的特征向量,并将n维样本映射到d维

$x_{i}^{'}=\left[\begin{array}{c} w_{1}^{T} x_{i}\\ w_{2}^{T} x_{i} \\ \vdots \\w_{d}^{T} x_{i} \end{array}\right]$

降维后的信息占比

$\displaystyle\eta =\sqrt{\frac{\sum_{i=1}^{d}{\lambda _{i}}^{2}}{\sum_{i=1}^{n}{\lambda _{i}}^{2}}}$

最小重构距离

令

$x_{i}=\sum_{k=1}^{p}(x_{i}^{T}w_{k})w_{k}$ 表示样本投影后的坐标值

$\hat{x_{i}}=\sum_{k=1}^{q}(x_{i}^{T}w_{k})w_{k}$ 表示样本投影后降维选取前q大的坐标值

目标是令

$J=\frac{1}{N}\sum_{i=1}^{N}||x_{i}-\hat{x_{i}}||^{2}$ 最小

展开

$=\frac{1}{N}\sum_{i=1}^{N}||\sum_{k=q+1}^{p}(x_{i}^{T}w_{k})w_{k}||^{2}\\ =\frac{1}{N}\sum_{i=1}^{N}\sum_{k=q+1}^{p}(x_{i}^{T}w_{k})^{2}\\$

由于xi已经中心化过了

$=\sum_{i=1}^N\sum_{k=q+1}^p\frac1N\left((x_i-\bar x)^Tw_k \right )^2\\ =\sum_{k=q+1}^pw_k^T\Sigma w_k,\quad\text{s.t.}~w_k^Tw_k=1.$

所以最小重构距离和最大投影方差是等价的

SVD角度

思路:不求样本的协方差矩阵,而是对中心化后的数据进行奇异值分解

对中心化后的数据进行奇异值分解

$X_{N*P}=U\Sigma V^{T}\\$

样本协方差矩阵为

$S=X^{T}X=V\Sigma U^{T}U\Sigma V^{T}=V\Sigma^{2} V^{T}$

对照特征值分解的S

$S=GKG^{T}$

得到

G=V

K= $\Sigma ^{2}$

从 SVD 角度看，PCA 的投影矩阵可以直接从 V 中获取。V 的列向量就是协方差矩阵 S 的特征向量，而奇异值的平方与协方差矩阵的特征值成正比。选取前 k 个右奇异向量构成投影矩阵，就能够实现数据的降维。

参考

<统计学习方法>

<百面机器学习>

(系列五) 降维1-背景_哔哩哔哩_bilibili

最大投影方差

最小重构距离

SVD角度

相关文章：