当前位置：首页 > news >正文

特征值与特征向量的计算——PCA的数学基础

news 来源：原创 2025/7/19 7:46:32

特征值与特征向量

定义令 ${\bm A}$ 为 $\times n$ 矩阵，如果存在非零向量 ${\bm x}$ 使得

${\bm A}{\bm x} = \lambda {\bm x}\tag{1}$

成立，则称数 $\lambda$ 是矩阵 ${\bm A}$ 的特征值，称非零向量 ${\bm x}$ 为属于（或对应于） $\lambda$ 的特征向量。

线性变换对特征向量的作用仅是进行某种程度的收缩或拉伸，特征值是收缩或拉伸的倍数（缩放因子）。

需要注意的是，定义中特征向量 $\boldsymbol{x} \neq \boldsymbol{0}$ ; 矩阵 $\boldsymbol{A}$ 是方阵，也就是说，特征值问题只针对方阵而言。

例设

$\boldsymbol{A} = \begin{bmatrix} 4 & -2 \\ 1 & 1 \end{bmatrix} \quad \text{及} \quad \boldsymbol{x} = \begin{bmatrix} 2 \\ 1 \end{bmatrix}$

由于

$\boldsymbol{A}\boldsymbol{x} = \begin{bmatrix} 4 & -2 \\ 1 & 1 \end{bmatrix} \begin{bmatrix} 2 \\ 1 \end{bmatrix} = \begin{bmatrix} 6 \\ 3 \end{bmatrix} = 3 \begin{bmatrix} 2 \\ 1 \end{bmatrix} = 3\boldsymbol{x}$

可得， $\lambda = 3$ 是 $\boldsymbol{A}$ 的一个特征值，且 $\boldsymbol{x} = (2, 1)^\top$ 为一个属于 $\lambda$ 的特征向量。

事实上，任何 $\boldsymbol{x}$ 的一个非零倍数都是一个特征向量，因为

$\boldsymbol{A}(\alpha \boldsymbol{x}) = \alpha \boldsymbol{A}\boldsymbol{x} = \alpha \lambda \boldsymbol{x} = \lambda (\alpha \boldsymbol{x})$

因此， $2)^\top$ 也是 $\lambda = 3$ 的特征向量。

方程 $\boldsymbol{A}\boldsymbol{x} = \lambda \boldsymbol{x}$ 可写为

$(\boldsymbol{A} - \lambda \boldsymbol{I})\boldsymbol{x} = \boldsymbol{0} \tag{2}$

因此， $\lambda$ 为 $\boldsymbol{A}$ 的特征值的充要条件是式 (2) 有非零解。式 (2) 的解集为 $V_{\lambda}(\boldsymbol{A}) = \{\boldsymbol{x} | (\boldsymbol{A} - \lambda \boldsymbol{I})\boldsymbol{x} = \boldsymbol{0}\}$ ，它是 $\mathbb{R}^n$ 的一个子空间。因此，若 $\lambda$ 是 $\boldsymbol{A}$ 的一个特征值，则 $V_{\lambda}(\boldsymbol{A}) \neq \{\boldsymbol{0}\}$ ，且 $V_{\lambda}(\boldsymbol{A})$ 中的任何非零向量均为属于 $\lambda$ 的特征向量。子空间 $V_{\lambda}(\boldsymbol{A}) = \{\boldsymbol{x} | (\boldsymbol{A} - \lambda \boldsymbol{I})\boldsymbol{x} = \boldsymbol{0}\}$ 称为对应于特征值 $\lambda$ 的特征子空间。

式 (2) 有非零解的充要条件是 $\boldsymbol{A} - \lambda \boldsymbol{I}$ 为奇异的，或等价地

$\det(\boldsymbol{A} - \lambda \boldsymbol{I}) = 0 \tag{3}$

式 (3) 中的行列式展开后得到一个关于 $\lambda$ 的 $n$ 次多项式， $\lambda_0$ 是 $\boldsymbol{A}$ 的特征值的充要条件是 $\lambda_0$ 为多项式 $\det(\boldsymbol{A} - \lambda \boldsymbol{I})$ 的根。因此，有如下定义：

定义设 $\boldsymbol{A} = (a_{ij})_{n \times n}$ ，则

$p(\lambda) = \det(\boldsymbol{A} - \lambda \boldsymbol{I}) = \begin{vmatrix} a_{11} - \lambda & a_{12} & \cdots & a_{1n} \\ a_{21} & a_{22} - \lambda & \cdots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{n1} & a_{n2} & \cdots & a_{nn} - \lambda \end{vmatrix} \tag{4}$
称为 $n$ 阶方阵 $\boldsymbol{A}$ 的特征多项式，式 (3) 称为矩阵 $\boldsymbol{A}$ 的特征方程。

由定义可知，特征多项式的根即为方阵 $\boldsymbol{A}$ 的特征值。如果对重根也计数，则特征多项式恰有 $n$ 个根。因此 $\boldsymbol{A}$ 将有 $n$ 个特征值，其中某些可能会重复，特征值可能为实数，也可能会是复数。对后一种情形，需要在复数范围内进行讨论，允许向量和矩阵的元素可以是复数。

由上述讨论可得，求矩阵 $\boldsymbol{A}$ 的特征值和特征向量的步骤如下：

(1) 计算 $n$ 阶矩阵 $\boldsymbol{A}$ 的特征多项式 $\det(\boldsymbol{A} - \lambda \boldsymbol{I})$ ;

(2) 求特征方程 $\det(\boldsymbol{A} - \lambda \boldsymbol{I}) = 0$ 所有的根 $\lambda_1, \lambda_2, \cdots, \lambda_n$ ，即矩阵 $\boldsymbol{A}$ 的全部特征值；

(3) 对于每一个特征值 $\lambda_i$ ，求解齐次线性方程组 $(\boldsymbol{A} - \lambda_i \boldsymbol{I})\boldsymbol{x} = \boldsymbol{0}$ 的一个基础解系 $\boldsymbol{x}_1, \boldsymbol{x}_2, \cdots, \boldsymbol{x}_k$ ，于是 $\boldsymbol{A}$ 的属于特征值 $\lambda_i$ 的全部特征向量为

$\boldsymbol{x} = c_1 \boldsymbol{x}_1 + c_2 \boldsymbol{x}_2 + \cdots + c_k \boldsymbol{x}_k, \quad \text {其中 } c_1, c_2, \cdots, c_k \text{ 是不全为零的数}$

例求矩阵 $\boldsymbol{A} = \begin{bmatrix} 3 & 2 \\ 3 & -2 \end{bmatrix}$ 的特征值和特征向量。

解： $\boldsymbol{A}$ 的特征多项式为

$|\boldsymbol{A} - \lambda \boldsymbol{I}| = \begin{vmatrix} 3 - \lambda & 2 \\ 3 & -2 - \lambda \end{vmatrix} = \lambda^2 - \lambda - 12$

所以 $\boldsymbol{A}$ 的特征值为 $\lambda_1 = 4, \lambda_2 = -3$ 。

当 $\lambda_1 = 4$ 时，解方程组 $(\boldsymbol{A} - 4 \boldsymbol{I})\boldsymbol{x} = \boldsymbol{0}$ ，由

$\boldsymbol{A} - 4 \boldsymbol{I} = \begin{bmatrix} -1 & 2 \\ 3 & -6 \end{bmatrix} \rightarrow \begin{bmatrix} 1 & -2 \\ 0 & 0 \end{bmatrix}$

得基础解系为 $\boldsymbol{x}_1 = (2, 1)^\top$ ，因此 $c_1 \boldsymbol{x}_1$ （ $c_1 \neq 0$ ）为 $\boldsymbol{A}$ 的属于特征值 4 的特征向量。

当 $\lambda_2 = -3$ 时，解方程组 $(\boldsymbol{A} + 3 \boldsymbol{I})\boldsymbol{x} = \boldsymbol{0}$ ，由

$\boldsymbol{A} + 3 \boldsymbol{I} = \begin{bmatrix} 6 & 2 \\ 3 & 1 \end{bmatrix} \rightarrow \begin{bmatrix} 3 & 1 \\ 0 & 0 \end{bmatrix}$

得基础解系为 $\boldsymbol{x}_2 = (-1, 3)^\top$ ，因此 $c_2 \boldsymbol{x}_2$ （ $c_2 \neq 0$ ）为 $\boldsymbol{A}$ 的属于特征值 -3 的特征向量。

例求矩阵

$\begin{bmatrix} 2 & -3 & 1 \\ 1 & -2 & 1 \\ 1 & -3 & 2 \end{bmatrix}$

的特征值和特征向量。

解： $\boldsymbol{A}$ 的特征多项式为

$\boldsymbol{A} - \lambda \boldsymbol{I} | = \begin{vmatrix} 2 - \lambda & -3 & 1 \\ 1 & -2 - \lambda & 1 \\ 1 & -3 & 2 - \lambda \end{vmatrix} = -\lambda (\lambda - 1)^2$

所以 $\boldsymbol{A}$ 的特征值为 $\lambda_1 = 0, \lambda_2 = \lambda_3 = 1$ 。

当 $\lambda_1 = 0$ 时，解方程组 $\boldsymbol{A}\boldsymbol{x} = \boldsymbol{0}$ ，由

$\boldsymbol{A} = \begin{bmatrix} 2 & -3 & 1 \\ 1 & -2 & 1 \\ 1 & -3 & 2 \end{bmatrix} \rightarrow \begin{bmatrix} 1 & 0 & -1 \\ 0 & 1 & -1 \\ 0 & 0 & 0 \end{bmatrix}$

得基础解系为 $\boldsymbol{x}_1 = (1, 1, 1)^\top$ ，因此 $c_1 \boldsymbol{x}_1$ （ $c_1 \neq 0$ ）为 $\boldsymbol{A}$ 的属于特征值 0 的特征向量。

当 $\lambda_2 = \lambda_3 = 1$ 时，解方程组 $(\boldsymbol{A} - \boldsymbol{I})\boldsymbol{x} = \boldsymbol{0}$ ，由

$\boldsymbol{A} - \boldsymbol{I} = \begin{bmatrix} 1 & -3 & 1 \\ 1 & -3 & 1 \\ 1 & -3 & 1 \end{bmatrix} \rightarrow \begin{bmatrix} 1 & -3 & 1 \\ 0 & 0 & 0 \\ 0 & 0 & 0 \end{bmatrix}$

得基础解系为 $\boldsymbol{x}_2 = (3, 1, 0)^\top$ 和 $\boldsymbol{x}_3 = (-1, 0, 1)^\top$ ，因此 $c_2 \boldsymbol{x}_2 + c_3 \boldsymbol{x}_3$ （ $c_2, c_3$ 不全为 0）为 $\boldsymbol{A}$ 的属于特征值 1 的特征向量。

特征值与特征向量

相关文章：