当前位置：首页 > news >正文

7.4 SVD 的几何背景

news 来源：原创 2025/8/22 21:04:21

一、SVD 的几何解释

SVD 将矩阵分解成三个矩阵的乘积： $(\pmb{正交矩阵})\times(\pmb{对角矩阵})×(\pmb{正交矩阵})$ ，用几何语言表述其几何背景： $(\pmb{旋转})\times(\pmb{伸缩})\times(\pmb{旋转})$ . $U\Sigma V^T\boldsymbol x$ 首先旋转得到 $V^T\boldsymbol x$ ，然后 $\Sigma$ 伸缩该向量得到 $\Sigma V^T\boldsymbol x$ ，最后矩阵 $U$ 旋转得到 $A\boldsymbol x=U\Sigma V^T\boldsymbol x$ ，下面是图片：

在这里插入图片描述
诚然，上图仅适用于某些 $2\times2$ 的矩阵，并非所有 $2\times2$ 的矩阵都适用，因为 $U$ 和 $V$ 并不包含反射 —— 这三个矩阵的行列式都大于 $0$ . 此处的矩阵 $A$ 一定可逆，因为这三个矩阵均可逆： $\begin{bmatrix}a&b\\c&d\end{bmatrix}=\begin{bmatrix}\cos\theta&-\sin\theta\\\sin\theta&\kern 7pt\cos\theta\end{bmatrix}\begin{bmatrix}\sigma_1\\&\sigma_2\end{bmatrix}\begin{bmatrix}\kern 7pt\cos\phi&\sin\phi\\-\sin\phi&\cos\phi\end{bmatrix}=U\Sigma V^T\kern20pt(7.4.1)$ 由矩阵 $A$ 中的四个元素 $a, b, c, d$ 得到 SVD 中的四个数 $\theta,\sigma_1,\sigma_2,\phi$ .
由这张图导出矩阵代数中的三个重要概念：

矩阵范数 $||\pmb{A}||$ —— 矩阵最大的增长因子.
极分解 $A=QS \pmb{A=QS}$ —— 正交矩阵 $Q$ 乘正定矩阵 $S$ .
伪逆 $\pmb{A^+}$ —— 当 $A$ 不可逆时的最佳逆矩阵.

二、矩阵范数

如果要在 Figure 7.5 中选择一个关键的数字，那么就是 $\sigma_1$ ，这个数字是任意向量 $\boldsymbol x$ 的最大增长因子。观察 Figure 7.5 中左边的向量 $\boldsymbol v_1$ ，可以看到它先旋转至 $(1, 0)$ ，然后伸缩成 $(\sigma_1,0)$ ，最后再旋转至 $\sigma_1\boldsymbol u_1$ ，表达式 $A\boldsymbol v_1=\sigma_1\boldsymbol u_1$ 就是奇异值分解，这个最大的奇异值 $\sigma_1$ 是矩阵 $A$ 的 “范数（norm）”.

$范数\, ||A||\,是\,\frac{||A\boldsymbol x||}{||\boldsymbol x||}\,的最大值，{\color{blue}||A||=\underset{\boldsymbol x\neq\boldsymbol 0}{\max}\frac{||A\boldsymbol x||}{||\boldsymbol x||}=\sigma_1}\kern 20pt(7.4.2)$

MATLAB 中使用 $\textrm{norm}(\boldsymbol x)$ 得到向量 $\boldsymbol x$ 长度，使用 $\textrm{norm}(\boldsymbol x)$ 得到矩阵 $A$ 的范数。数学符号是双竖线： $||\boldsymbol x||$ 和 $∣∣ A ∣∣$ ，这里 $||\boldsymbol x||$ 的意思是向量的长度： $||\boldsymbol x||^2=|x_1|^2+|x_2|^2+\cdots+|x_n|^2$ ，矩阵的范数也来源于向量范数，当 $\boldsymbol x=\boldsymbol v_1$ 且 $A\boldsymbol x=\sigma_1\boldsymbol u_1$ ，则 $\displaystyle\frac{||A\boldsymbol x||}{||\boldsymbol x||}=\sigma_1$ ，即最大的比值是 $∣∣ A ∣∣$ .
由定义直接得到数值 $\textrm{norm}(A)$ 的两条重要性质：

$\pmb{三角不等式}\kern 5pt{\color{blue}||A+B||\leq||A||+||B||}\kern 20pt\pmb{乘积不等式}\kern 5pt{\color{blue}||AB||\leq||A||\,||B||}\kern 15pt(7.4.3)$

由定义（7.4.2）可知，对于任意向量 $\boldsymbol x$ 都有 $||A\boldsymbol x||\leq||A||\,||\boldsymbol x||$ ，然后再由向量的三角不等式推出矩阵的三角不等式： $\pmb{对于向量}\kern 20pt||(A+B)\boldsymbol x||\le||A\boldsymbol x||+||B\boldsymbol x||\le||A||\,||\boldsymbol x||+||B||\,||\boldsymbol x||$ 然后同时除以 $||\boldsymbol x||$ ，遍历所有的 $\boldsymbol x$ 取最大值，即得： $||A+B||\le||A||+||B||$ .
乘积不等式可以由 $||AB\boldsymbol x||\le||A||\,||B\boldsymbol x||\le||A||\,||B||\,||\boldsymbol x||$ 快速得到，同样除以 $||\boldsymbol x||$ ，再遍历所有的 $\boldsymbol x$ 取最大值，结果就是 $||AB||\le||A||\,||B||$ .

【例1】秩一矩阵 $A=\boldsymbol u\boldsymbol v^T$ 是我们能得到的最基础的矩阵，它有一个非零的特征值 $\lambda_1$ 和一个非零的奇异值 $\sigma_1$ ，此外，它的特征向量是 $\boldsymbol u$ ，左和右奇异向量是 $\boldsymbol u$ 和 $\boldsymbol v$ . $\begin{array}{lll}\pmb{特征向量}&A\boldsymbol u=(\boldsymbol u\boldsymbol v^T)\boldsymbol u=\boldsymbol u(\boldsymbol v^T\boldsymbol u)=\lambda_1\boldsymbol u&所以\,\lambda_1=\boldsymbol v^T\boldsymbol u\\\\\pmb{奇异向量}&A^TA\boldsymbol v=(\boldsymbol v\boldsymbol u^T)(\boldsymbol u\boldsymbol v^T)\boldsymbol v=\boldsymbol v(\boldsymbol u^T\boldsymbol u)(\boldsymbol v^T\boldsymbol v)&所以\,\sigma_1=||\boldsymbol u||\,||\boldsymbol v||\end{array}$ 而 $|\lambda_1|\le\sigma_1$ 正好对应施瓦茨不等式 $|\boldsymbol v^T\boldsymbol u|\le||\boldsymbol u||\,||\boldsymbol v||$ .
换个角度解释 $|\lambda_1|\le\sigma_1$ ， $A\boldsymbol x=\lambda_1\boldsymbol x$ 中的特征向量得到比值 $\displaystyle\frac{||A\boldsymbol x||}{||\boldsymbol x||}=\frac{||\lambda_1\boldsymbol x||}{||\boldsymbol x||}$ ，这个就是 $|\lambda_1|$ ，最大的比值 $\sigma_1$ 不可能小于 $|\lambda_1|$ .
那么 $|\lambda_2|\le\sigma_2$ 也是正确的吗？不，这个完全是错误的，实际上 $2\times2$ 的矩阵有 $|\det A|=|\lambda_1\lambda_2|=\sigma_1\sigma_2$ ，由于 $|\lambda_1|\le\sigma_1$ 将会得到 $|\lambda_2|\ge|\sigma_2|$ .
$\pmb{距离矩阵\,A\,最近的秩\,k\,矩阵是\,A_k=\sigma_1\boldsymbol u_1\boldsymbol v_1^T+\sigma_2\boldsymbol u_2\boldsymbol v_2^T+\cdots+\sigma_k\boldsymbol u_k\boldsymbol v_k^T}$ 这是矩阵逼近理论中的关键结果：埃卡特-杨-米尔斯基（Eckart-Young-Mirsky）定理，其表述为 $\pmb{对所有的秩\,k\,矩阵都有：||A-B||\ge||A-A_k||=\sigma_{k+1}}$ 这一结论完善了线性代数基本定理， $\boldsymbol v_i$ 和 $\boldsymbol u_i$ 给出矩阵 $A$ 四个基本子空间的标准正交基，前 $k$ 个 $\boldsymbol v_i$ 和 $\boldsymbol u_i$ 和 $\sigma_i$ 给出了 $A$ 的最佳近似。

三、极分解 A = QS

每个复数 $x + i y$ 都有极形式 $re^{i\theta}$ ，即是一个数字 $r\ge0$ 乘上单位圆周上的数 $e^{i\theta}$ ，我们有 $x+iy=r\cos\theta+ir\sin\theta=r(\cos\theta+i\sin\theta)=re^{i\theta}$ . 将这些数看成 $1\times1$ 的矩阵，则 $e^{i\theta}$ 就是一个正交矩阵 $Q$ ，而 $r\ge0$ 是一个半正定矩阵（positive semidefinite matrix，称为 $S$ ），将这个思想推广到 $n\times n$ 的矩阵就是极分解（polar decomposition） 的概念：正交矩阵乘半正定矩阵， $A=QS \pmb{A=QS}$ .

任意的实方阵都可以分解为 $A=QS \pmb{A=QS}$ ，这里 $Q$ 是正交矩阵， $S$ 是对称半正定矩阵。如果 $A$ 可逆，则 $S$ 是正定矩阵。

只需要插入 $V^TV=I$ 代入 SVD 的中间，即可得到证明： ${\color{blue}\pmb{极分解\kern 15ptA=U\Sigma V^T=(UV^T)(V\Sigma V^T)=(Q)(S)}}\kern 20pt(7.4.4)$ 第一个因子 $UV^T$ 是 $Q$ ，因为正交矩阵的乘积仍是正交矩阵。第二个因子 $V\Sigma V^T$ 是 $S$ ，它是半正定矩阵，因为它的特征值在 $\Sigma$ 中。
如果 $A$ 可逆，则 $\Sigma$ 和 $S$ 都可逆。由于 $S^2=V\Sigma^2V^T=A^TA$ ，所以 $\pmb S$ 是 $ATA \pmb{A^TA}$ 的对称正定平方根，所以 $S$ 的特征值就是 $A$ 的奇异值， $S$ 的特征向量就是 $A$ 的奇异向量 $\boldsymbol v$ .
还有一种逆序的极分解 $A = K Q$ ， $Q$ 是一样的，但是 $K=U\Sigma U^T$ ，此时 $K$ 是 $AA^T$ 的半正定平方根。

【例2】有 $A=\begin{bmatrix}3&0\\4&5\end{bmatrix}=U\Sigma V^T$ ，求出极分解 $A = QS$ 的因子 $Q$ （旋转因子）和 $S$ （伸缩矩阵）。
解： $\begin{array}{l}U=\displaystyle\frac{1}{\sqrt{10}}\begin{bmatrix}1&-3\\3&\kern 7pt1\end{bmatrix}\kern 10pt\Sigma=\begin{bmatrix}\sqrt{45}\\&\sqrt5\end{bmatrix}\kern 10ptV=\frac{1}{\sqrt2}\begin{bmatrix}1&-1\\1&\kern 7pt1\end{bmatrix}\\\\Q=UV^T=\displaystyle\frac{1}{\sqrt{20}}\begin{bmatrix}1&-3\\3&\kern 7pt1\end{bmatrix}\begin{bmatrix}\kern 7pt1&1\\-1&1\end{bmatrix}=\frac{1}{\sqrt{20}}\begin{bmatrix}4&-2\\2&\kern 7pt4\end{bmatrix}=\frac{1}{\sqrt5}\begin{bmatrix}2&-1\\1&\kern 7pt2\end{bmatrix}\\\\S=V\Sigma V^T=\displaystyle\frac{\sqrt5}{2}\begin{bmatrix}1&-1\\1&\kern 7pt1\end{bmatrix}\begin{bmatrix}3\\&1\end{bmatrix}\begin{bmatrix}\kern 7pt1&1\\-1&1\end{bmatrix}=\sqrt5\begin{bmatrix}2&1\\1&2\end{bmatrix}\end{array}$ 则 $A=QS \pmb{A=QS}$ .
在力学中，极分解将旋转（在 $Q$ 中）和伸缩（在 $S$ 中）分开了。在 Figure 7.5 中， $S$ 的特征值得到伸缩因子，特征向量给出了伸缩方向（椭圆的主轴）；正交矩阵 $Q$ 包含了旋转矩阵 $U$ 和 $V^T$ 。
关于旋转的一个事实： $Q=UV^T$ 是最接近 $A$ 的正交矩阵，这个 $Q$ 使得范数 $∣∣ Q - A ∣∣$ 尽可能的小。与此相对应的是 $e^{i\theta}$ 是单位圆周上最接近 $re^{i\theta}$ 最近的点。
SVD 告诉我们关于最近的奇异矩阵更重要的事实：

最接近 $A$ 的奇异矩阵 $A_0$ 就是将它最小的奇异值 $\sigma_{\min}$ 置零。

所以 $\sigma_{\min}$ 是度量 $A$ 到奇异矩阵的距离，对于例 $2$ 中的矩阵，这个距离是 $\sigma_{\min}=\sqrt5$ ，如果将 $\sigma_{\min}$ 置零，就是踢除 $A=\sigma_1\boldsymbol u_1\boldsymbol v_1^T+\sigma_2\boldsymbol u_2\boldsymbol v_2^T$ 中的最后（最小的）一项，那么就只有一个秩一（奇异）矩阵 $\sigma_1\boldsymbol u_1\boldsymbol v_1^T$ 会剩下来：最接近 $A$ . 这个最小的变化范数是 $\sigma_2=\sqrt5$ （比 $3$ 小）。
在计算机实践中，经常会踢掉一些非常小的 $\sigma$ ，处理奇异矩阵要比处理这些趋近于零矩阵的部分而且无法注意到的要更好。

四、伪逆 $A^+$

通过选择一组好基， $A$ 乘行空间中的 $\boldsymbol v_i$ 得到列空间中的 $\sigma_i\boldsymbol u_i$ ， $A^{-1}$ 对应的是相反的操作，如果 $A\boldsymbol v=\sigma\boldsymbol u$ ，则 $A^{-1}\boldsymbol u=\displaystyle\frac{\boldsymbol v}{\sigma}$ ， $A^{-1}$ 的奇异值是 $\displaystyle\frac{1}{\sigma}$ ，就像 $A^{-1}$ 的特征值是 $\displaystyle\frac{1}{\lambda}$ . 基被反转后， $\boldsymbol u$ 在 $A^{-1}$ 的行空间， $\boldsymbol v$ 在 $A^{-1}$ 的列空间。
到这里我们一般都会加上如果 $A^{-1}$ 存在这样的条件，但是这里不用，一个乘 $\boldsymbol u_i$ 得到 $\displaystyle\frac{\boldsymbol v_i}{\sigma_i}$ 的矩阵一定存在，它就是伪逆 $A^{+}$ ： $\begin{array}{l}\pmb{A\,的伪逆}\\{\color{blue}A^+=V\Sigma^+U^T}&=\begin{bmatrix}\\\boldsymbol v_1&\cdots&\boldsymbol v_r&\cdots&\boldsymbol v_n\\\,\end{bmatrix}\begin{bmatrix}\sigma_1^{-1}\\&\ddots\\&&\sigma_r^{-1}\end{bmatrix}\begin{bmatrix}\\\boldsymbol u_1&\cdots&\boldsymbol u_r&\cdots&\boldsymbol u_n\\\,\end{bmatrix}^T\\&n\times n\kern 80ptn\times m\kern 80ptm\times m\end{array}$ 伪逆（pseudoinverse） $A^{+}$ 是一个 $n\times m$ 的矩阵，如果 $A^{-1}$ 存在，则 $A^+$ 和 $A^{-1}$ 一样，在 $m = n = r$ 这种情况下， $U\Sigma V^T$ 的逆就是 $V\Sigma^{-1}U^T$ . 如果 $r < m$ 或 $r < n$ ，我们就需要新的符号 $A^+$ ，此时虽然 $A$ 没有双边逆矩阵（左逆和右逆），但是它有一个有相同秩的伪逆 $A^+$ ： $\color{blue}对于\,i\le r：A^+\boldsymbol u_i=\frac{1}{\sigma_i}\boldsymbol v_i\kern 15pt对于\,i>r：A^+\boldsymbol u_i=\boldsymbol 0$ $A$ 列空间中的向量 $\boldsymbol u_1,\boldsymbol u_2,\cdots\,\boldsymbol u_r$ 可以回到行空间中的向量 $\boldsymbol v_1,\boldsymbol v_2,\cdots,\boldsymbol v_r$ ，其余的向量 $\boldsymbol u_{r+1},\boldsymbol u_{r+2},\cdots,\boldsymbol u_m$ 在左零空间， $A^+$ 将它们映射为零向量。当我们知道了这些全部基向量如何变化，也就知道了 $A^+$ .
注意对角矩阵 $\Sigma$ 的伪逆， $\Sigma$ 中的每个 $\sigma$ 对应 $\Sigma^+$ 中的 $\sigma^{-1}$ ，乘积 $\Sigma^+\Sigma$ 是一个很接近单位矩阵的矩阵，它是一个投影矩阵，它包含子矩阵 $I$ ，其余的都是零。我们可以对每个 $\sigma$ 求逆，但是对零行和零列什么也做不了。下例中 $\sigma_1=2,\sigma_2=3$ ： $\Sigma^+\Sigma=\begin{bmatrix}\pmb{1/2}&0&0\\0&\pmb{1/3}&0\\0&0&\pmb0\end{bmatrix}\begin{bmatrix}\pmb2&0&0\\0&\pmb3&0\\0&0&\pmb0\end{bmatrix}=\begin{bmatrix}\pmb1&0&0\\0&\pmb1&0\\0&0&\pmb0\end{bmatrix}=\begin{bmatrix}\pmb I&0\\0&\pmb0\end{bmatrix}$ 伪逆 $A^+$ 是一个 $n\times m$ 的矩阵，它使得 $AA^+$ 和 $A^+A$ 成为投影矩阵。

在这里插入图片描述

$\begin{array}{l}\pmb{对比}\\AA^{-1}=A^{-1}A=I\end{array}\kern 16pt\color{blue}\begin{array}{l}AA^+=到\,A\,列空间上的投影矩阵\\A^+A=到\,A\,行空间上的投影矩阵\end{array}$

注：Figure 7.6 中 $A^+A=\begin{bmatrix}I&0\\0&0\end{bmatrix}$ 是在 SVD 正交基（右奇异向量）的表示，其几何意义是保留行空间的分量，将零空间分量归零。

【例3】每个秩一矩阵都是一个行向量乘一个列向量。取单位向量 $\boldsymbol u$ 和 $\boldsymbol v$ ，则 $A=\sigma\boldsymbol u\boldsymbol v^T$ ，它的伪逆是 $A^+=\displaystyle\frac{\boldsymbol v\boldsymbol u^T}{\sigma}$ ，乘积 $AA^+$ 是 $\boldsymbol u\boldsymbol u^T$ ，就是到过向量 $\boldsymbol u$ 的直线上的投影。乘积 $A^+A$ 是 $\boldsymbol v\boldsymbol v^T$ .

【例4】求 $A=\begin{bmatrix}1&1\\1&1\end{bmatrix}$ 的伪逆。这个矩阵不可逆，它的秩为 $1$ ，唯一的奇异值是 $\sigma_1=2$ ，伪逆的奇异值就是 $\sigma_1$ 的倒数，它在秩一的 $\Sigma^+$ 中： $A^+=V\Sigma^+U^T=\frac{1}{\sqrt2}\begin{bmatrix}1&\kern 7pt1\\1&-1\end{bmatrix}\begin{bmatrix}1/2&0\\0&0\end{bmatrix}\frac{1}{\sqrt2}\begin{bmatrix}1&\kern 7pt1\\1&-1\end{bmatrix}=\pmb{\frac{1}{4}\begin{bmatrix}1&1\\1&1\end{bmatrix}}$ $A^+$ 的秩也为 $1$ ，它的列空间是 $A$ 的行空间。

五、列线性相关矩阵的最小二乘解

如果矩阵 $A=\begin{bmatrix}1&1\\1&1\end{bmatrix}$ ，它的四个元素全为 $1$ ，不满足列线性无关的要求。这个矩阵可能由我们在时刻 $t = 1$ 的两次测量结果得到，最优直线过测量值 $1$ 和 $3$ 的中点，但是无法确定最优直线的斜率。
用矩阵语言表达， $A^TA$ 是奇异的，方程 $A^TA\boldsymbol x=A^T\boldsymbol b$ 有无穷多个解。伪逆给出了一种选择 “最优解” 的一种方法 $\boldsymbol x^+=A^+\boldsymbol b$ .
先写出无解的方程 $A\boldsymbol x=\boldsymbol b$ 和无穷多个解的方程 $A^TA\hat{\boldsymbol x}=A^T\boldsymbol b$ ： $A\boldsymbol x=\begin{bmatrix}1&1\\1&1\end{bmatrix}\begin{bmatrix}x_1\\x_2\end{bmatrix}=\begin{bmatrix}3\\1\end{bmatrix}=\boldsymbol b\kern 17ptA^TA\hat{\boldsymbol x}=\begin{bmatrix}2&2\\2&2\end{bmatrix}\begin{bmatrix}\hat x_1\\\hat x_2\end{bmatrix}=\begin{bmatrix}4\\4\end{bmatrix}=A^T\boldsymbol b$ 任意向量 $\hat x=(1+c,1-c)$ 都是正规方程组（normal equations） $A^TA\hat{\boldsymbol x}=\boldsymbol b$ 的解，伪逆的目的就是选择一个解 $\hat{\boldsymbol x}=\boldsymbol x^+$ .

$\color{blue}\boldsymbol x^+=A^+\boldsymbol b=(1,1)\,是\,A^TA\hat{\boldsymbol x}=A^T\boldsymbol b\,和\,A\hat{\boldsymbol x}=\boldsymbol p\, 的最短解$

可以看出 $\boldsymbol x^+=(1,1)$ （这里是斜率和截距）比其它的任何解 $\hat{\boldsymbol x}=(1+c,1-c)$ 都短， $\hat{\boldsymbol x}$ 长度的平方是 $1+c)^2+(1-c)^2=2+2c^2$ ，最短的选择就是 $c = 0$ ，此时给出了 $A$ 行空间的解 $\boldsymbol x^+=(1,1)$ .
$A^+$ 的几何意义：由 $A$ 的列空间得到行空间，这两个空间都是 $r$ 维的，左零空间中的误差向量 $\boldsymbol e$ 映射为零向量。
伪逆 $A^+$ 和最优解 $\boldsymbol x^+$ 在统计学中非常关键，因为实验得到的矩阵通常列向量和行向量都是线性相关的。

六、主要内容总结

向量 $A\boldsymbol x$ 所形成椭圆的对称轴沿奇异向量 $\boldsymbol u_i$ 的方向。
矩阵范数 $||A||=\sigma_1$ 源自向量的长度： $\displaystyle\frac{||A\boldsymbol x||}{||\boldsymbol x||}$ 的最大值。
可逆矩阵 = (正交矩阵)(正定矩阵)： $A = QS$ .
任意矩阵 $A=U\Sigma V^T$ 都有伪逆 $A^+=V\Sigma^+U^T$ ，它将左零空间 $\pmb N(A^T)$ 映射为零空间 $\pmb Z$ .

七、例题

【例5】如果 $m\times n$ 的矩阵 $A$ 的秩为 $n$ ，即列满秩，则它有左逆（left inverse） $L=(A^TA)^{-1}A^T$ ，由这个矩阵 $L$ 可得 $LA=I \pmb{LA=I}$ ，解释为什么这种情况下伪逆 $A+=L \pmb{A^+=L}$ .
如果 $A$ 的秩为 $m$ ，即行满秩，则它有右逆（right inverse） $R=A^T(AA^T)^{-1}$ ，由这个矩阵 $R$ 可得 $AR=I \pmb{AR=I}$ ，解释为什么这种情况想伪逆 $A+=R \pmb{A^+=R}$ .
求 $A_1$ 的 $L$ 和 $A_2$ 的 $R$ ，并分别求出矩阵 $A_1,A_2,A_3$ 的伪逆： $A_1=\begin{bmatrix}\pmb2\\\pmb2\end{bmatrix}\kern 10ptA_2=\begin{bmatrix}\pmb2&\pmb2\end{bmatrix}\kern 10ptA_3=\begin{bmatrix}\pmb2&\pmb2\\\pmb1&\pmb1\end{bmatrix}$ 解：如果 $A$ 的各列线性无关则 $A^TA$ 可逆，从而 $L=(A^TA)^{-1}A^T$ 乘 $A$ 即 $L A = I$ ：有左逆。
$AL=A(A^TA)^{-1}A^T$ 是到列空间的投影矩阵，所以 $L$ 符合 $A^+$ 的要求： $L A$ 和 $A L$ 分别是到 $\pmb C(A)$ 和 $\pmb C(A^T)$ 的投影。
如果 $A$ 的秩为 $m$ ，即行满秩，则 $AA^T$ 可逆，从而 $A$ 乘 $R=A^T(AA^T)^{-1}$ 即 $A R = I$ . 反向相乘时， $RA=A^T(AA^T)^{-1}A$ 是到行空间的投影矩阵（ $A^T$ 的列向量），所以 $R$ 等于伪逆 $A^+$ .
矩阵 $A_1$ 列满秩，有左逆 $L=A_1^+$ ，矩阵 $A_2$ 行满秩，有右逆 $R=A_2^+$ ： $A_1^+=(A_1^TA_1)^{-1}A_1^T=\frac{1}{8}\begin{bmatrix}2&2\end{bmatrix}\kern 15ptA_2^+=A_2^T(A_2A_2^T)^{-1}=\frac{1}{8}\begin{bmatrix}2\\2\end{bmatrix}$ 注意： $A_1^+A_1=[1],\kern 3ptA_2A_2^+=[1]$ . 但是 $A_3$ 没有左逆和右逆，它不是满秩矩阵， $A_3$ 的伪逆将它的列空间作用到行空间。 $A_3^+=\begin{bmatrix}2&2\\1&1\end{bmatrix}^+=\frac{\boldsymbol v_1\boldsymbol u_1^T}{\sigma_1}=\frac{1}{10}\begin{bmatrix}\pmb2&\pmb1\\\pmb2&\pmb1\end{bmatrix}$