当前位置：首页 > news >正文

当算法遇到线性代数（四）：奇异值分解（SVD）

news 来源：原创 2025/5/10 22:54:13

`SVD分解的理论与应用`

线性代数系列相关文章（置顶）

1.当算法遇到线性代数（一）：二次型和矩阵正定的意义
2.当算法遇到线性代数（二）：矩阵特征值的意义
3.当算法遇到线性代数（三）：实对称矩阵
4.当算法遇到线性代数（四）：奇异值分解（SVD）

引言

奇异值分解（Singular Value Decomposition, SVD）是线性代数中一个极为重要的概念，它在数据科学、机器学习、信号处理等多个领域有着广泛的应用。本文将详细介绍SVD的背景、定义、性质、具体过程以及其在不同领域的应用，并总结其重要性。

在这里插入图片描述

一、背景

SVD的概念最早可以追溯到19世纪末期，当时数学家们开始研究矩阵的特征值和特征向量问题。然而，直到20世纪中期，随着计算机技术的发展，SVD才逐渐成为一种实用且高效的工具。特别是在图像压缩、推荐系统等领域，SVD因其能够揭示数据内部结构的能力而备受青睐。

二、定义与概念

对于任意 $\times n$ 的实矩阵 $A$ ，存在两个正交矩阵 $U$ 和 $V$ ，以及一个非负对角矩阵 $\Sigma$ ，使得：

$\Sigma V^T$

其中：

$U$ 是一个 $\times m$ 的正交矩阵，称为左奇异向量。
$V$ 是一个 $\times n$ 的正交矩阵，称为右奇异向量。
$\Sigma$ 是一个 $\times n$ 的对角矩阵，对角元素为非负实数，称为奇异值，通常按降序排列。

三、性质

SVD具有以下重要性质：

唯一性：如果 $A$ 的所有奇异值都是不同的，则 $U$ 和 $V$ 是唯一的（忽略符号变化）。
最优低秩近似：根据Eckart–Young定理，截断后的SVD提供了原矩阵的最佳低秩近似。
数值稳定性：SVD算法相对稳定，尤其适用于处理病态矩阵或接近奇异的矩阵。
几何解释：SVD可以被理解为一系列旋转、缩放和平移操作，这些操作将原始空间中的点映射到新坐标系下。

由于上述性质，奇异值分解（SVD）具有许多显著的好处，这些优点使得它在多个学科和技术领域中成为一种极为有用的工具。以下是SVD的主要好处：

1. 数值稳定性

处理病态矩阵：对于接近奇异或病态的矩阵，直接求解线性系统可能会导致严重的数值误差。而SVD提供了一种更加稳定的方法来处理这类问题。
避免过拟合：在机器学习和统计建模中，SVD可以帮助防止模型对训练数据的过度拟合，从而提高泛化能力。

2. 最优低秩近似

数据压缩：通过保留前几个最大的奇异值及其对应的左、右奇异向量，可以得到原矩阵的最佳低秩近似。这种方法不仅减少了存储需求，还能够去除噪声，保持数据的核心特征。
降维：例如在主成分分析（PCA）中，SVD用于将高维数据投影到低维空间，同时尽可能地保留原始数据的方差信息。

3. 几何与物理意义明确

变换解释：SVD可以被直观地理解为一系列旋转、缩放和平移操作，这些操作将原始空间中的点映射到新坐标系下。这种几何解释有助于更好地理解数据结构和模式。
正交基底：SVD提供了两组正交基底，分别对应于输入空间和输出空间，这使得计算过程更加清晰且易于实现。

4. 理论洞察力

揭示内在结构：SVD能够揭示数据背后的潜在结构，这对于探索数据特性、发现隐藏模式非常有帮助。
理论研究：在数学、物理学等多个基础科学领域，SVD为理论分析提供了强有力的支持，促进了新算法和理论的发展。

四、举个🌰

1. 矩阵SVD计算

考虑一个 $\times 2$ 的矩阵 $A$ ：

$\begin{bmatrix} 1 & 2 \\ 2 & 3 \\ 3 & 4 \end{bmatrix}$

为了求解 $A$ 的SVD，我们需要执行以下步骤：

计算协方差矩阵 $AA^T$ 和 $A^TA$ 。
- $AA^T = \begin{bmatrix} 5 & 8 & 11 \\ 8 & 13 & 18 \\ 11 & 18 & 25 \end{bmatrix}$
- $A^TA = \begin{bmatrix} 14 & 20 \\ 20 & 29 \end{bmatrix}$
找到 $A^TA$ 的特征值和特征向量。
- 特征值： $\sigma_1^2 \approx 43.6$ , $\sigma_2^2 \approx 0.37$
- 特征向量： $v_1 \approx \begin{bmatrix} -0.65 \\ -0.76 \end{bmatrix}$ , $v_2 \approx \begin{bmatrix} 0.76 \\ -0.65 \end{bmatrix}$
构造 $\Sigma$ ，并将特征值开平方根得到奇异值。
- $\Sigma = \begin{bmatrix} \sqrt{43.6} & 0 \\ 0 & \sqrt{0.37} \\ 0 & 0 \end{bmatrix}$
找到 $AA^T$ 的特征值和特征向量。
- 特征值：同上
- 特征向量： $u_1 \approx \begin{bmatrix} -0.38 \\ -0.57 \\ -0.76 \end{bmatrix}$ , $u_2 \approx \begin{bmatrix} -0.92 \\ 0.38 \\ -0.07 \end{bmatrix}$
验证结果：
- $\Sigma V^T \approx \begin{bmatrix} -0.38 & -0.92 & * \\ -0.57 & 0.38 & * \\ -0.76 & -0.07 & * \end{bmatrix} \begin{bmatrix} \sqrt{43.6} & 0 \\ 0 & \sqrt{0.37} \\ 0 & 0 \end{bmatrix} \begin{bmatrix} -0.65 & -0.76 \\ 0.76 & -0.65 \end{bmatrix}$

注意：这里的 $*$ 表示不相关的第三列元素，因为 $A$ 只有两列。

2. 低秩近似

使用SVD对100x100物品相似度矩阵进行低秩近似的具体表示，我们将通过数学符号和公式来展示如何使用奇异值分解（SVD）对一个 $100 \times 100$ 的物品相似度矩阵 $A$ 进行低秩近似，并保留前5个最大的奇异值。

步骤 1: 准备数据

假设我们有一个 $100 \times 100$ 的相似度矩阵 $A$ ，其中每个元素 $a_{ij}$ 表示物品 $i$ 和物品 $j$ 之间的相似度。由于这是一个相似度矩阵，它是对称的，即 $A = A^T$ 。

步骤 2: 计算 SVD 分解

根据SVD理论，我们可以将矩阵 $A$ 分解为：

$\Sigma V^T$

其中：

$U$ 是一个 $100 \times 100$ 的正交矩阵，称为左奇异向量矩阵。
$\Sigma$ 是一个 $100 \times 100$ 的对角矩阵，包含按降序排列的奇异值。
$V$ 是一个 $100 \times 100$ 的正交矩阵，称为右奇异向量矩阵。

步骤 3: 构建低秩近似矩阵

为了构建低秩近似矩阵 $A_5$ ，我们只保留前5个最大的奇异值及其对应的左、右奇异向量。具体来说：

选择前5个奇异值： $\sigma_1, \sigma_2, \sigma_3, \sigma_4, \sigma_5$
选择对应的左奇异向量： $u_1, u_2, u_3, u_4, u_5$ ，构成 $U_5$ ，这是一个 $100 \times 5$ 的矩阵。
选择对应的右奇异向量： $v_1, v_2, v_3, v_4, v_5$ ，构成 $V_5$ ，这也是一个 $100 \times 5$ 的矩阵。

因此，新的对角矩阵 $\Sigma_5$ 将是一个 $\times 5$ 的矩阵，仅包含前5个奇异值：

$\Sigma_5 = \begin{bmatrix} \sigma_1 & 0 & 0 & 0 & 0 \\ 0 & \sigma_2 & 0 & 0 & 0 \\ 0 & 0 & \sigma_3 & 0 & 0 \\ 0 & 0 & 0 & \sigma_4 & 0 \\ 0 & 0 & 0 & 0 & \sigma_5 \end{bmatrix}$

步骤 4: 构造低秩近似矩阵 $A_5$

使用 $U_5$ ， $\Sigma_5$ ，和 $V_5$ 来构造低秩近似矩阵 $A_5$ ：

$A_5 = U_5 \Sigma_5 V_5^T$

这里：

$U_5$ 是 $100 \times 5$ 的矩阵，由 $U$ 的前五列组成。
$\Sigma_5$ 是 $\times 5$ 的对角矩阵，包含前五个奇异值。
$V_5$ 是 $100 \times 5$ 的矩阵，由 $V$ 的前五列组成。

结果分析

比较原始矩阵 $A$ 和低秩近似矩阵 $A_5$ ：

误差评估：可以通过计算 Frobenius 范数误差 $A - A_5\|_F$ 来评估低秩近似的效果。
可视化对比：可以绘制原始矩阵 $A$ 和低秩近似矩阵 $A_5$ 的热图，直观地观察两者之间的差异。

通过这个过程，我们展示了如何使用SVD对一个 $100 \times 100$ 的物品相似度矩阵进行低秩近似，并保留前5个最大的奇异值。这种方法不仅减少存储需求，还能够有效地处理大规模数据集，同时保持了数据的核心特征。通过选择适当的 $k$ ，可以在保持足够精度的同时显著减少计算复杂度。

五、应用

数学领域应用

低秩近似：通过保留前几个最大的奇异值及其对应的奇异向量，可以实现矩阵的有效压缩，同时保持尽可能多的信息。
最小二乘问题：SVD可用于解决超定系统的最小二乘解，提供了一种稳健的方法来估计未知参数。

机器学习与深度学习应用

主成分分析 (PCA)：SVD是PCA的核心算法之一，用于降维和特征提取。
大模型 LoRA 微调：LoRA 的关键在于引入低秩矩阵 $\in \mathbb{R}^{m \times r}$ 和 $\in \mathbb{R}^{r \times n}$ 来近似更新原始权重矩阵 $\in \mathbb{R}^{m \times n}$ 。
推荐系统：基于用户-物品评分矩阵的协同过滤方法中，SVD可以用来预测未观察到的评分并做出个性化推荐。
图像处理：如图像压缩、去噪等任务中，利用SVD去除冗余信息，提高效率。

其他领域应用

信号处理：用于频谱分析、滤波器设计等方面，帮助提取信号的主要成分。
自然语言处理：例如主题模型LDA可以通过SVD进行优化，以更好地捕捉文档之间的关系。
控制系统：在状态估计、模型简化等环节中，SVD有助于构建更精确和稳定的控制器。

六、总结

综上所述，SVD作为一种强大的数学工具，在多个学科和技术领域都展现出了巨大的价值。从理论上讲，它提供了深刻的洞察力，使我们能够理解和操作复杂的数据集；而在实践中，SVD不仅简化了许多复杂的计算任务，还提高了算法的性能和可靠性。无论是在学术研究还是工业应用中，掌握SVD的基本原理及其应用技巧都是非常有益的。

当算法遇到线性代数（四）：奇异值分解（SVD）

SVD分解的理论与应用线性代数系列相关文章（置顶） 1.当算法遇到线性代数（一）：二次型和矩阵正定的意义 2.当算法遇到线性代数（二）：矩阵特征值的意义 3.当算法遇到线性代数&#xff0…...

编程日记 2025/5/10 22:54:13

鸿蒙操作系统（HarmonyOS）

鸿蒙操作系统（HarmonyOS）是华为公司推出的一款面向未来、面向全场景的分布式操作系统。它旨在为用户提供一个更加智能、便捷和安全的操作环境，支持多种终端设备之间的无缝协作。在鸿蒙应用开发中，ArkUI作为官方推荐的用户界面开发…...

编程日记 2025/5/7 4:22:01

通义灵码在跨领域应用拓展之物联网篇

目录一.引言二.通义灵码简介三.通义灵码在物联网领域的设备端应用 1.传感器数据采集 (1).不同类型传感器的数据读取 (2).数据转换与预处理 2.设备控制指令接收和执行 (1).指令解析与处理 (2).设备动作执行四.通义灵码在物联网领域的云端平台应用 1.数据存储和管…...

编程日记 2025/5/10 22:18:32

CSS语言的数据库交互

CSS语言的数据库交互：一种新潮流的探索引言在现代网页开发中，CSS（层叠样式表）无疑是构建优美和响应式网页的重要工具。然而，关于CSS和数据库之间的直接交互，尽管并不是一种常见的做法，却引发…...

编程日记 2025/5/10 22:34:09

[SMARTFORMS] 创建二维码

我们可以使用事务码SE73创建二维码选择系统条形码，点击"更改"按钮点击创建选项选择"新" 输入二维码名称和简短描述，点击"确认"按钮选择"QR CODE 2005"，点击"确认"按钮选择"No…...

编程日记 2025/5/10 4:57:02

数据项目相关的AWS云计算架构设计

电商数据平台架构高性能：使用Amazon EC2的计算优化实例处理业务逻辑和数据计算，搭配Amazon ElastiCache内存缓存，加速数据读取。应用负载均衡器（ALB）在EC2实例间分发流量，实现负载均衡。高可用性&#xf…...

编程日记 2025/4/30 19:21:28

智慧农业应用场景｜珈和科技高标准农田信息化监管平台解决方案

近年来，珈和科技持续深耕农业领域，深耕农业时空大数据服务。珈和利用遥感大数据、云计算、移动互联网、物联网、人工智能等先进技术，搭建“天空地一体化”监测体系，并创新建设了150的全球领先算法模型，可为100多种农作…...

编程日记 2025/5/2 23:09:44

1.operator 正常情况 #include <iostream> using namespace std;class Box { public:Box(double L) : length(L) {}Box(const Box& b){}Box& operator (const Box&){return *this;}public:double length; // 长度 };int main() {Box box1(1.0);Box box2(…...

编程日记 2025/5/9 18:15:42

Scala 模式匹配

Scala 模式匹配引言 Scala 作为一种多范式编程语言，不仅支持面向对象编程，还融合了函数式编程的特性。在其丰富的特性集中，模式匹配（Pattern Matching）尤为引人注目，它是一种在许多编程语言中都有应用的编程范式，但在 Scala 中得到了特别强大的支持。模式匹配允许开发…...

编程日记 2025/5/8 4:30:01

微信小程序中 “页面” 和 “非页面” 的区别

微信小程序中 “页面” 和 “非页面” 的区别，并用表格进行对比。核心概念： 页面 (Page)： 页面是微信小程序中用户可以直接交互的视图层，也是小程序的基本组成部分。每个页面都有自己的 WXML 结构、WXSS 样式和 JavaScript 逻辑…...

编程日记 2025/5/6 16:02:13

解耦Java应用程序的方法和技巧

解耦 Java 应用程序是一项重要的设计原则是减少组件之间的依赖关系，使系统更加模块化、灵活和可维护。通过分离，您可以更轻松地更改、扩展或测试应用程序的各个部分，而不会影响其他部分。分离 Java 应用程序需要应用减少组件之间直接依赖关系…...

编程日记 2025/5/5 8:50:35

Go语言的的设计模式（Design Patterns）基础知识

Go语言的设计模式基础知识引言设计模式是一种在软件开发中经常使用的解决特定问题的通用方案。它们为开发者提供了一种有效的方式来组织代码、提高代码的可复用性、可维护性和灵活性。在众多编程语言中，Go语言因其独特的特性，如并发支持和简洁的语法…...

编程日记 2025/5/4 18:01:27

【Uniapp-Vue3】常用的表单组件button和input

表单组件中最常用的就是button组件和input组件一、button组件常用属性： <template><button>普通按钮</button><button size"mini">小按钮</button><button type"primary">蓝色按钮</button><…...

编程日记 2025/5/10 22:53:10

深入理解非对称加密：用Java实现RSA加解密

目录一、非对称加密算法概述二、Java 中实现非对称加密非对称加密（Asymmetric Encryption）是一种加密方式，其中使用一对密钥：公钥（Public Key）和私钥（Private Key）。这种加密算…...

编程日记 2025/5/7 21:42:20

钓鱼邮件 wp

背景：Bob收到了一份钓鱼邮件，请找出木马的回连地址和端口。 1.打开文件 2.发现base64编码 3.base64解码将base64编码全部存储在文件 base64.txt 中。使用命令cat base6.txt | base64 -d | less解码并查看。关键字： PK 知识点&#xff1a…...

编程日记 2025/5/10 12:09:40

飞书企业消息实践

一、飞书自带的消息机器人限制频控策略 - 服务端 API - 飞书开放平台自定义机器人的频率控制和普通应用不同，为单租户单机器人 100 次/分钟，5 次/秒。建议发送消息尽量避开诸如 10:00、17:30 等整点及半点时间，否则可能出现因系统压力导致…...

编程日记 2025/5/10 3:58:01

逆向安卓抓包

打开Mumu网易，打开设置，打开其他，开启root权限打开Mumu网易，找到apk安装藏航准备网.apk charles配置：proxy setting 端口9888 查看当地IP:help--->local IP address SSL Proxying Setting--->Add---->IP…...

编程日记 2025/4/21 10:21:37

简单的spring boot tomcat版本升级

简单的spring boot tomcat版本升级 1. 需求我们使用的springboot版本为2.3.8.RELEASE，对应的tomcat版本为9.0.41，公司tomcat对应版本发现攻击者可发送不完整的POST请求触发错误响应，从而可能导致获取其他用户先前请求的数据，造…...

编程日记 2025/5/9 5:44:32

导出中心设计

业务背景应用业务经常需要导出数据，但是并发的导出以及不合理的导出参数常常导致应用服务的内存溢出、其他依赖应用的崩溃、导出失败；因此才有导出中心的设计设计思想将导出应用所需的内存转移至导出中心，将导出的条数加以限制&#xf…...

编程日记 2025/5/8 1:21:08

zookeeper 数据类型

文章目录引言I Znodezonde stat (状态信息)znode类型临时\永久序列化特性引言在结构上与标准文件系统非常类似，拥有一个层次的命名空间，都是采用树形层次结构 Zookeeper树中的每个节点被称为：Znode，没有文件和目录之分。Znode兼具文件和目录两种特点Znode存储数据大小有…...

编程日记 2025/5/7 17:17:56

INT305 Machine Learning

W1 Introduction Nearest Neighbor Preliminaries and Nearest Neighbor Methods • Suppose we’re given a novel input vector 𝑥 we’d like to classify. • The idea: find the nearest input vector to 𝑥 in the training set and copy …...

编程日记 2025/5/6 22:28:55

OneFlow和PyTorch在性能上有哪些区别？

OneFlow 和 PyTorch 在性能上的区别主要体现在以下几个方面： 本篇文章的目录分布式训练性能硬件利用率和显存优化模型训练速度 OneFlow：默认采用静态图模式，在模型训练前会对计算图进行编译优化，能够减少运行时的开销&…...

编程日记 2025/5/4 12:30:30

Java高频面试之SE-09

hello啊，各位观众姥爷们！！！本牛马baby今天又来了！哈哈哈哈哈嗝🐶 final关键字有什么作用？ 在 Java 中，final 关键字有多个用途，它可以用于类、方法和变量。根据使用的上…...

编程日记 2025/5/10 22:27:25

面向对象（综合练习）

文字版格斗游戏 public class people {private String name;private int xuetiao;public people(String name){this.namename;this.xuetiao100;}public String getName(){return this.name;}public int getXuetiao(){return this.xuetiao;} } import java.util.Random; public…...

编程日记 2025/5/8 8:28:27

SVD分解的理论与应用