当前位置：首页 > news >正文

【深度学习与大模型基础】第5章-线性相关与生成子空间

news 来源：原创 2025/8/13 19:14:56

线性相关是指一组向量中，至少有一个向量可以表示为其他向量的线性组合。具体来说，对于向量组 v1,v2,…,vn，如果存在不全为零的标量 c1,c2,…,cn使得：

c1v1+c2v2+…+cnvn=0

则称这些向量线性相关。否则，它们线性无关。

举例

二维空间：
- 向量 v1=(1,2)和 v2=(2,4) 线性相关，因为 v2=2v1。
三维空间：
- 向量 v1=(1,0,0)、v2=(0,1,0)和 v3=(1,1,0) 线性相关，因为 v3=v1+v2。

计算机科学中的应用

数据压缩：
- 在图像和视频压缩中，线性相关用于减少冗余数据。例如，JPEG利用离散余弦变换（DCT）将图像数据转换为线性相关的频率分量，从而压缩数据。
机器学习：
- 在特征选择中，线性相关用于去除冗余特征。如果两个特征高度线性相关，只需保留一个，以减少计算复杂度并避免过拟合。
计算机图形学：
- 在三维图形渲染中，线性相关用于判断点是否共面。如果四个点线性相关，则它们位于同一平面上，这在碰撞检测和光照计算中非常重要。
网络流分析：
- 在网络流分析中，线性相关用于识别流量模式。通过分析数据包的线性相关性，可以检测异常流量或网络攻击。
密码学：
- 在线性密码分析中，线性相关用于破解加密算法。通过分析密文和明文之间的线性关系，可以推断出密钥信息。

python演示相关系数

pip install numpy matplotlib seaborn scipy

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
#线性相关
# 生成随机数据
np.random.seed(0)
x = np.random.rand(100)
y = 2 * x + np.random.normal(0, 0.1, 100)  # y = 2x + noise# 创建DataFrame
data = pd.DataFrame({'X': x, 'Y': y})# 计算相关系数
correlation = data['X'].corr(data['Y'])
print(f"相关系数: {correlation}")# 绘制散点图
plt.figure(figsize=(10, 6))
sns.scatterplot(data=data, x='X', y='Y')
plt.title(f'散点图 (相关系数: {correlation:.2f})')
plt.xlabel('X')
plt.ylabel('Y')
plt.grid(True)
plt.show()

生成子空间是由一组向量通过线性组合生成的空间。具体来说，给定向量集合 {v1,v2,…,vk}，其生成子空间是所有形如 c1v1+c2v2+⋯+ckvk 的向量的集合，其中 c1,c2,…,ckc1,c2,…,ck 为标量。

关键点

线性组合：生成子空间中的向量是给定向量的线性组合。
子空间：生成子空间满足向量空间的封闭性，即对加法和标量乘法封闭。
基：生成子空间的维数等于向量集合的最大线性无关向量数，这些向量构成子空间的一组基。

例子

给定向量 v1=(1，0)和 v2=(0，1)，其生成子空间是整个 R2，因为任何 R2 中的向量都可以表示为 c1v1+c2v2。

python演示生成子空间

import numpy as np
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D# 定义向量
v1 = np.array([1, 0, 0])
v2 = np.array([0, 1, 0])
v3 = np.array([0, 0, 1])# 生成线性组合
a_values = np.linspace(-2, 2, 10)
b_values = np.linspace(-2, 2, 10)
c_values = np.linspace(-2, 2, 10)
a_grid, b_grid, c_grid = np.meshgrid(a_values, b_values, c_values)
linear_combinations = a_grid[:, :, :, np.newaxis] * v1 + b_grid[:, :, :, np.newaxis] * v2 + c_grid[:, :, :, np.newaxis] * v3# 提取x, y, z坐标
x_coords = linear_combinations[:, :, :, 0].flatten()
y_coords = linear_combinations[:, :, :, 1].flatten()
z_coords = linear_combinations[:, :, :, 2].flatten()# 绘制生成子空间
fig = plt.figure(figsize=(10, 10))
ax = fig.add_subplot(111, projection='3d')
ax.scatter(x_coords, y_coords, z_coords, s=1, c='blue', alpha=0.5)
ax.quiver(0, 0, 0, v1[0], v1[1], v1[2], color='red', label='v1')
ax.quiver(0, 0, 0, v2[0], v2[1], v2[2], color='green', label='v2')
ax.quiver(0, 0, 0, v3[0], v3[1], v3[2], color='blue', label='v3')
ax.set_title('生成子空间 (三维)')
ax.set_xlabel('X')
ax.set_ylabel('Y')
ax.set_zlabel('Z')
ax.legend()
plt.show()

【深度学习与大模型基础】第5章-线性相关与生成子空间

线性相关是指一组向量中，至少有一个向量可以表示为其他向量的线性组合。具体来说，对于向量组 v1,v2,…,vn，如果存在不全为零的标量 c1,c2,…,cn使得： c1v1c2v2…cnvn0 则称这些向量线性相关。否则，它们线性无关。举…...

编程日记 2025/8/13 19:14:56

使用 PaddlePaddle 官方提供的 Docker 镜像

CUDA版本高PaddlePaddle不支持时，可以使用 PaddlePaddle 官方提供的 Docker 镜像 1. 安装 Docker Desktop1.1 下载 Docker Desktop1.2 安装 Docker Desktop1.3 启用 WSL 2 或 Hyper-V1.4 启动 Docker Desktop1.5 Docker不运行解决方法 2. 拉取 PaddlePaddle Docker …...

编程日记 2025/8/10 6:36:02

LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS 论文阅读

一、TL；DR 为什么要这么做？预训练模型越来越大，比如GPT-3 175B训练独立变得越来越不可行方法：冻结预训练模型的权重，在Transformer架构的每一层中注入可训练的低秩分解矩阵效果：训练参数量减少10000x&…...

编程日记 2025/8/13 19:14:37

企业的应用系统

一、人力资源系统负责管理员工信息，处理入职，离职，调岗。 1、一般员工的信息有电子档和纸质档两份。电子档经常是excel文件。 2、高级的公司会建立一套Web应用系统。 3、实现的功能： 新员工入职登记 (登记信息一般是&#xff1a…...

编程日记 2025/8/10 11:25:52

SpringBoot手动注册定时任务

一、背景项目存在这样一个场景。程序启动过程中，在Spring的Bean组件注册完毕后，会初始化一些基础数据到数据库中，而项目中有部分定时任务需要依赖这些基础数据才能正常运行。如果直接使用Scheduled注解标注定时任务方法，会导致定…...

编程日记 2025/8/13 19:13:28

通过 Python 爬虫提高股票选股胜率

此贴为Python爬虫技术学习贴在股票中，即便有了选股规则，从5000多只股票中筛选出符合规则的股票也是十分困难的，于是想通过爬虫来实现自动化的快速选股。全文用GP代替股票实现方案 1、指定两套规则，第一套弱约束，第…...

编程日记 2025/8/13 19:13:27

InternVL：论文阅读 -- 多模态大模型(视觉语言模型)

更多内容：XiaoJ的知识星球文章目录 InternVL: 扩展视觉基础模型与通用视觉语言任务对齐1.概述2.InternVL整体架构1）大型视觉编码器：InternViT-6B2）语言中间件：QLLaMA。3）训练策略（1&#xff09…...

编程日记 2025/8/13 19:11:27

代码随想录算法训练营第三十五天（20250303） |01背包问题二维，01背包问题一维，416. 分割等和子集 -[补卡20250316]

01背包问题二维链接遍历物品没有大小顺序要求重点是模拟，推导出递推公式 #include <iostream> #include <vector>int main(){int m, n;std::cin>>m>>n;std::vector<int> weight(m,0),value(m,0);for(int i{0}; i<m; i){std:…...

编程日记 2025/8/9 20:46:26

RGV调度算法（三）--遗传算法

1、基于时间窗 https://wenku.baidu.com/view/470e9fd8b4360b4c2e3f5727a5e9856a57122693.html?_wkts_1741880736197&bdQuery%E7%8E%AF%E7%A9%BF%E8%B0%83%E5%BA%A6%E7%AE%97%E6%B3%95 2.2019年MathorCup高校数学建模挑战赛B题 2019-mathorcupB题-环形穿梭机调度模型&a…...

编程日记 2025/8/13 6:07:33

并发编程-

一、简述线程：线程是cpu可执行的最小单位，而进程是操作系统可分配的最小资源单位。一个进程中可以有多个线程。线程的五个状态： 新建（new Thread()） 就绪 （thread.start()） 运行&#xff08…...

编程日记 2025/8/13 19:13:06

Mac中nvm切换node版本失败，关闭终端再次打开还是之前的node

Mac中使用 nvm 管理 node 版本，在使用指令：nvm use XXX 切换版本之后。关闭终端，再次打开，输入 node -v 还是得到之前的 node 版本。原因： 在这里这个 default 中有个 node 的版本号，使用 nvm use 时&a…...

编程日记 2025/8/13 19:11:26

C语言（25）

一.数据在内存中的存储 1.整数在内存中的存储整数在内存中以二进制的形式储存，分别为原码，补码，反码有符号的整数，在上述三种形式都有符号位和数值位两个部分，符号位为0是正数，1是负数，最高…...

编程日记 2025/8/7 12:39:45

HTML、CSS

什么是HTML、CSS HTML结构标签及特点 CSS引入方式 CSS颜色表示形式： CSS引入方式、颜色表示、颜色属性 CSS选择器超链接...

编程日记 2025/8/13 19:14:36

c#:主窗体与子控件之间的数据传递：基于事件和委托的实现

1. 概述在WPF中，主窗体与子控件之间的数据传递通常通过以下两种方式实现： 事件（Event）：主窗体触发事件，子控件订阅事件并接收数据。委托（Delegate）：通过委托将子控件…...

编程日记 2025/8/13 19:13:07

Dynamics 365 启用用户安全角色变更的审核功能

D365自身的审核功能这里就不说了，是一个很古老的功能，用过D365的人应该都知道，今天要说的是用户安全角色变更的审核记录。很多人用系统的审核功能，更多的是用来追踪用户的登录记录，或者记录的修改记录。而实际的项目…...

编程日记 2025/8/13 19:06:00

MyBatis注解

MyBatis 的注解（Annotations）提供了一种简洁的方式来配置 SQL 映射，而无需使用 XML 文件。通过在 Mapper 接口的方法上使用注解，可以直接在 Java 代码中定义 SQL 语句和相关映射。这种方式使得代码更加集中和易于维护，…...

编程日记 2025/8/12 12:12:04

1.Windows+vscode+cline+MCP配置

文章目录 1.简介与资源2.在windows中安装vscode及Cline插件1. 安装vscode2. 安装Cline插件3. 配置大语言模型3. 配置MCP步骤(windows) 1.简介与资源 MCP官方开源仓库 MCP合集网站参考视频 2.在windows中安装vscode及Cline插件 1. 安装vscode 2. 安装Cline插件 Cline插件…...

编程日记 2025/8/13 19:10:24

94.HarmonyOS NEXT动画系统实现教程：深入理解FuncUtils

温馨提示：本篇博客的详细代码已发布到 git : https://gitcode.com/nutpi/HarmonyosNext 可以下载运行哦！ HarmonyOS NEXT动画系统实现教程：深入理解FuncUtils 文章目录 HarmonyOS NEXT动画系统实现教程：深入理解FuncUtils1. 动画系…...

编程日记 2025/8/13 19:14:54

Python----数据分析（Pandas一：pandas库介绍，pandas操作文件读取和保存）

一、Pandas库 1.1、概念 Pandas是一个开源的、用于数据处理和分析的Python库，特别适合处理表格类数据。它建立在NumPy数组之上，提供了高效的数据结构和数据分析工具，使得数据操作变得更加简单、便捷和高效。 Pandas 的目标是成为 Python 数据…...

编程日记 2025/8/11 2:54:54

设计模式之原型模式：原理、实现与应用

引言原型模式（Prototype Pattern）是一种创建型设计模式，它通过复制现有对象来创建新对象，而不是通过实例化类。原型模式特别适用于创建成本较高的对象，或者需要动态配置的对象。本文将深入探讨原型模式的原理、实现方…...

编程日记 2025/8/12 22:44:15

平方矩阵问题

Ⅰ 回字形二维数组 #include <iostream> #include <iomanip> using namespace std; int main(){int n;while(cin>>n,n){for(int i0; i<n;i){for(int j0; j<n; j){int upi, downn-i1, leftj, rightn-j1;cout<<min(min(up,down),min(left,right)…...

编程日记 2025/8/13 19:13:27

C语言之链表

文章目录前言一、链表基本概念 1、声明节点结构 2、创建节点变量 3、链表所有节点 4、遍历链表二、add添加三、insert插入四、remove删除五、查找总结前言链表是一种重要的数据结构，用于存储和组织数据。它是由一系列节点组成的数据结构&#x…...

编程日记 2025/8/13 19:13:27

RabbitMQ延迟消息

文章目录延迟消息死信交换机延迟消息延迟消息应用场景延迟消息生产者在发送消息的时候指定一个时间，消费者不会立即收到该消息，而是在指定时间之后才收到消息，这就是延迟消息。比如说这么一个场景，用户下单后将商品库存进行…...

编程日记 2025/8/8 23:33:11

Unity中WolrdSpace下的UI展示在上层

一、问题描述 Unity 中 Canvas使用World Space布局的UI，想让它不被3d物体遮挡，始终显示在上层。二、解决方案使用shader解决在 UI 的材质中禁用深度测试（ZTest），强制 UI 始终渲染在最上层。 Shader "Custo…...

编程日记 2025/8/13 19:09:00

【从零开始学习计算机科学】算法分析（一）算法、渐进分析、递归分析

【从零开始学习计算机科学】算法分析（一）算法、渐进分析、递归分析算法算法分析正确性算法完成需要的时间使用的存储空间简单性渐进分析递归分析主方法求解递归式递归树求解代入法概率分析和随机算法顺序统计量算法什么是算法？算法（Algorithm）是指解题方案的准确而完整…...

编程日记 2025/8/10 1:16:10

【菜鸟飞】Conda安装部署与vscode的结合使用

介绍 Conda 是一个跨平台的开源工具，用于管理软件包和环境。最初由 Anaconda 公司开发，它的设计目标是支持数据科学和机器学习领域，但其功能不仅局限于此。以下是 Conda 的核心特点： 包管理：安装、更新、卸载各种库…...

编程日记 2025/8/13 19:13:26

LeetCode2593 标记所有元素后数组的分数

贪心算法实战：数组标记与分数计算（LeetCode 同类题解析） 一、问题描述给定一个正整数数组 nums，按以下规则计算最终分数： 初始分数 score 0每次选择最小且未被标记的元素（值相同选下标最小&#xff09…...

编程日记 2025/8/13 19:08:59

【C++多线程】thread

C中的std::thread是C11引入的线程库的一部分，提供了创建和管理线程的能力。它封装了操作系统的线程接口，使得在C中更方便地进行多线程编程。 1. std::thread 的定义 std::thread 类位于<thread>头文件中，定义在std命名空间下&#xff…...

编程日记 2025/8/13 19:07:14

补充二分LIS

B3637 最长上升子序列题目描述这是一个简单的动规板子题。给出一个由 n ( n ≤ 5000 ) n(n\le 5000) n(n≤5000) 个不超过 1 0 6 10^6 106 的正整数组成的序列。请输出这个序列的最长上升子序列的长度。最长上升子序列是指，从原序列中按顺序取出一些数字排…...

编程日记 2025/8/13 19:10:23

airtest用法

安装python3.7.9 64 python3 -m pip install -U airtest 或者： git clone https://github.com/AirtestProject/Airtest.git pip install -e airtest 下载adb 可以开始无界面的airtest 下载AirtestIDE 安装与启动 - Airtest Project Docs Airtest Project...

编程日记 2025/8/13 19:11:43

30天学习Java第四天——设计模式

设计模式概述设计模式是一套被广泛接受的、经过试验的、可反复使用的基于面向对象的软件设计经验总结，它是开发人员在软件设计时，对常见问题的解决方案的总结和抽象。一句话就是，设计模式是针对软件开发中常见问题和模式的通用解决方案。 …...

编程日记 2025/8/13 19:07:13

MongoDB 和 Elasticsearch的区别、优缺点对比，以及选型建议

MongoDB 和 Elasticsearch 在存储和搜索方面各有特点，适用于不同的场景。以下是它们的区别、优缺点对比，以及选型建议。 1. 概述 MongoDB：分布式 NoSQL 文档数据库，基于 BSON（类似 JSON）的文档存储&#x…...

编程日记 2025/8/13 19:14:55

在Android中，子线程可以更新UI吗

目录为什么子线程不能直接更新UI？ 如何正确在子线程更新UI？ 1. 使用runOnUiThread方法 2. 通过Handler发送消息到主线程 3. 使用View.post(Runnable)方法 4. 结合AsyncTask（已过时，仅作了解） 5. 使用Kotlin协程…...

编程日记 2025/8/13 19:11:27

unittest vs pytest区别

unittest vs pytest 对比 unittest 像“手动挡汽车”：操作步骤多，规则严格，适合老司机。pytest 像“自动挡汽车”：开起来轻松，功能强大，适合新手和高效开发。区别点unittest（你学过的&…...

编程日记 2025/8/13 19:14:38

OpenAI与谷歌DeepMind新品同日竞技，谁能引领机器人现实任务新潮流？

2025年3月12日，科技巨头谷歌DeepMind与OpenAI均发布了与机器人执行现实任务相关的新产品：谷歌DeepMind的新AI模型、OpenAI的Agents工具集，二者在技术路径、应用场景、安全机制设计等方面存在明显差异，其发展态势备受行业关注。 …...

编程日记 2025/8/13 19:11:26

JVM并发编程AQSsync锁ReentrantLock线程池ThreadLocal

并发编程2 synchronized锁实现**AQS****ReentrantLock实现****JUC 常用类**池的概念 ThreadLocalThreadLocal原理内存泄露强引用:软引用弱引用虚引用ThreadLocal内存泄露 synchronized锁实现 synchronized是一个关键字,实现同步,还需要我们提供一个同步锁对象,记录锁状态,记录…...

编程日记 2025/8/13 19:14:38

特殊 IP 地址

文章目录特殊IP地址概述受限广播地址（Limited Broadcast Address）直接广播地址（Directed Broadcast Address）多播地址（Multicast Address）环回地址（Loopback Address）本网络本主机&…...

编程日记 2025/7/29 1:17:42

SSL/TLS 1.2过程：Client端如何验证服务端证书？

快速回顾非对称加密和对称加密首先快速说一下非对称加密和对称加密。非对称加密，就是有一个公钥和私钥(成对存在)。公钥对一段文本A加密得到文本B，只有对应的私钥能对B解密得到A。私钥对一段文本C加密得到文本D，只有对应的公钥能对D解密得…...

编程日记 2025/8/13 15:26:02

Android(java)高版本 DownloadManager 封装工具类，支持 APK 断点续传与自动安装

主要有以下优点兼容高版本 Android：适配 Android 10 及以上版本的存储权限和安装权限。断点续传：支持从断点继续下载。下载进度监听：实时获取下载进度并回调。错误处理：处理下载失败、网络异常等情况。自动安装 APK：…...

编程日记 2025/8/13 13:21:23

基于three.js的虚拟人阴影渲染优化方案

作者：来自 vivo 互联网大前端团队- Su Ning 本文将探讨 three.js 中的阴影渲染机制，并分享一些针对性能和效果优化的实用技巧，帮助开发者在不同场景下做出最佳的权衡选择。一、前言在3D网页应用中，高质量的阴影渲染对于营造场…...

编程日记 2025/8/13 19:09:30

人工智能中神经网络是如何进行预测的

前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站。 https://www.captainbed.cn/north 文章目录引言神经网络的基本结构神经网络的前向传播前向传播的步骤激活函数代码实现流程图详细解释…...

编程日记 2025/8/7 23:21:16

vue3 中使用 Recorder 实现录音并上传,并用Go语言调取讯飞识别录音(Go语言)

录音并识别效果图一、开启游览器录音权限二、前端代码三、Go代码,上传到讯飞识别录音返回到前端效果图 recorder-core插件可以在网页中进行录音。录音文件(blob)并可以自定义上传，可以下载录音文件到本地,本文录音过程中会显示可视化波形，插件兼容PC端…...

编程日记 2025/8/11 23:31:02

自探索大语言模型微调（一）

一、数据 1.1、失败案例 Hugging Face： 根据B站上搜索到的资料，datasets这个库可以直接下载丰富的数据集合和与训练模型，调用也非常的简单，唯一的缺点就是，需要外网（翻墙），用国内的…...

编程日记 2025/8/10 21:46:56

算法练习（链表）

链表链表的分类单向链表，双向链表带头链表，不带头链表循环的，非循环的链表的结构图中所示的为链表的一个节点，value是这个节点的所存储的数据值，next为下一节点的地址。代码实现链表 1.创建节点类节点由…...

编程日记 2025/8/5 16:44:21

在 Ubuntu 服务器上使用宝塔面板搭建博客

📌 介绍在本教程中，我们将介绍如何在 Ubuntu 服务器上安装宝塔面板，并使用 Nginx PHP MySQL 搭建一个博客（如 WordPress）。主要步骤包括： 安装宝塔面板配置 Nginx PHP MySQL绑定域名与 SSL 证书…...

编程日记 2025/8/6 9:14:09

K8S学习之基础二十八：k8s中的configMap

k8s中的configMap configMap是k8s的资源对象，简称cm，用于保存非机密性的配置，数据可以用key/value键值对形式保存，也可以通过文件形式保存在部署服务的时候，每个服务都有自己的配置文件，如果一台服…...

编程日记 2025/8/10 10:57:31

EDID读取学习

简介 Video BIOS可以被认为是一个具有独立硬件抽象层的操作系统。它不会阻止或监视操作系统、应用程序或设备驱动程序对硬件的直接访问。虽然不推荐，但一些DOS应用程序确实可以改变基本的硬件设置，而根本不需要通过视频BIOS。大多数现代应用程序和操作系统都避免直接使用硬件…...

编程日记 2025/8/9 4:15:29

基于 SSE 和 WebSocket 的在线文本实时传输工具

简介在线文本实时传输工具支持 SSE（Server-Sent Events） 和 WebSocket，可在不同设备间快速共享和同步文本，适用于跨设备协作、远程办公和即时通讯。核心功能实时同步：文本输入后，另一端用户可立即看到…...

编程日记 2025/8/4 12:53:17

大语言模型安全风险分析及相关解决方案

大语言模型的安全风险可以从多个维度进行分类。从输入输出的角度来看，存在提示注入、不安全输出处理、恶意内容生成和幻觉错误等风险；从数据层面来看，训练数据中毒、敏感信息泄露和模型反演攻击是主要威胁；模型自身则面临拒绝服务和盗窃的风险；供应链和插件的不安全引…...

编程日记 2025/8/13 13:20:21

4、linux c 进程

【三】进程 1. 进程与程序的区别程序：存放在磁盘上的指令和数据的有序集合（文件），是静态的。进程：执行一个程序所分配的资源的总称，是动态的。 2. 进程的组成部分 BSS段（bss）&…...

编程日记 2025/8/7 1:51:25

举例

计算机科学中的应用

python演示相关系数

生成子空间是由一组向量通过线性组合生成的空间。具体来说，给定向量集合 {v1,v2,…,vk}，其生成子空间是所有形如 c1v1+c2v2+⋯+ckvk​ 的向量的集合，其中 c1,c2,…,ckc1​,c2​,…,ck​ 为标量。

关键点

例子

python演示生成子空间

相关文章：

生成子空间是由一组向量通过线性组合生成的空间。具体来说，给定向量集合 {v1,v2,…,vk}，其生成子空间是所有形如 c1v1+c2v2+⋯+ckvk 的向量的集合，其中 c1,c2,…,ckc1,c2,…,ck 为标量。