当前位置：首页 > news >正文

深度学习blog-深刻理解线性变换和矩阵

news 来源：原创 2025/5/7 0:18:47

深度学习中避免不了矩阵运算，或者张量（其实是矩阵数组）运算。卷积是矩阵加、乘法，注意力也是一样。本质都一样，所谓注意力，卷积、滤波，是对不必了解数学的人说的，底层都是矩阵运算，线性变换。神经网络中的权重矩阵W可看作是对输入的数据进行特征转换，即先将数据编码为另一种形式，然后在此基础上进行一系列学习。

任何一个向量都可以用基向量的线性组合来表示。

即任何一个向量都可以用基向量通过线性变换得到。

矩阵相乘的几何意义就是两个线性变换的相继作用。

通过线性变换，不仅可以得到这一组合的变换结果，也可以有效地计算任意向量的线性变换结果。

看看旋转变换：

比如上图所示，向量R逆时针旋转角度B前后的情况。
在左图中，有：
　　x0 = |R| * cosA       =>          cosA = x0 / |R|
　　y0 = |R| * sinA        =>          sinA = y0 / |R|
同样的，在右图中：
　　x1 = |R| * cos（A+B）
　　y1 = |R| * sin（A+B）
其中（x1， y1）就是（x0， y0）旋转角B后得到的向量，展开cos（A+B）和sin（A+B）：
　　x1 = |R| * （cosAcosB - sinAsinB）
　　y1 = |R| * （sinAcosB + cosAsinB）
把  cosA = x0 / |R| 和 sinA = y0 / |R|  代入上面的式子，得到：

x1 = |R| * （x0 * cosB / |R| - y0 * sinB / |R|） =>  x1 = x0 * cosB - y0 * sinB
y1 = |R| * （y0 * cosB / |R| + x0 * sinB / |R|） =>  y1 = x0 * sinB + y0 * cosB
这样就得到了二维坐标下向量的逆时针旋转公式。顺时针旋转就把角度变为负：
　　x1 = x0 * cos（-B） - y0 * sin（-B） =>  x1 = x0 * cosB + y0 * sinB
　　y1 = x0 * sin（-B） + y0 * cos（-B）=>  y1 = -x0 * sinB + y0 * cosB
把这个公式写成矩阵的形式，每个线性变换（这里是旋转变换）都对应一个矩阵，叫做变换矩阵。

线性变换的性质

唯一性：每个线性变换由其在基向量上的值唯一确定。
矩阵表示：每个线性变换可以用矩阵表示，通过矩阵与向量的乘法来实现变换。
复合性：两个线性变换的复合依然是线性变换。
零向量的映射：线性变换总是将零向量映射为零向量，即 T(0)=0T(0)=0。
负元素的象为原来元素的象的负元素。
线性变换把线性相关的元素组仍变为线性相关的元素组。
特征值和特征向量：线性变换的特征值和特征向量可帮助理解变换性质，如缩放、旋转等。

注：线性无关的元素组经过线性变换不一定再是线性无关的，变换后的情况与元素组和线性变换有关。若线性变换 T 将所有的元素组仍变换为线性无关的元素组，则称之为满秩的线性变换，其变换矩阵为满秩矩阵。

常见变换：平移变换、旋转变换、缩放变换、反射变换、投影变换。

1、线性变换是自身空间下的变换，而仿射变换是不同空间下的变换。线性变换作用后，空间维数不变，仿射变换作用后空间维数可能改变。

2、仿射变换与线性变换的区别在于变换前后是否改变原点。仿射变换＝线性变换+平移变换

3、旋转，伸缩改变向量的方法，伸缩不改变方向

4、正交变换是指通过正交矩阵进行的线性变换。可以简单理解为矩阵的行（或列）向量是正交的，并且每个向量的长度为1。

性质：
保持角度和长度：正交变换保持向量之间的夹角和长度，意味着不改变几何形状。
几何意义：正交变换可以看作是对空间的旋转或反射。

几种特殊矩阵：对称矩阵、正交矩阵、单位矩阵、酉矩阵、Hermite矩阵、上下三角矩阵等。

向量完成变换的关键是：要找到那个变换矩阵T
变换矩阵T的本质是：找到一组基向量
找到一组基向量等价于：找到了一个坐标系
找到一组基向量意味着：找到了一个向量空间

PyTorch 张量操作函数：

a. 张量创建
torch.zeros(size)：创建全0张量。
torch.ones(size)：创建全1张量。
torch.empty(size)：创建未初始化的张量。
torch.rand(size)：创建随机值张量。
torch.eye(n)：创建单位矩阵。
b. 张量形状操作
tensor.view(shape)：重塑张量。
tensor.reshape(...)：重塑张量，注意跟view的区别。
tensor.permute(dims)：改变张量的维度顺序。
tensor.unsqueeze(dim)：在指定维度上增加一个维度。
tensor.squeeze(dim)：去除指定维度的大小为1的维度。
torch.cat(tensors, dim)：沿指定维度拼接多个张量。
c. 张量运算
torch.matmul(a, b)：矩阵乘法。
torch.add(a, b)：张量加法。
torch.subtract(a, b)：张量减法。
torch.multiply(a, b)：张量逐元素相乘。
torch.divide(a, b)：张量逐元素相除。
d. 张量统计
tensor.mean(dim)：计算均值。
tensor.sum(dim)：计算和。
tensor.max(dim)：计算最大值。
tensor.min(dim)：计算最小值。
e. 张量索引与切片
tensor[index]：索引单个元素。
tensor[start:end]：切片操作。
f. 其他操作
transpose(dim0, dim1)：交换两个维度。
transpose(-2, -1)交换最后两个维度，负数表示从里层开始算，正数表示从外层开始算。
torch.stack(tensors, dim)：在新维度上堆叠多个张量。
tensor.clone()：克隆一个张量。
tensor.contiguous() ：使张量在内存里连续，一般用在view()函数之前。

张量运算常见错误：

import torch
import torch.nn as nn
import torch.nn.functional as Finput_tensor = torch.randn(2, 3, 4, 5)
print(input_tensor)
print("----------------")
y=input_tensor.permute(0,2,3,1)
y=y.view(4,3,2,5)
print(y.shape)

运行错误：
y=y.view(4,3,2,5)
RuntimeError: view size is not compatible with input tensor's size and stride (at least one dimension spans across two contiguous subspaces). Use .reshape(...) instead.
解析错误原因

在 PyTorch 中，view 方法要求输入张量的内存是连续的（contiguous）。当你调用 permute 方法时，它会改变张量的维度顺序，但不会改变其在内存中的存储顺序。
因此，经过 permute 后的张量可能不是连续的，这就导致了在使用 view 时出现了错误。在 permute 之后，y 的形状变为 (2, 4, 5, 3)，但是这个张量在内存中并不连续。
当你尝试执行 y = y.view(4, 3, 2, 5) 时，PyTorch 检测到 y 的内存布局不符合 view 的要求，因此抛出了 RuntimeError。

解决:view替换为reshape 或者先调用contiguous()

y=y.reshape(3,4,5,2)
y=y.contiguous().view(4,3,2,5)

这同时也展示了view、permute、reshape用法的不同。view和reshape的输入参数是张量的每个维度的大小，在不关心每个维度是多长时，可以用permute，输入原张量维度的序号（0,1,2,3,4...）他们的用途都是重塑张量的形状，但是，view需要张量的内存是连续的，如果一个张量发生了形状的改变，在内存里可能就不是连续的，此时调用view前，先用contiguous()。

在 PyTorch 中, torch.nn.Linear 是用于构建线性变换（又称为全连接层或线性层）的类，常用在神经网络中。原型：torch.nn.Linear(self, in_features: int, out_features: int, bias: bool = True,device=None, dtype=None)

输入参数解析

1.in_features (int):

这是输入特征的维度，即输入向量的大小。例如，如果输入数据是一个具有 10 个特征的样本，则 in_features 应设置为 10。

2.out_features (int):

这是输出特征的维度，即线性变换后输出向量的大小。例如，如果希望输出数据具有 5 个特征，则 out_features 应设置为 5。

3.bias (bool, optional):

默认值为 True。这个参数指示是否包含偏置项（bias term）。如果设置为 True，则该线性层在计算时会添加一个偏置项；如果设置为 False，则省略偏置项。线性变换的公式一般为：

output=input⋅weightT+biasoutput=input⋅weightT+bias

当 bias 为 False 时，公式简化为：output=input⋅weightToutput=input⋅weightT

4.device (torch.device, optional):

这个参数用于指定张量要分配到的设备（例如，CPU 或 GPU）。

5.dtype (torch.dtype, optional):

这是指定张量数据类型的参数。例如 torch.float32 或 torch.float64。

简单例子：

import torch
import torch.nn as nnclass Example(nn.Module):def __init__(self, d_model, num_heads):super(Example, self).__init__()self.d_model = d_modelself.num_heads = num_heads# 两个参数分别是输入self.W_q = nn.Linear(d_model, d_model)def forward(self, x):# 输入 x， shape = (batch_size, seq_length, d_model)# 假设我们有 batch_size=2, seq_length=3, d_model=4x = torch.arange(24).view(2, 3, 4).float()  # Shape: (2, 3, 4)print(x)# 执行线性变换Q = self.W_q(x)  # 仍然是(2, 3, 4)print(Q)# 对Q进行reshape操作Q = Q.view(2, 3, 2, 2)  # Shape: (2, 3, 2, 2), 假设 num_heads=2, d_k=2Q = Q.transpose(1, 2)  # Shape: (2, 2, 3, 2)# 进行一些示例print("原始Q:", x)print("线性变换后的Q:", Q)model = Example(4, 2)
model(torch.randn(2, 3, 4))# 输入维度为3，输出维度为2
linear_layer = nn.Linear(3, 3)# 随机输入一个batch大小为1，特征维度为3的张量
input_tensor = torch.tensor([[1.0, 2.0, 3.0]])  # Batch size = 1, Features = 3# 线性层前向传播
output = linear_layer(input_tensor)
print(output)print("---------------")
# in_features=4，out_features=3
m = nn.Linear(4, 3)
# 只要最后一维的大小等于 in_features（这里是4）
input = torch.randn(2,3,5,4) 
print(input)
output = m(input)
print(output)
print(output. Size())

总之线性变换对应一个变换矩阵，变换矩阵也是一个函数（映射）。

深度学习blog-深刻理解线性变换和矩阵

深度学习中避免不了矩阵运算，或者张量（其实是矩阵数组）运算。卷积是矩阵加、乘法，注意力也是一样。本质都一样，所谓注意力，卷积、滤波，是对不必了解数学的人说的，底层都是矩阵运算&a…...

编程日记 2025/5/7 0:18:47

C语言扫雷程序设计

目录 1.main函数 2.菜单打印menu函数 3.游戏game函数 4.宏定义 5.界面初始化 6.打印界面 7.设置雷 8.统计排查坐标周围雷的个数 9.排查雷 10.总代码 test.c代码 game.h代码 game.c代码结语： 一个简单的扫雷游戏，通过宏定义可以修改行列的…...

编程日记 2025/5/6 15:04:42

[笔记] Jenkins 安装与配置全攻略：Ubuntu 从零开始搭建持续集成环境

随着 DevOps 流程的普及，持续集成（CI）和持续交付（CD）已成为现代软件开发中不可或缺的一部分。Jenkins 作为一款开源的自动化服务器，广泛应用于 CI/CD 管道的构建与管理。它不仅支持多种编程语言和工具链&am…...

编程日记 2025/5/4 2:01:31

【51单片机零基础-chapter3:按键:独立按键|||附带常见C语句.逻辑运算符】

将unsigned char var0;看作沟通二进制和十进制的桥梁 var是8位,初始为0000 0000; 同时可以进行十进制的运算逻辑运算位运算 & 按位与(有0则0) | 按位或(有1则1) ~ 按位非 ^ 按位异或(相同则1,不同为0) <<按位左移 >>按位右移位运算符解释: 0011 1100 <&…...

编程日记 2025/5/6 10:30:49

深入浅出：深层网络处理技术的教学指南

引言在人工智能的浪潮中，深层网络处理技术（Deep Learning）无疑是最耀眼的明星之一。无论是图像识别、自然语言处理，还是语音识别，深层网络都展现出了强大的能力。然而，对于初学者来说，深层网络…...

编程日记 2025/5/6 23:24:27

深入浅出Node.js-1(node.js入门）

全新专栏带你快速掌握node.js Node.js入门 html,css,js 30年了 nodejs环境 09年出现 15年 nodejs为我们解决了2个方面的问题： 【锦上添花】让我们前端工程师拥有了后端开发能力（开接口，访问数据库） - 大公司BFF（5…...

编程日记 2025/5/5 11:57:11

Django的runserver

当年执行 python manage runserver命令时 1. 先执行 runserver 中的 handle方法 2. 执行 self.run()方法 3. 执行 self.inner_run() 3.1 inner_run 下 run方法的封装 3.1.1 接着看 handle 怎么来的封装了一个方法接着找返回函数 3.1.2在 basehttp 下 3.1.3 get_wsgi_appl…...

编程日记 2025/5/5 0:42:13

MySQL 存储引擎

InnoDB InnoDB是MySQL的默认存储引擎，自MySQL 5.5版本起开始使用。它提供了具有提交、回滚和崩溃恢复能力的事务安全（ACID兼容）存储引擎。主要特性： 事务支持：完全支持ACID（原子性、一致性、隔离性、持久…...

编程日记 2025/5/6 23:33:14

React知识盲点——组件通信、性能优化、高级功能详解（大纲）

组件通信 React 组件通信详解在 React 中，组件通信是一个核心概念，主要指的是如何让不同的组件共享和传递数据。React 提供了多种机制来实现组件间的数据传递和状态共享。以下是几种常见的组件通信方式，包括：父子组件通信&…...

编程日记 2025/5/6 23:37:35

Maven 详细配置：Maven 项目 POM 文件解读

Maven 是 Java 开发领域中广泛使用的项目管理和构建工具，通过其核心配置文件——POM（Project Object Model）文件，开发者能够定义项目的基本信息、依赖关系、插件配置以及构建生命周期等关键要素。POM 文件不仅是 Maven 项目的核心…...

编程日记 2025/5/6 23:22:36

selenium

pythonselenium selenium是一个第三方库，python有很多库； 1、什么是ui自动化? 通过模拟手工操作用户ui页面的方式，用代码去实现自动化操作和验证的行为。 2、ui自动化的优点？ （1）解决重复性的功能测试…...

编程日记 2025/5/7 0:10:20

网络安全：设备原理与操作

设备型号概述网络安全企业有哪些？ 国外：思科，Juniper，惠普，3Com，。。。。国内：华为，中性，锐捷，蓝盾，绿盟，山石网科，36…...

编程日记 2025/5/6 23:47:39

pytorch中nn.Conv2d详解及参数设置原则

文章目录基础参数1. in_channels (输入通道数)2. out_channels (输出通道数)3. kernel_size (卷积核大小)4. stride (步幅)5. padding (填充)6. dilation (膨胀)7. groups (分组卷积)8. bias (偏置) 如何设置参数？1. **in_channels 和 out_channels（输入…...

编程日记 2025/5/6 23:53:29

select下拉框，首次进入页面没有显示value的情况

bug场景： 类似这种bug情况排查如下： 首先理解含义 options就是存放键值对的，id就是key，对上了它就自动把label显示而且如果你用来当作key和label的字段，与后端返回的不一致，还可以进行更改其次排查接…...

编程日记 2025/5/6 23:40:28

接口项目操作图-thinkphp6-rabbitmq

一、用户开户流程用户首次需要联系商务开通账户，需要提供手机号及来访问的IP。开好户之后，平台方将提供用户访问的key值及header头部参数的公钥加密文件、body访问参数以及返回数据的公私钥加解密文件。二、用户请求流程用户将拿到的key值进行rsa公钥…...

编程日记 2025/5/7 0:15:54

thinkphp6.0常用设计模式实例

单例模式 (Singleton) 场景：确保一个类只有一个实例，并提供一个全局访问点。实际业务：数据库连接、日志记录器、配置管理等。 ThinkPHP 6.0 实现： namespace app\common;class DatabaseConnection {private static $instance …...

编程日记 2025/5/6 23:18:29

微服务保护——Sentinel

什么是微服务保护？ 微服务保护是一系列用于保障微服务架构稳定、可靠运行的策略与技术手段，在复杂的分布式微服务系统里，它能避免局部故障引发连锁反应，从而维持整个系统的可用性，主要涵盖以下几个关键部分&#xff1a…...

编程日记 2025/5/7 0:15:54

php 多进程那点事，用 swoole 如何解决呢？

在 PHP 中，多进程的处理通常会遇到一些挑战，比如资源共享、进程间通信、性能优化等。Swoole 是一个高性能的协程和多进程框架，旨在为 PHP 提供异步、并发、协程等功能，解决了传统 PHP 环境中的多进程管理问题。通过使用 Swoole&am…...

编程日记 2025/5/1 8:47:43

STM32+ADC+DMA快速循环转换

测试平台：STM32F405RGT6 uint32_t AD_Buf[100]{0}; HAL_ADC_Start_DMA(&hadc2,(uint32_t *)AD_Buf,100); while(1) {printf("AD_Buf:%d\n",AD_Buf[0]); }...

编程日记 2025/4/22 2:30:26

移动电商的崛起与革新：以开源AI智能名片2+1链动模式S2B2C商城小程序为例的深度剖析

摘要：本文旨在探讨移动电商的崛起背景、特点及其对传统电商模式的革新影响，并以开源AI智能名片21链动模式S2B2C商城小程序为具体案例，深入分析其在移动电商领域的创新实践。随着移动互联网技术的飞速发展，移动电商已成为电商行业的…...

编程日记 2025/5/6 3:43:51

QT实现端口扫描暂停和继续功能 3

上篇QT给端口扫描工程增加线程2-CSDN博客为按钮pushButton_Stop添加clicked事件，功能为暂停扫描，并在暂停后显示继续按钮，点击继续按钮之后继续扫描 1.更新UI 添加继续按钮点击转到槽则会自动声明 2. 更新 MainWindow.h 需要新增的部分…...

编程日记 2025/5/2 7:50:08

C_字符数组存储汉字字符串及其索引

字符串就是字符数组，可以定义一个char类型的数组来存储字符串。如果要存储多个字符串则可以定义一个char类型的二维数组。存储多个汉字字符串的话，可以考虑用char类型的二维数组。不过要注意，一个汉字在内存中占用的字节数确实大于一个…...

编程日记 2025/5/5 9:07:52

Linux标准IOday1

1:思维导图 2:将 student.c这个练习题，改成链表后实现头文件link.h #ifndef __STRUCT_H__ #define __STRUCT_H__ #include <stdio.h> #include <stdlib.h> typedef struct Student{char name[20];double math;double chinese;double english;double…...

编程日记 2025/5/6 10:30:50

SEO内容优化：如何通过用户需求赢得搜索引擎青睐？

在谷歌SEO优化中，内容一直是最重要的因素之一。但要想让内容真正发挥作用，关键在于满足用户需求，而不是简单地堆砌关键词。谷歌的算法越来越智能化，更注重用户体验和内容的实用性。了解目标用户的需求。通过工具如Google Trends…...

编程日记 2025/5/4 13:28:13

API调用淘宝京东商品详情接口示例参考，json格式数据示例

以下是API调用淘宝和京东商品详情接口的JSON格式数据示例： 淘宝商品详情接口JSON数据示例淘宝商品详情接口（通常称为item_get或类似的名称）是淘宝开放平台提供的一个API接口，允许开发者根据商品的ID（Item ID&#x…...

编程日记 2025/4/29 5:01:44

css实现垂直文本

效果知识 writing-mode: <value>; 可选值 horizontal-tb: 默认值。文本从左到右（或从右到左）排列，然后从上到下。vertical-rl: 文本从上到下排列，然后从右到左。适用于垂直书写的方向，如日语和中文。vertica…...

编程日记 2025/5/1 22:03:00

【AI日记】25.01.07

【AI论文解读】【AI知识点】【AI小项目】【AI战略思考】【AI日记】【读书与思考】 AI 参加：kaggle 比赛 Forecasting Sticker Sales 读书书名：国家为什么会失败阅读原因：2024 年诺贝尔经济学奖得主的力作，之前我已经读过他另一…...

编程日记 2025/5/5 0:07:20

logback日志

一、使用两个以上spring环境变量做三目操作 <springProperty name"application_name" scope"context" source"spring.application.name"/><springProperty name"trace_app_name" scope"context" source"sprin…...

编程日记 2025/5/2 10:48:38

Android NDK开发入门3之基本语法

JNI语法基础函数生成语法： extern “ C” 作⽤：避免编绎器按照C的⽅式去编绎C函数 1、C不⽀持函数的重载，编译之后函数名不变； 2、C⽀持函数的重载（这点与Java⼀致），编译之后函数名会改变…...

编程日记 2025/5/4 5:13:44

unity学习9：unity的Asset 导入和导出

目录 1 Assets 资产/资源 1.1 编辑器里Assets 和explorer文件夹里一一对应 1.2 在编辑器里操作，和文件夹内操作，多数相同还是有些不同 2 往Assets里导入零散文件 2.1 往Assets里导入零散文件 2.2 把fbx文件导入到hierarcy /scene 里，…...

编程日记 2025/5/2 8:51:06

Unity学习笔记（七）使用状态机重构角色攻击

前言本文为Udemy课程The Ultimate Guide to Creating an RPG Game in Unity学习笔记攻击状态重构首先我们重构攻击状态的动画之前的动画，我们是使用状态(isAttacking)攻击次数(comboCounter)完成动画的过渡，这样虽然能完成功能，但是如…...

编程日记 2025/5/4 15:47:49

【整理集合大全】MySQL(4) 数据库增删改查SQL语句

查看数据库 show databases; 使用数据库 use 数据库名;创建数据库 CREATE DATABASE 数据库名;删除数据库 DROP DATABASE 数据库名;创建表 create table 表名(列名1 类型(长度) [约束],列名2 类型(长度) [约束],…… );长度区别 int类型带长度：不影响存取值&…...

编程日记 2025/5/3 11:27:25

Flutter 鸿蒙化 flutter和鸿蒙next混和渲染

前言导读这一个节课我们讲一下PlatformView的是使用我们在实战中有可能出现了在鸿蒙next只加载一部分Flutter的情况我们今天就讲一下这种情况具体实现要使用到我们的PlatformView 效果图具体实现：一、Native侧使用 DevEco Studio工具打开 platform_view_example\oho…...

编程日记 2025/5/3 9:34:41

Flask返回浏览器无乱码方法

# -*- coding: utf-8 -*- from flask import Flask, request, jsonify, Response import os import json import re from datetime import datetime import logging import sys import crawling_web_knowledgeapp Flask(__name__)app.json.ensure_ascii False # 解决中文乱码…...

编程日记 2025/4/27 10:48:00

线性变换的性质

输入参数解析

相关文章：