当前位置：首页 > news >正文

【C++游戏引擎开发】《线性代数》（3）：矩阵乘法的SIMD优化与转置加速

news 来源：原创 2025/6/27 21:51:18

一、矩阵乘法数学原理与性能瓶颈

1.1 数学原理

矩阵乘法定义为：给定两个矩阵 $\mathrm{A}（m×n）$ 和 $\mathrm{B}（n×p）$ ，它们的乘积 $\mathrm{C}=A×B$ 是一个 $\mathrm{m}×p$ 的矩阵，其中：

$C_{i,j} = \sum_{k=1}^{n} A_{i,k} \cdot B_{k,j}$

每个元素 $C [i] [j]$ 需要 $n$ 次乘法和 $n - 1$ 次加法，总时间复杂度为 $O (mn p)$ 。对于两个 $n \times n$ 方阵，时间复杂度为 $O(n^3)$ 。

2.2 性能问题

2.2.1 内存访问效率

缓存未命中：大矩阵无法完全放入缓存，导致频繁访问内存，增加延迟。
非连续访问：访问 $B$ 的列时，若存储为行主序，会导致缓存不友好。

2.2.2 并行化效率

任务分配不均：静态分配可能导致负载不均衡。
同步开销：多线程间同步可能引入额外开销。

2.2.3 指令级并行与向量化

SIMD利用率低：未充分利用向量指令（如AVX、NEON）。

2.2.4 循环结构与数据布局

低效循环顺序：传统三重循环（i-j-k）导致内存访问不连续。

2.3 优化策略

分块处理：将矩阵划分为适合缓存的小块，减少内存访问。
多线程并行：使用OpenMP、pthread等多线程库并行计算。
SIMD向量化：利用AVX/SSE指令加速计算。
数据布局优化：转置矩阵 $B$ 或调整存储顺序（行/列主序）。

二、分块策略优化（Cache-Friendly）

分块（Tiling）策略是优化矩阵乘法性能的核心技术之一，其核心思想是通过**数据局部性（Locality）**提升缓存利用率，减少内存访问延迟。

2.1 为什么需要分块？

矩阵乘法的朴素实现（三重循环）通常存在以下问题：

内存访问模式差：对矩阵 $B$ 的列访问（行主序存储下）不连续，导致**缓存行（Cache Line）**利用率低。
数据重用率低：每个元素 $A [i] [k]$ 和 $B [k] [j]$ 仅被使用一次，无法利用缓存的时间局部性（Temporal Locality）。
缓存容量不足：当矩阵大小超过缓存容量时，频繁的缓存未命中（Cache Miss）会触发内存访问，导致性能骤降。
分块策略通过将大矩阵拆分为适合缓存的小块，使得每个小块的数据能长时间驻留在缓存中，从而提升数据重用率。

2.2 分块策略的原理

2.2.1 数据局部性优化

时间局部性：同一块内的数据被多次使用（例如，分块后 $A$ 的子块行与 $B$ 的子块列多次参与计算）。
空间局部性：连续访问内存中的数据（例如，按行优先顺序访问子块内的元素）。

2.2.2 分块步骤

划分矩阵：将矩阵 $A$ 和 $B$ 划分为大小为 $T \times T$ 的子块（Block）， $A$ 按行分块， $B$ 按列分块， $C$ 对应分块，分块大小 $T$ 需根据缓存容量（如L1/L2 Cache大小）调整。
分块乘法：对每个子块执行矩阵乘法（子块乘积累加到 $C$ 的对应位置）。
循环顺序调整：将循环顺序从朴素的 i-j-k 调整为 i-k-j，优先处理分块内的计算。

2.2.3 分块后的计算流程

for i in 0 to m step T:           # 分块行循环for j in 0 to p step T:       # 分块列循环for k in 0 to n step T:   # 分块中间循环# 计算子块 C[i:i+T, j:j+T] += A[i:i+T, k:k+T] * B[k:k+T, j:j+T]for ii in i to i+T:   # 子块内行循环for kk in k to k+T:for jj in j to j+T:C[ii][jj] += A[ii][kk] * B[kk][jj]

2.3 示例代码

#include <immintrin.h>void block_matmul(int m, int n, int p, float* A, float* B, float* C) {const int T = 64; // 分块大小for (int i = 0; i < m; i += T) {for (int j = 0; j < p; j += T) {for (int k = 0; k < n; k += T) {// 子块范围int i_end = std::min(i + T, m);int j_end = std::min(j + T, p);int k_end = std::min(k + T, n);// 子块内计算（使用AVX2）for (int ii = i; ii < i_end; ii++) {for (int kk = k; kk < k_end; kk++) {__m256 a = _mm256_broadcast_ss(&A[ii * n + kk]);for (int jj = j; jj < j_end; jj += 8) {__m256 b = _mm256_loadu_ps(&B[kk * p + jj]);__m256 c = _mm256_loadu_ps(&C[ii * p + jj]);c = _mm256_fmadd_ps(a, b, c);_mm256_storeu_ps(&C[ii * p + jj], c);}}}}}}
}

三、矩阵转置

矩阵转置是线性代数中的基本操作，指将矩阵的行和列互换。具体来说，对于一个 $m \times n$ 的矩阵 $A$ ，其转置矩阵 $A^T$ 是一个 $n \times m$ 的矩阵。

3.1 8x8块转置代码实现

void transpose_8x8_block(size_t i, size_t j, Matrix& result) const {const float* src = data_ + i * cols_ + j;__m256 row0 = _mm256_loadu_ps(src + 0 * cols_);__m256 row1 = _mm256_loadu_ps(src + 1 * cols_);__m256 row2 = _mm256_loadu_ps(src + 2 * cols_);__m256 row3 = _mm256_loadu_ps(src + 3 * cols_);__m256 row4 = _mm256_loadu_ps(src + 4 * cols_);__m256 row5 = _mm256_loadu_ps(src + 5 * cols_);__m256 row6 = _mm256_loadu_ps

【C++游戏引擎开发】《线性代数》（3）：矩阵乘法的SIMD优化与转置加速

一、矩阵乘法数学原理与性能瓶颈 1.1 数学原理矩阵乘法定义为：给定两个矩阵 A （ m n ） \mathrm{A}（mn） A（mn）和 B （ n p ） \mathrm{B}（np） B（np），它们的乘积 C = A B \mathrm{C}=AB C=AB 是一个 m p \mathrm{m}p mp 的矩阵，其中： C i , j = ∑ k = 1…...

编程日记 2025/6/27 21:51:18

聚焦交易能力提升！EagleTrader 模拟交易系统打造交易成长新路径

在全球市场波动加剧的背景下，交易者面临的挑战已不仅限于技术分析层面。许多交易者在实盘操作中常因情绪干扰导致决策变形，如何构建科学的交易心理与风险控制体系成为行业关注焦点。国内自营交易考试EagleTrader运用自己研发的模拟交易系统&#xff0c…...

编程日记 2025/6/27 16:48:34

文件分片上传

1前端 <inputtype"file"accept".mp4"ref"videoInput"change"handleVideoChange"style"display: none;">2生成hash // 根据整个文件的文件名和大小组合的字符串生成hash值，大概率确定文件的唯一性fhash(f…...

编程日记 2025/6/27 9:03:49

C#Lambda表达式与委托关系

1. 核心关系图示 A[委托] --> B[提供方法容器] B --> C[Lambda表达式] C --> D[委托实例的语法糖] A --> E[类型安全约束] C --> F[编译器自动生成委托实例] 2. 本质联系 2.1 类型关系 ‌Lambda表达式‌是编译器生成的‌委托实例‌表达式自动匹配符合签名的…...

编程日记 2025/6/27 21:47:54

机器翻译和文本生成评估指标：BLEU 计算公式

📌 BLEU 计算公式 BLEU 主要由**n-gram精确匹配率（Precision）和长度惩罚（Brevity Penalty, BP）**组成。 1️⃣ n-gram 精确匹配率计算不同长度的 n-gram（1-gram, 2-gram, ..., n-gram）在生成…...

编程日记 2025/6/27 14:57:32

24 python 类

在办公室里，类就像一个部门（如销售部、财务部），定义了该部门员工的共同属性（姓名、职位）和行为（处理客户、提交报表）。一、面向对象技术简介作为一个要入门码农的牛马&#xff0…...

编程日记 2025/6/27 21:41:15

pycharm与python版本

python 3.6-3.9 pycharm 2021版本搭配最好 python 3.8 pycharm 2019版本搭配最好 pycharm各版本下载...

编程日记 2025/5/26 15:31:49

23种设计模式-结构型模式-外观

文章目录简介问题解决方案示例代码总结简介也称：门面模式、Facade。外观是一种结构型设计模式，能为程序库、框架或其他复杂类提供一个简单的接口。问题假设你必须在代码中使用某个复杂的库或框架中的众多对象。正常情况下，你需要负责…...

编程日记 2025/6/25 12:05:15

官方文档位置： Visualization - Open3D 0.19.0 documentationhttps://www.open3d.org/docs/release/tutorial/visualization/visualization.html核心方法： o3d.visualization.draw_geometries([几何对象列表]) import open3d as o3dprint("Load …...

编程日记 2025/6/27 20:31:05

node.js、npm相关知识

Node.js 是一个基于 Chrome V8 JavaScript 引擎构建的开源、跨平台的 JavaScript 运行时环境，主要用于服务器端编程。它允许开发者使用 JavaScript 编写高性能的后端服务，突破了 JavaScript 仅在浏览器中运行的限制。 npm（Node Package Man…...

编程日记 2025/6/27 20:46:03

大象如何学会太空漫步？美的：科技领先、To B和全球化

中国企业正处在转型的十字路口。一边是全新的技术、全新的市场机遇；一边是转型要面临的沉重负累和巨大投入，无数中国制造、中国品牌仍在寻路，而有的人已经走至半途。近日，美的集团交出了一份十分亮眼的2024年财报。数据显示&…...

编程日记 2025/6/26 22:53:23

Go红队开发— 收官工具

文章目录免责声明个人武器开发美观输出Whois查询反查ip目录扫描子域名爆破被动扫描主动扫描(字典爆破)CDN检测免责声明 💡 本博客绝不涉及任何非法用途。 💡 使用者风险自担，违规后果自负。 💡 守法为先，技术向善。 …...

编程日记 2025/6/27 19:49:35

Android 应用程序包的 adb 命令

查看所有已安装应用的包名命令：adb shell pm list packages说明：该命令会列出设备上所有已安装应用的包名。可以通过管道符|结合grep命令来过滤特定的包名，例如adb shell pm list packages | grep com.pm，这将只显示包名中包含co…...

编程日记 2025/6/27 13:10:55

北京南文观点：后糖酒会营销，以战略传播重构品牌信心坐标

第112届全国糖酒会落下帷幕，参展品牌面临一个关键命题。如何在流量洪流中沉淀品牌价值？北京南文（全称：南文乐园科技文化（北京）有限公司）认为，糖酒会的结束恰是算法时代品牌认知战的真…...

编程日记 2025/6/27 20:10:31

Qt - findChild

findChild 1. 函数原型2. 功能描述3. 使用场景4. 示例代码5. 注意事项6. 总结在 Qt 中，每个 QObject 都可以拥有子对象，而 QObject 提供的模板函数 findChild 就是用来在对象树中查找满足特定条件的子对象的工具。下面我们详细介绍一下它的使用和注意事…...

编程日记 2025/6/27 20:06:14

2025年3月个人工作生活总结

本文为 2025年3月工作生活总结。研发编码一个curl下载失败问题的记录问题： 某程序，指定IP和账户密码配置，再使用curl库连接sftp服务器，下载文件。在CentOS系统正常，但在某国产操作系统中失败，需要用命…...

编程日记 2025/6/27 20:34:08

Spring Boot 七种事务传播行为只有 REQUIRES_NEW 和 NESTED 支持部分回滚的分析

Spring Boot 七种事务传播行为支持部分回滚的分析支持部分回滚的传播行为 REQUIRES_NEW：始终开启新事务，独立于外部事务，失败时仅自身回滚。NESTED：在当前事务中创建保存点（Savepoint），可局部…...

编程日记 2025/6/27 21:00:43

NVIDIA工业设施数字孪生中的机器人模拟

工业设施数字孪生中的机器人模拟文章目录工业设施数字孪生中的机器人模拟数字孪生技术的价值NVIDIA Omniverse平台工业机器人仿真的核心组件示例一：使用Isaac Sim创建基本机器人场景示例二：机器人运动规划和轨迹执行示例三：传感器集成与感知…...

编程日记 2025/6/27 21:31:38

docker安装jenkins

docker安装jenkins 1.安装javaJDK 服务器安装javaJDK ,因为我的服务器是直接集成了宝塔面板，我就直接从宝塔面板去安装JDK 最好安装17的JDK，因为后面会安装jenkins，需要17的版本 1.2查看安装是否完成 java --version 安装成功如下&#x…...

编程日记 2025/6/23 5:46:26

量子计算与人工智能融合的未来趋势

最近研学过程中发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击链接跳转到网站人工智能及编程语言学习教程。读者们可以通过里面的文章详细了解一下人工智能及其编程等教程和学习方法。在当今科技飞速发展…...

编程日记 2025/6/24 8:21:59

人工智能在生物医药-新版ChatGPT-4o辅助一键生成机制图

新版ChatGPT-4o辅助一键生成机制图作为一位生物医学教授专家，我将基于PubMed最新研究和科研大数据信息，遵循您的要求，一步一步进行思考和预测。核心问题：乳酸化修饰促进肾透明细胞癌（ccRCC）恶性进展的机…...

编程日记 2025/6/1 14:57:30

支持 MCP 协议的开源 AI Agent 项目

关键要点研究表明，目前有多个开源 AI Agent 项目支持 MCP 协议，包括 ChatMCP、HyperChat、5ire 和 Cherry Studio 等。这些项目主要用于聊天或桌面助手，允许通过 MCP 协议连接外部数据和工具。MCP 协议是 2024 年 11 月由 Anthropic 开源的…...

编程日记 2025/6/25 19:21:50

JavaRedis和数据库相关面试题

JavaRedis面试题 1. Redis是什么以及Redis为什么快？ Redis（Remote Dictionary Server）是一个开源的内存键值数据库，支持多种数据结构（如字符串、哈希、列表、集合等），并提供持久化、复制、…...

编程日记 2025/6/25 16:33:33

Android开发RxJava3延迟操作

Android开发RxJava3延迟操作直接上代码： /*** param timeMillis 毫秒单位* desc : 延迟多少毫秒操作,* 注：它和Activity生命周期绑定，界面关闭了不会再执行delayTodoListener.delayTodo()* author : congge on 2021-03-25 15:31**/p…...

编程日记 2025/6/25 8:30:58

android 设置状态栏背景

一让activity ui界面和手机状态栏一样的背景要让 Activity 的 UI 界面和手机状态栏具有相同的背景颜色，并且能够随着深色模式和非深色模式的切换而改变颜色，你可以按照以下步骤操作： 1. 让 Activity 和状态栏背景颜色一致使用 window.s…...

编程日记 2025/4/11 14:21:44

vue 常见优化手段

文章目录 vue常见的优化手段前言使用key（避免明明相同的dom，每次更新都要重新生成）使用冻结的对象（避免无意义的响应式数据）使用函数式组件（减少vue组件实例的生成）vue3vue2使用计算属性（减少数据计算的次数）非实时绑定的表单项（避免表单过多触发监听事件）保持对象的…...

编程日记 2025/5/28 2:55:31

vue生命周期、钩子以及跨域问题简介

Vue 的生命周期是指 Vue 实例从创建到销毁的整个过程。在这个过程中，Vue 提供了一系列的生命周期钩子（Lifecycle Hooks），允许开发者在特定的时间点执行代码。以下是 Vue 的生命周期和钩子的简单说明： Vue 的生命周期阶…...

编程日记 2025/6/27 16:47:55

主相机绑定小地图

资源初始化：在类中通过 property 装饰器定义主相机、小地图相机、小地图精灵等资源属性，便于在编辑器中赋值。在 start 方法里，当确认这些资源存在后，创建渲染纹理并设置其大小，将渲染纹理与小地图相机关联&#xff0c…...

编程日记 2025/5/28 10:35:28

关于音频采样率，比特，时间轴的理解

是的，你的理解完全正确！-ar、-af aresampleasync1000 和 -b:a 64k 分别用于控制音频的采样率、时间戳调整和比特率。它们各自有不同的作用，但共同确保音频的质量和同步性。下面我将详细解释每个参数的作用和它们之间的关系。 1. -ar 参数作用…...

编程日记 2025/6/26 4:03:32

三、FFmpeg学习笔记

FFmpeg是一个开源、跨平台的多媒体处理框架，能够实现音视频的录制、转换、剪辑、编码、解码、流媒体传输、过滤与后期处理等几乎所有常见的多媒体操作。其强大之处在于几乎支持所有的音视频格式、编解码器和封装格式，是业界公认的“瑞士军刀”。 FFmp…...

编程日记 2025/6/26 8:04:01

什么是 Java 泛型

一、什么是 Java 泛型？ 泛型（Generics） 是 Java 中一种强大的编程机制，允许在定义类、接口和方法时使用类型参数。通过泛型，可以将数据类型作为参数传递，从而实现代码的通用性和类型安全。简单来说&…...

编程日记 2025/6/22 12:09:07

从 WPF 到 MAUI：跨平台 UI 开发的进化之路

一、引言在软件开发领域，用户界面（UI）开发一直是至关重要的环节。随着技术的不断发展，开发者对于创建跨平台、高性能且美观的 UI 需求日益增长。Windows Presentation Foundation（WPF）和 .NET Multi - pl…...

编程日记 2025/6/24 10:39:05

Docker学习之dockerfile篇（day8）

文章目录前言一、问题描述二、具体内容1. Docker 镜像原理2. Docker 镜像制作3. Dockerfile 概念Dockerfile 的基本结构： 4. Dockerfile 关键字5. Docker 实战案例5.1 基于 Nginx 构建 Web 服务器 6. 验证与总结6.1 验证 Dockerfile6.2 总结前言 Docker 是一种轻…...

编程日记 2025/6/23 17:13:41

Kotlin 作用域函数：apply、let、run、with、also

在 Kotlin 开发中，作用域函数（Scope Functions）是一组能让代码更简洁、更函数式的高阶函数。它们通过不同的作用域规则和返回值设计，解决了对象配置、空安全处理、链式操作等常见场景问题。本文将结合核心特性、代码示例和对比表格…...

编程日记 2025/6/27 17:16:13

Java 线程池与 Kotlin 协程高阶学习

以下是Java 线程池与 Kotlin 协程高阶学习的对比指南，结合具体代码示例，展示两者在异步任务处理中的差异和 Kotlin 的简化优势： 分析： 首先，我们需要回忆Java中线程池的常见用法，比如通过ExecutorService创…...

编程日记 2025/6/22 23:49:56

C++学习笔记（三十三）——forward_list

一、std::forward_list (1) forward_list与其适用场景 std::forward_list 是 C的STL中的单向链表（Singly Linked List），它相比 std::list（双向链表）更轻量，适用于仅需要单向遍历的场景。主要特点&#…...

编程日记 2025/6/21 17:59:06

ROS订阅相机图像识别颜色并发布识别信息

一、前言区别于之前的直接驱动相机，这里改为读取图像话题进行处理，原因是如果opencv驱动相机后只能单一使用，就限制了其他识别功能（除非将原始图像发布出来），所以这里改成可以读取任意相机图像话题的方法…...

编程日记 2025/6/24 11:41:58

Redis-15.在Java中操作Redis-Spring Data Redis使用方式-操作集合类型的数据

一.操作集合类型的数据 package com.sky.test;import org.junit.jupiter.api.Test; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.boot.test.context.SpringBootTest; import org.springframework.data.redis.core.*;import j…...

编程日记 2025/6/24 1:42:15

第十一届蓝桥杯大赛软件赛省赛C/C++ 大学 B 组

1.字串排序不会做，感觉挺难的，有兴趣的可以看下面题解 #include <iostream> #include <string.h> using namespace std; int V; int len;//符合交换次数V，字符串长度最小值 int now; //当前已经构造好的那一部分字符串逆序对个数…...

编程日记 2025/6/23 17:14:20

CentOS 安装 zip

安装软件 sudo yum install zip unzip # CentOS 7 sudo dnf install zip unzip # CentOS 8/9压缩文件 # 压缩单个文件 zip 压缩包名.zip 文件1# 压缩多个文件 zip 压缩包名.zip 文件1 文件2 文件3# 压缩目录（包含子目录） zip -r 压缩包名.zip 目…...

编程日记 2025/6/27 6:32:17

FastPillars：一种易于部署的基于支柱的 3D 探测器

FastPillars：一种易于部署的基于支柱的 3D 探测器Report issue for preceding element Sifan Zhou 1 , Zhi Tian 2 , Xiangxiang Chu 2 , Xinyu Zhang 2 , Bo Zhang 2 , Xiaobo Lu11{}^{1}start_FLOATSUPERSCRIPT 1 end_FLOATSUPERSCRIPT11footnotemark: 1 Chengji…...

编程日记 2025/6/24 23:59:11

LVS高可用负载均衡

一、项目图二、主机规划主机系统安装应用网络IPclientredhat 9.5无NAT192.168.72.115/24lvs-masterredhat 9.5ipvsadm，keepalivedNAT192.168.72.116/24 VIP 192.168.72.100/32lvs-backupredhat 9.5ipvsadm，keepalivedNAT192.168.72.117/24 VIP 192.168…...

编程日记 2025/6/24 14:33:31

Kafka延迟队列实现分级重试

技术方案方案背景 Kafka队列消息消费处理过程中，发生处理异常，需要实现重试机制，并基于重试次数实现不同延迟时间重试方案。方案介绍通过实现Kafka延迟队列来实现消息重试机制。目标： 支持所有业务场景的延迟重试支持多…...

编程日记 2025/6/26 6:33:32

谷粒微服务高级篇学习笔记整理---异步线程池

多线程回顾多线程实现的4种方式 1. 继承 Thread 类通过继承 Thread 类并重写 run() 方法实现多线程。 public class MyThread extends Thread {Overridepublic void run() {System.out.println("线程运行: " Thread.currentThread().getName());} }// 使用 pub…...

编程日记 2025/6/23 6:02:48

3.第二阶段x64游戏实战-分析人物移动实现人物加速

免责声明：内容仅供学习参考，请合法利用知识，禁止进行违法犯罪活动！ 本次游戏没法给内容参考于：微尘网络安全上一个内容：2.第二阶段x64游戏实战-x64dbg的使用想找人物的速度，就需要使用Ch…...

编程日记 2025/6/26 23:55:01

MQTT 服务器(emqx)搭建及使用（一）

一. EMQX 服务器搭建 1.下载EMQX 下载链接：Windows | EMQX 文档官方手册 2.下载内容解压至盘符根目录 3.进入bin文件夹，在地址栏输入cmd 4.依次输入下面命令安装服务 .\emqx.cmd install .\emqx.cmd console 5.设置自启动创建批处理文件&#x…...

编程日记 2025/6/26 5:09:48