当前位置：首页 > news >正文

Flash Attention

news 来源：原创 2025/5/23 7:02:09

op融合

原始方法：

痛点：多次读取、写入显存。

解决：中间结果不保存，1个kernel顺序算完多个操作。

反向传播时用到这些中间结果要求导，怎么办？

答：类似activation checkpointing，重新计算一遍。

通过矩阵的分块计算：1. 达到了融合多个操作，减少了IO加快了速度；2. 消除了句子长度平方项矩阵，减少了显存占用。

计算步骤

K、V是外循环，Q、O是内循环。

1.1

1.2

1.3

2.1

2.2

2.3

S的softmax怎么办

为了不让e^x溢出，safe_softmax的做法是，分子分母同时除以e^m，m为最大的x：

每次重新做归一化即可：

l和m占用显存非常小。

原文算法：

M/4d里的4怎么来的？
SharedMemory里，只需要保存4个子矩阵：Q、K、V、O。（S*V可以用乘加来跳过中间结果矩阵的存储。但是S矩阵不需要占空间吗？）

IO分析：

原始方法，读写几次Q、K、V、O矩阵，复杂度是O(Nd)；读写各1次S矩阵，复杂度是O(N^2)。

FlastAttention，K、V矩阵大小是Nd，SharedMemory大小是M，则外层循环次数是Nd/M；内存循环读写Q、O矩阵，矩阵大小是O(Nd)；总的读写复杂度是:前者*后者=O(Nd/M*Nd)=O(N^2*d^2/M)

因为，Multi-head attention里，一般d是64或128，M一般是100KB，因此d^2/M远小于1，因此，FlashAttention的复杂度远小于原始方法。

FlashAttention-2

第3条，说明训练时，也要加Mask的，句子里，靠前面的token的Q，不能和靠后面token的K和V进行计算。

Flash Attention

op融合原始方法： 痛点：多次读取、写入显存。解决：中间结果不保存，1个kernel顺序算完多个操作。反向传播时用到这些中间结果要求导，怎么办？ 答：类似activation checkpointing，重新…...

编程日记 2025/5/23 7:02:09

Craft CMS 模板注入导致 Rce漏洞复现(CVE-2024-56145)(附脚本)

0x01 产品描述： ‌Craft CMS‌ 是一个灵活且强大的内容管理系统（CMS），专为创意团队和开发人员设计，提供高度可定制、直观且性能优越的网站和内容管理解决方案。它以用户友好的界面、强大的插件生态系统以及支持现代web开发最佳实践的特性而闻名‌0x02 漏洞描述：由于模板…...

编程日记 2025/5/22 17:15:07

步进电机位置速度双环控制实现

步进电机位置速度双环控制实现野火stm32电机教学提高部分-第11讲步进电机位置速度双环控制实现(1)_哔哩哔哩_bilibili PID模型位置环作为外环，速度环作为内环。设定目标位置和实际转轴位置的位置偏差，经过位置PID获得位置期望，然后讲位置期望（位置变化反映了转轴的速…...

编程日记 2025/5/21 3:39:08

Sigrity Optimize PI CapGen仿真教程文件路径

为了方便读者能够快速上手和学会Sigrity Optimize PI和 Deacap Generate 的功能，将Sigrity Optimize PI CapGen仿真教程专栏所有文章对应的实例文件上传至以下路径 https://download.csdn.net/download/weixin_54787054/90171471?spm1001.2014.3001.5503...

编程日记 2025/5/19 11:15:00

open Feign日志输出

openFeign默认是没有日志输出的，只有在open Feign所在的包的级别达到debug才会有输出，而且级别有四级。四种日志级别： OpenFeign只会在FeignClient所在包的日志级别为DEBUG时，才会输出日志。而且其日志级别有4级： NON…...

编程日记 2025/5/23 1:15:04

进程间关系与守护进程

个人主页：C忠实粉丝欢迎点赞👍 收藏✨ 留言✉ 加关注💓本文由 C忠实粉丝原创进程间关系与守护进程收录于专栏[Linux学习] 本专栏旨在分享学习Linux的一点学习笔记，欢迎大家在评论区交流讨论💌 目录 1. 进程组什…...

编程日记 2025/5/18 17:25:54

C++设计模式：组合模式（公司架构案例）

组合模式是一种非常有用的设计模式，用于解决**“部分-整体”**问题。它允许我们用树形结构来表示对象的层次结构，并且让客户端可以统一地操作单个对象和组合对象。组合模式的核心思想什么是组合模式？ 组合模式的目的是将对象组织成树形结…...

编程日记 2025/5/21 19:31:41

ubuntu 安装docker

Step1：更新系统软件包 sudo apt update Step2：安装依赖包【用于通过HTTPS来获取仓库】 sudo apt install apt-transport-https ca-certificates curl software-properties-common Step3：添加Docker官方GPG密钥 sudo -i curl -fsSL https://…...

编程日记 2025/5/23 6:55:39

PSDK的编译与ROS包封装

本文档讲述在NIVIDIA开发板上使用大疆提供的Payload SDK获取无人机实时GPS信息的方法，以及基于Payload SDK发布ROS GPS话题信息的方法。文章目录 0 实现目标1 Payload SDK1.1 PSDK 源码的编译1.2 PSDK 的使用 2 遥测数据的读取2.1 示例代码结构2.2 读取机载GPS信息…...

编程日记 2025/5/18 3:48:36

【工作流】工作顺序

背景当时的情况是：没有产品经理，后端直接和需求方对接；前端只能短时间投入大部分时间要忙别的；只有3个角色：需求方，后端，前端； 当时直接执行的直接使用会议了解需求&#xff0c…...

编程日记 2025/5/23 6:39:49

Unity2021.3.16f1可以正常打开，但是Unity2017.3.0f3却常常打开闪退或者Unity2017编辑器运行起来就闪退掉

遇到问题： 从今年开始，不知道咋回事，电脑上的Unity2017像是变了个人似得，突然特别爱闪退掉，有时候还次次闪退，真是让人无语，一直以来我都怀疑是不是电脑上安装了什么别的软件了，导致…...

编程日记 2025/5/22 9:01:59

Java基础面试题20：Java语言sendRedirect()和forward()方法有什么区别？

Java基础面试题：Java语言sendRedirect()和forward()方法有什么区别？ 在 Java Web 开发中，sendRedirect() 和 forward() 是两个非常常用的方法，但它们有一些核心区别。我们来用最简单的方式给你解释清楚。一、sendRedirect() 和 …...

编程日记 2025/5/20 7:17:25

2、光同步数字传送网的特点

同步复用光同步数字传送网（SDH）采用同步复用方式。它将多个低速信号复用成高速信号，与准同步数字体系（PDH）的异步复用不同。在 SDH 中，各支路信号与复用后的高速信号是同步的，这种同步复用的方…...

编程日记 2025/5/23 6:46:51

3.4 stm32系列：定时器（PWM、定时中断）

一、定时器概述 1.1 软件定时原理使用纯软件（CPU死等）的方式实现定时（延时）功能； 不精准的延迟： /* 微秒级延迟函数* 不精准* stm32存在压出栈过程需要消耗时间* 存在流水线，执行时间不确定…...

编程日记 2025/5/19 2:45:08

【环境搭建】Python、PyTorch与cuda的版本对应表

一个愿意伫立在巨人肩膀上的农民...... 在深度学习的世界里，选择合适的工具版本是项目成功的关键。CUDA、PyTorch和Python作为深度学习的三大支柱，它们的版本匹配问题不容忽视。错误的版本组合可能导致兼容性问题、性能下降甚至项目失败。因此&#xff0…...

编程日记 2025/5/23 5:57:56

【经验总结】AUTOSAR架构下基于TJA1145收发器偶发通信丢失不可恢复问题分析

目录前言正文 1.问题描述 2.尝试问题复现 3.尝试问题定位 4.直接原因 5.总结前言在《【CAN通信】TJA1145收发器重要功能介绍》一文中我们详细介绍了TJA1145收发器的重点内容，最近在开发测试过程中就遇到了一个CAN通信丢失且不可恢复的偶发问题，解决该问题的思路和…...

编程日记 2025/5/20 3:07:48

帝国CMS:如何去掉帝国CMS登录界面的认证码登录

如果在安装的时候，不小心选中了认证码选项，那么后面登录帝国后台都会要求输入认证码才能登录，如何去除这个设置呢，笔者以古诗词网 www.gushichi.com为例，为大家举例说明！ 去除步骤如下： 1.前往…...

编程日记 2025/5/21 0:50:02

CTF入门：单主机渗透——flag_XEE的常规思路

学习通过技术手段获取目标主机中预置的5个flag值。在kali操作机中打开终端，然后使用nmap工具对目标机器进行端口扫描： nmap -sT 192.168.12.26 访问80端口。网站首页是一个登录框，在界面上有一个提示的标签“弱口令”，说…...

编程日记 2025/5/16 13:10:03

Note2024122303_Code2Docu插件使用

Note2024122303_Code2Docu插件初使用V1.0 step1: 安装跳转链接文档阅读：下载文档阅读。根据文档内容，大概知道首先下载并安装插件： 资料说明和安装方式： 意思是： 下载文件后直接运行 Code2Docu_Installati…...

编程日记 2025/5/22 5:31:13

深度学习之目标检测篇——残差网络与FPN结合

特征金字塔多尺度融合特征金字塔的网络原理这里是基于resnet网络与Fpn做的结合，主要把resnet中的特征层利用FPN的思想一起结合，实现resnet_fpn。增强目标检测backone的有效性。代码实现如下： import torch from torch import Tensor from c…...

编程日记 2025/5/18 7:59:27

共模电感的工作原理

共模电感也称为共模扼流线圈，是一种抑制共模干扰的器件，它是由两个尺寸相同，匝数相同的线圈对称地绕制在同一个铁氧体环形磁芯上，形成的一个四端器件。当共模电流流过共模电感时，磁芯上的两个线圈产生的磁通相互叠加&a…...

编程日记 2025/5/22 10:12:49

mysql高阶语句

mysql高阶语句 1.对结果排序 SELECT id,name,score FROM info; #由于对id设置了主键约束，默认排序按id的大小升序排序 select name,score from info order by score; #默认按升序（从小到大排序） select name,score from info order by score…...

编程日记 2025/5/18 3:48:18

sfnt-pingpong -测试网络性能和延迟的工具

sfnt-pingpong 是一个用于测试网络性能和延迟的工具，通常用于测量不同网络环境下的数据包传输性能、吞吐量、延迟等指标。它通常是基于某种网络协议（如 TCP）执行“ping-pong”式的测试，即客户端和服务器之间相互发送数据包&…...

编程日记 2025/5/17 17:56:30

PostgreSQL 的历史

title: PostgreSQL 的历史 date: 2024/12/23 updated: 2024/12/23 author: cmdragon excerpt: PostgreSQL 是一款功能强大且广泛使用的开源关系型数据库管理系统。其历史可以追溯到1986年，当时由加州大学伯克利分校的一个研究团队开发。文章将深入探讨 PostgreSQL 的起源、…...

编程日记 2025/5/15 1:32:41

【express-generator】01-安装和基本使用

创建和初始化项目安装 npm i -g express-generator 创建一个express应用程序 //express 文件名 express blog_demo 跟着提示 cd blog_demo //移动到该目录下 npm install //初始化 npm start //启动服务在页面打开localhost:3000（默认启动的端口&#xff09…...

编程日记 2025/5/23 4:38:29

20241230 基础数学-线性代数-（1）求解特征值（numpy, scipy）

所有代码实现，基于教程中的理论通过python实现出来的。效率不高，但有代码可以看。由于scipy/sckitlearn/sparkx 底层的实现都被封装了（小白兔水平有限，fortran代码实在没看懂）这里的实现至少可以和理论公式对应的上。…...

编程日记 2025/5/20 3:05:43

无人零售 4G 工业无线路由器赋能自助贩卖机高效运营

工业4G路由器为运营商赋予 “千里眼”，实现对贩卖机销售、库存、设备状态的远程精准监控，便于及时补货与维护；凭借强大的数据实时传输，助力深度洞察销售趋势、优化库存、挖掘商机；还能远程升级、保障交易安全、快速处理…...

编程日记 2025/5/23 2:29:32

python+opencv+棋盘格实现相机标定及相对位姿估计

pythonopencv棋盘格实现相机标定及相对位姿估计引言1，使用相机采集含棋盘格图像14张2，进行相机标定（1）测试软件1标定结果（内参及畸变系数）（2）测试软件2标定结果（内参及畸…...

编程日记 2025/5/23 6:49:57

【YashanDB知识库】in大量参数时查询性能慢

本文内容来自YashanDB官网，原文内容请见 https://www.yashandb.com/newsinfo/7802939.html?templateId1718516 **【标题】**in大量参数时查询性能慢 **【关键字】**in 大量参数 FAST FULL SCAN INDEX RANGE SCAN **【问题描述】**测试表数据量200w，表…...

编程日记 2025/5/19 13:10:25

kubevirt网络

六、KubeVirt网络 KubeVirt网络相关组件用户在KubeVirt平台创建虚拟机只需创建一个vmi（Virtual Machine Instance）对象，之后virt-controller会根据vmi对象中的信息创建一个Pod，这里把这个Pod叫做vmi pod。Vmi pod中有kubevirt组…...

编程日记 2025/5/20 5:13:41

LeetCode100之腐烂的橘子(994)--Java

1.问题描述在给定的 m x n 网格 grid 中，每个单元格可以有以下三个值之一： 值 0 代表空单元格；值 1 代表新鲜橘子；值 2 代表腐烂的橘子。每分钟，腐烂的橘子周围 4 个方向上相邻的新鲜橘子都会腐烂。返回直到单元…...

编程日记 2025/5/23 6:41:37

【Leetcode】855. 考场就座

文章目录题目思路代码复杂度分析时间复杂度空间复杂度结果总结题目题目链接🔗 在考场里，有 n n n 个座位排成一行，编号为 0 0 0 到 n − 1 n - 1 n−1。当学生进入考场后，他必须坐在离最近的人最远的座位上。如果有多个…...

编程日记 2025/5/20 6:00:33

AI,cursor快速上手思维导图

https://cursor101.com/zh/tutorial/learn-cursor-tab...

编程日记 2025/5/22 3:45:19

【演化博弈】期望收益函数公式、复制动态方程——化简功能技巧

期望化简在演化博弈论的研究中，期望收益函数和复制动态方程是核心工具。化简这些公式的功能技巧具有以下几个重要作用： 提高公式的可读性和理解度复杂的数学表达式可能让人感到困惑。通过化简，公式变得更加简单和易读，使研究者…...

编程日记 2025/5/19 14:45:16

常用Linux命令

常用Linux命令介绍 1.ls命令用于列出当前目录的内容，包括目录、文件和压缩包等。 2.ls命令的参数可以以长格式显示文件信息，如修改时间、文件大小等。 3.使用ls -a参数可以显示隐藏文件和文件夹。 4.通过ls -lh命令可以以人类可读的方式显示文件和文件夹…...

编程日记 2025/5/19 10:25:16

记录树莓派4B安装向日葵的过程

到向日葵官网下载向日葵 for Linux的麒麟Arm64版本；sudo dpkg -i 文件名.deb 安装；安装依赖： sudo apt install libappindicator3-1 如果没有的话就使用： sudo apt install libayatana-appindicator3-1 关闭wayvnc服务及其自启动…...

编程日记 2025/5/23 6:58:58

模型课题分离

系列文章分享模型，了解更多👉 模型_思维模型目录。明确自我与他人责任。 1 课题分离的应用 1.1课题分离在心理治疗中的应用案例：李晓的故事李晓，一位28岁的软件工程师，在北京打拼。他面临着工作、家庭和感情的多重…...

编程日记 2025/5/22 7:05:17

docker部署微信小程序自动构建发布和更新

通过 Jenkins 和 Docker 部署微信小程序，并实现自动构建、发布和版本更新，主要涉及以下几个步骤： 设置 Jenkins 环境配置 GitLab 与 Jenkins 的集成构建 Docker 镜像部署和发布微信小程序配置 Jenkins 自动构建以下是详细的步骤说明&#…...

编程日记 2025/5/22 7:51:16

0.96寸OLED显示屏详解

我们之前讲了 LCD1602，今天我们将它的进阶模块——OLED。它接线更少，性能更强，也能显示中文和图像了。大家在学习单片机的时候是否会遇到调试的问题呢？例如 “这串代码我到底运行成功了没有” ，我相信很多刚开始学习…...

编程日记 2025/5/20 17:31:24

【Python使用】嘿马python高级进阶全体系教程第10篇：静态Web服务器-返回固定页面数据,1. 开发自己的静态Web服务器【附代码文档】

本教程的知识点为：操作系统 1. 常见的操作系统 4. 小结 ls命令选项 2. 小结 mkdir和rm命令选项 1. mkdir命令选项压缩和解压缩命令 1. 压缩格式的介绍 2. tar命令及选项的使用 3. zip和unzip命令及选项的使用 4. 小结编辑器 vim 1. vim 的介绍 2. vim 的工作模式 …...

编程日记 2025/5/20 4:59:16

前置摘要 AP管理地址:10.115.8.0/ AP业务地址:10.115.10.0 SSID qdtest passwd 123chery map.txt system-view vlan 1010 quit interface GigabitEthernet 1/0/1 port link-type trunk port trunk permit vlan 1010AC配置 vlan 1008 des Ap_manager quit int vlan 1008 ip ad…...

编程日记 2025/5/21 12:39:38

准备写一个内网穿透的工具

准备写一个内网穿透的工具，目前只实现了HTTP内网穿透的GET方式，看能不能坚持写下去 git地址： xuejiazhi/PortRelay...

编程日记 2025/5/14 23:08:12

模型高效微调方式

除了LoRA（Low-Rank Adaptation）外，还有其他一些快速且效果好的模型微调方法。这些方法可以在保持模型性能的同时，减少计算和存储需求。以下是几种常见的方法： 1. 参数高效微调（Parameter-Efficient Fine-T…...

编程日记 2025/5/23 2:03:05

Linux系统编程——理解系统内核中的信号捕获

目录一、sigaction() 使用信号捕捉技巧二、可重入函数三、volatile关键字四、SIGCHLD信号在信号这一篇中我们已经学习到了一种信号捕捉的调用接口：signal(),为了深入理解操作系统内核中的信号捕获机制，我们今天再来看一个接口：si…...

编程日记 2025/5/23 3:55:08

ISP算法之BNR降噪(Bayer域)

概述 BNR（Bayer Noise Reduction）即Bayer域降噪算法。对于噪声的分类如下表所示： 高斯噪声（ Gaussian） 高斯噪声也被称为热噪声，通常是由于电路系统中自由电子的热运动，这种噪声幅度分布服从高…...

编程日记 2025/5/20 8:15:15

HBuilder快捷键大全

目录一、最常用快捷键二、文件操作快捷键三、选择操作快捷键四、插入操作快捷键五、编辑操作快捷键六、删除操作快捷键七、查找操作快捷键八、标签规范快捷键八、运行操作快捷键九、转换操作快捷键十、跳转操作快捷键十一、附加功能快捷键十二、快捷键…...

编程日记 2025/5/21 10:53:39

Diffusion_Policy项目测试报错记录

1、项目连接 paper：2303.04137 (arxiv.org) github: real-stanford/diffusion_policy: [RSS 2023] Diffusion Policy Visuomotor Policy Learning via Action Diffusion (github.com) 2、问题与解决办法 1） 运行 python train.py --..... 显示无法Err…...

编程日记 2025/5/22 8:53:20

Linux内核学习资源

老版本内核源码： https://mirrors.edge.kernel.org/pub/linux/kernel/Historic/old-versions/ 内核源码分析开源项目： https://github.com/ultraji/linux-0.12/tree/master/srchttps://gitee.com/wslyx/linux-0.12https://github.com/0voice/linux_ke…...

编程日记 2025/5/20 23:46:20

NGINX的安装和配置（Linux环境）

目录 NGINX 安装方式1、离线编译安装2、在线仓库安装 NGINX 常用命令1、进程管理命令2、信息查看命令 NGINX 配置文件1、进程使用的配置2、配置文件格式3、配置文件层级 NGINX 全局配置1、全局配置常用指令2、连接相关配置 NGINX 配置MIME1、MIME 标准2、types 配置块3、defa…...

编程日记 2025/5/16 9:23:22

Leetcode打卡：考场就坐

执行结果：通过题目： 855 考场就坐在考场里，有 n 个座位排成一行，编号为 0 到 n - 1。当学生进入考场后，他必须坐在离最近的人最远的座位上。如果有多个这样的座位，他会坐在编号最小的座位上。(另外&am…...

编程日记 2025/5/17 17:36:06

相关文章：