当前位置：首页 > news >正文

SageAttention2

news 来源：原创 2025/9/15 10:43:10

“SageAttention2: Efficient Attention with Thorough Outlier Smoothing and Per-thread INT4 Quantization”由Jintao Zhang等人撰写。文章提出SageAttention2，通过线程级INT4量化、Q矩阵平滑、两级累加策略等技术，在提升注意力计算效率的同时保持精度，在多种模型上取得优异性能。

简介

研究背景：随着序列长度增加，注意力机制的二次时间复杂度使其高效实现变得关键。现有优化方法各有局限，如线性和稀疏注意力方法适用范围有限，常用的注意力方法如FlashAttention、xformers和SageAttention等虽有不错性能，但SageAttention存在INT8矩阵乘法速度慢和特定GPU加速受限的问题。
相关工作
- FlashAttention：将注意力计算中的矩阵按token维度分块并行计算，降低计算复杂度，提升计算效率。
- 量化：通过将高精度矩阵转换为低精度格式加速矩阵乘法，不同量化器在数值格式和粒度上有差异。
- SageAttention：基于FlashAttention的分块策略，将Q、K量化为INT8，对K进行预处理以保持精度，对(\tilde{P})、V使用FP16并降低累加器精度加速计算，但存在局限性。
SageAttention2方法
- 平滑Q：由于INT4数值范围有限，存在异常值影响量化精度。通过减去Q每个块的均值平滑Q，结合对K的平滑，将(QK^{\top})计算分解，分预处理和注意力两个阶段，提升INT4量化精度。
- INT4线程级量化：在SageAttention的基础上，提出线程级量化，根据GPU线程和矩阵内存布局，以更细粒度进行量化，避免额外去量化开销，提升精度。
- (\tilde{P}V)的FP8量化：鉴于(\tilde{P})的分布特点，将(\tilde{P})、V量化为FP8（E4M3），采用静态量化和按通道量化，在保持精度的同时利用GPU张量核心加速计算。
- 针对FP22累加器的FP32 MMA缓冲区：因实际CUDA实现中FP8矩阵乘法累加器为FP22导致精度损失，采用两级累加策略，用FP32缓冲区累加FP22值，还提出可选的平滑V技术提升精度。
实验
- 实验设置：在多种语言、图像和视频生成模型上进行实验，对比SageAttention2与多种基线方法，使用不同数据集和指标评估。
- 内核速度和精度：SageAttention2在RTX4090上比FlashAttention2和xformers快约3倍和4.5倍，在Hopper GPU上与FlashAttention3(fp8)速度相当但精度更高，在CogvideoX模型上精度优于其他基线方法。
- 端到端性能：SageAttention2在多种模型上保持端到端指标，可视化结果显示其生成的图像和视频质量高，且能显著加速模型，如在CogvideoX (1.5 - 5B)上实现1.8倍加速且无指标损失。
- 消融实验：线程级量化、平滑Q和两级累加技术的开销分别为0.35%、3.7%和0%，平滑V可提升精度，但在部分模型中无明显效果。
研究结论：SageAttention2是一种高效且准确的量化注意力机制，通过创新量化方法和精度提升技术，在速度和精度上优于多种现有方法，在不同类型模型中保持端到端性能，为加速注意力计算提供有效方案。

作用

SageAttention2 是清华大学陈键飞团队提出的高效注意力计算框架，其核心作用是通过低比特量化与硬件优化技术，显著提升注意力计算效率，同时保持模型精度。以下是其具体作用与技术实现：

SageAttention2是一种全新的即插即用注意力模块，其作用主要包括以下几个方面：

加速推理速度：采用4 - Bit量化技术，在多种硬件平台上实现了显著的推理加速。例如，在RTX4090上较FlashAttention2推理速度提升三倍，在A100上提升至1.6倍，在L20、L40、L40S上可以实现2倍的加速，为多样化环境中的AI模型部署提供了可能。
保持模型精度：通过对Q、K矩阵进行平滑处理，以及引入Per - thread量化方法等技术手段，克服了低比特量化常见的精度损失问题，在多种大型模型应用中保持了端到端的精度表现，确保了模型的多样性与稳定性。
支持多种应用场景：有助于促进AI绘画、视频生成、文本生成等多种应用场景的落地。以开源视频生成模型CogvideoX - 1.5 - 5B为例，采用SageAttention2后，其端到端的推理速度提升达1.8倍，且在视频生成效果上无损失。

.NET WPF 可视化树（Visual Tree）

.NET WPF 可视化树（Visual Tree） WPF 的可视化树（Visual Tree）是描述用户界面元素层级关系的核心概念之一，它与逻辑树（Logical Tree）共同构成了 WPF 的 UI 架构。以下是关于 WPF 可视化树的详细…...

编程日记 2025/9/11 20:12:16

磁盘存储下红黑树、B 树与 B + 树的原理、操作及对比

前置知识磁盘在计算机系统中，数据存储与检索效率深刻影响着整体性能。磁盘作为大容量数据的主要载体，其独特的 I/O 特性与树状数据结构的结合，催生出 B 树与 B 树这两种经典方案。了解它们如何适配磁盘存储，是揭开数据库、文…...

编程日记 2025/9/15 7:05:04

kubernetes》》k8s》》Volume 数据卷 PVC PV NFS

为啥需要数据卷容器磁盘上的文件的生命周期是短暂的，这就使得在容器中运行重要应用时会出现一些问题。首先，当容器崩溃时，kubelet会重启它，但是容器中的文件将丢失——容器以干净的状态（镜像最初的状态）重…...

编程日记 2025/9/13 3:59:07

支持多格式且免费的图片转换工具推荐

软件介绍今天要给大家推荐一款超好用的开源图片格式转换工具。这款工具完全免费，没有广告的干扰，让用户在使用过程中极为舒心。 ImageConverter图片格式转换这款工具使用起来相当便捷，无需进行安装操作，只要轻轻双击图标&…...

编程日记 2025/9/8 18:19:15

DAPP实战篇：使用web3.js实现前端输入钱包地址查询该地址的USDT余额—操作篇

专栏：区块链入门到放弃查看目录-CSDN博客文章浏览阅读396次。为了方便查看将本专栏的所有内容列出目录，按照顺序查看即可。后续也会在此规划一下后续内容，因此如果遇到不能点击的，代表还没有更新。声明：文中所出观点大多数源于笔者多年开发经验所总结，如果你想要知道区块…...

编程日记 2025/9/9 3:26:49

K8S 证书更新时-吴删除组件 [rootmaster ~] eth0 172.17.64.32 # docker rm -f docker ps | grep -E apiserver|scheduler|controller-manager| awk {print$1} 7856f2a3068e 2e1a6956d8a1 e9e3cb7870a9 31b19f4e2b22 c028146f88a5 abe4207808a3 [rootmaster ~] eth0 172.17.…...

编程日记 2025/9/10 1:05:18

第二章 Python爬虫篇—数据解析与提取

目录一.数据解析概述二.re解析和正则表达式三.bs4解析-HTML语法四.Xpath解析此章节主要讲解：数据解析概述、re模块、bs4解析-html语法、xpath解析以及正则表达式。其中正则表达式我已经写过相关笔记，这里浅略叙述，如果不懂请看我笔记…...

编程日记 2025/9/10 1:27:13

数据仓库标准库模型架构相关概念浅讲

数据仓库与模型体系及相关概念数据仓库与数据库的区别可参考：数据库与数据仓库的区别及关系_数据仓库和数据库-CSDN博客总之，数据库是为捕获数据而设计，数据仓库是为分析数据而设计数据仓库集成工具在一些大厂中，其会有自…...

编程日记 2025/9/12 4:27:54

【区块链+ 人才服务】特范云区块链教学管理平台 | FISCO BCOS 应用案例

北京特范云科技有限公司利用大数据与人工智能等核心技术优势， 构建了“学、练、赛、评”一体化智慧体育课堂，促进教育技术、体育科学、IT 技术与体育教学的深度融合。公司首次提出了“体育动作积木”的教学概念， 通过区块链技术将学生的体测体…...

编程日记 2025/9/12 12:05:02

第一节：React 基础篇-React虚拟DOM原理及Diff算法优化策略

必考点：虚拟DOM树对比（同级比较、Key的作用、组件类型判断） 延伸：React 18中并发更新对Diff算法的影响 React虚拟DOM原理及Diff算法优化策略虚拟DOM核心原理概念： • 虚拟DOM（Virtual DOM）…...

编程日记 2025/8/28 18:02:13

MQTT的构成、使用场景、工作原理介绍

一、MQTT内容简介 MQTT（Message Queuing Telemetry Transport）是一种轻量级、基于发布-订阅模式的消息传输协议【适用于资源受限的设备和低带宽、高延迟或不稳定的网络环境】它在物联网应用中广受欢迎，能够实现传感器、执行器和其它设备之间的…...

编程日记 2025/9/3 6:36:41

idea光标变成白色方块的解决方法

在使用 IDEA 进行编程时，你可能会遇到这样一个情况：原本纤细的光标突然变成了白色粗块，这不仅影响视觉体验，还可能在输入时带来困扰。别担心，本文将为你详细剖析该问题出现的原因，并提供有效的解决办法。…...

编程日记 2025/9/14 21:24:23

python manimgl数学动画演示_微积分_线性代数原理_ubuntu安装问题[已解决]

1.背景最近调研python opencv, cuda加速矩阵/向量运算, 对于矩阵的线性变换, 秩, 转秩, 行列式变化等概概念模糊不清. 大概课本依旧是天书, 于是上B站搜索线性代数, 看到 3Blue1Brown 线性变换本质视频, 点击观看. 惊为天人 --> 豁然开朗 --> 突然顿悟 --> 开心不已…...

编程日记 2025/9/14 15:13:15

如何为C++实习做准备？

博主介绍：程序喵大人 35- 资深C/C/Rust/Android/iOS客户端开发10年大厂工作经验嵌入式/人工智能/自动驾驶/音视频/游戏开发入门级选手《C20高级编程》《C23高级编程》等多本书籍著译者更多原创精品文章，首发gzh，见文末👇&#x1…...

编程日记 2025/9/14 13:37:30

Linux 安装 vscode

使用包管理器安装（推荐） 对于基于 Debian 的系统（如 Ubuntu）： sudo apt update sudo apt install software-properties-common apt-transport-https wget -qO- https://packages.microsoft.com/keys/microsoft.asc …...

编程日记 2025/9/15 8:07:16

淘宝商品数据实时抓取 API 开发指南：从接口申请到数据解析实战

一、引言在当今电商蓬勃发展的时代，淘宝作为国内电商巨头，其平台上汇聚了海量商品信息。对于电商从业者、数据分析爱好者以及众多依赖淘宝商品数据开展业务的企业而言，能够实时获取淘宝商品数据具有极高价值。例如，电商运营者…...

编程日记 2025/9/9 13:01:03

明远智睿SSD2351核心板在物联网领域的应用实践

物联网作为当今科技发展的热门领域，将无数设备连接在一起，实现数据的采集、传输与共享，构建起一个智能化的世界。在这庞大的物联网体系中，核心板扮演着至关重要的角色，明远智睿SSD2351核心板以其独特优势，在…...

编程日记 2025/9/11 1:20:30

这种情况是应为VScode的版本太新了，更新到1.86版本后要求远程连接服务器的内核版本不符合条件

这种情况是应为VScode的版本太新了，更新到1.86版本后要求远程连接服务器的内核版本不符合条件解决方法 vscode降级，使用1.86以前的版本。亲测这种方法成功解决首先关闭VSCode自动更新 Windows下载1.85版本链接：https://update.code.visua…...

编程日记 2025/9/9 0:04:55

996引擎-源码学习：PureMVC Lua 中的 Facade 类

996引擎-源码学习：PureMVC Lua 中的 Facade 类 1. 核心概念1.1 外观模式1.2 多例模式2. 关键组件NotificationController:ModelView3. 主要功能4. 初始化流程5. 通信机制6. 生命周期管理1. Facade 初始化流程图2. 发送通知时序图中介者 PlayerBestRingLayerMediatorOpenLayer …...

编程日记 2025/9/8 16:11:16

前端学习10—Ajax

1 AJAX 简介 AJAX 全称为 Asynchronous JavaScript And XML，就是异步的 JS 和 XML 通过 AJAX 可以在浏览器中向服务器发送异步请求，最大优势为：无刷新获取数据 AJAX 不是新的编程语言，而是一种将现有的标准组合在一起使用的新方…...

编程日记 2025/9/9 6:29:45

python的多线程和多进程程序编程

CPU密集型使用多进程，IO密集型使用多线程查看进程ID和线程ID的命令分别是os.getpid()和threading.current_thread() 多进程使用multiprocessing就可以了，通常使用进程池来完成操作，阻塞主进程使用join方法多线程使用threading模块&#…...

编程日记 2025/9/4 17:16:59

Python代码解释

文章目录代码解析执行过程等价写法其他类似操作这段代码使用了 Python 的 map() 函数和 lambda 表达式来对列表中的每个元素进行平方运算。让我详细解释一下： 代码解析 numbers [1, 2, 3, 4] squared list(map(lambda x: x**2, numbers))numbers [1, 2, 3, …...

编程日记 2025/9/11 1:14:45

DNS正反向解析复习，DNS主从服务，转发服务及DNS和nginx联合案例（不断更新）

正向解析 1、配置主机名 [rootlocalhost ~]# dnf install bash-completion -y #一个按tap键补全的软件 [rootlocalhost ~]# hostnamectl hostname dns #改主机名为dns [rootlocalhost ~]# exit ssh root你的IP地址要重启才会生效2、安装bind [rootdns ~]# dnf install b…...

编程日记 2025/9/9 6:46:59

甜心速达智慧潮流精选超市、即时零售新业态，打造可持续发展商业模式

四川甜心速达科技有限公司、现公司运营高管团队均为美团高级运营师，公司高管团队人均获得“全国工商联人才交流服务中心”创业指导师、市场营销师等、公司致力于优化线上店铺人效比和资源匹配等问题，已经实现了对即时零售行业的资源整合，并融…...

编程日记 2025/9/6 21:08:55

大白话聊MySQL覆盖索引

目录一、什么是覆盖索引？二、使用了覆盖索引 vs 没使用覆盖索引的区别三、例子说明四、总结 🌟我的其他文章也讲解的比较有趣😁，如果喜欢博主的讲解方式，可以多多支持一下，感谢🤗！ …...

编程日记 2025/9/11 4:09:35

C++ inline和define（宏）

文章目录 Inline 函数是什么意思？C中哪些函数不能声明为inline?内联(inline)函数和 #define（宏） Inline 函数是什么意思？ inline是内联的意思，可以定义比较小的函数。因为函数频繁调用会占用很多的栈空间&#xff0c…...

编程日记 2025/9/8 10:18:29

Python中的eval()函数详解

文章目录 Python中的eval()函数详解基本语法基本用法安全性问题安全使用建议实际应用场景与exec()的区别性能考虑总结 Python中的eval()函数详解 eval()是Python的一个内置函数，用于执行字符串形式的Python表达式并返回结果。它是一个强大但需要谨慎使用的函数。 …...

编程日记 2025/9/9 1:31:41

rancher 解决拉取dashboard-shell镜像失败的问题

问题背景在 Kubernetes 集群中部署 Rancher 后，点击右上角的 "Shell" 按钮时，Rancher 会动态创建一个 dashboard-shell-xxxxx Pod，用于提供 Web 终端功能。然而，由于默认镜像 rancher/shell:v0.1.21 托管在 Docker Hu…...

编程日记 2025/9/9 3:01:01

在Ubuntu服务器上安装Docker（支持Ubuntu 20.04/22.04等版本）：

1. 卸载旧版本（如有） 如果系统曾安装过旧版Docker，先清理残留： sudo apt remove docker docker-engine docker.io containerd runc2. 添加Docker官方仓库安装依赖工具 sudo apt update sudo apt install -y ca-certificates …...

编程日记 2025/9/8 1:29:23

【Linux 进程控制】—— 进程亦生生不息：起于鸿蒙，守若空谷，归于太虚

欢迎来到一整颗红豆的博客✨，一个关于探索技术的角落，记录学习的点滴📖，分享实用的技巧🛠️，偶尔还有一些奇思妙想💡 本文由一整颗红豆原创✍️，感谢支持❤️！请尊重原创…...

编程日记 2025/9/11 9:51:00

K8s常用基础管理命令（一）

基础管理命令基础命令kubectl get命令kubectl create命令kubectl apply命令kubectl delete命令kubectl describe命令kubectl explain命令kubectl run命令kubectl cp命令kubectl edit命令kubectl logs命令kubectl exec命令kubectl port-forward命令kubectl patch命令集群管理命…...

编程日记 2025/9/11 1:14:47

WebChat 一款非常好用的浏览器侧边栏 AI 问答插件

文章目录使用方法及效果展示划线引用自定义工具自定义模型设置主要功能1. 划线引用功能2. 自定义划线工具3. 聊天功能4. 历史记录管理5. 界面特性安装方法方法一：直接安装发布版本（推荐）方法二：从源码构建安装（开发…...

编程日记 2025/9/11 21:52:22

kubernetes入门篇之创建一个nginx容器

上几篇讲了部署master和worker node 及网络插件calico， 现在开始实际运行一个容器。 1. 新建nginx.yaml文件方式1：直接创建一个pod 和一个 service，一般不直接这样创建，该方式仅适用于测试或学习 apiVersion: v1 kind: Pod …...

编程日记 2025/9/13 3:34:07

回顾 | 2025香港Web3嘉年华：CertiK以创新技术定义安全未来

4月6日至9日，Web3安全巨头CertiK亮相2025香港Web3嘉年华。活动期间，CertiK不仅设立独立展位与广大Web3生态参与者深入互动，更通过高层次的技术交流与前沿研究成果展示，成为本届盛会备受瞩目的焦点。耶鲁大学计算机科学系教授、C…...

编程日记 2025/9/8 1:29:25

HTML5的笔记

文章目录 1.HTML的概念1.1HTML的基本骨架 2.标签语法2.1标签的关系 3.标签3.1双标签3.1.1标题标签<h1~h6>3.1.2段落标签<p>3.1.3文本格式化标签3.1.4超链接标签<a>3.1.5音频和视频标签audio和<vedio>3.1.6列表标签3.1.7表格标签 3.2单标签3.2.1换行标签…...

编程日记 2025/9/10 12:18:25

LeetCode.2843. 统计对称整数的数目

统计对称整数的数目题目解题思路思路1.v1Code 思路优化1.v2Code 思路优化1.v3Code复杂度分析题目 2843. 统计对称整数的数目给你两个正整数 low 和 high 。对于一个由 2 * n 位数字组成的整数 x ，如果其前 n 位数字之和与后 n 位数字之和相等，则认…...

编程日记 2025/9/8 16:20:10

Java常用工具算法-6--秘钥托管云服务3--微软zure Key Vault

Azure Key Vault是微软Azure提供的一项服务，旨在帮助用户安全地存储和管理敏感信息，如加密密钥、证书和密码等。它提供了一个集中的位置来保护这些重要资产，并且通过细粒度的访问控制和审计日志来确保安全性。 1、主要功能 （1&a…...

编程日记 2025/9/15 10:03:25

表格开启聚光灯，查看数据不错行-Excel易用宝

面对如此庞大的一个表格，每次找数据就像走迷宫一样，有时看到了数据，眼神不好的小丽小手一抖还会选择到其他数据上，我问她个数据，她经常给我报个错的数据，我说怎么数据总是对不上号。对于大表格防看错行这…...

编程日记 2025/9/12 8:06:10

解决java使用easyexcel填充模版后，高度不一致问题

自定义工具，可以通过获取上一行行高设置后面所以行的高度 package org.springblade.modules.api.utils;import com.alibaba.excel.write.handler.RowWriteHandler; import com.alibaba.excel.write.metadata.holder.WriteSheetHolder; import com.alibaba.excel.wr…...

编程日记 2025/9/7 12:45:27

【25软考网工笔记】第二章数据通信基础（1）信道特性奈奎斯特香农定理

一、信道特性 1. 数据通信概念 1）通信系统的基本元素通信目的: 传递信息。信源: 产生和发送信息的一端，即信息发送的源头。信宿: 接收信息的一端，即信息的目的地。信道: 信源和信宿之间的通信线路，用于传输信息。信号变换:…...

编程日记 2025/9/15 3:04:45

2024年React最新高频面试题及核心考点解析，涵盖基础、进阶和新特性，助你高效备战

以下是2024年React最新高频面试题及核心考点解析，涵盖基础、进阶和新特性，助你高效备战： 一、基础篇 React虚拟DOM原理及Diff算法优化策略 • 必考点：虚拟DOM树对比（同级比较、Key的作用、组件类型判断） …...

编程日记 2025/9/10 16:44:57

【Code】《代码整洁之道》笔记-Chapter11-系统

第11章　系统 “复杂要人命。它消磨开发者的生命，让产品难以规划、构建和测试。” 11.1　如何建造一个城市你能自己掌管一切细节吗？大概不行。即便是管理一个既存的城市，也是靠单人能力无法做到的。不过，城市还是在运转&#…...

编程日记 2025/9/4 19:48:45

MySQL数据库编程总结

MySQL数据库编程总结一、数据库概述数据库定义 • 数据库是管理数据的软件系统，用于高效存储、管理和检索数据，减少冗余。 • 核心功能：通过SQL语言定义、操作数据，维护完整性和安全性。常见数据库 • MySQL、Oracle、SQL Ser…...

编程日记 2025/9/9 3:43:11

MySQL学习笔记7【InnoDB】

Innodb 1. 架构 1.1 内存部分 buffer pool 缓冲池是主存中的第一个区域，里面可以缓存磁盘上经常操作的真实数据，在执行增删查改操作时，先操作缓冲池中的数据，然后以一定频率刷新到磁盘，这样操作明显提升了速度。 …...

编程日记 2025/9/8 1:29:26

HTML应用指南：利用GET请求获取全国汉堡王门店位置信息

在当今快节奏的都市生活中，餐饮品牌的门店布局不仅反映了其市场策略，更折射出消费者对便捷、品质和品牌认同的追求。汉堡王（Burger King）作为全球知名的西式快餐品牌之一，在中国市场同样占据重要地位。自进入中国市场以…...

编程日记 2025/9/11 11:46:58

STM32+EC600E 4G模块与华为云平台通信

前言由于在STM32巡回研讨会上淘了一块EC600E4G模块以及刚办完电信卡多了两张副卡，副卡有流量刚好可以用一下，试想着以后画一块ESP32板子搭配这个4G模块做个随身WIFI，目前先用这个模块搭配STM32玩一下云平顺便记录一下。实验目的实现STM…...

编程日记 2025/9/9 4:11:26

【Spring】IoC详解：五大类注解、类Bean的存储（上）

1.IoC本质 IoC（Inversion of Control，控制反转） 是Spring框架的灵魂，它颠覆了传统编程中“谁用谁造”的逻辑。简单来说，IoC就是把对象创建和管理的控制权从程序员手中“反转”给一个外部容器，让代码更灵活…...

编程日记 2025/9/12 3:21:36

图片压缩后失真？3款工具还原高清细节

在当今，图片的使用无处不在。为了便于存储和传输，我们常常会对图片进行压缩。然而，不少人发现，压缩后的图片往往变得模糊，失去了原本的清晰度和细节。那么，当遇到这种情况时，我们该如何将模糊的…...

编程日记 2025/9/12 0:48:32

2025中国移动云智算大会｜彩讯企业级AI应用产品引关注

2025中国移动以“由云向智，共绘算网新生态”为主题，精心打造了一场智能科技展。中国移动携手生态伙伴带来涵盖算力、工具、模型、应用等覆盖多样化场景的AI应用服务，赋能生产方式、生活方式、社会治理方式的数智化解决方案，充分释…...

编程日记 2025/9/11 17:21:26

简介

作用

相关文章：