Attention层的FLOPs计算
前置知识
设矩阵 A 的维度为 m×n，矩阵 B 的维度为 n×p，则它们相乘后得到矩阵 C 的维度为 m×p。其中，C 中每个元素的计算需要进行 n 次乘法和 n−1 次加法。也就是说，总的浮点运算次数（FLOPs）约为 m × p × (2n) ≈ 2 × m × n × p。
Attention核心部分的计算
在一个 attention head 中，假设输入序列长度为 t，每个位置的表示维度（即 embedding 维度）为 d_head。在计算 self-attention 时，主要包含两个矩阵乘法操作：
1.查询矩阵与键矩阵的转置相乘（Q × K^T），计算量为 2 × t × t × d_head；
2.得分矩阵与值矩阵相乘，计算量同样为 2 × t × t × d_head。
则核心部分的总FLOPs为 4 × t × t × d_head
由于 Transformer 中通常使用多头注意力机制，设共有 n_head 个 head，并且每个 head 的维度为 d_head，那么有 d_model = n_head × d_head。于是所有 head 总共的 FLOPs 为：
4 × t × t × d_head × n_head = 4 × t × t × d_model
可见，在只考虑 attention 核心部分时，FLOPs 与 head 数量无关，仅与序列长度呈平方关系。
含有模型参数的矩阵乘法部分的FLOPs计算
除了注意力分数的计算外，Transformer 中还涉及多个由模型权重参与的线性映射，这些运算的 FLOPs 与序列长度呈线性关系。主要包括以下几个部分：
1.Q，K，V的映射：每个为输入矩阵（t × d_model）与权重矩阵（d_model × d_model）相乘，计算量为 2 × t × d_model × d_model（乘法与加法合计）；三者合计为：
FLOPs ≈ 3 × 2 × t × d_model × d_model = 6 × t × d_model × d_model
2.concat以后的映射：拼接后的张量维度仍为 t × d_model，再乘以一个 d_model × d_model 的权重矩阵，FLOPs 为：
FLOPs ≈ 2 × t × d_model × d_model
综上，所有包含模型参数的线性变换的总 FLOPs 为：
FLOPs ≈ 8 × t × d_model × d_model
这部分 FLOPs 与序列长度 t 成线性关系。
总结
FLOPs的计算量可归结为2部分，其中一部分FLOPs与序列长度t呈平方关系，另一部分与序列长度 t 成线性关系，而且前者与n_head无关
相关文章：
Attention层的FLOPs计算
前置知识 设矩阵 A 的维度为 mn，矩阵 B 的维度为 np，则它们相乘后得到矩阵 C 的维度为 mp。其中，C 中每个元素的计算需要进行 n 次乘法和 n−1 次加法。也就是说，总的浮点运算次数（FLOPs）约为 m p (2n) …...
支付APP如何做好网络安全防护
支付APP的网络安全防护需要从技术、管理、用户行为等多层面综合施策，以下为核心措施： 一、技术防御：构建安全底层 数据加密 传输加密：使用最新协议（如TLS 1.3）对交易数据加密&…...
Missashe考研日记-day31
Missashe考研日记-day31 0 写在前面 芜湖，五一前最后一天学习圆满结束，又到了最喜欢的放假环节，回来再努力了。 1 专业课408 学习时间：2h学习内容： OK啊，今天把文件系统前两节的内容全部学完了…...
二叉树的路径总和问题（递归遍历，回溯算法）
112. 路径总和 - 力扣（LeetCode） class Solution { private: bool traversal(TreeNode*cur,int count){if(!cur->left&&!cur->right&&count0){return true;}if(!cur->left&&!cur->right){return false;}if(cur-…...
Java学习计划与资源推荐（入门到进阶、高阶、实战）
🤟致敬读者 🟩感谢阅读🟦笑口常开🟪生日快乐⬛早点睡觉📘博主相关 🟧博主信息🟨博客首页🟫专栏推荐🟥活动信息文章目录 Java学习计划与资源推荐**一、筑基阶段（2-3个月）****二、进阶开发阶段（2个月）****三、高级突破阶段（2-3个月）****四、项目实战与竞…...
动态规划 -- 子数组问题
本篇文章中主要讲解动态规划系列中的几个经典的子数组问题。 1 最大子数组和 53. 最大子数组和 - 力扣（LeetCode） 解析题目： 子数组是一个数组中的连续部分，也就是说，如果一个数组以 nums[i]结尾，那么有两…...
Sehll编程的函数于数组
目录 一、函数 1.1、定义函数 1.2、查看、删除函数 1.3、函数的返回值 1.4、函数的参数传递 1.5、函数的作用范围 1.6、函数递归 二、数组 2.1、声明数组 2.2、数组格式定义 2.3、数组调用 2.4、删除数组 一、函数 shell编程中，函数用于封装一段可以重…...
flutter 专题 六十四 在原生项目中集成Flutter
概述 使用Flutter从零开始开发App是一件轻松惬意的事情，但对于一些成熟的产品来说，完全摒弃原有App的历史沉淀，全面转向Flutter是不现实的。因此使用Flutter去统一Android、iOS技术栈，把它作为已有原生App的扩展能力，…...
AI生成Flutter UI代码实践（一）
之前的杂谈中有提到目前的一些主流AI编程工具，比如Cursor，Copilot，Trea等。因为我是Android 开发，日常使用Android Studio，所以日常使用最多的还是Copilot，毕竟Github月月送我会员，白嫖还是挺香…...
spring boot中@Validated
在 Spring Boot 中，Validated 是用于触发参数校验的注解，通常与 JSR-303/JSR-380（Bean Validation）提供的校验注解一起使用。以下是常见的校验注解及其用法： 1. 基本校验注解 这些注解可以直接用于字段…...
VBA代码解决方案第二十四讲:EXCEL中，如何删除重复数据行
《VBA代码解决方案》(版权10028096)这套教程是我最早推出的教程，目前已经是第三版修订了。这套教程定位于入门后的提高，在学习这套教程过程中，侧重点是要理解及掌握我的“积木编程”思想。要灵活运用教程中的实例像搭积木一样把自己喜欢的代码…...
SpringBoot+EasyExcel+Mybatis+H2实现导入
文章目录 SpringBootEasyExcelMybatisH2实现导入1.准备工作1.1 依赖管理1.2 配置信息properties1.3 H2数据库1.4 Spring Boot 基础概念1.5 Mybatis核心概念 1.6 EasyExcel核心概念 2.生成Excel数据工具类-随机字符串编写生成Excel的java文件 3.导入功能并且存入数据库3.1 返回结…...
算法四 习题 1.3
数组实现栈 #include <iostream> #include <vector> #include <stdexcept> using namespace std;class MyStack { private:vector<int> data; // 用于存储栈元素的数组public:// 构造函数MyStack() {}// 入栈操作void push(int val) {data.push_back…...
)
el-tabs与table样式冲突导致高度失效问题解决(vue2+elementui)
背景 正常的el-table能根据父容器自动计算剩余高度，并会在列表中判断自适应去放出滚动条。而el-tabs本身就是自适应el-tab-pane内容的高度来进行自适应调节，这样就会导致el-table计算不了当前剩余的高度，所以当el-tabs里面包含el-table时&am…...
Access开发：轻松一键将 Access 全库表格导出为 Excel
hi，大家好呀！ 在日常工作中，Access 常常是我们忠实的数据管家，默默守护着项目信息、客户列表或是库存记录。它结构清晰，录入便捷，对于许多中小型应用场景来说，无疑是个得力助手。然而ÿ…...
合并多个Excel文件到一个文件，并保留格式
合并多个Excel文件到一个文件，并保留格式 需求介绍第一步：创建目标文件第二步：创建任务列表第三步：合并文件第四步：处理合并后的文件之调用程序打开并保存一次之前生成的Excel文件第五步：处理合并后的文件之…...
)
使用ZYNQ芯片和LVGL框架实现用户高刷新UI设计系列教程(第十讲)
这一期我们讲解demo中登录、ok按键的回调函数以及界面的美化，以下是上期界面的图片如图所示： 首先点击界面在右侧的工具栏中调配颜色渐变色，具体设置如下图所示： 然后是关于界面内框也就是容器的美化，具体如下图所示…...
论文笔记（八十二）Transformers without Normalization
Transformers without Normalization 文章概括Abstract1 引言2 背景：归一化层3 归一化层做什么？4 动态 Tanh （Dynamic Tanh (DyT)）5 实验6 分析6.1 DyT \text{DyT} DyT 的效率6.2 tanh \text{tanh} tanh 和 α α α 的消融实验…...
Mysql之数据库基础
🌟 各位看官好，我是maomi_9526！ 🌍 种一棵树最好是十年前，其次是现在！ 🚀 今天来学习Mysql的相关知识。 👍 如果觉得这篇文章有帮助，欢迎您一键三连，分享给更…...
shell（5）
位置参数变量 1.介绍 当我们执行一个shell脚本时,如果希望获取到命令行的参数信息,就可以使用到位置参数变量. 比如：./myshell.sh100 200,这就是一个执行shell的命令行,可以在myshell脚本中获取到参数信息. 2.基本语法 $n(功能描述：n为数字,$0代表命令…...
VARIAN安捷伦真空泵维修清洁保养操作SOP换油操作流程内部转子图文并茂内部培训手侧
VARIAN安捷伦真空泵维修清洁保养操作SOP换油操作流程内部转子图文并茂内部培训手侧...
动画震动效果
项目场景： 提示：这里简述项目相关背景： 在有的相关目中特别是在C端一般都要求做的炫酷一些，这就需要一些简易的动画效果，这里就弄了一个简易的震动的效果如下视频所示 让图标一大一小的震动视频 分析： 提…...
DB-GPT V0.7.1 版本更新：支持多模态模型、支持 Qwen3 系列，GLM4 系列模型 、支持Oracle数据库等
V0.7.1版本主要新增、增强了以下核心特性 🍀DB-GPT支持多模态模型。 🍀DB-GPT支持 Qwen3 系列，GLM4 系列模型。 🍀 MCP支持 SSE 权限认证和 SSL/TLS 安全通信。 🍀 支持Oracle数据库。 🍀 支持 Infini…...
 对象 (P2136R3))
C++23 std::invoke_r：调用可调用 (Callable) 对象 (P2136R3)
文章目录 引言背景知识回顾可调用对象C17的std::invoke std::invoke_r的诞生提案背景std::invoke_r的定义参数和返回值异常说明 std::invoke_r的使用场景指定返回类型丢弃返回值 std::invoke_r与std::invoke的对比功能差异使用场景差异 结论 引言 在C的发展历程中，…...
pymysql
参数（会导致SQL注入） import pymysql# 创建数据库连接 conn pymysql.connect(user "root",password "root",host "127.0.0.1",port 3306,database "test" )# 创建游标对象 cur conn.cursor(cursorpymysql.…...
基于Spring Boot + Vue 项目中引入deepseek方法
准备工作 在开始调用 DeepSeek API 之前，你需要完成以下准备工作： 1.访问 DeepSeek 官网，注册一个账号。 2.获取 API 密钥：登录 DeepSeek 平台，进入 API 管理 页面。创建一个新的 API 密钥（API Key&#x…...
Spring Boot集成Kafka并使用多个死信队列的完整示例
以下是Spring Boot集成Kafka并使用多个死信队列的完整示例，包含代码和配置说明。 1. 添加依赖 (pom.xml) <dependencies><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter</artifactId&…...
全面了解CSS语法 ! ! !
CSS（层叠样式表）是网页设计的灵魂之一，它赋予了网页活力与美感。无论是为一个简单的个人博客增添色彩，还是为复杂的企业网站设计布局，CSS都是不可或缺的工具。那么，CSS语法到底是什么样的呢？它背…...
Springboot使用ThreadLocal提供线程局部变量，传递登录用户名
文章目录 概述使用创建ThreadLocalUtil工具类在登录拦截器中使用ThreadLocal存储登录用户名在/userInfo接口中获取登录用户名 注意事项参考视频 概述 使用 创建ThreadLocalUtil工具类 utils/ThreadLocalUtil.java package org.example.utils;/*** ThreadLocal 工具类*/ Supp…...
排序算法——选择排序
一、介绍 「排序算法sortingalgorithm」用于对一组数据按照特定顺序进行排列。排序算法有着广泛的应用，因为有序数据通常能够被更有效地查找、分析和处理。 如图所示，排序算法中的数据类型可以是整数、浮点数、字符或字符串等。排序的判断规则可根据需求…...
AlphaFold蛋白质结构数据库介绍
AlphaFold Protein Structure Database (AlphaFold DB) 是 DeepMind + EMBL-EBI 合作开发的公开蛋白质结构预测数据库，是利用 AlphaFold2/AlphaFold3 AI模型 预测的全基因组级蛋白质三维结构库。 网址： https://alphafold.ebi.ac.uk 项目内容主办单位DeepMind + EMBL-EBI上线…...
Roboflow标注数据集
使用Roboflow进行标注 关键点标注目标检测标注图像分类标注分割标注 Roboflow是一款易于使用的在线 图像标注。 关键点标注 每个图像的标注包括： 1、边界框坐标（每个物品应该有一个边界框，用*[x1,y1,x2,y2]*格式即左上角和右下角点描述&…...
大厂经验：第三方包Paramunittest参数化 VS Unittest内置参数化文本管理器subtest
大厂经验：第三方包Paramunittest参数化 VS Unittest内置参数化文本管理器subtest 代码解析 Paramunittest 核心逻辑 paramunittest.parametrized((Testerr, test, Invalid Login or Password., test_login_admin is passed),(Sam, test, Invalid Login or Passwo…...
[特殊字符]适合五四青年节的SVG模版[特殊字符]
宝藏模版 往期推荐（点击阅读）： 趣味效果｜高大上｜可爱风｜年终总结I｜年终总结II｜循环特效｜情人节I｜情人节II｜情人节IIII｜妇女节I&…...
当插入排序遇上“凌波微步“——希尔排序的奇幻漂流
文章目录 一、排序江湖的隐藏高手二、分而治之的魔法1. 核心思想拆解2. 动态演示（脑补版） 三、C语言实现大揭秘代码要点解析： 四、性能分析与实战技巧1. 时间复杂度迷思2. 实测性能对比 五、为什么说它永不过时？六、进阶思考题 一…...
【Hot 100】 148. 排序链表
目录 引言十大排序算法1. 冒泡排序 (Bubble Sort)2. 选择排序 (Selection Sort)3. 插入排序 (Insertion Sort)4. 希尔排序 (Shell Sort)简单代码说明关键特点 5. 归并排序 (Merge Sort)6. 快速排序 (Quick Sort)7. 堆排序 (Heap Sort)8. 计数排序 (Counting Sort)9. 桶排序 (Bu…...
大连理工大学选修课——机器学习笔记（9）：线性判别式与逻辑回归
线性判别式与逻辑回归 概述 判别式方法 产生式模型需要计算输入、输出的联合概率 需要知道样本的概率分布，定义似然密度的隐式参数也称为基于似然的分类 判别式模型直接构造判别式 g i ( x ∣ θ i ) g_i(x|\theta_i) gi(x∣θi)，显式定义判别式…...
[特殊字符] 开发工作高内存占用场景下，Windows 内存压缩机制是否应该启用？实测分析与优化建议
在日常开发中，我们往往需要同时运行多个高占用内存的工具，例如： IntelliJ IDEA VMware 虚拟机 多个 Java 后端程序 这些应用程序非常“吃内存”，轻松就能把 16GB、甚至 24GB 的物理内存用满。那么，Windows 的“内存…...
相机的基础架构
📷 相机相关基础架构学习路径 一、了解手机相机系统架构 Android Camera HAL（如果你是做 Android 平台） 学习 Camera HAL3 架构（基于 camera_device_t, camera3_device_ops 接口） 熟悉 CameraService → CameraProvid…...
C# 类成员的访问：内部与外部
在 C# 编程中，了解如何从类的内部和外部访问成员是非常重要的。本文将详细介绍这两种访问方式，并通过示例代码展示其具体应用。 从类的内部访问成员 类的成员可以在类的内部自由地互相访问，即使这些成员被声明为private。在类的方法中&…...
DAPO：对GRPO的几点改进
DAPO：对GRPO的几点改进 TL; DR：对 GRPO 的几处细节进行了优化，包括去除 KL 约束、解耦 ppo-clip 的上下界，上界设置更高以鼓励探索、超长回答过滤、token level 损失计算等。相比于原始 GRPO，在 AIME24 上提升非常显著…...
从零构建 MCP Server 与 Client：打造你的第一个 AI 工具集成应用
目录 🚀 从零构建 MCP Server 与 Client：打造你的第一个 AI 工具集成应用 🧱 1. 准备工作 🛠️ 2. 构建 MCP Server（服务端） 2.1 初始化服务器 🧩 3. 添加自定义工具（Tools&…...
2025.4.27 Vue.js 基础学习笔记
一、Vue.js 简介 Vue.js（简称 Vue）是一个用于构建用户界面的渐进式 JavaScript 框架。它具有以下特点： 轻量级 ：核心库体积小，性能优秀，不占用过多资源，加载速度快，适合各种规模的应…...
基于用户场景的汽车行驶工况构建：数据驱动下的能耗优化革命
行业现状：标准工况与用户场景的割裂 全球汽车行业普遍采用WLTC工况进行能耗测试，但其与真实道路场景差异显著。据研究，WLTC工况下车辆能耗数据比实际道路低10%-30%，导致用户对续航虚标投诉激增（数据来源：东…...
IoTDB集群部署中的网络、存储与负载配置优化
一、引言 在现代计算机系统和应用程序中，网络I/O性能是决定整体系统表现的关键因素之一。特别是在IoTDB集群环境中，网络I/O的重要性尤为突出，特别是在处理大量测点数据、客户端请求以及集群内部通信时。本文将介绍IoTDB数据库集群部署过程中…...
Unity URPShader：实现和PS一样的色相/饱和度调整参数效果（修复）
目录 前言： 一、问题原因 二、算法修复 三、全代码 前言： 在之前的文章我已经实现了标题所述的内容功能：Unity URPShader：实现和PS一样的色相/饱和度调整参数效果-CSDN博客 但在偶然测试的时候，发现当采样的图片为…...
告别手动时代！物联网软件开发让万物自动互联
清晨，智能窗帘随着阳光自动拉开；运动时，手表精准记录着健康数据；回到家，室温早已调节至最舒适状态...这些场景的实现，都离不开物联网软件开发的技术支撑。在智能家居软件开发、智能穿戴软件开发、医疗器械软…...
Vue ui初始化项目并使用iview写一个菜单导航
winR 输入命令 vue ui浏览器会自动打开http://localhost:8000/ 找到创建 image.png 选择一个目录创建vue项目 image.png 点击再此创建新项目 image.png 我一般都是再已经有git仓库的目录进行项目创建，所以这个勾去掉 点击下一步 image.png 这里可以选择默认&#x…...
函数调用及Chain——SQL+GLM
Langchainchain数据库操作_langchain 操作数据库-CSDN博客 本文和基于上述链接 进一步。 初始化数据库&模型 # temperature0，此处仅需要SQL语句，不需要多样化返回。 from langchain.chains.sql_database.query import create_sql_query_chain from …...
数据科学与计算
Seaborn的介绍 Seaborn 是一个建立在 Matplotlib 基础之上的 Python 数据可视化库，专注于绘制各种统计图形，以便更轻松地呈现和理解数据。 Seaborn 的设计目标是简化统计数据可视化的过程，提供高级接口和美观的默认主题，使得用户…...