当前位置：首页 > news >正文

自注意力机制（Self-Attention）前向传播手撕

news 来源：原创 2025/6/28 15:56:51

题目

实现Transformer中自注意力机制的前向传播代码

思路与代码

自注意力机制（Self-Attention）是自然语言处理和深度学习中的一种核心机制，最早在 Transformer 模型中被提出。它的核心思想是：让序列中的每个元素都能动态关注整个序列的信息，从而捕捉元素之间的长距离依赖关系。

自注意力机制的核心思想

动态权重分配
不同于传统RNN/CNN的固定模式，自注意力通过计算元素间的相关性权重，动态决定每个元素需要关注哪些其他元素。
全局视野
单次计算即可捕捉整个序列的依赖关系，彻底解决了RNN的长距离依赖问题。
并行计算友好
所有位置的注意力计算可同步完成，极大提升了计算效率。

自注意力机制的工作原理

输入与输出

输入：一个序列（如句子中的词向量），形状为 (batch_size, seq_len, embed_size)
输出：新的序列表示（每个位置融合了全局信息），形状与输入相同

核心三步计算（以单个头为例）

生成Query/Key/Value
- 通过线性变换为每个元素生成三组向量：
  - Query（查询向量）：表示“我要找什么”
  - Key（键向量）：表示“我有什么特征”
  - Value（值向量）：实际携带的信息内容
计算注意力分数
- 通过点积计算元素间的相关性：
  分数 = (Q · K^T) / sqrt(d_k)
  （d_k为向量维度，缩放防止梯度爆炸）
加权聚合Value
- 用Softmax归一化分数得到注意力权重
- 用权重对Value加权求和：
  Output = Softmax(分数) · V

自注意力与传统注意力的比较

	传统注意力	自注意力
关注对象	关注外部序列（如编码器）	关注输入序列自身
计算方式	单向（如编码器-解码器）	双向（全序列互相关）
主要用途	解决序列对齐问题	捕捉序列内部依赖关系

自注意力的优点

完美解决长距离依赖问题（无论距离多远，一步计算可达）
高度并行化计算（时间复杂度O(n²)但GPU加速效果极佳）
可解释性强（通过注意力权重观察模型关注点）

参考代码实现：

import torch
import torch.nn as nn
import torch.nn.functional as Fclass SelfAttention(nn.Module):def __init__(self, embed_size):super(SelfAttention, self).__init__()self.embed_size = embed_size# 定义查询、键、值的线性变换层self.query = nn.Linear(embed_size, embed_size)self.key = nn.Linear(embed_size, embed_size)self.value = nn.Linear(embed_size, embed_size)def forward(self, x, mask=None):"""参数:x: 输入张量，形状为 (batch_size, seq_len, embed_size)mask: 可选的掩码张量，形状为 (batch_size, seq_len, seq_len)返回:output: 自注意力输出，形状同输入attention: 注意力权重"""batch_size, seq_len, _ = x.size()# 计算查询、键、值Q = self.query(x)  # (batch_size, seq_len, embed_size)K = self.key(x)    # (batch_size, seq_len, embed_size)V = self.value(x)  # (batch_size, seq_len, embed_size)# 计算注意力分数 (缩放点积)scores = torch.matmul(Q, K.transpose(-2, -1)) / torch.sqrt(torch.tensor(self.embed_size, dtype=torch.float32))# scores形状: (batch_size, seq_len, seq_len)# 应用掩码（如需要）if mask is not None:scores = scores.masked_fill(mask == 0, float("-1e20"))# 计算注意力权重attention = F.softmax(scores, dim=-1)# 加权求和output = torch.matmul(attention, V)  # (batch_size, seq_len, embed_size)return output, attention# 示例用法
if __name__ == "__main__":# 参数设置batch_size = 2seq_len = 10  # 序列长度embed_size = 32# 创建自注意力层self_attn = SelfAttention(embed_size)# 随机生成输入数据x = torch.randn(batch_size, seq_len, embed_size)# 前向传播output, attention = self_attn(x)print("输入形状:", x.shape)          # torch.Size([2, 10, 32])print("输出形状:", output.shape)     # torch.Size([2, 10, 32])print("注意力矩阵形状:", attention.shape)  # torch.Size([2, 10, 10])

关键点说明

线性变换：通过三个独立的线性层分别生成查询（Q）、键（K）、值（V）
注意力计算：
- 通过矩阵乘法计算Q和K的点积
- 使用缩放因子（ $\sqrt{d_k}$ ）防止梯度消失
- 应用Softmax获取注意力权重
掩码机制：可选参数，可用于处理变长序列或防止关注非法位置
输出计算：使用注意力权重对V进行加权求和

自注意力机制（Self-Attention）前向传播手撕

题目实现Transformer中自注意力机制的前向传播代码思路与代码自注意力机制（Self-Attention）是自然语言处理和深度学习中的一种核心机制，最早在 Transformer 模型中被提出。它的核心思想是：让序列中的每个元素都能动态关注整个…...

编程日记 2025/6/28 15:56:51

华硕服务器-品类介绍

目录一、核心产品线解析 1. 机架式服务器 2. 塔式服务器 3. 高密度计算服务器二、关键技术与模组配置 1. 主板与管理模块 2. 电源与散热 3. 存储与网络三、应用场景与行业解决方案 1. 人工智能与高性能计算 2. 云计算与虚拟化 3. 边缘计算与工业物联网一、核心…...

编程日记 2025/6/26 7:26:06

【Ansible基础】Ansible设计理念与无代理架构深度解析

目录 1 Ansible概述与核心设计理念 1.1 Ansible的核心设计哲学 1.2 Ansible与其他配置管理工具的对比 2 Ansible无代理架构详解 2.1 无代理架构工作原理 2.2 无代理架构的优势 2.3 无代理架构的局限性 3 Ansible核心组件与架构 3.1 Ansible核心组件架构组件说明&…...

编程日记 2025/6/25 5:03:08

利用vba替换word中多个表格，相邻单元格的文字

目录一、效果图1、替换前2、替换后二、敲代码1、开发者工具→vba编辑器，点击插入模块2、键入以下代码3、代码编辑完成后，开发者工具→运行宏，选择对应名称，运行一、效果图标题估计没说明白，上图 1、替换前 2、替…...

编程日记 2025/6/25 1:22:11

动态多因子策略

策略其核心思想是通过多种技术指标的结合，动态调整交易信号，以实现更精准的市场进出和风险管理。交易逻辑思路 1. 初始化与数据更新： - 在每个Bar的开盘时，更新当日的最高价、最低价和收盘价。 - 计算短期和长期的移动平均线&…...

编程日记 2025/6/23 22:08:11

STC32G12K128实战：串口通信

STC32G12K128芯片写一个按键通过串口1发送字符串的程序。首先，确认芯片的串口1配置。STC32G系列通常使用UART1，相关的寄存器是P_SW1来选择引脚。默认情况下，UART1的TX是P3.1。接下来是设置定时器作为波特率发生器。通常用定时器2&#xff0c…...

编程日记 2025/6/26 15:25:37

基于javaweb的SpringBoot高校图书馆座位预约系统设计与实现(源码+文档+部署讲解）

技术范围：SpringBoot、Vue、SSM、HLMT、Jsp、PHP、Nodejs、Python、爬虫、数据可视化、小程序、安卓app、大数据、物联网、机器学习等设计与开发。主要内容：免费功能设计、开题报告、任务书、中期检查PPT、系统功能实现、代码编写、论文编写和辅导、论文…...

编程日记 2025/6/28 15:53:37

一种资源有限单片机处理cJSON数据的方法

一般单片机处理cJSON格式的数据都直接使用cJSON库，但对于Ram较小的单片机，由于资源有限，这并不合适，但我们可以根据cJSON数据的特定格式，使用土方法，直接对字符进行查找裁剪即可 //截取字符串str中字符a与…...

编程日记 2025/6/25 16:16:17

【2025版】Spring Boot面试题

文章目录 1. Spring, Spring MVC, SpringBoot是什么关系？2. 谈一谈对Spring IoC的理解3. Component 和 Bean 的区别？4. Autowired 和 Resource 的区别？5. 注入Bean的方法有哪些？6. 为什么Spring 官方推荐构造函数注入？…...

编程日记 2025/6/27 19:39:43

C++——类和对象（1）

文章目录一、前言二、类和对象上2.1 类的定义2.1.1 定义格式一2.1.2 定义格式二2.1.3 注意点 2.2 访问限定符2.2.1 访问限定符的用法 2.3 类域2.4 类的实例化2.4.1 实例化的概念2.4.2 实例化具体举例2.4.3类的实例化对象大小 2.5 this指针2.5.1 this指针的概念2.5.6 this指针的…...

编程日记 2025/6/26 9:39:16

【行为型之观察者模式】游戏开发实战——Unity事件驱动架构的核心实现策略

文章目录 🎯 观察者模式（Observer Pattern）深度解析一、模式本质与核心价值二、经典UML结构三、Unity实战代码（玩家血量监控系统）1. 定义观察者接口与主题基类2. 实现具体主题（玩家血量）3. 实现…...

编程日记 2025/6/25 23:43:00

Java基础语法之数组

数组一、认识数组 1.什么是数组数组就是一个容器，用来存一批同种类型的数据。举例 20, 10, 80, 60, 90 int[] arr {20, 10, 80, 60, 90};张三, 李四, 王五 String[] names {"张三", "李四", "王五"};2.为什么要使用数组假设…...

编程日记 2025/6/28 15:46:01

Vue3学习（组合式API——计算属性computed详解）

目录一、计算属性computed。 Vue官方提供的案例。(普通写法与计算属性写法) 使用计算属性computed重构——>简化描述响应式状态的复杂逻辑。 （1）计算属性computed小案例。 <1>需求说明。（筛选原数组——>得新数组） &…...

编程日记 2025/6/25 7:29:37

高海拔和远距离的人员识别：面部、体型和步态的融合

大家读完就觉得有帮助记得关注和点赞！！！ 摘要我们解决了在无约束环境中进行全身人体识别的问题。这个问题出现在诸如IARPA高空和远距离生物识别与身份识别（BRIAR）计划等监视场景中，其中生物识别数据是在长…...

编程日记 2025/6/27 17:22:25

《P2345 [USACO04OPEN] MooFest G》

题目背景 P5094 [USACO04OPEN] MooFest G 加强版题目描述约翰的 n 头奶牛每年都会参加“哞哞大会”。哞哞大会是奶牛界的盛事。集会上的活动很多，比如堆干草，跨栅栏，摸牛仔的屁股等等。它们参加活动时会聚在一起，第 i 头…...

编程日记 2025/6/25 11:41:36

浅浅学:DoIP工作流程及基于DoIP的诊断/刷写工具

注：阅读本文需要对UDS及BootLoader有一定了解，基础内容不做赘述。在汽车"新四化"浪潮的推动下，智能座舱、自动驾驶、车路协同等创新技术正加速重构行业格局。随着车载ECU数量突破百个量级，软件代码量呈指数级增长——…...

编程日记 2025/6/28 15:55:22

首个专业AI设计Agent发布-Lovart

Lovart是什么 Lovart 是为设计师打造的世界上首个专业设计 Agent。Lovart 能像专业设计师一样思考和执行设计任务，提供高水平的设计方案。基于自然语言交互，用户能快速调整布局、颜色和构图。Lovart 支持从创意拆解到专业交付的全链路设计，单…...

编程日记 2025/6/26 18:16:28

二叉树(中序遍历)

嘿，欢迎来到小巫blog！小巫又来啦！看到你对二叉树中序遍历这道题有点困惑，别担心，我会一步步带你搞定它！这道题是树的基础题目，掌握了它，你对树的遍历就会有很深的理解。我相信&#…...

编程日记 2025/5/25 10:01:05

Ubuntu 系统默认已安装 python，此处只需添加一个超链接即可

步骤 1：确认 Python 3 的安装路径查看当前 Python 3 的路径： which python3 输出类似： /usr/bin/python3 步骤 2：创建符号链接使用 ln -s 创建符号链接，将 python 指向 python3： sudo ln -s /usr/b…...

编程日记 2025/6/26 7:23:36

AcroForm JavaScript Promise 对象应用示例: 异步加载PDF文件

这段代码演示了在Adobe Acrobat DC Pro 的 JavaScript 环境中如何使用 Promise 对象处理异步操作。具体功能是： 定义了一个loadFile函数，模拟异步加载PDF文件的操作使用Promise对象封装异步操作，提供成功(resolve)和失败(reject)两种状态通过…...

编程日记 2025/6/20 14:16:32

LeetCode 热题 100 114. 二叉树展开为链表

LeetCode 热题 100 | 114. 二叉树展开为链表大家好，今天我们来解决一道经典的二叉树问题——二叉树展开为链表。这道题在 LeetCode 上被标记为中等难度，要求将二叉树展开为一个单链表，展开后的单链表应该与二叉树的先序遍历顺序相同。问题…...

编程日记 2025/6/27 21:03:19

DML和DQL

1. 设置MySQL的储存引擎上一章的附录里已经将ini设置好了，不用再次设置 2. DML语句插入单数据记录插入多数据记录将查询结果插入新表更新数据删除数据注意：delete删除只会删除数据，不会重置表的现有逻辑，truncate会重置表逻…...

编程日记 2025/6/28 15:47:38

多线程与线程互斥

我们初步学习完线程之后，就要来试着写一写多线程了。在写之前，我们需要继续来学习一个线程接口——叫做线程分离。默认情况下，新创建的线程是joinable的，线程退出后，需要对其进行pthread_join操作，否则无法…...

编程日记 2025/6/27 14:13:12

BMS工具箱用来执行贝叶斯模型平均（BMA）计算模块

贝叶斯模型平均（Bayesian Model Averaging，BMA）是一种用于处理模型不确定性的统计方法，通过结合多个模型的预测结果来提高预测的准确性和鲁棒性。在 MATLAB 中，可以使用专门的工具箱（如 BMS 工具箱&#xf…...

编程日记 2025/6/21 19:35:21

Java死锁排查：线上救火实战指南

想象一下，你正在值班，突然监控告警红成一片，用户反馈雪花般飘来：“系统卡死了！用不了了！” —— 这很可能就是Java应用遭遇了“死锁”这个大魔王。这时候，你就是救火队长，首要任务不…...

编程日记 2025/6/25 18:06:25

第十九次博客打卡

今天学习的内容是Java中的常见循环。在 Java 中，常见的循环结构主要有以下几种：for 循环、while 循环、do-while 循环以及增强型 for 循环（也称为 for-each 循环）。 1. for 循环 for 循环是一种非常灵活的循环结构&#xff0c…...

编程日记 2025/6/25 22:58:36

智能体制作学习笔记1——智能体

01 智能体_哔哩哔哩_bilibili 大语言模型可以理解成一个很厉害的人。但是要完成一些特定的工作，除了大语言模型，还需要一些工具和业务流程，这样才能自动化帮我们完成特定的工作，这个就叫做智能体。突然发现放视频的时候出现了…...

编程日记 2025/6/26 4:25:54

Python常见问题

文章目录 1.python有哪些数据类型2.python中的元组和列表的区别是什么？3.python中的break、continue、pass代表什么意思？4.如何在python中生成一个随机数？5.Python有哪些常见的内置函数？6.请用自己最擅长的编程语言，将…...

编程日记 2025/6/22 20:55:29

小程序存存上下滑动的页面

推荐阅读文档： Vue3组合式API之getCurrentInstance详解 - 且行且思 - 博客园Vue2中，可以通过this来获取当前组件实例； Vue3中，在setup中无法通过this获取组件实例，console.log(this)打印出来的值是undefined。在Vue3…...

编程日记 2025/6/26 17:32:16

更换git位置并在pycharm中重新配置

更新 PyCharm 中的 Git 路径更新 PyCharm 终端的 Shell 路径检查环境变量确保系统环境变量中的 Path 包含了新的 Git 安装路径 ，如果使用unins0000自动卸载就不会有旧路径。...

编程日记 2025/6/26 4:23:36

AI世界的崩塌：当人类思考枯竭引发数据生态链断裂

AI世界的崩塌：当人类思考枯竭引发数据生态链断裂 ——论过度依赖AI创作对技术进化的反噬一、数据生态的恶性循环：AI的“自噬危机” 当前AI模型的训练依赖于人类创造的原始数据——书籍、论文、艺术作品、社交媒体动态等。据统计，2025年全球…...

编程日记 2025/6/27 1:18:50

OkHttp连接池

🧰 调整连接池的核心参数 ✅ 最大空闲连接数（maxIdleConnections）： 含义：连接池中最多保留的空闲连接数量。默认值：5建议值：10~50（视并发量而定） ✅ 连接保持时间&…...

编程日记 2025/6/20 10:56:27

哈希表的实现01

文章目录哈希表的实现01哈希概念直接定址法哈希冲突负载因子将关键字转换为整数哈希函数除法散列法：乘法散列法（了解）全域散列法（了解） 处理哈希冲突（开放定址法）线性探测：二次探测…...

编程日记 2025/6/27 2:31:54

学习日志06 java

还有四天要去比赛了，能赢吗？逼自己一把。。。！！加油！ 1 对比一下java重写还是不重写tostring的区别 1. 不重写 toString() 的情况 java class Point {private int x;private int y;public Point(int x, int y) {th…...

编程日记 2025/6/23 13:55:14

spring中的@MapperScan注解详解

一、核心功能与作用 MapperScan是Spring与MyBatis框架集成时用于批量扫描Mapper接口的核心注解，其主要功能包括： 自动注册Mapper接口通过指定包路径，Spring会自动扫描该路径下的所有Mapper接口，并将其注册为Spring Bean&#x…...

编程日记 2025/6/26 18:49:23

PYTHON训练营DAY25

BUG与报错一、try else try:# 可能会引发异常的代码 except ExceptionType: # 最好指定具体的异常类型，例如 ZeroDivisionError, FileNotFoundError# 当 try 块中发生 ExceptionType 类型的异常时执行的代码 except: # 不推荐：捕获所有类型的异常&…...

编程日记 2025/6/27 14:44:19

视频图像压缩领域中 DCT 的 DC 系数和 AC 系数详解

引言在数字图像与视频压缩领域，离散余弦变换（Discrete Cosine Transform, DCT）凭借其卓越的能量集中特性，成为JPEG、MPEG等国际标准的核心技术。DCT通过将空域信号映射到频域，分离出DC系数（直流分量&…...

编程日记 2025/6/26 21:28:08

YOLO v1：目标检测领域的革命性突破

引言在计算机视觉领域，目标检测一直是一个核心任务，它不仅要识别图像中的物体类别，还要确定物体的精确位置。传统目标检测方法如R-CNN系列虽然准确率高，但计算复杂度高、速度慢。2016年，Joseph Redmon等人提出的YOLO…...

编程日记 2025/6/26 18:30:05

AI智能体 | 使用Coze一键制作“假如书籍会说话”视频，18个作品狂吸17.6万粉，读书博主新标杆！（附保姆级教程）

目录一、整体工作流设计二、制作工作流 2.1 开始节点 2.2 大模型_生成对话文案 2.3 代码_字幕切割 2.4 画板_对话背景 2.5 循环_对话语音01 2.5.1 选择器_2 2.5.2 语音合成02 2.5.3 语音合成03 2.5.4 变量聚合_1 2.5.5 视频合成01 2.6 循环_3 2.6.1 选择器_3 …...

编程日记 2025/6/26 11:14:13

HVV蓝队实战面试题

HVV蓝队实战，防守筹备之“部署蜜罐捕获横向扫描行为”。蜜罐通过模拟内网脆弱服务（如SMB、SSH、数据库端口），诱捕攻击者突破边界后的横向探测行为。通过监测高频端口扫描、非常规协议请求及非授权IP段遍历，结合多源…...

编程日记 2025/6/23 22:39:24

正则表达式（二）-高级应用_谨慎使用

没事建议别瞎用正则表达式，能让后端处理好的数据，尽量后端处理好，减少前端对数据的处理，保证数据原始的完整性，减少前端耗能。（其实就是懒╮(╯▽╰)╭） 1. 分组捕获分组捕获用于提取匹配的子字符串，使用 () 定义分组。示例：提取日期中的年、月、日 (\d{4})-(\d{2…...

编程日记 2025/6/23 19:32:33

在K8S集群中部署EFK日志收集

目录引言环境准备安装自定义资源部署ElasticsearchMaster 节点与 Data 节点的区别生产优化建议安装好以后测试ES是否正常部署Fluentd测试filebeat是否正常推送日志部署Kibana获取账号密码，账号是：elastic集群测试引言系统版本为 Centos7.9内核版本为…...

编程日记 2025/6/26 17:28:03

解决常见数据库问题：保障数据安全与稳定的全方位指南

本文结合行业最佳实践与前沿技术，系统性总结数据库运维中的核心问题与解决方案，助力开发者构建高可靠、高性能的数据服务） 一、性能优化：从SQL到架构的全面调优性能问题是数据库运维中最常见的挑战，直接影响用户体验…...

编程日记 2025/6/25 4:34:58

武汉科技大学人工智能与演化计算实验室许志伟课题组参加2025中国膜计算论坛

武汉科技大学人工智能与演化计算实验室许志伟课题组参加2025中国膜计算论坛 2025年5月9日至11日，第五届中国膜计算论坛（CWMC 2025）在成都信息工程大学隆重召开。会议由国际膜计算学会（IMCS） 主办，汇聚了来…...

编程日记 2025/6/27 20:59:11

Femap许可硬件绑定

在电磁仿真领域，Femap软件因其卓越的性能和广泛的应用场景而备受用户青睐。为了确保软件的安全与稳定运行，Femap提供了许可硬件绑定的功能。本文将详细介绍Femap许可硬件绑定的概念和优势，帮助您了解并充分利用这一功能，确保软件在…...

编程日记 2025/6/27 16:08:48

构建优雅对象的艺术：Java 建造者模式的架构解析与工程实践

一、建造者模式的本质与核心价值在面向对象的软件设计中，创建复杂对象一直是一个需要精心处理的问题。当一个对象的构建需要多个步骤，并且这些步骤具有不同的组合方式时，传统的构造函数方式会显得力不从心。建造者模式（Builder …...

编程日记 2025/6/21 19:17:34

vim启动的时候，执行gg

在 Vim 编辑器中，gg 命令是一个非常有用的命令，它可以将光标快速移动到当前窗口的顶部（即第一行）。如果你想在 Vim 启动时自动执行 gg 命令，有几种方法可以实现这一点： 方法 1：使用 Vim 的启动…...

编程日记 2025/6/23 21:50:54

【SSL部署与优化】HTTP/2与HTTPS的协同效应

HTTP/2与HTTPS的协同效应：为何HTTP/2强制要求TLS 1.2？ HTTP/2是HTTP协议的现代升级版，旨在通过多路复用、头部压缩等技术提升性能。然而，HTTP/2的设计与部署与HTTPS（TLS加密）紧密相关，甚至强制…...

编程日记 2025/6/23 18:55:55

JavaScript篇：揭秘函数式与命令式编程的思维碰撞

大家好，我是江城开朗的豌豆，一名拥有6年以上前端开发经验的工程师。我精通HTML、CSS、JavaScript等基础前端技术，并深入掌握Vue、React、Uniapp、Flutter等主流框架，能够高效解决各类前端开发问题。在我的技术栈中，除了…...

编程日记 2025/6/23 1:34:10

ubuntu24.04上安装NVIDIA driver+CUDA+cuDNN+Anaconda+Pytorch

一、NVIDIA driver 使用Ubuntu系统的：软件和更新——>附加驱动，安装NVIDIA驱动。二、CUDA 安装命令：sudo apt install nvidia-cuda-toolkit 三、cuDNN cuDNN 9.10.0 Downloads | NVIDIA Developer 四、Anaconda Download Anaconda Di…...

编程日记 2025/6/26 17:44:31

题目