注意力机制(np计算示例)单头和多头
为了更好理解注意力机制里面的qkv矩阵，使用np来演示。
单头注意力
import numpy as np
import math# 初始化输入 X
X = np.array([[[1, 2, 3], [4, 5, 6]]])# 初始化权重矩阵 WQ、WK、WV
WQ = np.array([[1, 0], [0, 1], [0, 0]])WK = np.array([[1, 0], [0, 1], [0, 0]])WV = np.array([[1, 0], [0, 1], [0, 0]])# 计算 Q、K、V
# 使用np.matmul是高维矩阵运算的方法，np.dot是1维或2维的方法
Q = np.matmul(X, WQ)
K = np.matmul(X, WK)
V = np.matmul(X, WV)# 计算注意力分数
# d_k的维度 (1, 2, 2)
# 轴 0 对应 batch_size，表示批次大小，即一次处理的样本数量。
# 轴 1 对应 seq_length，表示序列长度，即每个样本中的元素数量。
# 轴 2 对应 hidden_dim，表示每个元素的特征维度。
d_k = K.shape[-1] # 这里使用qkv任意一个都可以，我们只是需要# 在论文中提到，除根号dk的意义，是为了缓解梯度小或梯度消失的问题
# 产生的原因：Q与K矩阵进行运算时，结果有可能小或者大，经过Softmax时，会使大的更大，小的更小。大的更接近1,小的更接近0.
# 这种两级分化的情况，容易让模型在反向传播时，使梯度变小，而模型无法收敛。
# 解决的方法：Q与K矩阵进行运算后除上根号dk，dk是元素的特征维度
# 在输入的特征向量长度，如果短，则除dk的意义不大，如果长，则依然可以使模型继续收敛，不会因为梯度小
# 而让模型收敛过于缓慢或者是不收敛。
# dk是论文公式里的，d_k是此代码中的变量scores = np.matmul(Q, K.transpose(0, 2, 1)) / math.sqrt(d_k)# 若想不以科学计数显示:
np.set_printoptions(suppress = True)
# 定义 Softmax 函数
def softmax(x):e_x = np.exp(x - np.max(x, axis=-1, keepdims=True))return e_x / np.sum(e_x, axis=-1, keepdims=True)# 计算注意力权重
weights = softmax(scores)# 计算注意力输出
output = np.matmul(weights, V)print("Q:", Q)
print()
print("K:", K)
print()
print("V:", V)
print()
print("scores:", scores)
print()
print("weights:", weights)
print()
print("output:", output)
print()
多头注意力机制
在此处的transpose本质是矩阵转置，用来便于并行计算。
import numpy as npdef scaled_dot_product_attention(Q, K, V, mask=None):"""计算缩放点积注意力:param Q: 查询矩阵，形状为 (batch_size, num_heads, seq_length, d_k):param K: 键矩阵，形状为 (batch_size, num_heads, seq_length, d_k):param V: 值矩阵，形状为 (batch_size, num_heads, seq_length, d_k):param mask: 掩码矩阵，可选，形状为 (batch_size, 1, 1, seq_length):return: 注意力输出，形状为 (batch_size, num_heads, seq_length, d_k)；注意力权重，形状为 (batch_size, num_heads, seq_length, seq_length)"""# 获取 d_k 的值，用于缩放点积d_k = Q.shape[-1]# 计算 Q 和 K 的转置的点积，并除以根号 d_k 进行缩放scores = np.matmul(Q, K.transpose(0, 1, 3, 2)) / np.sqrt(d_k)# 如果提供了掩码，将掩码应用到分数上，将掩码位置的值设为负无穷大if mask is not None:scores = scores + (mask * -1e9)# 对分数应用 softmax 函数，得到注意力权重attention_weights = softmax(scores)# 将注意力权重与值矩阵 V 相乘，得到注意力输出output = np.matmul(attention_weights, V)return output, attention_weightsdef softmax(x):"""实现 softmax 函数，将输入转换为概率分布:param x: 输入数组:return: 经过 softmax 处理后的数组"""# 为了数值稳定性，减去每行的最大值e_x = np.exp(x - np.max(x, axis=-1, keepdims=True))# 计算 softmax 值return e_x / np.sum(e_x, axis=-1, keepdims=True)def multi_head_attention(X, num_heads, mask=None):"""实现多头注意力机制:param X: 输入矩阵，形状为 (batch_size, seq_length, d_model):param num_heads: 头的数量:param mask: 掩码矩阵，可选，形状为 (batch_size, 1, seq_length):return: 多头注意力输出，形状为 (batch_size, seq_length, d_model)；注意力权重，形状为 (batch_size, num_heads, seq_length, seq_length)"""# 获取批次大小、序列长度和模型维度batch_size, seq_length, d_model = X.shape# 计算每个头的维度d_k = d_model // num_headsprint(d_k)# 初始化线性变换矩阵 W_Q、W_K、W_V# 这里使用固定值进行初始化，方便调试和理解W_Q = np.ones((d_model, d_model))W_K = np.ones((d_model, d_model))W_V = np.ones((d_model, d_model))# 对 X 进行线性变换得到 Q、K、VQ = np.matmul(X, W_Q)K = np.matmul(X, W_K)V = np.matmul(X, W_V)# 将 Q、K、V 分割成多个头# 先调整形状为 (batch_size, seq_length, num_heads, d_k)# 再交换轴 1 和 2，得到 (batch_size, num_heads, seq_length, d_k)Q = Q.reshape(batch_size, seq_length, num_heads, d_k).transpose(0, 2, 1, 3)K = K.reshape(batch_size, seq_length, num_heads, d_k).transpose(0, 2, 1, 3)V = V.reshape(batch_size, seq_length, num_heads, d_k).transpose(0, 2, 1, 3)# 如果有掩码，调整掩码形状以适应多头注意力计算if mask is not None:mask = mask[:, np.newaxis, np.newaxis, :]# 计算每个头的注意力output, attention_weights = scaled_dot_product_attention(Q, K, V, mask)# 合并头# 先交换轴 1 和 2，得到 (batch_size, seq_length, num_heads, d_k)# 再将最后两维合并，得到 (batch_size, seq_length, d_model)output = output.transpose(0, 2, 1, 3).reshape(batch_size, seq_length, d_model)# 最终的线性变换# 初始化线性变换矩阵 W_OW_O = np.ones((d_model, d_model))# 对合并后的输出进行线性变换output = np.matmul(output, W_O)return output, attention_weights# 示例使用
# batch_size = 2
# seq_length = 3
# d_model = 4
num_heads = 2# 使用固定输入矩阵 X
X = np.array([[[1, 2, 3, 4], [5, 6, 7, 8], [9, 10, 11, 12]],[[13, 14, 15, 16], [17, 18, 19, 20], [21, 22, 23, 24]],]
)# 调用多头注意力函数
output, attention_weights = multi_head_attention(X, num_heads)
print("输入特在矩阵形状: ", X.shape)
print()
print("多头注意力输出形状:", output.shape)
print("注意力权重形状:", attention_weights.shape)相关文章：
单头和多头)
注意力机制(np计算示例)单头和多头
为了更好理解注意力机制里面的qkv矩阵，使用np来演示。 单头注意力 import numpy as np import math# 初始化输入 X X np.array([[[1, 2, 3], [4, 5, 6]]])# 初始化权重矩阵 WQ、WK、WV WQ np.array([[1, 0], [0, 1], [0, 0]])WK np.array([[1, 0], [0, 1], [0,…...
生成对抗网络（Generative adversarial network——GAN）
文章目录 1. 前言1.1 判别器和生成器的作用？2.2 个人总结 2. 核心代码示例2.1 训练判别器网络2.2 训练生成器网络 参考文章 1. 前言 生成对抗网络的原文：Generative Adversarial Nets，该论文的精读视频：生成对抗网络GAN开山之作论…...
CSGHub开源版本v1.6.0更新
CSGHub v1.6.0 带来了多项核心功能升级与性能优化，显著增强了对大模型推理、微调、评估等流程的支持，并进一步完善了推理服务与用户交互体验。 插件化推理与训练引擎框架 推理、微调和评估引擎现已全面模块化，支持通过配置文件灵活接入多种引…...
Redis日常学习（一）
我的Redis学习笔记：从命令行到性能调优 Redis Redis（Remote Dictionary Server）本质上是一个基于内存的键值存储系统. 安装配置Redis的过程非常简单： # Ubuntu/Debian安装Redis sudo apt-get update sudo apt-get install red…...
Unity3D仿星露谷物语开发37之浇水动画
1、目标 当点击水壶时，实现浇水的动画。同时有一个水从水壶中流出来的特效。 假如某个grid被浇过了，则不能再浇水了。。 如果某个grid没有被dug过，也不能被浇水。 2、优化Settings.cs脚本 增加如下内容： public static float…...
JavaScript 一维数组转不含零的两个数
问题描述： /*** param {number} n* return {number[]}*/ var getNoZeroIntegers function(n) {for(let i 1;i<n;i){if(String(i).indexOf(0) -1&&String(n-i).indexOf(0) -1){return [i,n-i]}}};String类型indexOf()函数如果找不到字串则返回-1&…...
)
抽象工厂模式及其在自动驾驶中的应用举例(c++代码实现)
模式定义 抽象工厂模式（Abstract Factory Pattern）是一种创建型设计模式，用于封装一组具有共同主题的独立对象创建过程。该模式通过提供统一接口创建相关对象家族，而无需指定具体实现类，特别适合需要保证系统组件兼容…...
知乎十四载：从精英问答到AI时代的知识灯塔
一、起源：Quora 的火种与周源的执念 2010 年，互联网浪潮正汹涌澎湃，各种新兴平台如雨后春笋般不断涌现。就在这一年的一个夜晚，周源像往常一样在网上浏览着各类信息，当他打开美国问答网站 Quora 时，瞬间被…...
Linux文件时间戳详解：Access、Modify、Change时间的区别与作用
在 Linux 系统中，文件的这三个时间戳（Access、Modify、Change）分别表示不同的文件状态变更时间，具体含义如下： 1. Access Time (Access) 含义：文件最后一次被访问的时间（读取内容或执行…...
Doris + Iceberg 构建冷热分层数据湖架构：架构设计与实战指南
在海量数据治理与存储演进中，冷热数据分层 已成为降本增效的关键策略。本篇将深入探讨如何结合 Apache Doris 与 Apache Iceberg 构建一套高性能、可扩展的数据湖架构，支持冷热数据自动分层、快速查询与灵活扩展。 一、背景：为什么需要冷热数…...
顺序表和链表的区别（C语言）
前言 线性表是最基础的数据结构之一，其中顺序表与链表分别代表两种存储方式： 顺序表（Sequential List）：底层用数组实现，要求内存连续，典型代码以 int data[N] 或动态分配的 malloc/realloc 数…...
【Redis】Redis中的常见数据类型（一）
文章目录 前言一、Redis前置知识1. 全局命令2、数据结构和内部编码3. 单线程架构 二、String 字符串1. 常见命令2. 计数命令3.其他命令4. 内部编码5. 典型使用场景 三、Hash哈希1. 命令2.内部编码3. 使用场景4. 缓存方式对比 结语 前言 Redis 提供了 5 种数据结构，…...
Vue3 + TypeScript，使用祖先传后代模式重构父传子模式
父传子模式 父组件 SampleInput.vue <script setup lang"ts" name"SampleInput"> import { ref } from "vue"; import type { ApplyBasicInfo, Apply, ApplySample } from "/interface"; import CommonApplySampleTable from …...
MySQL：9.表的内连和外连
9.表的内连和外连 表的连接分为内连和外连 9.1 内连接 内连接实际上就是利用where子句对两种表形成的笛卡儿积进行筛选，之前查询都是内连 接，也是在开发过程中使用的最多的连接查询。 语法： select 字段 from 表1 inner join 表2 on 连接…...
Grafana监控系统之监控Linux的Redis)
(mac)Grafana监控系统之监控Linux的Redis
Grafana安装-CSDN博客 普罗米修斯Prometheus监控安装（mac）-CSDN博客 1.Redis_exporter安装 直接下载 wget https://github.com/oliver006/redis_exporter/releases/download/v1.0.3/redis_exporter-v1.0.3.linux-amd64.tar.gz 解压 tar -xvf redis_…...
)
Multisim使用教程详尽版--(2025最新版)
一、Multisim14前言 1.1、主流电路仿真软件 1. Multisim：NI开发的SPICE标准仿真工具，支持模拟/数字电路混合仿真，内置丰富的元件库和虚拟仪器（示波器、频谱仪等），适合教学和竞赛设计。官网：艾…...
python pdf转图片再OCR
先pdf转图片 import os from pdf2image import convert_from_path# PDF文件路径 pdf_path /Users/xxx/2022.pdf # 输出图片的文件夹 output_folder ./output_images2022 # 输出图片的命名格式 output_name page# 如果输出文件夹不存在，创建它 if not os.path.ex…...
npm link 使用指南
npm link 使用指南 npm link 是一个非常有用的命令，主要用于在开发过程中将本地 npm 包链接到全局 npm 目录，从而可以在其他项目中使用这个本地包，而不需要发布到 npm 仓库。 基本用法 1. 创建全局链接 进入你要链接的本地包的根目录&…...
免费图片软件,可矫正倾斜、调整去底效果
软件介绍 有个超棒的软件要给大家介绍一下哦，它就是——ImgTool，能实现图片漂白去底的功能，而且重点是，它是完全免费使用的呢，功能超强大！ 软件特点及使用便捷性 这软件是绿色版本的哟，就像一…...
5G网络切片：精准分配资源，提升网络效率的关键技术
5G网络切片：精准分配资源，提升网络效率的关键技术 随着5G技术的广泛应用，网络切片（Network Slicing）作为其核心创新之一，正在改变传统网络架构。它通过将物理网络划分为多个逻辑网络（切片&…...
seate TCC模式案例
场景描述 用户下单时，需要创建订单并从用户账户中扣除相应的余额。如果订单创建成功但余额划扣失败，则需要回滚订单创建操作。使用 Seata 的 TCC 模式来保证分布式事务的一致性。 1. 项目结构 假设我们有两个微服务： Order Service&#x…...
Transfomer的本质
Transformer是一个基于自注意力机制的深度学习模型，用于处理序列数据，主要结构包括编码器和解码器，每个部分由多头自注意力和前馈网络组成，加上残差连接和层归一化，以及位置编码。它解决了RNN的并行处理问题࿰…...
final修饰变量的注意
在Java中，使用final修饰变量时，需注意以下关键事项： 1. 初始化规则 实例变量： 必须在声明时、构造器或实例初始化块中初始化。所有构造器分支必须保证初始化。 class Example {final int x; // 实例变量final int y;public Exampl…...
前端与传统接口的桥梁：JSONP解决方案
1.JSONP原理 1.1.动态脚本注入 说明：通过创建 <script> 标签绕过浏览器同源策略 1.2.回调约定 说明：服务端返回 函数名(JSON数据) 格式的JS代码 1.3.自动执行 说明：浏览器加载脚本后立即触发前端预定义的回调函数（现代开…...
SQL注入 01
0x01 用户、脚本、数据库之间的关系 首先客户端发出了ID36的请求，脚本引擎收到后将ID36的请求先代入脚本的sql查询语句Select * from A where id 36 ， 然后将此代入到数据库中进行查询，查到后将返回查询到的所有记录给脚本引擎，接…...
Java之封装（学习笔记）
封装定义（个人理解：） 封装就像电视遥控器的按钮，比如音量键，对于我们使用者来说就是可以直接按下去调控音量，对于代码写作者来说就是封装了调控音量的方法，使得我们只能去调控，不能改…...
每天学一个 Linux 命令（27）：head
可访问网站查看，视觉品味拉满： http://www.616vip.cn/27/index.html head 是 Linux 中用于查看文件开头部分内容的命令，默认显示文件前 10 行，适合快速预览文件结构或日志头部信息。 命令格式 head [选项] [文件]常用选项 选项说明-n <行数>指定显示前 N 行（如…...
山东大学软件学院创新项目实训开发日志（20）之中医知识问答自动生成对话标题bug修改
在原代码中存在一个bug：当前对话的标题不是现有对话的用户的第一段的前几个字，而是历史对话的第一段的前几个字。 这是生成标题的逻辑出了错误： 当改成size()-1即可...
论文阅读：2024 ICML Is DPO Superior to PPO for LLM Alignment? A Comprehensive Study
Is DPO Superior to PPO for LLM Alignment? A Comprehensive Study https://www.doubao.com/chat/3506902534329346 https://arxiv.org/pdf/2404.10719 速览 这篇论文主要探讨了大语言模型对齐中两种主流方法——**DPO（直接偏好优化）和PPO…...
2025年人工智能指数报告：技术突破与社会变革的全景透视
《2025年人工智能指数报告》作为斯坦福大学人工智能实验室与多方合作的年度重磅研究，以超过千页的篇幅全景式展现了人工智能技术在全球范围内的发展轨迹与深远影响。这份报告不仅延续了对AI技术性能、科研进展与产业应用的追踪，更首次深入探讨了AI硬件的…...
【Python笔记 01】变量、标识符
一、 变量 1、变量的作用 计算机存储空间，用于保存数据。 2、定义变量的格式 格式：变量名 值 示例： num1 3 # num1就是一个变量，保存蛋糕的价格 num2 10 #num2也是一个变量，保存雪碧的价格 total num1 num2 …...
WebSocket启用备忘
一：引入依赖： <!--WebSocket专用--><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-websocket</artifactId></dependency><dependency><groupId>org…...
文件管理详解（曼波脑图版）
(✪ω✪)曼波来啦！文件管理的知识曼波这就为你详细讲解哟~ 记得要准备好小本本做笔记哦！(๑˃̵ᴗ˂̵)و 🌟 文件读写操作 🌟 // 最可爱的文件读取写法 (✧∇✧) try (BufferedReader reader new BufferedReader(new FileRead…...
学习笔记十九——Rust多态
🧩 Rust 多态终极通俗指南 📚 目录导航 多态一句话概念静态分派 vs 动态分派——根本差异参数化多态（泛型） 3.1 函数里的泛型 3.2 结构体里的泛型 3.3 方法里的泛型 3.4 枚举里的泛型Ad hoc 多态（特例多态࿰…...
在 Linux 上部署 .NET Core 应用并配置为开机自动启动
在本文中，我们将详细介绍如何在 Linux 系统上部署 .NET Core 应用程序，并配置为开机自动启动。以下是一步一步的详细部署过程，适用于将 .NET Core Web 应用部署到生产环境中。 1. 安装 .NET 运行时和 SDK 首先，确保 Linux 系统上…...
dubbo SPI插件扩展点使用
参考：SPI插件扩展点 Dubbo SPI概述 使用IoC容器帮助管理组件的生命周期、依赖关系注入等是很多开发框架的常用设计，Dubbo中内置了一个轻量版本的IoC容器，用来管理框架内部的插件，实现包括插件实例化、生命周期、依赖关系自动注入…...
P8512 [Ynoi Easy Round 2021] TEST_152 Solution
Description 有一序列 c ( c 1 , c 2 , ⋯ , c m ) c(c_1,c_2,\cdots,c_m) c(c1,c2,⋯,cm) 和 n n n 个三元组 ( l i , r i , v i ) (l_i,r_i,v_i) (li,ri,vi). 回答 q q q 次形如 ( L , R ) (L,R) (L,R) 的询问，具体如下： 将 c c …...
开源项目FastAPI-MCP：一键API转换MCP服务
在当今AI开发的世界中，应用程序与AI模型之间的无缝集成至关重要。 模型上下文协议(Model Context Protocol, MCP)通过允许AI模型访问外部工具和数据源，弥合了这一差距。 FastAPI MCP是一个强大的工具，它可以通过最少的配置将您现有的FastAPI端点转换为MCP兼容的工具。 本…...
8、constexpr if、inline、类模版参数推导、lambda的this捕获---c++17
一、constexpr if：编译时条件分支 作用：在模板编程中，根据条件在编译时选择不同的代码路径，无需特化版本或复杂SFINAE技巧[替代SFINAE]。[SFINAE将在模版元编程再讲。下个月了。]基本语法 if constexpr (condition) {// 如果 co…...
github新建一个远程仓库并添加了README.md，本地git仓库无法push
1.本地git仓库与远程仓库绑定 2.push时报错，本地的 main 分支落后于远程仓库的 main 分支（即远程有更新，但你本地没有），需要拉取远程的仓库--->在merge合并（解决冲突）--->push 3.但是git …...
贝叶斯分类器：原理、算法与应用详解
内容摘要 本文聚焦贝叶斯分类器，介绍其在各类分类器中分类错误概率最小的特性。详细阐述贝叶斯分类器的基本原理、朴素贝叶斯和半朴素贝叶斯分类器的算法，结合西瓜数据集实例说明朴素贝叶斯的应用。此外，还深入探讨极大似然估计和贝叶斯估计…...
算法篇之单调栈
单调栈算法入门 单调栈是一种特殊的数据结构应用，它的核心在于维护一个栈，使得栈内元素保持单调递增或者单调递减的顺序。这种数据结构在解决很多算法问题时非常有效，例如求数组中每个元素的下一个更大元素、每日温度问题等。 一、单调栈的…...
用python + PIL 实现图片格式转换工具
用python PIL 实现图片格式转换工具 要运行该程序，需要使用第三方库PIL（pillow），详情可见https://blog.csdn.net/cnds123/article/details/126141838 格式支持： 支持常见图片格式转换（JPEG, PNG, BMP, GIF…...
【数据库】事务
目录 1. 什么是事务？ 2. 事务的ACID特性 3. 为什么使用事务？ 4. 如何使用事务 4.1 查看支持事务的存储引擎 4.2 语法 4.3 保存点 4.4 自动/手动提交事务 5. 事物的隔离性和隔离级别 5.1 什么是隔离性 5.2 隔离级别 5.3 查看和设置隔离级别 1…...
C++:详解命名空间
目录 前言 一、命名空间是什么？ 1.1命名空间域的定义 二、为什么有命名空间？ 三、命名空间的用法 总结 前言 主要讲解命名空间是什么？为什么有命名空间？以及它的用法 一、命名空间是什么？ 命名空间域（nam…...
ClickHouse核心架构设计
列式存储原理与数据压缩 列式存储原理 列式存储 vs 行式存储 特性行式存储（如MySQL）列式存储（ClickHouse）数据排列按行连续存储（所有字段相邻）按列连续存储（单列数据紧密排列）适用场…...
K8s-Pod详解
Pod介绍 Pod是Kubernetes中能够创建和部署的最小单元，是Kubernetes集群中的一个应用实例，总是部署在同一个节点Node上。（程序运行部署在容器中，容器必须存在pod中。pod可以认为是容器的封装，一个pod中可以存在一个或者…...
SSM（SpringMVC+spring+mybatis）整合的步骤以及相关依赖
目录 （一）导入SSM框架相关的依赖 ①创建一个新的web工程（idea2023版） ②思考三者之间的联系，回忆依赖 ③在pom.xml文件中引入依赖坐标 （二）使用注解开发，编写Spring的配置类&am…...
【LeetCode】算法详解#5 ---轮转数组
1.题目介绍 给定一个整数数组 nums，将数组中的元素向右轮转 k 个位置，其中 k 是非负数。 1 < nums.length < 105-231 < nums[i] < 231 - 10 < k < 105 2.解决思路 这道题的解决方法有很多，我这里给大家介绍我使用的方法。…...
LeetCode 打家劫舍+删除并获得点数
题目描述 打家劫舍题目传送门1 删除并获得点数传送门2 思路 这两道题看似毫无关系，但竟然可以用桶数组联系起来！！ 先说打家劫舍这道题 限制条件是不能走相邻的屋，再联想到跳台阶（走一格或两格）&#x…...