当前位置：首页 > news >正文

为什么 Transformer 要使用多头注意力机制？

news 来源：原创 2025/8/23 3:21:03

简而言之，多头注意力机制可以让模型从不同的在空间中并行地捕捉到不同的特征关系，从而更全面，更灵活地理解序列中的信息。

举个例子，如果要看一幅画，就不能简单地只关注例如颜色，还要关注到结构，风格，纹理等特征。在 Transformer注意力机制中，每个“头”就是一个独立的注意力机制，分别从输入中学习到不同的表示方式。

技术细节：怎么做到“多头”？

原始输入 X 先被线性变换成多个不同的 Query、Key、Value。

每个头计算一个 Scaled Dot-Product Attention：

$\text{Attention}(Q, K, V) = \text{softmax}\left( \frac{QK^T}{\sqrt{d_k}} \right)V$

所有头的结果拼接起来，再通过一个线性层整合。

所以多头注意力 = 多个“注意力计算器” + 最后融合一下结果。

为什么 Transformer 要使用多头注意力机制？

简而言之，多头注意力机制可以让模型从不同的在空间中并行地捕捉到不同的特征关系，从而更全面，更灵活地理解序列中的信息。举个例子，如果要看一幅画，就不能简单地只关注例如颜色，还要关注到结构&#xff0…...

编程日记 2025/8/23 3:21:03

Python项目--基于Python的自然语言处理文本摘要系统

1. 项目概述自然语言处理(NLP)是人工智能领域中一个重要的研究方向，而文本摘要作为NLP的一个重要应用，在信息爆炸的时代具有重要意义。本项目旨在开发一个基于Python的文本摘要系统，能够自动从长文本中提取关键信息，生成简洁而全…...

编程日记 2025/8/23 3:21:03

【Web APIs】JavaScript 操作多个元素 ③ ( 鼠标经过高亮显示 | onmouseover 事件设置 | onmouseout 事件设置 )

文章目录一、核心要点解析 - 鼠标经过高亮显示1、案例需求2、获取高亮显示的列表行3、鼠标经过 onmouseover 事件设置4、鼠标离开 onmouseout 事件设置5、设置高亮方式二、完整代码示例1、完整代码示例2、执行结果一、核心要点解析 - 鼠标经过高亮显示 1、案例需求案例需求…...

编程日记 2025/8/21 8:02:25

金融的未来

1. DeFi的爆发式增长与核心使命 DeFi（去中心化金融）的使命是重构传统金融基础设施，通过区块链技术实现更高的透明度、可访问性、效率、便利性和互操作性。其增长数据印证了这一趋势： TVL（总锁定价值）爆炸…...

编程日记 2025/8/23 3:20:11

[ElasticSearch]Suggest查询建议(自动补全纠错)

概述搜索一般都会要求具有“搜索推荐”或者叫“搜索补全”的功能，即在用户输入搜索的过程中，进行自动补全或者纠错。以此来提高搜索文档的匹配精准度，进而提升用户的搜索体验，这就是Suggest。四种Suggester 1 Term Suggester…...

编程日记 2025/8/19 6:50:59

GPT-4.1 提示词使用指南

GPT-4.1 提示词使用指南参考：https://cookbook.openai.com/examples/gpt4-1_prompting_guide 为什么要关注 GPT-4.1 提示词使用指南？ GPT-4.1 比其前代模型 GPT-4o 更倾向于严格跟随指令，而不是像 GPT-4o 那样更自由地推断用户和系统提示…...

编程日记 2025/8/19 21:07:24

es6面试常见问题╮(╯▽╰)╭

ES6（ECMAScript 2015）的一些常见面试问题，涵盖了变量声明、箭头函数、模板字符串、解构赋值、模块化、类、Promise、生成器等关键特性。有些面试就是问问，对老程序员面试其实不问这么多╮(╯▽╰)╭ 文章目录 **1. 变量声明****1.1 `let` 和 `const` 与 `var` 的区别是什么…...

编程日记 2025/8/22 14:23:15

Xenomai 如何实现＜10μs 级抖动控制

1. 抖动（Jitter）的定义与重要性 1.1 什么是抖动？ 在实时控制系统中，抖动（Jitter）指任务实际执行时间与预期周期时间的偏差。例如： • 设定一个任务每 100μs 运行一次，但实际运行时间…...

编程日记 2025/8/21 5:05:10

前端基础常见的算法

你整理的这些前端常见算法知识点挺实用的，适合复习或面试准备。下面我帮你稍微整理美化一下格式，并补充一点细节，让内容更清晰易读： 1. 排序算法冒泡排序（Bubble Sort） 原理：通过重复比较相邻元…...

编程日记 2025/8/19 21:47:21

RPA机器人技术原理初探

RPA（Robotic Process Automation，机器人流程自动化）通过模拟人类操作界面元素来实现自动化任务，其技术原理可分为以下核心模块： 一、基础技术架构界面元素识别技术选择器（Selector）引擎&#…...

编程日记 2025/8/17 20:14:19

AWS CloudFront加速S3配置跨域

1、点击分配源我们就选择S3–>选择我们要加速的S3存储桶 2、创建OAC访问方式在我们的来源访问处–>来源访问控制设置(推荐)–>选择创建新的OAC(Create new OAC)–>自定义名字按默认选项保存–>选择刚刚新创建的OAC 3、选择查看器的配置根据具体情况&#x…...

编程日记 2025/8/17 15:39:11

58.最后一个单词的长度

目录一、问题描述二、解题思路三、代码四、复杂度分析一、问题描述给你一个字符串 s，由若干单词组成，单词前后用一些空格字符隔开。返回字符串中最后一个单词的长度。单词是指仅由字母组成、不包含任何空格字符的最大子字符串。二、解题思…...

编程日记 2025/8/20 14:13:26

leetcode_344.反转字符串_java

344. 反转字符串 1、题目编写一个函数，其作用是将输入的字符串反转过来。输入字符串以字符数组 s 的形式给出。不要给另外的数组分配额外的空间，你必须原地修改输入数组、使用 O(1) 的额外空间解决这一问题。示例 1： 输入&#xff1a…...

编程日记 2025/8/21 4:58:11

Android --- FrameWork 入门：极速上手AOSP

文章目录一、硬件要求二、虚拟机安装三、开发环境搭建四、下载编译源码一、硬件要求 CPU不低于6核心,建议8核及以上内存不低于32G,建议64G 存储空间不低于500G,建议 1TB SSD 二、虚拟机安装 1.下载ubuntu，官网网址如下： releases.ubuntu.com/focal…...

编程日记 2025/8/19 10:30:03

“大湾区珠宝艺境花园”璀璨绽放第五届消博会

2025年4月13日，第五届中国国际消费品博览会（以下简称"消博会"）重要主题活动——《大湾区珠宝艺境花园》启动仪式在海南国际会展中心2号馆隆重举行。由广东省金银珠宝玉器业厂商会组织带领粤港澳大湾区优秀珠宝品牌，以“…...

编程日记 2025/8/17 16:28:58

Spring Boot系列之使用Arthas Tunnel Server 进行远程调试实践

Spring Boot系列之使用Arthas Tunnel Server 进行远程调试实践前言在开发和运维 Java 应用的过程中，远程诊断和调试是一个不可或缺的需求。尤其是当生产环境出现问题时，能够快速定位并解决这些问题至关重要。Arthas 是阿里巴巴开源的一款强大的 Java…...

编程日记 2025/8/20 1:51:25

ILGPU的核心功能使用详解

什么是ILGPU? ILGPU 是一种用于高性能 GPU 程序的新型 JIT（即时）编译器 （也称为 kernels）编写的 .基于 Net 的语言。ILGPU 完全用 C# 编写，没有任何原生依赖项，允许您编写 GPU 真正可移植的程序。…...

编程日记 2025/8/17 21:05:21

Ubuntu服务器日志满audit:backlog limit exceeded了会报错解决方案-Linux 审计系统 (auditd) 工具

auditd 是 Linux 系统中的审计守护进程，负责收集、记录和监控系统安全相关事件。以下是相关工具及其功能： 核心组件 auditd - 审计守护进程系统的审计服务主程序收集系统调用信息并写入日志文件通常存储在 /var/log/audit/audit.log auditctl - 审计控…...

编程日记 2025/8/20 2:21:49

数据加载与保存

通用方式‌ SparkSQL提供了通用的数据加载方式，使用spark.read.loa方法，并可通过format指定数据类型（如csv、jdbc、json、orc、parquet、textFile）。 load方法后需传入数据路径（针对csv、jdbc、json、orc、parquet、…...

编程日记 2025/8/19 2:47:20

TODO!! IM项目2

感觉似乎部署好了真不容易 mysql、redis、 rocketmq（nameserver、broker）、nginx 看代码里是mybatisplus、netty->protobuf协议现在还发不出去消息每个密码都要改对现在可以发消息了但不能at 房间成员也没有 broker内存不够？ 从…...

编程日记 2025/8/16 22:42:02

Android ImageView 使用详解

文章目录一、基本使用1. XML 中声明 ImageView2. Java/Kotlin 中设置图片二、图片缩放类型 (scaleType)三、加载网络图片1. 使用 Glide (推荐)2. 使用 Picasso 四、高级功能1. 圆形图片2. 圆角图片3. 图片点击缩放动画五、性能优化六、常见问题解决 ImageView 是 Android 中…...

编程日记 2025/8/19 12:27:09

工资管理系统的主要功能有哪些

工资管理系统通过自动化薪资计算、税务处理、员工数据管理、报表生成等功能，极大地提升了薪资发放的效率和准确性。在传统的人工薪资管理中，HR人员需要手动计算每位员工的薪资，并确保符合税务要求，极易出错且耗时。而现代工资管理…...

编程日记 2025/8/23 3:20:11

WordPiece 详解与示例

WordPiece详解 1. 定义与背景 WordPiece 是一种子词分词算法，由谷歌于2012年提出，最初用于语音搜索系统，后广泛应用于机器翻译和BERT等预训练模型。其核心思想是将单词拆分为更小的子词单元（如词根、前缀/后缀），从而解决传统分词方法面临的词汇表过大和未知词（OOV）处…...

编程日记 2025/8/23 3:21:02

【LeetCode基础算法】滑动窗口与双指针

定长滑动窗口总结：入-更新-出。入：下标为 i 的元素进入窗口，更新相关统计量。如果 i<k−1 则重复第一步。更新：更新答案。一般是更新最大值/最小值。出：下标为 i−k1 的元素离开窗口，更新相关统计量…...

编程日记 2025/8/23 3:20:09

日本Shopify 3月数据：家居品类销售额激增120%！

2024年第一季度末，电商平台运营商Shopify发布了3月份的最新销售数据，引发业界高度关注。据最新数据显示，日本市场家居品类销售在3月份实现了惊人的增长，同比激增120%，成为该区域增速最快的类目。这一变化不仅映射出日本…...

编程日记 2025/8/17 20:19:32

C语言多进程素数计算

题目描述： 以下代码实现了一个多进程素数计算程序，通过fork()函数创建子进程来并行计算指定范围内的素数。请仔细阅读代码并回答以下问题。 #include "stdio.h" #include "unistd.h" #include <sys/types.h> #include "…...

编程日记 2025/8/22 17:54:16

链表知识回顾

类型：单链表，双链表、循环链表存储：在内存中不是连续存储删除操作：即让c的指针指向e即可，无需释放d，因为java中又内存回收机制添加节点： 链表的构造函数 public class ListNode {// 结点…...

编程日记 2025/8/20 16:27:12

数据库勒索病毒威胁升级：企业数据安全防线如何用安当RDM组件重构

摘要：2025年Q1全球数据库勒索攻击量同比激增101.8%，Cl0p、Akira等团伙通过边缘设备漏洞渗透企业核心系统，制造业、金融业等关键领域面临数据加密与业务停摆双重危机。本文深度解析勒索病毒对数据库的五大毁灭性影响，结合安当RDM防…...

编程日记 2025/8/17 20:34:41

50%时效提升！中巴新航线如何重构ebay跨境电商物流成本？

50%时效提升！中巴新航线如何重构eBay跨境电商物流成本？ 近年，拉美市场逐步升温，特别是巴西，已成为中国跨境卖家争相布局的新蓝海市场。而随着eBay大力拓展拉美板块，更多卖家开始将目光投向这个人口超2亿、…...

编程日记 2025/8/22 2:22:20

自建 eSIM RSP 服务指南

一、自建 eSIM RSP 服务的必要性评估在决定是否自建 RSP（远程 SIM 配置）服务时，企业需要全面了解其带来的利弊。以下是核心要点： 1. GSMA 安全认证 (SAS-SM) 的重要性目的: 确保 RSP 服务符合全球移动网络运营商 (MNO) 对安…...

编程日记 2025/8/21 22:23:20

TensorRT模型部署剪枝

TensorRT模型部署剪枝本文属于学习笔记，在重点章节或代码位置加入个人理解，欢迎批评指正！ 参考： CUDA与TensorRT部署部署实战第四章一. Pruning 学习目标理解什么是模型剪枝模型剪枝的分类，以及各类剪枝的利弊都…...

编程日记 2025/8/17 16:48:13

Servlet 线程安全与并发编程深度解析

Servlet 线程安全与并发编程深度解析一、Servlet 线程安全机制与风险场景 1.1 Servlet 容器工作原理单实例多线程模型：每个Servlet在容器中只有一个实例，通过线程池处理并发请求请求处理流程： 接收HTTP请求创建HttpServletRequest和HttpS…...

编程日记 2025/8/19 6:40:28

C++学习：六个月从基础到就业——面向对象编程：封装、继承与多态

C学习：六个月从基础到就业——面向对象编程：封装、继承与多态本文是我C学习之旅系列的第九篇技术文章，主要讨论C中面向对象编程的三大核心特性：封装、继承与多态。这些概念是理解和应用面向对象设计的关键。查看完整系列目录了解…...

编程日记 2025/8/20 1:51:29

光谱相机的成像方式

光谱相机的成像方式决定了其如何获取物体的空间与光谱信息，核心在于分光技术与扫描模式的结合。以下是主要成像方式的分类解析： ‌一、滤光片切换型‌ ‌1. 滤光片轮（Filter Wheel）‌ ‌原理‌：通过旋转装有多个窄带…...

编程日记 2025/8/19 1:06:11

Excel 中让表格内容自适应列宽和行高

Excel 中让表格内容自适应列宽和行高目录 Excel 中让表格内容自适应列宽和行高自适应列宽自适应行高在Excel中让表格内容自适应列宽和行高，可参考以下操作：自适应列宽方法一：手动调整选中需要调整列宽的列（如果是整个表格，可点击表格左上角行号和列号交叉处的三角形全…...

编程日记 2025/8/21 4:32:47

android rtsp 拉流h264 h265，解码nv12转码nv21耗时卡顿问题及ffmpeg优化

一、背景介绍及问题概述项目需求需要在rk3568开发板上面，通过rtsp协议拉流的形式获取摄像头预览，然后进行人脸识别姿态识别等后续其它操作。由于rtsp协议一般使用h.264 h265视频编码格式（也叫 AVC 和 HEVC）是不能直接用于后续处…...

编程日记 2025/8/17 21:28:21

Day(21)--网络编程

网络编程在网络通信协议下，不同计算机上运行的程序，进行的数据传输应用场景：即使通信、网友对战、金融证券等等，不管是什么场景，都是计算机和计算机之间通过网络进行的数据传输 java.net 常见的软件架构 C/S&am…...

编程日记 2025/8/22 15:16:50

Android主流播放器功能详解

Android主流播放器功能详解前言本文将深入介绍Android三大主流播放框架（ijkplayer、ExoPlayer和MediaPlayer）的功能特性和实战应用，帮助你选择合适的播放框架并掌握其使用方法。三大播放框架概述播放框架开发方特点适用场景MediaPlayerAndroid官方简单易用，系统内置…...

编程日记 2025/8/20 2:21:52

牟乃夏《ArcGIS Engine地理信息系统开发教程》学习笔记2

目录一、ArcGIS Engine概述 1、定义 2、核心功能 3、与ArcObjects（AO）的关系二、开发环境搭建 1、开发工具要求 2、关键步骤三、 ArcGIS Engine核心组件 1、对象模型 2、类库分类四、第一个AE应用程序（C#示例&#xf…...

编程日记 2025/8/20 16:32:30

语音合成（TTS）从零搭建一个完整的TTS系统-第一节-效果演示

一、概述语音合成又叫文字转语音（TTS-text to speech ），本专题我们记录从零搭建一个完整的语音合成系统，包括文本前端、声学模型和声码器，从模型训练到系统的工程化实现，模型可以部署在手机等嵌入式设备上…...

编程日记 2025/8/17 11:29:48

文章记单词 | 第35篇（六级）

一，单词释义 across [əˈkrɒs] prep. 从一边到另一边；横过；在… 对面；遍及；在… 上；跨越；adv. 从一边到另一边；横过；宽；从… 的一边到另一边；在…...

编程日记 2025/8/17 20:48:30

MySQL Binlog 数据恢复总结

🌲 总入口：你想恢复什么？ 恢复类型 ├── 表结构表数据（整张表被 DROP） │ ├── Binlog 中包含 CREATE TABLE │ │ └── ✅ 直接用 mysqlbinlog 提取建表数据语句，回放即可 │ └── B…...

编程日记 2025/8/19 2:47:20

【Linux】进程基础入门指南(下)

> 🍃 本系列为Linux的内容，如果感兴趣，欢迎订阅🚩 > 🎊个人主页:【小编的个人主页】 >小编将在这里分享学习Linux的心路历程✨和知识分享🔍 >如果本篇文章有不足，还请多多包涵&a…...

编程日记 2025/8/22 10:51:31

NoETL×大模型：Aloudata重构数据智能新范式，开启Chat BI新落地之道

在当今数据驱动的时代，企业对于高效、智能的数据处理与分析需求日益增长。随着大模型的兴起，如DeepSeek等，数据智能领域正经历着前所未有的变革。 Aloudata大应科技创始人&CEO周卫林表示，企业的核心竞争力包括人才壁垒、技术…...

编程日记 2025/8/19 23:51:59

算法题（126）：前缀和

审题： 本题需要我们将题目给出的数组的数据的[l,r]范围内的数据和打印思路： 方法一：前缀和前缀和的思想就是预处理数据，通过空间换时间的方式提高代码效率第一步：利用数组f将前缀和记录下来，f[i]表示索引…...

编程日记 2025/8/18 21:25:03

选择排序（简单选择排序、堆排序）

简单选择排序（Selection Sort） 1. 算法思想它通过多次遍历数组，每次从未排序部分中选择最小（或最大）的元素，将其放到已排序部分的末尾（或开头），直到整个数组有序。 2.…...

编程日记 2025/8/20 23:13:29

【JavaEE】Spring AOP的注解实现

目录一、AOP 与 Spring AOP二、Spring AOP简单实现三、详解Spring AOP3.1 Spring AOP 核心概念3.1.1 切点（Pointcut）3.1.2 连接点（Join Point）3.1.3 通知（Advice）3.1.4 切面（Aspect&#xff09…...

编程日记 2025/8/20 19:24:14

【天外之物】加速度与速度的单位向量的内积得到加速度在切向向量上的值

切向加速度的标量值 a T a_T aT 正是加速度矢量 a \mathbf{a} a 与单位切矢量 T ^ \mathbf{\hat{T}} T^ 的内积（点积）。 1. 数学定义设物体的速度为 v \mathbf{v} v，加速度为 a \mathbf{a} a，单位切矢量为 T ^ \mathbf{…...

编程日记 2025/8/17 20:18:56

eBay 2025春季财报揭示跨境电商新蓝海：五大隐秘品类引爆增长密码

核心数据速览 2024年第一季度，eBay全球商品交易总额（GMV）达255亿美元，同比增长5%。这一增长不仅源于季节性消费回暖，更折射出跨境电商行业在能源转型、供应链重构及消费需求升级中的结构性变革。透过数据&#xff…...

编程日记 2025/8/19 2:47:15

兔子桌面tv版下载-兔子桌面tv版官方app免费下载安装

兔子桌面 TV 版是一款专为智能电视和机顶盒设计的轻量化桌面应用，其界面采用大图标、大字体设计，支持自由调整应用顺序，将常用的影视、游戏 App 置顶，还可通过主题市场下载动态背景，满足用户对电视界面的个性化需求。 …...

编程日记 2025/8/22 19:45:17

相关文章：