自注意力机制self-attention
目录
简介：
输入和输出方式：
Sequence Labeling：
self-attention运作方式：
一：怎么从vector得到b1
二：利用矩阵的方法怎么得到
Multi-head Self-attention：
positional encoding：位置编码
Self-attention的应用：
Self-attention 与 CNN的差别和相同点：
Self-attention 与 RNN的差别和相同点：
简介：
Sophisticated Input之前的输入一个向量输出一个数值，如果输入很复杂，比如输入的是一个句子，每个文字是一个向量表示的，那么每一次输入的都是未知长度的向量组。（用一个很长的向量表示每一个中文的汉字，n个维度向量可以表示2的n次方个汉字），一段音频可以看成一组向量。
输入和输出方式：
Sequence Labeling：
词性标注：I saw a saw。我看到一把锯子。saw做了动词也做了名词。如果只是单个的词语考虑，会分辨不出来，这里要考虑一整个句子，self-attention就是考虑整个句子，然后把输入向量转变为输出向量，并且输入几个就会输出几个。
self-attention运作方式：
一：怎么从vector得到b1
输入一排a向量输出一排b，a和b的数量相等，而且每个b都要考虑全部的a，生成b1时要考虑a1与全部其他的a向量，计算关联程度记作attention score（关联分数），方式如下。
现在已经计算出来了每个向量与a1的关联性。
二：利用矩阵的方法怎么得到
a1....a4每一个a都要得到qkv，每一个a都乘一个Wq得到q
那么可以直接把a1a2a3a4看成一个矩阵乘Wq，直接得到q1q2q3q4。
kv同理
。
那么计算q1的α11，α12，α13，α14可以看成k1234×q1的矩阵。
计算q2q3q4的时候同理。
即A=K转制×Q，A进行softmax得到A`
那么b1即等于：
I为input乘上Wq、Wk、Wv得到Q、K、V，K的转制乘Q得到A，A进行softmax得到A`（Attention Matrix）。V乘A`得到了O，O即为self-attention的输出。
只有Wq、Wk、Wv是未知的，需要根据训练资料找出来。
Multi-head Self-attention：
相关这个事有很多种形式很多种定义，不能只有一个q，应该有多个q'来描述“相关”。
positional encoding：位置编码
self-attention少了一个很重要的信息，即位置的信息，如果是输入一段原始数据是句子的向量，那么每个向量的位置表示输入的句子中每个词语的位置，这个位置信息很重要。
positional encoding为每个位置设定一个vector，记作ei，加到ai上面，
Self-attention的应用：
NLP、Transformer、BERT、语音识别、影像... ...
语音识别上，语音的Attention Matrix会非常大，可以用到Truncated Self-attention，他的作用是在做语音识别的时候，不要看一整句话，只看一个小部分即可。这个部分的大小由人设定
影像上，长宽和RGB，可以把同一个长宽处的RGB看成一个向量。那么这个5×10的图片可以看成5×10个三维的向量。
Self-attention 与 CNN的差别和相同点：
CNN是简化版的Self-attention，CNN只考虑receptive file里面的信息，而在做Self-attention的时候，考虑整张图片的信息。
随着资料量越来越多，Self-attention的结果越来越好，在资料量足够大的时候，Self-attention可以超过CNN。但是资料量少的时候，CNN是好于Self-attention的，原因是：Self-attention弹性大，需要更多的资料训练，训练资料少的时候会overfitting，CNN弹性小，资料少的时候就可以训练好。
Self-attention 与 RNN的差别和相同点：
RNN：recurrent neural network循环神经网络，输入一个序列。
RNN不能平行处理，Self-attention可以平行处理，效率更高。
相关文章：
自注意力机制self-attention
目录 简介： 输入和输出方式： Sequence Labeling： self-attention运作方式： 一：怎么从vector得到b1 二：利用矩阵的方法怎么得到 Multi-head Self-attention： positional encoding&#x…...
《Operating System Concepts》阅读笔记：p735-p737
《Operating System Concepts》学习第 62 天，p735-p737 总结，总计 3 页。 一、技术总结 1.distributed system (1)定义 A collection of loosely coupled nodes interconnected by a communication network(一组通过通信网络相互连接的松散耦合节点)…...
2025-04-19 Python 强类型编程
文章目录 1 方法标注1.1 参数与返回值1.2 变参类型1.3 函数类型 2 数据类型2.1 内置类型2.2 复杂数据结构2.3 类别选择2.4 泛型 3 标注方式3.1 注释标注3.2 文件标注 4 特殊情形4.1 前置引用4.2 函数标注扩展4.3 协变与逆变4.4 dataclass 5 高级内容5.1 接口5.2 泛型的协变/逆变…...
RVOS的任务调度优化
12.系统优化–任务调度 12.1 改进任务管理功能 在原有基础上进⼀步改进任务管理功能。具体要求：改进 task_create()，提供更多的参数，具体改进后的函数如下所⽰： int task_create(void (*task)(void* param),void *param, uint8…...
【论文阅读20】-CNN-Attention-BiGRU-滑坡预测（2025-03）
这篇论文主要探讨了基于深度学习的滑坡位移预测模型，结合了MT-InSAR（多时相合成孔径雷达干涉测量）观测数据，提出了一种具有可解释性的滑坡位移预测方法。 [1] Zhou C, Ye M, Xia Z, et al. An interpretable attention-based deep…...
图像预处理-图像噪点消除
一.基本介绍 噪声：指图像中的一些干扰因素，也可以理解为有那么一些点的像素值与周围的像素值格格不入。常见的噪声类型包括高斯噪声和椒盐噪声。 滤波器：也可以叫做卷积核 - 低通滤波器是模糊，高通滤波器是锐化 - 低通滤波器就…...
PP-OCR的安卓端部署
EMO了几天 我浪费了几天的生命，去研究PP-OCR的模型微调、从训练模型导出预测模型，结果一个坑接着一个坑，没有善终。 找了好多资料，得到一些负面信息，比如说飞浆的团队修复问题不及时啦，代码仓库有好多年不…...
2048小游戏C++板来啦！
个人主页：PingdiGuo_guo 收录专栏：C干货专栏 大家好呀，我是PingdiGuo_guo，今天我们来学习如何用C编写一个2048小游戏。 文章目录 1.2048的规则 2.步骤实现 2.1: 初始化游戏界面 2.1.1知识点 2.1.2: 创建游戏界面 2.2: 随机…...
研0大模型学习（第四、五天）
学习CSDN教程：VSCode Debug指南 但里面貌似主要是针对nodejs的，所以我在 CSDN教程：VSCode调试python程序 中学习，刚开始调试报错python版本太低，于是我安装了旧版本的pythondebugger，再把python解释器从原…...
编程规范之整数运算
在表达式中混用有符号数和无符号数时，可能会因隐式转换而导致非预期的结果。因此应尽量在表达式中使用相同符号类型的 变量。 对于无法使用相同符号类型的场景，应将不同类型的变量显式转换为相同类型，当表达式中的无符号数隐式转换为另一个有…...
【零基础】基于 MATLAB + Gurobi + YALMIP 的优化建模与求解全流程指南
MATLAB Gurobi YALMIP 综合优化教程（进阶） 本教程系统介绍如何在 MATLAB 环境中使用 YALMIP 建模，并通过 Gurobi 求解器高效求解线性、整数及非线性优化问题。适用于工程、运营研究、能源系统等领域的高级优化建模需求。 一、工具概览 1.…...
C++17 信号量模拟实现
C17 信号量模拟实现 一、实现原理 C17 标准库没有原生信号量(C20才有)，但可以通过 std::mutex std::condition_variable 模拟实现。以下是核心逻辑： #include <mutex> #include <condition_variable>class CountingSemaphore { private:…...
LINUX学习——守护进程的含义及编程实现
实验目的 理解守护进程的含义。掌握编程实现守护进程的主要步骤。 实验步骤 守护进程的含义： 守护进程是运行在后台的一种特殊进程，独立于控制终端，周期性地执行任务或等待处理事件。守护进程通常以 d 结尾，如 httpd、sshd 等。…...
Json 在线格式化 - 加菲工具
Json 在线格式化 打开网站 加菲工具 选择“Json 在线格式化” 或者直接进入 https://www.orcc.top/tools/json 输入Json，点击左上角的“格式化”按钮 得到格式化后的结果...
final关键字带来的问题
定义了一个配置类： public class EsignConfig { public static final String EsignOrgId "*****"; // 应用ID public static final String EsignAppId "*****"; // 应用密钥 public static final String EsignAppSecret…...
Flash存储器（一）：接口标准全解析
目录 一.接口类型与协议标准 二.应用场景 Flash存储器的接口设计直接影响其性能、应用场景及系统集成复杂度。以下从接口类型、协议标准及应用场景三个方面进行系统阐述。 一.接口类型与协议标准 Flash接口类型与协议标准 序号接口类型协议标准特点1并行接口…...
第18周：对于ResNeXt-50算法的思考
🍨 本文为🔗365天深度学习训练营 中的学习记录博客🍖 原作者：K同学啊 问题：在上一章代码中是ResNeXt-50的残差单元，问题:如果conv shortcutFalse那么在执行“xAdd0)…“语句时，通道数不一致的&…...
Django 结合 Vue 实现简单管理系统的详解
以下是一个 Django 结合 Vue 实现简单管理系统的详细步骤及示例代码： 项目整体架构思路 后端：使用 Django 搭建 RESTful API，负责数据的存储和处理。前端：使用 Vue 构建用户界面，通过调用后端 API 实现数据的展示、添加、修改和删除等操作。步骤 1：创建 Django 项目和应…...
ValueError: model.embed_tokens.weight doesn‘t have any device set
ValueError: model.embed_tokens.weight doesn’t have any device set model.embed_tokens.weight 通常在深度学习框架（如 PyTorch）中使用，一般是在处理自然语言处理（NLP）任务时，用于指代模型中词嵌入层（Embedding layer）的权重参数。下面详细解释： 词嵌入层的作用 …...
公务员行测之速算分数记忆检验-无答案版本
前言 这一篇是根据百分数，默写分数，我发现我看见百分数有点想不到分数 速算之百分数记忆检验 50 % \ 50\% 50% 33.3 % \ 33.3\% 33.3% 25 % \ 25\% 25% 20 % \ 20\% 20% 16.7 % \ 16.7\% 16.7% 14.3 % \ 14.3\% 14.3% 12.5 % \ 12.5\% 1…...
大模型面经 | DeepSpeed中ZeRO-1、ZeRO-2和ZeRO-3的区别是什么？
大家好，我是皮先生！！ 今天给大家分享一些关于大模型面试常见的面试题，希望对大家的面试有所帮助。 往期回顾： 大模型面经 | 春招、秋招算法面试常考八股文附答案（RAG专题一） 大模型面经 | 春招、秋招算法面试常考八股文附答案（RAG专题二） 大模型面经 | 春招、秋招算法…...
【Java面试系列】Spring Boot微服务架构下的分布式事务设计与实现详解 - 3-5年Java开发必备知识
【Java面试系列】Spring Boot微服务架构下的分布式事务设计与实现详解 - 3-5年Java开发必备知识 引言 在微服务架构中，分布式事务是一个不可避免的话题。随着业务复杂度的提升，单体应用逐渐演变为多个微服务，如何保证跨服务的数据一致性成为…...
大语言模型减少幻觉的常见方案
什么是大语言模型的幻觉 大语言模型的幻觉（Hallucination）是指模型在生成文本时，输出与输入无关、不符合事实、逻辑错误或完全虚构的内容。这种现象主要源于模型基于概率生成文本的本质，其目标是生成语法合理、上下文连贯的文本&…...
方案解读：虚拟电厂标杆项目整体建设方案【附全文阅读】
在电力市场背景下，传统电力现货市场存在电能定价不合理、分布式电源并网困难等问题。本虚拟电厂标杆项目旨在研究全时间尺度虚拟电厂智能管控关键技术，通过研制虚拟电厂控制器样机、开发运行管理平台，实现对分布式能源的合理优化配置。项目内容涵盖虚拟调控、建设目标、建设…...
shiro使用
shiro是apache提供的一种安全框架。他可以将登录，权限这一方面简单化。 使用shiro需要引入 <dependency><groupId>org.apache.shiro</groupId><artifactId>shiro-core</artifactId><version>1.9.0</version></depend…...
Spring Boot日志系统详解：Logback与SLF4J的默认集成
大家好呀！👋 今天我们来聊聊Spring Boot中一个超级重要但又经常被忽视的功能——日志系统！ 一、日志系统的重要性 首先，咱们得明白为什么日志这么重要？🤷♂️ 想象一下，你正在玩一个超级复…...
基于SpringBoot成绩管理系统设计与实现(源码+文档+部署讲解）
技术范围：SpringBoot、Vue、SSM、HLMT、Jsp、PHP、Nodejs、Python、爬虫、数据可视化、小程序、安卓app、大数据、物联网、机器学习等设计与开发。 主要内容：免费功能设计、开题报告、任务书、中期检查PPT、系统功能实现、代码编写、论文编写和辅导、论文…...
AI象棋 3.0 |AI自动下象棋工具，破译残局，自动帮助下棋，内置视频教程
Ai象棋是一款自动识别棋盘并分析下棋局势的工具，它能够自动化操作，帮助用户学习象棋知识。该软件无限制使用、界面无广告简洁，并提供永久授权。数据库中挑选1到2个即可完全满足使用需求，不必全部下载，解压mt管理器即可…...
刘鑫炜履新共工新闻社新媒体研究院院长，赋能媒体融合新征程
2025年4月18日，大湾区经济网战略媒体共工新闻社正式对外宣布一项重要人事任命：聘任蚂蚁全媒体总编刘鑫炜为新媒体研究院第一任院长。这一举措，无疑是对刘鑫炜在新媒体领域卓越专业能力与突出行业贡献的又一次高度认可，也预示着共工…...
学习型组织与系统思考
真正的学习型组织不是只关注个人的学习，而是关注整个系统的学习。—彼得圣吉 在这两年里，越来越多的企业开始询问是否可以将系统思考的内容内化给自己的内训师，进而在公司内部进行教学。我非常理解企业这样做的动机，毕竟内部讲师…...
mysql中优先使用datetime存储时间
基于大模型的问答进行了记录。 对为甚timestamp不如datetime好用做了深入了解，再此记录 范围广 ‘1000-01-01 00:00:00’ 到 ‘9999-12-31 23:59:59’ 而 timestamp 仅支持’1970-01-01 00:00:01’ 到 ‘2038-01-19 03:14:07’ UTC, 存在2038年问题, 不适合长期存…...
【Linux】深入理解Linux文件系统：从C接口到内核设计哲学
文章目录 前言一、C语言中的文件接口1. 文件指针（句柄）FILE*以写方式打开文件，若文件不存在会新建一个文件W写入方式，在打开文件之前都会将文件内容全部清空追加写方式，其用法与写方法一致，不同在于a方法可…...
前端零基础入门到上班：Day7——表单系统实战全解析
🧩前端零基础入门到上班：Day7——表单系统实战全解析 ✅ 目标：不仅掌握 HTML 表单标签，更深入理解其在实战中的作用、验证方式、美化技巧与 JS 联动，为后续接入 Vue、后端接口打下坚实基础。 🌟 一、HTML 表…...
阀门轴承电动车工件一键精修软件
若需定制开发“ComfyUI意见精修软件” 技术栈建议： 前端：React/Vue Figma插件API（直接读取设计稿）。 后端：Node.js/Python NLP库（spaCy/NLTK）。 数据库：MongoDB（存储…...
【疑难杂症】【VS Code】VS Code连接不上远程服务器
【疑难杂症】【VS Code】VS Code连接不上远程服务器 经过多轮资料查询和测试，这种时候有三种可能： 可能原因1：服务器磁盘空间不足，无法创建服务器连接。 解决方案：清理磁盘空间，尤其是/tmp文件所在的磁盘。…...
Word 中“母版页”的等效机制
Word 和 PowerPoint 不太一样——**Word 实际上没有像 PowerPoint 那样的“母版页（Master Page）”**功能。但它有1个和“母版页”功能类似的东西，可能造成你看到的“校徽自动出现在每一页”的现象： ✅ Word 中“母版页”的等效机制…...
大模型时代：AI应用的变革与挑战
最近研学过程中发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击链接跳转到网站人工智能及编程语言学习教程。读者们可以通过里面的文章详细了解一下人工智能及其编程等教程和学习方法。下面开始对正文内容的…...
)
C++ (菱形继承，通用接口 ，多态介绍)
菱形继承 class A{public :int a;};class B:public A{};class C:public A{};class D:public B,public C{public:void function(){a200;} };int main(){D object;// object.a100; 如果如此使用会产生报错 会导致一个成员在类D中出现两次，产生歧义，浪…...
vue3+vite 实现.env全局配置
首先创建.env文件 VUE_APP_BASE_APIhttp://127.0.0.1/dev-api 然后引入依赖： pnpm install dotenv --save-dev 引入完成后，在vite.config.js配置文件内加入以下内容： const env dotenv.config({ path: ./.env }).parsed define: { // 将…...
4.18日学习--引用
引用是变量的别名，它为已存在的变量提供了一个新的名称，对引用的操作实际上就是对其所引用变量的操作。引用在定义时必须初始化，且一旦初始化后就不能再引用其他变量。 #include <iostream> using namespace std;//引用做函数的返回值…...
poj1067 取石子游戏 威佐夫博弈
题目 有两堆石子，数量任意，可以不同。游戏开始由两个人轮流取石子。游戏规定，每次有两种不同的取法， 一是可以在任意的一堆中取走任意多的石子；二是可以在两堆中同时取走相同数量的石子。最后把石子全部取完者为胜者…...
文件二进制读写和文本读写以及编码解码
假如是utf8编码，windows系统 写：往键盘中写的字符会被utf8编码成字节写入文件。假如是文本写，\n会被替换为\r\n写入，结尾会加文件结束符EOF。假如是二进制写，\n就是\n，文件结尾也不会加什么EOF 读ÿ…...
Java学习手册：常见并发问题及解决方案
在Java并发编程中，开发者常常会遇到各种并发问题，这些问题可能导致程序行为不可预测、性能下降甚至程序崩溃。以下是一些常见的并发问题及其解决方案： 1.竞态条件（Race Condition） 竞态条件是指多个线程同时访问共享…...
幽灵依赖与常见依赖管理
文章目录 前言1. 演示：检测和修复幽灵依赖步骤1：安装 depcheck步骤2：在项目根目录运行 depcheck可能的输出步骤3：修复幽灵依赖 2. 依赖管理的好习惯 1. 场景设定现在有如下依赖需求： 2. 依赖冲突的表现3. 解决依赖冲突…...
第T7周:咖啡豆识别
🍨 本文为🔗365天深度学习训练营中的学习记录博客 🍖 原作者：K同学啊 VGG 网络优缺点分析： ● 优点： 结构简洁统一：整张网络结构统一，只使用 33 的小卷积核和 22 的最大池化&…...
【MySQL数据库入门到精通】
文章目录 一、SQL分类二、DDL-数据库操作1.查询2.创建数据库3.删除数据库4.使用数据库 三、DDL-表操作1.查询 一、SQL分类 根据功能主要分为DDL DML DQL DCL DDL:Date Definition Language数据定义语言：定义数据库，表和字段 DML:Date Manipulatin Lan…...
C++智能指针的知识！
个人主页：PingdiGuo_guo 收录专栏：C干货专栏 大家好呀，我是PingdiGuo_guo，今天我们来学习一下智能指针。 文章目录 1.智能指针的概念 2.智能指针的思想 3.智能指针的作用 3.1 自动内存管理 3.2 共享所有权 3.3 避免悬挂指针…...
4.6 实现重定向
本实战通过ServletDemo09类演示了Servlet中的重定向功能。该Servlet通过HttpServletResponse的sendRedirect方法实现页面跳转。在doPost方法中，根据请求参数username和password判断用户身份。若用户名为admin且密码为123456，则调用sendRedirect方法将页面…...
Linux中的管道
管道的概念 管道是一种进程间通信的方式。 管道是一种半双工通信机制，数据只能读或写，如果要读写同时进行就要创建两个管道 管道的类型 1、匿名管道PIPE：通常在亲缘进程中使用（兄弟、父子） 函数参考：匿名管…...
深入简出：KL散度、交叉熵、熵、信息量简介、交叉熵损失
学习这些的最终目的 1、量化两个概率分布的差异 2、推导交叉熵损失 一、KL散度 KL散度就是用来量化两个概论分布的差异，如何量化？ 计算真实概论分布P信息量 和 估计概论分布为Q，但实际概率分布为P时信息量的差值 那么设，概率分…...