当前位置：首页 > news >正文

Transformer知识梳理

news 来源：原创 2025/5/14 14:16:15

Transformer知识梳理

文章目录

Transformer知识梳理
什么是Transformer？
- 语言模型
- 迁移学习
Transformer结构
- 注意力层
- 原始结构
总结

什么是Transformer？

语言模型

Transformer模型本质上都是预训练语言模型，大部分采用自监督学习（Self-supervised Learning）的方式在大量生语料上进行训练，也就是说，训练这些Transformer模型完全不需要人工标注数据。

自监督学习是一种训练目标可以根据模型的输入自动计算的训练方法。

例如下面两个常见的预训练任务：

基于句子的前n个词来预测下一个词，因为输出依赖于过去和当前的输入，因此该任务被称为因果语言建模（causal language modeling）；
基于上下文（周围的词语）来预测句子中被遮盖掉的词语（masked word），因此该任务被称为遮盖语言建模（masked language modeling）。

这些语言模型虽然可以对训练过的语言产生统计意义上的理解，例如可以根据上下文预测被遮盖掉的词语，但是如果直接拿来完成特定任务，效果往往并不好。

因此，我们通常还会采用迁移学习（transfer learning）方法，使用特定任务的标注语料，以有监督学习的方法对预训练模型参数进行微调（fine-tune)，以取得更好的性能。

迁移学习

预训练是一种从头开始训练模型的方式：所有的模型权重都被随机初始化，然后在没有任何先验知识的情况下开始训练：

这个过程不仅需要海量的训练数据，而且时间和经济成本都非常高。

基于此，绝大多数情况下，都不会从头开始训练模型，而是将别人预训练好的模型权重通过迁移学习应用到自己的模型中，即使用自己的任务语料对模型进行“二次训练”，通过微调参数使模型适用于新任务。

这种迁移学习的好处是：

预训练时模型很可能已经见过与我们任务类似的数据集，通过微调可以激发出模型在预训练过程中获得的知识，将基于海量数据获得的统计理解能力应用于特定的任务；
由于模型已经在大量数据上进行过预训练，微调时只需要很少的数据量就可以达到不错的性能；
在特定任务上获得优秀性能所需的时间和计算成本都可以很小。

例如，可以选择一个在大规模英文浴帘上预训练好的模型，使用arXiv语料进行微调，以生成一个面向学术/研究领域的模型。这个微调的过程只需要很少的数据：我们相当于将预训练模型已经获得的知识“迁移“到了新的领域，因此被称为迁移学习。

与头从开始训练相比，微调模型所需的时间、数据、经济和环境成本都要低的多，并且与完整的预训练相比，微调训练的约束更少，因此迭代尝试不同的微调方案也更快、更容易。实践证明，即使是对于自定义任务，除非你有大量的语料，否则相比训练一个专门的模型，基于预训练模型进行微调会是一个更好的选择。

在绝大部分情况下，我们都应该尝试找到一个尽可能接近我们任务的预训练模型，然后微调它，也就是所谓的“站在巨人的肩膀上”。

Transformer结构

标准的Transformer模型主要由两个模块构成：

Encoder（左边）：负责理解输入文本，为每个输入构造对应的语义表示（语义特征）；
Decoder（右边）：负责生成输出，使用Encoder输出的语义表示结合其他输入来生成目标序列。

这两个模块可以根据任务的需要而单独使用：

纯Encoder模型：适用于只需要理解输入语义的任务，例如句子分类，命名实体识别；
纯Decoder模型：适用于生成式任务，例如文本生成；
Encoder-Decoder模型或Seq2Seq模型：适用于需要基于输入的生成式任务，例如翻译、摘要等。

注意力层

Transformer模型的标志就是采用了注意力层（Attention Layers）的结构，提出Transformer结构的论文名字就是《Attention Is All You Need》。顾名思义，注意力层的作用就是让模型在处理文本时，将注意力只放在某些词语上。

例如要将英文“You like this course”翻译为法语，由于法语中“like”的变位方式因主语而异，因此需要同时关注相邻的词语“You”。同样地，在翻译“this”时还需要注意“course”，因为“this”的法语翻译会根据相关名字的极性而变化。对于复杂的句子，要正确翻译某个词语，甚至需要关注离这个词很远的词。

同样的概念也适用于其他NLP任务：虽然词语本身就有语义，但是其深受上下文的影响，同一个词语出现在不同上下文中可能会有完全不同的语义（例如“我买了一个苹果”和“我买了一个苹果手机”中的“苹果）

原始结构

Transformer模型本来是为了翻译任务而设计的。在训练过程中，Encoder接受源语言的句子作为输入，而Decoder则接受目标语言的翻译作为输入。在Encoder中，由于翻译一个词语需要依赖于上下文，因此注意力层可以访问句子中的所有词语；而Decoder是顺序地进行解码，在生成每个词语时，注意力层只能访问前面已经生成的单词。

例如，假设翻译模型当前已经预测了三个词语，模型会把这三个词语作为输入送入Decoder，然后Decoder结合Encoder所有的源语言输入来预测第四个词语。

实际训练中为了加快速度，会将整个目标序列都送入Decoder，然后在注意力层中通过Mask遮盖掉未来的词语来防止信息泄露。例如我们在预测第三个词语时，应该只能访问到已生成的前两个词语，如果Decoder能够访问到序列中的第三个（甚至是后面的）词语，就相当于作弊了。

原始的Transformer模型结构如下图所示，Encoder在左，Decoder在右：

其中，Decoder中的第一个注意力层关注Decoder过去所有的输入，而第二个注意力层则是使用Encoder的输出，因此Decoder可以基于整个输入句子来预测当前词语。这对于翻译任务非常有用，因为同一句话在不同语言下的词语顺序可能并不一致（不能逐词翻译），所以出现在源语言句子后部的词语反而可能对目标语言句子前部词语的预测非常重要。

在Encoder/Decoder的注意力层中，还会使用Attention Mask遮盖掉某些词语来防止模型关注它们，例如为了将数据处理为相同长度而向序列中添加的填充（padding）字符。

总结

以上就是关于Transformer的基本知识以及Transformer模型结构的介绍，后续我们将继续带来Transformer的深入探索。

Transformer知识梳理

Transformer知识梳理文章目录 Transformer知识梳理什么是Transformer？语言模型迁移学习 Transformer结构注意力层原始结构总结什么是Transformer？ 语言模型 Transformer模型本质上都是预训练语言模型，大部分采用自监督学习（S…...

编程日记 2025/5/14 14:16:15

Nexus Message Transaction Services（MTS）

Nexus 系列交换机遇到以下情形时，可以尝试查看是否是 MTS 消息卡在缓冲区过多，因为 MTS 负责处理模块内以及跨模块（包括跨管理引擎）的各服务之间的消息路由和排队。 • CPU 高 • 命令行无响应、响应慢 • 控制平面中断 • 流量问…...

编程日记 2025/5/3 17:09:39

网络编程基础：连接Java的秘密网络

1 网络编程的重要性网络编程允许Java应用程序与其他计算机或设备进行通信。这包括从简单的数据传输到复杂的分布式系统和Web服务。 2 Java网络编程的核心类 Java提供了多个类来支持网络编程： InetAddress：表示网络上的IP地址。 URL：表示统…...

编程日记 2025/5/14 6:38:01

uniapp中判断设备类型

全局变量： 在 UniApp 中，你可以通过 uni.getDeviceInfo 获取设备信息，并将设备类型全局存放。通常，这些信息可以存放在 app.vue 的全局变量中，以便在整个应用中访问。以下是如何在 app.vue 中实现这一功能的完整代码…...

编程日记 2025/5/13 17:36:43

数据可视化分析详解

数据可视化分析是一种通过图形、表格、图标和其他视觉元素来呈现数据的方式，使得数据更易于理解和分析。以下是关于数据可视化分析的一些关键点： 一、定义与目的数据可视化分析是指利用图形化手段，清晰地有效地传达与沟通信息。它将数据以…...

编程日记 2025/5/5 13:29:03

_使用CLion的Vcpkg安装SDL2，添加至CMakelists时报错，编译报错

语言：C20 编译器：gcc 14.2 摘要：初次使用Vcpkg添加SDL2，出现CMakelists找不到错误、编译缺失main错误、运行失败错误。 CMakelists缺失错误： 使用CLion的Vcpkg安装SDL2时，按照指示把对应代码添加至CMakel…...

编程日记 2025/5/14 12:29:04

QT中Qstring和QByteArray有什么区别？

数据存储内容方面 QString： 主要用于存储和处理Unicode编码的文本字符串。它能够很好地处理包含各种语言字符的文本信息，如中文、日文、韩文等多种语言文字。例如，QString str "你好，世界！";可以方便地存储…...

编程日记 2025/5/6 7:13:08

Viggle AI：支持小孩或者卡通人物吗？ [Viggle AI实战教程] – 第2篇

历史文章 Suno AI API接入 - 将AI音乐接入到自己的产品中，支持120并发任务万物皆能舞，AI让你秒变“舞”林高手 – Viggle AI“舞”所不能 Viggle AI：打造爆款 AI 视频，让照片 “踢” 起足球 Viggle AI：开启3D动画…...

编程日记 2025/5/14 10:09:26

庐山派K230学习日记4 PWM控制

1 本节介绍 📝本节您将学习如何通过将K230开发板的GPIO引脚复用为PWM功能并输出PWM信号；实现输出PWM信号及控制板载无源蜂鸣器发出声音。 🏆学习目标 1️⃣如何将GPIO引脚配置为PWM模式，通过40Pin排针中的部分引脚来输出PWM信号…...

编程日记 2025/5/14 11:42:03

Android配件应用默认启动与USB权限申请区别

使用效果： USB配件授权演示选择USB配件默认打开应用申请USB配件使用权限...

编程日记 2025/4/29 1:25:56

【车载开发系列】GPIO模式分类

【车载开发系列】GPIO模式分类这里写目录标题【车载开发系列】GPIO模式分类一. GPIO概念二. GPIO的模式区分三. GPIO的八大模式1）推挽输出（Output push-pull）2）开漏输出（Output open-drain）3）…...

编程日记 2025/5/2 3:49:20

uniapp--HBuilder开发

提示：本文为学习内容，若有错误，请联系作者，谦虚受教。文章目录前言一、下载HBuilder二、添加modbus相关库1.下载nodejs2.下载modbus库3.项目添加modbus库三、HBuilder相关功能语句1.文件夹说明2.消息信息框3.开关按钮4.选中按钮…...

编程日记 2025/5/13 5:41:38

学习笔记|arduino uno r3|点亮|hello world|Atmega328P|开发板学习：概述

目录 arduino uno r3开发板学习开发板概述重要引脚介绍配置开发环境安装 Arduino IDE 编程环境介绍Arduino 介绍实操连接选择程序程序代码编译和执行总结课后练习 arduino uno r3开发板学习开发板概述 Arduino UNO 是一款基于Atmega328P 的微控制器开发板。它有 14 个数字…...

编程日记 2025/5/14 11:59:17

Go语言的的注解（Annotations）核心知识

Go语言的注解（Annotations）核心知识 Go语言是一种简洁且高效的编程语言，广泛应用于后端开发、云计算和微服务架构。在探索Go语言的特性时，我们不可忽视一个重要的概念：注解（Annotations）。虽然…...

编程日记 2025/5/14 11:50:17

WinRAR中“自动加密”如何使用？

WinRAR加密大家都不陌生，那么自动加密功能大家熟悉嘛？如何使用自动加密功能？今天介绍详细教程给大家。打开WinRAR软件之后选择工具栏中的【选项】，点击设置然后切换到【压缩】选项卡，点击【创建默认配置】&#xff…...

编程日记 2025/5/9 2:20:26

`http_port_t

http_port_t 是 SELinux（Security-Enhanced Linux）中的一种端口类型标签，用于标识哪些端口可以被 HTTP 和 HTTPS 服务使用。SELinux 是一种强制访问控制（MAC）安全模块，它通过定义安全策略来限制进程对系统资…...

编程日记 2025/5/14 11:54:38

C++编程等级认证学习计划

C编程等级认证学习计划计划目标在30天内系统学习并掌握C编程等级认证（一至八级）的知识点，为参加认证考试做好充分准备。前期准备学习资料收集准备涵盖C编程一至八级知识点的专业教材，如《C Primer》等。收集相关的在线教…...

编程日记 2025/5/14 14:11:59

c和c++中为什么要防止头文件被重复包含!

在编程中，头文件就像一本工具书，它包含了函数、类、宏、全局变量等的定义和声明，供其他代码文件引用。想象一下，如果你在写一篇文章时，反复引用同一本工具书的内容，会发生什么情况呢？ 1. 避免重…...

编程日记 2025/5/14 8:36:45

安的厦小程序开发日志

目录背景名字由来架构文件目录app.jsonapp.wxsspackage.jsonproject.config.jsindex.wxmlindex.wxssindex.jsindex.jsondetail.wxmldetail.wxssdetail.jsdetail.json参考资料背景我们正在经历一场价值观的变迁，过去的丈母娘和女朋友总是要求男方要买房，那是因为房子是当下…...

编程日记 2025/5/14 14:02:51

深度评测uni-app x：开启跨平台开发新篇章

文章目录一、引言1.1 跨平台开发的崛起1.2 uni-app x 初印象二、uni-app x 核心特性评测2.1 uts 语言：跨平台编程新利器2.2 uvue 渲染引擎：原生渲染新体验2.3 强大的组件和 API 支持2.4 插件生态：拓展无限可能三、与 uni-app 对比&#xf…...

编程日记 2025/5/12 8:50:30

第06章重定向与管道

一、概述在企业生产环境中，如何记录一个程序运行的过程记录或者定时任务执行的结果呢？假设定时任务凌晨执行，我们在白天上班时需要查看执行是否成功要怎么办？就可以使用本章介绍的重定向和管道符号。二、重定向 2.1 文件描述…...

编程日记 2025/5/14 13:44:38

python中的字典类型数据及其操作

1、字典的定义映射是一种键（索引）和值（数据）的对应键值对：键是数据索引的扩展字典是键值对的集合，键值对之间无序字典采用大括号{}和dict()创建，键值对用冒号：表示，key…...

编程日记 2025/4/29 1:43:28

『SQLite』表达式操作

摘要：表达式是一个或多个值、运算符和计算值的 SQL 函数的组合。SQL 表达式与公式类似，都写在查询语言中。基本语法 SELECT column1, column2, columnN FROM table_name WHERE [CONTION | EXPRESSION];布尔表达式 SQLite 的布尔表达式在匹配单个值的…...

编程日记 2025/5/14 13:17:55

PHP7和PHP8的最佳实践

php 7 和 php 8 的最佳实践包括：使用类型提示以避免运行时错误；利用命名空间组织代码并避免命名冲突；采用命名参数、联合类型等新特性增强可读性；用错误处理优雅地处理异常；关注性能优化，如避免全局变量和选…...

编程日记 2025/4/29 5:24:32

一个用来做测试的简单的 HTTP echo 服务器。 from http.server import HTTPServer, BaseHTTPRequestHandler import jsonclass EchoHandler(BaseHTTPRequestHandler):def do_GET(self):# 构造响应数据response_data {path: self.path,method: GET,headers: dict(self.headers…...

编程日记 2025/5/14 13:58:02

字玩FontPlayer开发笔记4 性能优化首屏加载时间优化

字玩FontPlayer开发笔记4 性能优化首屏加载时间优化字玩FontPlayer是笔者开源的一款字体设计工具，使用Vue3 ElementUI开发，源代码： github: https://github.com/HiToysMaker/fontplayer gitee: https://gitee.com/toysmaker/fontplayer …...

编程日记 2025/5/14 13:49:09

NeurIPS 2024 | SHMT：通过潜在扩散模型进行自监督分层化妆转移（阿里，武汉理工）

当前的妆容转移技术面临两个主要挑战： 缺乏成对数据，导致模型训练依赖于低质量的伪配对数据，从而影响妆容的真实感； 不同妆容风格对面部的影响各异，现有方法难以有效处理这种多样性。今天给大家介绍的方法是由阿里联…...

编程日记 2025/4/25 21:12:38

“知识图谱AI教学辅助系统：点亮智慧学习的新灯塔

嘿，各位教育界的小伙伴们！今天咱们来聊聊一个超级有料的话题——知识图谱AI教学辅助系统。想象一下，如果有一个智能导师能根据你的需求定制专属的学习路径，还能像百科全书一样随时解答疑问，是不是感觉学习变得更高效、…...

编程日记 2025/4/29 5:57:11

STM32-ADC模数转换

定义： ADC（Analog-Digital Converter）模拟-数字转换器 ADC可以将引脚上连续变化的模拟电压转换为内存中存储的数字变量，建立模拟电路到数字电路的桥梁 12位逐次逼近型ADC【表示转化的范围是0-2^12 - 1】，1us转换时间输…...

编程日记 2025/5/12 13:29:41

Springboot整合MyBatis-Plus

1、整合MyBatis-Plus 1、导入依赖 <dependency><groupId>com.baomidou</groupId><artifactId>mybatis-plus-boot-starter</artifactId><version>3.2.0</version></dependency>2、配置 1）配置数据源，导…...

编程日记 2025/5/7 4:32:58

分类、聚类与回归的评价指标

在cross_validate或cross_val_score中，参数scoring，与分类、聚类和回归算法的评价指标有关。 3.4.3. The scoring parameter: defining model evaluation rules For the most common use cases, you can designate a scorer object with the scoring pa…...

编程日记 2025/4/29 5:51:17

Day28下 - 大模型微调：酒店评论情感分析

一、前置准备 1. 下载 LLaMA Factory https://github.com/hiyouga/LLaMA-Factory.git 搭建过程详见：https://blog.csdn.net/CSBLOG/article/details/144584581 2. 选择预训练模型和 prompt指令模型预训练阶段在实际工作中，一般是用不上的&#xff…...

编程日记 2025/5/14 11:51:23

企业级Nosql数据库和Redis集群

一、关系数据库和Nosql数据库关系数据库定义：关系数据库是建立在关系模型基础上的数据库。它使用表格（关系）来存储数据，通过行和列的形式组织信息。例如，一个简单的学生信息表可能有 “学号”“姓名”“年龄”“班级…...

编程日记 2025/4/22 7:45:48

代码优化方案

① 引入清晰的中间变量即如果判断条件很复杂的情况下，最好的方式是引入清晰的中间变量。 isValid val > someConstant; isAllowed condition2 || condition3; isSecure condition4 && !condition5;// 有了描述性变量，我们就不需要再记住…...

编程日记 2025/4/13 11:57:20

C++直接内存管理new和delete

0、前言 C语言定义了两个运算符来分配和释放动态内存。运算符new分配内存，delete释放new分配的内存。 1、new动态内存的分配 1.1、new动态分配和初始化对象 1）、new内存分配在自由的空间分配的内存是无名的，new无法为其分配的对象…...

编程日记 2025/5/14 13:54:28

CPU过剩是什么意思？有什么对电脑的影响吗?如何确认CPU有没有过剩

CPU 过剩通常是指计算机系统中 CPU 的性能远远超出了当前运行任务的需求。以下从产生原因和对电脑的影响为你详细介绍： 产生原因硬件升级与软件发展不同步：用户为追求高性能提前升级了 CPU，而当前的软件应用程序在算法和功能上没有太大突破&…...

编程日记 2025/5/14 13:51:18

Git的简单介绍与如何安装Git

文章目录前言一、初始git1.git是什么2.为什么要使用git(出现的问题)3.git是如何解决问题的二、git的安装与卸载1.centos系统2.ubuntu系统3.windows 三、搭建git本地环境1.创建git本地仓库2.配置用户信息总结前言本文简单引入git的相关内容。一、初始git 1.git是什么 g…...

编程日记 2025/5/14 13:27:14

Linux vi/vim 编辑器：功能强大的文本处理工具

Linux vi/vim 编辑器：功能强大的文本处理工具引言 Linux 系统中的 vi/vim 是一种功能强大的文本编辑器，它广泛应用于程序员、系统管理员和其他需要处理文本文件的用户群体中。vi 是 visual interface 的缩写，而 vim 则是 vi improved 的缩…...

编程日记 2025/5/14 14:11:59

计算机毕业设计Python电商品推荐系统商品比价系统电商比价系统商品可视化商品爬虫机器学习深度学习京东爬虫国美爬虫淘宝爬虫大数据

温馨提示：文末有 CSDN 平台官方提供的学长联系方式的名片！ 温馨提示：文末有 CSDN 平台官方提供的学长联系方式的名片！ 温馨提示：文末有 CSDN 平台官方提供的学长联系方式的名片！ 作者简介：Java领…...

编程日记 2025/4/23 0:48:20

正则表达式 - 使用总结

正则表达式 - 使用总结正则表达式（Regular Expression，简称Regex）是一种强大的文本处理工具，它允许我们通过特定的模式（pattern）来搜索、匹配和操作字符串。在编程、数据分析和文本处理等领域，正则表达式发挥着非常重要的作用。本文将总结正则表达式的基本概念、使用方…...

编程日记 2025/5/14 13:45:44

性能测试04|JMeter:连接数据库、逻辑控制器、定时器

目录一、连接数据库 1、使用场景 2、直连数据库的关键配置 3、案例编辑二、逻辑控制器 1、if控制器 2、循环控制器 3、ForEach控制器三、定时器 1、同步定时器 2、常数吞吐量定时器（用的少，了解即可） 3、固定定时器一、连…...

编程日记 2025/5/12 8:04:07

力扣刷题：二叉树OJ篇（上）

大家好，这里是小编的博客频道小编的博客：就爱学编程很高兴在CSDN这个大家庭与大家相识，希望能在这里与大家共同进步，共同收获更好的自己！！！ 目录 1.单值二叉树（1）题目描…...

编程日记 2025/4/6 15:22:10

【跨域】解决SpringBoot和openresty跨域问题

平时后端只需要写一个配置类就可以解决跨域但是最近的新项目死活不行先说结论项目中的权限校验(也可以是其他的)拦截器优先级高于跨域拦截器导致跨域处理失效解决办法 1.在addCorsMappings上增加 Order(value -100)// 跨域优先级最高 2.nginx放行OPTIONS请求 SpringBo…...

编程日记 2025/4/29 5:59:49

下载ffmpeg执行文件

打开网址：Download FFmpeg 按下面步骤操作解压文件就可以看到ffmpeg的执行文件了，需要通过命令行进行使用： ffmpeg命令行使用参考： ffmpeg 常用命令-CSDN博客...

编程日记 2025/4/12 16:49:18

SQLite 实际案例研究与创新应用

SQLite 作为一种强大而简单的数据库实现，应用于各类场景，从移动应用到物联网设备，再到边缘计算。在本章中，我们将通过几个典型案例，探讨 SQLite 如何在实际中解决复杂问题，并研究其创新应用的可能性。案例…...

编程日记 2025/5/11 8:33:17

C语言递归编程练习

1.将参数字符串中的字符反向排列，不是逆序打印。要求：不能使用C函数库中的字符串操作函数。比如： char arr[] "abcdef"; 逆序之后数组的内容变成：fedcba 1.非函数实现（循环） 2.用递归方法…...

编程日记 2025/4/30 17:50:24

【HDU】1089 A+B for Input-Output Practice (I)

1089 AB for Input-Output Practice (I):以EOF结尾的输入 Problem Description Your task is to Calculate a b. Too easy?! Of course! I specially designed the problem for acm beginners. You must have found that some problems have the same titles with this one,…...

编程日记 2025/4/29 9:29:27

Transformer知识梳理

文章目录

什么是Transformer？

语言模型

迁移学习

Transformer结构

注意力层

原始结构

总结

相关文章：