当前位置：首页 > news >正文

GPT（Generative Pre-trained Transformer）和 Transformer的比较

news 来源：原创 2025/5/13 22:41:36

GPT（Generative Pre-trained Transformer）和 Transformer 的比较

flyfish

1. Transformer 是一种模型架构

Transformer 是一种通用的神经网络架构，由 Vaswani 等人在论文 “Attention Is All You Need”（2017）中提出。其核心特点是完全基于注意力机制（Self-Attention）进行信息建模，去除了传统的 RNN/CNN 结构。

Transformer 的关键特点

结构分为两部分：
1. 编码器（Encoder）：将输入序列映射为上下文相关的隐藏表示。
2. 解码器（Decoder）：根据编码器输出和先前的目标序列生成新的序列（如翻译、文本生成）。
核心模块：
- 多头自注意力机制（Multi-Head Self-Attention）：捕捉输入序列中不同部分的关系。
- 位置编码（Positional Encoding）：补偿 Transformer 缺乏序列信息的短板。
- 前馈神经网络（Feed-Forward Networks, FFN）：对注意力输出进一步处理。
- 层归一化和残差连接（Layer Normalization & Residual Connections）：缓解深层网络训练难题。

Transformer 的用途

通用框架：Transformer 可以用于任意需要序列到序列建模的任务，比如机器翻译、文本分类、问答系统等。

2. GPT 是一种基于 Transformer 的特化模型

GPT 是 OpenAI 在 Transformer 架构基础上进行设计和优化的一种特化模型，用于生成任务（如语言建模和文本生成）。

GPT 的特点

仅使用 Transformer 的解码器部分
- GPT 舍弃了完整 Transformer 的编码器-解码器结构，仅保留了解码器。
- 解码器适用于自回归任务（Autoregressive Tasks），即依赖之前的上下文生成下一步输出。
自回归生成方式
- GPT 是通过自回归语言建模（Autoregressive Language Modeling）训练的，预测下一个单词的概率：
  $P(x_1, x_2, \dots, x_T) = \prod_{t=1}^{T} P(x_t | x_1, x_2, \dots, x_{t-1})$
预训练和微调
- 预训练（Pretraining）：在大规模无监督文本语料上进行语言建模训练，捕捉通用语言知识。
- 微调（Fine-tuning）：在具体任务上使用监督数据进行调整，使模型适应特定任务。
改进的训练技巧
- GPT 引入了一些针对解码器的优化，比如改进的初始化、梯度截断、动态批量大小调整等。

3. 核心区别

方面	Transformer	GPT
结构	编码器 + 解码器	仅使用解码器
训练目标	通用，适配不同任务	自回归语言建模（预测下一个词）
适用任务	序列到序列任务（翻译、分类、问答等）	文本生成、对话、补全
输入依赖	输入序列可以双向（编码器）或单向（解码器）	输入序列只能是单向（自回归）
位置编码方式	标准位置编码	类似，但可以调整为适配任务的变体
应用扩展	通用框架，用于 NLP、CV 等领域	专注于语言生成，适配特定的下游任务

4. GPT 和 Transformer 的关系

GPT 是 Transformer 的子集：GPT 基于 Transformer 的解码器部分设计，是一种专注于生成任务的特化模型。
架构优化：虽然 GPT 继承了 Transformer 的基本架构，但针对生成任务和大规模预训练场景进行了优化。
功能聚焦：Transformer 是通用的序列建模工具，而 GPT 是针对语言生成任务的具体实现。

解释GPT 只有解码器的原因

1. Transformer 的全貌：编码器和解码器

Transformer 是一种深度学习架构，由 编码器（Encoder） 和 解码器（Decoder） 组成。这种架构最初由 Vaswani 等人在 2017 年提出，专门为序列到序列（Seq2Seq）任务设计，如机器翻译。我们先来看这两个部分的功能：

1.1 编码器（Encoder）

编码器的任务是将输入序列（如原文句子）转换为一组上下文相关的表示（高维向量），捕捉输入序列的语义。

输入：输入序列 ( X = (x_1, x_2, …, x_n) )。
处理：
- 利用注意力机制（Self-Attention）计算输入序列中不同位置的关联关系。
- 输出一组高维向量，代表输入序列的上下文语义。
输出：编码后的表示（Contextual Representation）。

1.2 解码器（Decoder）

解码器的任务是根据编码器的输出和已生成的部分序列，逐步生成目标序列。

输入：
1. 编码器的输出（从输入序列提取的语义）。
2. 当前已生成的目标序列（作为解码器的上下文）。
处理：
- 结合编码器输出和解码器内部的自注意力（Self-Attention），捕捉上下文关系。
- Masking 机制确保生成是因果性的：当前生成位置不能访问未来位置。
输出：目标序列（如翻译后的句子）。

2. Transformer 的典型任务：机器翻译

Transformer 最初设计是为了解决机器翻译问题，比如将一个法语句子翻译成英语。这需要两个关键步骤：

编码器提取原句的语义表示。
解码器利用这些语义信息，生成目标语言的句子。

举例：

输入（法语）：Je mange une pomme.
编码器输出：句子的语义表示（向量）。
解码器生成（英语）：I am eating an apple.

因此，编码器负责理解，解码器负责生成。

3. GPT 的目标任务：语言生成

GPT 的目标并不是像机器翻译那样，需要对输入语句进行“理解”后生成目标语句。GPT 是一个语言生成模型，其任务是根据已给定的上下文生成下一步的输出。

3.1 任务特点

GPT 只需要一个输入序列（上下文），然后从头到尾生成输出序列。
生成是逐步进行的，比如：
- 输入：Once upon a time, there was a king who
- 输出：Once upon a time, there was a king who ruled a prosperous kingdom.

3.2 自回归建模

GPT 使用自回归语言建模（Autoregressive Language Modeling），它的核心是逐步预测下一个单词 (x_t)，只依赖前面的单词：
$P(x_1, x_2, \dots, x_T) = \prod_{t=1}^T P(x_t | x_1, x_2, \dots, x_{t-1})$
这种逐步预测的方法是一个典型的生成过程。

4. 为什么只保留解码器？

GPT 将 Transformer 的架构调整为仅保留了解码器，这是因为它的任务特点决定了编码器是冗余的，解码器已经完全能满足需求。以下分几个方面详细展开：

4.1 编码器的角色对 GPT 的任务无用

编码器的主要作用是压缩输入序列，提取全局语义信息。这对于翻译、文本分类等任务至关重要，但对于语言生成来说：

输入序列就是生成序列的上下文，它直接参与生成过程。
GPT 不需要“理解”或“压缩”输入，只需在每一步基于已有上下文生成下一个单词。
解码器通过自注意力机制（Self-Attention）已经能够捕捉输入的上下文信息，无需编码器额外的处理。

4.2 解码器的 Masked Attention

解码器内置的 Masked Attention 机制确保生成过程是因果一致的，即预测当前单词时只依赖于之前的单词。这种设计让解码器能够单独完成生成任务，而不需要编码器的辅助。

4.3 简化架构，提高效率

如果保留编码器，模型需要处理输入的编码以及解码器与编码器的交互，增加计算复杂度。
去掉编码器后，模型的参数更少，训练和推理更高效。

4.4 专注生成任务

GPT 的设计目标是生成自然语言，而不是在输入和输出之间建立映射（如翻译任务）。解码器专注于生成，符合语言建模任务的特点。

5. 解码器如何完成任务？

只保留解码器的 GPT 通过以下机制完成语言生成：

5.1 自注意力（Self-Attention）

让解码器能够动态捕捉输入序列中各单词之间的关联关系。
对于生成任务，自注意力允许模型根据上下文生成连贯的文本。

5.2 Masked Self-Attention

屏蔽掉当前位置之后的单词，确保生成符合因果性。
每一步生成只依赖于之前生成的部分。

5.3 多层解码器堆叠

解码器的多层结构让模型能够捕捉更深层次的语言模式，如句法结构、语义关联等。

5.4 Softmax 输出与下一个单词的采样

解码器最后通过 Softmax 生成下一个单词的概率分布。
根据概率采样（或选择最大概率）生成最终的输出。

GPT（Generative Pre-trained Transformer）和 Transformer的比较

GPT（Generative Pre-trained Transformer） 和 Transformer 的比较 flyfish 1. Transformer 是一种模型架构 Transformer 是一种通用的神经网络架构，由 Vaswani 等人在论文 “Attention Is All You Need”（2017）中提…...

编程日记 2025/5/13 22:41:36

大数据营销

大数据营销是一个热门的大数据应用。对于多数企业而言，大数据营销的主要价值源于以下几个方面。市场预测与决策分析支持数据对市场预测及决策分析的支持，早就在数据分析与数据挖掘盛行的年代被提出过。沃尔玛著名的“啤酒与尿布”案例就是那个时候的杰…...

编程日记 2025/5/13 21:43:28

数据字典的实现与应用 —— 提高系统灵活性与维护效率的关键

目录前言1. 数据字典的基本概念1.1 什么是数据字典1.2 数据字典的主要特点 2. 数据字典的优势2.1 提高代码复用性2.2 提升系统的灵活性2.3 方便非技术人员管理2.4 减少错误概率 3. 数据字典在若依中的实现3.1 若依框架简介3.2 数据字典的结构设计 4. 若依框架中数据字典的配置…...

编程日记 2025/5/13 15:19:17

Scrapy管道设置和数据保存

1.1 介绍部分： 文字提到常用的Web框架有Django和Flask，接下来将学习一个全球范围内流行的爬虫框架Scrapy。 1.2 内容部分： Scrapy的概念、作用和工作流程 Scrapy的入门使用 Scrapy构造并发送请求 Scrapy模拟登陆 Scrapy管道的使用 Scrapy中…...

编程日记 2025/5/10 14:16:13

Jenkins的使用

文章目录一、Jenkins是什么\有什么用\与GitLab的对比二、Jenkins的安装与配置Jenkins的安装方式在Linux上安装Jenkins：在Windows上安装Jenkins：配置Jenkins： （可选）配置启动用户为root（一定要是root吗??…...

编程日记 2025/5/10 8:01:22

计算机基础原码反码补码问题

整数的二进制的表示形式：其实有三种原码：直接根据数值写出的二进制序列就是原码反码：原码的符号位不变，其他位按位取反就是反码补码：反码1，就是补码负数：-1 以补码形式存放在内存写出 -1…...

编程日记 2025/5/5 23:22:46

ORB-SLAM2 ----- LocalMapping::SearchInNeighbors()

文章目录一、函数意义二、函数讲解三、函数代码四、本函数使用的匹配方法ORBmatcher::Fuse()1. 函数讲解2. 函数代码四、总结一、函数意义本函数是用于地图点融合的函数，前面的函数生成了新的地图点，但这些地图点可能在前面的关键帧中已经生成过了&a…...

编程日记 2025/5/12 17:51:55

游戏引擎学习第27天

仓库:https://gitee.com/mrxiao_com/2d_game 欢迎项目的开始是从零开始构建一款完整的游戏，完全不依赖任何库或引擎。这样做有两个主要原因：首先，因为这非常有趣；其次，因为它非常具有教育意义。了解游戏开发的低层次…...

编程日记 2025/5/12 15:41:48

【超全总结】深度学习分割模型的损失函数类别及应用场景

《------往期经典推荐------》一、AI应用软件开发实战专栏【链接】项目名称项目名称1.【人脸识别与管理系统开发】2.【车牌识别与自动收费管理系统开发】3.【手势识别系统开发】4.【人脸面部活体检测系统开发】5.【图片风格快速迁移软件开发】6.【人脸表表情识别系统】7.【…...

编程日记 2025/5/13 8:59:16

基于HTML和CSS的校园网页设计与实现

摘要随着计算机、互联网与通信技术的进步，Internet在人们的学习、工作和生活中的地位也变得越来越高，校园网站已经成为学校与学生，学生与学生之间交流沟通的重要平台，对同学了解学校内发生的各种事情起到了重要的作用。学校网站…...

编程日记 2025/5/13 21:44:58

深度学习基础02_损失函数BP算法(上)

目录一、损失函数 1、线性回归损失函数 1.MAE损失 2.MSE损失 3.SmoothL1Loss 2、多分类损失函数--CrossEntropyLoss 3、二分类损失函数--BCELoss 4、总结二、BP算法 1、前向传播 1.输入层(Input Layer)到隐藏层(Hidden Layer) 2.隐藏层(Hidden Layer)到输出层(Ou…...

编程日记 2025/5/6 8:54:36

Flutter：列表分页，上拉加载下拉刷新，在GetBuilder模板使用方式

GetBuilder模板使用方式参考上一节本篇主要代码记录如何使用上拉加载下拉刷新， 接口请求和商品组件的代码不包括在内 pubspec.yaml装包 cupertino_icons: ^1.0.8# 分页上拉加载，下拉刷新pull_to_refresh_flutter3: 2.0.2商品列表：controlle…...

编程日记 2025/5/12 18:15:51

使用eclipse构建SpringBoot项目

我这里用eclipse2018版本做演示，大家有需要的可以下载Eclipse Downloads | The Eclipse Foundation 1.打开eclipse，选择存放代码的位置 2.选择 file >> new >> project >> 选择springboot文件下的 spring starter project 2.这里选择N…...

编程日记 2025/5/10 18:54:46

Linux系统存储挂载与管理：从基础到高级

标题：Linux系统存储挂载与管理：从基础到高级摘要在Linux系统中，合理的存储管理和分配对于系统的性能、稳定性和资源利用至关重要。本文将详细介绍存储挂载的基本概念、如何进行存储分配和管理，并解释系统盘的作用。通过这些内…...

编程日记 2025/5/10 2:37:58

Flutter 权限申请

这篇文章是基于permission_handler 10.2.0版本写的前言在App开发过程中我们经常要用到各种权限，我是用的是permission_handler包来实现权限控制的。 pub地址：https://pub.dev/packages/permission_handler permission_handler 权限列表变量 Androi…...

编程日记 2025/5/13 4:53:23

Linux之信号的产生，保存，捕捉

Linux之信号的产生，保存，捕捉处理一.信号的概念1.1概念1.2分类二.信号的产生2.1通过键盘产生的信号2.2系统调用接口产生的信号2.3硬件异常产生的信号2.4软件条件产生的信号三.信号的保存四.信号的捕捉五.信号的其他杂碎知识5.1可重入函数5.2volatile关…...

编程日记 2025/5/13 3:03:05

基于AutoEncode自编码器的端到端无线通信系统matlab误码率仿真

目录 1.算法仿真效果 2.算法涉及理论知识概要 3.MATLAB核心程序 4.完整算法代码文件获得 1.算法仿真效果 matlab2022a仿真结果如下（完整代码运行后无水印）： 仿真操作步骤可参考程序配套的操作视频。 2.算法涉及理论知识概要自编码器是…...

编程日记 2025/5/11 17:38:45

泛化调用：在没有接口的情况下进行RPC调用

什么是泛化调用？ 在RPC调用的过程中，调用端向服务端发起请求，首先要通过动态代理，动态代理可以屏蔽RPC处理流程，使得发起远程调用就像调用本地一样。 RPC调用本质：调用端向服务端发送一条请求消息&#x…...

编程日记 2025/5/9 6:44:39

2025年人工智能，自动化与机械工程国际学术会议（AIAME2025）

早鸟通道开启： 2025年人工智能，自动化与机械工程国际学术会议（AIAME2025） 2025 International Conference on Artificial Intelligence, Automation, and Mechanical Engineering 【重要日期】早鸟征稿截止日期：…...

编程日记 2025/5/9 19:49:52

docker compose 快速搭建Nacos单节点测试环境(mysql 版)

〓参考： https://nacos.io/docs/latest/quickstart/quick-start-docker/?sourcewuyi https://github.com/nacos-group/nacos-docker https://nacos.io/docs/latest/manual/admin/deployment/deployment-standalone/?sourcewuyi https://nacos.io/docs/latest/man…...

编程日记 2025/5/10 20:43:52

数字3D虚拟展厅成熟运用于旅游业

在数字空间展览会与VR3D虚拟企业展厅设计的兴起中，我们迎来了互联网、物联网与3D技术融合的大时代。这些企业虚拟展厅主要依托互联网作为传播媒介，利用图片、文字和Flash动画等形式，生动展现企业的核心产品。作为一种新型的网络信息技术展厅&…...

编程日记 2025/5/10 10:24:26

模数转换芯片AD9215

AD9215 是 Analog Devices 公司推出的一款高性能、低功耗、单通道 10 位模数转换器（ADC）。它具有采样速率高达 65 MSPS 或 105 MSPS（不同型号），并广泛应用于通信、成像和仪器仪表等领域。 AD9215 的关键特性分辨率： 10 位，适合高精度应用。采样速率：两种型号： AD921…...

编程日记 2025/5/11 18:37:59

MongoDB注入攻击测试与防御技术深度解析

MongoDB注入攻击测试与防御技术深度解析随着NoSQL数据库的兴起，MongoDB作为其中的佼佼者，因其灵活的数据模型和强大的查询能力，受到了众多开发者的青睐。然而，与任何技术一样，MongoDB也面临着安全威胁，其…...

编程日记 2025/5/7 6:32:48

总结贴:Servlet过滤器、MVC拦截器

一:Servlet过滤器 1.1解析 Filter 即为过滤，用于请求到达Servlet之前(Request),以及再Servlet方法执行完之后返回客户端进行后处理(HttpServletResponse)。简单说就是对请求进行预处理，对响应进行后处理在请求到达Servlet之前,可以经过多个Filt…...

编程日记 2025/5/13 5:23:30

鸿蒙开发-在ArkTS中制作音乐播放器

音频播放功能实现导入音频播放相关模块首先需要从ohos.multimedia.audio模块中导入必要的类和接口用于音频播放。例如： import audio from ohos.multimedia.audio;创建音频播放器实例并设置播放源可以通过audio.createAudioPlayer()方法创建一个音频播放器实…...

编程日记 2025/5/11 5:24:12

mapstruct DTO转换使用

定义一个基础接口 package com.example.mapstruct;import org.mapstruct.Named;import java.time.LocalDate; import java.time.LocalDateTime; import java.time.ZoneId; import java.time.ZonedDateTime; import java.util.Date; import java.util.List;/*** Author zmn Dat…...

编程日记 2025/5/12 23:39:48

GPT（Generative Pre-trained Transformer） 和 Transformer 的比较