当前位置：首页 > news >正文

Seq2Seq - 编码器（Encoder）和解码器（Decoder）

news 来源：原创 2025/9/19 12:30:50

本节实现一个简单的 Seq2Seq（Sequence to Sequence）模型 的编码器（Encoder）和解码器（Decoder）部分。

重点把握Seq2Seq 模型的整体工作流程

理解编码器（Encoder）和解码器（Decoder）代码

本小节引入了nn.GRU API的调用，nn.GRU具体参数将在下一小节进行补充讲解

1. 编码器（Encoder

类定义

class Encoder(nn.Module):def __init__(self, vocab_size, embedding_dim, hidden_size):super().__init__()self.emb = nn.Embedding(vocab_size, embedding_dim)self.rnn = nn.GRU(embedding_dim, hidden_size, batch_first=True)

vocab_size：输入词汇表的大小，即输入序列中可能出现的不同单词或标记的数量。
embedding_dim：嵌入层的维度，即每个单词或标记被映射到的向量空间的维度。
hidden_size：GRU（门控循环单元）的隐藏状态维度，决定了模型的内部状态大小。

主要组件

嵌入层（nn.Embedding）
- 嵌入层会将输入序列形状转换为 [batch_size, seq_len, embedding_dim] 的张量。
- 这种映射是通过学习嵌入矩阵实现的，每个单词索引对应嵌入矩阵中的一行。
GRU（nn.GRU）
- embedding_dim 是 GRU 的输入维度，hidden_size 是隐藏状态的维度。
- batch_first=True 表示输入和输出的张量的第一个维度是批量大小（batch_size），而不是序列长度（seq_len）。

前向传播（`forward`）

def forward(self, x):embs = self.emb(x) #batch * token * embedding_dimgru_out, hidden = self.rnn(embs) #batch * token * hidden_sizereturn gru_out, hidden

输入 x 是一个形状为 [batch_size, seq_len] 的张量，表示一个批次的输入序列。
embs 是嵌入层的输出，形状为 [batch_size, seq_len, embedding_dim]。
gru_out 是 GRU 的输出，形状为 [batch_size, seq_len, hidden_size]，表示每个时间步的隐藏状态。
hidden 是 GRU 的最终隐藏状态，形状为 [1, batch_size, hidden_size]，用于传递给解码器。

2. 解码器（Decoder）

类定义

class Decoder(nn.Module):def __init__(self, vocab_size, embedding_dim, hidden_size):super().__init__()self.emb = nn.Embedding(vocab_size, embedding_dim)self.rnn = nn.GRU(embedding_dim, hidden_size, batch_first=True)

解码器的结构与编码器类似，但它的作用是将编码器生成的上下文向量（hidden）解码为目标序列。

主要组件

嵌入层（nn.Embedding）
- 与编码器类似，将目标序列的单词索引映射到嵌入向量。
GRU（nn.GRU）
- 与编码器中的 GRU 类似，但其输入是目标序列的嵌入向量，初始隐藏状态是编码器的最终隐藏状态。

前向传播（`forward`）

def forward(self, x, hx):embs = self.emb(x)gru_out, hidden = self.rnn(embs, hx=hx) #batch * token * hidden_size# batch * token * hidden_size# 1 * token * hidden_sizereturn gru_out, hidden

输入 x 是目标序列的单词索引，形状为 [batch_size, seq_len]。
hx 是编码器的最终隐藏状态，形状为 [1, batch_size, hidden_size]，作为解码器的初始隐藏状态。
embs 是目标序列的嵌入向量，形状为 [batch_size, seq_len, embedding_dim]。
gru_out 是解码器 GRU 的输出，形状为 [batch_size, seq_len, hidden_size]。
hidden 是解码器 GRU 的最终隐藏状态，形状为 [1, batch_size, hidden_size]。

3. Seq2Seq 模型的整体工作流程⭐

编码阶段
- 输入序列通过编码器的嵌入层，将单词索引映射为嵌入向量。
- 嵌入向量通过 GRU，生成每个时间步的隐藏状态和最终的隐藏状态（上下文向量）。
- 最终隐藏状态（hidden）作为编码器的输出，传递给解码器。
解码阶段
- 解码器的初始隐藏状态是编码器的最终隐藏状态。
- 解码器逐个生成目标序列的单词，每次生成一个单词后，将该单词的嵌入向量作为下一次输入，同时更新隐藏状态。
- 通过这种方式，解码器逐步生成目标序列。

Seq2Seq - 编码器（Encoder）和解码器（Decoder）

本节实现一个简单的 Seq2Seq（Sequence to Sequence）模型的编码器（Encoder）和解码器（Decoder）部分。重点把握Seq2Seq 模型的整体工作流程理解编码器（Encoder）和解码器&#xff08…...

编程日记 2025/9/19 12:30:50

@SchedulerLock 防止分布式环境下定时任务并发执行

背景在一个有多个服务实例的分布式系统中，如果你用 Scheduled 来定义定时任务，所有实例都会执行这个任务。ShedLock 的目标是只让一个实例在某一时刻执行这个定时任务。使用步骤引入依赖当前以redisTemplate为例子，MongoDB、Zookeeper…...

编程日记 2025/9/10 9:38:04

【力扣hot100题】（077）跳跃游戏

我最开始的想法还是太单纯了，最开始想着用回溯法，然后想到上一题的经验又想到了动态规划，虽然知道贪心题不太可能会这么复杂但实在想不出别的办法……果然我的智商做贪心题的极限就只能达到找零问题那种水平…… 最开始的方法，击…...

编程日记 2025/9/16 12:04:58

多光谱相机：林业监测应用（病虫害、外来物种、森林防火识别）

随着气候变暖和人类活动的增加，森林火灾发生的频率和强度都有所上升，而我国森林防火基础设施薄弱，监测预警体系不够完善，扑救能力和应急响应能力有待提高。气候变化导致气温升高、降水分布不均等，影响了树木的生长和发…...

编程日记 2025/9/18 18:15:46

Dynamic Programming（LeetCode 740）

740. 删除并获得点数相关企业提示给你一个整数数组 nums ，你可以对它进行一些操作。每次操作中，选择任意一个 nums[i] ，删除它并获得 nums[i] 的点数。之后，你必须删除所有等于 nums[i] - 1 和 nums[i] 1 的元素。开始你…...

编程日记 2025/9/19 12:29:28

虚拟列表react-virtualized使用（npm install react-virtualized）

1. 虚拟化列表 (List) // 1. 虚拟化列表 (List)import { List } from react-virtualized; import react-virtualized/styles.css; // 只导入一次样式// 示例数据 const list Array(1000).fill().map((_, index) > ({id: index,name: Item ${index},description: This is i…...

编程日记 2025/9/18 22:44:17

[特殊字符] 手机连接车机热点并使用 `iperf3` 测试网络性能

好的，以下是根据你的描述整理出来的步骤及解释： 📶 手机连接车机热点并使用 iperf3 测试网络性能本文将通过 iperf3 来测试手机和车机之间的网络连接性能。我们会让车机作为服务端，手机作为客户端，进行 UDP 流量传输…...

编程日记 2025/9/16 7:42:14

C#,VB.NET正则表达式法替换代码

如何设置必须是MGBOX开头, msgbox这种注释自动跳过在 Visual Studio 中使用 Ctrl H 进行替换操作时，若要确保仅替换以 MsgBox 开头的代码，同时跳过注释里的 MsgBox，可以利用正则表达式来实现。以下为你详细介绍操作步骤： 1. 打…...

编程日记 2025/9/17 23:52:14

从MySQL快速上手大数据Hive

从MySQL快速上手大数据Hive Hive简介 hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式（DML）来分析存储在Hadoop分布式文件系统中的数据: 可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查…...

编程日记 2025/9/9 21:54:47

基于华为云kubernetes的应用多活的示例

1 概述为避免地域级别的故障，需要将单机房架构变成双地域架构（两个机房物理距离越远，网络延时越大，网延时是业务研发首先关注的）。单边写的多机房架构，是落地性比较大的一个方案，相对于单元化…...

编程日记 2025/9/17 22:12:08

Linux动态库 vs 静态库：创建步骤与优缺点对比

Linux系列文章目录 Linux系列前言一、动静态库的概念引入1.1 库的基本概念1.2 静态库（Static Library）1.3 动态库（Dynamic Library）1.4 动静态库的核心区别二、动静态库的实现2.1 静态库的创建及使用2.2 动态库的创建和使用三、…...

编程日记 2025/9/17 14:20:19

分析下HashMap容量和负载系数，它是怎么扩容的？

很好，我们继续深入分析 HashMap 中容量（capacity） 和负载因子（load factor），以及它是如何进行扩容（resize） 的。 🧱 一、容量（capacity）与负载…...

编程日记 2025/9/18 11:05:33

Linux权限管理：从入门到实践

目录引言编辑一、Linux用户类型二、文件访问者分类三、文件类型和访问权限 （一）文件类型 （二）基本权限四、文件访问权限设置方法 （一）chmod命令 （二）chown命令 &…...

编程日记 2025/9/18 12:47:36

计算机网络(1)

名称解析名称解析：将名称解析成对应地址，名字-->IP 名称解析优点：便以记忆、解耦（断开直接的练习） 容器 mini的虚拟机，该容器地址是动态的、生命周期短暂；可实现登录功能如果用户想要登录该…...

编程日记 2025/9/16 17:21:21

第十一天 - MySQL/SQLite操作 - 数据库备份脚本 - 练习：监控数据存储系统

数据库实战入门：从零构建监控数据存储系统前言在物联网和系统监控领域，数据存储是核心基础环节。本文将通过MySQL/SQLite操作、数据库备份脚本和监控数据存储实战三个模块，带领初学者快速掌握数据库在真实场景中的应用。文章包含25个代码…...

编程日记 2025/9/9 0:15:33

编写文生视频提示词，制作抖音爆款视频

编写文生视频提示词，制作抖音爆款视频一、理解文生视频提示词1.1 定义提示词1.1.1 提示词与创作工具的关系1.1.2 文生视频的功能 1.2 提示词的组成1.2.1 主体（Subject）1.2.2 动作（Action）1.2.3 场景（Scene…...

编程日记 2025/9/17 10:39:20

Linux: 线程控制

目录一前言二线程控制 1. POSIX线程库(原生线程库) 2. 创建线程 2.1 pthread_create 2.2pthread_self()获取线程id 3.线程终止 3.1.return 方式 3.2 pthread_exit 4 线程等待三理解线程tid 一前言在上一篇文章中我们已经学习了线程的概念，线程的创…...

编程日记 2025/9/19 1:37:57

为什么 npm list -g 没显示 node_modules？✨

揭秘：为什么 npm list -g 没显示 node_modules？🕵️‍♂️✨ 嗨，各位代码探险家！👋 今天我们要破解一个 npm 小谜团：运行 npm list -g --depth0 时，为什么输出的路径里看不到 node_…...

编程日记 2025/9/19 6:25:40

华为数字芯片机考2025合集4已校正

单选 1. 题目内容影响芯片成本的主要因素是 Die Size 和封装，但电源、时钟等因素，特别是功耗对解决方案的成本影响较大，因此低成本设计需要兼顾低功耗设计：（） 1. 解题步骤 1.1 分析题目 Die Size&…...

编程日记 2025/9/15 13:34:42

达摩院Paraformer-ONNX模型：一站式高精度中文语音识别工业级解决方案

文章目录核心技术创新三大部署方案对比1. Docker极简部署（推荐）2. Python API直连调用3. 客户端实时测试工具高阶调优技巧典型应用场景高频问题解决方案参考阿里达摩院推出的speech_paraformer-large-vad-punc_asr_nat-zh-cn-16k-common-vocab8404-on…...

编程日记 2025/9/18 0:07:46

Llama 4的争议

每周跟踪AI热点新闻动向和震撼发展想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领…...

编程日记 2025/9/18 1:20:15

React七案例下

代码下载登录模块用户登录页面结构新建 Login 组件，对应结构: export default function Login() {return (<div className{styles.root}><NavHeader className{styles.header}>账号登录</NavHeader><form className{styles.form}>&…...

编程日记 2025/9/7 18:23:17

Rust包管理与错误处理

文章目录包管理箱（Crate）包（Package）模块（Module）访问权限use关键字错误处理不可恢复错误可恢复错误错误传递kind方法包管理 Rust的包管理有三个重要的概念，分别是箱、包、模块箱&#xf…...

编程日记 2025/9/18 15:16:32

关于gitee的readme文档中的图片问题

使用markdown编辑readme文档，需要注意添加图片，但是不显示问题 1.记得连图片一起上传到仓库中，不能只是在本地markdown文件中复制就结束了，因为存储的是本地图片地址，上传后找不到的 2.注意使用网络地址&#xff0…...

编程日记 2025/9/9 21:50:08

记录vscode连接不上wsl子系统下ubuntu18.04问题解决方法

记录vscode连接不上wsl子系统下ubuntu18.04问题解决方法报错内容尝试第一次解决方法尝试第二次解决方法注意事项参考连接报错内容 Unable to download server on client side: Error: Request downloadRequest failed unexpectedly without providing any details… Will tr…...

编程日记 2025/9/11 8:01:19

aws平台练习

编程日记 2025/9/14 6:22:10

实战篇-梳理时钟树

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、pandas是什么？二、使用步骤 1.引入库2.读入数据总结前言这是B站傅里叶的猫视频的笔记一、建立工程以Vivado的wave_gen为例子。为了引入异…...

编程日记 2025/9/18 9:23:52

【Hadoop入门】Hadoop生态之Hive简介

1 什么是Hive？ 1.1 Hive概述在大数据时代，如何让传统的数据分析师和SQL开发人员也能轻松处理海量数据？Hive应运而生。Hive是基于Hadoop构建的一套数据仓库分析系统，它提供了一种类似SQL的查询语言（HQL）&a…...

编程日记 2025/9/19 8:45:43

DSP复习【3章】

F2812提供了XINTF用于扩展并行接口的外设芯片。 XINTF（外部接口）所需的时钟是 SYSCLKOUT 和 XTIMCLK。所以正确答案是： ✅ SYSCLKOUT 和 XTIMCLK 什么是XREADY信号，如何使用？ 章节例题： 1. 如何通过软件判…...

编程日记 2025/9/10 15:16:43

Hadoop案例——流量统计

Hadoop案例——流量统计在大数据时代，流量统计是许多企业和组织的关键需求之一。通过分析网络流量数据，企业可以优化网络资源分配、提升用户体验、制定精准的营销策略等。本文将介绍如何使用 Hadoop 框架实现一个简单的流量统计案例，包括数…...

编程日记 2025/9/14 13:38:18

Linux管道有名管道（FIFO）工作机制全解：从理论到实践

有名管道（重要） 有名管道/命名管道，主要用于没有血缘关系进程间的通信当然也支持有血缘关系的情况，只是如果有血缘关系，没有必要使用有名管道，无名管道效果更佳引入好了，现在使用条件有了…...

编程日记 2025/9/18 4:29:26

java基础-修饰符

java修饰符修饰符分类访问修饰符的作用域代码说明访问修饰符总览非访问修饰符staticfinalabstractsynchronizedvolatiletransientnativestrictfp非访问修饰符总览表非访问修饰符组合与冲突规则修饰符分类分类：访问修饰符和非访问修饰符 1.访问修饰符公共…...

编程日记 2025/9/19 0:58:25

解锁基因密码之重测序（从测序到分析）

在生命科学的奇妙世界中，基因恰似一本记录着生命奥秘的“天书”，它承载着生物体生长、发育、衰老乃至疾病等一切生命现象的关键信息。而重测序技术，则是开启基因“天书”奥秘的一把神奇钥匙。试想，你手中有一本经典书籍的通用版…...

编程日记 2025/9/11 3:18:33

当使用 Docker Desktop 启动 Tomcat 镜像时时间不对

当使用 Docker Desktop 启动 Tomcat 镜像时时间不对，可能由以下原因导致并可采取相应解决方法： 宿主机时间设置问题：Docker 容器的时间是由宿主机提供的，如果宿主机的时间不正确，那么容器的时间也会不正确。需确保宿主…...

编程日记 2025/9/18 14:28:08

golang gmp模型分析

思维导图： 1. 发展过程思维导图： 在单机时代是没有多线程、多进程、协程这些概念的。早期的操作系统都是顺序执行单进程的缺点有： 单一执行流程、计算机只能一个任务一个任务进行处理进程阻塞所带来的CPU时间的浪费处于对CPU资源的利用&…...

编程日记 2025/9/18 22:14:20

Redisson的RedLock与联锁(MultiLock)的区别

Redisson提供了两种分布式锁机制：RedLock(红锁)和MultiLock(联锁)，它们在实现分布式锁时有重要区别。 1. RedLock (红锁) 设计原理： 基于Redis官方提出的Redlock算法实现目的是在Redis集群环境下提供更可靠的分布式锁需要至少3个独立的Redi…...

编程日记 2025/9/18 21:04:08

图灵逆向——题十-魔改算法

目录列表过程分析JS代码还原代码实现运行结果本题属于魔改标准加密算法，所以无法使用JS或Python中的标准库来进行模拟加密了，只能一步一步的还原它的环境咯。。。过程分析打开控制台发现有个无限debugger，直接过掉~[doge]。。。 OK过掉…...

编程日记 2025/9/19 3:59:51

K8S学习之基础七十九：关闭istio功能

关闭istio功能 kubectl get ns --show-labels kubectl label ns default istio-injection-有istio-injectionenabled的命名空间，pod都会开启istio功能反之，如果要开启istio，在对应命名空间打上该标签即可...

编程日记 2025/9/18 22:31:32

AI大模型课程系列汇总-某客时间篇

某客时间系列篇章💥 NO.文章（点击可跳转）1【课程系列11】某客时间AI 大模型应用开发实战营_ai大模型应用开发实战营百度云-CSDN博客2【课程系列12】某客时间AI大模型微调训练营_极客时间大模型rag 网盘-CSDN博客3【课程系列15】2024某客时…...

编程日记 2025/9/18 15:21:21

【人工智能】大语言模型多义词解析技术揭秘——以“项目“歧义消解为例

今天田辛老师和小伙伴探讨了一个有趣的多义词问题， 在人工智能技术日新月异的今天，大语言模型（LLM）对自然语言的理解能力已经达到令人惊叹的水平。大模型到底是如何去区分多义词的？ 比如：当用户提到"…...

编程日记 2025/9/17 10:22:06

Coze平台发布AI测试Agent的完整实现方案

以下是基于 Coze平台发布AI测试Agent的完整实现方案，包含架构设计、核心功能模块、集成方式和落地步骤：一、方案架构图 #mermaid-svg-kzS7cltxrbetjROl {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-kzS7cltxr…...

编程日记 2025/9/18 17:48:13

OpenHarmony子系统开发 - 调测工具（二）

OpenHarmony子系统开发 - 调测工具（二） 三、hiperf使用指导 hiperf是为开发人员提供性能采样分析的工具，基于内核perf机制进行的用户态能力的扩展，可以对指定的程序或者整个系统进行性能采样。 hiperf支持的命令有：l…...

编程日记 2025/9/17 18:29:37

keil ERROR: L6220E 如何解决

最近调试MK8000方案，增加code后遇到： keil ERROR: L6220E: Execution region RW_RAM1 size (24592 bytes) execeeds limit (24568 bytes) .region contains 93 bytes of padding and 0 bytes of veneers (total 93 bytes of linker generated content) …...

编程日记 2025/9/17 13:17:35

c++比较器——priority_queue用； unordered_map 自定义哈希函数

文章目录 priority_queue自定义比较方法对比较对象结构体重载 <仿函数为什么是传一个类std::less<T> 和 std::greater<T> lambda unordered_map自定义哈希函数仿函数lambda priority_queue template<class T,class Container std::vector<T>,class…...

编程日记 2025/9/18 5:12:59

centos-LLM-生物信息-BioGPT安装

参考： GitHub - microsoft/BioGPT https://github.com/microsoft/BioGPT BioGPT：用于生物医学文本生成和挖掘的生成式预训练转换器 |生物信息学简报 |牛津学术 — BioGPT: generative pre-trained transformer for biomedical text generation and mini…...

编程日记 2025/9/18 10:00:22