当前位置：首页 > news >正文

多层 RNN原理以及实现

news 来源：原创 2025/5/25 14:00:09

数学原理

多层 RNN 的核心思想是堆叠多个 RNN 层，每一层的输出作为下一层的输入，从而逐层提取更高层次的抽象特征。

1. 单层 RNN 的数学表示

首先，单层 RNN 的计算过程如下。对于一个时间步 $t$ ，单层 RNN 的隐藏状态 $h_t$ 和输出 $y_t$ 可以表示为：

$h_t = \text{activation}(W_{ih} x_t + b_{ih} + W_{hh} h_{t-1} + b_{hh})$
$y_t = W_{ho} h_t + b_{ho}$

其中：

$x_t$ 是时间步 $t$ 的输入。
$h_t$ 是时间步 $t$ 的隐藏状态。
$h_{t-1}$ 是时间步 $t - 1$ 的隐藏状态。
$W_{ih}$ 、 $W_{hh}$ 、 $W_{ho}$ 是权重矩阵。
$b_{ih}$ 、 $b_{hh}$ 、 $b_{ho}$ 是偏置项。
$\text{activation}$ 是激活函数（如 $\tanh$ 或 $\text{ReLU}$ ）。

2. 多层 RNN 的数学表示

假设我们有一个 $L$ 层的 RNN，每一层的隐藏状态为 $h_t^{(l)}$ ，其中 $l$ 表示第 $l$ 层， $t$ 表示时间步。多层 RNN 的计算过程如下：

(1) 第一层（ $l = 1$ ）

第一层的输入是原始输入序列 $x_t$ ，隐藏状态 $h_t^{(1)}$ 的计算公式为：

$h_t^{(1)} = \text{activation}(W_{ih}^{(1)} x_t + b_{ih}^{(1)} + W_{hh}^{(1)} h_{t-1}^{(1)} + b_{hh}^{(1)})$

其中：

$W_{ih}^{(1)}$ 、 $W_{hh}^{(1)}$ 是第一层的权重矩阵。
$b_{ih}^{(1)}$ 、 $b_{hh}^{(1)}$ 是第一层的偏置项。

(2) 第 $l$ 层（ $l > 1$ ）

第 $l$ 层的输入是第 $l - 1$ 层的输出 $h_t^{(l-1)}$ ，隐藏状态 $h_t^{(l)}$ 的计算公式为：

$h_t^{(l)} = \text{activation}(W_{ih}^{(l)} h_t^{(l-1)} + b_{ih}^{(l)} + W_{hh}^{(l)} h_{t-1}^{(l)} + b_{hh}^{(l)})$

其中：

$W_{ih}^{(l)}$ 、 $W_{hh}^{(l)}$ 是第 $l$ 层的权重矩阵。
$b_{ih}^{(l)}$ 、 $b_{hh}^{(l)}$ 是第 $l$ 层的偏置项。

(3) 输出层

最后一层（第 $L$ 层）的输出 $h_t^{(L)}$ 作为整个网络的输出 $y_t$ ：

$y_t = W_{ho} h_t^{(L)} + b_{ho}$

其中：

$W_{ho}$ 、 $b_{ho}$ 是输出层的权重矩阵和偏置项。

3. 多层 RNN 的数据流向

以下是一个 $L$ 层 RNN 的数据流向的数学描述：

(1) 输入序列

输入序列为 $x_1, x_2, \dots, x_T$ ，其中 $T$ 是序列长度。

(2) 初始化隐藏状态

每一层的初始隐藏状态 $h_0^{(l)}$ 通常初始化为零或随机值：

$h_0^{(l)} = \mathbf{0} \quad \text{或} \quad h_0^{(l)} \sim \mathcal{N}(0, \sigma^2)$

(3) 时间步 $t$ 的计算

对于每个时间步 $t$ ，从第一层到第 $L$ 层依次计算隐藏状态：

第一层：
$h_t^{(1)} = \text{activation}(W_{ih}^{(1)} x_t + b_{ih}^{(1)} + W_{hh}^{(1)} h_{t-1}^{(1)} + b_{hh}^{(1)})$
第 $l$ 层（ $l > 1$ ）：
$h_t^{(l)} = \text{activation}(W_{ih}^{(l)} h_t^{(l-1)} + b_{ih}^{(l)} + W_{hh}^{(l)} h_{t-1}^{(l)} + b_{hh}^{(l)})$
输出：
$y_t = W_{ho} h_t^{(L)} + b_{ho}$

(4) 序列输出

最终，整个序列的输出为 $y_1, y_2, \dots, y_T$ 。

4. 多层 RNN 的特点

(1) 逐层抽象

每一层 RNN 可以看作是对输入序列的不同层次的抽象。
较低层捕捉局部和细节信息，较高层捕捉全局和语义信息。

(2) 参数共享

每一层的参数（权重矩阵和偏置项）在时间步之间共享。
不同层的参数是独立的。

(3) 梯度传播

在反向传播时，梯度会通过时间步和层数传播。
由于梯度消失或爆炸问题，训练深层 RNN 可能会比较困难。

可视化原理

下面是一个可视化的结构显示图：其中每一层神经元都要有两个方向的输出，一个是向本时间步的下一层传送，另一个是向下一个时间步的本层传送。而且，每一个神经元都有两个权重矩阵。注意：下方右图仅仅是逻辑上展开的数据流，其中不同世间步上的同一层，用的是同一个权重矩阵。

在这里插入图片描述

代码实现

1. 示例任务

假设有一个简单的任务：

处理一个长度为 4 的序列
批次大小为 2
每个时间步的输入特征维度为 3
希望使用一个 2 层的单向 RNN
隐藏状态维度为 5。

2. 输入数据

输入句子

句子 1: “I love PyTorch”
句子 2: “RNN is fun”

输入数据的形状

序列长度 (seq_len): 4（假设每个单词是一个时间步）
批次大小 (batch_size): 2
输入特征维度 (input_size): 3（假设每个单词用一个 3 维向量表示）

具体输入数据

import torch# 输入数据形状: (seq_len, batch_size, input_size)
input_data = torch.tensor([# 时间步 1[[0.1, 0.2, 0.3],  # 句子 1 的第一个单词[0.4, 0.5, 0.6]], # 句子 2 的第一个单词# 时间步 2[[0.7, 0.8, 0.9],  # 句子 1 的第二个单词[1.0, 1.1, 1.2]], # 句子 2 的第二个单词# 时间步 3[[1.3, 1.4, 1.5],  # 句子 1 的第三个单词[1.6, 1.7, 1.8]], # 句子 2 的第三个单词# 时间步 4[[1.9, 2.0, 2.1],  # 句子 1 的第四个单词[2.2, 2.3, 2.4]]  # 句子 2 的第四个单词
])
print("Input shape:", input_data.shape)  # 输出: torch.Size([4, 2, 3])

3. 初始隐藏状态

初始隐藏状态的形状

RNN 层数 (num_layers): 2
方向数 (num_directions): 1（单向 RNN）
批次大小 (batch_size): 2
隐藏状态维度 (hidden_size): 5

具体初始隐藏状态

# 初始隐藏状态形状: (num_layers * num_directions, batch_size, hidden_size)
h0 = torch.zeros(2, 2, 5)  # 2层RNN，批次大小为2，隐藏状态维度为5
print("h0 shape:", h0.shape)  # 输出: torch.Size([2, 2, 5])

4. 定义 RNN 模型

import torch.nn as nn# 定义 RNN
rnn = nn.RNN(input_size=3,  # 输入特征维度hidden_size=5, # 隐藏状态维度num_layers=2,  # RNN 层数batch_first=False  # 输入形状为 (seq_len, batch_size, input_size)
)

5. 前向传播

计算输出

# 前向传播
output, hn = rnn(input_data, h0)print("Output shape:", output.shape)  # 输出: torch.Size([4, 2, 5])
print("hn shape:", hn.shape)          # 输出: torch.Size([2, 2, 5])

输出解析

output:
- 形状为 (seq_len, batch_size, hidden_size)，即 (4, 2, 5)。
- 包含了每个时间步的隐藏状态。
- 例如，output[0] 是第一个时间步的隐藏状态，output[-1] 是最后一个时间步的隐藏状态。
hn:
- 形状为 (num_layers, batch_size, hidden_size)，即 (2, 2, 5)。
- 包含了最后一个时间步的隐藏状态。
- 例如，hn[0] 是第一层的最终隐藏状态，hn[1] 是第二层的最终隐藏状态。

6. 具体输出值

`output` 的值

print("Output (所有时间步的隐藏状态):")
print(output)

输出示例：

tensor([[[ 0.1234,  0.5678,  0.9101,  0.1121,  0.3141],[ 0.4151,  0.6171,  0.8191,  0.0212,  0.2232]],[[ 0.4252,  0.6272,  0.8292,  0.0313,  0.2333],[ 0.4353,  0.6373,  0.8393,  0.0414,  0.2434]],[[ 0.4454,  0.6474,  0.8494,  0.0515,  0.2535],[ 0.4555,  0.6575,  0.8595,  0.0616,  0.2636]],[[ 0.4656,  0.6676,  0.8696,  0.0717,  0.2737],[ 0.4757,  0.6777,  0.8797,  0.0818,  0.2838]]],grad_fn=<StackBackward>)

`hn` 的值

print("hn (最后一个时间步的隐藏状态):")
print(hn)

输出示例：

tensor([[[ 0.4656,  0.6676,  0.8696,  0.0717,  0.2737],[ 0.4757,  0.6777,  0.8797,  0.0818,  0.2838]],[[ 0.4858,  0.6878,  0.8898,  0.0919,  0.2939],[ 0.4959,  0.6979,  0.8999,  0.1020,  0.3040]]],grad_fn=<StackBackward>)

batch_first=True时

以下是一个具体的例子，展示当 batch_first=True 时，PyTorch 中 torch.nn.RNN 的输入、输出以及参数的作用。

任务

假设有一个简单的任务：

处理一个长度为 4 的序列
批次大小为 2
每个时间步的输入特征维度为 3
希望使用一个 2 层的单向 RNN
隐藏状态维度为 5
并且设置 batch_first=True。

2. 输入数据

输入句子

句子 1: “I love PyTorch”
句子 2: “RNN is fun”

输入数据的形状

批次大小 (batch_size): 2
序列长度 (seq_len): 4（假设每个单词是一个时间步）
输入特征维度 (input_size): 3（假设每个单词用一个 3 维向量表示）

具体输入数据

import torch# 输入数据形状: (batch_size, seq_len, input_size)
input_data = torch.tensor([# 句子 1[[0.1, 0.2, 0.3],  # 第一个单词[0.7, 0.8, 0.9],  # 第二个单词[1.3, 1.4, 1.5],  # 第三个单词[1.9, 2.0, 2.1]], # 第四个单词# 句子 2[[0.4, 0.5, 0.6],  # 第一个单词[1.0, 1.1, 1.2],  # 第二个单词[1.6, 1.7, 1.8],  # 第三个单词[2.2, 2.3, 2.4]]  # 第四个单词
])
print("Input shape:", input_data.shape)  # 输出: torch.Size([2, 4, 3])

3. 初始隐藏状态

初始隐藏状态的形状

RNN 层数 (num_layers): 2
方向数 (num_directions): 1（单向 RNN）
批次大小 (batch_size): 2
隐藏状态维度 (hidden_size): 5

具体初始隐藏状态

# 初始隐藏状态形状: (num_layers * num_directions, batch_size, hidden_size)
h0 = torch.zeros(2, 2, 5)  # 2层RNN，批次大小为2，隐藏状态维度为5
print("h0 shape:", h0.shape)  # 输出: torch.Size([2, 2, 5])

4. 定义 RNN 模型

import torch.nn as nn# 定义 RNN
rnn = nn.RNN(input_size=3,  # 输入特征维度hidden_size=5, # 隐藏状态维度num_layers=2,  # RNN 层数batch_first=True  # 输入形状为 (batch_size, seq_len, input_size)
)

5. 前向传播

计算输出

# 前向传播
output, hn = rnn(input_data, h0)print("Output shape:", output.shape)  # 输出: torch.Size([2, 4, 5])
print("hn shape:", hn.shape)          # 输出: torch.Size([2, 2, 5])

输出解析

output:
- 形状为 (batch_size, seq_len, hidden_size)，即 (2, 4, 5)。
- 包含了每个时间步的隐藏状态。
- 例如，output[0] 是第一个句子的所有时间步的隐藏状态，output[1] 是第二个句子的所有时间步的隐藏状态。
hn:
- 形状为 (num_layers, batch_size, hidden_size)，即 (2, 2, 5)。
- 包含了最后一个时间步的隐藏状态。
- 例如，hn[0] 是第一层的最终隐藏状态，hn[1] 是第二层的最终隐藏状态。

6. 具体输出值

`output` 的值

print("Output (所有时间步的隐藏状态):")
print(output)

输出示例：

tensor([[[ 0.1234,  0.5678,  0.9101,  0.1121,  0.3141],[ 0.4252,  0.6272,  0.8292,  0.0313,  0.2333],[ 0.4454,  0.6474,  0.8494,  0.0515,  0.2535],[ 0.4656,  0.6676,  0.8696,  0.0717,  0.2737]],[[ 0.4151,  0.6171,  0.8191,  0.0212,  0.2232],[ 0.4353,  0.6373,  0.8393,  0.0414,  0.2434],[ 0.4555,  0.6575,  0.8595,  0.0616,  0.2636],[ 0.4757,  0.6777,  0.8797,  0.0818,  0.2838]]],grad_fn=<TransposeBackward0>)

`hn` 的值

print("hn (最后一个时间步的隐藏状态):")
print(hn)

输出示例：

tensor([[[ 0.4656,  0.6676,  0.8696,  0.0717,  0.2737],[ 0.4757,  0.6777,  0.8797,  0.0818,  0.2838]],[[ 0.4858,  0.6878,  0.8898,  0.0919,  0.2939],[ 0.4959,  0.6979,  0.8999,  0.1020,  0.3040]]],grad_fn=<StackBackward>)

多层 RNN原理以及实现

数学原理多层 RNN 的核心思想是堆叠多个 RNN 层，每一层的输出作为下一层的输入，从而逐层提取更高层次的抽象特征。 1. 单层 RNN 的数学表示首先，单层 RNN 的计算过程如下。对于一个时间步 t t t，单层 RNN 的隐藏状态 h t h_t…...

编程日记 2025/5/25 14:00:09

Unity阿里云OpenAPI 获取 Token的C#【记录】

获取Token using UnityEngine; using System; using System.Text; using System.Linq; using Newtonsoft.Json.Linq; using System.Security.Cryptography; using UnityEngine.Networking; using System.Collections.Generic; using System.Globalization; using Cysharp.Thr…...

编程日记 2025/5/25 10:13:01

java+vue项目部署记录

目录前言一、java和vue 二、部署记录 1.获取代码 2.运行前端 3.运行后端三、其他 1.nvm 总结前言近期工作需要部署一套javavue前后分离的项目，之前都略有接触，但属于不及皮毛的程度，好在对其他开发语言、html js这些还算熟&am…...

编程日记 2025/5/24 23:31:59

PID 控制算法（二）：C 语言实现与应用

在本文中，我们将用 C 语言实现一个简单的 PID 控制器，并通过一个示例来演示如何使用 PID 控制算法来调整系统的状态（如温度、速度等）。同时，我们也会解释每个控制参数如何影响系统的表现。什么是 PID 控制器&#xf…...

编程日记 2025/5/24 1:18:07

深入MapReduce——计算模型设计

引入通过引入篇，我们可以总结，MapReduce针对海量数据计算核心痛点的解法如下： 统一编程模型，降低用户使用门槛分而治之，利用了并行处理提高计算效率移动计算，减少硬件瓶颈的限制优秀的设计&#xff0c…...

编程日记 2025/5/19 19:08:57

在Spring Boot中使用SeeEmitter类实现EventStream流式编程将实时事件推送至客户端

😄 19年之后由于某些原因断更了三年，23年重新扬帆起航，推出更多优质博文，希望大家多多支持～ 🌷 古之立大事者，不惟有超世之才，亦必有坚忍不拔之志 🎐 个人CSND主页——Mi…...

编程日记 2025/5/25 3:05:36

Qt实践：一个简单的丝滑侧滑栏实现

Qt实践：一个简单的丝滑侧滑栏实现笔者前段时间突然看到了侧滑栏，觉得这个抽屉式的侧滑栏非常的有趣，打算这里首先尝试实现一个简单的丝滑侧滑栏。首先是上效果图 （C，GIF帧率砍到毛都不剩了） QProperty…...

编程日记 2025/5/23 13:30:10

基于ESP32-IDF驱动GPIO输出控制LED

基于ESP32-IDF驱动GPIO输出控制LED 文章目录基于ESP32-IDF驱动GPIO输出控制LED一、点亮LED3.1 LED电路3.2 配置GPIO函数gpio_config()原型和头文件3.3 设置GPIO引脚电平状态函数gpio_set_level()原型和头文件3.4 代码实现并编译烧录一、点亮LED 3.1 LED电路可以看到&#x…...

编程日记 2025/5/25 13:58:12

OpenCV文字绘制支持中文显示

OpenCV版本：4.4 IDE：VS2019 功能描述 OpenCV绘制文本的函数putText()不支持中文的显示，网上很多方法推荐的都是使用FreeType来支持，FreeType是什么呢？FreeType的官网上有介绍 FreeType官网 https://www.freetype.or…...

编程日记 2025/5/25 8:59:25

jenkins-k8s pod方式动态生成slave节点

一. 简述： 使用 Jenkins 和 Kubernetes (k8s) 动态生成 Slave 节点是一种高效且灵活的方式来管理 CI/CD 流水线。通过这种方式，Jenkins 可以根据需要在 Kubernetes 集群中创建和销毁 Pod 来执行任务，从而充分利用集群资源并实现更好的隔离性…...

编程日记 2025/5/25 0:20:30

消息队列篇--基础篇（消息队列特点，应用场景、点对点和发布订阅工作模式，RabbmitMQ和Kafka代码示例等）

1、消息队列的介绍消息（Message）是指在应用之间传送的数据，消息可以非常简单，比如只包含文本字符串，也可以更复杂，可能包含嵌入对象。消息队列（Message Queue，简称MQ&#xff09…...

编程日记 2025/5/16 11:40:12

Jetpack架构组件学习——使用Glance实现桌面小组件

基本使用 1.添加依赖添加Glance依赖: // For AppWidgets supportimplementation "androidx.glance:glance-appwidget:1.1.0"// For interop APIs with Material 3implementation "androidx.glance:glance-material3:1.1.0"// For interop APIs with Mater…...

编程日记 2025/5/19 19:24:15

go读取excel游戏配置

1.背景游戏服务器，配置数据一般采用csv/excel来作为载体，这种方式，策划同学配置方便，服务器解析也方便。在jforgame框架里，我们使用以下的excel配置格式。然后可以非常方便的进行数据检索，例如&#xff…...

编程日记 2025/5/22 5:47:20

Linux系统下速通stm32的clion开发环境配置

陆陆续续搞这个已经很久了。因为自己新电脑是linux系统无法使用keil，一开始想使用vscode里的eide但感觉不太好用；后面想直接使用cudeide但又不想妥协，想趁着这个机会把linux上的其他单片机开发配置也搞明白；而且非常想搞懂cmake…...

编程日记 2025/5/21 20:25:15

快慢指针及原理证明(swift实现)

目录链表快慢指针一、快慢指针基本介绍二、快慢指针之找特殊节点1.删除链表的倒数第k个结点题目描述解题思路 2.链表的中间节点题目描述解题思路三、快慢指针之环形问题1.判断环形链表题目描述解题思路 2.判断环形链表并返回入环节点题目描述解题思路 3.变种——判断快乐数题…...

编程日记 2025/5/21 11:30:34

web前端3--css

注意（本文一切代码一律是在vscode中书写） 1、书写位置 1、行内样式 //<标签名 style"样式声明"> <p style"color: red;">666</p> 2、内嵌样式 1、style标签里面写css代码 css与html之间分离 2、css属性:值…...

编程日记 2025/5/22 13:32:32

一文大白话讲清楚webpack基本使用——5——babel的配置和使用

文章目录一文大白话讲清楚webpack基本使用——5——babel的配置和使用1. 建议按文章顺序从头看，一看到底，豁然开朗2. babel-loader的配置和使用2.1 针对ES6的babel-loader2.2 针对typescript的babel-loader2.3 babel配置文件一文大白话讲清楚webpack基…...

编程日记 2025/5/20 11:08:22

Python自动化运维：一键掌控服务器的高效之道

《Python OpenCV从菜鸟到高手》带你进入图像处理与计算机视觉的大门！解锁Python编程的无限可能：《奇妙的Python》带你漫游代码世界在互联网和云计算高速发展的今天，服务器数量的指数增长使得手动运维和管理变得异常繁琐。Python凭借其强大的可读性和丰富的生态系统，成为…...

编程日记 2025/5/25 1:50:59

基于quartz，刷新定时器的cron表达式

文章目录前言基于quartz，刷新定时器的cron表达式1. 先看一下测试效果2. 实现代码前言如果您觉得有用的话，记得给博主点个赞，评论，收藏一键三连啊，写作不易啊^ _ ^。而且听说点赞的人每天的运气都不会太差&…...

编程日记 2025/5/22 16:37:09

HTML常用属性

HTML标签的常见属性包括许多不同的功能，可以为元素提供附加信息或控制元素的行为。以下是一些常见的属性及其解释： 1. src 描述：src（source）属性指定一个资源的路径，通常用于图像、音频、视频等标签。常见…...

编程日记 2025/5/17 23:27:50

在 Babylon.js 中使用 Gizmo：交互式 3D 操作工具

在 3D 应用程序中，交互式操作对象（如平移、旋转、缩放）是一个常见的需求。Babylon.js 提供了一个强大的工具——Gizmo，用于在 3D 场景中实现这些功能。本文将介绍如何在 Babylon.js 中使用 Gizmo，并展示如何通过代码实…...

编程日记 2025/5/21 8:04:00

蓝桥杯练习日常|递归-进制转换

蓝桥云课760数的计算一、递归题目： 我的解题代码： #include <iostream> using namespace std; int sum0; int main() {// 请在此输入您的代码int n;cin>>n;int fun(int n);fun(n); cout<<sum<<\n;return 0; } // void fu…...

编程日记 2025/5/22 10:15:26

LabVIEW滤波器选择与参数设置

在信号处理应用中，滤波器是去除噪声、提取目标信号的重要工具。LabVIEW 提供多种类型的滤波器（如低通、高通、带通、带阻），用户需要根据采样频率、信号特性和应用需求合理选择滤波器类型及参数设置。本文以采样率 100kHz&#xf…...

编程日记 2025/5/22 2:40:40

【c语言日寄】Vs调试——新手向

【作者主页】siy2333 【专栏介绍】⌈c语言日寄⌋：这是一个专注于C语言刷题的专栏，精选题目，搭配详细题解、拓展算法。从基础语法到复杂算法，题目涉及的知识点全面覆盖，助力你系统提升。无论你是初学者，还是…...

编程日记 2025/5/24 9:18:25

C#中的Timers.Timer使用用法及常见报错

System.Timers.Timer 是一个基于服务器的计时器，它可以在应用程序中定期触发事件。这个计时器特别适合用于多线程环境，并且不应该与用户界面(UI)直接交互。在 ASP.NET 中，通常使用 System.Timers.Timer 来处理周期性的任务。主要使用步骤&am…...

编程日记 2025/5/23 17:09:28

chrome小插件：长图片等分切割

前置条件： 安装有chrome谷歌浏览器的电脑使用步骤： 1.打开chrome扩展插件 2.点击管理扩展程序 3.加载已解压的扩展程序 4.选择对应文件夹 5.成功后会出现一个扩展小程序 6.点击对应小程序 7.选择图片进行切割，切割完成后会自动保存代码…...

编程日记 2025/5/22 8:41:08

mysql数据被误删的恢复方案

文章目录一、使用备份恢复二、使用二进制日志（Binary Log）三、使用InnoDB表空间恢复四、使用第三方工具预防措施数据误删是一个严重的数据库管理问题，但通过合理的备份策略和使用适当的恢复工具，可以有效地减少数据丢失的风险…...

编程日记 2025/5/25 3:27:03

K8S-Pod资源清单的编写，资源的增删改查，镜像的下载策略

1. Pod资源清单的编写 1.1 Pod运行单个容器的资源清单 ##创建工作目录 mkdir -p /root/manifests/pods && cd /root/manifests/pods vim 01-nginx.yaml ##指定api版本 apiVersion: v1 ##指定资源类型 kind: Pod ##指定元数据 metadata:##指定名称name: myweb ##用户…...

编程日记 2025/5/21 8:19:31

Unity Line Renderer Component入门

Overview Line Renderer 组件是 Unity 中用于绘制连续线段的工具。它通过在三维空间中的两个或两个以上的点的数组，并在每个点之间绘制一条直线。可以绘制从简单的直线到复杂的螺旋线等各种图形。 1. 连续性和独立线条连续性：Line Renderer 绘制的线条…...

编程日记 2025/5/23 10:36:07

计算机工程：解锁未来科技之门！

计算机工程与应用是一个充满无限可能性的领域。随着科技的迅猛发展，计算机技术已经深深渗透到我们生活的方方面面，从医疗、金融到教育，无一不在彰显着计算机工程的巨大魅力和潜力。在医疗行业，计算机技术的应用尤为突出。比如&a…...

编程日记 2025/5/20 8:18:44

翻译：How do I reset my FPGA?

文章目录背景翻译：How do I reset my FPGA?1、Understanding the flip-flop reset behavior2、Reset methodology3、Use appropriate resets to maximize utilization4、Many options5、About the author 背景在写博客《复位信号的同步与释放（同步复…...

编程日记 2025/5/18 2:10:35

在Unity中使用大模型进行离线语音识别

文章目录 1、Vosk下载下载vosk-untiy-asr下载模型在项目中使用语音转文字音频转文字2、whisper下载下载unity项目下载模型在unity中使用1、Vosk 下载下载vosk-untiy-asr Github链接：https://github.com/alphacep/vosk-unity-asr 进不去Github的可以用网盘夸克网盘链接：h…...

编程日记 2025/5/20 14:39:45

SpringBoot+Vue使用Echarts

前言在vue项目中使用echarts，本次演示是使用vue2 1 前端准备 echarts官网： https://echarts.apache.org/zh/index.html 官网提供了基本的使用说明和大量的图表 1.1 下载echarts 执行命令 npm install echarts 直接这样执行很可能会失败，…...

编程日记 2025/5/25 2:21:33

【QT】-explicit关键字

explicit explicit 是一个 C 关键字，用于修饰构造函数。它的作用是防止构造函数进行隐式转换。为什么需要 explicit？ 在没有 explicit 的情况下，构造函数可以用于隐式类型转换。这意味着，如果你有一个接受某种类型的参数的构造…...

编程日记 2025/5/24 23:59:23

docker: Device or resource busy

(base) [rootbddx-vr-gpu-bcc2 /]#rm -rf /ssd1/docker/overlay2/8d96a51e3fb78e434fcf2b085e952adcc82bfe37485d427e1e017361a277326d/ rm: cannot remove ‘/ssd1/docker/overlay2/8d96a51e3fb78e434fcf2b085e952adcc82bfe37485d427e1e017361a277326d/merged’: Device or re…...

编程日记 2025/5/25 2:18:24

数学原理

1. 单层 RNN 的数学表示

2. 多层 RNN 的数学表示

(1) 第一层（ l = 1 l = 1 l=1）

(2) 第 l l l 层（ l > 1 l > 1 l>1）

(3) 输出层

3. 多层 RNN 的数据流向

(1) 输入序列

(2) 初始化隐藏状态

(3) 时间步 t t t 的计算

(4) 序列输出

4. 多层 RNN 的特点

(1) 逐层抽象

(2) 参数共享

(3) 梯度传播

可视化原理

代码实现

1. 示例任务

2. 输入数据

输入句子

输入数据的形状

具体输入数据

3. 初始隐藏状态

初始隐藏状态的形状

具体初始隐藏状态

4. 定义 RNN 模型

5. 前向传播

计算输出

输出解析

6. 具体输出值

output 的值

hn 的值

batch_first=True时

任务

2. 输入数据

输入句子

输入数据的形状

具体输入数据

3. 初始隐藏状态

初始隐藏状态的形状

具体初始隐藏状态

4. 定义 RNN 模型

5. 前向传播

计算输出

输出解析

6. 具体输出值

output 的值

hn 的值

相关文章：

(1) 第一层（ $l = 1$ ）

(2) 第 $l$ 层（ $l > 1$ ）

(3) 时间步 $t$ 的计算

`output` 的值

`hn` 的值

`output` 的值

`hn` 的值