当前位置：首页 > news >正文

LSTM 和 LSTMCell

news 来源：原创 2025/8/3 23:08:31

1. LSTM 和 LSTMCell 的简介

LSTM (Long Short-Term Memory):
- 一种特殊的 RNN（循环神经网络），用于解决普通 RNN 中 梯度消失 或 梯度爆炸 的问题。
- 能够捕获 长期依赖关系，适合处理序列数据（如自然语言、时间序列等）。
- torch.nn.LSTM 是 PyTorch 中的 LSTM 实现，可以一次性处理整个序列。
LSTMCell:
- LSTM 的基本单元，用于处理单个时间步的数据。
- torch.nn.LSTMCell 提供了更细粒度的控制，可在需要逐步处理序列或自定义序列操作的场景中使用。

2. LSTM 和 LSTMCell 的主要区别

特性	LSTM	LSTMCell
输入数据	一次性接收整个序列的数据（如 [batch, seq_len, input_size]）。	接收单个时间步的数据（如 [batch, input_size]）。
隐状态更新	自动处理整个序列的隐状态和单元状态的更新。	需要用户手动处理每个时间步的隐状态更新。
计算复杂度	内部优化更高效，适合大规模序列计算。	灵活性更高，但需手动管理序列，稍显复杂。
适用场景	标准时间序列任务，输入长度固定且连续。	灵活场景，例如动态序列长度、不规则序列处理。
API 的调用	简洁：直接输入整个序列和初始状态即可。	细粒度控制：每一步都需调用，管理状态。

3. 内部机制比较

LSTM 和 LSTMCell 都遵循以下 LSTM 的核心机制，但使用方式不同。

LSTM 的内部机制

LSTM 通过门机制（输入门、遗忘门、输出门）控制信息流动：

输入门：决定当前输入对单元状态的影响。
遗忘门：决定单元状态中需要保留或遗忘的信息。
输出门：决定从单元状态中提取哪些信息输出。

公式如下：

输入门:
$i_t = \sigma(W_{xi}x_t + W_{hi}h_{t-1} + b_i)$
遗忘门:
$f_t = \sigma(W_{xf}x_t + W_{hf}h_{t-1} + b_f)$
输出门:
$o_t = \sigma(W_{xo}x_t + W_{ho}h_{t-1} + b_o)$
单元状态更新:
$\tilde{c}_t = \tanh(W_{xc}x_t + W_{hc}h_{t-1} + b_c)$
$c_t = f_t \odot c_{t-1} + i_t \odot \tilde{c}_t$
隐状态更新:
$h_t = o_t \odot \tanh(c_t)$

LSTM 的整体流程

接收整个序列的输入 $batch, seq\_len, input\_size]$ )。
通过时间步循环计算隐状态和单元状态。
返回每个时间步的输出和最终隐状态。

LSTMCell 的单步处理

接收当前时间步输入 $batch, input\_size]$ ) 和上一步状态。
手动传递隐状态 $h_{t-1}$ ) 和单元状态 $c_{t-1}$ )。
返回当前时间步的隐状态 $h_t$ ) 和单元状态 $c_t$ )。

4. 示例代码对比

LSTM 示例

import torch
import torch.nn as nn# 参数
batch_size = 3
seq_len = 5
input_size = 10
hidden_size = 20# 初始化 LSTM
lstm = nn.LSTM(input_size, hidden_size)# 输入序列数据
x = torch.randn(seq_len, batch_size, input_size)# 初始化状态
h_0 = torch.zeros(1, batch_size, hidden_size)  # 初始隐状态
c_0 = torch.zeros(1, batch_size, hidden_size)  # 初始单元状态# 直接处理整个序列
output, (h_n, c_n) = lstm(x, (h_0, c_0))print("每时间步输出:", output.shape)  # [seq_len, batch_size, hidden_size]
print("最终隐状态:", h_n.shape)      # [1, batch_size, hidden_size]
print("最终单元状态:", c_n.shape)    # [1, batch_size, hidden_size]

LSTMCell 示例

import torch
import torch.nn as nn# 参数
batch_size = 3
seq_len = 5
input_size = 10
hidden_size = 20# 初始化 LSTMCell
lstm_cell = nn.LSTMCell(input_size, hidden_size)# 输入序列数据
x = torch.randn(seq_len, batch_size, input_size)# 初始化状态
h_t = torch.zeros(batch_size, hidden_size)  # 初始隐状态
c_t = torch.zeros(batch_size, hidden_size)  # 初始单元状态# 手动逐时间步处理
for t in range(seq_len):h_t, c_t = lstm_cell(x[t], (h_t, c_t))print(f"时间步 {t+1} 的隐状态: {h_t.shape}")  # [batch_size, hidden_size]

5. LSTM 和 LSTMCell 的选择

使用场景	建议选用
需要快速实现标准序列任务	LSTM：直接传递整个序列，更高效简洁。
需要灵活处理序列	LSTMCell：逐步控制输入，适合复杂任务。
序列长度动态变化	LSTMCell：逐时间步处理，更灵活。
多任务联合建模	LSTMCell：可以在每个时间步进行不同的计算。

6. 总结

LSTM 是完整的序列处理工具，更适合标准任务，如序列分类、时间序列预测等。
LSTMCell 是 LSTM 的基本单元，提供对每个时间步的精细控制，适合自定义任务（如动态序列长度、特殊网络结构等）。
在实践中，优先选择 LSTM，只有在需要特殊控制的场景下才使用 LSTMCell。

LSTM 和 LSTMCell

1. LSTM 和 LSTMCell 的简介 LSTM (Long Short-Term Memory): 一种特殊的 RNN（循环神经网络），用于解决普通 RNN 中梯度消失或梯度爆炸的问题。能够捕获长期依赖关系，适合处理序列数据（如自然语言、时间序列等&…...

编程日记 2025/8/3 23:08:31

【卡尔曼滤波】数据预测Prediction观测器的理论推导及应用 C语言、Python实现（Kalman Filter）

【卡尔曼滤波】数据预测Prediction观测器的理论推导及应用 C语言、Python实现（Kalman Filter） 更新以gitee为准： 文章目录数据预测概念和适用方式线性系统的适用性数据预测算法和卡尔曼滤波公式推导状态空间方程和观测器先验估计后验估计…...

编程日记 2025/7/28 13:18:48

神经网络问题之一：梯度消失（Vanishing Gradient）

梯度消失（Vanishing Gradient）问题是深度神经网络训练中的一个关键问题，它主要发生在反向传播过程中，导致靠近输入层的权重更新变得非常缓慢甚至几乎停滞，严重影响网络的训练效果和性能。图1 在深度神经网络中容易出现…...

编程日记 2025/8/3 22:57:23

【微软：多模态基础模型】（4）统一视觉模型

欢迎关注[【youcans的AGI学习笔记】](https://blog.csdn.net/youcans/category_12244543.html）原创作品【微软：多模态基础模型】（1）从专家到通用助手【微软：多模态基础模型】（2）视觉理解【微…...

编程日记 2025/8/3 9:26:35

npm | Yarn | pnpm Node.js包管理器比较与安装

一、包管理器比较参考原文链接： 2024 Node.js Package Manager 指南：npm、Yarn、pnpm 比较 — 2024 Node.js Package Manager Guide: npm, Yarn, pnpm Compared (nodesource.com) 以下是对 Node.js 的三个包管理工具 npm、Yarn 和 pnpm 的优缺点总结&am…...

编程日记 2025/7/30 23:34:39

建造者模式

什么是建造者模式？ 建造者模式（Builder Pattern）是一种设计模式，用来一步步创建复杂的对象，而不用直接去调用复杂的构造函数或手动设置大量属性。你可以： • 按步骤“搭建”对象。 • 自由选择要设置的部…...

编程日记 2025/8/2 9:38:21

Spring Boot核心概念：应用配置

Spring Boot提供了强大的配置系统，允许开发者通过配置文件轻松管理应用的配置。支持的主要配置文件格式有两种：application.properties和application.yml。 application.properties与application.yml application.properties和application.yml是Spring…...

编程日记 2025/8/2 17:10:04

linux环境安装cuda toolkit

1 全新安装如果环境中没安装过cuda版本， 这种情况下比较简单。直接在https://developer.nvidia.com/cuda-toolkit-archive选择对应版本下载安装即可。如下为安装cuda toolkit 11.8. 2 环境中已经存在其他版本这种情况下比较复杂一些。首先要确认最高支持的版…...

编程日记 2025/8/3 21:21:51

WebSocket实战，后台修改订单状态，前台实现数据变更，提供前端和后端多种语言

案例场景： 在实际的后台中需要变更某个订单的状态，在官网中不刷新页面，可以自动更新状态在前端页面实现订单状态的实时更新（不刷新页面），可以通过 WebSocket 的方式与后台保持通信，监听订单状态…...

编程日记 2025/7/31 22:33:59

实时通信协议概述：WebRTC、RTP/RTCP、RTMP、HLS 和 FLV 的比较与应用

文章目录一、协议总览二、WebRTC2.1 时序图2.2 代码示例三、RTP/RTCP3.1 时序图3.2 代码示例四、RTMP4.1 时序图4.2 代码示例五、HLS5.1 时序图5.2 代码示例六、总结一、协议总览协议/格式细节对比适用场景用法WebRTC使用 UDP 传输协议，支持 P2P 通信&#…...

编程日记 2025/8/2 23:46:47

Vue路由

目录 1. 安装 vue-router 2. 创建 Vue 项目结构 3. 配置路由 4. 在 main.js 中使用路由 5. 在 App.vue 中添加 6. 创建组件 7. 运行你的应用在 Vue.js 2 中，路由管理通常通过 vue-router 插件来实现。vue-router 是一个官方的路由管理器，允许你…...

编程日记 2025/7/31 9:48:06

uniapp开发微信小程序笔记3-全局配置、导航栏配置、tabBar配置

前言： 本文记录的是微信小程序的全局配置、导航栏配置、tabBar配置一、全局配置： 可以直接查官方文档：pages.json 页面路由 | uni-app官网，有非常详细的文档说明都是在 pages.json里面做配置的，我们可以看到已经有…...

编程日记 2025/8/1 6:48:49

Hash table类算法【leetcode】

哈希表中关键码就是数组的索引下标，然后通过下标直接访问数组中的元素那么哈希表能解决什么问题呢，一般哈希表都是用来快速判断一个元素是否出现集合里。例如要查询一个名字是否在这所学校里。要枚举的话时间复杂度是O(n)，但如果使用哈希…...

编程日记 2025/8/3 21:06:57

多算法模型（BI-LSTM GRU Mamba ekan xgboost）实现功率预测

概述本项目旨在通过结合多算法模型网络实现功率预测。包括数据处理、特征工程、模型训练、模型推理和结果输出，最终结果以 JSON 格式返回。代码地址：代码...

编程日记 2025/8/2 22:24:53

html 图片转svg 并使用svg路径来裁剪html元素

1.png转svg 工具地址: Vectorizer – 免费图像矢量化打开svg图片,复制其中的path中的d标签的路径查看生成的svg路径是否正确在线SVG路径预览工具 - UU在线工具 2.在html中使用svg路径 <svg xmlns"http://www.w3.org/2000/svg" width"318px" height…...

编程日记 2025/7/16 15:29:33

贴代码框架PasteForm特性介绍之select,selects,lselect和reload

简介 PasteForm是贴代码推出的 “新一代CRUD” ，基于ABPvNext，目的是通过对Dto的特性的标注，从而实现管理端的统一UI，借助于配套的PasteBuilder代码生成器，你可以快速的为自己的项目构建后台管理端！目前管…...

编程日记 2025/7/29 22:51:58

【Redis】实现异步秒杀功能

一、将判断条件提前缓存到redis中将判断条件缓存到redis中，如果判断成功直接操作redis中的数据，然后将数据写入redis，如果成功返回一个值。然后根据这个值判断是否成功，如果成功把用户id，优惠卷id，订单id存…...

编程日记 2025/7/31 16:12:45

React的API✅

createContext createContext要和useContext配合使用，可以理解为 “React自带的redux或mobx” ，事实上redux就是用context来实现的。但是一番操作下来我还是感觉，简单的context对视图的更新的细粒度把控比不上mobx，除非配合memo等…...

编程日记 2025/8/1 1:33:17

2024亚太杯数学建模C题【Development Analyses and Strategies for Pet Industry 】思路详解

C：宠物行业及相关产业的发展分析与战略随着人们消费观念的发展，宠物行业作为一个新兴产业，正在全球范围内逐渐积聚势头，这得益于快速的经济发展和人均收入的提高。1992年，中国小动物保护协会成立，随后1993…...

编程日记 2025/8/2 18:28:18

使用Notepad++工具去除重复行

使用Notepad工具去除重复行参考链接：https://blog.csdn.net/londa/article/details/108981396 一、使用正则表达式 1、对文本进行排序，让重复行排在一起 2、使用正则表达式替换（注意）^(.*?)$\s?^(?.*^\1$) 在替换时选择正…...

编程日记 2025/7/17 1:22:11

Three.js + AI：AI 算法生成 3D 萤火虫飞舞效果~

AI 驱动 3D 动画大家好，我是石小石！随着 Web 技术的发展，Three.js 成为构建 3D 图形和动画的主流工具。与此同时，人工智能（AI）在图像处理、动作生成等领域表现出强大能力。将 AI 与 Three.js 结合&#x…...

编程日记 2025/8/3 7:19:52

VScode clangd插件安装

前提在VScode中写C代码时，总会用到 C/C 这个插件，也就自然而然地使用了这个插件带来的代码跳转和代码提示功能。但是当代码变地很多时，就会变得非常慢。所以经过调查后弃用C/C 插件的这个功能，使用 clangd 这个插件来提示C代码和…...

编程日记 2025/7/30 15:26:22

Swift从0开始学习对象和类 day3

类（Class） 是一种类型或模板，描述了对象的特征和行为。对象（Object） 是类的实例，实际的实体，拥有自己的数据。新入门的教学都喜欢用“人”来举例为类，在这里我也用“人”吧 //&…...

编程日记 2025/7/29 13:49:55

1.使用nmcli添加静态网络连接 nmcli con add con-name static-addr \ ifname eth0 type ethernet ipv4.method manual ipv4.dns 172.25.250.220 \ ipv4.addresses 172.25.250.10/24 ipv4.gateway 172.25.250.254 命令概述这是一条使用 nmcli（NetworkManager 命令…...

编程日记 2025/8/3 5:33:39

RabbitMQ实现异步下单与退单

前言： 在电商项目中的支付模块也是一个很重要的模块，其中下订操作以及退订操作就是主要的操作。其次的下单是同步下单，也就是第三方支付、数据库扣减、积分增加、等等其他业务操作，等待全部执行完毕后向用户返回成功响应请求。对…...

编程日记 2025/8/2 18:53:40

[Python] 编程入门：理解变量类型

文章目录 [toc] 整数常见操作浮点数字符串字符串中混用引号问题字符串长度计算字符串拼接布尔类型动态类型特性类型转换结语收录专栏：[Python] 在编程中，变量是用于存储数据的容器，而不同的变量类型则用来存储不同种类的数据。Python 与 C…...

编程日记 2025/7/28 21:09:43

C++ —— 剑斩旧我破茧成蝶—C++11

江河入海，知识涌动，这是我参与江海计划的第2篇。目录 1. C11的发展历史 2. 列表初始化 2.1 C98传统的{} 2.2 C11中的{} 2.3 C11中的std::initializer_list 3. 右值引用和移动语义 3.1 左值和右值 3.2 左值引用和右值引用 3.3 引用延长生命周期…...

编程日记 2025/8/3 1:15:41

Perl 简介

Perl 简介 Perl 是一种高级、通用、解释型、动态编程语言。由 Larry Wall 于 1987 年首次发布，它结合了 C、sed、awk 和 shell 脚本语言的特性。Perl 最初被设计用于文本处理，如报告生成和文件转换，但随着时间的推移，它已经发展成…...

编程日记 2025/8/2 23:05:56

Transformer中的Self-Attention机制如何自然地适应于目标检测任务

Transformer中的Self-Attention机制如何自然地适应于目标检测任务： 特征图的降维与重塑首先，Backbone（如ResNet、VGG等）会输出一个特征图，这个特征图通常具有较高的通道数、高度和宽度（例如CHW&#xff…...

编程日记 2025/8/2 11:40:52

【Linux篇】初学Linux，如何快速搭建Linux开发环境

文章目录前言1. Linux背景介绍1.1 UNIX的发展历史1.2 Linux的发展历史 2. 企业应用现状3. 开源3.1 探索Linux源代码3.2 开源 VS 闭源 4. Linux的版本4.1 技术线4.2 商业产品线 5. os概念，定位6. 搭建Linux环境6.1 Linux环境的搭建方式6.2 购买云服务器 7. 使用XShe…...

编程日记 2025/8/2 13:33:31

竞赛思享会 | 2024年第十届数维杯国际数学建模挑战赛D题【代码+演示】

Hello，这里是Easy数模！以下idea仅供参考，无偿分享！ 题目背景本题旨在通过对中国特定城市的房产、人口、经济、服务设施等数据进行分析，评估其在应对人口老龄化、负增长趋势和极端气候事件中的韧性与可持续发展能力。…...

编程日记 2025/8/1 13:07:28

vim 使用技巧

使用技巧正常模式（Normal Mode）插入模式（Insert Mode）命令模式（Command Mode） vim常用三种模式包括正常模式，插入模式，命令模式。正常模式（Normal Mode） 进…...

编程日记 2025/7/30 7:39:57

CSS-flex布局

flex常用语法 display: flex 父级元素相关 flex-direction 主轴方向【水平方向（默认）、垂直方向】justify-content 主轴上的对齐方式【flex-end结束对齐、space-between两端对齐、center】align-items 交叉轴的对齐方式【center、flex-end】flex-wrap…...

编程日记 2025/7/28 20:49:02

小R的随机播放顺序

问题描述小R有一个特殊的随机播放规则。他首先播放歌单中的第一首歌，播放后将其从歌单中移除。如果歌单中还有歌曲，则会将当前第一首歌移到最后一首。这个过程会一直重复，直到歌单中没有任何歌曲。例如，给定歌单 [5, 3, 2, 1,…...

编程日记 2025/7/31 20:03:06

docker常见命令

1.启动容器 docker run 运行容器 docker run -d 守护线程运行容器 docker run -p 80:80 指定端口运行容器，左侧为服务器端口，右侧为容器端口 docker run --rm 停止容器后销毁 docker --name 指定容器名称 2.停止容器 docker stop (id/name) …...

编程日记 2025/8/2 17:05:37

C语言-指针作为函数返回值及二级指针

1、指针作为函数返回值 c语言允许函数的返回值是一个指针（地址）我们将这样的函数称为指针函数，下面的例子定义一了一个函数strlong（），用来返回两个字符串中较长的一个： 1. #include <stdio…...

编程日记 2025/8/1 16:10:41

kotlin

参考资料： 参考资料 1、kotlin编译原理是先编译为class文件，再在java 虚拟机上执行2、变量 var 1 变量 val 2 常量 kotlin存在类型推导机制 var c:Int 1kotlin不存在基本类型，将全部使用对象类型3、函数 fun test(){}fun add(a:Int,b Int…...

编程日记 2025/8/3 12:10:00

【STM32】USART串口数据包

数据包的作用是将一个个单独的数据打包起来，方便进行多字节的数据通信数据包格式 HEX数据包文本数据包数据包接收 HEX数据包接收（固定包长） 文本数据包接收（可变包长） 串口收发HEX数据包接线图 Serial模块 se…...

编程日记 2025/8/2 2:21:23

开源TTS语音克隆神器GPT-SoVITS_V2版本地整合包部署与远程使用生成音频

文章目录前言1.GPT-SoVITS V2下载2.本地运行GPT-SoVITS V23.简单使用演示4.安装内网穿透工具4.1 创建远程连接公网地址 5. 固定远程访问公网地址前言本文主要介绍如何在Windows系统电脑使用整合包一键部署开源TTS语音克隆神器GPT-SoVITS，并结合cpolar内网穿透工…...

编程日记 2025/8/3 0:30:29

echarts 图表resize() 报错Cannot read properties of undefined (reading ‘type‘)

原因是我使用了this.trainChart来接收数据，应该使用let或者var定义trainChart，就不会出现错误了。错误代码如下： 原本定义的echarts export default {data() {return {: null}} }现在 var trainChart null export default { }...

编程日记 2025/8/3 21:20:35

寻的制导律：从理论到应用的全景展示（下）

寻的制导律：从理论到应用的全景展示（下） 第六章制导系统设计与实现在制导系统的设计与实现过程中，系统需求分析、硬件与软件架构设计以及实现与测试方法是关键的三个环节。通过系统化的方法论，可以确保制导系统在复…...

编程日记 2025/7/30 13:53:20

ChatGPT 与其他 AI 技术在短视频营销中的技术应用与协同策略

摘要： 本文深入探讨了 ChatGPT 及其他 AI 技术在短视频营销中的应用。从技术层面剖析了这些技术如何助力短视频内容创作、个性化推荐、用户互动以及营销效果评估等多方面，通过具体方法分析、数据引用与大模型工具介绍，旨在为短视频营销领域提…...

编程日记 2025/8/1 5:25:01

使用PSpice进行第一个电路的仿真

1、单击【开始】菜单，选择【OrCAD Capture CIS Lite】。 2、单击【File】>【New】>【Project】。 3、①填入Name下面的文本框（提示：项目名称不要出现汉字）； ②选择【Analog or Mixed A/D】； ③单击【…...

编程日记 2025/7/31 9:52:05

SparkSQL 对 SQL 查询的优化静态优化和动态优化两大部分介绍

SparkSQL 对 SQL 查询的优化主要分为静态优化和动态优化两大部分，其中静态优化主要在查询编译时进行，而动态优化则是在查询执行过程中进行。SparkSQL 的优化包括了多种技术，例如 RBO（基于规则的优化）、CBO&#xf…...

编程日记 2025/7/30 7:40:09

Android 网络请求（二）OKHttp网络通信

学习笔记 OkHttp 是一个非常强大且流行的 HTTP 客户端库，广泛用于 Android 开发中进行网络请求。与 HttpURLConnection 相比，OkHttp 提供了更简单、更高效的 API，特别是在处理复杂的 HTTP 请求时。如何使用 OkHttp 进行网络请求以下是使…...

编程日记 2025/8/3 18:31:14

游戏引擎学习第15天

视频参考:https://www.bilibili.com/video/BV1mbUBY7E24 关于游戏中文件输入输出（IO）操作的讨论。主要分为两类： 只读资产的加载这部分主要涉及游戏中用于展示和运行的只读资源，例如音乐、音效、美术资源（如 3D 模型和…...

编程日记 2025/7/31 3:52:46

【机器学习】聚类算法原理详解

聚类算法性能度量： 外部指标 jaccard系数（简称JC）FM指数（简称FMI）Rand指数（简称RI） 内部指标 DB指数（简称DBI）Dunn指数（简称DI） 距离计算&am…...

编程日记 2025/8/3 13:00:48

android 使用MediaPlayer实现音乐播放--基础介绍

Android 多媒体框架支持播放各种常见媒体类型，因此可轻松地将音频、视频和图片集成到您的应用中。你可以播放音频或从存储在应用资源（原始资源）的媒体文件（原始资源）中获取独立文件或从通过网络连接到达的数据流中&…...

编程日记 2025/8/3 14:25:26

【人工智能】PyTorch、TensorFlow 和 Keras 全面解析与对比：深度学习框架的终极指南

文章目录 PyTorch 全面解析2.1 PyTorch 的发展历程2.2 PyTorch 的核心特点2.3 PyTorch 的应用场景 TensorFlow 全面解析3.1 TensorFlow 的发展历程3.2 TensorFlow 的核心特点3.3 TensorFlow 的应用场景 Keras 全面解析4.1 Keras 的发展历程4.2 Keras 的核心特点4.3 Keras 的应用…...

编程日记 2025/7/29 18:14:54

transformer.js（二）：关于pipe管道的一切

前面的章节 transformer.js（一）：这个前端大模型运行框架的可运行环境、使用方式、代码示例以及适合与不适合的场景介绍了transformer.js的应用场景。 pipe 管道（Pipeline） 作为 Transformer.js 的核心功能之一&#xf…...

编程日记 2025/8/1 21:31:44