当前位置：首页 > news >正文

LSTM长短期记忆网络

news 来源：原创 2025/6/16 4:06:45

LSTM（长短期记忆网络）数学原理

LSTM（Long Short-Term Memory）是一种特殊的递归神经网络（RNN），解决了标准RNN中存在的梯度消失（Vanishing Gradient） 和**梯度爆炸（Exploding Gradient）**问题。它由 Hochreiter 和 Schmidhuber 在1997年提出，广泛应用于处理序列数据，如自然语言处理、时间序列预测等。

1. LSTM 的基本结构

LSTM的核心是引入了一个记忆单元（Memory Cell）和三个主要的门控机制，分别是：

遗忘门（Forget Gate）：决定是否丢弃之前的记忆。
输入门（Input Gate）：决定当前输入的信息是否加入记忆单元。
输出门（Output Gate）：决定从记忆单元输出多少信息到下一时刻的隐藏状态。

通过这些门控机制，LSTM能够选择性地保留重要的信息，抑制不重要的信息，进而解决长期依赖问题。

2. 数学原理与公式

在时间步 $t$ ，LSTM 主要包含以下数学操作：

2.1 遗忘门（Forget Gate）

遗忘门决定记忆单元中哪些信息需要被保留，哪些信息需要被丢弃。它通过Sigmoid激活函数实现，输出范围在 $[0, 1]$ 。

$f_t = \sigma(W_f \cdot [h_{t-1}, x_t] + b_f)$

$f_t$ ：遗忘门的输出向量（维度与记忆单元相同）
$W_f$ ：遗忘门的权重矩阵
$h_{t-1}, x_t$ ：将前一时刻的隐藏状态 $h_{t-1}$ 和当前输入 $x_t$ 进行拼接
$b_f$ ：遗忘门的偏置向量
$\sigma$ ：Sigmoid激活函数，输出在 $(0, 1)$ 之间

2.2 输入门（Input Gate）

输入门决定当前输入的信息如何更新到记忆单元中，包括两个步骤：

候选记忆单元：通过 $\tanh$ 激活函数生成候选记忆。
输入门：通过 Sigmoid 决定候选记忆是否加入当前的记忆单元。

$i_t = \sigma(W_i \cdot [h_{t-1}, x_t] + b_i)$
$\tilde{C}_t = \tanh(W_C \cdot [h_{t-1}, x_t] + b_C)$

$i_t$ ：输入门的输出范围 $(0 - 1)$
$\tilde{C}_t$ ：候选记忆单元
$W_i, W_C$ ：输入门和候选记忆的权重矩阵
$b_i, b_C$ ：偏置向量

2.3 更新记忆单元

当前时刻的记忆单元 $C_t$ 是由以下两个部分组成的：

遗忘门决定丢弃多少旧记忆 $C_{t-1}$ 。
输入门决定增加多少候选记忆 $\tilde{C}_t$ 。

$C_t = f_t \odot C_{t-1} + i_t \odot \tilde{C}_t$

$C_t$ ：当前时刻的记忆单元
$f_t \odot C_{t-1}$ ：保留的旧记忆
$i_t \odot \tilde{C}_t$ ：添加的候选记忆
$\odot$ ：逐元素乘法（Hadamard积）

2.4 输出门（Output Gate）

输出门决定从记忆单元中输出多少信息，并通过 $\tanh$ 激活函数进一步处理：

$o_t = \sigma(W_o \cdot [h_{t-1}, x_t] + b_o)$
$h_t = o_t \odot \tanh(C_t)$

$o_t$ ：输出门的输出范围 $(0 - 1)$
$h_t$ ：当前时刻的隐藏状态，也是LSTM的输出
$W_o$ ：输出门的权重矩阵
$b_o$ ：输出门的偏置向量
$tanh(C_t)$ ：将记忆单元中的信息压缩到 $[- 1, 1]$

3. LSTM 的工作流程总结

输入当前时刻的数据 $x_t$ 和前一时刻的隐藏状态 $h_{t-1}$ 、记忆单元 $C_{t-1}$ 。
遗忘门：决定丢弃多少旧记忆。
输入门：决定当前输入的信息如何加入记忆单元。
更新记忆单元 $C_t$ ：根据遗忘门和输入门进行更新。
输出门：决定当前时刻的隐藏状态 $h_t$ 输出多少信息。
传播到下一时刻： $h_t$ 和 $C_t$ 被传递给下一时间步。

4. 解决梯度消失与爆炸问题

LSTM 解决了传统 RNN 的梯度消失问题，主要依靠 记忆单元 和 门控机制：

记忆单元 $C_t$ ：通过逐元素加法（避免梯度多次相乘），使得记忆信息能够长期保存。
门控机制：通过遗忘门和输入门的动态调整，能够控制信息的流动，保留有用的信息，抑制无关的信息。
激活函数：在遗忘门、输入门和输出门中使用 Sigmoid 函数，保证输出在 $(0, 1)$ 之间，防止梯度爆炸。

5. LSTM 与标准 RNN 的对比

特点	标准RNN	LSTM
结构	简单隐藏层	引入记忆单元与门控机制
梯度问题	容易梯度消失或爆炸	能有效缓解梯度消失/爆炸问题
长时依赖问题	无法捕捉长期依赖	能有效学习长时依赖
计算复杂度	低	相对较高

6. LSTM 的应用场景

自然语言处理（NLP）：文本分类、语言建模、机器翻译等。
时间序列预测：股票价格、天气预测等。
语音识别：连续语音识别任务。
视频分析：视频帧之间的序列建模。
生成任务：文本生成、音乐生成等。

7. 小结

LSTM通过引入记忆单元和门控机制，解决了标准RNN在长时依赖任务中的梯度消失问题。其核心包括遗忘门、输入门和输出门，动态控制信息的流动与保留，从而实现高效的序列建模。

如果你喜欢这篇文章，请点赞、评论和收藏！😊