LSTM 门控机制动画
展示 LSTM 如何通过遗忘门、输入门、输出门三条门控回路精细控制细胞状态的读写与更新。
Long Short-Term Memory (LSTM)
LSTM 单元的核心是一条贯穿所有时间步的细胞状态 C_t（顶部水平线），它是信息的"传送带"。
LSTM门控: 遗忘门输入门输出门公式
从RNN的梯度消失问题出发，推导LSTM三个门控和细胞状态的更新公式。
遗忘门
关键部分
遗忘门决定从上一时刻细胞状态中保留多少信息，\sigma 输出0到1之间的值，1为完全保留，0为完全遗忘。
LSTM 长短期记忆网络
LSTM 通过三个门控机制解决 RNN 的梯度消失问题，能够捕捉长距离依赖关系。
RNN vs LSTM vs GRU 对比
循环神经网络的三种主要变体，在处理长序列依赖方面能力不同。
| 对比项 | RNN | LSTM | GRU |
|---|---|---|---|
| 门控数量 | 无门控 | 3个（遗忘/输入/输出） | 2个（重置/更新） |
| 细胞状态 | 无 | 有（独立cell state） | 无（合并到hidden） |
| 参数量 | 最少 | 最多 | 中等（约为LSTM的3/4）⭐ |
| 长程依赖 | 差（梯度消失） | 优秀⭐ | 良好 |
| 训练速度 | 最快 | 最慢 | 较快⭐ |
| 内存消耗 | 最低 | 最高 | 中等 |
| 适用序列长度 | 短序列(<20) | 长序列(>100) | 中长序列(20-100) |
| 表现稳定性 | 不稳定 | 稳定 | 稳定且高效⭐ |
你知道吗？
这些有趣的 AI 小知识可能让你大吃一惊
LSTM的遗忘门初始偏置通常设为较大的正值(如1.0)，让遗忘门默认处于"打开"状态——这鼓励信息在长序列中保持流动，是LSTM能学到长距离依赖的关键工程技巧。
LSTM的"细胞状态"像一条贯穿所有时间步的传送带，信息可以几乎无损地流动。三个门(遗忘门、输入门、输出门)像传送带上的检查站，决定什么信息该保留、什么该遗忘、什么该输出。
LSTM通过输入门、遗忘门和输出门控制信息的读写，有效缓解RNN的梯度消失问题，适合学习长程依赖。
这些坑别踩
误区 1
LSTM完全解决了梯度消失问题。
正确理解
LSTM显著缓解了梯度消失，能在更长的序列上保留信息，但并非完全解决，超长序列仍可能信息丢失，且梯度爆炸仍需梯度裁剪。
误区 2
LSTM的三个门作用相同可以合并。
正确理解
输入门、遗忘门、输出门各有不同功能：遗忘门决定丢弃什么、输入门决定写入什么、输出门决定输出什么，缺一不可，是LSTM有效性的关键。
章节练习与面试准备
通过测试检验学习效果，通过面试题提升实战能力
章末测试
共 4 题 · 选择题
LSTM 引入门控机制主要是为了解决什么问题？
LSTM 的三个门分别是？
LSTM 中细胞状态（cell state）的作用是？
关于 LSTM 与普通 RNN 的区别，下列说法正确的是？
面试经典题
共 5 题 · 先思考再看答案
请介绍 RNN 的基本原理及它适合处理的任务类型。
RNN 为什么会出现梯度消失和梯度爆炸？
请详细说明 LSTM 的结构及三个门的作用。
比较 GRU 与 LSTM 的异同，各自有何优劣？
LSTM 是如何从数学上缓解梯度消失的？请结合细胞状态分析。
💡 建议：先独立思考并组织语言，再对照参考答案查漏补缺