🧠AI 冷知识
你知道吗？
这些有趣的 AI 小知识可能让你大吃一惊
⏳
时间展开BPTT(沿时间反向传播)把RNN展开成一个深层前馈网络后做标准反向传播。处理100个时间步的序列，相当于训练一个100层的网络——这就是RNN梯度消失和爆炸的根本原因。梯度裁剪可以防爆，但梯度消失至今没有完美解法，直到Transformer用注意力替代了循环。
一句话总结
💡
BPTT(沿时间反向传播)是RNN的反向传播算法，通过展开计算图沿时间维度反向传递梯度。
常见误区
这些坑别踩
✗
误区 1
BPTT和普通反向传播完全一样。
✓
正确理解
BPTT需要沿时间维度展开并累积梯度，计算图随序列长度增长，内存开销大，且长序列易梯度消失/爆炸，需要截断BPTT等技巧。
✗
误区 2
序列越长BPTT效果越好。
✓
正确理解
序列过长会导致梯度消失或爆炸、计算和内存开销激增，实践中常用截断BPTT(truncated BPTT)限制展开长度来平衡。
巩固练习
章节练习与面试准备
通过测试检验学习效果，通过面试题提升实战能力
章末测试
共 4 题 · 选择题
1
BPTT（Backpropagation Through Time）的核心思想是？
2
RNN 中梯度消失的根本原因是？
3
关于梯度爆炸，下列说法正确的是？
4
下列哪种方法不能有效缓解 RNN 的梯度消失问题？
面试经典题
共 4 题 · 先思考再看答案
1
中等
请解释 BPTT（随时间反向传播）的工作原理，并说明它与传统反向传播的区别。
2
困难
从数学角度分析 RNN 为什么会出现梯度消失和梯度爆炸。
3
中等
有哪些方法可以缓解 RNN 的梯度消失与爆炸？分别说明原理。
4
困难
什么是截断 BPTT（truncated BPTT）？它有什么优缺点？
💡 建议：先独立思考并组织语言，再对照参考答案查漏补缺