知了AI学习平台Logo知了
🧠AI 冷知识

你知道吗?

这些有趣的 AI 小知识可能让你大吃一惊

🔄
权重共享的秘密

RNN在所有时间步共享同一组参数——无论序列多长,参数量不变。这意味着RNN本质上是"一个网络被展开很多次",而非"很多个网络串联"。这种设计让它可以处理任意长度的序列,但也埋下了梯度消失的隐患:梯度要穿越所有时间步的同一组权重。

一句话总结
💡

RNN在每个时间步接收当前输入和上一时刻隐藏状态,计算新的隐藏状态和输出,权重在各时间步共享。

常见误区

这些坑别踩

✗

误区 1

每个时间步的RNN权重不同。

✓

正确理解

RNN的核心特点是权重在所有时间步共享,这不仅减少参数量,还使模型能处理变长序列,不同时间步用的是同一组参数。

✗

误区 2

隐藏状态和输出是同一个东西。

✓

正确理解

隐藏状态是内部记忆,输出是经过输出层变换的结果,两者通常不同,隐藏状态可能维度与输出不同,可以有多对一、一对多等不同结构。

巩固练习

章节练习与面试准备

通过测试检验学习效果,通过面试题提升实战能力

章末测试

共 4 题 · 选择题

1

标准 RNN 在时间步 t 的隐藏状态更新公式为?

2

"RNN 沿时间展开"(unfolding/unrolling)的含义是?

3

在 RNN 的输出层,若要做序列分类,通常如何处理隐藏状态?

4

关于 RNN 前向计算中的激活函数选择,下列说法正确的是?

面试经典题

共 4 题 · 先思考再看答案

1
基础

请写出标准 RNN 的前向计算公式,并解释每个符号的含义。

2
中等

解释 RNN 的"时间展开"图,并说明它如何帮助理解前向与反向传播。

3
困难

RNN 的隐藏状态 h_t 是否等价于对历史输入的某种"加权求和"?请分析。

4
中等

在序列到序列(如分类、生成)任务中,RNN 的输入输出有哪些常见对齐方式?

💡 建议:先独立思考并组织语言,再对照参考答案查漏补缺