算法动画 · 神经网络
ResNet 残差连接动画
展示 ResNet 如何通过跳跃连接解决深度网络的梯度消失问题，实现超百层网络训练。
ResNet (Residual Network)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
未激活·当前高亮（6 个元素）
1
传统深层网络面临退化问题：层数增加反而导致训练误差升高，梯度在反向传播中逐渐消失。
第 1 步 / 共 714%
🧠AI 冷知识
你知道吗？
这些有趣的 AI 小知识可能让你大吃一惊
📜
152层的奇迹ResNet(2015)把网络从VGG的19层一举推进到152层，训练误差反而更低——这打破了"越深越难训练"的魔咒。何恺明的洞察是"恒等映射"问题：如果一层最优的函数是"什么都不做"(恒等映射)，那么学习F(x)=0比学习H(x)=x容易得多。残差连接让网络学习"残差"F(x)而非完整映射H(x)=F(x)+x。一个惊人的事实：ResNet-152有6020万参数，比VGG-16的1.38亿少了一半多——因为ResNet大量使用1×1卷积降维，而VGG的参数几乎全在三个4096维的全连接层里。最深的实验版ResNet超过1000层，虽然实际收益递减。
来源：He et al., "Deep Residual Learning for Image Recognition", CVPR 2016
一句话总结
💡
ResNet 通过残差连接让输入直接加到输出，使超深网络可训练，解决深度网络的梯度退化问题。
常见误区
这些坑别踩
✗
误区 1
残差连接只是简单相加没用。
✓
正确理解
它提供恒等映射捷径使梯度直达浅层，是训练上百层网络的关键。
✗
误区 2
网络越深一定越好。
✓
正确理解
过深可能过拟合且收益递减，需配合残差和瓶颈设计。
✗
误区 3
ResNet 的残差块学习完整映射。
✓
正确理解
残差块学习的是残差（输出-输入），更易优化。