🧠AI 冷知识
你知道吗？
这些有趣的 AI 小知识可能让你大吃一惊
😲
前馈网络的密集连接DenseNet(2017)提出了一个大胆的想法：每一层都接收之前所有层的特征图作为输入。对于一个L层的网络，传统网络有L个连接，而DenseNet有L(L+1)/2个连接——看起来复杂得多。但反直觉的是，DenseNet的参数量比ResNet还少，因为每层不需要重复学习已有特征——它直接复用前面所有层的输出。DenseNet的另一个好处是梯度流动更好：每一层都有一条直达损失函数的短路径，梯度不需要穿越很多层。它的生长率(growth rate)通常很小(如32)，每层只产生少量新特征图，但累积起来非常强大。
来源：Huang et al., "Densely Connected Convolutional Networks", CVPR 2017
一句话总结
💡
DenseNet 通过密集连接让每层都接收前面所有层的特征，促进特征复用和梯度流动。
常见误区
这些坑别踩
✗
误区 1
DenseNet 每层和相邻层连接。
✓
正确理解
它是密集连接，每层与所有前层相连，特征通道拼接。
✗
误区 2
DenseNet 参数比 ResNet 多。
✓
正确理解
由于特征复用每层很窄，参数量通常比 ResNet 少。
✗
误区 3
密集连接没有实际好处。
✓
正确理解
特征复用减少冗余，梯度流动更好，常需较少参数达同等效果。