🧠AI 冷知识
你知道吗？
这些有趣的 AI 小知识可能让你大吃一惊
✨
空间丢弃的智慧在卷积层中使用标准Dropout效果不佳，因为CNN的特征图有强烈的空间相关性——相邻像素高度相关，丢弃单个神经元几乎不影响整体输出。Spatial Dropout(空间丢弃)直接丢弃整个特征图(整个通道)，强迫网络不依赖单一通道。更进一步，Cutout随机遮挡图像的一个矩形区域，让模型学会从部分信息推断整体。这些技巧的共同目标都是防止网络"偷懒"依赖某个局部特征，强迫它学习更鲁棒的表示。有趣的是，随着BatchNorm和数据增强的普及，Dropout在CNN中的重要性已大幅下降——现代架构如ResNet几乎不用Dropout。
来源：Tompson et al., "Efficient Object Localization Using Convolutional Networks", 2015
一句话总结
💡
Dropout 在训练时随机失活部分神经元，迫使网络不过度依赖特定单元，起到正则化防过拟合作用。
常见误区
这些坑别踩
✗
误区 1
Dropout 在推理时也随机失活。
✓
正确理解
推理时用全部神经元（通常缩放权重补偿），不随机失活。
✗
误区 2
Dropout 率越高正则化越强越好。
✓
正确理解
过高会欠拟合，需根据任务调节典型 0.2-0.5。
✗
误区 3
Dropout 和 BatchNorm 随意叠加。
✓
正确理解
二者可能相互干扰，需注意组合使用的最佳实践。