🧠AI 冷知识
你知道吗？
这些有趣的 AI 小知识可能让你大吃一惊
😲
反直觉SimCLR 的成功有三个关键发现，每个都反直觉。第一，数据增强越强越好——同时用裁剪+颜色扰动+高斯模糊的效果远好于单用裁剪。第二，需要一个"投影头"(MLP)把特征投影到对比空间，但下游任务用的是投影前的特征而非投影后的——投影头像一个"翻译器"，让对比损失更有效但本身不携带可迁移的特征。第三，batch size 越大越好——SimCLR 在 batch size=4096 时效果最佳，这催生了 MoCo 来解决显存瓶颈。这三个发现奠定了整个对比学习领域的基础。
来源：Chen et al., "A Simple Framework for Contrastive Learning of Visual Representations", ICML 2020
一句话总结
💡
SimCLR 通过强数据增强构造正对、大 batch 负样本和投影头，以 NT-Xent 损失学习强视觉表征。
常见误区
这些坑别踩
✗
误区 1
SimCLR 不需要投影头。
✓
正确理解
投影头是关键，在投影空间做对比而保留表示空间的判别力。
✗
误区 2
batch size 对 SimCLR 影响不大。
✓
正确理解
SimCLR 依赖大 batch 提供足够负样本，batch 小效果显著下降。
✗
误区 3
任何增强都适合 SimCLR。
✓
正确理解
增强策略影响极大，颜色抖动等对效果关键，需精心设计。