🧠AI 冷知识
你知道吗？
这些有趣的 AI 小知识可能让你大吃一惊
😲
反直觉BYOL (Bootstrap Your Own Latent) 是自监督学习中最"反直觉"的突破——它完全不用负样本，却学到了比对比学习更好的表征。传统对比学习需要负样本来防止"坍缩"(所有输出变成同一个向量)，BYOL 用"预测任务"加"stop-gradient"巧妙地避免了坍缩。讽刺的是，后来有研究指出 BYOL 之所以不坍缩，可能是因为 BatchNorm 隐含了对比信息——去掉 BatchNorm 后 BYOL 确实会坍缩。一个"理论上说不通"的方法在实践中大获成功，又在理论上被"打脸"——这正是深度学习研究的常态。
来源：Grill et al., "Bootstrap Your Own Latent: A New Approach to Self-Supervised Learning", NeurIPS 2020
一句话总结
💡
BYOL 无需负样本，通过在线网络预测目标网络表示并通过 stop-gradient 防止坍缩，实现自监督学习。
常见误区
这些坑别踩
✗
误区 1
没有负样本 BYOL 会坍缩。
✓
正确理解
stop-gradient 和 EMA 目标网络等设计有效防止坍缩，证明负样本非必需。
✗
误区 2
BYOL 和 SimCLR 效果一样。
✓
正确理解
BYOL 对 batch size 不敏感且不需负样本，训练更简单。
✗
误区 3
BYOL 的预测器可有可无。
✓
正确理解
预测器是防止坍缩的关键组件之一，不可省略。