🧠AI 冷知识
你知道吗?
这些有趣的 AI 小知识可能让你大吃一惊
📜
历史自监督学习的演进可以用一条主线概括:从"人为设计任务"(拼图、旋转)到"对比学习"(SimCLR、MoCo)再到"掩码重建"(MAE)。每一次范式转移都让方法更简单、更通用。2024 年的趋势是多模态统一——CLIP 让图文共享表征,MAE 让视觉自监督超越监督学习,REPA 让生成和理解对齐。一个有趣的观察:NLP 的自监督(掩码语言建模 BERT)比 CV 早了 4 年,但 CV 追赶速度惊人——如今两者的方法论已经趋于统一,都是"遮住一部分,猜另一部分"。
一句话总结
💡
自监督学习从对比到掩码再到多模态对齐不断演进,已成为大规模预训练的主流范式,减少对标注的依赖。
常见误区
这些坑别踩
✗
误区 1
自监督已无突破空间。
✓
正确理解
防坍缩、多模态融合、效率等仍是活跃研究方向。
✗
误区 2
自监督表征一定比监督好。
✓
正确理解
二者各有所长,监督在有标注域常更优,需按场景选择。
✗
误区 3
自监督不需要评估。
✓
正确理解
需通过线性探测、微调和下游任务系统评估表征质量。