知了AI学习平台Logo知了
🧠AI 冷知识

你知道吗?

这些有趣的 AI 小知识可能让你大吃一惊

📜
历史

自监督学习的演进可以用一条主线概括:从"人为设计任务"(拼图、旋转)到"对比学习"(SimCLR、MoCo)再到"掩码重建"(MAE)。每一次范式转移都让方法更简单、更通用。2024 年的趋势是多模态统一——CLIP 让图文共享表征,MAE 让视觉自监督超越监督学习,REPA 让生成和理解对齐。一个有趣的观察:NLP 的自监督(掩码语言建模 BERT)比 CV 早了 4 年,但 CV 追赶速度惊人——如今两者的方法论已经趋于统一,都是"遮住一部分,猜另一部分"。

一句话总结
💡

自监督学习从对比到掩码再到多模态对齐不断演进,已成为大规模预训练的主流范式,减少对标注的依赖。

常见误区

这些坑别踩

✗

误区 1

自监督已无突破空间。

✓

正确理解

防坍缩、多模态融合、效率等仍是活跃研究方向。

✗

误区 2

自监督表征一定比监督好。

✓

正确理解

二者各有所长,监督在有标注域常更优,需按场景选择。

✗

误区 3

自监督不需要评估。

✓

正确理解

需通过线性探测、微调和下游任务系统评估表征质量。