🧠AI 冷知识
你知道吗？
这些有趣的 AI 小知识可能让你大吃一惊
🔮
JEPA联合嵌入预测Yann LeCun的JEPA架构刻意不预测像素——他认为逐像素预测就像试图预测沙滩上每一粒沙的位置,而非理解"这是一片沙滩"。这种哲学主张AI应该在抽象表征层面预测,而非陷入像素细节的泥潭。
一句话总结
💡
JEPA 在嵌入空间预测目标表示而非像素，通过非对比的自监督学习学到抽象且不变的表征。
常见误区
这些坑别踩
✗
误区 1
JEPA 和对比学习一样需要负样本。
✓
正确理解
JEPA 是非对比方法，靠预测目标和防止表示坍缩的机制（如 EMA、正则）学习。
✗
误区 2
JEPA 预测像素更直接更好。
✓
正确理解
像素级预测易陷入细节而忽略抽象语义，嵌入预测更高效。
✗
误区 3
JEPA 不会坍缩。
✓
正确理解
JEPA 仍需防止表示坍缩的设计，如掩码和维度预测等。