自监督学习的"pretext task"(前置任务)设计是一门"猜谜艺术"：旋转预测(这张图被旋转了几度)、拼图(把图片打乱再拼回去)、颜色化(给黑白图上色)。这些任务本身没有业务价值，但训练过程中模型学到的特征对下游任务极有价值。有趣的是，2020 年后 pretext task 的设计逐渐被对比学习和掩码重建取代——研究表明，简单的"遮住再猜"(MAE) 比精心设计的 pretext task 效果更好。深度学习的哲学似乎是"越简单的任务越通用"。