🧠AI 冷知识
你知道吗？
这些有趣的 AI 小知识可能让你大吃一惊
📜
图文对齐的魔法CLIP由OpenAI于2021年发布，用4亿对图文对做对比学习——让匹配的图文向量靠近，不匹配的远离。训练完成后，CLIP的图像编码器和文本编码器被投射到同一个向量空间，可以直接计算"一张图和一句话有多匹配"。这个看似简单的对齐机制是整个多模态生成的基石：DALL-E用CLIP做文本引导的图像生成，Stable Diffusion用CLIP的文本编码器做条件输入，BLIP-2用它连接视觉和语言模型。可以说没有CLIP，就没有今天的多模态AI生态。
来源：Radford et al., "Learning Transferable Visual Models From Natural Language Supervision", ICML 2021
一句话总结
💡
多模态生成模型能跨文本、图像、音频等模态生成内容，如 DALL-E 文生图、Sora 文生视频，走向统一的世界模型。
常见误区
这些坑别踩
✗
误区 1
多模态就是"文本模型+图像模型"拼接。
✓
正确理解
原生多模态从预训练就融合多模态数据，而非简单后期拼接。
✗
误区 2
多模态生成已完美。
✓
正确理解
跨模态一致性（如文字与图像细节对应）和物理合理性仍是难题。
✗
误区 3
多模态生成不需要对齐。
✓
正确理解
跨模态对齐（如 CLIP 对齐图文空间）是多模态生成的核心基础。