🧠AI 冷知识
你知道吗？
这些有趣的 AI 小知识可能让你大吃一惊
😲
反直觉OpenAI的Scaling Law揭示了一个惊人的规律：模型损失随参数量、数据量、算力呈幂律下降。更惊人的是，这条曲线可以外推——用小模型的损失曲线就能预测大模型的最终性能，这让"大力出奇迹"从直觉变成了可计算的科学。
来源：Kaplan et al., "Scaling Laws for Neural Language Models", 2020
一句话总结
💡
预训练让模型在海量无标注文本上学习语言规律，形成通用能力，是后续微调与对齐的基础。
常见误区
这些坑别踩
✗
误区 1
预训练数据越多越好不用管质量。
✓
正确理解
数据质量至关重要，低质数据会损害模型能力，需严格清洗。
✗
误区 2
预训练就是让模型背诵文本。
✓
正确理解
预训练是学习数据分布和规律，目标是泛化而非记忆。
✗
误区 3
预训练一次就够了。
✓
正确理解
常采用多阶段预训练（通用到领域）持续注入新知识。