🧠AI 冷知识
你知道吗？
这些有趣的 AI 小知识可能让你大吃一惊
🌌
1M上下文的真相号称支持100万token上下文的模型，在"大海捞针"测试中确实能找到埋在中间的一句话。但在需要跨全文综合推理的任务上，性能会随上下文长度显著下降——模型"看到了"所有内容，却不一定"理解了"它们的关系。长上下文的真正瓶颈不是注意力机制，而是模型在超长序列上的推理能力。
一句话总结
💡
百万级 token 上下文需综合位置编码外推、KV 缓存管理与注意力稀疏化等多重工程手段才能高效可用。
常见误区
这些坑别踩
✗
误区 1
支持 1M 上下文就能完美记住所有内容。
✓
正确理解
注意力存在衰减和中间丢失，长上下文下的精准检索仍有挑战。
✗
误区 2
1M 上下文的成本和短上下文一样。
✓
正确理解
计算和显存随长度快速增长，长上下文推理成本远高于短上下文。
✗
误区 3
只需增大窗口就能处理 1M。
✓
正确理解
需联合位置编码改进、KV 压缩、注意力稀疏化等，单增窗口不够。