🧠AI 冷知识
你知道吗？
这些有趣的 AI 小知识可能让你大吃一惊
🎯
投影的最后一公里多头注意力的输出要经过一个线性投影W^O，把拼接后的多头结果映射回d_model维。这个看似多余的线性层其实至关重要：没有它，多个头只是简单拼接，无法学习头与头之间的交互；有了它，模型可以"混合"不同头的视角，产生更丰富的表示。
一句话总结
💡
解码器输出经线性层投影到词表维度，再经 Softmax 得到下一个 token 的概率分布。
常见误区
这些坑别踩
✗
误区 1
输出层的线性变换就是嵌入矩阵的转置。
✓
正确理解
二者形状可共享（权重 tying），但也可以是独立参数，不必然相同。
✗
误区 2
必须选概率最大的词作为输出。
✓
正确理解
采样和 beam search 等策略可引入多样性，贪心选择并非唯一选择。
✗
误区 3
Softmax 的输出就是真实的概率。
✓
正确理解
Softmax 输出是归一化得分，temperature 等因素会影响其尖锐程度，不等于真实概率。