🧠AI 冷知识
你知道吗?
这些有趣的 AI 小知识可能让你大吃一惊
⚠️
损失函数的陷阱CrossEntropyLoss内部自带Softmax!如果你在模型最后一层手动加了Softmax再用CrossEntropyLoss,等于做了两次Softmax,模型几乎无法收敛。正确做法是:模型输出原始logits,直接喂给CrossEntropyLoss。
一句话总结
💡
torch.nn.functional 提供了交叉熵、MSE 等常用损失函数,用于衡量预测与标签的差异并驱动梯度更新。
常见误区
这些坑别踩
✗
误区 1
交叉熵损失要自己先做 Softmax 再传入。
✓
正确理解
CrossEntropyLoss 内部已含 LogSoftmax,直接传入原始 logits 即可,重复 Softmax 会导致数值错误。
✗
误区 2
回归任务用交叉熵也行。
✓
正确理解
交叉熵针对概率分布,回归连续值应用 MSE/MAE 等,用错会无法收敛。
✗
误区 3
损失越小模型一定越好。
✓
正确理解
训练损失低可能只是过拟合,需结合验证损失判断泛化能力。