知了AI学习平台Logo知了
🧠AI 冷知识

你知道吗?

这些有趣的 AI 小知识可能让你大吃一惊

⚠️
损失函数的陷阱

CrossEntropyLoss内部自带Softmax!如果你在模型最后一层手动加了Softmax再用CrossEntropyLoss,等于做了两次Softmax,模型几乎无法收敛。正确做法是:模型输出原始logits,直接喂给CrossEntropyLoss。

一句话总结
💡

torch.nn.functional 提供了交叉熵、MSE 等常用损失函数,用于衡量预测与标签的差异并驱动梯度更新。

常见误区

这些坑别踩

✗

误区 1

交叉熵损失要自己先做 Softmax 再传入。

✓

正确理解

CrossEntropyLoss 内部已含 LogSoftmax,直接传入原始 logits 即可,重复 Softmax 会导致数值错误。

✗

误区 2

回归任务用交叉熵也行。

✓

正确理解

交叉熵针对概率分布,回归连续值应用 MSE/MAE 等,用错会无法收敛。

✗

误区 3

损失越小模型一定越好。

✓

正确理解

训练损失低可能只是过拟合,需结合验证损失判断泛化能力。