🧠AI 冷知识
你知道吗？
这些有趣的 AI 小知识可能让你大吃一惊
😲
死神经元的诅咒ReLU虽然简单到只有一行代码(f(x)=max(0,x))，但它有一个阴暗面——"死亡ReLU"(Dying ReLU)问题。当某个神经元的输入持续为负时，ReLU的梯度恒为零，该神经元永远不会再被更新，相当于"死了"。研究表明，深层网络中可能有20-50%的神经元在训练中"死亡"。Leaky ReLU给负数区域一个小的斜率(如0.01)来避免这个问题；PReLU让斜率可学习；ELU用指数函数让负值更平滑。但最令人意外的发现是：虽然标准ReLU有死亡问题，它在大多数任务上仍然是最优选择——简单和速度的回报超过了死亡神经元的代价。
来源：Maas et al., "Rectifier Nonlinearities Improve Neural Network Acoustic Models", 2013
一句话总结
💡
ReLU 对正值线性、负值置零，计算简单且缓解梯度消失，是深度网络的主流激活函数。
常见误区
这些坑别踩
✗
误区 1
ReLU 不会梯度消失。
✓
正确理解
负值区梯度为零，可能导致神经元"死亡"不再更新。
✗
误区 2
ReLU 一定比 Sigmoid 好。
✓
正确理解
简单场景 Sigmoid 可能够用，ReLU 的优势在深层网络。
✗
误区 3
ReLU 输出有负值。
✓
正确理解
ReLU 对负输入输出零，不会输出负值。