🧠AI 冷知识
你知道吗？
这些有趣的 AI 小知识可能让你大吃一惊
📜
站在错误肩膀上梯度提升决策树(GBDT)由斯坦福大学的Jerome Friedman于1999年提出，核心思想极为优雅：每棵新树不去拟合原始标签，而是拟合当前模型的"残差"——也就是之前所有树犯的错误。Friedman的原始论文还引入了"随机梯度提升"，在每轮迭代中随机采样部分数据，这后来成为XGBoost和LightGBM的标准配置。一个鲜为人知的事实：Friedman同时也是CART决策树算法的发明者之一，他的学生包括Trevor Hastie和Robert Tibshirani。
来源：Friedman, "Greedy Function Approximation: A Gradient Boosting Machine", 1999
一句话总结
💡
GBDT 通过逐步拟合前一轮的负梯度（残差）累加地构建决策树集成，每棵树修正前者错误。
常见误区
这些坑别踩
✗
误区 1
GBDT 和随机森林一样。
✓
正确理解
随机森林是 bagging 并行独立，GBDT 是 boosting 串行拟合残差，机制不同。
✗
误区 2
GBDT 每棵树拟合原始标签。
✓
正确理解
除第一棵外，后续树拟合前一轮的负梯度（残差），而非原始标签。
✗
误区 3
树越多越好。
✓
正确理解
过多树会过拟合，需配合学习率和早停控制。