🧠AI 冷知识
你知道吗？
这些有趣的 AI 小知识可能让你大吃一惊
😲
叶子优先的生长策略LightGBM由微软于2017年开源，在许多基准测试上比XGBoost快2-10倍，内存占用却更少。它的两个核心创新是：Leaf-wise生长策略(总是分裂增益最大的叶子，而非XGBoost的按层生长)和直方图算法(把连续特征离散化成桶)。LightGBM还引入了GOSS(基于梯度的单边采样)——保留梯度大的样本(难分类的)，随机采样梯度小的(已经分对的)，用更少的数据达到相同效果。不过Leaf-wise策略容易过拟合，所以LightGBM默认限制最大树深。
来源：Ke et al., "LightGBM: A Highly Efficient Gradient Boosting Decision Tree", NeurIPS 2017
一句话总结
💡
LightGBM 通过直方图算法和叶子优先生长策略，在保持精度的同时大幅提升 GBDT 训练速度。
常见误区
这些坑别踩
✗
误区 1
LightGBM 因为快所以精度低。
✓
正确理解
其叶子优先生长虽可能过拟合但精度常不逊，且支持参数控制。
✗
误区 2
直方图只加速不影响结果。
✓
正确理解
直方图将连续值分桶，是近似也会轻微影响分裂点。
✗
误区 3
LightGBM 一定比 XGBoost 好。
✓
正确理解
两者各有优势，具体表现依赖数据和调参。