🧠AI 冷知识
你知道吗？
这些有趣的 AI 小知识可能让你大吃一惊
🎯
俄罗斯搜索引擎的秘密武器CatBoost由俄罗斯搜索引擎Yandex于2017年开源，名字中的"Cat"代表Categorical(类别特征)。它的核心创新是"有序目标统计"(Ordered Target Statistics)，巧妙解决了类别特征编码中的目标泄漏问题——传统方法用全量数据的标签均值编码类别，相当于让模型在训练时偷看了答案。CatBoost还使用"对称决策树"(oblivious tree)，所有节点用相同的特征和阈值分裂，这让推理速度比XGBoost快2-5倍。
来源：Prokhorenkova et al., "CatBoost: unbiased boosting with categorical features", NeurIPS 2018
一句话总结
💡
CatBoost 通过有序目标编码和对称树结构原生处理类别特征，减少过拟合并提升类别数据表现。
常见误区
这些坑别踩
✗
误区 1
CatBoost 必须手动编码类别特征。
✓
正确理解
它原生处理类别特征，无需大量手动编码。
✗
误区 2
有序编码和普通均值编码一样。
✓
正确理解
有序编码按顺序计算避免目标泄漏，比直接均值编码更稳健。
✗
误区 3
CatBoost 一定比其他 GBDT 慢。
✓
正确理解
其对称树结构推理快，训练在 GPU 上也高效。