🧠AI 冷知识
你知道吗？
这些有趣的 AI 小知识可能让你大吃一惊
😲
反直觉A/B 测试中最容易被忽视的陷阱是"新奇效应"——新模型在上线初期表现好，不是因为真的更好，而是因为用户对新推荐内容感到新鲜。Netflix 的数据显示，新推荐算法的平均"蜜月期"约 2 周，之后效果会回归到真实水平。另一个经典陷阱是"辛普森悖论"：A 组整体优于 B 组，但按子群体拆分后 B 组在每个子群体中都更好——这是因为样本比例不均衡造成的统计幻觉。
一句话总结
💡
A/B 测试与灰度发布通过分流对比新旧模型效果，在控制风险的前提下验证模型改进。
常见误区
这些坑别踩
✗
误区 1
上线新模型直接全量替换最快。
✓
正确理解
全量替换风险高，灰度能及时发现问题减少损失。
✗
误区 2
A/B 测试流量随便分。
✓
正确理解
需保证样本随机和统计显著性，流量不足会导致结论不可靠。
✗
误区 3
离线指标好线上一定好。
✓
正确理解
离线与线上分布存在差异，必须 A/B 验证真实效果。