🧠AI 冷知识
你知道吗？
这些有趣的 AI 小知识可能让你大吃一惊
✨
实用技巧学习率太大模型发散，太小收敛慢。一个实用技巧：先用较大的学习率快速接近最优区域，再逐步减小做精细调整——这就是学习率衰减的核心思想。Warmup则是先小后大再小。
一句话总结
💡
学习率调度在训练过程中动态调整学习率，常见策略有阶梯衰减、余弦退火和预热等，平衡收敛速度和最终精度。
常见误区
这些坑别踩
✗
误区 1
学习率固定不变最简单也最有效。
✓
正确理解
固定学习率在训练后期可能过大导致无法精细收敛，调度策略在后期降低学习率有助于找到更优解，通常能提升最终性能。
✗
误区 2
学习率越小最终效果越好。
✓
正确理解
学习率过小会导致收敛极慢甚至陷入差的局部最优，需要前期较大学习率快速接近、后期减小精细优化，预热策略在初始阶段逐步增大学习率。
巩固练习
章节练习与面试准备
通过测试检验学习效果，通过面试题提升实战能力
章末测试
共 4 题 · 选择题
1
Warmup（学习率预热）的作用是？
2
余弦退火（Cosine Annealing）的学习率变化方式是？
3
OneCycle 策略的学习率变化特点是？
4
学习率调度为什么要从大渐小？
面试经典题
共 4 题 · 先思考再看答案
1
基础
请说明学习率调度的重要性及常见的调度策略。
2
困难
为什么 Transformer 训练几乎必须使用 Warmup？
3
中等
什么是余弦重启（SGDR）？它有什么优势？
4
中等
如何为具体任务选择和调试学习率调度策略？
💡 建议：先独立思考并组织语言，再对照参考答案查漏补缺