知了AI学习平台Logo知了
公式推导

动量法: 指数加权移动平均

从梯度下降的震荡问题出发，引入动量的指数加权移动平均，加速收敛并抑制震荡。

第 1 / 617%
1

标准梯度下降

θt+1=θt−η∇J(θt)\boldsymbol{\theta}_{t+1} = \boldsymbol{\theta}_t - \eta \nabla J(\boldsymbol{\theta}_t)
👉

关键部分

θt−η∇J(θt)\boldsymbol{\theta}_t - \eta \nabla J(\boldsymbol{\theta}_t)

标准梯度下降在病态曲率（如峡谷形损失面）中会来回震荡，收敛缓慢。

代码沙盒

动量优化器

使用 NumPy 实现带动量的梯度下降与 Nesterov 动量。

📌 标准动量（Momentum）：引入动量项加速收敛。

🧠AI 冷知识

你知道吗？

这些有趣的 AI 小知识可能让你大吃一惊

💡
概念

动量法借用了物理中"惯性"的概念。就像滚下山的球会越滚越快，动量累积历史梯度方向，让优化器在一致方向上加速、在震荡方向上相互抵消——这就是它比纯SGD收敛更快的原因。

一句话总结
💡

Momentum动量法通过累积历史梯度方向加速收敛并减少振荡，类似物理中的惯性。

常见误区

这些坑别踩

✗

误区 1

Momentum会减慢收敛速度因为它增加了惯性。

✓

正确理解

相反，Momentum通过累积一致方向的梯度加速收敛，并抑制方向反复变化的振荡，通常比普通SGD收敛更快。

✗

误区 2

动量系数越大越好。

✓

正确理解

动量系数过大会导致过度冲过最优解、振荡甚至发散，通常取0.9左右，需要根据任务调整。

巩固练习

章节练习与面试准备

通过测试检验学习效果，通过面试题提升实战能力

章末测试

共 4 题 · 选择题

1

Momentum（动量）的更新公式是？

2

动量系数 β 的作用是？

3

指数加权移动平均（EWMA）的等效窗口大小约为？

4

Nesterov 动量与标准动量的区别是？

面试经典题

共 4 题 · 先思考再看答案

1
基础

请解释动量（Momentum）的原理及其在优化中的作用。

2
困难

动量如何帮助解决病态条件（ill-conditioning）问题？

3
中等

请对比标准动量和 Nesterov 动量。

4
中等

动量系数 β 如何选择？过大或过小有什么影响？

💡 建议：先独立思考并组织语言，再对照参考答案查漏补缺