AdamW#

TL;DR#

1. 背景与问题#

无动量 SGD 中，在 loss 上加 L2 惩罚可以展开成每步按比例收缩参数。沿用这个直觉，把 L2 梯度送入 Adam，却还会改变一阶、二阶矩，收缩效果随坐标历史而变。

AdamW 要把“根据任务梯度更新”与“按比例缩小参数”分开，使衰减不再经过自适应缩放。[1]

2. 目标与定义#

设任务损失为 $\mathcal L_{\mathrm{task}}$，任务梯度为 $g_t$，衰减系数为 $\lambda\ge0$，学习率为 $\eta>0$。比较两种处理：L2 改变损失为 $\mathcal L_{\mathrm{task}}+\lambda\|\theta\|_2^2/2$；解耦衰减则保持矩状态只由任务梯度决定，另收缩参数。

无动量 SGD 的等价来自直接展开：

$$\theta_t=\theta_{t-1}-\eta(g_t+\lambda\theta_{t-1})=(1-\eta\lambda)\theta_{t-1}-\eta g_t.$$

这里两项共用同一标量步长。接下来检查 Adam 多出的历史归一化为什么破坏这一步。

3. 方法与推导#

3.1 L2 如何改变 Adam 状态#

加入 L2 后，优化器收到 $\tilde g_t=g_t+\lambda\theta_{t-1}$，于是：

$$m_t^{\mathrm{L2}}=\beta_1m_{t-1}^{\mathrm{L2}}+(1-\beta_1)\tilde g_t,\qquad v_t^{\mathrm{L2}}=\beta_2v_{t-1}^{\mathrm{L2}}+(1-\beta_2)\tilde g_t^2.$$

平方项还包含 $2\lambda g_t\theta_{t-1}$ 与 $\lambda^2\theta_{t-1}^2$。因此不能先计算任务 Adam 方向，再把 L2 的影响简单写成一个固定比例收缩。[1]

3.2 AdamW 把衰减放在哪里#

只用 $g_t$ 按 Adam 规则计算 $\hat m_t,\hat v_t$，再更新：

$$\theta_t=(1-\eta\lambda)\theta_{t-1}-\eta\frac{\hat m_t}{\sqrt{\hat v_t}+\epsilon}.$$

衰减直接作用于旧参数，梯度方向仍作自适应归一化。解耦指衰减不进入矩历史和分母，不表示衰减比例与学习率无关。[1]

4. 计算过程#

先用一个首步算例比较两种规则。设 $\theta_0=2$、任务梯度 $g_1=2$、$\eta=0.1$、$\lambda=0.01$，矩状态从零开始，忽略 $\epsilon$。

两者第一步已经不同；下一步的历史状态也不同。再核对一般方向为 0.5 的情形：先收缩旧参数为 $1.998$，再减 $0.05$，得到 $1.948$。若先更新到 $1.95$ 再整体收缩，会得到 $1.94805$，与上式不是同一规则。

5. 比较与边界#

AdamW 沿用 Adam 的方向与尺度估计，改变的是衰减路径。它不等价于对所有任务最小化同一个简单 L2 惩罚目标，也不保证任何配置下泛化更好。

衰减哪些参数仍是配置选择；bias、归一化参数常被分到不衰减的组。比较时记录学习率、衰减系数、参数组与预算，避免只比较优化器名称。

参考资料#

1. Decoupled Weight Decay Regularization（ICLR 2019）. §2、Algorithm 2：L2 与衰减的等价条件和 AdamW 更新。

延伸阅读#

• SGD 与 Momentum：梯度和动量分别怎样决定一次更新的方向？