← 全部阅读路线

理解优化器

从方向累积到逐坐标缩放，再进入矩阵更新的几何。

4 个步骤

阅读起点

了解梯度和参数更新。

推荐顺序

  1. SGD 与 Momentum

    梯度和动量分别怎样决定一次更新的方向？

    Technique入门约 3 分钟

  2. Adam

    历史梯度的一阶矩和二阶矩分别用于什么？

    Technique入门约 3 分钟

  3. AdamW

    为什么 Adam 中的 L2 惩罚与权重衰减需要区分？

    Technique入门约 3 分钟

  4. Muon 原理

    对整张动量矩阵做谱变换，与逐坐标缩放有什么区别？

    Technique入门约 3 分钟

进阶与分支

  1. Adam 的统计解释

    在什么统计条件下可以近似理解 Adam 的归一化行为？

    Concept进阶约 4 分钟

  2. Muon 的几何解释与实现约定

    polar 几何怎样解释更新方向，实际实现还依赖哪些约定？

    Technique进阶约 9 分钟

  3. Gram Newton–Schulz

    如何重排 Muon 的矩阵计算，并控制有限精度误差？

    实现解析进阶约 8 分钟