← 全部阅读路线

完成一次训练更新

从目标和梯度走到学习率、数值精度、累积裁剪与训练循环，再学习怎样诊断异常。

10 个步骤

阅读起点

了解基本求导；从训练目标与交叉熵建立损失和梯度的联系。

推荐顺序

  1. 训练目标导览

    怎样把任务目标写成可优化的损失？

    阅读导览入门约 2 分钟

  2. 交叉熵

    怎样从分类概率得到损失与 logit 梯度？

    原理笔记入门约 4 分钟

  3. SGD 与 Momentum

    梯度和动量分别怎样决定一次更新的方向？

    原理笔记入门约 3 分钟

  4. Adam

    历史梯度的一阶矩和二阶矩分别用于什么？

    原理笔记入门约 3 分钟

  5. AdamW

    为什么 Adam 中的 L2 惩罚与权重衰减需要区分？

    原理笔记入门约 3 分钟

  6. 学习率调度

    学习率为什么随训练阶段变化？

    原理笔记入门约 4 分钟

  7. 混合精度训练

    怎样降低数值精度而保留必要的训练稳定性？

    实现解析实践约 3 分钟

  8. 梯度累积与裁剪

    怎样在显存约束下组织更新，并处理异常梯度尺度？

    实现解析实践约 3 分钟

  9. 训练循环的关键实现

    AMP、梯度累积和学习率调度在代码中如何配合？

    实现解析实践约 2 分钟

  10. 训练问题诊断

    loss 异常、过拟合或欠拟合时应怎样逐步定位？

    实践指南实践约 3 分钟

进阶与分支

  1. 对比损失

    怎样用正负候选学习匹配表征？

    原理笔记入门约 3 分钟

  2. 回归损失

    平方、绝对与 Huber 损失怎样改变回归结果？

    原理笔记入门约 3 分钟

  3. L1 与 L2 正则化

    L1 与 L2 为什么产生不同的收缩与稀疏效果？

    原理笔记入门约 3 分钟

  4. Dropout

    随机屏蔽后怎样对齐训练与评测？

    原理笔记入门约 3 分钟

  5. Muon 原理

    对整张动量矩阵做谱变换，与逐坐标缩放有什么区别？

    原理笔记入门约 3 分钟

  6. 预训练监控指标

    训练监控中的指标分别反映哪些状态？

    速查实践约 4 分钟

  7. 训练超参数计算器

    怎样由训练预算和硬件设置得到一组可核对的训练参数？

    工具实践约 2 分钟

  8. LoRA 原理

    如何用低秩增量减少需要训练的参数？

    原理笔记入门约 3 分钟

  9. LoRA 微调与诊断

    微调时怎样选择配置、组织数据并判断失败原因？

    实践指南实践约 7 分钟

  10. 模型知识蒸馏

    学生模型从教师的哪些信号中学习？

    原理笔记进阶约 3 分钟