← 全部专题

训练与优化

从训练目标和优化器到学习率、微调与诊断，理解参数怎样被稳定更新。

21 篇笔记

从哪里开始

先读专题导览和交叉熵，再沿 SGD → Adam → AdamW 理解更新规则；对比、回归、Muon 与微调按问题进入分支。

维护通用训练目标、参数更新、数值稳定性、微调与诊断。预训练数据和配方见模型预训练；显存存储、重算、通信与 kernel 见训练系统。

训练目标与正则化

  1. 训练目标导览

    怎样把任务目标写成可优化的损失？

    阅读导览入门约 2 分钟

  2. 交叉熵

    怎样从分类概率得到损失与 logit 梯度？

    原理笔记入门约 4 分钟

  3. 对比损失

    怎样用正负候选学习匹配表征？

    原理笔记入门约 3 分钟

  4. 回归损失

    平方、绝对与 Huber 损失怎样改变回归结果？

    原理笔记入门约 3 分钟

  5. L1 与 L2 正则化

    L1 与 L2 为什么产生不同的收缩与稀疏效果？

    原理笔记入门约 3 分钟

  6. Dropout

    随机屏蔽后怎样对齐训练与评测？

    原理笔记入门约 3 分钟

优化器

  1. SGD 与 Momentum

    梯度和动量分别怎样决定一次更新的方向？

    原理笔记入门约 3 分钟

  2. Adam

    历史梯度的一阶矩和二阶矩分别用于什么？

    原理笔记入门约 3 分钟

  3. AdamW

    为什么 Adam 中的 L2 惩罚与权重衰减需要区分？

    原理笔记入门约 3 分钟

  4. Muon 原理

    对整张动量矩阵做谱变换，与逐坐标缩放有什么区别？

    原理笔记入门约 3 分钟

  5. Adam 的统计解释

    在什么统计条件下可以近似理解 Adam 的归一化行为？

    原理笔记进阶约 4 分钟

  6. Muon 的几何解释与实现约定

    polar 几何怎样解释更新方向，实际实现还依赖哪些约定？

    原理笔记进阶约 10 分钟

学习率、精度与梯度

  1. 学习率调度

    学习率为什么随训练阶段变化？

    原理笔记入门约 4 分钟

  2. 混合精度训练

    怎样降低数值精度而保留必要的训练稳定性？

    实现解析实践约 3 分钟

  3. 梯度累积与裁剪

    怎样在显存约束下组织更新，并处理异常梯度尺度？

    实现解析实践约 3 分钟

  4. 训练循环的关键实现

    AMP、梯度累积和学习率调度在代码中如何配合？

    实现解析实践约 2 分钟

微调与蒸馏

  1. LoRA 原理

    如何用低秩增量减少需要训练的参数？

    原理笔记入门约 3 分钟

  2. LoRA 微调与诊断

    微调时怎样选择配置、组织数据并判断失败原因？

    实践指南实践约 7 分钟

  3. 模型知识蒸馏

    学生模型从教师的哪些信号中学习？

    原理笔记进阶约 3 分钟

训练诊断与速查

  1. 训练问题诊断

    loss 异常、过拟合或欠拟合时应怎样逐步定位？

    实践指南实践约 3 分钟

  2. 预训练监控指标

    训练监控中的指标分别反映哪些状态？

    速查实践约 4 分钟

相关工具

  1. 训练超参数计算器

    怎样由训练预算和硬件设置得到一组可核对的训练参数？

    工具实践约 2 分钟

推荐阅读路线

跨专题延伸

  • 模型预训练 ↗

    介绍预训练的输入与监督对齐、参数量和训练 token 数选择，以及 batch、学习率和日程配方。

  • 训练系统与 Kernel ↗

    把训练计算映射到 GPU 和分布式系统，理解数据布局、通信与性能边界。

  • 强化学习 ↗

    沿策略梯度、Baseline、Advantage 和策略更新的主线，理解 LLM 如何从反馈中学习。

  • 生成模型 ↗

    理解表示压缩、扩散与 Flow Matching，并连接到图像和视频生成。