训练目标导览#

1. 先确定希望模型预测什么#

损失定义模型得到怎样的监督，优化器才决定怎样用该损失的梯度更新参数。这里按监督问题分流，不把分类、匹配和连续数值回归放进同一篇推导。

2. 拟合之外还希望限制什么#

L1 与 L2在任务损失上加入参数惩罚，比较参数收缩与稀疏解；Dropout随机改变训练前向，解释 mask、缩放与评测方式。两者都可能影响泛化，但改变训练的方式不同。

教师监督也可以提供软分布：知识蒸馏从交叉熵与 KL 继续，解释温度与教师信号，不在本页重复目标公式。

3. 从目标走向更新#

第一次阅读可先读交叉熵，理解“预测概率 → loss → logit 梯度”，再进入 SGD。对比与回归作为任务分支阅读；它们都可把梯度交给后面的优化器，而不是必须串行学完才进入参数更新。

比较训练结果前先对齐监督位置、有效样本或 token 数与 loss reduction。多次反向怎样保持同一个全局平均，由梯度累积说明；扩散预测参数化由生成模型专题维护。