模型预训练
介绍预训练的输入与监督对齐、参数量和训练 token 数选择，以及 batch、学习率和日程配方。
从哪里开始
先阅读工程基础，区分输入位置数、有效标签数与参数更新次数；再用 Chinchilla 理解规模与训练量选择，用 Step Law 理解全局 batch 和峰值学习率的联合预测；最后比较学习率日程及其适用条件。
聚焦预训练的规模选择、数据与训练配方。通用优化规则和学习率原理见训练与优化；并行执行、通信与硬件效率见训练系统。
工程基础
-
工程基础：数据、损失与参数更新
语料、有效监督、token 预算与参数更新次数之间如何对应？
缩放定律
-
Chinchilla：参数与 token 的算力分配
固定训练算力时，模型参数量和训练 token 数应该怎样分配？
-
Step Law：联合预测预训练的 batch size 与学习率
确定模型参数量和训练 token 数后，怎样联合预测全局 batch 与峰值学习率？
训练配方
-
学习率配方：阶段安排与选择
怎样比较 linear、cosine、WSD 与 WSO，并选择适合训练预算和使用目标的学习率配方？