阅读路线

同一篇笔记可以进入不同路线。按目标选择顺序，已有基础的部分可以跳过。

理解 Transformer 与架构变体

从完整 Transformer 出发，沿局部读取、位置表示与压缩注意力建立主线；按需要进入视觉架构、层间连接和专家路由分支。
理解生成模型

从表示压缩和去噪训练出发，连接条件生成与 Transformer 去噪网络。
完成一次训练更新

从目标和梯度走到学习率、数值精度、累积裁剪与训练循环，再学习怎样诊断异常。
理解优化器

从方向累积到逐坐标缩放，再进入矩阵更新的几何。
理解策略优化

从策略梯度建立价值参照与采样校正，比较在线策略更新和 DPO 离线偏好优化，再讨论尺度、裁剪、覆盖、训练信号与 Agent 局部探索，最后比较在线方法的取舍，汇总 Loss 聚合。
RLVR 组合方案是研究记录，效果仍需实验验证。
理解低比特推理

从可表示的数值到输出误差，再理解缩放和旋转为何影响量化。
理解 MoE 的系统执行

把专家路由、并行切分、通信与矩阵计算连接起来。