SCHOLIA / ZENAN LI
研究笔记
按专题查阅模型、训练与系统中的问题，也可以沿阅读路线逐步建立理解。
按专题查阅
- 模型架构11 篇从整体架构、位置编码与注意力，到层间连接和专家路由，理解模型的信息流与计算结构。
- 生成模型15 篇理解表示压缩、扩散与 Flow Matching，并连接到图像和视频生成。
- 模型预训练4 篇介绍预训练的输入与监督对齐、参数量和训练 token 数选择，以及 batch、学习率和日程配方。
- 训练与优化21 篇从训练目标和优化器到学习率、微调与诊断，理解参数怎样被稳定更新。
- 强化学习24 篇沿策略梯度、Baseline、Advantage 和策略更新的主线，理解 LLM 如何从反馈中学习。
- 推理与量化7 篇理解 KV Cache、解码与低比特数值，分析生成过程中的显存和计算成本。
- 训练系统与 Kernel11 篇把训练计算映射到 GPU 和分布式系统，理解数据布局、通信与性能边界。
- 应用与 Agent3 篇用工具调用、检索和结构化输出组织模型工作流程，并保留应用评测记录。
- 形式化方法2 篇从规格与证明到程序推导，探索验证代码生成及其保障边界。
沿路线学习
选择一个目标，从必要的基础读到机制与实践。
-
理解 Transformer 与架构变体
从完整 Transformer 出发，沿局部读取、位置表示与压缩注意力建立主线；按需要进入视觉架构、层间连接和专家路由分支。
-
理解生成模型
从表示压缩和去噪训练出发，连接条件生成与 Transformer 去噪网络。
-
完成一次训练更新
从目标和梯度走到学习率、数值精度、累积裁剪与训练循环，再学习怎样诊断异常。
-
理解优化器
从方向累积到逐坐标缩放，再进入矩阵更新的几何。
-
理解策略优化
从策略梯度建立价值参照与采样校正，比较在线策略更新和 DPO 离线偏好优化，再讨论尺度、裁剪、覆盖、训练信号与 Agent 局部探索，最后比较在线方法的取舍，汇总 Loss 聚合。
- REINFORCE：从期望回报到采样梯度
- Baseline：无偏性与方差降低
- Advantage：价值函数与动作优势
- Importance Ratio：重要性采样与分布校正
- Reference KL：分布差异与策略约束
- PPO：重要性比率与裁剪策略目标
- REINFORCE++：无 Critic 的全局归一化策略更新
- RLOO：用其他回答构造 Baseline
- GRPO：基于组内标准化的策略优化
- KL Regularization：奖励塑形与显式损失
- Score Centering：采样与训练不一致时的漂移修正
- DPO：从偏好比较直接训练策略
- Dr. GRPO：移除长度与组内尺度的重加权
- DAPO：裁剪、动态采样与超长反馈处理
- GSPO：回答级归一化概率比与统一裁剪
- ReCo：回答似然与 Token 方差比重加权
- ERPO：问题侧参考正则与任务重加权
- SRPO：基于自我反思的逐 Token 训练信号
- TailRL：从平均奖励转向高奖励尾部
- ARPO：在工具反馈后分支探索
- PivotRL：基于回合筛选的局部强化学习
- 在线强化学习总结：单轮回答与 Agentic RL
- Loss 平均：Token、回答与长度权重
RLVR 组合方案是研究记录，效果仍需实验验证。
-
理解低比特推理
从可表示的数值到输出误差，再理解缩放和旋转为何影响量化。
-
理解 MoE 的系统执行
把专家路由、并行切分、通信与矩阵计算连接起来。
最近内容更新
- 工程基础：数据、损失与参数更新模型预训练
- 学习率配方：阶段安排与选择模型预训练