← 全部专题

强化学习

沿策略梯度、Baseline、Advantage 和策略更新的主线，理解 LLM 如何从反馈中学习。

24 篇笔记

从哪里开始

从 REINFORCE、Baseline、Advantage 进入采样校正与参考约束，再沿策略更新路线逐篇阅读。

先建立策略梯度、价值参照与采样校正，再学习策略更新。基础概念、在线强化学习、离线偏好优化和共性问题在目录中直接并列；阅读路线按前置知识排序，最后用 Loss 平均汇总。RLVR 组合方案保留为待验证研究记录。

策略梯度与基础概念

  1. REINFORCE：从期望回报到采样梯度

    如何用采样轨迹估计期望回报的梯度？

    Technique入门约 6 分钟

  2. Baseline：无偏性与方差降低

    baseline 在什么条件下保持策略梯度无偏，哪些取值能降低梯度估计方差？

    Concept进阶约 8 分钟

  3. Advantage：价值函数与动作优势

    一个动作的预期回报，比当前策略在这个状态下的平均表现高多少？

    Concept进阶约 7 分钟

  4. Importance Ratio：重要性采样与分布校正

    怎样用旧策略的动作样本，估计同一状态下当前策略的动作期望？

    Concept入门约 5 分钟

  5. Reference KL：分布差异与策略约束

    KL 怎样衡量分布差异，为什么用它约束策略，两个方向怎样选？

    Concept入门约 8 分钟

在线强化学习

  1. PPO：重要性比率与裁剪策略目标

    如何复用旧策略采样的数据，并控制有利方向上的更新激励？

    Technique进阶约 9 分钟

  2. REINFORCE++：无 Critic 的全局归一化策略更新

    不用 Critic，怎样用整批 rollout 的统计量构造更新信号，并保留 PPO 式更新？

    Technique进阶约 9 分钟

  3. RLOO：用其他回答构造 Baseline

    怎样用同题的其他独立回答构造参照，保持策略梯度无偏，并将回答权重用于逐 token 更新？

    Technique进阶约 5 分钟

  4. GRPO：基于组内标准化的策略优化

    不用 Critic，如何从同题多条回答的 reward 构造相对权重，并用于 PPO 式更新？

    Technique进阶约 15 分钟

  5. Dr. GRPO：移除长度与组内尺度的重加权

    GRPO 的标准差与长度分母怎样改变权重，Dr. GRPO 去掉了什么？

    Technique进阶约 5 分钟

  6. DAPO：裁剪、动态采样与超长反馈处理

    怎样通过裁剪、题组筛选、token 平均和超长反馈处理，调整长推理训练？

    Technique进阶约 7 分钟

  7. GSPO：回答级归一化概率比与统一裁剪

    怎样将 token ratio 汇成回答权重，再按整条回答做裁剪？

    Technique进阶约 5 分钟

  8. ReCo：回答似然与 Token 方差比重加权

    回答似然与 token 方差比怎样改变梯度系数，对单次正确率和多次采样评测有何影响？

    Technique进阶约 6 分钟

  9. ERPO：问题侧参考正则与任务重加权

    怎样用问题似然漂移作正则，并给每题任务项重新分配权重？

    Technique进阶约 7 分钟

  10. SRPO：基于自我反思的逐 Token 训练信号

    怎样让带反思的同一个模型，为学生轨迹提供逐 token 更新信号？

    Technique进阶约 5 分钟

  11. TailRL：从平均奖励转向高奖励尾部

    怎样提高罕见高奖励事件的概率，并计算每条回答的更新权重？

    Technique进阶约 8 分钟

  12. ARPO：在工具反馈后分支探索

    怎样把采样预算留到工具反馈之后，并让多个分支共同更新共享前缀？

    Technique进阶约 7 分钟

  13. PivotRL：基于回合筛选的局部强化学习

    怎样从示范中筛选局部训练回合，并用功能验证减少完整任务的采样成本？

    Technique进阶约 7 分钟

  14. 在线强化学习总结：单轮回答与 Agentic RL

    单轮回答与 Agentic RL 的主要问题有哪些，现有方案的证据与局限是什么，还有哪些待检验的方向？

    Survey进阶约 16 分钟

离线偏好优化

  1. DPO：从偏好比较直接训练策略

    只有回答对的偏好标签，怎样省去独立奖励模型，直接训练策略？

    Technique进阶约 8 分钟

共性问题

  1. KL Regularization：奖励塑形与显式损失

    以 reverse KL 为目标，奖励塑形与显式 loss 的梯度何时等价，何时不同？

    Concept进阶约 9 分钟

  2. Score Centering：采样与训练不一致时的漂移修正

    采样器与训练器不一致时，为什么常数回报也可能推动参数，怎样消去这种漂移？

    Technique进阶约 20 分钟

  3. Loss 平均：Token、回答与长度权重

    不同策略优化方法怎样汇总 token、回答与题目，分母怎样改变优化权重？

    Concept进阶约 8 分钟

LLM 后训练

  1. LLM RLVR 组合方案

    采样、Advantage、策略更新和验证器怎样组成一个待验证方案？

    Recipe研究组合方案待验证约 9 分钟

推荐阅读路线

跨专题延伸

  • 训练与优化 ↗

    从训练目标和优化器到学习率、微调与诊断，理解参数怎样被稳定更新。

  • 形式化方法 ↗

    从规格与证明到程序推导，探索验证代码生成及其保障边界。