强化学习 / 策略梯度与基础概念 Survey入门 4 分钟阅读 查看源文件 ↗

策略优化阅读路线#

本页内容5 个部分

这条路线沿一个问题展开：如何利用反馈估计策略梯度，并控制更新中的偏差与波动？阅读顺序依次覆盖梯度估计、参照值、样本加权、裁剪机制，以及高奖励事件的概率目标和训练信号。

强化学习策略优化学习路线

1. 策略梯度与基础更新方法#

顺序 笔记 本篇解决的问题
1 REINFORCE 怎样从期望奖励推出 rollout 上的采样梯度？
2 Baseline 怎样保持平均梯度，并选择降低梯度方差的参照？
3 Advantage 动作的预期回报相对当前策略的平均价值增加多少？
4 Importance Ratio 怎样用 old 样本计算 current 下的动作期望？
5 Reference KL 为什么约束相对参考策略的偏离，两个 KL 方向怎样取舍？
6 PPO 怎样复用旧样本，并削弱过大有利更新的激励？
7 REINFORCE++ 不用 Critic，怎样使用整批 return 的统计量？
8 RLOO 怎样用同题的其他回答提供动作独立的 baseline？
9 GRPO 怎样以组均值和组内标准差构造相对更新信号？
10 KL Regularization KL 奖励与显式 loss 的求导路径何时一致？
11 Score Centering 训推不一致时，怎样消去与奖励差异无关的梯度漂移？
12 DPO 怎样用固定偏好数据直接优化策略，而不运行在线奖励更新循环？

前三篇共用两动作任务，逐步建立梯度、baseline 和价值参照。后续每篇重申必要定义，再说明该方法新增的机制。

2. 权重、采样与训练目标的扩展#

顺序 笔记 相比前面的设置，还需处理什么
13 Dr. GRPO 标准差和逐回答长度怎样改变题间、回答间权重？
14 DAPO 探索、无信号组和超长反馈怎样共同处理？
15 GSPO 最终奖励在回答级，ratio 与裁剪是否也应在回答级？
16 ReCo 回答似然与 token 方差比怎样改变梯度系数？
17 ERPO 能否把参考约束移到问题侧，再调整题目权重？
18 SRPO 如何利用包含反思上下文的教师模型构造逐 token 信号？
19 TailRL 平均奖励相同的策略，获得高奖励的概率为什么仍可不同？
20 ARPO 怎样在工具反馈后分支，并让多个结果共同更新共享前缀？
21 PivotRL 怎样筛选示范中用于局部训练的回合，只采样并验证局部动作？
22 在线强化学习总结 现有方案分别解决哪些问题，还留下哪些值得研究的缺口？
23 Loss 平均 各方法的训练项、聚合范围与平均分母分别是什么？

阅读时可以按当前问题选择分支：先理解更新为何成立，再分析统计参照与约束；需要改变采样或训练目标时，再进入相应扩展。概念页负责解释共用对象，Technique 页负责具体方法，组合方案保留待验证状态，综述负责横向比较。

这个顺序按问题展开，不表示后一种方法替代前面所有方法。这些方法分别调整 baseline、score 中心化、尺度、采样、裁剪单位、高奖励事件的概率目标、信号来源或局部探索方式；比较时先对齐被修改的部分。

本路线中的 ERPO 指 Environment-Regularized Policy Optimization，SRPO 指 Self-Reflective Policy Optimization；全称用于区分同名缩写，出处列在各篇文末。

路线末尾的综述比较已有问题、方案与研究方向；Loss 平均则汇总 token、回答、题目和正则项的聚合权重。

3. 在线与离线训练的区分#

区别在数据是否随训练继续收集。 在线训练在策略更新后继续采样并获取反馈；离线训练使用预先收集的数据，训练中不再补充新的交互数据。[1]

本站讨论的配置 回答与反馈从哪里来 数据怎样更新
在线：PPO、GRPO 及其在线扩展 用近期策略生成回答，由奖励模型或验证器评分 交替执行批次采样与策略更新
离线：原始 DPO 已有的回答对与偏好标签 固定偏好数据，可重复训练多个 epoch

PPO 在一批数据上更新多次，仍属于在线训练：这批数据用完后，它会刷新策略并重新采样。在线与离线的区分取决于完整训练循环的数据收集方式，不能仅由当前 minibatch 的采样策略判断。[2]

同样，题目集固定，不代表回答数据固定。在线方法可以反复使用同一批 prompt，只要持续生成新回答并获取反馈。原始 DPO 则直接在已有偏好对上训练；若另加持续采样、标注新偏好的循环，数据收集方式就变成在线。[3]

On-policy／off-policy 是另一组概念，关注数据由哪个行为策略生成，以及它与目标策略的关系。它不等于在线／离线；在线训练也可以利用旧策略的数据。目录按各页采用的数据收集流程分段，KL Regularization 和 Loss 平均不单独归入某一种训练方式。[1]

4. 研究延伸#

LLM RLVR 组合方案 是研究记录，描述候选组件的组合配置及其消融验证设计。原算法事实、组合设想和待验证结果分别说明。

参考资料#

  1. Offline Reinforcement Learning（2020，v3）. 原文：离线数据、在线数据收集与 off-policy 学习的区别。
  2. PPO（2017，v2）. 原文：采样与优化交替进行，同批数据可更新多次。
  3. DPO（2023，v3）. 原文 §3–4：固定偏好数据上的直接策略优化。