理解策略优化
从策略梯度建立价值参照与采样校正，比较在线策略更新和 DPO 离线偏好优化，再讨论尺度、裁剪、覆盖、训练信号与 Agent 局部探索，最后比较在线方法的取舍，汇总 Loss 聚合。
阅读起点
了解概率、期望和求导。
推荐顺序
-
REINFORCE：从期望回报到采样梯度
如何用采样轨迹估计期望回报的梯度？
-
Baseline：无偏性与方差降低
baseline 在什么条件下保持策略梯度无偏，哪些取值能降低梯度估计方差？
-
Advantage：价值函数与动作优势
一个动作的预期回报，比当前策略在这个状态下的平均表现高多少？
-
Importance Ratio：重要性采样与分布校正
怎样用旧策略的动作样本，估计同一状态下当前策略的动作期望？
-
Reference KL：分布差异与策略约束
KL 怎样衡量分布差异，为什么用它约束策略，两个方向怎样选？
-
PPO：重要性比率与裁剪策略目标
如何复用旧策略采样的数据，并控制有利方向上的更新激励？
-
REINFORCE++：无 Critic 的全局归一化策略更新
不用 Critic，怎样用整批 rollout 的统计量构造更新信号，并保留 PPO 式更新？
-
RLOO：用其他回答构造 Baseline
怎样用同题的其他独立回答构造参照，保持策略梯度无偏，并将回答权重用于逐 token 更新？
-
GRPO：基于组内标准化的策略优化
不用 Critic，如何从同题多条回答的 reward 构造相对权重，并用于 PPO 式更新？
-
KL Regularization：奖励塑形与显式损失
以 reverse KL 为目标，奖励塑形与显式 loss 的梯度何时等价，何时不同？
-
Score Centering：采样与训练不一致时的漂移修正
采样器与训练器不一致时，为什么常数回报也可能推动参数，怎样消去这种漂移？
-
DPO：从偏好比较直接训练策略
只有回答对的偏好标签，怎样省去独立奖励模型，直接训练策略？
-
Dr. GRPO：移除长度与组内尺度的重加权
GRPO 的标准差与长度分母怎样改变权重，Dr. GRPO 去掉了什么？
-
DAPO：裁剪、动态采样与超长反馈处理
怎样通过裁剪、题组筛选、token 平均和超长反馈处理，调整长推理训练？
-
GSPO：回答级归一化概率比与统一裁剪
怎样将 token ratio 汇成回答权重，再按整条回答做裁剪？
-
ReCo：回答似然与 Token 方差比重加权
回答似然与 token 方差比怎样改变梯度系数，对单次正确率和多次采样评测有何影响？
-
ERPO：问题侧参考正则与任务重加权
怎样用问题似然漂移作正则，并给每题任务项重新分配权重？
-
SRPO：基于自我反思的逐 Token 训练信号
怎样让带反思的同一个模型，为学生轨迹提供逐 token 更新信号？
-
TailRL：从平均奖励转向高奖励尾部
怎样提高罕见高奖励事件的概率，并计算每条回答的更新权重？
-
ARPO：在工具反馈后分支探索
怎样把采样预算留到工具反馈之后，并让多个分支共同更新共享前缀？
-
PivotRL：基于回合筛选的局部强化学习
怎样从示范中筛选局部训练回合，并用功能验证减少完整任务的采样成本？
-
在线强化学习总结：单轮回答与 Agentic RL
单轮回答与 Agentic RL 的主要问题有哪些，现有方案的证据与局限是什么，还有哪些待检验的方向？
-
Loss 平均：Token、回答与长度权重
不同策略优化方法怎样汇总 token、回答与题目，分母怎样改变优化权重？
进阶与分支
-
LLM RLVR 组合方案
采样、Advantage、策略更新和验证器怎样组成一个待验证方案？