在线强化学习总结：单轮回答与 Agentic RL#

模型生成完整函数后才取得测试评分，与模型修改仓库、运行测试并根据反馈继续行动，面对的训练问题并不完全相同。两者都需要估计梯度和分配采样预算，多轮交互还增加了环境执行、跨回合贡献估计与状态覆盖问题。

本页限定于本站已讨论的在线 LLM 强化学习方法，按具体问题比较机制、证据与剩余缺口；单轮回答和 Agentic RL 共用的优化设计放在一起对照。

本文按方法改动的环节分类：（1）更新信号；（2）旧数据复用；（3）预算分配；（4）环境交互；（5）优化目标。分类对象是方法修改的环节，而不是互斥的算法家族。一种方法可以同时涉及多个环节。比较以各页列出的论文版本和设置为依据，表中的机制差别不构成统一模型、数据与预算下的成绩排名。

1. 单轮回答与环境交互的任务分类#

单轮回答 RL 可以是“生成完整函数后运行测试并评分”；Agentic RL 可以是“检查仓库、修改文件、运行测试，再根据测试错误继续修改”。前者生成结束后取得结果，后者在任务完成前持续接收环境信息。[1]

前三类是许多单轮方法的优化重点，也同样存在于 Agentic RL。多轮交互进一步带来昂贵的环境执行、跨回合信用分配和状态覆盖问题。PPO、GRPO 等更新器可跨两类任务使用，不能据此把算法划成互斥类别。

这里的“单轮”指交互方式，一条长推理回答仍可以是单轮。两类设置都可以在线训练：策略更新后继续生成新的回答或行动，并取得反馈。

2. 单轮回答 RL：三个主要优化问题#

给定问题 $q$，策略 $\pi_\theta$ 生成回答 $y$，固定评分规则给出 $R(q,y)$。若问题来自分布 $D$，基本目标是提高平均奖励：

$$J_{\mathrm{task}}(\theta)=\mathbb E_{q\sim D,\,y\sim\pi_\theta(\cdot\mid q)}[R(q,y)].$$

REINFORCE 从这个目标得到“回报乘 log 概率梯度”的采样更新。三个优化问题是：（1）梯度估计质量；（2）旧数据复用；（3）采样预算利用。改动它们时，还需检查是否改变了上述目标。

2.1 方差与更新信号：估计质量与采样成本#

回报与 log 概率梯度都随采样轨迹变化，因此单次梯度估计可能波动。Baseline 为回报提供一个参照；Advantage 则用动作价值减去状态价值，衡量该动作相对当前策略的期望回报差异。平均价值有明确含义，但不一定是梯度方差最小的参照。

这些是估计信号的不同办法。REINFORCE++ 的 with baseline 版先减同题均值，再使用全批尺度。

仍有的取舍是估计质量、偏差与成本。 RLOO 的无偏性依赖独立采样等条件；GRPO 的组内中心化与标准化会使样本相互耦合，并改变题间权重。Critic 的预测误差、额外采样和归一化的影响，也不能只用“有没有 Critic”判断。梯度估计方差的降低是否足以补偿这些成本，要在同一预算下检验。

同组分数下的参照与归一化权重比较

下面是手算示例，只比较参照与归一化。固定同一道题的四条等长回答，任务得分为 $[0,0,1,3]$，采用总体标准差，暂不加入 KL 和 clipping。

组均值为 $\bar R=(0+0+1+3)/4=1$，减均值后的值为 $[-1,-1,0,2]$。总体方差为 $\sigma_R^2=(1+1+0+4)/4=1.5$，标准差为 $\sigma_R=\sqrt{1.5}\approx1.225$。

RLOO 要对每条回答排除自己的分数：例如甲的参照为 $b_{-\text{甲}}=(0+1+3)/3=4/3$，丁的参照为 $b_{-\text{丁}}=(0+0+1)/3=1/3$。因此：

回答	REINFORCE：原始得分	RLOO：减其他回答均值	Dr. GRPO：减组均值	GRPO：再除组内标准差
甲	$0$	$-4/3$	$-1$	$-0.816$
乙	$0$	$-4/3$	$-1$	$-0.816$
丙	$1$	$0$	$0$	$0$
丁	$3$	$8/3$	$2$	$1.633$

RLOO 的权重是减组均值结果的 $4/3$ 倍；同组的 GRPO 又多除一个共同尺度。因此，后三列在本组中互成正比例。但题目之间的标准差不同、回答长度不同或接入 clipping 后，完整更新的关系还会变化。

表中只是构造好的权重。每个权重还要乘对应的 log 概率梯度，再按各方法自己的规则求和或平均，才能得到最终更新。

2.2 策略滞后、采样校正与裁剪更新#

生成回答的策略记作 $\pi_{\mathrm{old}}$，训练中的策略为 $\pi_\theta$（current）。回答一旦生成，本批数据和 old 概率就固定了；current 却会随每次更新继续改变。

采样策略落后于正在更新的策略，便产生 policy lag（策略滞后）。同批数据反复训练是一种来源；异步系统中，采样端没有及时取得训练端的新参数，也会产生滞后。

例如，一个具有正更新权重的动作在采样时的概率是 $0.2$。对同一批回答训练多次后，它的概率可能变成 $0.22$、$0.26$，甚至更高。同一样本反复提供提高该动作概率的梯度，但缺少当前策略下的新反馈来判断，这种变化是否仍能提高期望奖励。

Importance Ratio 用 $r=\pi_\theta/\pi_{\mathrm{old}}$ 调整旧样本的贡献；对给定前缀，它校正动作分布。PPO 再加入 clipping：正权重项的 ratio 超过上界后，继续升高不再增加该任务项的目标值；负权重项对应下界。在未裁剪分支内，沿不利方向改变概率比会降低该任务项的目标值。[2]

GSPO 把回答内的 token ratio 合成几何平均，再按整条回答裁剪。同一回答的全部位置使用同一个裁剪判定，某个位置的 ratio 单独越界不再触发该位置的裁剪。相应地，回答级判定不能分别限制各位置的 ratio；几何平均也不是完整回答的精确 importance ratio。[6]

采样器与训练器的数值不一致及其漂移修正，另见 Score Centering。

异步校正已有其他路线。IMPALA 将采样与学习解耦，用 V-trace 构造离策略校正；它说明策略滞后需要单独处理，并非只靠 PPO clipping。其价值估计与校正方式和这里的序列训练不同，不能直接视为可替换组件。[7]

尚不能由这些设计直接决定何时应重新采样。 Ratio 校正与 clipping 的分工不同；两种裁剪都不把 ratio 硬限制在区间内，也不保证每步提高真实奖励。复用得越久是否仍有成本优势，需要把策略变化、估计误差和重采成本一起比较。

概率增长与 PPO 裁剪平台的计算示例

本例取正权重 $\hat A=2/\sqrt{1.5}\approx1.633$。固定一个训练位置，old 的动作概率为 $0.2$，取 $\epsilon=0.2$。这个位置的未裁剪任务项是 $r\hat A$，clipped 任务项是 $\min(r\hat A,\operatorname{clip}(r,0.8,1.2)\hat A)$。

Current 的动作概率	Ratio $r=\pi_\theta/\pi_{\mathrm{old}}$	未裁剪任务项	Clipped 任务项
$0.20$	$1.0$	$1.000\hat A$	$1.000\hat A$
$0.22$	$1.1$	$1.100\hat A$	$1.100\hat A$
$0.26$	$1.3$	$1.300\hat A$	$1.200\hat A$
$0.40$	$2.0$	$2.000\hat A$	$1.200\hat A$

未裁剪目标会继续因这个动作概率升高而增加；clipped 项达到 $1.2\hat A\approx1.960$ 后保持常数。因此，即使还在使用同一份旧回答，该任务项也不再提供沿该方向继续提高概率的梯度。

这张表给出假设的概率变化，用于说明目标函数，不代表真实训练一定沿这些数值变化。概率仍可能因其他样本或共享参数越过阈值；负权重对应另一侧的裁剪，完整推导见 PPO。

2.3 预算分配与样本权重#

预算利用包含两个不同选择：（1）生成哪些数据；（2）生成后怎样计入更新。增加某题采样次数改变实际开销；除以标准差或回答长度，则改变已经采到的样本占多少权重。

DAPO 的动态采样保留同时包含成功与失败回答的二值奖励题组，使保留题组的正确性奖励均存在组内差异。

筛除同分组，并不保证保留的题目具有最高的单位采样收益。 全错可能只是预算不足，反复保留组内奖励非恒定的题目也可能偏向当前容易产生比较信号的部分。当前是否有奖励差异，与继续采样能带来多少能力提升，需要分开判断。

这里既有“同一批数据怎样平均”，也有“哪些数据进入训练”。完整分母见 Loss 平均；比较成本时，还要计入补采后被筛除回答的生成成本。

3. Agentic RL：交互链新增的三个问题#

修复仓库时，模型的修改会改变文件，测试结果又会影响下一轮行动。单轮回答也有前缀分布变化；Agentic RL 进一步引入环境响应、状态变化和执行成本。方差、策略滞后与预算分配问题仍然存在。交互设置还需处理：（1）工具执行成本与探索范围；（2）中间行动对终局结果的贡献；（3）训练状态与实际执行状态的差异。

交互轨迹分解与工具反馈的 loss mask

本段按交互回合计数。$s_t$ 是行动前的完整历史，$a_t$ 是该回合模型生成的内容，$o_{t+1}$ 是环境反馈；整条轨迹记为 $\tau$。固定初始问题 $q$，沿交互顺序分解：

$$P_\theta(\tau\mid q)=\prod_t\pi_\theta(a_t\mid s_t)P_{\mathrm{env}}(o_{t+1}\mid s_t,a_t).$$

每轮先由模型选行动，再由环境给出反馈。若环境机制不显式依赖模型参数，按 REINFORCE 的轨迹分解，log 概率求导只保留模型行动项。工具返回的文字是后续输入，不作为模型自己生成的动作计算策略 loss；最终结果仍能通过回报影响此前的工具选择。

3.1 交互探索：重复执行成本与探索范围#

从头运行到任务结束，能直接取得完整执行结果，却会反复支付相同前半段的工具成本。交互路径还会随观察到的结果继续分叉，增加完整轨迹数量可能产生较高的执行成本。

ARPO 分配给定交互历史之后的续采预算；PivotRL 筛选用于局部训练的示范回合。两者可以继续使用 GRPO 式更新，主要改变历史来源、采样范围和奖励范围。

筛选线索与端到端收益仍需对照检验。 熵变化、局部奖励方差都可用于分配预算，但不直接等于单位工具成本带来的任务成功率提升。局部通过也不保证最终完成任务。

3.2 长程信用分配：终局结果与中间行动贡献#

一次修复最终失败，可能是最早读错文件，也可能是最后修改出错；一次成功也可能包含已经被补救的错误。终局分数本身没有逐回合标出贡献，给所有行动统一分配终局权重，不能直接识别各行动对结果的贡献。

已有方案提供不同层次的线索。Critic 预测状态价值，分支比较观察同一历史之后的不同结局，局部验证器检查当前行动。SRPO 根据轨迹与终局反馈生成反思，再让以反思为条件的教师为学生 token 评分。SRPO 同时讨论数学推理与多轮 Agent 任务，是两类设置共用的反馈设计。[11]

反馈更密集，并不保证能更准确地估计长期贡献。 局部规则可能漏掉后果，教师也可能把失败归因于错误位置；这些信号各自还要付出验证、反思或续采成本。需要核对它们是否确实把更新引向更高的最终成功率。

3.3 状态覆盖：局部优化与完整执行的差异#

在某段历史之后按 current 采动作，只保证该历史上的条件动作采样。历史来自哪里、出现多少次，也是训练分布的一部分。

ARPO 从在线交互出发，自适应续采可能改变前缀的相对训练权重；PivotRL 的输入来自筛选后的示范，优化这些历史上的条件动作策略。模型从头运行时还可能进入自己的错误历史，普通 current/old 动作 ratio 不会自动补齐这些状态。

围绕学习者访问的状态补充训练已有先例。DAgger（Dataset Aggregation，数据聚合）在学习策略访问的状态上查询专家动作，并汇入训练集；它处理的是模仿学习中的分布偏移，依赖可用的专家标签。[12]

对局部 RL，仍需同时考察局部训练的成本优势与实际访问状态的覆盖程度。 功能验证器未必能提供专家动作，示范状态也未必覆盖失败补救。若从中间继续执行，还需恢复文件、会话等环境状态；相同文本历史并不总代表相同交互状态。局部效果应与完整任务成功率分别验证。

4. 平均奖励、罕见成功与能力保留#

这些方法改变的是训练的侧重：提高平均表现、增加罕见成功的机会，还是更多保留原有能力。这些侧重需要分别评价，不能用同一个指标替代。

提高平均奖励可能增加常见成功回答的生成概率。ReCo 与 TailRL 则额外关注多次尝试时，原本很少成功的题是否仍有机会解出。这需要同时观察 Pass@1 与大预算 Pass@$k$，不能把两者的收益混为一谈。

参考惩罚相对固定 reference，clipping 相对本批 old，分工不同。惩罚进入奖励还是独立 loss，其求导路径见 KL Regularization。这些设计也都可以用于 Agentic RL。

这些设计可以跨问题组合，但性质需要重新核对。例如，ARPO 可以沿用 GRPO 的组内权重与裁剪；更换长度分母、再加重加权或正则后，不能自动继承各组件单独讨论的无偏性或效果。

比较结果至少要对齐模型、数据、评分和总预算。生成后被丢弃的回答、教师评分、环境执行、重置与等待都应计入成本；同时观察平均奖励、Pass@1、大预算 Pass@$k$ 与训练外能力。Agentic 还需完整任务成功率和失败补救评测，避免只报告被选中回合的局部提升。

5. 值得进一步研究的问题#

以下研究方向来自所讨论方法的取舍：公式与手算说明给定条件下的更新性质，任务收益则需要实验检验。这些方向是本文的归纳与设想，不表示整个领域尚无人处理，也不代表已有实验结论。

5.1 怎样区分降方差与改变训练权重的影响？#

归一化既可能改变梯度估计方差，也可能改变题目、回答的相对训练权重。任务指标提高时，需要分别识别这两种影响。[8]

可在相同模型与采样数据上分别改变参照、标准化和聚合分母，测量梯度估计的偏差、方差与计算成本，再在相同训练预算下比较任务指标。这样才能判断收益来自估计误差降低，还是训练权重改变。

5.2 旧数据复用的收益与停止条件#

继续训练旧数据，可以节省生成成本；重新采样，可以获得当前策略下的新反馈。问题是，训练到什么时候应该切换？

可以检验：结合策略变化、样本权重的集中程度和重采成本，能否比固定复用次数取得更高的任务收益？ 比较标准是相同总预算下的最终表现，而非单纯增加更新次数。

5.3 新增采样预算的分配依据#

采样新题、为同题增加回答、从已有历史增加后续分支，都会消耗训练预算，但各自的生成与环境执行成本不同。在相同总预算下，几种分配方式可能带来不同的任务收益。

值得研究的是：怎样预测哪一次追加采样更可能改善模型？ 熵变化和奖励分歧可以提供线索，但还需要检验：按这些线索分配预算，是否在相同总预算下比均匀采样取得更高的任务成功率。

5.4 平均表现、罕见成功与原有能力，什么时候可以兼顾？#

提高平均成绩、保留难题上的成功机会、维持训练前的能力，是不同的优化侧重。只报告一个指标，无法判断一种方法改善了什么，又牺牲了什么。

值得研究的是：这些目标在什么条件下相互促进，又在什么条件下发生冲突？能否根据任务需求和训练阶段调整侧重？ 这些问题需要结合预期的生成预算、成功率指标与能力保留要求检验。

5.5 中间行动对最终成功的贡献估计#

出现在成功轨迹中的行动，不一定都有帮助；出现在失败轨迹中的行动，也不一定是错误的。模型还可能先犯错，再成功补救。

值得研究的是：怎样判断某个行动是否提高了最终成功的概率，而不只是与成功同时出现？ 在环境可恢复时，可以从同一状态替换行动，再比较后续结果，用来核对局部奖励和教师评分是否归因准确。

5.6 局部训练的提升，什么时候能转化为完整执行的提升？#

PivotRL 在筛选后的示范状态上优化局部动作策略；这与模型从头执行、进入自己产生的历史，是不同的训练与使用设置。[10]

值得研究的是：怎样保留局部训练的成本优势，同时覆盖模型实际遇到的状态，尤其是错误与补救状态？ 判断效果时，要看从头执行的任务成功率，不能只看被选中回合的局部得分。

参考资料#

1. ARPO（2025，v1）. §2–3：多轮交互与工具反馈后的自适应分支。
2. PPO（2017，v2）. §3、§5：同批多次更新、概率比与裁剪目标。
3. Back to Basics（2024，v2）. §2–3：序列 REINFORCE、RLOO 与 Critic 取舍。
4. REINFORCE++（2025，v9）. §3：全局归一化与 with baseline。
5. DeepSeekMath（2024，v3）. §4.1：GRPO 的组内权重与目标。
6. GSPO（2025，v2）. §4：几何平均 ratio 与回答级裁剪。
7. IMPALA（2018，v3）. §3–4：解耦采样与学习、策略滞后与 V-trace 校正。
8. Understanding R1-Zero-Like Training（2025，v2）. §3：标准差、长度与 Dr. GRPO。
9. DAPO（2025，v2）. §3：动态采样、Clip-Higher、token 平均与超长反馈。
10. PivotRL（2026，v1）. §3、附录 A.2：示范回合筛选与局部功能验证。
11. SRPO（2026）. §3.2、任务设置 §4：反思教师、逐 token 评分与两类任务。
12. DAgger（2011，v3）. §3、算法 3.1：学习者访问的状态、专家标签与数据聚合。
13. ReCo（2026）. §3–4：回答与 token 重加权。
14. TailRL（2026）. §3–4：尾部目标、有限组与中心化。
15. InstructGPT（2022）. §3.5：任务奖励与参考约束的取舍。
16. ERPO（2026）. §4：问题侧正则、题目权重与工作假设。