ScaleRL：怎样预测在线 RL 配方的算力收益#

进阶2026-11-095 分钟阅读查看源文件 ↗

TL;DR#

本页内容6 个部分

1. 实践问题与证据状态#

累计训练预算	哪个 batch 更合适	图 10a 的比较依据
较低预算	小 batch 更合适	小 batch 的验证正确率早期上升更快，同等算力下领先。
较高预算	大 batch 反超	小 batch 的曲线逐渐趋平，大 batch 的实测正确率后来超过了小 batch 的外推曲线。

这是 ScaleRL 数学实验在同分布留出题上的结果。两条曲线接近时，按目标预算比较实际测到的正确率。[1]

假设每条回答的平均处理成本接近，同样的算力可以用来小 batch 多更新，或大 batch 少更新。小 batch 更频繁地更新策略，再用更新后的策略采样。大 batch 把更多回答汇到一步里估计梯度。

沿同一条曲线向右，是用同样大小的 batch 继续生成新回答、做更多次更新。固定横轴位置比较不同曲线，才是在问同一笔算力花在哪种 batch 上更划算。[1]

2. 设置与候选方案#

主要消融用 8B 稠密模型和可自动验对错的数学题。每批从 Polaris-53K 取 48 道题，每题生成 16 条回答，筛选前共有 768 条。默认生成预算约 14k tokens，包含思考和最终答案。起始基线采用带 DAPO 式非对称裁剪的 GRPO 目标，仅使用任务项。Loss 先在每条回答内取平均，再对回答取平均。[1]

完整配方将生成、更新与筛选一起调整。[1]

配方选择	ScaleRL 的做法
采样与训练调度	PipelineRL 让生成器持续产出回答，训练器有了完整批次就更新并回传权重。实验把训练器领先生成器的步数上限设为 8。生成中的回答可能带着旧权重算出的 KV Cache 继续。
策略目标	CISPO 给 token 的概率比权重设上限，同时保留裁剪位置的任务梯度。
Advantage 与聚合	对每条回答的奖励减去同题均值，再除以全批 advantage 的标准差。每道题内部对有效 token 取平均，然后对题取平均。
题目筛选	同题回答全对或全错时，组中心化后的 advantage 全为零。这样的题退出本批 loss，当前批次直接使用剩下的题。历史通过率达到 90% 的题从后续轮次剔除。
长度与精度	达到思考预算时插入结束思考的提示，给模型机会输出最终答案。生成器和训练器都以 FP32 计算输出头，减轻两边 token 概率的数值偏差。

3. 对比与验证设计#

每隔 100 个训练步，在同分布留出的 1,000 道数学题上各生成 16 次。把每道题答对的比例再按题平均，得到一个验证正确率。横轴是累计训练算力 $C$ ，以 GPU 小时计。这样生成等待和训练吞吐的差异都能体现在算力与效果的对照里。[1]

设 $R_0$ 为起始正确率， $R(C)$ 为算力 $C$ 下的拟合正确率， $A$ 为拟合上限。 $C_{\mathrm{mid}}$ 是拿到一半可提升空间所需的算力， $B>0$ 控制曲线的陡峭程度。作者用以下经验模型拟合验证点。[1]

R(C)=R_0+\frac{A-R_0}{1+(C_{\mathrm{mid}}/C)^B}.

分母中的 $(C_{\mathrm{mid}}/C)^B$ 等于 $\exp[-B(\log C-\log C_{\mathrm{mid}})]$ ，所以在对数算力轴上是 S 型。它的两端分别趋近 $R_0$ 和 $A$ 。在远高于 $C_{\mathrm{mid}}$ 的区间，剩余差距 $A-R(C)$ 近似按 $C^{-B}$ 缩小。S 型是作者根据指标的边界和外推表现选定的函数，参数用训练期间记录的验证点估计。多数拟合从约 1,500 GPU 小时开始，实际训练的起步阶段可以涨得很快。[1]

手算示意。 令两套配方都从 30% 起步，取 $B=2$ 。甲的 $A=60\%$ 、 $C_{\mathrm{mid}}=5{,}000$ ，乙的 $A=70\%$ 、 $C_{\mathrm{mid}}=10{,}000$ 。在 5,000 GPU 小时时，甲刚好拿到一半提升，达到 45%，乙为 38%。在 20,000 GPU 小时时，乙的分母是 $1+(10{,}000/20{,}000)^2=1.25$ ，因此达到 $30\%+40\%/1.25=62\%$ ，超过甲的 58.2%。

手算示意。5k GPU 小时时甲为 45%、乙为 38%。20k 时甲为 58.2%、乙为 62%。

实验先从基线出发逐项更改配置，筛掉训练失稳的选择。组合成 ScaleRL 后，再从完整配方逐项换回基线设置，检查各项在组合中是否仍有收益。这些逐项回退实验跑到 16,000 GPU 小时，前 8,000 小时用于拟合，后续验证点用于检查外推。[1]

4. 结果与限制#

上限与效率要结合比较基线读。 从早期基线出发，换 CISPO 后拟合上限高于 DAPO。可是在完整 ScaleRL 里单独换回 DAPO，上限接近，CISPO 的算力效率较高，对裁剪阈值也较不敏感。输出头用 FP32 同样依赖配方和模型。在基线精度对照里，拟合上限由 0.52 升到 0.61。在完整的 8B 配方里，单独撤回 FP32 的影响较小，在 Scout MoE 上则仍有收益。[1]

外推要与后来实际跑到的点比较。 最大的一次 8B 实验用约 1,500–50,000 GPU 小时拟合，再训练到 100,000 GPU 小时。S 型拟合的上限为 64.5%，后半段的实测点贴近外推，训练末期正确率接近 65%。在同一段早期数据上，普通幂律估计的上限为 100%。把起点改到 5,000 GPU 小时，幂律估计变为 74%，S 型仍为 64.5%。另一个对照将生成预算从 14k 增至 32k tokens，早期更慢，随后超过短预算配置。[1]

拟合的适用范围由验证集和训练设置决定。 上限是对给定模型、题集、配方和评测口径的估计。三次独立重复实验中，论文用约 2 个百分点作为拟合上限的经验误差范围。AIME-24 等下游评估另行报告。迁移到不同奖励、题集或模型时，仍要在目标算力区间留出后续训练点，核对性能是否按预测增长。[1]

参考资料#

The Art of Scaling Reinforcement Learning Compute for LLMs（2025，v1）。§2.1 给出算力曲线与验证指标，§3–4 说明配方及消融，§5 报告规模实验，附录 A.4 比较 S 型与幂律。