强化学习缩放定律的实证研究

1. 问题与价值

这篇论文要解决的问题是：强化学习（RL）训练目前缺乏像大语言模型那样可预测的 scaling laws，导致大规模训练前无法可靠回答三个关键问题——给定算力预算下能达到什么性能、模型大小与数据量如何分配、超参数怎么选。

为什么重要：在监督学习和自监督学习中，Kaplan et al. (2020)、Hoffmann et al. (2022)、Bi et al. (2024) 等工作已经证明可以用小规模实验拟合幂律并外推到大算力，从而把训练从试错变成可预测的工程。RL 因为数据分布随策略变化而非平稳、奖励信号不平滑，此前没有建立起同等强度的预测性规律。

谁受益、怎么受益：需要训练大规模 RL agent 的研究团队和工程团队。他们可以用小算力实验拟合 scaling law，预测大算力训练的最优模型尺寸、最优 batch size 和 learning rate、以及最终性能，避免在大算力下盲目搜索。论文展示的直接受益案例是 Craftax 环境：用 scaling law 指导 1e19 FLOPs 的训练，达到 54.0% 成功率，超过此前最佳 20.6%。

2. 已有工作的不足

在本文之前，最接近的工作有三条线。

第一条是 Hilton et al. (2023) 的单智能体 RL scaling laws。他们发现 mean episode return 不平滑、难以外推，于是提出 intrinsic performance 指标——用达到同等性能所需的最小训练算力来衡量 agent 强度。这个指标的缺陷是：它本质上是一个“算力等价量”，不适合直接回答“给定算力能达到什么性能”这个问题，只能用于回答分配问题。本文作者明确指出了这一点。

第二条是 Jones (2021) 和 Neumann & Gros (2023) 在双人零和博弈中的 Elo scaling laws。他们发现 AlphaZero 类 agent 的 Elo 随训练算力可预测地增长。但这两项工作只覆盖了性能预测这一个问题，没有系统研究超参数和模型尺寸的 scaling。

第三条是 Fu et al. (2026) 对 value-based RL 的 scaling laws，聚焦分配问题和超参数问题，但同样没有完整覆盖性能预测。

综合来看，已有工作的不足可以归纳为三点：一是没有同时回答性能、分配、超参数三个问题；二是大多数工作没有在更大算力下验证拟合 law 的预测准确性——而本文认为预测力才是 scaling law 的核心价值；三是 Hilton et al. (2023) 的 intrinsic performance 指标回避了性能预测问题本身，而不是解决它。

3. 重建作者的思考路径

假设我面对第 2 项里的局面：RL 里 mean episode return 不平滑，导致无法像监督学习里用 loss 那样直接拟合 scaling law。Hilton et al. (2023) 已经指出了这个问题，但他们绕开了——用 intrinsic performance 这个“算力等价量”来替代性能指标。

我首先会想：能不能找一个比 mean episode return 更平滑的性能指标？监督学习里 loss 平滑是因为它衡量的是模型输出与固定目标的距离。RL 里 return 不平滑，是因为奖励的绝对大小并不连续地反映学习进展——agent 可能在一个阶段卡在某个 return 水平，然后突然跃升。

这时我会想到：与其用绝对 return，不如用相对强度。两个 agent 谁强谁弱，比单个 agent 的绝对 return 更稳定。Elo 在棋类里就是干这个的。但 Elo 需要双人对弈，单智能体环境里没有对手。一个自然的改造是：把不同训练 run 的最终 checkpoint 放进一个 league，在固定的评估环境集合上两两比较 return，高者获胜，平局各算 0.5 胜，然后用 Bradley-Terry 模型拟合 win rate 矩阵得到 Elo。这个思路在 Jones (2021) 里已经出现过，我把它从双人博弈搬到单智能体环境。

有了 Elo 之后，性能预测问题变成：Elo 是否随训练算力 log-linear 增长？如果是，就能外推。

但光有性能指标还不够。要回答“给定算力怎么分配”，我需要知道最优模型尺寸随算力怎么变。这里我会借用 Hoffmann et al. (2022) 的 isoFLOPs profile 方法：固定几个训练 FLOPs 预算，在每个预算下扫不同模型尺寸，拟合性能-模型尺寸的抛物线，取顶点作为该预算下的最优模型尺寸，再对最优尺寸与算力拟合幂律。

这里会撞上第一个矛盾：isoFLOPs 实验里每个配置该用什么超参数？如果每个模型尺寸都单独调超参数，实验量爆炸。合理的做法是先单独研究超参数随算力的 scaling，然后用预测值来配置 isoFLOPs 实验。这就自然形成了两阶段框架：先拟合超参数 scaling law，再用它指导分配实验。

第二个矛盾出现在超参数识别上：RL 训练方差大，单次 run 的“最优”超参数很可能是噪声。直接取经验最优再拟合幂律会很不稳定。监督学习里 Bi et al. (2024) 用“性能在最优值 0.25% 以内的都算 near-optimal”来扩大样本。但 RL 的 return 不平滑，0.25% 这个阈值没法照搬。我会想到用 bootstrap：对随机种子做重采样，每次重采样选一个在该算力下 IQM 最高的配置，称为 competitive configuration，重复 1000 次得到一组 competitive 配置，然后对它们拟合幂律。这样把“单点最优”变成“分布”，更稳健。

第三个矛盾出现在 Craftax 上：如果最优模型尺寸随算力单调增长，那 1e14 到 3e14 之间应该看到更大模型更好。但实验里出现了双交叉——更大模型在 1e14 更好，3e14 更差，1e15 又更好。这不符合全局幂律。我会去查 agent 在这几个算力点解锁了什么成就，发现是“打怪”和“进 dungeon”两个技能之间的切换：agent 先学会打怪，后来发现直接进 dungeon 更划算，于是放弃打怪。这导致小模型因为同样的算力下能看更多数据而暂时占优。这个现象和 Schaul et al. (2019) 描述的 Ray interference 很像——一个奖励源压制另一个奖励源的学习信号。

与论文实际路径的差异：我猜测的路径和论文实际路径在大框架上一致——都是先解决指标问题，再两阶段拟合。但论文实际路径中有一个我一开始不会主动做的选择：他们在 Craftax 里把 1e14 FLOPs 从超参数 scaling law 的拟合数据中排除，理由是观察到 1e14 到 3e14 之间模型尺寸 scaling 违反单调性。这个操作是在发现 inverse scaling 之后回头做的，属于事后调整。如果我从头做，可能会先硬拟合全部数据，然后发现 1e14 点严重偏离，再回头分析原因。另外，论文在 isoFLOPs 实验里对 batch size 取最近的 2 的幂、并用平方根规则调整 learning rate，这个工程细节我一开始不会想到，但它对实验可行性很重要。

4. 核心 intuition

用一个日常类比：想象你在评估一群学生的数学能力，但考试题目本身难度会随着学生水平变化——这就是 RL 里 mean episode return 的问题，绝对分数不稳定，因为“题目”是 agent 自己生成的 experience。

Elo 的做法相当于：不直接看每个学生的绝对分数，而是让他们两两做同一套固定题目，看谁对得多。这样即使题目整体偏难或偏易，相对胜负仍然稳定。把固定评估环境集合当作“同一套题”，把不同 checkpoint 两两比较，就得到了一个不受奖励绝对尺度影响的相对强度指标。这个指标随训练算力平滑增长，因为它衡量的是“这个 agent 比随机策略强多少”，而不是“这个 agent 拿了多少分”。

为什么这能让 scaling law 可外推：scaling law 的本质是捕捉“更多算力带来多少能力增量”。绝对 return 的增量会被奖励设计和环境动态扭曲——比如 Craftax 里学会进 dungeon 反而暂时降低打怪得分。相对强度则把这种扭曲抵消掉，因为所有 agent 都在同一个扭曲的环境里比较。

5. 方法 pipeline 举例

以 Craftax 为例，走一遍完整流程。

输入：假设我要预测 1e18 FLOPs 训练的最优配置和性能，但我只有 1e15 到 1e17 的小规模实验数据。

第一步，超参数 scaling。在 3e14、1e15、3e15、1e16、3e16、1e17 这 6 个算力预算下，每个预算扫 7 个 learning rate、7 个 batch size、4 个模型宽度。每个配置跑多个 seed，取 IQM。然后对每个算力预算做 1000 次 bootstrap 重采样，每次选 IQM 最高的配置，得到 1000 个 competitive 配置。对这些配置拟合 B*(C) = a_B · C^(d_B) 和 α*(C) = a_α · C^(d_α)。Craftax 的拟合结果是 a_B = 0.28、d_B = 0.26、a_α = 1.57e-2、d_α = -0.082。代入 C = 1e18，得到预测的 batch size 和 learning rate。原文 Table 7 显示 1e18 实际使用的 batch size 是 2^14、learning rate 是 2^-10.79，这就是从 scaling law 预测值取整得到的。

第二步，isoFLOPs 分配。在 1e15、3e15、1e16、3e16、1e17、1e18 这 6 个算力预算下，每个预算扫多个模型宽度（例如 1e18 扫 24 到 48 共 10 个宽度）。每个配置用第一步预测的超参数，跑 10 个 seed。对每个配置的最终 checkpoint 计算 Elo，取 IQM。对每个算力预算，用加权最小二乘拟合 Elo 对 log10(M) 的抛物线，顶点就是该预算下的最优 FPF。例如 Craftax 在 1e18 的经验最优 FPF 是 2.65e7。然后用 1e15 到 1e17 的数据拟合 M*(C) = a_M · C^(d_M)，得到 a_M = 0.53、d_M = 0.43。代入 C = 1e18，预测 FPF 为 2.73e7，与经验最优 2.65e7 的相对误差是 (2.73e7 - 2.65e7) / 2.65e7 = 0.0302，约 3%。

第三步，性能 scaling。用第二步的抛物线顶点，得到每个算力预算下的最优 Elo。对 1e15 到 1e17 的数据拟合 Elo*(C) = d_Elo · log10(C) + a_Elo。Craftax 的拟合结果是 d_Elo = 223.86、a_Elo = -1987。代入 C = 1e18，预测 Elo 为 223.86 × 18 + (-1987) = 4029.48 - 1987 = 2042.48，原文 Table 3 给出 2043.0（四舍五入差异）。经验最优 Elo 是 2087.5，预测偏低，对应 win rate 误差 -6.37%。

第四步，hero run。用 scaling law 预测 1e19 的最优 FPF 为 58（Table 7 的模型宽度），batch size 2^15，learning rate 2^-11.00。跑 10 个 seed。预测 Elo 为 223.86 × 19 + (-1987) = 4253.34 - 1987 = 2266.34，原文 Table 3 给出 2266.8。实际达到 2185.9，偏差 +80.9 Elo，对应 win rate 偏差 +11.44%。最终 Craftax 成功率 54.0%。

6. 核心数学推导

核心公式有三个：超参数幂律、模型尺寸幂律、性能 log-linear 律。这里推导最关键的 Elo 性能律，因为它直接支撑“可预测”这个核心主张。

先解释符号。C 是总训练 FLOPs。M 是 FPF，即每个 observation 上消耗的 FLOPs，用来度量模型大小。D 是训练 frame 数。总算力满足 C = M · D。Elo*(C) 表示在算力预算 C 下、用最优模型尺寸和最优超参数能达到的 Elo 分数。

第一步，建立 Elo 与 win rate 的关系。Bradley-Terry 模型假设 agent i 对 agent j 的胜率是 Pr[i 胜 j] = 10^(Elo_i / 400) / (10^(Elo_i / 400) + 10^(Elo_j / 400))。这个形式保证了 Elo 差 400 分对应胜率约 10:1。论文用这个模型从 win rate 矩阵反解 Elo。

第二步，假设 Elo 随 log 算力线性增长。为什么是 log-linear 而不是 power law？因为 Elo 本身已经是对数尺度的量——它来自胜率的 logit 变换。监督学习里 loss 通常随算力呈幂律 L(C) ∝ C^(-α)，取对数后是 log L = -α log C + const，即 log-linear。Elo 作为类似“负 loss”的量，自然假设 Elo*(C) = d_Elo · log10(C) + a_Elo。其中 d_Elo 是斜率，表示算力每增加 10 倍，Elo 增加多少；a_Elo 是截距。

第三步，拟合。用 1e15 到 1e17 的 6 个数据点（每个点是对应算力下抛物线顶点的 Elo），做最小二乘拟合，得到 d_Elo 和 a_Elo。Craftax 得到 d_Elo = 223.86、a_Elo = -1987。

第四步，外推。代入 C = 1e18，Elo*(1e18) = 223.86 × 18 - 1987 = 2042.5。与经验最优 2087.5 比较，误差为 (2042.5 - 2087.5) / 2087.5 = -0.0216，约 -2.2% 的 Elo 相对误差。换算成 win rate 误差是 -6.37%，这个换算是通过 Bradley-Terry 公式把 Elo 差转成胜率差得到的。

这个公式在算什么：它在算“如果我把算力从 1e15 扩大到 1e18，最优配置下的 agent 强度会从多少 Elo 增长到多少 Elo”。斜率 d_Elo 是核心量——它告诉我们每增加 10 倍算力能换来多少相对强度提升。

7. 实验设计

数据集：两个程序化生成环境。Starpilot 来自 Procgen benchmark（Cobbe et al., 2020），Craftax 是 Matthews et al. (2024) 提出的开放世界生存环境。两个环境都支持程序化生成，避免了固定数据集过拟合问题。

基线：论文没有与传统 RL 算法基线对比，因为研究目的不是算法性能而是 scaling 规律。唯一的外部基线是 Craftax 上此前最佳结果 20.6%（Hamon, 2024），本文达到 54.0%。内部基线是 mean episode return 作为性能指标的 scaling law，用来对比 Elo 指标的预测能力。

指标：核心指标是单智能体 Elo 分数。辅助指标是 mean episode return（用于对比）和 Craftax 成就解锁率（用于分析 inverse scaling）。超参数实验用 IQM 聚合多 seed 的 return。

消融：严格说没有传统意义的消融实验。但有两个对比性分析：一是 Elo vs mean episode return 的外推精度对比（Figure 4），二是 Starpilot 和 Craftax 两个环境的 scaling 系数对比（Table 1）。

实验能否支撑结论：能支撑核心结论。Elo 在 1e18 的预测误差（Starpilot +5.84% win rate，Craftax -6.37% win rate）明显小于 mean episode return 的误差，且 hero run 在 1e19 的实际 Elo 与预测偏差约 11% win rate，在 RL 的高方差背景下是可接受的。模型尺寸预测在 Craftax 上误差仅 3%，在 Starpilot 上误差 31% 但性能损失很小（Elo 差 1102.6 vs 1110.7，即 8.1 Elo）。

缺什么：一是只用了 A2C 一种算法，无法判断 scaling 规律是否算法相关。二是 Elo 是相对指标，依赖 league 的构成，不同 league 的 Elo 不可直接比较。三是 1e19 的 hero run 没有独立验证最优性——它只是验证了“按预测配置训练能达到预测性能”，没有验证“这个配置确实是 1e19 下的最优配置”。四是 Craftax 的 inverse scaling 分析是事后观察，没有做干预实验验证 Ray interference 的因果解释。

8. take-aways

1. 单智能体 Elo 分数随训练算力 log-linear 增长，在 Starpilot 和 Craftax 上都能从 1e15-1e17 外推到 1e18，win rate 误差分别为 +5.84% 和 -6.37%，而 mean episode return 在 Craftax 上连拟合都不好。

1. 最优 batch size 随算力呈幂律增长，Starpilot 指数 0.39，Craftax 指数 0.26；最优 learning rate 几乎不随算力变化（Starpilot 指数 -0.023，Craftax 指数 -0.082），这与“算力越大 learning rate 应越小”的常识相悖，但预测在 1e17 验证中接近经验最优。

1. 最优模型尺寸（FPF）随算力呈幂律增长，两个环境的指数都约 0.43-0.44。在 Craftax 上从 1e15-1e17 外推到 1e18 的相对误差仅 3%。

1. 用 scaling law 指导 1e19 FLOPs 训练，Craftax 达到 54.0% 成功率，是此前最佳 20.6% 的 2.62 倍（54.0 / 20.6 = 2.62），但消耗了 135 billion frame（原文即以 billion 计），远高于基线的 4 billion frame。

1. Craftax 在 3e13 到 1e15 FLOPs 之间出现局部 inverse scaling：更大模型在 1e14 优于小模型，3e14 劣于小模型，1e15 又恢复优势。这与 Ray interference 有关，说明全局幂律可能掩盖非单调的局部动态。

9. 最脆弱的假设

最脆弱的假设是：Elo 的 log-linear scaling 在超出验证范围后仍然成立，且这种成立不依赖于特定 league 的构成。

论文给出的证据：在 1e18 验证了从 1e15-1e17 拟合的 law，误差可接受；在 1e19 的 hero run 中，实际 Elo 与预测偏差 +80.9（Craftax）和 +80.2（Starpilot），对应 win rate 偏差约 +11%。这个偏差比 1e18 的验证误差大，说明外推误差在累积。

为什么这个假设一倒结论就崩：如果 Elo 的 log-linear 趋势在更大算力下弯曲或饱和，那么所有基于外推的性能预测、以及“用 scaling law 指导大算力训练”的核心主张都会失效。论文自己也在结论里承认，Craftax 的 Ray interference 表明“单一通用 scaling law 可能不适用于所有任意 RL 环境”。但论文没有给出 Elo 在什么条件下会饱和或弯曲的理论分析，也没有在超过 1e19 的算力下验证。此外，Elo 是相对指标，league 里 agent 的构成变化会改变所有 Elo 值，这意味着不同研究之间无法直接比较 Elo 的绝对数值，削弱了 scaling law 的通用性。

10. 一周最小复现

目标：在 1 张 24GB 消费级显卡上复现最核心的结论——Elo 比 mean episode return 更适合拟合性能 scaling law。

环境选择：用 Craftax，因为它有公开的 JAX 实现，速度快，且论文的 inverse scaling 现象就发生在这个环境里。Starpilot 需要 Procgen，环境安装和帧率可能更麻烦。

步骤：

第 1 天，搭环境。安装 Craftax 的 JAX 版本，跑通 A2C 训练。用论文附录 A.2 的 Craftax 超参数：discount 0.999，rollout length 16，4 个 minibatch，entropy 0.001，Adam，gradient clip 0.5。模型用附录 A.1 的架构：1×1 卷积编码 map，LSTM 处理部分可观测性。先跑一个小模型确认能学到东西。

第 2-3 天，选 3 个算力预算做 isoFLOPs 实验。考虑单卡算力，选 1e14、3e14、1e15 FLOPs 三个点（原文 Craftax 的 inverse scaling 就在这个区间）。每个预算下扫 3 个模型宽度，例如 4、8、16。每个配置跑 3 个 seed。用固定 batch size 和 learning rate（不必先做超参数 scaling，因为这一步只验证 Elo 指标的有效性）。

第 4 天，计算 Elo。把所有 run 的最终 checkpoint 加上随机策略放进一个 league。用论文的方法：在固定的 1024 个评估环境实例上，两两比较 return，高者胜，平局各 0.5 胜，得到 win rate 矩阵，拟合 Bradley-Terry 模型得到 Elo。同时记录每个 checkpoint 的 mean episode return。

第 5 天，拟合和对比。对每个算力预算，取该预算下 Elo 最高的配置作为最优，得到 3 个 (C, Elo*) 点。拟合 Elo*(C) = d_Elo · log10(C) + a_Elo。同样对 mean episode return 拟合 log-linear law。比较两者的拟合优度（例如 R² 或残差）。

第 6 天，外推验证。在 3e15 FLOPs 下训练一个模型（用前 3 个点外推的最优宽度），比较预测 Elo 和实际 Elo。如果时间不够，这一步可以省略，只报告拟合优度的对比。

第 7 天，整理结果。预期指标：Elo 的 log-linear 拟合 R² 应该明显高于 mean episode return；如果复现了 inverse scaling，应该看到 1e14 到 3e14 之间大模型和小模型的性能交叉。

数据规模：3 个算力预算 × 3 个宽度 × 3 seeds = 27 个训练 run，加上 1 个外推验证 run，共 28 个 run。每个 run 在 1e15 FLOPs 下，如果模型 FPF 约 1e6 量级，需要 1e9 frame，在单卡 JAX 环境下大约几小时到一天，取决于具体实现效率。

11. 反例设计

核心主张是：单智能体 Elo 分数随训练算力 log-linear 增长，因此可以从 1e15-1e17 外推到 1e18 甚至 1e19。

反例实验：在 Craftax 中，把 isoFLOPs 实验扩展到 1e20 FLOPs（比论文的 hero run 1e19 再大 10 倍）。按照论文的 scaling law，Craftax 的 Elo 预测值是 223.86 × 20 = 4477.2，再减截距 4477.2 - 1987 = 2490.2。如果实际最优 Elo 显著低于这个值——例如低于 2300（本例假设的判定阈值），即偏差超过 190 Elo，对应 win rate 偏差超过约 25%——就说明 log-linear 律在 1e19 之后发生了弯曲或饱和。

判据：定义“显著低于”为实际 Elo 比预测值低超过 150 Elo。这个阈值的依据是：论文在 1e19 的偏差是 +80.9 Elo（实际高于预测），如果 1e20 出现 -150 Elo 以上的负偏差，且方向与 1e19 相反，说明外推已经不可靠。

另一个更便宜的反例：改变 league 构成。如果 Elo 是真正可外推的性能度量，那么 league 里加入或移除一些中间强度的 agent 不应该改变“Elo 随算力 log-linear 增长”这个结论的斜率。具体做法：把 league 里所有 1e15 以下的 agent 移除，重新计算 Elo，再拟合 scaling law。如果斜率 d_Elo 变化超过 20%，说明 Elo 的 scaling 规律严重依赖 league 构成，其作为通用性能度量的有效性存疑。

12. 落地判断

能否用于“抢占式 GPU 自托管 27B 模型做多智能体脚手架”：能部分借鉴，但不能直接套用。

怎么用：这篇论文的方法论——用 Elo 替代绝对 return 作为性能度量、用 isoFLOPs 找最优模型尺寸、用 bootstrap 识别 competitive 超参数——可以迁移到多智能体脚手架的场景。具体来说，如果你的脚手架里有多个 agent 协作或竞争，可以把“任务完成率”或“协作效率”这类绝对指标换成相对 Elo：让不同训练 run 的 agent 在固定的任务集上两两比较，得到更平滑的性能曲线。然后用小规模实验拟合 Elo 对算力的 log-linear 律，预测大算力下的性能。

成本量级：论文的 hero run 是 1e19 FLOPs，对应 Craftax 的 135 billion frame（原文即以 billion 计）。你的 27B 模型场景完全不同：27B 参数的一次 forward 就远大于论文里的卷积网络。如果 27B 模型 FPF 约 1e8 量级（估算），1e19 FLOPs 只能处理约 1e11 frame，这在多智能体交互场景下可能只够几万到几十万次交互。所以不能直接照搬论文的算力规模，需要先做小规模的 isoFLOPs 实验确定你的场景下 Elo 是否 log-linear。

最大的坑：Elo 是相对指标，依赖 league 构成。在多智能体脚手架里，agent 的能力分布可能随任务变化很大，如果 league 里的 agent 都来自相似的训练阶段，Elo 的区分度会下降。另外，论文自己发现 Ray interference 会导致局部 inverse scaling，多智能体场景里 agent 之间的相互适应会引入更强的非平稳性，可能让 log-linear 假设在更小的算力范围内就失效。建议先用 3-4 个算力点验证 Elo 的线性趋势，再决定是否值得做完整 scaling law 研究。