长时程 LLM 智能体的多尺度策略优化

1. 问题与价值

这篇论文解决的是长程 LLM 智能体的强化学习训练中，信用分配和策略更新在两个时间尺度上错位的问题。LLM 智能体与环境交互时，是以完整的助手回合为单位的，比如一次搜索查询、一次工具调用、一次最终回答；但策略生成每个回合时，又是一个 token 一个 token 地自回归产出。这带来两个尺度：回合尺度和 token 尺度。

问题的重要性在于：现有的强化学习方法要么只在序列级别给一个共享的优势信号，比如 GRPO、DAPO、GSPO，它们不区分单个回合或单个 token 的贡献；要么只在 token 级别做信用分配，比如 PPO、VC-PPO、VAPO、SAO，它们把每个 token 当作独立动作，没有显式区分「回合内的生成」和「回合间的环境交互」。论文观察到，回合之间的均值差异主导了 critic 的 token 加权价值方差。注意这不等于「价值在回合边界上突变」——论文自己的数字相反：边界只占相邻平方变化的 9.2%，均值边界跳变仅在 22.4% 的轨迹里超过回合内跨度；它专门写了一句警告，防止把 turn 级差异读成「变化集中在边界」。具体来说，在 2,048 条轨迹、16,323 个回合中，回合均值之间的差异解释了 critic 的 token 加权价值方差的 89.5% 的中位数，93.8% 的轨迹中回合间方差超过回合内方差。

谁受益、怎么受益：训练长程智能体的团队受益。他们可以用 MPO 在搜索、工具使用、自动化任务上获得比 GRPO、PPO、VAPO、SAO 等强基线一致更好的 pass@1 和 pass@3。以 4B 模型为例，MPO 在 BrowseComp-Plus 上 pass@1 达到 48.08，比最强的非 MPO 基线 SAO 的 43.75 高出 4.33 个百分点；在 GAIA 上 pass@1 达到 39.47，比 SAO 的 35.62 高出 3.85 个百分点。最终用户受益于更可靠的智能体：在测试时采样预算增加时，MPO 的 pass@32 在 BrowseComp-Plus 上达到 75.90，比 GRPO 和 PPO 中较强者高出 3.61 个百分点。

2. 已有工作的不足

在 MPO 之前，处理长程 LLM 智能体 RL 的方法主要有两个家族，各有具体缺陷。

第一个家族是 critic-free 的组相对方法，代表是 GRPO、DAPO、GSPO。它们从一组 rollout 的结果奖励中为每个生成序列推导出一个共享的优势值。不足在于：这个共享的信用信号不区分单个回合或单个 token 的贡献。一个长轨迹中，某个关键的工具调用和大量无关紧要的填充 token 收到完全相同的权重，导致学习信号被稀释，关键决策得不到强化。

第二个家族是 critic-based 的 token 级方法，代表是 PPO、VC-PPO、VAPO、SAO。它们用学习到的价值函数沿 token 序列估计优势。不足在于：它们的共同公式把每个生成 token 当作一个动作，提供更细粒度的信用，但没有显式分离「回合内的生成」和「回合级的环境交互」。这带来两个具体问题。第一，token 级 GAE 的衰减按 token 计数，而一个回合可能包含几十上百个 token，跨回合的信用在传播过程中被过度衰减。第二，token 级的重要性采样比率只修正单个 token 的分布，而环境实际接收的是完整的回合输出；用 token 比率替代回合比率会引入回合内分布偏移的额外惩罚。论文在 Theorem 2 中证明，在相同的 KL 约束下，token 代理的改进界比回合代理多出一个额外的回合内分布偏移惩罚项，量级为 2(T+1) * A_tok_max * L_max * (L_max - 1) * α_T²。

简言之，GRPO 家族太粗，PPO 家族在错误的尺度上做细。两者都没有把「环境交互发生在回合边界」这一结构纳入信用分配和策略更新的设计。

3. 重建作者的思考路径

如果我是作者，面对第 2 项里的不足，我会这样一步步想。

先看数据。我手上有训练中的 critic 值。我把每条轨迹按回合切开，画出每个 token 的 critic 值。我发现一个现象：回合内部的值相对平稳，回合边界处有跳变。统计一下，回合均值之间的差异占了 critic 的 token 加权轨迹内价值方差的 89.5%（中位数），93.8% 的轨迹中回合间方差大于回合内方差。这说明 critic 学到的价值结构主要是在回合尺度上变化的。那么，信用分配应该主要在回合尺度上做，而不是在 token 尺度上做。

于是我先想到最简单的方案：把每个回合当作一个宏动作，在回合尺度上做 GAE。这就是论文里的 turn-level GAE。我把回合内的 TD 残差求和，得到 δ_turn_t = 1{t=T} * R(τ) + V_{t+1,1} - V_{t,1}，然后在回合轴上做 GAE，得到 A_turn_t。这个信号跨回合传播信用，每个回合内的所有 token 共享同一个优势值。

但这里撞上一个矛盾：如果回合内所有 token 共享同一个优势，那回合内的 token 级信息就丢了。critic 值在回合内部虽然变化小，但不是完全没有变化。附录 C 的数据显示，边界跳变的均值只在 22.4% 的轨迹中超过回合内 P95-P05 跨度，边界只占池化相邻值变化平方的 9.2%。也就是说，回合内的局部变化虽然幅度小，但累积起来仍然有信息量。完全广播回合优势会丢掉这些信息。

怎么改？我想到在回合优势的基础上加一个回合内的局部修正。回合内的 TD 残差可以形成一个局部 trace，A_intra_{t,i} = Σ_{j=i}^{L_t} λ_intra^{j-i} * δ_{t,j}。但直接加上去会改变回合均值。如果我把 A_turn_t 广播给所有 token，再加上 β * A_intra_{t,i}，那么回合内的平均优势就不再是 A_turn_t，而是 A_turn_t + β * mean(A_intra_t)。这破坏了「回合优势决定均值」的设计意图。

解决方法是把局部 trace 中心化：A_MAE_{t,i} = A_turn_t + β * (A_intra_{t,i} - mean(A_intra_t))。这样回合均值保持为 A_turn_t，同时保留了 token 间的相对差异。这个操作可以写成约束最小二乘投影：在保持均值为 A_turn_t 的约束下，最小化与 β * A_intra_t 的平方距离。解出来就是中心化的形式。

改完信用分配，我发现还有一个问题：策略更新用什么重要性比率？如果用 token 级比率 ρ_{t,i}，那么每个 token 的梯度只被它自己的比率加权。但环境接收的是完整回合，回合的概率是 token 概率的乘积。Theorem 2 告诉我，用 token 比率替代回合比率会引入额外的分布偏移惩罚。所以我应该用完整的回合比率 ρ_t = Π_i ρ_{t,i}。

但这里又撞上一个新矛盾：如果我把所有 token 的 MAE 优势都乘以同一个可微的 ρ_t，那么在未裁剪的和里，中心化的局部修正会被抵消。因为 Σ_i (A_turn_t + β * (A_intra_{t,i} - mean)) = L_t * A_turn_t，局部修正项的和为零。如果 ρ_t 对所有 token 相同，那么局部修正对梯度的贡献就消失了。这违背了保留 token 级信用的初衷。

怎么改？用 stop-gradient 构造。让每个 token 的权重在 forward pass 中是完整的回合比率 ρ_t，但在反向传播时只对当前 token 的比率 ρ_{t,i} 求梯度，其他 token 的比率用 stop-gradient 冻结。这样 forward 时每个 token 都被完整的回合比率加权，backward 时每个 token 的梯度只来自自己的 log 概率，乘以自己的 MAE 优势。这就是论文里的 ρ̃_{t,i}(θ) = ρ_{t,i}(θ) * sg(Π_{j≠i} ρ_{t,j}(θ))。

与论文实际路径的差异：我上面的推理是从「观察到 critic 值在回合边界变化」直接跳到「回合尺度 GAE + 中心化局部修正 + 回合比率」。论文的实际路径是先建立了理论框架：Lemma 1 证明宏动作和 token 描述的目标一致性，Lemma 2 给出宏性能差公式，Theorem 1 给出回合尺度的单调改进界，Theorem 2 证明 token 代理的额外分布偏移惩罚。这个理论分析在论文中位于方法设计之前，用来「motivate」MPO 的两个组件。我的推理路径是数据驱动先行，理论后补；论文的呈现是理论先行，数据佐证。另外，我在推理中没有考虑到 Theorem 3 和 Corollary 1 关于估计器误差的分析，这些是论文为了证明 turn-level GAE 的估计误差只依赖边界 critic 误差而做的额外工作。我也没有预先想到附录 A.7 中匹配预算下 token GAE 和 turn GAE 的估计误差比值至少为 √L 这个结果。

4. 核心 intuition

用一个日常类比：一个项目组做季度汇报。项目由多个阶段组成，每个阶段内部有多个具体任务。季度末的成败取决于几个关键阶段的决策质量，而不是每个具体任务的平均表现。

GRPO 的做法是：季度结束后，给整个项目一个总分，然后把这个总分平均分给所有阶段的所有任务。这样关键阶段的关键决策和无关紧要的日常任务收到相同的评价，关键决策得不到强化。

PPO 的做法是：给每个具体任务单独打分，然后按任务逐个修正。但问题是，任务之间的分数传播要经过很多中间任务，信号衰减严重；而且修正时只考虑单个任务的变化，没有考虑整个阶段的协同变化。

MPO 的做法是：先给每个阶段一个总分，这个总分在阶段之间传播，反映阶段级的贡献；然后在阶段内部，保持阶段总分不变的前提下，根据任务间的相对表现微调每个任务的分数。最后，修正时按整个阶段的变化来加权，但每个任务保留自己的分数差异。这样既抓住了「阶段是关键决策单元」的结构，又不丢失阶段内部任务间的有用差异。

这个类比对得上机制：阶段对应回合，任务对应 token，季度总分对应终端奖励，阶段总分对应 turn-level GAE 的优势，阶段内的相对微调对应中心化的局部修正，按整个阶段的变化加权对应回合级重要性比率。

5. 方法 pipeline 举例

编一个具体输入：一个搜索任务，问题是「2024 年诺贝尔物理学奖得主的主要贡献是什么？」。轨迹有 3 个助手回合。

回合 0：助手生成搜索查询「2024 Nobel Prize Physics winner contribution」，长度 8 个 token。环境返回搜索结果摘要。

回合 1：助手根据摘要生成第二个查询「John Hopfield Geoffrey Hinton Nobel 2024 physics contribution」，长度 10 个 token。环境返回更详细的结果。

回合 2：助手生成最终回答「John Hopfield and Geoffrey Hinton won the 2024 Nobel Prize in Physics for foundational discoveries in machine learning with artificial neural networks.」，长度 22 个 token。任务终止，奖励 R(τ) = 1。

现在走一遍 MPO 的流程。

第一步，critic 对每个 token 前缀给出价值预测 V_{t,i}。假设 critic 预测：回合 0 开始时 V_{0,1} = 0.3，回合 1 开始时 V_{1,1} = 0.5，回合 2 开始时 V_{2,1} = 0.7，回合 2 内部各 token 的价值在 0.7 附近小幅波动。终止后 V_{3,1} = 0。

第二步，计算 TD 残差。回合 0 内部：δ_{0,i} = 0 + V_{0,i+1} - V_{0,i}，这些内部残差很小，因为回合内价值平稳。回合 0 最后一个 token：δ_{0,8} = 0 + V_{1,1} - V_{0,8} ≈ 0.5 - 0.3 = 0.2。类似地，回合 1 的最后一个 token 残差约为 0.7 - 0.5 = 0.2。回合 2 的最后一个 token 残差为 1 + 0 - V_{2,22} ≈ 1 - 0.7 = 0.3。

第三步，turn-level GAE。回合内残差求和：δ_turn_0 ≈ 0.2，δ_turn_1 ≈ 0.2，δ_turn_2 ≈ 0.3。设 λ = 0.8。则 A_turn_2 = 0.3，A_turn_1 = 0.2 + 0.8 * 0.3 = 0.44，A_turn_0 = 0.2 + 0.8 * 0.44 = 0.552。

第四步，回合内局部 trace。设 λ_intra = 0.95。回合 0 内部残差很小，假设 A_intra_{0,i} 在 0.2 附近，均值为 0.2。回合 1 类似，均值为 0.2。回合 2 内部，最后一个 token 的 A_intra_{2,22} = 0.3，往前逐步衰减，均值假设为 0.28。

第五步，中心化组合。设 β = 1.0。回合 0 每个 token 的优势为 A_MAE_{0,i} = 0.552 + (A_intra_{0,i} - 0.2)。回合 1 为 0.44 + (A_intra_{1,i} - 0.2)。回合 2 为 0.3 + (A_intra_{2,i} - 0.28)。回合均值分别保持为 0.552、0.44、0.3。

第六步，批归一化。把所有有效 token 的 MAE 优势减去批均值，除以标准差加 10^-8 的平方根。

第七步，策略更新。对每个 token，计算完整回合比率 ρ_t = Π_i ρ_{t,i}。在 forward pass 中，每个 token 的权重是 ρ_t。在 backward 中，只有当前 token 的 ρ_{t,i} 有梯度，其他 token 的比率被 stop-gradient。裁剪后做梯度上升。

6. 核心数学推导

核心公式是 MAE 的分配公式，即 Eq. (20)：A_MAE_{t,i} = A_turn_t + β * (A_intra_{t,i} - mean(A_intra_t))。

先解释符号。A_turn_t 是回合 t 的回合级优势，由 turn-level GAE 在回合轴上传播得到。A_intra_{t,i} 是回合 t 内第 i 个 token 的局部优势 trace，由回合内的 TD 残差以 λ_intra 衰减求和得到。mean(A_intra_t) 是回合 t 内所有 token 的 A_intra_{t,i} 的算术平均，即 (1/L_t) * Σ_i A_intra_{t,i}。β 是局部修正的强度系数，非负。L_t 是回合 t 的 token 数。

推导过程。我们希望找到一组 token 级优势 w = (w_1, ..., w_{L_t})，满足两个条件。第一，它们的均值等于回合级优势 A_turn_t。第二，它们尽可能接近缩放后的局部信号 β * A_intra_{t,i}。用最小二乘形式写：

最小化 (1/2) * Σ_i (w_i - β * A_intra_{t,i})²，约束为 (1/L_t) * Σ_i w_i = A_turn_t。

这是一个等式约束的凸优化问题。用拉格朗日乘子法。设拉格朗日函数为 L(w, μ) = (1/2) * Σ_i (w_i - β * A_intra_{t,i})² + μ * (A_turn_t - (1/L_t) * Σ_i w_i)。

对 w_i 求偏导并令其为零：∂L/∂w_i = w_i - β * A_intra_{t,i} - μ/L_t = 0，所以 w_i = β * A_intra_{t,i} + μ/L_t。

代入约束：(1/L_t) * Σ_i (β * A_intra_{t,i} + μ/L_t) = A_turn_t。即 β * mean(A_intra_t) + μ/L_t = A_turn_t，所以 μ/L_t = A_turn_t - β * mean(A_intra_t)。

代回 w_i 的表达式：w_i = β * A_intra_{t,i} + A_turn_t - β * mean(A_intra_t) = A_turn_t + β * (A_intra_{t,i} - mean(A_intra_t))。

这就是 Eq. (20)。这个公式在计算：在保持回合均值等于回合级优势的前提下，对回合内的 token 优势做中心化的局部修正。中心化保证了局部修正不改变回合的共享信用，只调整 token 间的相对权重。

7. 实验设计

数据集：三个智能体设置。Search 包含 BrowseComp-Plus、GAIA、HLE 三个基准；Claw-Eval 是自主智能体可信度评估；Automation Bench 是自动化任务。BrowseComp-Plus 使用 Lu et al. 的 held-out 评估设置，GAIA 和 HLE 使用 WebThinker 的 text-only 子集。Claw-Eval 和 Automation Bench 的训练数据是专有内部数据集，细节未公开。

模型：Qwen3-4B-Thinking 和 Qwen3-30B-A3B-Instruct。

基线：Base（初始 checkpoint）、GRPO、GSPO、PPO、VAPO、SAO，以及 MPO w/ token IS（保留 MAE 但用 token 级比率替代回合级比率）。

指标：Search 报告 pass@1 和 pass@3；Claw-Eval 报告 pass@3（至少一次成功）和 pass3（三次全成功）；Automation Bench 报告 pass@1。训练步数：Search 300 步，Claw-Eval 300 步，Automation Bench 200 步。

消融：三个参数。λ 在 {0.60, 0.80, 0.85} 中变化，λ_intra 在 {0.90, 0.95, 1.00} 中变化，β 在 {0.0, 0.5, 1.0, 1.5, 2.0} 中变化。参考设置为 (λ, λ_intra, β) = (0.80, 0.95, 1.00)。每个设置一次运行。

实验能否支撑结论：主结果表显示 MPO 在所有 9 个指标上都是最高分，且 MPO w/ token IS 全面低于完整 MPO，支持「回合级重要性修正优于 token 级」的论断。消融显示 β = 0 时性能大幅下降，支持「回合内信用分配有独立价值」；λ = 0.80 优于 0.60 和 0.85，支持「跨回合传播需要平衡」；λ_intra = 0.95 优于 0.90 和 1.00，支持「回合内 trace 长度需要适中」。

缺什么：第一，每个消融设置只有一次运行，没有随机种子多样性，无法判断差异是否在噪声范围内。第二，Claw-Eval 和 Automation Bench 的训练数据未公开，无法复现。第三，没有报告训练成本或 wall-clock 时间。第四，没有在更大模型上验证，30B-A3B 是 MoE 模型，激活参数约 3B，实际规模有限。第五，没有与 ArCHer 或 Agentic RPO 等专门针对多回合智能体的方法比较。

8. take-aways

1. 在 4B 模型上，MPO 在 BrowseComp-Plus 的 pass@1 达到 48.08，比最强非 MPO 基线 SAO 的 43.75 高出 4.33 个百分点；在 30A3B 上，MPO 的 GAIA pass@1 为 43.42，比 SAO 的 39.62 高出 3.80 个百分点。

1. 用 token 级重要性比率替代回合级比率会一致降低性能：4B 模型在 BrowseComp-Plus、GAIA、HLE 的 pass@1 分别下降 2.36、3.12、1.03 个百分点。这说明回合级概率修正是 MPO 增益的必要组成部分。

1. 完全去掉回合内信用分配（β = 0）会使 4B 模型在 BrowseComp-Plus 的 pass@1 从 48.08 降到 41.80，下降 6.28 个百分点；但 β = 0 的变体仍然在全部 6 个 Search 指标上超过 PPO，说明回合级 GAE 本身就有独立价值。

1. 跨回合传播的衰减系数 λ 不是越大越好：从 0.80 增到 0.85，BrowseComp-Plus pass@1 下降 1.72 个百分点。回合内 trace 的 λ_intra 也不是越大越好：从 0.95 增到 1.00，BrowseComp-Plus pass@1 下降 0.41 个百分点。

1. MPO 的测试时扩展优势持续存在：4B 模型在 BrowseComp-Plus 上 pass@32 达到 75.90，比 GRPO 和 PPO 中较强者高出 3.61 个百分点；在 GAIA 上 pass@32 达到 69.90，高出 5.82 个百分点。

9. 最脆弱的假设

最脆弱的假设是：critic 的价值结构在回合边界处有显著变化，且这种结构在训练过程中稳定存在。论文的核心设计——在回合尺度上传播信用、在回合内做中心化修正——完全依赖这个观察。如果 critic 的价值变化在回合边界和回合内部没有系统性差异，那么 turn-level GAE 和 token-level GAE 的区分就失去了依据，MAE 的中心化投影就退化为一个没有信息增益的操作。

论文给出的证据：附录 C 报告了 2,048 条轨迹、16,323 个回合、8 个 checkpoint 的统计。回合间方差超过回合内方差的轨迹占 93.8%，回合均值解释的方差中位数为 89.5%（token 加权）和 90.2%（等权）。这些数据来自一个 MPO 4B search run 的 8 个 checkpoint，覆盖了训练过程的不同阶段，显示这个模式在训练中持续存在。

但这个证据有一个局限：它来自 MPO 自己训练出来的 critic。MPO 的回合对齐更新可能塑造了 critic 的价值结构，使得回合边界的变化更加明显。论文在 6.3 节也承认，explained variance 是在每个策略自己的 rollout 上测量的，不能隔离出 critic 准确性的因果改进。如果用一个独立训练的 PPO critic 或一个随机初始化的 critic 来测量，回合边界的价值结构可能不那么明显。这个假设如果被推翻，MPO 的回合尺度设计就失去了经验基础，只剩下理论上的分布偏移论证。

10. 一周最小复现

目标：在 1 张 24GB 消费级显卡上复现 MPO 最核心的结论——回合级重要性修正优于 token 级，且回合内信用分配有独立价值。

模型选择：用 Qwen3-4B-Thinking 的较小变体，或者用 Qwen2.5-1.5B-Instruct 作为替代，因为 4B 模型的完整 RL 训练在 24GB 显卡上可能放不下优化器状态。如果必须用 4B，考虑 LoRA 或 QLoRA 适配。

数据：用 BrowseComp-Plus 的一个子集，比如 200 个训练任务和 50 个验证任务。如果 BrowseComp-Plus 不可用，用 GAIA 的 text-only 验证子集，或者自己构造一个简单的搜索任务集，每个任务需要 2-4 个回合的搜索查询才能回答。

步骤：

1. 第一天：搭建环境。实现一个简单的搜索智能体框架，包括查询生成、环境返回模拟结果、最终回答。实现 critic 模型，可以是同一个 LLM 加一个价值头。实现 turn-level GAE 和 token-level GAE 的计算。

1. 第二天：实现 MPO 的 MAE 组件。具体是 Algorithm 1 的流程：计算 token TD 残差，回合内求和得到 δ_turn_t，在回合轴上做 GAE 得到 A_turn_t，回合内做局部 trace 得到 A_intra_{t,i}，中心化组合得到 A_MAE_{t,i}。

1. 第三天：实现策略更新。实现回合级重要性比率 ρ_t 和 stop-gradient 构造 ρ̃_{t,i}。实现 PPO 风格的裁剪目标。实现 token 级比率的变体作为对照。

1. 第四天：跑三个设置。设置 A：完整 MPO（回合比率 + MAE）。设置 B：MPO w/ token IS（token 比率 + MAE）。设置 C：β = 0 的 MPO（回合比率 + 纯 turn-level GAE）。每个设置跑 100-150 步，batch size 16，rollout n=4，学习率 1e-6。

1. 第五到七天：评估和消融。在验证集上报告 pass@1。预期结果：设置 A 的 pass@1 比设置 B 高 2-4 个百分点，设置 A 比设置 C 高 4-6 个百分点。如果时间允许，再跑 λ 的消融，比较 0.60、0.80、0.85。

预期指标：在 200 个训练任务的规模下，绝对 pass@1 会比论文的 48.08 低很多，可能在 20-30 的范围内，因为数据量和训练步数都大幅缩减。关键是相对排序：MPO > MPO w/ token IS > β=0 变体。这个排序如果复现，就验证了论文的核心论断。

11. 反例设计

设计一个实验，如果成功就能推翻 MPO 的核心主张。

核心主张是：回合尺度的信用分配和重要性修正在长程智能体 RL 中优于 token 尺度的对应方法，因为环境交互发生在回合边界。

反例实验：构造一个任务集，其中环境交互的粒度与回合边界不一致。具体来说，设计一个「流式环境」，环境在每个 token 生成后立即给出反馈，而不是等整个回合结束。比如，一个代码调试任务，每生成一行代码，环境就返回该行的执行结果或类型检查结果。这样，环境交互发生在 token 尺度，而不是回合尺度。

判据：在这个流式环境上，如果 token 级方法（PPO 或 MPO w/ token IS）的 pass@1 显著超过完整 MPO，且差距超过 3 个百分点，那么 MPO 的核心主张就被推翻。因为这说明 MPO 的优势不是来自「回合是环境交互的自然粒度」这个一般性原则，而是来自特定任务中回合恰好与环境交互对齐的偶然性。如果环境交互粒度改变，MPO 的回合尺度设计就失去了优势，甚至可能因为强制在回合边界传播信用而引入偏差。

更进一步的判据：如果在这个流式环境中，β = 0 的 MPO 变体（纯 turn-level GAE）表现最差，且显著低于 token-level GAE 的 PPO，那么「回合尺度信用传播是普适改进」的论断也被推翻。这会把 MPO 的贡献从「发现了智能体 RL 的一般性原则」降级为「针对特定任务结构的工程优化」。

12. 落地判断

能否用于「抢占式 GPU 自托管 27B 模型做多智能体脚手架」：可以，但有明确的条件和坑。

怎么用：27B 模型做多智能体脚手架，意味着多个智能体轮流与环境交互，每个智能体的输出是一个完整的助手回合。这正是 MPO 的回合尺度设计所针对的场景。具体落地方式：用 MPO 训练一个 27B 模型的 LoRA 适配器，critic 用同一个模型加一个价值头。训练数据用脚手架实际运行的任务轨迹，奖励来自任务完成度或用户反馈。在抢占式 GPU 上，训练会被频繁打断，所以需要频繁 checkpoint 和断点续训。

成本量级：27B 模型的全参数 RL 训练在单张 24GB 显卡上不可行。用 LoRA 的话，可训练参数约 1-2%，优化器状态约 2-4GB，加上模型权重和激活，24GB 可以勉强跑 batch size 1-2。如果抢占式 GPU 是 A10 或 3090，训练速度大约每秒 10-20 个 token 的 rollout，一个 300 步的训练 run 可能需要 3-5 天。如果用 QLoRA 进一步压缩，可以跑更大的 batch，但训练稳定性会下降。

最大的坑：critic 的价值头在 27B 模型上需要额外的显存和计算。如果 critic 和 actor 共享同一个 backbone，那么每次 rollout 都要同时计算策略和价值，显存翻倍。在 24GB 显卡上，这可能迫使 batch size 降到 1，导致训练极不稳定。解决方案是：用一个小得多的独立 critic，比如 1.5B 模型，或者用 turn-level 的 critic 而不是 token-level 的 critic，只在回合边界做价值预测，大幅减少 critic 的计算量。但这样会偏离论文的 token-level critic 设计，需要验证是否影响 MAE 的效果。

另一个坑：多智能体脚手架中的「回合」定义可能模糊。如果多个智能体并行工作，或者一个智能体的输出被另一个智能体修改后才进入环境，那么「完整助手回合」的边界就不清晰。MPO 的回合尺度设计假设环境交互是串行的、回合边界是明确的。在异步多智能体场景中，需要重新定义回合边界，否则 turn-level GAE 的求和和中心化操作会失去意义。