AdaStep：智能体强化学习的自适应步级信用权重方法

1. 问题与价值

这篇论文解决的是长周期 LLM 智能体训练中信用分配粒度与可靠性之间的矛盾。在稀疏奖励的智能体任务里，GRPO 这类轨迹级方法把整条轨迹的成功或失败信号广播给轨迹内每一个状态-动作对。这带来一个直接问题：失败轨迹里的正确动作被惩罚，成功轨迹里的无关动作被奖励。

作者提出的 AdaStep 要解决的是 GiGPO 引入步骤级信用后暴露出的新问题：步骤级优势估计本身不可靠。同一个状态-动作对，因为后续动作、环境转移和轨迹长度的随机性，可能得到符号相反的步骤级优势。AdaStep 的价值在于给出一个逐状态的自适应收缩系数，决定在多大程度上信任局部步骤级信号，而不是像 GiGPO 那样用一个固定系数。

受益方是使用群组相对策略优化训练长周期智能体的研究者和工程师。他们可以在不增加 critic、不增加额外 rollout、不增加额外模型推理的前提下，获得更稳定的步骤级信用信号。论文报告在三个基准、三个模型规模上相对 GiGPO 最高提升 9.36 个百分点，而信用计算时间只增加约 1%。

2. 已有工作的不足

在 AdaStep 之前，最接近的工作是 GiGPO。GiGPO 在 GRPO 的轨迹级优势 AE 上叠加一个步骤级优势 AS，组合形式为 AG = AE + ω AS，其中 ω 是全局固定系数。步骤级优势通过把相同锚状态的状态-动作对聚类成组，用组内平均折扣回报作为状态价值基线，再用单条轨迹的回报减去这个基线得到。

GiGPO 的具体不足在于：固定系数 ω 无法区分不同锚状态组的估计可信度。论文给出了两个具体例子。例 1 中，同一个正确动作 click[three meat]，在短轨迹中被赋予优势 3.33，在长轨迹中被赋予 -1.51，符号相反，原因是后续浏览行为不同而非动作本身有误。例 2 中，一个无关动作 clean pot 1 with sinkbasin 1 在成功轨迹中被赋予 4.13 的正优势，但成功来自后续正确动作，这个局部信用是误导性的。

其他相关工作如 HGPO 通过层级分组和上下文扩展来改进步骤级优势，但引入了额外计算成本；ECPO 构造了启发式校准的动作级优势，但没有从显式估计目标出发推导状态特定的缩放系数。这些方法都没有正面回答一个核心问题：给定一个步骤级优势估计，应该以多大强度把它叠加到轨迹级信号上。

3. 重建作者的思考路径

从 GiGPO 的固定系数出发，最自然的第一个想法是：既然不同组的可信度不同，那就给每个组一个可调权重。但权重怎么定？一个直接的想法是看组内回报的离散程度——如果组内回报差异很大，说明这个状态下的动作选择对结果影响大，局部信号应该可信；如果组内回报几乎一样，局部信号没有信息量。这个直觉方向是对的，但“离散程度”本身不够精确，因为回报差异可能来自动作差异，也可能来自同一动作下的随机波动。

于是会撞上第一个矛盾：只看组内总方差无法区分信号和噪声。一个组的总方差大，可能是因为不同动作确实导致不同期望回报，也可能是因为同一个动作的回报本身波动很大。如果直接用总方差作为权重，会把高噪声组误判为高信号组。

要解决这个矛盾，需要把总方差拆开。这里自然想到方差分解：总方差等于动作间期望回报的方差加上动作内条件方差的期望。这个分解恰好对应“信号”和“噪声”的区分。信号是动作间期望回报的差异，噪声是固定动作后仍然存在的回报波动。权重应该取信号占总方差的比例。

但这里还有第二个问题：这个比例怎么从有限样本里估计。动作间期望回报的方差需要估计每个动作的 Q 值，而每个动作可能只有一两个观测。直接估计 Q 值再算方差会很不稳定。一个更稳的做法是利用方差分解的恒等式，用总方差减去动作内方差来间接得到信号方差。总方差和动作内方差都可以直接从回报样本算，不需要显式估计 Q 值。

第三个问题是：为什么用均方误差目标而不是别的目标。如果只是想要一个 0 到 1 之间的权重，有很多启发式选择。但均方误差目标的好处是它给出了一个明确的投影解释：在均方意义下，w AS 是对真实步骤优势 A*S 的最佳标量近似。这个目标不依赖无偏性假设，只需要估计量的二阶矩为正。无偏性的作用在于让分子可以化简为动作间 Q 值方差，从而让权重有闭式可计算形式。

还有一个容易被忽略的细节：步骤级优势 AS = R(i) - V̂(s) 中，组均值 V̂(s) 包含了样本 i 自己。这导致条件在动作上时，估计量有一个 -A*S/Ns 的偏差。但边际化到动作分布后，因为 Ea[A*S|s] = 0，这个偏差消失。这意味着在状态层面估计量是无偏的，重加权而不是丢弃或翻转符号是合理的干预。这个观察很关键，因为它排除了“直接丢弃不可信组”这种更激进的方案。

与论文实际路径的差异：我推测的路径是从“组内方差大就信任”这个直觉出发，然后通过方差分解修正为“信号方差占总方差的比例”。论文的实际路径是从均方误差投影目标出发，先得到一般形式 w* = E[AS A*S] / E[AS²]，再通过 i.i.d. 假设和方差分解把它化简为信号-总方差比。论文的推导顺序更形式化，先建立估计目标，再找可计算形式；我的推测路径更偏直觉驱动，先有方差分解的想法，再回头找它对应的优化目标。两条路在方差分解处汇合，但论文的路径额外揭示了条件偏差 -A*S/Ns 的存在及其边际化后消失的性质，这是我推测路径中不会自然发现的。

4. 核心 intuition

把步骤级优势估计想象成从一群学生的考试成绩中判断某个学生是否比平均水平好。轨迹级信号相当于“这个班整体考得好不好”，步骤级信号相当于“这个学生在某次小测验中的表现”。

问题是，小测验成绩受很多偶然因素影响：学生当天状态、题目是否恰好复习过、旁边同学是否干扰。如果只看一次小测验成绩就大幅调整对学生的评价，会放大偶然波动。AdaStep 的做法是：先看这个小测验的成绩差异有多大程度能归因于学生能力的真实差异，而不是偶然因素。

具体机制对应：组内总方差相当于全班小测验成绩的离散程度。动作间 Q 值方差相当于学生真实能力差异造成的成绩差异，这是“信号”。动作内条件方差相当于同一个学生在不同次测验中的成绩波动，这是“噪声”。权重 w*(s) 就是信号占总方差的比例。当信号占比高时，小测验成绩可信，可以较大幅度调整评价；当噪声占比高时，小测验成绩不可信，应该收缩回班级整体评价。这个类比对应了公式 w*(s) = Var_a[Q(s,a)] / Var(R|s) 的分子分母结构。

5. 方法 pipeline 举例

以 ALFWorld 的一个具体任务为例：任务要求“把冷却的锅放到炉子上”。

输入：一个任务提示 x，采样 8 条轨迹。每条轨迹在环境中逐步执行动作，直到成功或达到 50 步上限。

第一步：rollout 与轨迹级优势。8 条轨迹中假设 3 条成功、5 条失败。成功轨迹回报为 1，失败为 0。GRPO 计算轨迹级优势 AE：成功的 3 条得到正的标准化优势，失败的 5 条得到负的标准化优势。这个 AE 对轨迹内所有状态-动作对相同。

第二步：锚状态分组。用哈希表把 8 条轨迹中相同的状态聚成组。假设状态 s = "You arrive at sinkbasin 1. On the sinkbasin 1, you see a apple 1, a egg 1, and a lettuce 1" 在 4 条轨迹中出现。这 4 条轨迹在该状态后执行的动作分别是：3 条执行 clean pot 1 with sinkbasin 1，1 条执行 go to stove 1。这 4 个状态-动作对构成锚状态 s 的步骤级组 G(s)，组大小 Ns = 4。

第三步：计算未归一化步骤级优势。假设折扣因子 γ = 0.95，4 条轨迹从状态 s 到终点的折扣回报分别是：0.95 的 8 次方约 0.66（成功，短路径）、0（失败）、0（失败）、0（失败）。组均值 V̂(s) = 0.66 / 4 = 0.165。未归一化步骤级优势 AS 分别是 0.495、-0.165、-0.165、-0.165。

第四步：估计自适应权重。按动作分组：动作 clean pot 1 with sinkbasin 1 有 3 个观测，回报为 0.66、0、0，动作内方差约 0.145；动作 go to stove 1 只有 1 个观测，不满足 n ≥ 2 的估计条件。因此这个组不满足“每个动作至少 2 个观测”的要求，触发 fallback，权重 ŵ(s) = 1，即退化为 GiGPO 行为。

换一个满足条件的组：假设状态 s' 有 6 个观测，2 个动作各 3 个观测。动作 A 的回报为 0.8、0.7、0.9，动作内方差约 0.01；动作 B 的回报为 0、0.1、0，动作内方差约 0.003。总方差约 0.19。动作内方差的加权平均约 0.0067。权重 ŵ(s') = 1 - 0.0067 / 0.19 ≈ 0.965。这个权重接近 1，说明组内回报差异主要由动作差异驱动，局部信号可信。

第五步：组合优势。对组 s' 中的每个状态-动作对，最终优势 A = AE + ŵ(s') AS。如果某条轨迹的 AE = 0.8，其动作 A 的标准化 AS = 0.6，则最终优势为 0.8 + 0.965 × 0.6 = 1.379。

第六步：策略更新。用组合优势代入 PPO 风格的裁剪目标，更新策略参数。所有优势在 rollout 阶段固定，策略更新阶段不重新计算。

6. 核心数学推导

符号说明：固定锚状态 s。G(s) 是状态 s 的步骤级组，大小 Ns。R(i) 是第 i 条轨迹从状态 s 到终点的折扣回报。Q(s,a) 是在状态 s 执行动作 a 后的期望回报。V(s) 是在状态 s 下按策略 π 采样的期望回报，即 V(s) = E_a[Q(s,a)|s]。A*S(s,a) = Q(s,a) - V(s) 是真实步骤级优势。AS(s,a(i)) = R(i) - V̂(s) 是估计的步骤级优势，其中 V̂(s) 是组内回报均值。

第一步：建立均方误差目标。对每个锚状态 s，找一个标量 w 使 w AS 在均方意义下最接近 A*S：

w*(s) = argmin_w E[(w AS - A*S)² | s]

展开平方得到 L(w) = w² E[AS²|s] - 2w E[AS A*S|s] + E[A*S²|s]。这是 w 的凸二次函数，对 w 求导并令导数为零：

2w E[AS²|s] - 2 E[AS A*S|s] = 0

解得 w*(s) = E[AS A*S|s] / E[AS²|s]。这是定理 1 的结果，本质上是把 A*S 正交投影到 AS 张成的一维子空间上。这个形式还不能直接计算，因为分子含未知的 A*S。

第二步：分解估计误差。把 AS = R(i) - V̂(s) 和 A*S = Q(s,a(i)) - V(s) 代入误差 ηi = AS - A*S。关键点是 V̂(s) 包含样本 i 自己：

V̂(s) = (1/Ns) R(i) + (1/Ns) Σ_{j≠i} R(j)

展开后得到三项分解：

ηi = ((Ns-1)/Ns)(R(i) - Q(s,a(i))) - A*S(s,a(i))/Ns - (1/Ns) Σ_{j≠i} (R(j) - V(s))

第一项是当前 rollout 的采样噪声，条件期望为零。第三项是其他组员相对状态价值的平均偏差，条件期望也为零。第二项是 -A*S/Ns，条件在动作上不为零，但边际化到动作分布后，因为 E_a[A*S|s] = 0，整体期望为零。所以 E[ηi|s] = 0，步骤级估计在状态层面是无偏的。

第三步：化简分子。利用 i.i.d. 假设，条件在 (s, a(i)) 上时，E[AS|s,a(i)] = ((Ns-1)/Ns) A*S。由迭代期望定律：

E[AS A*S|s] = E[A*S E[AS|s,a(i)] | s] = ((Ns-1)/Ns) E[A*S²|s] = ((Ns-1)/Ns) Var_a[Q(s,a)|s]

最后一步用了 A*S = Q - V 且 V = E_a[Q]，所以 E[A*S²] = Var_a[Q]。

第四步：化简分母。AS 的组内均值为零，所以 E[AS²|s] = Var(AS|s)。利用条件独立性和相同的回报分布：

Var(AS|s) = ((Ns-1)/Ns)² Var(R|s) + (Ns-1)/Ns² Var(R|s) = ((Ns-1)/Ns) Var(R|s)

第五步：代入并化简。把分子分母代入 w*，公共因子 (Ns-1)/Ns 约掉：

w*(s) = Var_a[Q(s,a)|s] / Var(R|s)

第六步：方差分解。由全方差定律：

Var(R|s) = Var_a[Q(s,a)|s] + E_a[Var(R|s,a)|s]

代入上式得到信号-总方差比形式：

w*(s) = Var_a[Q(s,a)|s] / (Var_a[Q(s,a)|s] + E_a[Var(R|s,a)|s])

等价的可计算形式为：

w*(s) = 1 - E_a[Var(R|s,a)|s] / Var(R|s)

一句话总结：这个公式在计算最优收缩系数——它等于“动作间期望回报的方差”占“总回报方差”的比例，也就是回报波动中有多大比例可以归因于动作选择的真实差异，而不是同一动作下的随机波动。

7. 实验设计

数据集：三个长周期智能体基准。ALFWorld 是文本具身环境，任务如加热、清洁、移动物体，最大 50 步。WebShop 是模拟购物环境，118 万商品，最大 30 步。ScienceWorld 是文本科学推理环境，限制在 8 个简单任务，最大 30 步。

基线：分三类。前沿模型包括 DeepSeek-V4.1-Flash 和 GLM-5.2，用 ReAct 提示评估。提示方法包括 ReAct 和 Reflexion。RL 训练方法包括 PPO、RLOO、GRPO、GiGPO、HGPO。

模型：Qwen3-1.7B、Qwen3-4B、Qwen2.5-7B-Instruct，Qwen3 系列关闭思考模式。

指标：ALFWorld 用 In-Success 和 Out-Success，WebShop 用 Test Score 和 Success，ScienceWorld 用 Success。结果取 3 个随机种子的均值和标准差。

消融：第一，有无标准差归一化的对比，在 Qwen3-4B 和 Qwen2.5-7B-Instruct 上验证 AdaStep 在两种设置下都优于 GiGPO。第二，fallback 权重消融，比较 w=0、w=w̄、w=1 三种默认值，w=1 在 WebShop 和 ALFWorld 上最优。第三，固定系数敏感性分析，在 ALFWorld 和 WebShop 上扫描 w 从 0 到 1.5，AdaStep 超过所有固定系数。第四，步骤信用诊断，在 3666 个 WebShop 历史锚状态组上比较 within-action variation 和 held-out reference MSE，AdaStep 两项都最低。

实验能否支撑结论：主结果表显示 AdaStep 在所有 15 个模型-基准组合上超过 GiGPO 和 HGPO，一致性较强。消融覆盖了归一化设置和 fallback 选择，增强了稳健性。但存在几个缺口。第一，没有报告 AdaStep 对 GRPO 的单独对比在统计显著性上的检验，部分提升如 ScienceWorld 上 Qwen2.5-7B 的 +0.54 可能不显著。第二，fallback 消融只在两个基准上做了，ScienceWorld 没有。第三，诊断分析用的是历史样本，不是独立训练运行，作者自己也承认不能据此推断下游策略性能。第四，没有消融 Ns 组大小对权重估计质量的影响，也没有报告权重分布的实际统计特征。

8. take-aways

• 在 ALFWorld、WebShop、ScienceWorld 三个基准上，AdaStep 在 Qwen3-1.7B、Qwen3-4B、Qwen2.5-7B-Instruct 三个模型规模下全部超过 GiGPO，相对 GiGPO 的提升范围为 +0.54 到 +9.36 个百分点，其中最大提升出现在 Qwen3-1.7B 的 ScienceWorld 上。

• 最优步骤级收缩系数等于动作间 Q 值方差占总回报方差的比例，等价于 1 减去动作内条件方差占总方差的比例，取值在 0 到 1 之间。这个系数在状态层面无偏的步骤级估计下，是均方误差投影的闭式解。

• 当步骤级组不满足估计条件时（少于 2 个不同动作、某动作少于 2 个观测、或总方差为零），fallback 权重 w=1 在 WebShop 和 ALFWorld 上优于 w=0 和 w=w̄，说明证据不足时保留原始步骤级信号比丢弃或收缩到均值更好。

• AdaStep 的信用计算时间在 WebShop 上为每次迭代 0.5018 秒，比 GiGPO 的 0.4968 秒多约 1.0%，同时比 HGPO 的 0.6340 秒更少，且成功率为 82.42%，高于 GiGPO 的 77.60% 和 HGPO 的 78.51%。

• AdaStep 在有无标准差归一化两种设置下都优于 GiGPO。在 Qwen3-4B 上，有归一化时 ALFWorld In-Success 提升 +4.99，无归一化时提升 +3.53；在 Qwen2.5-7B-Instruct 上，有归一化时 WebShop Success 提升 +3.44，无归一化时提升 +4.82。

9. 最脆弱的假设

最脆弱的假设是步骤级组内动作-回报对条件独立同分布，即 (a(j), R(j)) 在给定锚状态 s 下 i.i.d.。这个假设是 Lemma 1 中分子分母闭式化简的基础，也是方差分解能够用样本方差无偏估计的前提。

如果这个假设不成立，权重公式 w*(s) = 1 - E_a[Var(R|s,a)] / Var(R|s) 的推导链条会断裂。具体来说，如果组内样本之间存在相关性——例如同一策略在不同训练迭代中反复采样同一状态，或者同一轨迹内的相邻状态被哈希到同一锚状态——那么样本方差不再是总体方差的无偏估计，(Ns-1)/Ns 的公共因子也不一定能在分子分母中精确约掉。

论文对这个假设给出的证据很弱。附录 A 的证明直接以 i.i.d. 为前提，没有讨论违反时的后果。实验部分没有报告组内样本的实际相关性检验，也没有分析锚状态哈希冲突率。在 WebShop 这种环境中，同一商品页面可能在不同任务中反复出现，同一策略在训练过程中会多次采样同一状态，样本之间的时间相关性是实际存在的。论文的 fallback 机制只处理了“观测数不足”的情况，没有处理“观测不独立”的情况。

另一个相关的脆弱点是锚状态的精确匹配。论文自己承认在连续或部分可观测环境中，相同状态很少逐字重现，此时无法构造步骤级组，整个方法失效。这是论文明确列出的局限，但锚状态匹配的质量在离散环境中也没有被系统评估。

10. 一周最小复现

目标：在单张 24GB 显卡上复现 AdaStep 相对 GiGPO 的核心提升，选择 ALFWorld 和 Qwen3-1.7B 作为最小配置。

步骤：

1. 环境搭建：安装 ALFWorld 环境和 Qwen3-1.7B 模型权重。用 4-bit 量化加载模型以适配 24GB 显存。关闭 Qwen3 的思考模式。

1. 实现 GiGPO 基线：按照论文附录 C 的超参数，最大 prompt 长度 2048 token，最大响应长度 512 token，最大 50 环境步。每个 rollout batch 用 16 个任务组，每组 8 条轨迹，共 128 个环境实例。学习率 1e-6，mini-batch 256，KL 系数 0.01，折扣 0.95，步骤级系数 ω=1，使用标准差归一化。

1. 实现 AdaStep：在 GiGPO 基础上，对每个锚状态组按动作分区，计算组内回报方差和总回报方差，代入 ŵ(s) = 1 - Σ_a (n_a/Ns) Var_within_a / Var_total。不满足估计条件时 fallback 到 w=1。权重在 rollout 阶段计算并固定，策略更新阶段不重新计算。

1. 训练与评估：训练 160 步，每步一个 rollout batch。评估用 ALFWorld 的 In-Success 和 Out-Success 指标，温度 0.4。预期 AdaStep 的 In-Success 在 73 到 74 之间，GiGPO 在 71 左右，提升约 2 到 3 个百分点。单卡训练时间预计 3 到 4 天，160 步可以完成。

1. 验证核心机制：记录训练过程中各组权重的分布，检查权重是否在 0 到 1 之间，以及高权重组是否确实对应动作间回报差异大的组。这一步验证方差分解机制是否在实际数据中成立。

预期指标：AdaStep In-Success 约 73.7，GiGPO 约 71.1，提升约 +2.6，与论文报告一致。如果单卡显存不足，可进一步减少 batch 中任务组数到 8 组，但会降低步骤级组的样本量，可能削弱 AdaStep 的优势。

11. 反例设计

核心主张：AdaStep 的逐状态收缩系数 w*(s) 比 GiGPO 的固定系数 ω=1 更能改善策略训练，因为 w*(s) 能识别并抑制噪声主导的步骤级组。

反例实验：构造一个合成环境，其中步骤级优势的噪声结构被精确控制，使得 AdaStep 的方差比估计系统性失效。

具体设计：创建一个网格世界任务，有 10 个状态，每个状态有 2 个动作。关键设计是让动作内条件方差与动作间 Q 值方差强相关——即 Q 值差异大的状态，其动作内回报方差也大，且比例恰好使得真实信号-总方差比在所有状态上相同。例如，状态 1 到 5 的动作间 Q 值方差为 0.8，动作内方差为 0.2，真实权重为 0.8；状态 6 到 10 的动作间 Q 值方差为 0.2，动作内方差为 0.05，真实权重也为 0.8。但有限样本下，动作内方差的估计噪声在高方差状态更大，导致 AdaStep 估计的权重在高方差状态偏低、低方差状态偏高。

判据：如果在这个环境中，AdaStep 训练的最终成功率不高于 GiGPO 固定 ω=0.8 的成功率，且 AdaStep 估计的权重分布与真实值 0.8 的系统性偏差随训练步数增加而扩大，则说明 AdaStep 的方差比估计在噪声结构非均匀时不可靠，核心主张被推翻。

这个反例的关键在于打破 AdaStep 隐含的假设：动作内方差可以被稳定估计。当动作内方差本身与信号强度相关时，有限样本下的估计偏差不再是无害的，收缩系数会系统性偏离最优值。

12. 落地判断

能否用于抢占式 GPU 自托管 27B 模型做多智能体脚手架：可以，但有明确前提。AdaStep 的核心计算只需要组内回报的计数、求和、平方和，不增加模型推理，不增加 critic，不增加额外 rollout。在 27B 模型的多智能体脚手架中，如果任务环境是离散状态且状态可以精确匹配，AdaStep 可以直接集成到现有的 GRPO 或 GiGPO 训练循环中。

怎么用：在 rollout 阶段，对每个智能体的每个环境步，用状态哈希作为锚状态键，收集同任务组内相同锚状态的回报。按动作分区后计算组内方差和总方差，代入 ŵ(s) = 1 - Σ_a (n_a/Ns) Var_within_a / Var_total。不满足估计条件时 fallback 到 w=1。最终优势 A = AE + ŵ(s) AS 代入策略更新。权重在 rollout 阶段固定，不参与梯度计算。

成本量级：信用计算时间增加约 1%，在 27B 模型的多智能体场景中，主要成本仍然是模型前向和反向传播。如果每个 rollout batch 有 128 个环境实例，信用计算的额外开销在秒级，可以忽略。显存开销为零，因为不需要存储额外模型或优化器状态。

最大的坑：多智能体场景中，锚状态的定义比单智能体更复杂。如果多个智能体共享环境，状态哈希需要包含所有智能体的联合观测，否则不同智能体的状态会被错误合并。更严重的是，多智能体场景中同一联合状态很少精确重现，步骤级组的样本量会急剧下降，大量组会触发 fallback，AdaStep 退化为 GiGPO。此外，27B 模型在抢占式 GPU 上的训练本身不稳定，步骤级优势的方差估计会受训练中断和恢复的影响，权重估计的连续性无法保证。建议先在单智能体、离散状态、状态重现率高的子任务上验证 AdaStep 的权重分布是否合理，再扩展到多智能体。