EnvSched: 面向高效智能体强化学习的环境感知调度
EnvSched: Environment-Aware Scheduling for Rollout-Efficient Agent Reinforcement Learning
Sihan Yang · Weichen Bai · Ruichuan An · Yiming Cheng · Zhiyuan Feng · Tianyi Jiang · et al.
中文摘要
随着语言智能体可执行环境规模扩大，生成与验证轨迹（rollout）成本激增。在有限预算下，通过环境级数据管理组织任务实例与环境（工具、状态、转移、验证）以提升智能体强化学习（RL）效率至关重要。EnvSched 是一种从轨迹历史学习的在线调度器，通过利用（exploitation）与覆盖（coverage）两种互补策略分配调度价值：前者优先选择能提供信息性奖励差异的任务，后者将批次分散至未充分观察的环境与交互模式。EnvSched 将环境-任务对组织为双关系图节点，环境内边捕捉任务语义及共享结构，跨环境边捕捉抽象执行与奖励拓扑。通过沿两类边传播历史统计预测任务内奖励方差，指导调度器将批次分配给高方差及未充分观察的任务与环境。环境配额与相似度惩罚进一步限制集中度与冗余，无需额外试点轨迹即可生成信息丰富且多样的批次。在 Qwen3-8B 的 RL 训练中，EnvSched 经 40 步训练在 BFCL-v3、tau-Bench 和 ACEBench-Agent 上取得 48.81 的平均分，超过随机任务选择经 120 步训练的最高分，并在相同训练预算下提升了不同模型规模的下游性能。
关键要点
- 01针对智能体强化学习中轨迹生成与验证成本高昂的问题，提出环境感知的在线调度方法 EnvSched。
- 02构建环境-任务双关系图，结合利用与覆盖策略，通过预测奖励方差指导批次分配，避免冗余。
- 03在 Qwen3-8B 上，EnvSched 经 40 步训练在 BFCL-v3 等基准取得 48.81 平均分，优于随机选择 120 步的结果。
- 04该方法无需额外试点轨迹，通过环境配额与相似度惩罚确保批次多样性，提升不同模型规模下的训练效率。
解读
在 GitHub 查看内容由 AI 生成，仅供参考。如发现错误，欢迎反馈。
原始英文摘要
arXiv:2610.37609v1 Announce Type: cross Abstract: As executable environments for language agents scale, generating and verifying their rollouts becomes increasingly expensive. Under finite rollout budgets, this raises an important question: can data management at the environment level make agentic reinforcement learning (RL) more efficient by organizing, evaluating, and scheduling task instances together with the environments that determine their tools, states, transitions, and verification? To address this question, we introduce EnvSched (Environment-aware Scheduling), an online scheduler that learns from rollout history. EnvSched assigns scheduling value through two complementary modeling choices: exploitation prioritizes tasks likely to provide informative reward differences, while coverage spreads each batch across underobserved environments and interaction patterns. EnvSched organizes environment--task pairs as nodes in a dual-relation graph, with within-environment edges capturing task semantics and shared tool, state, and verifier structure, and cross-environment edges capturing abstract execution and reward topology. By propagating historical rollout statistics along both edge types, it predicts within-task reward variance. These predictions guide a scheduler that allocates each batch to tasks with high predicted reward variance and underobserved environments and tasks. Environment quotas and a similarity penalty further limit concentration and redundancy, yielding informative and diverse batches without additional pilot rollouts. In RL on Qwen3-8B, EnvSched achieves an average score of 48.81 across BFCL-v3, tau-Bench, and ACEBench-Agent after 40 training steps, exceeding the highest score attained by random task selection after 120 steps. It also improves downstream performance across model sizes at the same training budget.
1. 问题与价值
本文要解决的问题是：当可执行环境数量从几十个膨胀到几千个时，Agentic RL 的 rollout 生成与验证成本急剧上升，而在固定 rollout 预算下，如何选择「哪些环境-任务对」来训练，才能让模型学得更快、更好。
这个问题重要，因为工业界已经在环境规模上投入了巨大算力。论文图 1 左半部分列举了几个时间点：DeepSeek-V3 在 2025 年 1 月用了约 5K H800 GPU 小时做后训练，MiniMax-M1 在 2025 年 6 月用了约 258K H800 GPU 小时，GLM-5 在 2026 年 2 月报告了 10K 以上环境和 1K 以上并发 rollout，MiMo-V2.6 在 2026 年 9 月报告了 7K 以上环境和约 750K 任务。环境数量本身也从 EnvFactory 的 85 个环境、953 个任务，增长到 Agent World Model 的 1K 环境、10K 任务。在这种规模下，随机采样任务会浪费大量 rollout 在「奖励几乎总是相同」的任务上，而这些任务对 GRPO 这类组内相对优势方法几乎没有学习信号。
谁受益、怎么受益：做 Agentic RL 的团队可以直接受益。他们可以用 EnvSched 在同样的 rollout 预算下获得更高的下游基准分数，或者在达到相同分数时少训练几十步。论文给出的核心证据是：在 Qwen3-8B 上，EnvSched 训练 40 步的平均分数 48.81，超过了随机任务选择训练到 120 步时达到的最高分。这意味着同样的算力可以训练更多模型变体，或者更快地迭代。
2. 已有工作的不足
在 EnvSched 之前，最好的在线任务选择方法主要有三类，论文明确点名了 DPS 和 LEEPS 作为对比基线。
DPS（Dynamics-Predictive Sampling）的做法是：从历史 rollout 结果建模 prompt 的求解动态，在 rollout 生成之前预测哪些 prompt 会提供有信息量的学习信号。LEEPS 的做法是：结合表示空间邻居、历史 rollout 结果和 explore-exploit 组合，选择可能产生非零奖励方差的 prompt。此外还有 DOTS 用参考 rollout 和基于注意力的难度预测器选择中等难度 prompt，Pilot-Commit 用 pilot 样本的奖励变化来分配后续 rollout。
这些方法共同的不足是：它们建模的对象是 prompt 或 task，而把可执行环境排除在选择模型之外。论文指出这在 Agentic RL 中是一个关键缺陷，因为环境决定了工具接口、初始状态、转移规则和验证器，因此环境直接塑造了任务如何展开、产生什么样的学习信号。在 EnvScaler 这样的池子里，选一个 prompt 同时就选定了它所属环境的工具、状态和约束。论文的实验也支持这一点：DPS 在 4B 模型上 τ-Bench 得分 36.77，低于随机调度的 37.78；LEEPS 在 8B 模型上 ACEBench-Agent 得分 54.67，低于随机的 55.33。这说明 prompt-only 的选择器在环境耦合的任务池里不能可靠迁移。
具体哪一步不够：这些方法在「估计任务信息量」这一步只用了 prompt 层面的表示和历史奖励，没有利用环境之间的结构相似性来传递证据。当一个任务从未被采样过时，它们只能依赖 prompt 表示的外推，而无法利用「同一环境里其他任务共享同样的工具和验证器」或「不同环境里任务有相同的抽象执行结构」这些强先验。
3. 重建作者的思考路径
如果我是作者，面对第 2 项里的不足，我会先想：既然 GRPO 的更新机制是组内相对优势，那么一个任务有没有用，取决于它的 K 个 rollout 奖励是否拉开了差距。如果 8 个 rollout 全是 0 或全是 1，这个任务对优势计算没有贡献。所以最直接的思路是：选那些「奖励方差大」的任务。
但这里立刻撞上一个矛盾：奖励方差是 rollout 之后才知道的，而调度必须在 rollout 之前决定。怎么在 rollout 之前预测方差？一个自然的想法是用历史：如果这个任务之前被采样过，就用它历史上的方差作为预测。但训练池有 2,550 个任务，每步只选 64 个，200 步总共 12,800 次任务选择（64×200=12,800），平均每个任务被选约 5 次，而且很多任务可能从未被选过。对从未被选过的任务，历史为空，方差预测就无从谈起。
这时我会想到：能不能借用「相似任务」的历史？如果两个任务在同一个环境里，共享同样的工具和验证器，那么一个任务的 rollout 结果应该对另一个有参考价值。比如同一个保险策略管理系统里，两个「修改保单」的任务都调用
add_coverage_item和update_coverage_limit_or_deductible，都受「重复 coverage 类型会被拒绝」的约束，那么一个任务上观察到的方差应该能迁移到另一个任务。这就是 within-environment 边的动机。但只做 within-environment 还不够。如果某个环境整体采样很少，或者环境里的任务都很简单、方差都接近零，那么 within-environment 边提供不了有用信息。这时我会想：能不能跨环境迁移？一个「更新用户 Alice 的状态」的任务和一个「给病人 301 分配床位」的任务，表面上看毫无关系，但它们的执行结构可能都是「先 lookup 实体、再检查资格、再替换关系、最后验证依赖状态」。如果这种抽象结构相似的任务在难度和方差上也相似，那么跨环境迁移就有依据。这就是 cross-environment 边的动机。
有了方差预测之后，又会撞上第二个矛盾：如果每步都选方差最高的任务，调度器可能会集中在少数几个「高方差」环境里。论文的消融显示，纯 exploitation（ρ=0）的 mean reward variance 是 0.0442，是所有配置里最高的，但 environments covered per batch 只有 33.95，是所有配置里最低的，而且三个基准分数全面下降。这说明只追方差会让策略看到的工具、状态和验证模式变窄。所以需要显式的 coverage 机制：每批固定一部分名额给「欠采样」的环境和任务。
再往下，coverage 和 exploitation 两个目标怎么协调？如果各自独立选，可能选出一批高度冗余的任务。所以需要环境配额（每轮每环境最多 4 个、滚动三步最多 11 个、连续选择上限 2 个）和相似性惩罚（用 full similarity 对已选任务做冗余惩罚）。这样两个阶段共享同一个贪心选择过程，只是阶段分数不同。
还有一个细节：方差预测本身可能不准，尤其是历史很少的时候。所以需要把 within 和 cross 两个关系的估计融合成 graph prior，再和任务自身历史做 shrinkage 融合。如果任务从未被采样，就完全依赖 graph prior；随着自身历史积累，自身观测的权重逐渐增大。
与论文实际路径的差异：我猜的路径是先有「方差预测」再有「coverage」，论文的实际路径确实也是这个顺序，但论文在方差预测上做得比我猜的更细。我没想到的是：论文不只预测方差，还同时预测均值 m 和 dispersion d，然后用预测的均值和 dispersion 重建一个方差估计
f = d · m · (1-m)，再和直接预测的方差做 0.65/0.35 的加权。这个设计我一开始不会想到，它的动机可能是：直接预测方差在历史少的时候噪声大，而均值和 dispersion 各自有更稳定的结构，重建的方差可以作为正则化。另外，论文还加了长短期两个半衰期窗口的对比，用「近期下降」来降低优先级，这也是我一开始不会考虑的细节。4. 核心 intuition
用一个日常类比：想象你要给一个班级的学生出练习题，但每天只能出 64 道题，而且每道题要花固定成本批改。你知道有些题全班答案都一样（太简单或太难），这些题改了对了解学生水平没帮助；有些题答案分歧大，能暴露谁会和谁不会。所以你应该多出「答案分歧大」的题。但如果你只出某一章的高分歧题，学生其他章节就没练到。所以你要在「出能暴露差异的题」和「覆盖不同章节」之间平衡。
这个类比对应到机制上：「答案分歧大」对应 rollout 组内奖励方差大，这是 GRPO 优势计算的信号来源；「覆盖不同章节」对应覆盖不同环境和交互模式，因为环境决定工具、状态转移和验证器，只练少数环境会让策略的工具使用能力变窄。EnvSched 的图结构对应的是：同一章里的题（同一环境内的任务）共享知识点（工具、验证器），不同章的题如果解题步骤相似（抽象执行结构相似），难度也往往相似，所以可以用已批改的题来预测未批改的题的分歧程度。
5. 方法 pipeline 举例
我编一个具体输入，走一遍 EnvSched 的流程。
假设训练池有 3 个环境：保险策略管理系统（env_141）、电子健康记录系统（env_190）、血液捐赠预约系统（env_156）。当前是第 28 步，要选下一批 64 个任务，其中 coverage 阶段 32 个，exploitation 阶段 32 个。
以 env_141 里的 task_27 为例。这个任务要求：以 Carolyn Ho 的身份修改两份保单，设置生效期、提高住院限额、降低免赔额、增删 coverage 项、转移保单，共 16 个验证检查。这个任务从未被采样过，所以没有自身历史。
第一步，离线阶段已经构建好 dual-relation graph。within-environment 边用 6 个 TF-IDF 视图（指令词、字符片段、验证器文本、验证器代码结构、初始上下文、完整操作描述）计算相似度。cross-environment 边用 LLM 提取的抽象操作描述（去掉工具名、字段名、实体标识符，把操作映射为 lookup、eligibility checking、relation replacement 等类别）计算相似度。
第二步，对 task_27 做信息量预测。within-environment 邻居检索到 6 个同环境任务，相似度分别是 0.554、0.544、0.525、0.508、0.506、0.506，它们的历史方差分别是 0.0146、0.0077、0.0414、0.0000、0.1863、0.1084。按相似度和历史量加权聚合后，within 估计约为 0.05。cross-environment 邻居检索到其他环境里形状相似的任务，聚合后约为 0.02。全局参考是 0.03。两个关系等权融合成 graph prior 约 0.04。因为 task_27 没有自身历史，最终预测方差就是 0.04。
第三步，调度。假设 task_27 进入 exploitation 阶段候选。它的累计选择次数 c=0，所以 exposure factor ω = (1+0/16)^(-1/2) = 1。exploitation 分数就是 q·ω，其中 q 是预测方差在全部 2,550 个任务中的百分位排名，论文附录 F 里给出 q = 0.9747。假设当前已选集合里没有和 task_27 太相似的任务，相似性惩罚为零，task_27 被选中，排在第 38 位。
第四步，rollout。对 task_27 采样 8 条轨迹，得到奖励 (0.1875, 0.1875, 0.1875, 0.1875, 0, 0.750, 0.750, 0.625)。均值 0.359，方差 0.078。这 8 条轨迹分成两组：4 条只调用授权检查就停止，只通过 16 个检查里的 3 个；3 条完成完整编辑序列，通过 10 到 12 个检查；1 条中途结束得 0 分。这个方差 0.078 高于该步 batch 的平均实现方差 0.036，说明调度器的预测是有效的。
第五步，更新。这 8 个奖励进入 GRPO 的组内优势计算，同时 task_27 的节点历史更新为：均值 0.359、方差 0.078、dispersion 按公式
d = v / max(m(1-m), 0.01)计算。这些统计量会在下一步传播给 task_27 的邻居。6. 核心数学推导
先解释符号。设任务 i 在第 s 步被采样，产生 K 个 rollout 奖励，记为
r(i,s,1), ..., r(i,s,K)。K 在论文里固定为 8。第一步，计算组内奖励均值。
m(i,s) = (1/K) · Σ_{k=1}^{K} r(i,s,k)。这就是把这 8 个奖励加起来除以 8。第二步，计算组内奖励方差。
v(i,s) = (1/K) · Σ_{k=1}^{K} (r(i,s,k) - m(i,s))^2。这是总体方差，不是样本方差，所以分母是 K 而不是 K-1。这个量直接度量了 GRPO 组内优势计算可用的奖励分化程度。如果 8 个奖励全相同，v=0，这个任务对优势计算没有贡献。第三步，计算 dispersion。
d(i,s) = clip_{[0,1]}( v(i,s) / max(m(i,s)(1-m(i,s)), 0.01) )。这个量把方差按二项分布的理论最大方差m(1-m)归一化。对二元奖励，方差最大是m(1-m)，所以 d 接近 1 表示这个任务的奖励分化接近理论上限，d 接近 0 表示分化很小。分母取 max 是为了防止 m 接近 0 或 1 时除零。第四步，历史加权。对每个统计量 y（可以是 v、m、d），用半衰期权重
w(h)(t,s) = 2^(-(t-s)/h)对历史观测加权。h 是半衰期，论文用长窗口 h_long=8 和短窗口 h_short=2。任务 i 的有效观测权重是W(i,t) = Σ_{s∈H_t(i)} w(h)(t,s)，历史估计是ȳ(i,t) = Σ_{s∈H_t(i)} w(h)(t,s) · ỹ(i,s) / W(i,t)。其中ỹ(i,s)是经过中心化和裁剪的观测，中心化是把历史观测减去当时步的均值再加上当前全局参考，目的是消除策略演化带来的系统性偏移。第五步，图传播。对关系 r（within 或 cross），目标节点 i 从它的观测邻居集合
N^r_t(i)聚合历史估计。邻居 j 的权重a^r(i,j,t)由相似度和邻居的有效观测权重决定。聚合公式是G^r_y(i,t) = (Σ_{j∈N^r_t(i)} a^r(i,j,t) · ȳ(j,t) + λ_g · b_y(t)) / (Σ_{j∈N^r_t(i)} a^r(i,j,t) + λ_g)。这里b_y(t)是当前全局参考，λ_g 是收缩强度，论文设为 2。这个公式在算什么：它是在邻居证据很少时，把估计拉向全局参考，避免被一两个噪声邻居带偏。第六步，融合。两个关系的估计等权平均成 graph prior：
P_y(i,t) = (1/2) · G^in_y(i,t) + (1/2) · G^cross_y(i,t)。然后和任务自身历史做 shrinkage 融合：b_y(i,t) = (W(i,t) · ȳ(i,t) + λ_s · P_y(i,t)) / (W(i,t) + λ_s)。λ_s 也设为 2。当 W(i,t)=0（任务从未被采样），b_y(i,t) = P_y(i,t)，完全依赖图先验；当 W(i,t) 很大，b_y(i,t)接近自身历史。第七步，方差重建和校准。用预测的 dispersion 和均值重建一个方差估计：
f(i,t) = b_d(i,t) · b_m(i,t) · (1 - b_m(i,t))。然后和直接预测的方差做加权：u(h)(i,t) = Q_bv[0.65 · pr(b_v(i,t)) + 0.35 · pr(f(i,t))]。这里pr是百分位排名，Q_bv是经验分位数函数，把百分位映射回方差尺度。这个公式在算什么：它把「直接预测的方差」和「从均值和 dispersion 重建的方差」两个信号结合，再通过分位数映射校准到统一的尺度。第八步，近期下降惩罚。
u(i,t) = u(h_long)(i,t) - η_decline · max(u(h_long)(i,t) - u(h_short)(i,t), 0)。η_decline 设为 0.5。如果短窗口的估计比长窗口低，说明这个任务的方差在下降，降低它的优先级。最后q(i,t) = pr(u(i,t))得到最终的百分位分数。一句话总结：这套公式在算的是「在 rollout 之前，用图结构传播的历史奖励统计，预测每个任务在当前策略下会产生多大的组内奖励分化，并把这个预测校准成可比较的百分位分数」。
7. 实验设计
数据集：训练用 EnvScaler 池，包含 2,550 个任务实例，分布在 51 个可执行环境里。评估用三个下游基准：BFCL-v3 Multi-Turn（函数调用和多轮交互）、τ-Bench（工具-智能体-用户交互）、ACEBench-Agent（长程工具使用）。
基线：未训练的基础模型、随机调度、DPS、LEEPS。随机调度从训练池均匀采样环境-任务对。DPS 和 LEEPS 是 prompt 级调度方法，在相同的 EnvScaler 池、相同的 batch size、rollout 数、训练步数和模型更新流程下实现。
指标：三个基准的得分（BFCL-v3 有 Base、Miss-Function、Miss-Param、Long-Context 四个子类，τ-Bench 有 Retail 和 Airline 两个域，ACEBench-Agent 有 Multi-Step 和 Multi-Turn 两个子类），以及训练过程中的 mean reward variance、median reward variance、median reward、environments covered per batch、tools used per batch。
消融：组件消融包括只保留 within-environment 边、只保留 cross-environment 边、纯 coverage（ρ=1）、纯 exploitation（ρ=0）。邻域大小敏感性测试包括 (3,12)、(12,12)、(6,6)、(6,24) 四种配置。初始化鲁棒性测试用 100 个独立的 7 步训练 run，每个 run 从随机冷启动 batch 开始。
实验能否支撑结论：主结果表显示 EnvSched 在 4 个模型规模上、3 个基准上都超过随机调度，且 40 步的 EnvSched 在多个配置下达到或超过 200 步随机调度的水平。消融表显示纯 coverage 和纯 exploitation 都显著差于完整方法，两个边单独用也不如完整图。这些证据能支撑「奖励分化和环境覆盖是互补的」这一核心主张。
缺什么：论文没有报告 EnvSched 在更大规模池子（比如 Agent World Model 的 1K 环境、10K 任务）上的表现，所以「环境级数据管理是 scaling 方向」的论断只在小规模池子上验证。另外，论文没有和 Pilot-Commit 这类 rollout 分配方法直接对比，虽然 Pilot-Commit 在附录 A 里被提及。还有，论文的评估基准和训练池 EnvScaler 之间的领域重叠程度没有量化，如果评估基准的领域在训练池里覆盖不足，那么「下游提升」的来源可能部分来自 EnvScaler 本身的领域分布而非调度器。
8. take-aways
9. 最脆弱的假设
最脆弱的假设是：抽象执行结构相似的任务，其奖励方差也相似。这是 cross-environment 边有效的前提。论文用 LLM 提取操作类型（lookup、update、validate 等）、门控类型（identifier_resolution、state_precondition 等）和依赖结构，然后声称「顾问重新分配」和「医院床位转移」因为共享「实体查找、资格检查、关系替换、依赖状态验证」的结构，所以一个任务的方差能迁移到另一个任务。
这个假设如果倒了，cross-environment 边就退化成噪声，甚至会污染 within-environment 边的估计。论文给出的证据是：附录 F.2 的案例显示，env_190-task_8（电子健康记录里的过敏列表协调）的 cross-environment 邻居来自情绪追踪器、应急响应应用、费用系统和视频会议调度器，它们的方差分别是 0.1160、0.0830、0.0381、0.0256，而目标任务的实现方差是 0.066，预测是 0.04。这个案例是支持性的，但只是单个案例。
论文没有给出系统性的证据证明抽象结构相似性和方差相似性之间的相关性。消融实验显示 cross-environment 边单独用比完整方法差，但这只能说明 cross 边有增量贡献，不能证明「抽象结构相似 → 方差相似」这个因果机制成立。如果这个假设不成立，cross 边的贡献可能来自其他因素（比如 cross 边实际上在隐式地做环境覆盖），那么论文的核心机制解释就需要修正。
10. 一周最小复现
目标：复现「EnvSched 40 步超过随机调度 200 步」这一核心效率结论，但限于 1 张 24GB 消费级显卡，需要缩小模型和池子规模。
具体步骤：
第 1 天：准备环境。用 Qwen3-1.7B 或更小的 Qwen3-0.6B（如果可用）作为策略模型。从 EnvScaler 的 2,550 个任务里随机抽 300 个任务（约 6 个环境）作为训练池。安装 GRPO 训练框架（可以用 verl 或 open-instruct 的现成实现）。
第 2 天：构建 dual-relation graph。within-environment 边用 6 个 TF-IDF 视图，这个可以直接算。cross-environment 边需要 LLM 提取抽象操作描述，可以用一个便宜的 API（比如 GPT-4o-mini）对 300 个任务做离线提取，预计几小时完成。或者跳过 cross 边，只用 within 边做简化版。
第 3 天：实现调度器。核心逻辑是：维护每个任务的历史统计（均值、方差、dispersion、选择次数），每步做图传播、方差预测、coverage/exploitation 分批选择。代码量不大，主要是矩阵运算和贪心选择。
第 4-5 天：跑训练。batch size 从 64 减到 16（coverage 8 个、exploitation 8 个），每任务 rollout 数从 8 减到 4，这样每步 64 条轨迹。训练 40 步。同时跑一个随机调度基线，同样 40 步。在 24GB 显卡上用 1.7B 模型、序列长度限制在 8K tokens，预计每步 5-10 分钟，40 步约 4-7 小时，两个配置约 8-14 小时。
第 6 天：评估。在 BFCL-v3 Multi-Turn 的一个子集（比如 100 个任务）上评估两个模型。预期指标：EnvSched 的 BFCL-v3 分数比随机调度高 1-2 个百分点（论文在 1.7B 上 200 步的差距是 +1.96，40 步的差距可能略小）。同时统计 mean reward variance 和 environments covered per batch，预期 EnvSched 的 variance 比随机高 20-30%，coverage 高 15-25%。
第 7 天：分析。检查调度器选中的任务是否真的产生了更高的实现方差，以及 coverage 阶段是否有效扩大了环境覆盖。如果时间允许，跑一个纯 exploitation 的消融，验证 coverage 的必要性。
预期指标：EnvSched 40 步的 BFCL-v3 分数约比随机 40 步高 1-2 个百分点，mean reward variance 高 20-30%。这个复现不能完全复现论文的 48.81 数字（因为模型和池子都缩小了），但能验证核心机制：图传播预测方差 + coverage 分批确实比随机采样更高效。
11. 反例设计
设计一个实验，如果成功就能推翻 EnvSched 的核心主张。
核心主张是：环境级调度（同时建模任务信息量和环境覆盖）比 prompt 级调度更好，因为环境结构提供了 prompt 级方法缺失的方差预测信号。
反例实验：构造一个「环境结构无信息」的训练池。具体做法：取 EnvScaler 的 2,550 个任务，但把任务随机打乱后重新分配到 51 个环境里，使得同一个环境里的任务在工具、状态和验证器上没有任何共享结构。同时，把任务的抽象执行结构也随机化，使得 cross-environment 相似度和奖励方差之间没有相关性。换句话说，保留任务本身的难度分布和方差分布，但切断环境和任务之间的所有结构关联。
判据：在这个打乱的池子上，如果 EnvSched 仍然显著超过随机调度和 DPS/LEEPS，那么它的提升就不是来自「环境结构提供了有效先验」，而是来自其他机制（比如 coverage 机制本身、或者方差预测的某种通用正则化效果）。如果 EnvSched 的提升消失或大幅缩小，则说明环境结构确实是核心。
更严格的反例：如果在这个打乱的池子上，EnvSched 的表现和「纯 coverage + 随机方差预测」没有显著差异，那么说明 dual-relation graph 的方差预测部分没有贡献，核心主张被推翻。
这个实验的关键在于「打乱」要彻底：不仅要打乱环境归属，还要确保打乱后 within-environment 相似度和 cross-environment 相似度都不再携带方差信息。可以用置换检验来验证打乱后的相似度矩阵和方差向量之间没有显著相关性。
12. 落地判断
能否用于「抢占式 GPU 自托管 27B 模型做多智能体脚手架」：可以，但需要适配。
怎么用：27B 模型（比如 Qwen3-27B 或类似规模）在多智能体脚手架里通常扮演 planner 或 executor 角色，需要频繁调用工具、维护状态、处理多轮交互。EnvSched 的价值在于：如果你用 GRPO 对这个 27B 模型做 Agentic RL，且训练池有多个可执行环境（比如 50-200 个环境、2K-10K 个任务），那么 EnvSched 可以在不增加 rollout 预算的前提下提高训练效率。具体做法是：离线构建 dual-relation graph（within 边用 TF-IDF，cross 边用 LLM 提取抽象结构），在线每步做图传播和分批选择。调度开销在 2,550 任务规模下是每步约 35 秒，对 27B 模型的一步训练（可能 1-2 小时）来说可以忽略。
成本量级：离线图构建的成本主要是 LLM 提取抽象操作描述。对 2,550 个任务，如果用 GPT-4o-mini 级别的 API，每个任务提取约 1-2K tokens，总成本约 5-10 美元。在线调度的计算成本可以忽略。训练成本取决于你的 rollout 预算：如果每步 64 个任务、每任务 8 条轨迹、每条轨迹平均 4K tokens，那么每步约 2M tokens 的 rollout，在 27B 模型上单卡 24GB 可能需要 30-60 分钟。EnvSched 不增加这个成本，只是改变任务选择。
最大的坑：第一个坑是 cross-environment 边的质量。论文用 LLM 提取抽象操作结构，但你的多智能体脚手架环境可能和 EnvScaler 的数据库驱动环境差异很大。如果环境是开放式的（比如网页浏览、代码执行、多智能体对话），抽象操作结构的提取可能不稳定，cross 边的方差迁移可能失效。建议先用一个小规模试点验证 cross 边在你的环境里是否真的能预测方差。第二个坑是 coverage 机制的环境定义。在多智能体脚手架里，「环境」的边界可能不清晰——是每个 agent 角色算一个环境，还是每个任务场景算一个环境？如果环境定义不当，coverage 配额可能失效。第三个坑是奖励设计。EnvSched 假设奖励在 [0,1] 区间且方差是信息量的代理。如果你的奖励是稀疏的、或者奖励尺度跨环境差异很大，需要先做归一化，否则方差预测会被高奖励尺度的环境主导。