论文解读

Sihan Yang · Weichen Bai · Ruichuan An · 4+

随着语言智能体可执行环境规模扩大，生成与验证轨迹（rollout）成本激增。在有限预算下，通过环境级数据管理组织任务实例与环境（工具、状态、转移、验证）以提升智能体强化学习（RL）效率至关重要。EnvSched 是一种从轨迹历史学习的在线调度器，通过利用（exploitation）与覆盖（coverage）两种互补策略分配调度价值：前者优先选择能提供信息性奖励差异的任务，后者将批次分散至未充分观察的环境与交互模式。EnvSched 将环境-任务对组织为双关系图节点，环境内边捕捉任务语义及共享结构，跨环境边捕捉抽象执行与奖励拓扑。通过沿两类边传播历史统计预测任务内奖励方差，指导调度器将批次分配给高方差及未充分观察的任务与环境。环境配额与相似度惩罚进一步限制集中度与冗余，无需额外试点轨迹即可生成信息丰富且多样的批次。在 Qwen3-8B 的 RL 训练中，EnvSched 经 40 步训练在 BFCL-v3、tau-Bench 和 ACEBench-Agent 上取得 48.81 的平均分，超过随机任务选择经 120 步训练的最高分，并在相同训练预算下提升了不同模型规模的下游性能。

Utkarsh Kanwat

注意力匹配（Attention Matching, AM）通过保留部分键、重拟合值并添加偏置来压缩 KV 缓存，但 FlashAttention 和 vLLM 分页缓存不支持此输入。该方法将偏置沿每个头的一个闭式方向折叠至键中，基于上下文查询拟合，生成具有 AM 尺寸和头维度的普通缓存，并沿用模型自身的查询路径。输出误差由查询在该方向上的投影与 1 的偏差界定。在相同每头预算下，未修改的 vLLM 通过 KV 连接器服务折叠缓存，在 Qwen3-4B 的 51 个问题及 Qwen3-14B LongBench 的 200 个样本中的 180 个上匹配 Hugging Face 结果。在 QuALITY 和 LongHealth 数据集上，折叠法在 14 种设置中的 13 种内精度与 AM 无显著差异，且在 12 种共同运行设置中 KL 散度低于丢弃偏置。在公开每头预算下，Qwen3-4B 及其 Instruct-2507 变体、Llama-3.1-8B 在 10 种设置中的 9 种内与 AM 无显著差异，KL 散度不再优于丢弃偏置，两者精度各胜一次。

Anda Tang · Junjie Wang · Xuanlin Yang · 2+

学习率衰减(LRD)对训练高性能模型至关重要，但现有设计多依赖经验。尽管通用预算感知(UBA) LRD提供了理论框架，但其依赖SGD动态，限制了在Adam类优化器中的应用，且关键参数不透明。UTA LRD将LRD视为闭环形状与尺度问题，通过连续时间公式实现训练状态自适应及分段最优形状。这种自适应将外部迭代与内部训练状态关联，在进度形状和学习率尺度上实现近最优路径，这是包括UBA在内的其他LRD无法达到的。在LLaMA(60M至1B)和ImageNet上的视觉模型(ResNet50, ViT-B)实验中，UTA展示了即插即用的易用性和可忽略的开销，带来一致的性能提升。广泛的消融研究确认了UTA在峰值学习率、最终衰减比、参数$\varphi_0$、组件有效性及微调场景泛化等维度上的鲁棒性，突显了其实际可实现性。

Maya Ravichandran · Pragya Tripathi · Dharamendra Kumar · 2+

改进基于大语言模型的智能体通常聚焦于修改智能体本身，但成功也取决于其运行环境。工具中介了这种交互：工具描述影响智能体如何调用它，其实现则决定智能体接收到的结果和错误。许多工具（如 API 和 MCP 服务器）由多个智能体共享，且由无法修改智能体的提供商维护。AT-AT（Automatic Tool Optimization from Agent Traces）是一种智能体工具优化器，它在固定智能体的情况下，离线利用历史智能体执行记录来改进共享工具集。一个轻量级编码智能体读取智能体轨迹及其评估结果，并选择性编辑工具描述，在允许时编辑实现。在 τ²-bench-verified 上，AT-AT 在 Airline 和 Telecom 领域以低于强提示和工具优化器基线的成本实现了最高的任务完成率，且其 Telecom 增益在配对置换检验下具有统计显著性。在编码智能体框架内优化工具还提升了 TerminalBench-2 和 TBLite 的留出性能。当应用于大型企业的三个生产级 MCP 服务器时，AT-AT 降低了每个服务器的成本或工具错误率，并增加了一个服务器的留出任务通过率。通过将累积的执行轨迹转化为对共享工具环境的更新，AT-AT 为通过环境侧学习实现智能体系统的持续改进提供了一条路径。

Haojin Wang · Yangzhen Wu · Zeyi Chen · 4+

递归自我改进（RSI）要求智能体系统自主设计、训练并评估其继任者。数据驱动的后训练是该闭环的核心，但现有评估通常基于单一基准，仅衡量单次运行中分数的提升。真实后训练涉及多领域，需权衡单一领域的增益与其他领域的回退。ParetoRSI-Gym 让智能体在固定初始 LLM、五个领域（数学、代码、金融、医学、科学）、工具集及 SFT 流程的前提下，循环执行数据搜索、筛选、训练及读取分领域结果。各领域的泛化基准用于区分能力增益与对优化分数的过拟合。在三个智能体系统、三个基础模型、五轮迭代及多种子实验中，最强系统 Claude Code 搭配 Opus-5，使代理最优检查点的泛化分数相对起始模型提升 9.2%（绝对值 +2.3 分），该结果在三个基础模型和五个领域上等权平均。单领域相对增益最高达 63%（Ministral-3-3B 的医学领域）。分析表明，框架（harness）与模型同等重要，且每个智能体保持独特的数据选择策略。

Zhiyuan Wang · Jacob Steeves · Chang Liu

在可验证奖励强化学习（RLVR）中，熵的变化取决于本应中立的设置，如超长响应是掩码还是计为失败。这源于采样器失配，即 rollout 使用 top-k/top-p 截断或学习者未应用的温度。证明表明，常数优势偏移会在一阶期望上改变 softmax 策略的熵，符号由采样器决定：在似然比随 token 概率增加的采样器（如 top-k, top-p, min-p, 温度<1）下，正偏移使策略变锐；在更平坦的采样器下则变平。在基于组的 RLVR 中，基线控制的漂移由 token 加权净优势决定，掩码与失败处理可使其符号相反；剩余部分为优势与采样器锐度差的协方差。在 2B 模型上，截断采样下熵斜率与净优势偏移线性相关，精确采样下不可区分，token 级重要性比率保留 98% 的漂移。100 步运行中，零净优势基线仅延迟精确采样未显示的熵爆炸，固定正偏移进一步延迟，锐度差加权基线在不改变学习者的情况下保持熵稳定。在 9B 推理模型 10 步中，未校正规则降低留出集准确率，而零化净优势或重归一化学习者分别提升 8.2 和 8.8 分，精确采样下无影响。

Yanxing Huang · Bingzhang Yan · Zihan Tang · 3+

基于分布匹配视角，构建了一个涵盖现代大语言模型（LLM）不同训练阶段的统一框架。研究表明，广泛的训练算法可解释为最小化当前模型与目标分布间的散度，分析目标分布特性有助于理解算法行为。当模型分布接近目标分布时，On-Policy Distillation (OPD) 优于经典知识蒸馏（KD），反之则处于劣势。若目标分布依赖于被优化的模型，估计方差的累积会导致目标分布发生确定性退化，这从理论上解释了强化学习（RL）算法的长期行为。基于此，设计了条件KL（CKL）正则化以缓解退化。CKL在放宽经典KL对奖励提升约束的同时，有效保留了模式多样性，为LLM训练算法研究提供了新的理论指导。

Zeyu Zheng · Clare Lyle · Khimya Khetarpal · 1+

缩放定律的发现使得基于小规模低成本实验预测大规模训练任务的性能、最优资源分配策略及最佳超参数配置成为可能。深度学习社区借此在大规模数据集上训练自监督模型取得了巨大成功，但强化学习（Reinforcement Learning, RL）尚未找到可预测扩展的指导原则。本研究在 Starpilot 和 Craftax 两个程序生成环境中，对 Actor-Critic 算法的 RL 缩放定律进行了实证研究。发现具有强预测性能的缩放定律，能准确预测高达两个数量级总训练计算量下的大规模训练任务性能。采用 Elo 分数作为单智能体 RL 的性能指标，结果显示其比常用的平均回合回报更具可预测性，更适合拟合缩放定律。应用该定律增加训练计算量，在具有挑战性的 Craftax 环境中建立了新的最先进（state of the art）水平。此外，观察到 Craftax 中计算最优模型尺寸的非单调缩放模式，并将其与 Ray 干扰（Ray interference）这一病理现象联系起来。

Haoyu Zhao · Sitian Tu · Yuxuan Huang · 4+

持续学习(continual learning)是 LLM 智能体从经验中获取、改进并应用知识，同时保留有用既有知识、随时间提升能力的过程。它对长时程学习至关重要，但现有评测主要衡量单个任务表现，较少考察经验累积带来的改进。持续学习考试(Continual Learning Exam，CLE)是由 50 多名领域专家开发的大型基准，用于衡量真实职业工作流中由经验驱动的改进。CLE 包含 120 个人工编写任务，每个任务按五级阶梯组织，共 600 个层级，覆盖 12 个职业领域的 89 种职业角色。智能体须通过当前层级才能解锁下一层，后续层级依赖此前任务积累的经验。评估智能体依据人工编写的评分量规审查每次提交。评测比较了单次提交与失败后提供诊断反馈并允许一次修改的设置。在使用前沿 LLM 的 17 种 harness-model 配置中，反馈与修改使完成率中位数提高 5.3 个百分点。然而，表现最佳的系统仅通过 47.7% 的层级，且仅在 23.3% 的任务中完成全部五层，显示前沿 LLM 从经验中持续学习仍很困难。该数据集也可用于后训练(post-training) LLM，以增强其持续学习能力。

Kazuki Nakayashiki

自我改进智能体会根据运行结果记录经验；当结果含噪声时，经验可能把偶然因素带入后续决策。一项预注册研究在256个合成世界中测量了这一链条。模型依据ReasoningBank的记忆写入指令生成经验；同一模型的新会话在掌握权威日志和先前结果后，仅凭一条记忆选择下一次运行的首个工具。该选项包括本次结果对应的经验、相反结果的经验、无关记忆或无推理依据的指令。实验协议在确认性调用前冻结、存档并加时间戳；11个LLM端点共产生90,084次回答。较好工具偶发失败后，相关经验使11.6%的后续运行选择较差工具，而无关记忆和由成功生成的经验均为0.4%。日志说明失败相互独立时，交互效应为+0.042；未说明时为+0.181（描述性结果）。较差工具幸运成功后，交互效应下界为0.10（+0.002），该下界不能证明没有危害。探索性分析中，6个端点延续了偶然影响，最高+0.352；5个端点的下界为0.10。辅助比较显示，三句决策质量说明可将偶发失败后的较差工具使用率降至7.5%，为两种结果设置同一说明并提供“不变”选项可降至3.1%，但均未在所有相关端点达到预注册的减害标准。

Qianli Ma · Zhiqing Tang · Fanshuai Meng · 3+

受成本、延迟或隐私约束的小型语言模型，在推理失败时无法直接切换到更大模型。多候选“生成后重排序”为测试时扩展提供了一条自然路径，但候选增多并不必然提高准确率。生成与选择之间存在一个此前被忽视的瓶颈：正确答案即使出现在候选池中，也可能因内容不完整、无法解析，或与固定选择器预期的答案模式不一致而未被选中。该损失被称为隐性界面税，并被形式化为覆盖—转换分解，用以区分原始 oracle 覆盖与可选覆盖，即选择器实际能够消费正确候选的问题子集。兼容性感知候选构建（Compatibility-Aware Candidate Construction，CACC）作为候选源与固定选择器之间的界面层，无需重新训练任一组件，即可修复片段、对齐答案模式并移除会干扰选择器的噪声。在数值推理任务 GSM8K 和 competition_math 上，CACC 同时提高 oracle 覆盖与最终准确率。在 GPQA Diamond 上，CACC 单独使用可将最终准确率从 5.6% 提升至 19.2%（+13.6 个百分点）；结合提议端增强后达到 25.8%（+20.2 个百分点）。在 MMLU-Pro 上，CACC 暴露出覆盖—转换差距：答案模式兼容构建提高了 oracle 覆盖，但在原始选择器下最终准确率下降 0.85 个百分点；加入提议端增强后，最终准确率得到改善。

Xin Wang · Wenhao Wu · Menghao Zhang · 3+

长视野LLM智能体通常使用稀疏的结果奖励进行训练，使得轨迹级目标过于粗糙，无法区分个别决策的贡献。步级信用分配提供了更细粒度的监督，但其估计可能不可靠，因为观察到的回报也取决于后续动作、环境转换和轨迹长度。提出AdaStep，一种自适应步级信用权重方法，控制每个组衍生的局部优势修改轨迹级信号的强度。将该权重形式化为潜在步优势的均方误差估计问题，并在明确的条件采样假设下，推导出每状态的最优收缩系数。该系数具有信号-总方差解释：当回报变化归因于所选动作时保留局部信用，当变化由下游随机性主导时抑制信用。AdaStep仅需轻量级标量计算，无需critic、额外rollouts或额外模型推理。三个模型骨干在ALFWorld、WebShop和ScienceWorld上的实验表明，与基线相比在低计算成本下具有一致的改进。