cs.AI 2026-10-31 · 12:00 已译 有解读多智能体系统中的信息缺口定位与闭合 Locating and Closing Information Gaps in Multi-Agent Systems
Yaxin Gong · Chongming Gao · Gangyi Zhang · 4+
多步 Web 任务常需多个 LLM 智能体收集并整合证据。固定工作流的通信图限制了智能体间可读取的输出范围:一个智能体检索到的证据可能永远无法到达需要它的智能体,形成信息缺口,导致答案不完整或错误。增加一条连接可传递缺失证据,但也可能让接收方采纳错误的上游结论,从而取代原本正确的答案;仅凭最终输出无法区分这两种情况。为此提出 SPLICE(Selective Probing and Link Insertion for Closing information gaps in multi-agent Execution),按查询定位信息缺口,并在加边后决定采纳什么。原始工作流运行后,SPLICE 利用查询和节点输出定位可能的缺口,添加一条从源到接收方的有向边以传递相关证据,并重新执行接收方及受影响的下游节点,生成候选答案。采纳决策同时读取两次运行的最终答案以及编辑在工作流内部引起的过程变化:接收方移动了多远、新内容来自何处、变化是否到达最终答案。基于这些过程特征训练的选择器在采纳候选答案与保留原始答案之间做出选择。在五个基准上,SPLICE 相对静态骨架将 Web 工具使用任务得分提升 8.0%,将四个推理与规划基准的平均得分提升 5.7%,成本为骨架的 1.25 至 1.44 倍,并零样本迁移到四个未见过的骨干模型。
查看摘要要点(详情页可复制)cs.AI 2026-10-31 · 12:00 已译 有解读对齐自动研究:智能体与人类的共同改进 Aligning Autoresearch: Co-Improvement between Agents and Humans
Tianjian Li · Chuanyang Jin · Seungone Kim · 4+
自动研究智能体已能端到端尝试长周期 AI 研究,即自我改进。但最佳结果仍来自研究智能体与人类研究者的交互,提升 AI 的协同研究能力只会强化这一效应——该过程称为共同改进(co-improvement,Weston 和 Foerster,2025)。此外,与人类期望对齐可能是研究智能体更安全的路径,尤其考虑到近期智能体奖励黑客(reward hacking)现象(OpenAI,2026b)。本工作从四方面处理这些问题:(i) 实证研究人类在指导自动研究智能体中的作用,聚焦基准创建领域,发现人类仍发挥关键作用,尤其在构思阶段;(ii) 开发基准 HackBench,显示当前自动研究智能体未对齐且无法充分实现 hack 定位;(iii) 提出一种方法,在强化学习(RL)期间使用人类模拟器作为代理来训练智能体以改善人机交互;(iv) 开发一种方法,通过与人类专家对齐的评分标准进行 RL 来改进模型文本生成,从而改善智能体沟通。我们的训练与评估方案共同为更有能力且更对齐的(协同)研究智能体提供了路径。
查看摘要要点(详情页可复制)cs.AI 2026-10-31 · 12:00 已译 有解读Deogen:面向策略推理的自动基准生成 Deogen: Automatic Benchmark Generation for Reasoning over Policies
Sam Kouteili · William Liang · Keeran Murray · 4+
语言模型越来越多地部署在受监管场景中,模型需将给定规则应用于具体事实以判定结论。对这一被称为道义推理(deontic reasoning)的能力进行基准测试仍是昂贵的人工过程,现有数据集多为手工构建。本文提出 DeoGen,一个可扩展、自动化、可参数化的道义推理基准生成器。通过将策略规则自动形式化为一阶逻辑,构建刻画可能结果轨迹的决策树;树中每条路径成为一个基准条目,每棵树随深度组合式产生大量条目。终止于叶节点的路径蕴含一个判定,非叶路径则衡量模型在信息不足时弃权的能力。评估显示前沿模型 89-92% 的情况下给出正确判定;但在信息不足的条目上性能显著下降(正确率 22-40%),即使明确指示应弃权。总体而言,DeoGen 提供了一种自动、可扩展、参数化的道义推理基准生成方法。
查看摘要要点(详情页可复制)cs.AI 2026-10-31 · 12:00 已译 有解读Rubricon:面向 LLM 评估与训练的自动评分标准生成与精炼 Rubricon: Automated Rubric Generation and Refinement for LLM Evaluation and Training
Ulyana Tkachenko · Hui Wen Goh · Guram Gogia · 1+
评分标准(rubric)可在无标准答案的任务上分配奖励,但从零手工制作成本高昂。Rubricon 是一条无需人工偏好标签、评分标准标注或生成器模型训练的流水线,可生成具有区分度的评分标准。使用任意 LLM,Rubricon 采样多个评分标准,选出最具区分度的候选,补充遗漏要求或响应缺陷的准则,并剪除错位或浅显的准则。除 LLM 自我批判与测试时扩展外,Rubricon 还利用示例模型响应上观测到的准则通过率来指导精炼。在五个专业、消费、临床与通用 LLM 基准上,Rubricon 生成的评分标准对前沿 LLM 响应的打分与专家撰写的劳动密集型评分标准的一致性,相比 RRD、QSRG、OpenRubrics 及通过 Codex 等框架的智能体生成等最佳替代合成评分标准方法高出 9%。在 HealthBench 上,用 Rubricon 评分标准对 Qwen3.5-9B 模型进行后训练,性能比使用最强替代合成评分标准生成器 RRD 的评分标准训练高出 4.5%。
查看摘要要点(详情页可复制)cs.AI 2026-10-31 · 12:00 已译 有解读DecompGym:面向分解算法设计的LLM智能体基准测试 DecompGym: Benchmarking LLM Agents on Designing Decomposition Algorithms
Sikai Cheng · Tinghan Ye · Arnaud Deza · 4+
Benders分解(Benders decomposition)与列生成(column generation)通过在主子问题间传递割、列和对偶值来求解大规模优化问题,正确实现难度高。大语言模型已能自动化部分算法设计,指向能为新问题构建分解求解器的智能体。作为迈向此类智能体的第一步,研究当前编码智能体设计与实现这两种算法的能力及失败模式。提出DecompGym,包含来自9个问题族(5个Benders、4个列生成)的81个实例,智能体需为指定方法编写求解器。每个求解器须满足三项标准:60秒内执行;数值可行并通过方法审计(由LLM评审读取求解器代码);目标值在存储最优目标值的1%以内。评估12个GPT、Claude和Gemini模型在编码智能体工具中的表现。最多十次尝试中,比较独立重新生成与先诊断失败的反思(reflection)。首次尝试中,两个模型解决所有实例,七个模型解决超过90%。多数Benders失败(62次中48次)为缺失或次优解。列生成最常见失败为方法审计拒绝。仅输出检查会接受108次未通过方法审计尝试中的93次。最常见拒绝为optimalif,出现96次,其中92次来自一个模型。反思将66%的重试转为成功,重新生成为39%,并能修复方法审计失败(评审指出缺陷缺口)。因此分解智能体需检查求解器如何得到答案,并提供定位错误的反馈。基准见 https://github.com/SIKAI-C/DecompGym。
查看摘要要点(详情页可复制)cs.AI 2026-10-31 · 12:00 已译 有解读Seq@K:在序列反馈下评估语言模型 Seq@K: Evaluating Language Models Under Sequential Feedback
Thomson Yen · Gilbert Yang · Naimeng Ye · 4+
语言模型智能体与以往智能系统的根本区别在于其能在上下文中从自然语言学习,从而根据反馈迭代改进答案,这是现代智能体工作流的常见模式。然而,社区主要用 Pass@1 或 Pass@K 等指标对模型排名,无法反映模型如何利用先前尝试的反馈。提出 Seq@K 评估协议,衡量模型在 K 次序列尝试内、每次失败后获得反馈时能否解决问题。与考察长程规划的多轮智能体基准不同,Seq@K 隔离并形式化从反馈中改进这一核心能力。在 7 个基准和 16 个前沿模型上评估 Seq@K,显示其揭示出显著不同的模型选择格局:在 Seq@K 下(1)模型排名常不同,(2)Pareto 前沿允许更高效配置,(3)选择最优模型配置的收益相对 Pass@K 可能扩大或缩小。进一步分析 Seq@K 下的模型轨迹有助于刻画迭代改进行为,例如模型处理反馈中所提问题的速率,或坚持自身答案的僵化程度。最后研究反馈性质如何影响迭代改进,表明实践者必须仔细设计和基准测试迭代智能体系统的反馈回路。这些结果确立 Seq@K 为在此类反馈回路中运行的智能系统提供更忠实的指标,以及在这些系统评估中考虑 Seq@K 的必要性。
查看摘要要点(详情页可复制)cs.AI 2026-10-31 · 12:00 已译 有解读衡量意图在智能合约智能体合成中何处丢失 Measuring Where Intent Gets Lost in Agentic Smart Contract Synthesis
Abhinav Goel · Agostino Capponi · Alfio Gliozzo · 1+
AI 智能体已能根据自然语言描述编写软件,但能运行的代码不等于满足需求的代码。这一差距在智能合约上最为关键——智能合约是 Web3 应用背后在区块链上转移资金、部署后无法修复的程序。研究如何检验 AI 编写的合约行为是否正确,以及所要求的行为在何处丢失。设计基于执行而非主观判断的评估:在 AI 编写的合约与其应复现的原始合约上重放相同交易,统计两者一致的比例。用植入错误测试每个评分工具,与不依赖描述写成的答案键对比,并审计自身评分器直到已知错误答案无法通过。常见方法(如 AI 评判和标准分析工具)会漏掉明显错误,评分选择也有影响;只检查所有系统都包含的函数会掩盖流水线之间约一半的差异。进而提出“先 elicitation”架构:写代码前,智能体向客户询问一份简短检查清单,将合约与独立编写的可执行答案键对照,并把分歧返回客户而非静默重写代码。在三个 AI 模型上,先询问远比事后审查或修补重要,而自动化安全修复常破坏所要求的行为。少量精心选择的问题能恢复简短描述所遗漏的大部分信息,其价值可在没有原始合约的情况下估计。据所知,这是智能合约合成中首个在生成前收集缺失需求、并用独立编写的可执行模型检验结果的研究。经验可推广到 AI 智能体将请求转化为程序的任何场景。发布工具、600 个任务及全部结果。
查看摘要要点(详情页可复制)cs.LG 2026-10-28 · 12:00 已译 有解读EnvSched: 面向高效智能体强化学习的环境感知调度 EnvSched: Environment-Aware Scheduling for Rollout-Efficient Agent Reinforcement Learning
Sihan Yang · Weichen Bai · Ruichuan An · 4+
随着语言智能体可执行环境规模扩大,生成与验证轨迹(rollout)成本激增。在有限预算下,通过环境级数据管理组织任务实例与环境(工具、状态、转移、验证)以提升智能体强化学习(RL)效率至关重要。EnvSched 是一种从轨迹历史学习的在线调度器,通过利用(exploitation)与覆盖(coverage)两种互补策略分配调度价值:前者优先选择能提供信息性奖励差异的任务,后者将批次分散至未充分观察的环境与交互模式。EnvSched 将环境-任务对组织为双关系图节点,环境内边捕捉任务语义及共享结构,跨环境边捕捉抽象执行与奖励拓扑。通过沿两类边传播历史统计预测任务内奖励方差,指导调度器将批次分配给高方差及未充分观察的任务与环境。环境配额与相似度惩罚进一步限制集中度与冗余,无需额外试点轨迹即可生成信息丰富且多样的批次。在 Qwen3-8B 的 RL 训练中,EnvSched 经 40 步训练在 BFCL-v3、tau-Bench 和 ACEBench-Agent 上取得 48.81 的平均分,超过随机任务选择经 120 步训练的最高分,并在相同训练预算下提升了不同模型规模的下游性能。
查看摘要要点(详情页可复制)cs.AI 2026-10-28 · 12:00 已译 有解读当评估者落后时:用于持续智能体自我改进的评估标准与执行框架协同进化 When the Critic Falls Behind: Co-Evolving Rubrics and Harnesses for Continual Agent Self-Improvement
Hao Chen · Yukun Yan · Ziyu Han · 4+
自主智能体日益依赖围绕大语言模型(LLM)管理交互、记忆、工具和执行的执行框架(harnesses)。尽管近期工作开始从执行经验中进化这些框架,但引导进化的监督信号往往相对静态,难以追踪跨轮次变化的行为弱点,限制了在未见任务上的泛化能力。为此,提出 RuHarness,一种用于持续智能体自我改进的评估标准(rubric)与执行框架协同进化框架。RuHarness 从执行轨迹中持续发现并重新评估行为标准,优先处理最相关的未解决弱点,并以此指导针对性的框架更新,同时保持任务目标固定。在多样化智能体任务和骨干模型上的广泛实验表明,RuHarness 优于强大的框架进化基线,特别是在未见保留任务上。进一步分析显示,自适应评估标准优先级追踪了变化的弱点,支持更持续的改进和跨进化轮次的稳定泛化。
查看摘要要点(详情页可复制)cs.AI 2026-10-28 · 12:00 已译 有解读CASEL: 面向可靠长程工具使用智能体的后果感知选择性执行 CASEL: Consequence-Aware Selective Execution for Reliable Long-Horizon Tool-Using Agents
Yanyan Zhang · Fei Shen · Ting Yan · 1+
工具使用型语言智能体日益频繁地修改外部系统,但现有运行时防护多依赖通用不确定性分数或粗糙的变更启发式。CASEL(后果感知选择性执行层)是一种模型无关的运行时分配策略,结合校准后的失败概率、状态依赖后果、可逆性、模糊度及证据新鲜度,为每个提议的工具调用在直接执行、验证、沙箱化、澄清、审批及弃权中选择最小化单模式成本的选项。该策略将直接执行形式化为选择性预测,并验证了有限样本阈值与轨迹风险账本的有效性条件。在20个种子、每个包含120,000个测试动作的受控模拟中,所有方法具有相同的干预菜单和计算成本。CASEL将有害副作用轨迹从不确定性排序门控的14.75%降至7.02%,平均归一化伤害从0.184降至0.123。基于失败概率与后果乘积排序的门控达到相似伤害(5.82%,0.120),但导致45%更多的动作需人工审批;移除可逆性感知路由则使比率升至15.53%。相比之下,轨迹级风险预算在同等成本下增加了伤害(11.82%)。干预效果基于假设而非实测,结果仅在模拟器假设下对分配规则进行排序,未确立部署有效性。
查看摘要要点(详情页可复制)cs.LG 2026-10-28 · 12:00 已译 有解读将注意力偏置折叠至键中使压缩 KV 缓存运行于标准内核 Folding Attention Biases into Keys Makes Compacted KV Caches Run on Standard Kernels
Utkarsh Kanwat
注意力匹配(Attention Matching, AM)通过保留部分键、重拟合值并添加偏置来压缩 KV 缓存,但 FlashAttention 和 vLLM 分页缓存不支持此输入。该方法将偏置沿每个头的一个闭式方向折叠至键中,基于上下文查询拟合,生成具有 AM 尺寸和头维度的普通缓存,并沿用模型自身的查询路径。输出误差由查询在该方向上的投影与 1 的偏差界定。在相同每头预算下,未修改的 vLLM 通过 KV 连接器服务折叠缓存,在 Qwen3-4B 的 51 个问题及 Qwen3-14B LongBench 的 200 个样本中的 180 个上匹配 Hugging Face 结果。在 QuALITY 和 LongHealth 数据集上,折叠法在 14 种设置中的 13 种内精度与 AM 无显著差异,且在 12 种共同运行设置中 KL 散度低于丢弃偏置。在公开每头预算下,Qwen3-4B 及其 Instruct-2507 变体、Llama-3.1-8B 在 10 种设置中的 9 种内与 AM 无显著差异,KL 散度不再优于丢弃偏置,两者精度各胜一次。
查看摘要要点(详情页可复制)cs.SE 2026-10-28 · 12:00 已译 有解读Stratum:超越上下文窗口的代码智能体仓库记忆 Stratum: Repository Memory for Coding Agents Beyond the Context Window
Yuvraj Sehgal · Mahsa Panahandeh · Naser Ezzati-Jivan
尽管上下文窗口扩大千倍,代码智能体仍缺乏跨会话记忆,导致重复读取文件与重试失败方案。这属于记忆架构而非长度问题。Stratum 提出一种持久化、经验感知的仓库记忆系统。基于真实仓库的三项测量显示:中型项目已超出最大生产级上下文窗口,且将知识存入 KV 缓存比索引文本成本高 $10^4$ 至 $10^5$ 倍;在 752 个真实 Bug 修复提交中,中位修复仅涉及两个文件及其直接导入,占仓库不足 10%,瓶颈在于选择而非容量;即使包含传递导入和测试链接,47% 的共编辑文件对在结构上仍不连通,表明选择所需知识需从历史挖掘。Stratum 采用分层记忆架构,通过页面安全工具服务,每次响应明确返回内容、剩余内容及成本。在百万节点存储上,中位检索耗时 1.7 ms。在八个真实 Bug 的多会话实验中,继承不同模型写入记忆的代理在 24 次试验中 21 次定位到根因文件,而仅检索基线为 6 次(Fisher $p<10^{-4}$),中位 Token 成本降低 4.5 倍。合并所有八个调查笔记后,成功率保持 8/8。
查看摘要要点(详情页可复制)cs.SE 2026-10-28 · 12:00 已译 有解读上下文是流水线而非窗口:LLM 智能体框架中的信息损耗 Context Is a Pipeline, Not a Window: Information Attrition in LLM Agent Harnesses
Yuvraj Sehgal · Mahsa Panahandeh · Naser Ezzati-Jivan
LLM 智能体的评估常忽略工具输出在到达模型前的损耗。在基于 Linux 内核追踪的故障诊断智能体中,尽管 720 次运行中最大提示仅占用 5.75% 上下文窗口,但 3,827 个工具结果(占 34%)因固定长度切片导致 JSON 损坏。这种切片导致数据分布不均,某字段仅在 4.7% 调用中保留,而另一字段保留率达 99.3%,且证据位置取决于故障进程启动时间。受控实验表明,数据损耗首先表现为额外工作而非错误答案:工具调用增加 43%,计算量翻倍,产出率从 0.61 降至 0.31。对七个智能体框架的调查发现,其中两个存在相同的不安全切片机制。数据截断是否直接导致准确率下降仍属开放问题。
查看摘要要点(详情页可复制)cs.CR 2026-10-28 · 12:00 已译 有解读Log-To-Leak: 基于模型上下文协议的工具使用 LLM 智能体提示注入攻击 Log-To-Leak: Prompt Injection Attacks on Tool-Using LLM Agents via the Model Context Protocol
Yuepeng Hu · Chongyu Fan · Sirat Samyoun · 1+
LLM 智能体通过模型上下文协议 (MCP) 访问外部工具,其元数据构成提示注入攻击面。研究提出 Log-To-Leak 攻击,这是一种附加式事后日志攻击,旨在最终合法调用后诱导攻击者控制的额外调用。载荷针对用户查询、MCP 服务器名、服务器响应及智能体响应,通过触发器、工具绑定、理由和压力实现。评估涵盖 5 个 MCP 服务器和 4 个 LLM 智能体,使用 5 项指标。在 18 个有效工具执行模型-服务器对中,攻击成功率 (ASR) 达 62.64%-100%,条件日志准确率 (LA) 为 76.55%-95.64%;16 对的目标任务完成率绝对变化不超过 6.63 个百分点。三种防御在 GitHub MCP 与 GPT-4o 上残留 ASR 高于 55%,而指令检测器标记了 85.53% 的良性描述。结果表明任务完成与未授权事后披露可共存,需主机控制授权。
查看摘要要点(详情页可复制)cs.MA 2026-10-28 · 12:00 已译 有解读AgentBaton: 智能体任务中的高效模型协作 AgentBaton: Efficient Model Collaboration in Agentic Tasks
Junlong Li · Jindong Jiang · Yonggan Fu · 4+
解决长程智能体任务通常需要语言智能体与环境进行多步交互,可靠性能往往依赖云服务商提供的高成本高性能模型。与此同时,包括低层级云模型和可部署在本地硬件的小型开放权重模型在内的低成本高效模型正在兴起。这引出了一个尚未充分探索的问题:在单个长程任务中,高性能与高效模型能否协作以大幅降低成本同时保持任务准确率?论文通过模型交接(model handoffs)系统研究了协作的关键设计选择,重点关注交接方向与上下文传递。研究发现,从高效模型到高性能模型的交接通常表现不佳且成本降低有限,而在任务进度的适当阶段从高性能模型交接至高效模型,则能在大幅降低成本的同时保持甚至提升准确率。这表明简单且时机恰当的一次性交接策略足以实现成本效益。AgentBaton 是一个轻量级检测器,通过学习任务进度中的重复模式来决定何时交接。在 11 个模型对和两个代表性基准上,AgentBaton 平均降低 API 成本 65.9%,同时基本保持任务准确率,准确率最高提升 8.8 个百分点。实验还表明,AgentBaton 扩展了经验准确率-成本帕累托前沿。
查看摘要要点(详情页可复制)cs.MA 2026-10-28 · 12:00 已译 有解读谁说服了谁?追踪多智能体系统中 LLM 如何改变想法 Who Convinced Whom? Tracing How LLMs Change Their Minds in Multi-Agent Systems
Arnesh Batra · Aniket Khandelwal · Jashn Khemani · 4+
多智能体辩论(MAD)旨在通过论点交换提升语言模型决策,但辩论后的一致未必反映独立佐证。研究通过行为与内部干预,考察同伴沟通对个体决策及集体结果的影响。引入涵盖知识推理、价值道德及安全拒绝的 2,400 题基准 MAD Bench,评估三个开源模型,并采用轮次匹配的独立反思作为对照。在答案改变的反应中,辩论前强制选择读取与最终答案的匹配率(Qwen3.5-9B 为 65.4%)高于反思(22.3%)。消息消融显示同伴答案与推理的影响具有模型依赖性,将相同文本归因于接收者而非其他智能体会显著改变其影响。在所有模型中,陈述的过往记录比专业地位线索更强烈地影响答案偏好。注意力掩码在三个检查点产生不同的决策边际变化。在完全解析的非数值问题上,辩论相比初始多数投票带来微小的准确率提升,但将全错一致率相对反思提高 3.1-7.4 个百分点。更长的辩论显示持续的一致性及智能体正确性间更高的相关性。这些发现表明,更强的一致性与更多的共享错误可共存,促使评估需同时考量依赖性与全错一致率。
查看摘要要点(详情页可复制)cs.LG 2026-10-28 · 12:00 已译 有解读UTA: 通用训练自适应学习率衰减 UTA: Universal Training Adaptive Learning Rate Decay
Anda Tang · Junjie Wang · Xuanlin Yang · 2+
学习率衰减(LRD)对训练高性能模型至关重要,但现有设计多依赖经验。尽管通用预算感知(UBA) LRD提供了理论框架,但其依赖SGD动态,限制了在Adam类优化器中的应用,且关键参数不透明。UTA LRD将LRD视为闭环形状与尺度问题,通过连续时间公式实现训练状态自适应及分段最优形状。这种自适应将外部迭代与内部训练状态关联,在进度形状和学习率尺度上实现近最优路径,这是包括UBA在内的其他LRD无法达到的。在LLaMA(60M至1B)和ImageNet上的视觉模型(ResNet50, ViT-B)实验中,UTA展示了即插即用的易用性和可忽略的开销,带来一致的性能提升。广泛的消融研究确认了UTA在峰值学习率、最终衰减比、参数$\varphi_0$、组件有效性及微调场景泛化等维度上的鲁棒性,突显了其实际可实现性。
查看摘要要点(详情页可复制)cs.LG 2026-10-28 · 12:00 已译 有解读AT-AT:基于智能体轨迹的自动工具优化 AT-AT: Automatic Tool Optimization from Agent Traces
Maya Ravichandran · Pragya Tripathi · Dharamendra Kumar · 2+
改进基于大语言模型的智能体通常聚焦于修改智能体本身,但成功也取决于其运行环境。工具中介了这种交互:工具描述影响智能体如何调用它,其实现则决定智能体接收到的结果和错误。许多工具(如 API 和 MCP 服务器)由多个智能体共享,且由无法修改智能体的提供商维护。AT-AT(Automatic Tool Optimization from Agent Traces)是一种智能体工具优化器,它在固定智能体的情况下,离线利用历史智能体执行记录来改进共享工具集。一个轻量级编码智能体读取智能体轨迹及其评估结果,并选择性编辑工具描述,在允许时编辑实现。在 τ²-bench-verified 上,AT-AT 在 Airline 和 Telecom 领域以低于强提示和工具优化器基线的成本实现了最高的任务完成率,且其 Telecom 增益在配对置换检验下具有统计显著性。在编码智能体框架内优化工具还提升了 TerminalBench-2 和 TBLite 的留出性能。当应用于大型企业的三个生产级 MCP 服务器时,AT-AT 降低了每个服务器的成本或工具错误率,并增加了一个服务器的留出任务通过率。通过将累积的执行轨迹转化为对共享工具环境的更新,AT-AT 为通过环境侧学习实现智能体系统的持续改进提供了一条路径。
查看摘要要点(详情页可复制)cs.LG 2026-10-28 · 12:00 已译 有解读ParetoRSI-Gym:AI 智能体能否跨多个领域改进语言模型? ParetoRSI-Gym: Can AI Agents Improve Language Models Across Multiple Domains?
Haojin Wang · Yangzhen Wu · Zeyi Chen · 4+
递归自我改进(RSI)要求智能体系统自主设计、训练并评估其继任者。数据驱动的后训练是该闭环的核心,但现有评估通常基于单一基准,仅衡量单次运行中分数的提升。真实后训练涉及多领域,需权衡单一领域的增益与其他领域的回退。ParetoRSI-Gym 让智能体在固定初始 LLM、五个领域(数学、代码、金融、医学、科学)、工具集及 SFT 流程的前提下,循环执行数据搜索、筛选、训练及读取分领域结果。各领域的泛化基准用于区分能力增益与对优化分数的过拟合。在三个智能体系统、三个基础模型、五轮迭代及多种子实验中,最强系统 Claude Code 搭配 Opus-5,使代理最优检查点的泛化分数相对起始模型提升 9.2%(绝对值 +2.3 分),该结果在三个基础模型和五个领域上等权平均。单领域相对增益最高达 63%(Ministral-3-3B 的医学领域)。分析表明,框架(harness)与模型同等重要,且每个智能体保持独特的数据选择策略。
查看摘要要点(详情页可复制)cs.LG 2026-10-28 · 12:00 已译 有解读RLVR 中采样器失配下熵漂移的符号定律 A Sign Law for Entropy Drift under Sampler Mismatch in RLVR
Zhiyuan Wang · Jacob Steeves · Chang Liu
在可验证奖励强化学习(RLVR)中,熵的变化取决于本应中立的设置,如超长响应是掩码还是计为失败。这源于采样器失配,即 rollout 使用 top-k/top-p 截断或学习者未应用的温度。证明表明,常数优势偏移会在一阶期望上改变 softmax 策略的熵,符号由采样器决定:在似然比随 token 概率增加的采样器(如 top-k, top-p, min-p, 温度<1)下,正偏移使策略变锐;在更平坦的采样器下则变平。在基于组的 RLVR 中,基线控制的漂移由 token 加权净优势决定,掩码与失败处理可使其符号相反;剩余部分为优势与采样器锐度差的协方差。在 2B 模型上,截断采样下熵斜率与净优势偏移线性相关,精确采样下不可区分,token 级重要性比率保留 98% 的漂移。100 步运行中,零净优势基线仅延迟精确采样未显示的熵爆炸,固定正偏移进一步延迟,锐度差加权基线在不改变学习者的情况下保持熵稳定。在 9B 推理模型 10 步中,未校正规则降低留出集准确率,而零化净优势或重归一化学习者分别提升 8.2 和 8.8 分,精确采样下无影响。
查看摘要要点(详情页可复制)cs.LG 2026-10-28 · 12:00 已译 有解读大语言模型训练算法的分布匹配视角 A Distribution-Matching Perspective on LLM Training Algorithms
Yanxing Huang · Bingzhang Yan · Zihan Tang · 3+
基于分布匹配视角,构建了一个涵盖现代大语言模型(LLM)不同训练阶段的统一框架。研究表明,广泛的训练算法可解释为最小化当前模型与目标分布间的散度,分析目标分布特性有助于理解算法行为。当模型分布接近目标分布时,On-Policy Distillation (OPD) 优于经典知识蒸馏(KD),反之则处于劣势。若目标分布依赖于被优化的模型,估计方差的累积会导致目标分布发生确定性退化,这从理论上解释了强化学习(RL)算法的长期行为。基于此,设计了条件KL(CKL)正则化以缓解退化。CKL在放宽经典KL对奖励提升约束的同时,有效保留了模式多样性,为LLM训练算法研究提供了新的理论指导。
查看摘要要点(详情页可复制)cs.LG 2026-10-28 · 12:00 已译 有解读强化学习缩放定律的实证研究 An Empirical Study of Reinforcement Learning Scaling Laws
Zeyu Zheng · Clare Lyle · Khimya Khetarpal · 1+
缩放定律的发现使得基于小规模低成本实验预测大规模训练任务的性能、最优资源分配策略及最佳超参数配置成为可能。深度学习社区借此在大规模数据集上训练自监督模型取得了巨大成功,但强化学习(Reinforcement Learning, RL)尚未找到可预测扩展的指导原则。本研究在 Starpilot 和 Craftax 两个程序生成环境中,对 Actor-Critic 算法的 RL 缩放定律进行了实证研究。发现具有强预测性能的缩放定律,能准确预测高达两个数量级总训练计算量下的大规模训练任务性能。采用 Elo 分数作为单智能体 RL 的性能指标,结果显示其比常用的平均回合回报更具可预测性,更适合拟合缩放定律。应用该定律增加训练计算量,在具有挑战性的 Craftax 环境中建立了新的最先进(state of the art)水平。此外,观察到 Craftax 中计算最优模型尺寸的非单调缩放模式,并将其与 Ray 干扰(Ray interference)这一病理现象联系起来。
查看摘要要点(详情页可复制)cs.AI 2026-10-27 · 12:00 已译 有解读自由观察,自由推理:简单 LLM 测试框架胜过手工设计的根因分析智能体 Free to Look, Free to Reason: Simple LLM Harnesses Outdiagnose Hand-Crafted Root Cause Analysis Agents
Tingzhu Bi · Xun Zhang · Jinglin Li · 2+
微服务故障的根因分析(root cause analysis, RCA)吸引了众多 LLM 智能体,其调查流程通常由标准操作程序、固定阶段和角色智能体手工编排。由于每种方案都在自有数据上与少量基线比较,尚不清楚这种设计是否优于让能力较强的模型自主调查。研究在 RCAtlas 上比较三种不预设模型调用方式的简单测试框架——基于证据包的一次性调用、SQL 智能体和 Codex 编码智能体——以及五个已发表的 LLM RCA 智能体、统计方法和因果方法。RCAtlas 包含来自八个公共数据集的 90 个验证案例,实验覆盖六个模型与三档推理强度。简单测试框架最准确:三个中层模型的 PR@1 为 65–77%,高于已发表智能体的 16–53% 和非 LLM 方法的 6–39%。更强模型主要提升可靠性,多轮测试框架主要提升能力,更多推理仅改变几个百分点的准确率,却可能使耗时增至七倍。在准确率超过最佳非 LLM 方法的运行中,成本或时间意义上的每个 Pareto 最优运行均采用简单测试框架。
查看摘要要点(详情页可复制)cs.CL 2026-10-27 · 12:00 已译 有解读编码智能体的分层技能演化 Hierarchical Skill Evolution for Coding Agent
Jun Gao · Yun Peng · Changhai Zhou · 4+
技能(skill)可让智能体复用经验,在不修改底层模型的情况下指导后续决策。然而,编码轨迹常与任务和代码仓库特定上下文交织,难以提炼出可泛化至不同编码环境的程序性知识。分层技能演化(Hierarchical Skill Evolution, HSE)通过分层证据聚合,逐步从编码轨迹中提炼知识:先从单条轨迹提取任务级证据,再聚合同一仓库内反复出现的证据,形成仓库特定技能候选,最后整合不同仓库间的一致模式,生成可跨仓库迁移的技能。演化由外部编写者—评估者循环(writer-evaluator loop)驱动,在冻结底层编码模型的同时生成并评估技能,并通过外部更新编写者与评估者策略,改进后续技能生成和评估。该层级结构逐步过滤任务细节,同时保留可泛化的程序。成功轨迹提供可复用指导,失败轨迹则揭示重复出现的失效模式,用于规避与恢复。HSE 在 SWE-bench Verified 和 DeepSWE 上进行评估,覆盖 Pi 与 Claude Code 等智能体框架中的 GLM-5.2,以及 Pi 中的 GPT-5.5 和 Opus 4.8。两个 benchmark 上,仅由 SWE-Gym 演化得到的 10 项技能均提升了所有测试配置的编码性能,表明技能可跨 benchmark、编码模型和智能体框架迁移。进一步使用目标 benchmark 的轨迹演化技能库,在不提供验证器反馈、仅依赖已学习评估者评估候选技能的情况下,还通过针对 benchmark 定制的技能获得额外增益。
查看摘要要点(详情页可复制)加载更早论文 已出中文摘要 24