论文解读

Yaxin Gong · Chongming Gao · Gangyi Zhang · 4+

多步 Web 任务常需多个 LLM 智能体收集并整合证据。固定工作流的通信图限制了智能体间可读取的输出范围：一个智能体检索到的证据可能永远无法到达需要它的智能体，形成信息缺口，导致答案不完整或错误。增加一条连接可传递缺失证据，但也可能让接收方采纳错误的上游结论，从而取代原本正确的答案；仅凭最终输出无法区分这两种情况。为此提出 SPLICE（Selective Probing and Link Insertion for Closing information gaps in multi-agent Execution），按查询定位信息缺口，并在加边后决定采纳什么。原始工作流运行后，SPLICE 利用查询和节点输出定位可能的缺口，添加一条从源到接收方的有向边以传递相关证据，并重新执行接收方及受影响的下游节点，生成候选答案。采纳决策同时读取两次运行的最终答案以及编辑在工作流内部引起的过程变化：接收方移动了多远、新内容来自何处、变化是否到达最终答案。基于这些过程特征训练的选择器在采纳候选答案与保留原始答案之间做出选择。在五个基准上，SPLICE 相对静态骨架将 Web 工具使用任务得分提升 8.0%，将四个推理与规划基准的平均得分提升 5.7%，成本为骨架的 1.25 至 1.44 倍，并零样本迁移到四个未见过的骨干模型。

Tianjian Li · Chuanyang Jin · Seungone Kim · 4+

自动研究智能体已能端到端尝试长周期 AI 研究，即自我改进。但最佳结果仍来自研究智能体与人类研究者的交互，提升 AI 的协同研究能力只会强化这一效应——该过程称为共同改进（co-improvement，Weston 和 Foerster，2025）。此外，与人类期望对齐可能是研究智能体更安全的路径，尤其考虑到近期智能体奖励黑客（reward hacking）现象（OpenAI，2026b）。本工作从四方面处理这些问题：(i) 实证研究人类在指导自动研究智能体中的作用，聚焦基准创建领域，发现人类仍发挥关键作用，尤其在构思阶段；(ii) 开发基准 HackBench，显示当前自动研究智能体未对齐且无法充分实现 hack 定位；(iii) 提出一种方法，在强化学习（RL）期间使用人类模拟器作为代理来训练智能体以改善人机交互；(iv) 开发一种方法，通过与人类专家对齐的评分标准进行 RL 来改进模型文本生成，从而改善智能体沟通。我们的训练与评估方案共同为更有能力且更对齐的（协同）研究智能体提供了路径。

Sam Kouteili · William Liang · Keeran Murray · 4+

语言模型越来越多地部署在受监管场景中，模型需将给定规则应用于具体事实以判定结论。对这一被称为道义推理（deontic reasoning）的能力进行基准测试仍是昂贵的人工过程，现有数据集多为手工构建。本文提出 DeoGen，一个可扩展、自动化、可参数化的道义推理基准生成器。通过将策略规则自动形式化为一阶逻辑，构建刻画可能结果轨迹的决策树；树中每条路径成为一个基准条目，每棵树随深度组合式产生大量条目。终止于叶节点的路径蕴含一个判定，非叶路径则衡量模型在信息不足时弃权的能力。评估显示前沿模型 89-92% 的情况下给出正确判定；但在信息不足的条目上性能显著下降（正确率 22-40%），即使明确指示应弃权。总体而言，DeoGen 提供了一种自动、可扩展、参数化的道义推理基准生成方法。

Ulyana Tkachenko · Hui Wen Goh · Guram Gogia · 1+

评分标准（rubric）可在无标准答案的任务上分配奖励，但从零手工制作成本高昂。Rubricon 是一条无需人工偏好标签、评分标准标注或生成器模型训练的流水线，可生成具有区分度的评分标准。使用任意 LLM，Rubricon 采样多个评分标准，选出最具区分度的候选，补充遗漏要求或响应缺陷的准则，并剪除错位或浅显的准则。除 LLM 自我批判与测试时扩展外，Rubricon 还利用示例模型响应上观测到的准则通过率来指导精炼。在五个专业、消费、临床与通用 LLM 基准上，Rubricon 生成的评分标准对前沿 LLM 响应的打分与专家撰写的劳动密集型评分标准的一致性，相比 RRD、QSRG、OpenRubrics 及通过 Codex 等框架的智能体生成等最佳替代合成评分标准方法高出 9%。在 HealthBench 上，用 Rubricon 评分标准对 Qwen3.5-9B 模型进行后训练，性能比使用最强替代合成评分标准生成器 RRD 的评分标准训练高出 4.5%。

Sikai Cheng · Tinghan Ye · Arnaud Deza · 4+

Benders分解（Benders decomposition）与列生成（column generation）通过在主子问题间传递割、列和对偶值来求解大规模优化问题，正确实现难度高。大语言模型已能自动化部分算法设计，指向能为新问题构建分解求解器的智能体。作为迈向此类智能体的第一步，研究当前编码智能体设计与实现这两种算法的能力及失败模式。提出DecompGym，包含来自9个问题族（5个Benders、4个列生成）的81个实例，智能体需为指定方法编写求解器。每个求解器须满足三项标准：60秒内执行；数值可行并通过方法审计（由LLM评审读取求解器代码）；目标值在存储最优目标值的1%以内。评估12个GPT、Claude和Gemini模型在编码智能体工具中的表现。最多十次尝试中，比较独立重新生成与先诊断失败的反思（reflection）。首次尝试中，两个模型解决所有实例，七个模型解决超过90%。多数Benders失败（62次中48次）为缺失或次优解。列生成最常见失败为方法审计拒绝。仅输出检查会接受108次未通过方法审计尝试中的93次。最常见拒绝为optimalif，出现96次，其中92次来自一个模型。反思将66%的重试转为成功，重新生成为39%，并能修复方法审计失败（评审指出缺陷缺口）。因此分解智能体需检查求解器如何得到答案，并提供定位错误的反馈。基准见 https://github.com/SIKAI-C/DecompGym。

Thomson Yen · Gilbert Yang · Naimeng Ye · 4+

语言模型智能体与以往智能系统的根本区别在于其能在上下文中从自然语言学习，从而根据反馈迭代改进答案，这是现代智能体工作流的常见模式。然而，社区主要用 Pass@1 或 Pass@K 等指标对模型排名，无法反映模型如何利用先前尝试的反馈。提出 Seq@K 评估协议，衡量模型在 K 次序列尝试内、每次失败后获得反馈时能否解决问题。与考察长程规划的多轮智能体基准不同，Seq@K 隔离并形式化从反馈中改进这一核心能力。在 7 个基准和 16 个前沿模型上评估 Seq@K，显示其揭示出显著不同的模型选择格局：在 Seq@K 下（1）模型排名常不同，（2）Pareto 前沿允许更高效配置，（3）选择最优模型配置的收益相对 Pass@K 可能扩大或缩小。进一步分析 Seq@K 下的模型轨迹有助于刻画迭代改进行为，例如模型处理反馈中所提问题的速率，或坚持自身答案的僵化程度。最后研究反馈性质如何影响迭代改进，表明实践者必须仔细设计和基准测试迭代智能体系统的反馈回路。这些结果确立 Seq@K 为在此类反馈回路中运行的智能系统提供更忠实的指标，以及在这些系统评估中考虑 Seq@K 的必要性。

Abhinav Goel · Agostino Capponi · Alfio Gliozzo · 1+

AI 智能体已能根据自然语言描述编写软件，但能运行的代码不等于满足需求的代码。这一差距在智能合约上最为关键——智能合约是 Web3 应用背后在区块链上转移资金、部署后无法修复的程序。研究如何检验 AI 编写的合约行为是否正确，以及所要求的行为在何处丢失。设计基于执行而非主观判断的评估：在 AI 编写的合约与其应复现的原始合约上重放相同交易，统计两者一致的比例。用植入错误测试每个评分工具，与不依赖描述写成的答案键对比，并审计自身评分器直到已知错误答案无法通过。常见方法（如 AI 评判和标准分析工具）会漏掉明显错误，评分选择也有影响；只检查所有系统都包含的函数会掩盖流水线之间约一半的差异。进而提出“先 elicitation”架构：写代码前，智能体向客户询问一份简短检查清单，将合约与独立编写的可执行答案键对照，并把分歧返回客户而非静默重写代码。在三个 AI 模型上，先询问远比事后审查或修补重要，而自动化安全修复常破坏所要求的行为。少量精心选择的问题能恢复简短描述所遗漏的大部分信息，其价值可在没有原始合约的情况下估计。据所知，这是智能合约合成中首个在生成前收集缺失需求、并用独立编写的可执行模型检验结果的研究。经验可推广到 AI 智能体将请求转化为程序的任何场景。发布工具、600 个任务及全部结果。

Hao Chen · Yukun Yan · Ziyu Han · 4+

自主智能体日益依赖围绕大语言模型（LLM）管理交互、记忆、工具和执行的执行框架（harnesses）。尽管近期工作开始从执行经验中进化这些框架，但引导进化的监督信号往往相对静态，难以追踪跨轮次变化的行为弱点，限制了在未见任务上的泛化能力。为此，提出 RuHarness，一种用于持续智能体自我改进的评估标准（rubric）与执行框架协同进化框架。RuHarness 从执行轨迹中持续发现并重新评估行为标准，优先处理最相关的未解决弱点，并以此指导针对性的框架更新，同时保持任务目标固定。在多样化智能体任务和骨干模型上的广泛实验表明，RuHarness 优于强大的框架进化基线，特别是在未见保留任务上。进一步分析显示，自适应评估标准优先级追踪了变化的弱点，支持更持续的改进和跨进化轮次的稳定泛化。

Yanyan Zhang · Fei Shen · Ting Yan · 1+

工具使用型语言智能体日益频繁地修改外部系统，但现有运行时防护多依赖通用不确定性分数或粗糙的变更启发式。CASEL（后果感知选择性执行层）是一种模型无关的运行时分配策略，结合校准后的失败概率、状态依赖后果、可逆性、模糊度及证据新鲜度，为每个提议的工具调用在直接执行、验证、沙箱化、澄清、审批及弃权中选择最小化单模式成本的选项。该策略将直接执行形式化为选择性预测，并验证了有限样本阈值与轨迹风险账本的有效性条件。在20个种子、每个包含120,000个测试动作的受控模拟中，所有方法具有相同的干预菜单和计算成本。CASEL将有害副作用轨迹从不确定性排序门控的14.75%降至7.02%，平均归一化伤害从0.184降至0.123。基于失败概率与后果乘积排序的门控达到相似伤害（5.82%，0.120），但导致45%更多的动作需人工审批；移除可逆性感知路由则使比率升至15.53%。相比之下，轨迹级风险预算在同等成本下增加了伤害（11.82%）。干预效果基于假设而非实测，结果仅在模拟器假设下对分配规则进行排序，未确立部署有效性。

Tingzhu Bi · Xun Zhang · Jinglin Li · 2+

微服务故障的根因分析(root cause analysis, RCA)吸引了众多 LLM 智能体，其调查流程通常由标准操作程序、固定阶段和角色智能体手工编排。由于每种方案都在自有数据上与少量基线比较，尚不清楚这种设计是否优于让能力较强的模型自主调查。研究在 RCAtlas 上比较三种不预设模型调用方式的简单测试框架——基于证据包的一次性调用、SQL 智能体和 Codex 编码智能体——以及五个已发表的 LLM RCA 智能体、统计方法和因果方法。RCAtlas 包含来自八个公共数据集的 90 个验证案例，实验覆盖六个模型与三档推理强度。简单测试框架最准确：三个中层模型的 PR@1 为 65–77%，高于已发表智能体的 16–53% 和非 LLM 方法的 6–39%。更强模型主要提升可靠性，多轮测试框架主要提升能力，更多推理仅改变几个百分点的准确率，却可能使耗时增至七倍。在准确率超过最佳非 LLM 方法的运行中，成本或时间意义上的每个 Pareto 最优运行均采用简单测试框架。

Tao Ren · Hui Yang · Jia Deng · 4+

长时程 LLM 智能体以完整助手轮次与环境交互，同时逐个生成动作 token。实验发现，critic 价值主要随轮次变化，因此可在轮次层面锚定优化，并在 token 间进行更细粒度的信用分配。提出多尺度策略优化(MPO)，结合多尺度优势估计(MAE)与轮次级重要性采样，使信用分配和策略更新在轮次尺度上保持一致。在搜索、工具使用和自动化任务中，使用 4B 与 30B-A3B 模型开展的大量实验均显示，该方法相较强 RL 基线取得稳定提升。

Kaiser Sun · Yongchan Kwon · Zain Hasan · 3+

生成式模型正逐渐提供推理投入设置，允许用户按比例扩展推理时计算量(reasoning-time compute)，以更高成本换取潜在性能提升，但用户必须在选择前决定投入等级。即使任务成功，也无法判断所购买的额外推理是否必要，因而推理投入具有信任品(credence good)属性：购买者只能看到结果，无法评估付费计算的边际价值。研究在专有与开放权重模型上测量不同投入等级的反事实效应，覆盖四项基准及单次调用推理和长时程智能体任务。结果显示，较高投入虽可总体提高准确率，却经常无法解出低投入已解决的任务；在所有投入等级都能解决的简单任务中，最高投入成本最高可达最低投入的42倍。投入还会改变轨迹行为：智能体会更频繁地验证自身工作并搜索解法，而非直接推进，从而延长轨迹，但未必改变结果。因此，盲目选择最高投入既成本低效，也不能保证最佳的单任务表现。从最低投入开始、仅在确认失败后升级的简单策略，在所有模型和基准上均达到或超过固定最高投入的表现，并在多数专有模型上降低成本。

Matthias Busch · Marius Tacke · Roland C. Aydin · 2+

智能体框架通常在 token 达到阈值时压缩历史记录，以维持长会话。CTXAgent 研究由模型自主管理上下文：模型借助两个工具和一段简短指引，决定何时压缩、保留哪些内容，以及如何撰写交接摘要。研究比较了 7 个前沿模型在相同条件下使用或不使用上下文工具时的 token 成本与基准分数，并在其中两个模型上将该框架与 3 种常用框架对比。基准由编程练习、多步 SciCode 问题、SWE-bench Pro 和 Terminal-Bench 4.0 任务组成，并穿插植入事实、临时观察与长期指令，全部采用确定性检查；会话长度为 35–212 轮，模拟用户在同一聊天中处理不同任务。大多数强模型能够管理上下文，会定期压缩和整理信息，混合会话的实时上下文大多低于 100k token，基准分数通常没有显著下降。表现良好的模型可显著降低成本，但幅度因模型而异，过度频繁的压缩可能推高其他成本。使用 Claude Opus 5.5 时，自主管理框架在任务成功率上与 Claude Code 相当：相较显式 200k 窗口配置成本低 34%，相较默认配置低 49%，且无需选择上下文窗口。智能体、基准及全部结果记录均已发布。

Zhenning Shi · Liang Pang · Yongqi Li

语言智能体日益通过外部工具和交互式环境执行任务，使模型与可执行能力之间的接口成为决策过程的一部分。模型上下文协议(Model Context Protocol，MCP)与命令行界面(command-line interface，CLI)能以显著不同的模型侧表示暴露相同的语义操作。研究在可执行能力匹配时，这些表示差异是否改变智能体行为。提出匹配接口比较与分析(Matched Interface Comparison and Analysis，MICA)，依据共享语义动作契约呈现 MCP 与 CLI，并将解码动作路由至同一运行时。六个模型和三个交互环境中的结果显示，匹配接口仍会在任务性能与交互成本上产生显著差异，影响还延伸至语义动作选择、失败路径和恢复过程。匹配状态探针将敏感性定位于能力呈现、实现和反馈。成对自然轨迹显示，2,004 个回合中有 94.3% 出现结构化分歧，早期差异会传播至后续交互。接口实现由此成为可直接干预的边界。进一步提出解耦动作实现与定向修复(Decoupled Action Realization and Targeted Repair，DART)，在保留已验证语义承诺的同时修复接口特定实现。DART 在六个评估设置中均提升 benchmark 分数，最高提高 9.0 分，并在三个环境中均降低 MCP token 成本，每项任务最多减少 27.1k tokens。结果表明，接口表示是塑造智能体行为的闭环决策环境的一部分。

Shao Zhang · Hangfan Zhang · Yuanyuan Shi · 4+

LLM 智能体将模型与执行框架(harness)结合，因此智能体基准测试表现反映两者的联合行为。相关评估应通过执行框架与底层模型的交互来考察执行框架。提出的框架包含五项互补指标：有效完成率(Valid Completion Rate, VCR)，衡量智能体能否可靠地正常结束并交付可评估结果，不考虑任务是否正确；模型—框架契合度(Model-Harness Fit)，衡量特定模型下执行框架通过有效完成任务的支持程度；跨模型契合度(Cross-Model Fit)，衡量执行框架在所测模型中的整体适用性；交互残差(Interaction Residuals)，揭示组件级汇总所掩盖的特定配对执行优势与弱点；以及令牌负载(Token Load)，衡量智能体执行所需令牌，包含失败尝试。评估覆盖 OpenCode、Codex CLI、Pi CLI、DeepAgents 四种通用执行框架、四种核心模型及两套固定原生模型—框架系统，并使用六个基准测试，涉及上下文管理、工具使用、长上下文规划、多模态交互和产物交接。包含原生参照与压力条件后，111 种评估设置产生 52,168 条轨迹。执行框架排名随模型和基准而变；任务表现与有效完成可能偏好不同配对，相近任务分数也可能对应不同执行特征。OpenCode 在跨模型表现中排名第一；DeepSeek V4 Flash Preview 在共用的四项基准面板中，各执行框架下均保持较高的平均 VCR。结果支持评估模型—框架交互、在模型中训练可迁移的执行框架使用能力，并针对模型与任务设计执行框架。

Yifei Tao · Xinyu Zhong · Henry Hengyuan Zhao · 4+

长期智能体不仅要记住用户的真实信息，还要记住随着共同历史发展，特定智能体应如何与该用户协作。现有关注用户事实与偏好的监督或跨用户可复用经验，使这种关系特定的智能体记忆处于隐含状态。此外，多数工作仅在长交互历史上测量模型的最终答案问答，评估仍不完整不可靠。为此，我们提出DyadMem与用户条件关系智能体记忆(User-conditioned Relational Agent Memory, URAM)新定义。DyadMem沿同一多会话轨迹联合标注用户侧记忆与URAM，产生6个记忆类别。共计3,065个episode、50,961个会话、61,210个问答实例，含丰富的会话级捕获(Capture)与更新(Update)金标准标注、查询级召回(Recall)支持，以及两种问答设置:金记忆(Gold-Memory)与完整流程(Full-Pipeline)。在16个开源与4个闭源模型上，金记忆问答表现稳健，但完整流程问答大幅下降。这一差距明确支持我们的细粒度评估设计。若千定量结果进一步揭示了即使是前沿大语言模型也存在的低捕获召回、不完整召回与不安全删除问题。我们进一步开展严格实验验证URAM有效性，观察到全部20个模型的正面效果。DyadMem是双域完整流程记忆基准，以大量标注工作推进行业发展。

Zekai Wang · Yingqiang Ge · Zekun Wang · 4+

Harness 演进能改进 LLM agent 的提示词、工具和工作流，但优化器自身的工具和程序往往保持固定。研究优化器能否通过改进故障诊断、编辑开发和效果测试方式来更有效地改进另一个 agent。两条观察指导了我们的设计。在对照研究中，没有执行验证的情况下优化器自演进无法提升性能，但有验证时取得了该研究的最佳结果。在五个执行器上，自演进优化器为故障分析、验证、训练审计和工作流控制构建自己的工具。基于这些发现，我们引入 VERSE，一个面向 agent harness 的验证式自演进优化器。VERSE 让优化器测试草稿编辑、重放故障并在提交前扰动可疑步骤，同时跟踪多轮的修复和回归。利用此反馈，优化器修订执行器 harness 及其自身的提示词、技能、工具、钩子和笔记，而优化器和执行器模型的权重保持固定。在训练、验证和测试任务分离的共享协议下，VERSE 在五个语言的留出 SWE-rebench 任务和更新的分布外任务上改进了所有四个评估的 harness 优化器。其最佳验证选择 harness 分别达到 42.3% 和 37.7% 的准确率，最强基线为 39.2% 和 29.3%。