跳到正文
返回论文列表
cs.AI提交于 已译

多智能体系统中的信息缺口定位与闭合

Locating and Closing Information Gaps in Multi-Agent Systems

Yaxin Gong · Chongming Gao · Gangyi Zhang · Chenxiao Fan · Leyang Shen · Jiakai Wang · et al.

中文摘要

多步 Web 任务常需多个 LLM 智能体收集并整合证据。固定工作流的通信图限制了智能体间可读取的输出范围:一个智能体检索到的证据可能永远无法到达需要它的智能体,形成信息缺口,导致答案不完整或错误。增加一条连接可传递缺失证据,但也可能让接收方采纳错误的上游结论,从而取代原本正确的答案;仅凭最终输出无法区分这两种情况。为此提出 SPLICE(Selective Probing and Link Insertion for Closing information gaps in multi-agent Execution),按查询定位信息缺口,并在加边后决定采纳什么。原始工作流运行后,SPLICE 利用查询和节点输出定位可能的缺口,添加一条从源到接收方的有向边以传递相关证据,并重新执行接收方及受影响的下游节点,生成候选答案。采纳决策同时读取两次运行的最终答案以及编辑在工作流内部引起的过程变化:接收方移动了多远、新内容来自何处、变化是否到达最终答案。基于这些过程特征训练的选择器在采纳候选答案与保留原始答案之间做出选择。在五个基准上,SPLICE 相对静态骨架将 Web 工具使用任务得分提升 8.0%,将四个推理与规划基准的平均得分提升 5.7%,成本为骨架的 1.25 至 1.44 倍,并零样本迁移到四个未见过的骨干模型。

关键要点

  1. 01固定通信图使证据无法到达需要它的智能体,形成信息缺口并导致答案不完整或错误。
  2. 02SPLICE 按查询定位缺口,添加一条有向边传递证据并重执行接收方及下游节点。
  3. 03采纳决策结合两次运行的最终答案与编辑引起的内部过程变化,由训练的选择器判断。
  4. 04在五个基准上,Web 工具使用得分提升 8.0%,四个推理与规划基准平均提升 5.7%。
  5. 05成本为静态骨架的 1.25 至 1.44 倍,并零样本迁移到四个未见过的骨干模型。

解读

在 GitHub 查看

1. 问题与价值

这篇论文的贡献类型是「知道 + 做到」兼有:它先诊断并刻画了多智能体工作流中一个此前未被明确定义的结构性失效模式——信息缺口(information gap),再提出并验证了一个定位并闭合该缺口的方法 SPLICE。

解决的问题:多步 Web 任务通常由多个 LLM 智能体分工完成,工作流的通信图在运行前就固定下来,决定每个智能体能读哪些上游节点的输出。当一个智能体检索到的证据恰好是另一个智能体回答问题所必需、但两者之间没有边相连时,这段证据就永远到不了需要它的节点,最终答案因此不完整或错误。论文把这种「证据已在工作流某处存在、却缺席于需要它的节点的上下文」称为信息缺口。

为什么重要:固定工作流的设计假设是「每个智能体只需要直接前驱的输出」,但证据需求随查询变化。跨多个服务、接口、页面收集证据的任务越来越多,通信图一旦固定,就系统性暴露于这类缺口。论文给出的跨境旅行例子是:一个智能体查到航班在第三国中转,另一个智能体查签证规则时不知道中转细节,按直飞规则处理,最终行程漏掉了必需的中转签证。这个例子中基线确实处理不了——签证智能体的输入里根本没有中转信息,它无法凭空推断。

谁受益、怎么受益:部署多智能体 Web 工具链或推理管线的团队受益。他们可以在不改变原有智能体、不重训工作流的前提下,以 1.25 到 1.44 倍的成本,把 Web 工具使用任务得分相对提高 8.0%(0.6347 到 0.6856,绝对 +0.0509),把四个推理与规划基准的加权平均分相对提高 5.7%(0.6654 到 0.7031,绝对 +0.0377)。受益方式是「事后修复」:原工作流照常跑完,SPLICE 只在有把握的查询上追加一次试运行,并保留回滚权。

评测规模锚点:主实验覆盖 5 个基准,ToolBench 测试集 230 个请求,四个推理与规划基准合计 2,142 个问题;所有工作流节点跑在 gpt-4o-mini 上,选择器是本地 Qwen2.5-7B-Instruct。

主结果反差:SPLICE 在 ToolBench 上把 Micro 从静态骨架的 0.6347 提到 0.6856(+0.0509),而「打开所有候选边」的 Always 基线只到 0.6514(+0.0167),且 Served 指标从 0.3957 掉到 0.3435(−0.0522)——说明无条件加边会挤掉本来完整的答案。这个对照说明难点不在「加边」本身,而在「加哪条边、加完要不要采纳」。

方法部分的验证结果:SPLICE 的边选择器在 ToolBench 测试集上 gap-hit precision@1 为 0.67,高于随机可达边的 0.41、终端距离启发式的 0.49、内容覆盖启发式的 0.55;在 120 个被采纳修复的人工审计中,两位法官分别判定 0.74 和 0.71 的样本满足「源头持有事实、接收者原本缺失、消息送达、修订使用了该事实」全部四个条件。

2. 已有工作的不足

在 SPLICE 之前,多智能体通信拓扑的研究已经形成两条路线。

固定拓扑与图优化路线:早期系统如 CAMEL、AutoGen、MetaGPT、ChatDev 采用固定角色分工;后续工作如 GPTswarm、DyLAN、G-Designer、MACNET 把智能体显式建模为图节点、通信通道为边,并优化图结构。更细粒度的编辑包括 MOC 统一扩大每个智能体能读的上游输出范围,AgentPrune 和 AgentDropout 删除冗余边,G-Safeguard 做拓扑干预阻断恶意传播。再往后,DATS、AFlow、MaAS、MASS、Codebook Agent、Nexa 开始按查询决定拓扑,而不是为整个数据集固定一张图。

这条路线在论文发表前就已存在的不足:所有这些方法一旦加边或改图,就把修改后的输出直接当作最终答案,没有在观察到修改后工作流实际产生了什么之后重新审视这个决定。用论文的术语说,它们都是 blind commit——要么是不试运行就提交(no-trial commit),要么是试运行后无条件采纳(post-trial commit)。这是背景共识,不是本文的发现。

候选输出选择路线:self-consistency 对多样本投票,Self-Refine 和 Reflexion 让模型反思并修订自己的答案,multi-agent debate 通过多轮讨论收敛。更精细的机制包括 Oracle Gap 分解选择器净收益、TrajSelector 从采样器潜在表示打分、generative verifiers 做 token 级评分、MAS-ProVe 研究多智能体框架中过程验证的实际效果、Best-of-Evidence 在固定候选池上分配证据预算、Consilience 对每个通信动作做 conformal 校准、DoVer 通过主动干预验证失败假设。

这条路线的不足:上述选择方法的候选都来自独立采样或答案级修订,原始答案只是候选池中的一员;没有一个候选来自「按查询加一条边并试运行」这一特定干预,也没有一个选择规则读取「基运行与试运行之间工作流内部输出如何变化」的过程证据。论文把这一点作为立项缺口:最终答案相同,可能对应「消息从未被使用」「被使用但修订与消息无关」「修订被下游吸收」三种完全不同的内部过程,只看最终答案无法区分。

3. 重建作者的思考路径

如果面对第 2 项里的不足,我大概会这样推:

第一步:既然固定工作流的问题是有用的证据到不了需要的节点,最直接的修法是给图加边。加边之后重新执行受影响的下游节点,拿到一个新答案。这个思路在 MOC、Nexa 等工作中已经存在,不算新。

第二步:但加边不是免费的。插入的消息可能提供缺失事实,也可能让接收者复制一个错误的上游结论,覆盖掉原本正确的答案。于是自然想到:加边后不能盲目采纳,得比较新旧两个最终答案,选好的那个。这里会撞上第一个矛盾——最终答案相同不代表内部过程相同。消息可能根本没被接收者用,可能被用了但修订与消息无关,也可能修订在下游被吸收掉了。只看最终答案,这三种情况无法区分,选择器学不到可靠的信号。

第三步:那就不只看最终答案,看过程。基运行和试运行各留下一份 trace,比较两份 trace 能读出三类信息:接收者改了多少、新增内容来自哪里(消息、原有上下文、还是两者都不是)、改动是否传到了最终答案。这些特征不依赖 gold,部署时可算。到这里,「过程条件选择」的雏形出来了。

第四步:但还有一个前置问题——给哪个查询加边、加哪条边?预算有限,不可能每个查询都试。先解决「哪个查询值得试」:试运行的得分上界是 1 减去基得分,所以用回归器预测基得分,预算给预测提升空间最大的查询。再解决「加哪条边」:直接预测增益需要 gold,但可以预测「这条边会不会改变最终输出」——这个标签试运行后就能观察到,不需要 gold。用轻量分类器估计传播概率,选概率最高的边。

第五步:消息内容也不能直接转发源节点的答案。源节点的答案可能包含大量与接收者缺口无关的内容。让源节点针对接收者的缺口组织内容:先提取接收者子任务提到、但所有父节点输出都没覆盖的条目,再让生成器围绕这些条目写消息。

第六步:最后,采纳决策怎么从三分类(有益、中性、有害)变成二分类(采纳、保留)?用预测的基得分做非对称加权:潜在收益乘以提升空间(1 减去预测基得分),潜在损失乘以已有得分。基得分越高,采纳门槛越高。

与论文实际路径的差异:论文把「信息缺口」作为一个正式概念先行定义(第 3.2 节),并区分了两种缺口来源——平行分支上的源节点、以及内容在逐跳重写中被抹掉的远祖节点。我上面的重建是从「加边—比较—发现不够—看过程」的工程逻辑推的,没有先想到把缺口本身形式化。另外,论文的选择器训练用了 DPO,参考策略来自 SFT 初始化,这一步在我的路径里没有自然出现——我可能会直接用 SFT 后的三分类概率,而论文的消融显示 SFT 选择器(0.6818)和完整 DPO 选择器(0.6856)差距不大,DPO 的贡献相对温和。

4. 核心 intuition

日常类比:编辑部的稿件流转。一份稿件在编辑部按固定流程流转:记者 A 采回一个关键数据,记者 B 负责核实背景,编辑 C 汇总成稿。流程规定 C 只读 B 的核实结果,不读 A 的原始采访记录。如果 B 的核实环节漏掉了 A 采到的那个数据,C 的成稿就缺了一块。加一条从 A 到 C 的传递通道,把原始数据直接送到 C 手里,C 重写稿件——这是「加边」。

但加边之后不能直接发稿。C 拿到数据后可能做三件事:把数据用进稿子里(有用修复);看了一眼但没改任何实质内容(无用变化);或者干脆把 B 已经写对的部分推倒重写,反而引入错误(有害变化)。只看最终稿件,这三种情况可能长得一样。真正能区分它们的是改稿痕迹:C 改了哪些句子、新句子里的信息是从 A 送来的材料里来的、还是 C 自己编的、这些改动有没有出现在最终稿里。编辑部的终审不是拿新旧两版稿件盲选,而是看改稿过程——这对应 SPLICE 的过程条件选择。

这个类比能对上机制:A 是源节点,C 是接收者,B 是中间节点,稿件流转图是工作流 DAG,改稿痕迹对应 φ_q,e 里的三组特征(接收者移动幅度、新增内容来源归因、改动是否存活到最终答案),终审对应三分类选择器加非对称加权采纳。

5. 方法 pipeline 举例

以论文附录 A.8 的 ToolBench 案例为例,走一遍完整流程。

输入查询:生成一张验证码图片和一个 UUID,然后验证验证码。

工作流骨架:四个节点。节点 0 是执行节点,负责调用验证码服务 API;节点 1 和节点 2 是中间处理节点;节点 3 是终端合成节点。骨架边为 1 读 0、2 读 0、3 读 1 和 2。候选边集合 C 包含 0 到 3 这条缺失的边。

Step 1 基运行:节点 0 调用验证码服务,API 返回服务器生成的标识符 2961c533-b254-4d48-8a0a-234ca85ef250 和 base64 PNG 图片。节点 1 和节点 2 各自处理,但它们的输出里都没有这个标识符和图片。节点 3 的输入只有节点 1 和节点 2 的答案,于是回答「我目前没有访问任何 API 结果来生成验证码图片或 UUID」。基得分 r_q 很低。

Step 2 查询级诊断:回归器 f_ω 读基 trace 的特征(解析失败标志、答案表面统计、终端答案与最终输出的一致性),预测基得分 r̂_q 很低,提升空间 1 − r̂_q 很大。该查询进入预算 B 内的试运行集合。

Step 3 边级诊断:对候选边 0→3,分类器 h_η 估计传播概率 ρ_q,e,即试运行改变最终输出的概率。特征包括接收者到终端的距离、终端答案与最终输出的一致性、接收者答案的表面统计。这条边的 ρ 排名最高,被选中。

Step 4 定向生成:提取器 Items(·) 从节点 3 的子任务中提取条目,减去父节点 1 和 2 输出覆盖的条目,得到缺口集合 M_q,3,包含「UUID」和「验证码图片」。生成器以节点 0 的答案和 M_q,3 为输入,生成消息 m,内容聚焦于 API 返回的标识符和图片。

Step 5 试运行:打开边 0→3,节点 3 重新执行,读到消息后回答「我生成了验证码图片和 UUID:UUID 是 2961c533-b254-4d48-8a0a-234ca85ef250,验证码图片以 base64 PNG 数据 URL 提供」。下游无其他节点需要重跑。

Step 6 过程证据提取:比较基 trace 和试运行 trace。接收者(节点 3)的答案大幅改变;新增内容中的 UUID 和图片归因于消息(From message 比例高);消息内容存活到了最终答案(Final carries message 为真)。

Step 7 选择器决策:选择器 π_θ 读查询、接收者子任务、图结构、预测基得分、新旧最终答案和过程证据,输出三分类概率。假设 p̂_b 高、p̂_h 低,且预测基得分 r̂_q 低,则采纳边际 Δ = p̂_b(1 − r̂_q) − p̂_h·r̂_q 大于 0,采纳候选答案。

最终输出:SPLICE 返回包含正确 UUID 和图片的答案,替代基运行的「无 API 结果」答案。

6. 核心数学推导

公式 (2):增益的边界。

先解释符号。r_q 是基运行的任务得分,取值在 0 到 1 之间。r_q(e,m) 是打开边 e、发送消息 m 后试运行的得分。增益 g_q(e,m) 定义为两者之差:g_q(e,m) = r_q(e,m) − r_q。

推导边界。因为 r_q(e,m) 最大是 1,所以 g_q(e,m) ≤ 1 − r_q;因为 r_q(e,m) 最小是 0,所以 g_q(e,m) ≥ 0 − r_q = −r_q。合起来就是原文的 −r_q ≤ g_q(e,m) ≤ 1 − r_q。

这个公式在算什么:它给出一次试运行最多能赚多少(提升空间 1 − r_q)和最多能亏多少(已有得分 r_q)。这是后面查询级诊断和加权采纳决策的理论依据——如果基得分已经接近 1,试运行的潜在收益趋近于零,不值得花预算;如果基得分很低,潜在损失小、潜在收益大,值得试。

公式 (4):接收者缺口集合。

先解释符号。Items(·) 是一个确定性提取器,返回文本中的实体和数字。x_j 是接收者 v_j 的子任务描述。N−(v_j) 是 v_j 的入邻居集合,即所有有边指向 v_j 的父节点。a_l 是父节点 v_l 的输出答案。∪ 表示对 v_j 所有父节点的输出做并集,\ 表示集合差。

公式为 M_q,j = Items(x_j) \ ∪_{v_l∈N−(v_j)} Items(a_l)。

推导:先提取接收者子任务提到的所有实体和数字,再提取所有父节点输出覆盖的实体和数字,两者做集合差。剩下的就是「子任务需要、但没有任何父节点输出提供」的条目。

这个公式在算什么:它给出接收者上下文中缺失的具体内容清单,是定向生成消息的依据。生成器拿到这个清单后,知道该把源节点答案里的哪些内容前景化,而不是把源节点答案整段转发。

公式 (6):DPO 损失。

原文公式在提取中可辨认,但符号密集。核心结构是:L(θ) = −E[log σ(β·log(π_θ(c★∣z)/π_ref(c★∣z)) − β·log(π_θ(c−∣z)/π_ref(c−∣z)))]。其中 π_θ 是训练中的选择器策略,π_ref 是 SFT 初始化的参考策略,c★ 是正确类别(由增益符号决定),c− 是错误类别,β 是温度参数,σ 是 sigmoid 函数,期望 E 对训练样本对取。

这个公式在算什么:它让选择器提高正确类别的相对概率、降低错误类别的相对概率,且偏离参考策略越远惩罚越大。训练标签 c★ = sign(g_q(e,m)) 来自参考答案,但推理时不使用任何 gold。

公式 (7):加权采纳决策。

先解释符号。p̂_b = π_θ(B∣z_q,e) 是选择器预测「有益」的概率,p̂_h = π_θ(W∣z_q,e) 是预测「有害」的概率。r̂_q 是回归器预测的基得分。采纳边际 Δ_q,e = p̂_b(1 − r̂_q) − p̂_h·r̂_q。

推导:第一项把「有益概率」乘以「提升空间」,即潜在收益的期望;第二项把「有害概率」乘以「已有得分」,即潜在损失的期望。两者相减得到净期望。中性类别权重为零,不出现。决策规则是:如果所有试运行边中最大的 Δ_q,e 大于 0,采纳对应候选答案;否则保留原始答案。

这个公式在算什么:它把三分类概率折叠成二分类动作,且让采纳门槛随基得分自适应——基得分越高,第二项越大,需要更强的有益证据才能采纳。

7. 实验设计

数据集:ToolBench(Web 工具使用,测试 230 个请求,指标为 Micro 和 Served);MuSiQue(多跳问答,测试 360 题,Token F1);DROP(离散推理,测试 720 题,Token F1);2WikiMultihopQA(多跳问答,测试 720 题,Token F1);PlanCraft(具身规划,测试 342 题,计划成功率)。四个推理与规划基准合计 2,142 题。所有学习组件只在训练集上拟合,测试集只评估一次。

基线:五类通用对照——Always(一次加所有候选边)、Random(随机开一条)、Self-consistency、调优的 LLM Judge、增益回归器;已发表系统 MOC 和 Nexa,以及 Nexa+rollback(把回滚步骤接到 Nexa 预测的图上);四个已发表选择规则 MAS-ProVe、Best-of-Evidence、Consilience、DoVer,全部在相同骨架、相同问题、相同划分上运行。

指标:ToolBench 用 Micro(按 API 调用和内容逐项评分)和 Served(完全评分的请求比例);四个推理基准用 Token F1 或计划成功率;成本用相对静态骨架的美元倍数;区间为 95% 问题配对 bootstrap 置信区间。

消融:按四个定位层逐层消融。查询级:去掉诊断、把预测得分换成常数、解析失败标志、答案长度,全部显著低于完整诊断。边级:随机选边比完整方法低 0.0202,按预测增益选边低 0.0185。消息级:不加消息只重跑得 0.6665,加长度匹配的填充消息得 0.6697,去掉关键事实句得 0.6745,完整消息得 0.6856——从填充到完整的 0.0159 差距中约七成由那一个事实句贡献。验证级:去掉过程证据损失 0.0147,打乱过程证据损失 0.0157,只去掉归因组损失 0.0076,用原始 trace 文本替代手工归因特征损失 0.0084,用非对称加权替换为 p̂_b − p̂_h 损失 0.0118。

实验能否支撑结论:能支撑核心主张。端到端结果在五个基准上一致为正,且与所有竞争者的配对差异区间都高于零(Table 14)。消融设计干净,每一层都有对应的破坏性对照。gap-hit precision 和采纳后审计直接验证了「定位的是真缺口」这一主张。证据支持审计(fact-support rate 从 0.71 到 0.83)排除了「只是答案更长更详细」的替代解释。

缺什么:所有工作流节点跑在 gpt-4o-mini 上,没有在更强的骨干模型上做主实验(骨干迁移实验的选择器是在 gpt-4o-mini 上训练后零样本迁移,但工作流节点本身的骨干变化只在 DROP、2Wiki、PlanCraft 三个基准上报告,ToolBench 没有骨干迁移数据)。另外,论文只处理单缺口、单次试运行,多缺口查询和多步修复没有覆盖,这一点论文自己在结论里也承认。

8. take-aways

  1. 在固定工作流里无条件加边是净亏的:Always 在 ToolBench 上 Micro 只涨 0.0167,但 Served 掉 0.0522,净修复率只有 +2.6%;在四个推理基准上净修复率只有 +2.0%。加边必须有选择和回滚。
  1. 边选择的信号来自「会不会改变最终输出」而不是「会不会提高得分」:按传播概率 ρ 选边在 535 个训练查询上产生 115 次输出变化,其中 70 次改善、45 次恶化,修复比 0.61;随机选边只有 96 次变化,44 次改善、52 次恶化,修复比 0.46。直接预测增益的选边规则比 ρ 低 0.0185。
  1. 消息的价值高度集中在关键事实上:从长度匹配的填充消息(0.6697)到完整消息(0.6856)的 0.0159 差距中,约七成由移除的那一个关键事实句贡献。定向生成不是靠消息长度或额外计算,而是靠定位到具体缺失证据。
  1. 过程证据比最终答案更可靠:去掉过程证据损失 0.0147,打乱过程证据损失 0.0157,用原始 trace 文本替代手工归因特征损失 0.0084。只看最终答案无法区分「消息未被使用」「被使用但修订无关」「修订被下游吸收」三种情况。
  1. 半预算(b=0.5)是两个工作负载的拐点:ToolBench Micro 在 b=0.5 达到 0.6856,b=1.0 反而降到 0.6813;四个推理基准在 b≥0.5 后饱和。成本为 ToolBench 的 1.44 倍和四个基准的 1.25 倍。

9. 最脆弱的假设

最脆弱的假设是:过程证据(接收者如何移动、新增内容来自哪里、改动是否存活)与试运行的真实增益之间存在稳定且可学习的映射关系,且这个映射在骨干模型、工作流拓扑、任务类型变化时保持成立。

如果这个假设不成立,整个选择器就退化为在噪声上做三分类,采纳决策不会比随机好多少,SPLICE 的增益会坍缩到 Always 的水平甚至更差。

论文给出的支持证据:消融显示去掉过程证据损失 0.0147,打乱过程证据损失 0.0157,归因组单独贡献 0.0076,这些区间都清晰偏离零,说明在 gpt-4o-mini 加 ToolBench 的设置下信号确实存在。骨干迁移实验(Table 10)显示选择器在 gpt-4o-mini 上训练一次后,零样本迁移到四个未见骨干上仍有 +0.028 到 +0.051 的增益,说明映射不限于训练时的骨干。拓扑扫描(Figure 3)覆盖三种拓扑家族和三种规模,增益方向始终为正。

但证据的边界也很清楚:所有迁移实验的工作流节点仍然跑在相对同质的 LLM 上,过程证据的提取规则(内容词归一化、300 字符截断、数字单独成集)是手工设计的,没有证据表明这些规则在非英语任务、长文档任务或工具调用密集的任务上仍然有效。如果接收者的修订行为模式发生根本变化——比如一个强得多的模型倾向于完全重写而非增量修订——归因特征的分辨力可能急剧下降,而论文没有提供这方面的压力测试。

10. 一周最小复现

目标:复现论文最核心的对照——在 ToolBench 的一个子集上,验证「SPLICE 的边选择 + 过程条件回滚」比「Always 加边」和「静态骨架」都好,且过程证据消融后选择器性能下降。

数据规模:从 ToolBench 的 StableToolBench 六个子集中取 100 个训练查询和 50 个测试查询。骨架用论文的四节点结构:节点 0 执行工具调用,节点 1 和 2 处理,节点 3 合成,边为 1 读 0、2 读 0、3 读 1 和 2,候选边只有 0→3 一条。这样边选择这一层被简化掉,重点验证消息生成和回滚。

步骤:

  1. 第一天:搭好 StableToolBench 虚拟 API 服务器,跑静态骨架,记录每个查询的基 trace 和基得分。用 gpt-4o-mini 或本地 7B 模型做工作流节点。
  1. 第二天:实现消息生成。用简单的 Items(·) 提取器(正则提取实体和数字),计算 M_q,3,让源节点 0 围绕缺口集合生成消息。对每个训练查询跑一次试运行,记录试运行 trace 和增益标签。
  1. 第三天:实现过程证据提取。按附录 Table 13 的字段,至少实现三组中的核心字段:接收者是否改变、新增内容中来自消息的比例、消息内容是否存活到最终答案。用 7B 模型做三分类选择器,SFT 即可,不需要 DPO——论文消融显示 SFT 选择器(0.6818)和完整 DPO(0.6856)差距只有 0.0038。
  1. 第四天:在测试集上跑三个条件——静态骨架、Always(对每个查询都加边并采纳)、SPLICE(加边后用选择器决定采纳或回滚)。指标用 Micro 或简化的任务完成率。
  1. 第五到七天:跑消融——去掉过程证据(选择器只看新旧最终答案)、打乱过程证据(把查询 A 的过程证据配给查询 B)。如果论文结论成立,预期看到:SPLICE 高于静态骨架,Always 在 Served 类指标上低于静态骨架,去掉过程证据后 SPLICE 增益缩水。

预期指标:在 50 个测试查询上,SPLICE 相对静态骨架的 Micro 提升方向为正,Always 的 Served 方向为负,过程证据消融后选择器准确率下降。绝对数值会比论文小很多,因为样本量只有论文的约五分之一,置信区间会很宽,但方向性结论应该可复现。

资源:一张 24GB 显卡足够跑 7B 模型做选择器和消息生成;工作流节点如果也用本地 7B 模型,50 个查询的基运行加试运行大约需要几个小时;如果调 gpt-4o-mini API,成本在几美元量级。

11. 反例设计

核心主张:过程证据(接收者移动幅度、新增内容来源归因、改动存活情况)携带了最终答案无法提供的采纳决策信号,因此过程条件选择优于只看最终答案的选择。

反例实验:构造一个工作流和任务分布,使得「接收者的修订行为」与「修订是否正确」系统性脱钩,而最终答案本身反而携带更强的正确性信号。

具体设计:用两个不同骨干模型分别做接收者节点和终端节点。接收者用一个强指令跟随模型,终端用一个弱模型。接收者无论收到什么消息,都会把消息内容忠实地整合进自己的修订中,且修订幅度与消息内容高度相关——过程证据会显示「来自消息的比例」很高、「改动存活到最终答案」为真。但终端弱模型在下游会以不可预测的方式扭曲接收者的修订,导致最终答案的正确性与接收者是否忠实使用消息无关。此时过程证据的归因特征(消息内容是否被接收者使用)不再预测最终增益,而最终答案与参考答案的语义相似度反而更可靠。

判据:在这个构造上,如果「去掉过程证据、只看最终答案的选择器」的采纳准确率显著高于「完整过程证据选择器」,则论文的核心主张被推翻——过程证据的价值不是普适的,它依赖于接收者修订行为与最终正确性之间的稳定关联。如果论文的辩护是「这种构造不现实」,那它需要证明现实中的多智能体工作流不会出现「接收者忠实使用消息但下游扭曲」的情况,而论文目前没有提供这样的证据。

更温和的版本:不需要构造对抗性工作流,只需在现有基准上按「下游节点数量」分层报告过程证据消融的效果。如果在下游节点多、链路长的查询上,过程证据的消融损失显著缩小甚至消失,说明过程证据的价值随链路长度衰减,论文的结论需要加上「仅适用于短链路」的限定。

12. 落地判断

能否用于「抢占式 GPU 自托管 27B 模型做多智能体脚手架」:可以,但有明确边界。

怎么用:把 SPLICE 作为脚手架的事后修复层。原工作流(比如检索、规划、执行、汇总四个 27B 实例)照常跑完,SPLICE 在基 trace 上做查询级诊断,对预测得分低的查询选一条候选边,生成定向消息,重跑接收者及其下游,再用过程证据决定采纳或回滚。选择器可以用论文的 7B 规模,在 24GB 卡上推理约 0.3 秒每查询,也可以直接用 27B 模型本身做选择器,省去额外部署。

成本量级:论文报告半预算下成本是静态骨架的 1.25 到 1.44 倍。在自托管 27B 场景下,成本主要是 token 消耗而非 API 费用。按论文 Table 12,四个推理基准上静态骨架每查询约 4,509 token,SPLICE 半预算约 5,652 token,多出约 1,143 token 每查询。如果抢占式 GPU 的边际成本接近零,这个开销可以忽略;瓶颈在延迟——每次试运行要重跑接收者和下游节点,串行延迟增加约 25% 到 44%。

最大的坑:抢占式 GPU 的不可预测中断。SPLICE 的试运行和基运行之间需要保持 trace 一致性,如果基运行完成后 GPU 被抢占,试运行在恢复后跑在不同的模型状态或不同的 API 响应上(StableToolBench 的确定性回放可以缓解后者,但自托管场景没有这个保证),过程证据的归因会失效。另外,27B 模型的行为模式可能与论文的 gpt-4o-mini 不同——如果 27B 模型倾向于整段重写而非增量修订,归因特征的分辨力会下降,选择器的迁移效果需要重新验证。建议先在目标工作流上跑一个小规模的过程证据消融,确认归因特征仍然有信号,再决定是否部署完整 SPLICE。

内容由 AI 生成,仅供参考。如发现错误,欢迎反馈。

原始英文摘要

arXiv:2610.40186v1 Announce Type: new Abstract: Multi-step Web tasks often require several LLM agents to gather and combine evidence. The communication graph of a fixed workflow restricts which agents can read each other's outputs: evidence retrieved by one agent may never reach the agent that needs it, leaving an information gap and an incomplete or incorrect answer. Adding a connection can deliver the missing evidence, but can also lead the receiver to adopt an incorrect upstream conclusion that displaces a correct answer; the final output alone does not separate the two. We propose Selective Probing and Link Insertion for Closing information gaps in multi-agent Execution (SPLICE), which locates information gaps per query and decides what to adopt after adding an edge. After the original workflow runs, SPLICE uses the query and node outputs to locate a possible gap, adds one directed edge from a source to a receiver to deliver the relevant evidence, and re-executes the receiver and affected downstream nodes, producing a candidate answer. The adoption decision reads both the final answers of the two runs and the process changes the edit caused inside the workflow: how far the receiver moved, where its new content came from, and whether the change reached the final answer. A selector trained on these process features chooses between adopting the candidate answer and retaining the original. On five benchmarks, SPLICE raises the task score on Web tool use by 8.0% and the mean score on four reasoning and planning benchmarks by 5.7% relative to the static skeleton, at 1.25 to 1.44$\times$ the skeleton's cost, and transfers zero-shot to four unseen backbones.

同方向论文 · cs.AI

查看全部 →

反向发现 · 这篇论文相关的工具与提示词

去交叉发现 →

关联提示词 · 6

智能体github.com/f/awesome-chatgpt-prompts·外部收录·

Weekend Planner

- Read the weekend weather, calendar and budget. - Find local events, hikes, exhibitions and restaurants. - Propose 3 plans: adventure, cozy, social, with times and costs. - Prepare reservation steps; book nothing without approval. - Rememb…

智能体github.com/f/awesome-chatgpt-prompts·外部收录·

Task Planner

--- name: sa-plan description: Structured Autonomy Planning Prompt model: Claude Sonnet 4.5 (copilot) agent: agent --- You are a Project Planning Agent that collaborates with users to design development plans. A development plan defines a…

研究github.com/f/awesome-chatgpt-prompts·外部收录·

Unified Research and Source Analysis Prompt

Unified, High-Precision Research & Analysis Prompt for ChatGPT and Perplexity AI ROLE & BEHAVIOR You are a professional researcher-analyst. Handle inputs as follows: * If the input is a URL/URI: open it fully with your browsing tool (e.g.…

智能体github.com/f/awesome-chatgpt-prompts·外部收录·

hermes agent desktop default system prompt

You are Hermes Agent, an intelligent AI assistant created by Nous Research. You are helpful, knowledgeable, and direct. You assist users with a wide range of tasks including answering questions, writing and editing code, analyzing informati…