删除敏感性是模型的一种属性:跨七个开源推理模型的三条件测量
Deletion Sensitivity Is a Property of the Model: A Three-Condition Measurement across Seven Open Reasoning Models
Hanzhang Jia · Liheng Zeng · Zhiyu Yang · Yi Gao · Bo Ma
中文摘要
推理模型在多轮工具会话的每一轮都会写出推理轨迹,后续轮次会读取该历史。在 94k 条 ShareGPT 对话中,73% 的用户交互跨越多轮。上游提供商将每条轨迹绑定到其签发者,因此跨签发者转发的请求到达时其历史已被删除,而这种剥离带来的任务代价尚未被测量。据我们所知,本文首次对多轮工具调用中的完整推理历史删除进行直接、盲测、多种子测量,覆盖三种渲染条件、七个开放权重推理模型、三个种子、794 个任务,并使用官方检查器。同一删除操作带来的分数变化跨度从 -4.4 到 +51.3 分,两端均排除零;对于唯一一个从 0% 到 100% 删除率重新给药的模型,读数变化最多 1.5 分。删除敏感性是模型层面的属性。读数跟随模型本身,在不同部署间保持恒定;重新训练或重新发布的模型是一个新模型,可用两格筛选(一次保留运行和一次删除运行)以两次运行的成本重新读取。因此,删除敏感性是模型的一种可测量属性,该读数必须作为先验信息进入路由与聚合,而不是作为不可见的默认成本持续存在。
关键要点
- 01多轮工具调用中跨签发者转发会删除推理历史,其任务代价此前未被测量。
- 02首次直接盲测:三种渲染条件、七个开源推理模型、三个种子、794 个任务。
- 03同一删除操作分数变化从 -4.4 到 +51.3 分,两端均排除零。
- 04删除敏感性是模型层面属性,读数跨部署恒定,可用两次运行重新读取。
- 05该读数应作为先验信息进入路由与聚合,而非不可见默认成本。
解读
内容由 AI 生成,仅供参考。如发现错误,欢迎反馈。
原始英文摘要
arXiv:2611.13223v1 Announce Type: cross Abstract: Reasoning models write a reasoning trace at every turn of a multi-turn tool session, and later turns read this history. Across 94k ShareGPT conversations, 73 percent of user interactions span multiple turns. Upstream providers bind each trace to its issuer, so a request forwarded across issuers arrives with its history deleted, and the task cost of this stripping remains unmeasured. To the best of our knowledge, this paper presents the first direct, blind, multi-seed measurement of full reasoning-history deletion in multi-turn tool calling, through three rendering conditions, seven open-weight reasoning models, three seeds, 794 tasks, and the official checker. The same deletion spans -4.4 to +51.3 points with both ends excluding zero, and for the one model re-dosed from 0 to 100 percent deletion, the reading varies by at most 1.5 points. Deletion sensitivity is a model-level property. The reading follows the model itself and stays constant across deployments, and a retrained or re-released model is a new model that a two-cell screen, one retention run and one deletion run, re-reads for the cost of two runs. Deletion sensitivity is thus a measurable property of the model, and the reading must enter routing and aggregation as prior information rather than persist as an invisible default cost.
1. 问题与价值
这篇论文解决的问题是:在多轮工具调用会话里,模型每一轮都会先写一段 reasoning trace,再发出动作;下一轮通常会读到这些历史 trace。但在跨服务商或跨 issuer 的路由场景中,历史 reasoning trace 可能被删除,只保留动作和结果。论文要测量的是:这种“整段历史 reasoning trace 删除”到底让任务成功率损失多少,以及这个损失是否由模型本身决定。
为什么重要:原文给出一个现实入口,Across 94k ShareGPT conversations, 73 percent of user interactions span multiple turns。也就是说,多轮交互不是边缘场景,而是常见形态。若路由层默认删除历史 trace,某些模型可能从原文表 4 的 Baichuan-M2-32B retention 51.8 percent 掉到 cross-turn 0.5 percent,也就是 Δdel(S)=+51.3 points;而另一些模型几乎不变,甚至原文 R1-Distill-14B 的 Δdel(S)=-4.4 points。这个差异直接影响“能不能删历史、该不该保留会话、该把流量路由到哪个模型或后端”。
谁受益、怎么受益:应用开发者可以在第一次删除历史前,用两格筛选读取模型对删除的敏感性,避免把删除成本当成不可见默认值。研究团队获得一个直接测量协议:用官方 checker、盲评、多 seed、三渲染条件,把“删除历史 trace”的任务成本量化。普通用户不直接跑实验,但如果产品或路由系统采纳这种读取,普通用户可能更少遇到“同一个任务换后端后突然失败、重复调用、沉默失败”的体验。
2. 已有工作的不足
在它之前,最接近的做法大致分三类。
第一类是 prompt-layer reasoning trace 研究。Chain-of-thought prompting、zero-shot CoT、self-consistency 等方法研究“写不写推理、写多少推理、采样多条推理再投票”对单轮能力的影响。不足在于:它们主要操作单轮 prompt,不研究一个多轮会话累积下来的历史 trace 被删除后的任务成本。faithfulness 线研究 trace 是否忠实反映真实计算,例如截断 trace 后答案仍可能不变;但这仍不等于测量“跨轮历史删除”的服务端后果。
第二类是多轮工具评测。BFCL、ToolLLM、τ-bench、MINT、ReAct 相关评测会跑多轮会话,并用 checker 或任务环境评分。不足在于:这些评测通常把完整历史作为默认状态,研究“有历史时模型表现如何”,而不是把“历史 trace 被删除”作为受控操作。原文把这一缺口概括为:existing multi-turn evaluations hold the full history as the default state of the session and keep deletion outside their variable sets。
第三类是 serving-side history manipulation。Gist tokens、LLMLingua、LLMLingua-2、PagedAttention、KV cache compression/eviction 等工作研究压缩、剪枝、缓存管理。不足在于:它们主要报告 tokens saved、latency gained、memory budget,而不是“任务成功损失多少”。原文也指出:What this literature reports is tokens saved and latency gained, and the task cost of the rewrite is outside its tables。
具体哪一步不够:已有工作没有把“完整历史 reasoning trace 删除”作为固定操作,没有用官方任务 checker 盲评,没有跨 seed 和跨渲染条件给出带区间的任务成本读取,也没有把该读取变成路由前的先验信息。
3. 重建作者的思考路径
从旧方法出发,一个合理的研究者路径可能如下。
起点是旧问题:CoT 和 reasoning trace 有用,但服务侧会删 trace。若直接问“trace 有没有用”,单轮 prompt-layer 实验已经做过很多;但多轮工具会话里的历史 trace 是另一种对象。它不是当前 prompt 里的推理,而是跨轮累积的 plan、中间结果、已尝试动作记录。
第一步可能想:先做一个最简单的消融,把多轮会话里的历史 trace 全删掉,看成功率掉多少。但马上会撞上矛盾:删什么?如果连当前轮的工具调用循环也删掉,可能不符合真实服务侧行为,因为当前 turn 的 trace 与动作绑定更紧。于是需要把“历史 turn 的 trace”和“当前 loop 的 trace”分开。论文实际采用的条件也保留 current tool loop。
第二步可能想:只用一个删除条件够不够?不够。因为跨轮全删是一个极端,生产路由里可能还有中途切换、部分保留、压缩式删除。于是需要至少两个对照:完整保留和跨轮删除。若要定位“切换点”的成本,还可以加一个 mid-session 条件,在会话中途开始删。
第三步可能想:评分用什么?如果让模型自评或用 LLM-as-a-judge,容易引入评分偏差。工具调用任务有官方 checker,能检查 terminal state、call order、no-call turns,所以更稳妥。评分还必须盲于条件,否则知道哪格是删除条件可能影响判断。
第四步可能想:只看成功率够不够?不够。因为有些模型可能成功率变化不大,但行为已经崩坏,比如反复发同一个 call。于是需要第二个通道:repetition rate,从 call log 读取“至少一个相同 call 被发两次”的比例。这样 success axis 和 behavior axis 分开。
第五步可能想:这个读取能不能用于路由?如果每个模型都跑完整 794 tasks、三 seed、三条件,成本太高。于是可以设计一个便宜的两格 screen:一个 retention cell,一个 deletion cell,各 200 tasks,one seed,读取 Δdel(S) 和区间,再决定是否保留会话。
与论文实际路径的差异:上面这条路径更接近“从单轮 CoT 缺口出发,逐步增加条件、评分器、行为通道和路由工具”。论文实际路径更直接地把问题定义为 first direct, blind, multi-seed measurement of full reasoning-history deletion,并把三个渲染条件、官方 BFCL checker、双指标、bootstrap interval、dose arms、behavioral signatures 和 two-cell screen 一次性组织成完整测量框架。
4. 核心 intuition
可以用“工作笔记被撕掉,但工单和回执还在”来类比。
一个多轮工具会话像员工处理一串工单。每一轮,员工先写一段工作笔记:我打算怎么做、刚才查到了什么、已经试过哪些路径、下一步该做什么。然后员工发出动作:查库存、调用接口、填写参数。系统保留动作和结果,但路由边界可能把历史笔记撕掉。
如果员工能从当前工单和回执重新推导,任务仍可能完成,只是要重新查、重新试,这对应 compensating:成功率变化小,但可能多花调用。论文中 Qwen3-8B 的 Δdel(S)=-0.5,Δdel(R)=+1.7,就接近这种“还能补回来”。
如果员工完全依赖历史笔记来记住“我已经试过这个动作”,笔记一撕,就可能反复发同一个 call,这对应 looping。论文中 R1-Distill-14B 在 mid-session 条件下 repetition 从 18.1 percent 升到 68.7 percent;Olmo-3-7B-Think 从 30.2 percent 升到 66.5 percent。
如果员工被撕掉笔记后直接沉默或停在错误状态,这对应 silent failure。论文中 Baichuan-M2-32B 从 retention 51.8 percent 掉到 cross-turn 0.5 percent,同时 Δdel(R)=+8.0,属于成功大幅下跌但重复上升不极端。
这个类比能对上机制:删除的是历史 reasoning trace,不是动作和结果;当前 loop 仍保留;不同模型对“笔记”的依赖方式不同,所以删除成本不同。
5. 方法 pipeline 举例
用一个具体输入走流程:原文表 7 给出 Baichuan-M2-32B 在 miss_param 26 这个任务上的实际 call stream。
输入:一个 BFCL multi-turn 工具任务,用户请求需要调用工具处理 missing parameter 场景。会话包含历史 turn 和当前 turn。每个 turn record 包含 reasoning trace
c_t和 actions/answers_t。第一步,构造原始会话
m。它形如m=(u_1, r_1, ..., u_T, r_T),其中r_t=(c_t, s_t)。这里u_t是用户 turn,c_t是模型历史 reasoning trace,s_t是动作和答案。第二步,渲染三个条件。
RC1 = render(m):保留历史 trace、动作和结果。RC2 = render(D_{1..T-1}(m)):删除历史 turn 的 trace,保留动作和结果;当前 loop 仍保留 trace。RC3 = render(D_{1..K}(m)):删除前K=⌊0.4T⌋个 turn 的 trace,保留其余历史 trace;当前 loop 仍保留 trace。第三步,模型生成。原文公式写为
y_t = f_theta(render(D_A(m_<t)), u_t)。含义是:同一个模型f_theta在固定任务环境和固定采样配置下,读取被条件渲染后的消息前缀,再生成当前 turn 的输出。第四步,checker 评分。官方 BFCL checker 盲于条件,检查 terminal state、call order、no-call turns。对表 7 这个例子,原文记录 retention 下是 4 calls, correct state;cross-turn 下是 one call, silence;mid-session 下是 stall。因此该例至少显示:保留历史 trace 时达到正确终态,删除或切换后行为退化。
第五步,聚合指标。对任务池计算成功率和重复率。原文表 4 给出 Baichuan-M2-32B 的 retention 为 51.8 percent,cross-turn 为 0.5 percent,mid-session 为 14.7 percent;Δdel(S)=+51.3 points,95% interval 为 [+47.2,+55.3];Δdel(R)=+8.0。原文还给出 cross-turn cells hold 3 valid successes out of 573 valid sessions。
第六步,路由读取。若某模型两格 screen 的 Δdel(S) 区间排除 +10,原文建议 keep or pin session;若区间含 0,则 delete, save context;若区间含 +10,则 delete, monitor the log。
6. 核心数学推导
先解释核心符号。
m:一个多轮会话。u_t:第t轮用户消息。r_t:第t轮模型记录。c_t:第t轮 reasoning trace。s_t:第t轮 actions 和 answer。A:被标记为删除 trace 的 turn 集合。D_A:删除操作。render:把消息按官方 chat template 渲染成模型输入。f_theta:固定模型引擎。T:会话总 turn 数。K:mid-session 切换点。C1、C2、C3:三个渲染条件。S(C):条件C下的成功率。R(C):条件C下的重复率。Δdel(S):删除造成的成功率损失。Δdel(R):删除造成的重复率上升。删除操作
原文 Eq. (1) 写为:
D_A(m)_t = (⊥, s_t)ift ∈ A,否则(c_t, s_t)。含义是:对 turn 集合
A中的轮次,把c_t替换成删除占位符⊥,但保留s_t。也就是说,删除的是历史 reasoning trace,不是动作和结果。三个条件
原文 Eq. (2) 写为:
RC1 = render(m)RC2 = render(D_{1..T-1}(m))RC3 = render(D_{1..K}(m)),K=⌊0.4T⌋含义是:
C1完整保留。C2删除第 1 到第T-1轮的历史 trace,当前第T轮 loop 仍保留 trace。C3删除第 1 到第K轮的历史 trace,K由0.4T下取整得到。双指标
原文 Eq. (4) 写为:
Δdel(S)=S(C1)-S(C2)Δdel(R)=R(C2)-R(C1)含义是:
Δdel(S)用 retention 减去 cross-turn deletion。正数表示删除让成功下降。Δdel(R)用 cross-turn deletion 减去 retention。正数表示删除让重复调用上升。两个指标符号方向相反是故意的:一个表示“成功损失”,一个表示“重复上升”,这样两者都为正时都代表删除带来问题。
成功率和重复率
原文 Eq. (6) 和 Eq. (7) 在提取中可能损坏。原文 Eq. (6) 提取后在
100∣Q∣附近无法辨认是否漏了除号;原文 Eq. (7) 也有类似风险。因此不补全精确公式。但按文字说明,
S(C)是成功率,单位 percent;R(C)是重复率,单位 percent。概念上可理解为:S(C):在条件C下,通过官方 checker 的会话数占有效会话数的比例,再乘 100。R(C):在条件C下,至少发过一次相同 call 两次的会话数占有效会话数的比例,再乘 100。Bootstrap interval
原文 Eq. (5) 写为:
CI95=[q_2.5(Δ*), q_97.5(Δ*)]其中
Δ*是Δdel(S)或Δdel(R),B=10000resamples,q_α是经验分位数。推导思路:
Δdel(S)或Δdel(R)。B个重采样指标。一句话总结:bootstrap interval 用来判断“这个模型删除敏感性读数”是否稳定到足以支持路由决策。
筛选标准误
原文 Eq. (8) 提取后根号范围可能不清楚;原文公式此处无法辨认。但文字说明是:treats the two cells as independent binomials。
按这个文字说明,两格成功率差的标准误概念为:
SE = 100 * sqrt(p1 * (1 - p1) / n1 + p2 * (1 - p2) / n2)其中:
p1是 retention cell 的成功比例。p2是 deletion cell 的成功比例。n1是 retention cell 的有效会话数。n2是 deletion cell 的有效会话数。一句话总结:这个公式估计两格成功率差的抽样噪声,用来决定一个 Δdel(S) 读数是否足够大,能触发 keep 或 pin。
7. 实验设计
数据集:BFCL v4 的四个 multi-turn subsets,共 794 tasks,turn 数范围 2 to 8。四个子集是 base scenarios、long context、missing functions、missing parameters。任务执行在真实 tool environment 中,评分使用 official BFCL checker。
模型:七个 open-weight reasoning models。
原文说明:五个模型跑完整 794-task scale,两个模型跑 produced scale。表 3 显示 Baichuan-M2-32B 和 Olmo-3-7B-Think 的 Tasks 为 200。
条件:
C1retention:保留历史 trace。C2cross-turn deletion:删除历史 turn trace,保留动作和结果,保留当前 loop trace。C3mid-session deletion:在K=⌊0.4T⌋处切换,删除前段历史 trace。指标:
Δdel(S)=S(C1)-S(C2),成功率损失。Δdel(R)=R(C2)-R(C1),重复率上升。B=10000。Δdel(S)。评分与清洗:checker 盲于条件,检查 terminal state、call order、no-call turns。基础设施失败会话移出分母;模型输出但零 tool call 的会话保留为合法失败。
有效性检查:
实验能否支撑结论:能支撑“在 BFCL 类多轮函数调用任务、这七个 open-weight 模型、官方 checker、固定采样协议下,删除敏感性是模型级读取”这一结论。原文写出:Deletion sensitivity is a model-level property。
缺什么:缺跨任务族验证。原文写出:the transfer across families is the open boundary of the claim。还缺 deletion-sensitive regime 的 dose response;原文说明 sensitive regime stays outside the dose arms。还缺机制级验证:compensating 模型究竟是 re-derivation 还是把 trace 当 idle cargo,原文说 this question stays open。还缺公开可复现包;数据 availability 写的是 available from the authors on reasonable request。
8. take-aways
Δdel(S)从 R1-Distill-14B 的 -4.4 points 到 Baichuan-M2-32B 的 +51.3 points,两端 interval 都排除 0。这说明删除历史 reasoning trace 不是统一小成本,也不是统一大成本。9. 最脆弱的假设
最脆弱的假设是:BFCL v4 多轮函数调用任务上的删除敏感性读数,可以代表其他任务族、其他评分器、其他生产流量形态下的删除敏感性。
论文核心主张是 deletion sensitivity is a model-level property,但这个 property 有明确操作条件:fixed task family, scorer, and sampling protocol。原文 Definition 1 也写出:whether the reading transfers across task families is an open question bounded in Section 5.3。
从实验设置看,论文给出了三类支持证据:
但这些证据仍主要在 BFCL 类任务内部。若换成客服、代码修复、长文档问答、多模态工具调用、不同 checker、不同状态空间,删除历史 trace 的成本可能改变。另一个脆弱点是 official checker 的盲区:它检查 terminal state、call order、no-call turns,但 terminal state correct 而路径退化的失败模式可能从 success axis 漏掉。论文用 repetition channel 补行为轴,但原文也写出:Whether the repetition rise precedes the failure inside a session is a separate analysis, and the screen uses the channel as a corroborating reading, and as an early warning it stays unclaimed。
10. 一周最小复现
目标:在 1 张 24GB 消费级显卡上,复现最核心结论:同一删除操作在不同模型上差异很大,且需要同时读 success axis 和 repetition axis。
推荐选择两个小模型:Qwen3-8B 和 Olmo-3-7B-Think。Qwen3-8B 代表 deletion-tolerant / compensating;Olmo-3-7B-Think 代表 deletion-sensitive / looping。原文表 3 显示 Olmo-3-7B-Think 是 7B,Baichuan-M2-32B 是 32B,不适合在单张 24GB 显卡上按原文完整配置直接复现。
步骤:
C1retention:保留历史c_t和s_t。C2cross-turn deletion:把历史 turn 的c_t替换为⊥,保留s_t,保留当前 loop trace。C3mid-session deletion:删除1..K的历史 trace,K=⌊0.4T⌋。S(C1)、S(C2)R(C1)、R(C2)Δdel(S)=S(C1)-S(C2)Δdel(R)=R(C2)-R(C1)预期指标:以原文 full-scale 表 4 和表 6 为对照。
Δdel(S)=-0.5,interval [-3.2,+2.2];repetition 从 44.4 percent 到 46.1 percent,Δdel(R)=+1.7。Δdel(S)=+3.0,interval [+0.2,+6.0];repetition 从 30.2 percent 到 66.5 percent,Δdel(R)=+36.3。若 200 tasks one seed 的噪声较大,原文给出的 screening half-width about 9.6 points 可作为预期不确定性量级。核心复现判据不是精确复现每个点估计,而是看 Qwen3-8B 的 success interval 是否接近 0,而 Olmo-3-7B-Think 是否出现正向 success loss 和大幅 repetition rise。
11. 反例设计
要推翻本文核心主张,可以设计“同模型、同任务、同评分器、不同部署”的 falsification test。
核心主张是:Deletion sensitivity is a model-level property,reading follows the model itself and stays constant across deployments。
实验设计:
C1retention 和C2cross-turn deletion,计算Δdel(S)和Δdel(R),并用 session-level bootstrap 给出 95% interval。判据:
Δdel(S)的 95% interval 不重叠,且点估计符号相反,则推翻“reading follows the model itself and stays constant across deployments”。Δdel(S)从接近 0 变成原文 silent threshold 所指的至少 +20 points,同时 repetition 仍低于 +10 points,则说明删除成本不只是模型属性,也是部署属性。Δdel(S)的方差显著大于 model identity,则推翻本文关于“among the factors this study varied, only the model identity predicts the outcome”的核心读取。另一个更窄的反例:对 deletion-sensitive 模型跑 dose arms。原文只对 deletion-tolerant 模型做了 dose invariance。若对 Baichuan-M2-32B 这类 sensitive model,删除 25、50、75、100 percent 的 success loss 随 deletion ratio 单调大幅变化,则说明“dose 不解释 outcome”至少对 sensitive regime 不成立。但这不必然推翻 model property,因为模型 identity 仍可能决定 dose response 形状;真正推翻 model property 的关键是 deployment 或 task family 能改变读数。
12. 落地判断
普通用户
普通用户现在不能直接使用这篇论文的成果。它不是产品功能,也不是一个可下载的路由插件。普通用户能拿到的间接收益是:如果应用开发者或路由系统采纳这种两格筛选,普通用户可能少遇到“同一个模型换后端后突然失败、重复调用、沉默”的问题。
距离普通用户可用还差:
最大坑:普通用户看到的“模型名”可能已经变化。原文写出:a retrained or re-released model is a new model that a two-cell screen re-reads for the cost of two runs。也就是说,模型版本更新后,旧 screen 读数不能自动继承。
应用开发者
应用开发者是这篇论文最直接的潜在使用者。开发者可以在路由前跑两格 screen:一个 retention cell,一个 cross-turn deletion cell,各 200 tasks,one seed,读取
Δdel(S)和 interval。能拿到的东西:
还差的步骤:
成本量级:原文把两格 screen 写成 one day on two devices。对应用开发者来说,这是相对便宜的评估,但需要稳定 tool environment、日志采集、checker 和 session harness。最大坑是任务族不匹配:如果生产任务不是 BFCL 类多轮函数调用,screen 读数可能不迁移。另一个坑是量化、context 截断、engine 版本改变模型行为;原文把 retrained or re-released model 视为 new model,部署配置变化也可能需要重新读取。
研究团队
研究团队能拿到的是一个可复用的测量协议:把 full reasoning-history deletion 作为 controlled operation,用三渲染条件、官方 checker、盲评、多 seed、bootstrap interval、dual indicators、subset decomposition、dose arms 和 behavioral signatures。
能拿到的东西:
还差的步骤:
成本量级:完整研究规模是 seven models, 794 tasks, three seeds, three conditions,且需要 tool environment 和 official checker。最小两格 screen 是 200 tasks each, one seed, one day on two devices。最大坑是把 BFCL 类函数调用上的模型读取误当成所有多轮 agent 任务的通用读取;原文把跨任务族迁移标为 open boundary。另一个坑是只看 success axis:论文显示 behavior axis 可以出现 looping 或 silent failure,而 final-state scoring 可能漏掉这些签名。