多思考还是多阅读？共享上下文推理的 Token 预算理论
Think More or Read More? A Token-Budget Theory of Reasoning with Shared Context
Manh Nguyen · Sunil Gupta · Hung Le
中文摘要
推理系统通过引入额外上下文（如多智能体辩论、自我修正）提升答案质量，但通信消耗会挤占推理空间。本文建立 Token 预算理论，将准确率建模为阅读后剩余推理预算的函数，并结合允许相关误差的 Condorcet 陪审团模型进行投票聚合。该理论推导了多智能体辩论的最优智能体数量闭式解，仅需单智能体测量即可确定，且适用于异构模型组合。实证表明，在预测的最优规模下，该方法在极紧的校准预算下优于强基线。自我修正遵循相同逻辑，理论预测仅当准确率上限增益超过阅读消耗的推理空间时通信才有效。在 5 个开源模型和 4 个推理任务中，自一致性在 93% 的 980 个匹配设置下匹配或超越部署的辩论，且窗口越紧优势越明显。在共享窗口下，模型剩余的思考空间比阅读内容更重要。
关键要点
- 01建立 Token 预算理论，量化阅读上下文与推理生成在固定窗口下的资源竞争权衡。
- 02推导多智能体辩论最优数量的闭式解，无需运行辩论即可通过单智能体数据估算。
- 03实证显示自一致性在 93% 的 980 个设置下匹配或超越辩论，且窗口越紧优势越大。
- 04理论指出通信仅在准确率增益超过阅读消耗时有效，该条件随窗口缩小而变严。
解读
在 GitHub 查看内容由 AI 生成，仅供参考。如发现错误，欢迎反馈。
原始英文摘要
arXiv:2610.23246v1 Announce Type: cross Abstract: Reasoning systems increasingly improve answers by incorporating additional context into the model's input, from multi-agent debate, where agents read their peers' responses, to self-refinement, where a model revisits its own drafts. In these systems, communication consumes context as one agent's output becomes another's input. We study the regime where token reading and generation draw on one fixed token window, so every token spent reading is a token that cannot be spent reasoning. We develop a \textbf{token-budget theory} that formalizes this trade-off, modeling accuracy as a function of the reasoning budget remaining after reading and aggregating votes with a Condorcet jury model that permits correlated errors. For multi-agent debate, the theory gives a closed-form prediction for the optimal number of agents. This quantity is estimated from single-agent measurements, allowing the optimal group size to be determined without running debate, and the same accounting extends to a heterogeneous set of different models. We empirically verify our theory and show that, at the predicted group size, our method outperforms strong baselines under the tightest calibration spend, where debate-calibrated rules can afford only one or two questions. Self-refinement obeys the same accounting, with its own draft in place of a peer message. The theory further predicts that communication pays only when the gain in the accuracy ceiling exceeds the reasoning room spent on reading, with this condition tightening as the window shrinks. Across five open models and four reasoning tasks, self-consistency matches or beats deployed debate at $93$\% of $980$ matched window-and-group-size settings, with the gap being largest under tight windows and nearly disappearing at a loose one, consistent with the theory. Under a shared window, how much room a model has left to \textit{think matters more than what it reads}.
1. 问题与价值
这篇论文解决的核心问题是：在多智能体辩论、自我精炼这类推理系统中，当「读」和「想」共用同一个固定 token 窗口时，每花一个 token 去读同伴的消息，就少一个 token 用来生成自己的推理链。论文要回答的不是「通信有没有用」，而是「通信在什么预算条件下才值得」。
这个问题的价值在于它直接对应实际部署成本。论文指出，当前 API 推理价格从每百万 token 几美分到几十美元不等，多智能体辩论的成本随智能体数量 n 线性甚至超线性增长。如果能在不跑辩论的情况下，仅凭单智能体的探针测量就预测出最优组大小 n*，部署者就能省掉大量校准开销。
受益方是需要在固定预算下部署多智能体推理系统的工程师和研究者。他们获得的是一个闭式规则：给定窗口 W、问题长度 q、每条同伴消息长度 m、固定开销 c，先算出每个智能体剩余的思考空间 g = W - q - (n-1)m - c，再用单智能体能力曲线 β_eff(g) 和误差相关性 ρ 预测组准确率 A(n)，最后选出使协同指数 S(n) = δ(n)·√n_eff 最大的 n。受益方式是把原本需要扫描整个 (n, W) 网格的辩论校准，压缩成一次单智能体生成上限扫描。
2. 已有工作的不足
在本文之前，处理多智能体辩论成本问题的最好做法可以分成三类。
第一类是通信压缩路线，代表方法有 Li et al. 的稀疏通信拓扑、Liu et al. 的 GroupDebate 分组讨论、Zeng et al. 的 S²-MAD 消息保留策略。这些方法通过减少同伴消息数量或长度来降低通信负担，但它们把通信成本和推理成本当作两笔独立的账，没有意识到在共享窗口下两者争夺的是同一个 token 池。
第二类是预算匹配下的对比研究，代表有 Tran & Kiela 的单智能体长链对比、Smit et al. 的 MAD 策略分析、Bertalanic & Fortuna 的孤立自校正对比。这些工作发现了辩论在等预算下常常不优于自洽性，但它们只报告现象，没有给出一个可操作的预测规则来说明「什么时候辩论会赢」。
第三类是最接近本文理论框架的工作，Liu et al. 的预算化多智能体协同相变理论。该工作从幂律能力曲线出发推导了放大-坍缩阈值，但存在两个具体不足：其一，它的能力曲线是凹的幂律形式，无法刻画「低于最小解长度时准确率接近零」的坍缩区；其二，它的会计方式把每个智能体的生成配额固定，加一个智能体不消耗任何推理空间，因此它的坍缩完全来自误差相关性，而不是来自阅读成本。本文明确指出，把 m 设为 0 就恢复 Liu et al. 的设置，此时理论预测每个窗口都选最大可行组，没有内部最优，也没有坍缩。
3. 重建作者的思考路径
如果我从第 2 项的不足出发，最自然的起点是 Liu et al. 的框架：每个智能体有一个能力 β，n 个智能体投票，误差相关性 ρ 限制了有效样本量。在这个框架里，加智能体只有收益没有成本，所以最优 n 永远是最大可行值。这显然和实际观察矛盾——Tran & Kiela 已经报告了等思考预算下单智能体长链能匹配或超过多智能体系统。
我首先会想到：是不是能力 β 本身会随 n 变化？在共享窗口下，n 越大，每个智能体读到的同伴消息越多，留给自己的生成空间 g 越小。如果 β 是 g 的增函数，那么加智能体就有了一笔隐藏成本。这个想法很直接，但立刻撞上一个问题：β(g) 的函数形式是什么？如果沿用 Liu et al. 的凹幂律，β(g) 在 g 很小时仍然大于零，这意味着即使只给 64 个 token 的生成空间，智能体也有可观的准确率。但实际测量显示，生成上限低于某个任务相关的阈值时，准确率几乎为零。所以凹形式不行，需要换成 S 形函数，比如 Hill 函数 β_eff(g) = p_max · g^κ / (g^κ + g_0^κ)。
换完函数形式后，新问题出现了：怎么把单智能体的 β_eff(g) 变成 n 个智能体投票后的组准确率？最简单的多数投票模型假设独立误差，但实际智能体来自同一个模型，误差高度相关。这里需要引入 Condorcet 陪审团模型的相关性版本。我想到用等相关系数 ρ 来刻画任意两个智能体误差的协方差，这样 n 个相关投票的有效样本量是 n_eff = n / (1 + ρ(n-1))，它随 n 增长但饱和在 1/ρ。
接下来是关键的合成步骤。组准确率取决于两个东西：单个智能体答对的边际 δ(n) 和有效样本量 n_eff。δ(n) 随 n 增大而下降，因为 g(n) 在缩小；√n_eff 随 n 增大而上升但增速递减。两者的乘积 S(n) = δ(n)·√n_eff 就是协同指数。当 n 小时，δ 高但放大不够；当 n 大时，放大饱和但 δ 被阅读成本压垮。中间必然有一个峰值，这就是内部最优 n*。
但这里有个分叉：如果 δ 变成负数，即单个智能体更可能选最强的错误答案而不是正确答案，那么投票会放大错误多数。所以 S(n) 必须保留 δ 的符号，不能只用 δ²。这解释了为什么论文用带符号的 S 而不是无符号的度量。
还有一个试错点：σ，即投票得分的标准差，在 §3.3 里被当作常数拟合一次。但仔细想，σ 其实由 β_eff 和 c_w 决定，而 β_eff 随 n 变化，所以 σ 也随 n 变化。论文在附录 D.5 里测试了用推导出的 σ(n) 替换常数 σ，发现 140 个操作点中只有 7 个的 n* 预测变了，所以保留了更简单的常数版本。这是一个「先简化、再验证简化是否安全」的典型路径。
与论文实际路径的差异：我上面的推理把「阅读成本 m」当作从共享窗口假设自然推出的量，但论文的实际路径是先建立了完整的 token 预算会计框架（§3.1），再在其中定义能力曲线（§3.2），最后才引入 Condorcet 聚合（§3.3）。我跳过了论文中关于「最后轮可见性」和「保留完整转录只会更差」的论证，这些是论文用来证明其会计是下界的关键步骤。另外，论文对自精炼的处理——n=1 但仍支付阅读成本、没有投票放大——是我在重建中容易忽略的退化情形，而论文把它作为理论的一个直接推论放在 §3.3 末尾。
4. 核心 intuition
把共享 token 窗口想象成一个固定面积的桌面。你要在桌面上同时放两样东西：同伴的答卷（阅读）和你自己的草稿纸（思考）。每多请一个同伴，他的答卷就占掉一块桌面，你自己的草稿纸就少一块。如果桌面很大，多几份答卷无所谓，你的草稿纸还是够用；但如果桌面很小，答卷堆满之后你连写一个完整推导的地方都没有，这时候请来的同伴越多，你反而越容易算错。
这个类比对上机制的三个关键点。第一，「桌面面积固定」对应窗口 W 是常数，阅读和生成从同一个池子里扣。第二，「草稿纸不够就写不出完整推导」对应 Hill 函数在 g 小于 g_0 附近时准确率急剧下降——g_0 就是「写一个完整解所需的最小草稿纸面积」。第三，「同伴越多越容易错」不是因为他们不好，而是因为你的草稿纸被挤没了，这对应 δ(n) 随 n 下降的机制，而不是智能体本身变笨。
5. 方法 pipeline 举例
以 Qwen2.5-7B 在 GSM8K 上、窗口 W = 2000 token 为例，走一遍 TB-MAD 的完整流程。
第一步，单智能体探针扫描。对同一个模型，在生成上限 g 分别取 64、128、256、512、1024、2048、4096 token 时各跑一批 GSM8K 题目，记录每个 g 下的准确率。假设得到拟合参数 p_max = 0.874、g_0 = 256、κ = 6.9（这些是论文 Table 5 中 Qwen2.5-7B 在 GSM8K 上的实际拟合值）。
第二步，估计误差相关性。在没有任何同伴消息的第 0 轮，让多个智能体独立回答同一批题，计算它们错误的一致性，得到 ρ ≈ 0.35（论文 Table 8 中 Qwen2.5-7B 在 GSM8K 上 1.2k 到 6.5k 窗口的 ρ 范围是 0.34 到 0.36）。同时估计错误集中度 c_w ≈ 0.15（论文 Table 21 中该单元 48 样本每题的 c_w 估计）。
第三步，对每个候选 n 计算剩余思考空间。协议参数是 q = 128（GSM8K 平均问题长度）、m = 320（每条同伴消息长度）、c = 64（固定开销）。当 n = 3 时，H = 128 + (3-1)·320 = 768，g = 2000 - 768 - 64 = 1168。当 n = 5 时，H = 128 + 4·320 = 1408，g = 2000 - 1408 - 64 = 528。
第四步，把 g 代入 Hill 函数得到单智能体能力。n = 3 时，β_eff(1168) = 0.874 · 1168^6.9 / (1168^6.9 + 256^6.9)。由于 1168 远大于 256，这个值接近 0.874。n = 5 时，β_eff(528) = 0.874 · 528^6.9 / (528^6.9 + 256^6.9)，因为 528 约是 256 的两倍，κ = 6.9 很大，这个值仍然接近但略低于 0.874。
第五步，计算边际 δ 和有效样本量。δ = (1 + c_w)·β_eff - c_w。n = 3 时 δ ≈ (1.15)·0.87 - 0.15 ≈ 0.85。n_eff = 3 / (1 + 0.35·2) = 3 / 1.7 ≈ 1.76。n = 5 时 n_eff = 5 / (1 + 0.35·4) = 5 / 2.4 ≈ 2.08。
第六步，计算协同指数 S = δ·√n_eff。n = 3 时 S ≈ 0.85·√1.76 ≈ 0.85·1.33 ≈ 1.13。n = 5 时 S ≈ 0.84·√2.08 ≈ 0.84·1.44 ≈ 1.21。继续算 n = 6、7、8，S 会先升后降，峰值对应的 n 就是预测的最优组大小。论文 Figure 1 右侧显示该设置在 GSM8K 上的 n* ≈ 4.9，实际部署时取整为 5。
6. 核心数学推导
本节推导论文的核心公式：从单智能体能力到组准确率的聚合头，以及协同指数 S(n) 的由来。
先解释符号。β_eff 是单个智能体在生成上限为 g 时的准确率。c_w 是错误集中度，定义为「在答错的前提下，选择最强错误答案的概率」。δ 是正确答案相对最强错误答案的边际，即 δ = β_eff - q_max，其中 q_max = (1 - β_eff)·c_w 是最强错误答案的边际概率。
第一步，推导 δ 的表达式。把 q_max 代入 δ 的定义：δ = β_eff - (1 - β_eff)·c_w = β_eff - c_w + c_w·β_eff = (1 + c_w)·β_eff - c_w。这就是论文的 Eq. 6。这个公式在算：单个智能体的投票在正确答案和最强错误答案之间有多大的概率差。
第二步，定义投票得分。每个智能体 j 的得分 X_j 取三个值：答对时 X_j = +1，选最强错误答案时 X_j = -1，选其他错误答案时 X_j = 0。由定义，E[X_j] = β_eff·(+1) + (1-β_eff)·c_w·(-1) + (1-β_eff)·(1-c_w)·0 = β_eff - (1-β_eff)·c_w = δ。所以 δ 就是单个投票得分的期望。
第三步，引入相关性。假设任意两个智能体的得分协方差为 Cov(X_i, X_j) = ρ·σ²，其中 σ² = Var(X_j) 是单个得分的方差。n 个智能体的平均得分 X̄_n 的方差是 Var(X̄_n) = (1/n²)·[n·σ² + n(n-1)·ρ·σ²] = σ²·[1 + ρ(n-1)]/n。
第四步，定义有效样本量。把上式写成 Var(X̄_n) = σ²/n_eff，则 n_eff = n / [1 + ρ(n-1)]。当 n 趋于无穷时，n_eff 趋于 1/ρ。这就是论文的 Eq. 7 和 Eq. 8。这个公式在算：n 个相关投票相当于多少个独立投票。
第五步，正态近似。用中心极限定理把 X̄_n 近似为正态分布，均值为 δ，方差为 σ²/n_eff。组选择正确答案的条件是 X̄_n > 0，所以组准确率 A(n) = Pr[X̄_n > 0] ≈ Φ(δ·√n_eff / σ)，其中 Φ 是标准正态累积分布函数。这就是论文的 Eq. 9。
第六步，提取协同指数。因为 Φ 是严格单调递增的，且 σ > 0，最大化 A(n) 等价于最大化 δ·√n_eff。论文把这个量记为 S(n)，即 Eq. 10。这个公式在算：组准确率的排序完全由「单智能体边际」和「有效样本量的平方根」的乘积决定，不需要真的算出 Φ 的值。
一句话总结：Eq. 10 把组准确率最大化问题化简为单智能体边际 δ(n) 和有效样本量 √n_eff(n) 的乘积最大化，其中 δ(n) 通过 g(n) 携带了阅读成本对思考空间的挤压效应。
7. 实验设计
数据集是四个推理基准：GSM8K（小学数学）、MATH500（竞赛数学）、MMLU-Pro（十路多选题）、CSQA（五路常识问答）。每个基准取 500 个样本，前 40% 用于校准，后 60% 用于评估。
模型是五个开源指令模型，覆盖 3B 到 12B：Llama-3.2-3B、Qwen2.5-7B、Falcon3-7B、Gemma-2-9B、Gemma-3-12B。
基线分三组。辩论校准组需要实际跑辩论：Empirical Argmax 扫描所有 (n, W) 格子选最优，Successive Halving 用自适应预算分配，Quadratic Surface 拟合二次曲面。无校准组：n=1 和 n=n_max。探针校准组只需单智能体扫描：Learned β_eff 用梯度提升树替代参数形式，Star Exponent 用 Liu et al. 的幂律能力曲线，Difficulty Mixture 用 Chen et al. 的逐题难度估计。
指标是 regret，即所选组大小与逐单元 oracle 之间的准确率差距，以百分点计。校准成本被计入比较，论文用「等 token 花费」和「等问题数」两种方式对齐。
消融实验覆盖四个关键假设。m=0 消融验证阅读成本是内部最优和坍缩的必要条件。价格比率消融测试输入/输出 token 价格不对称时结论是否成立。问题位置消融排除长上下文位置效应。生成下限恢复实验验证坍缩来自任务相关的 g_0 而非人为设定的 g_min=64。
实验能否支撑结论：核心主张「TB-MAD 在紧预算下 regret 最低」有 Table 2 的 20 个单元支撑，平均 regret 1.40%，低于所有基线。但「自洽性在 93% 的操作点上匹配或超过辩论」这个结论来自 980 个匹配点的统计，其中 57% 自洽性显著更好、0.5% 辩论显著更好、42.5% 不可区分。缺少的是：更大模型（超过 12B）的验证，以及 g_0 超过 1000 token 的长推理链场景——论文自己在 Limitations 里承认这一点。
8. take-aways
9. 最脆弱的假设
最脆弱的假设是等相关性假设：任意两个智能体的误差相关系数 ρ 不随 n 和 W 变化。这个假设一旦不成立，Eq. 7 的方差公式和 Eq. 8 的有效样本量公式都会失效，进而 S(n) 的峰值位置 n* 的闭式预测就不可靠。
论文确实给出了这个假设成立的证据。Appendix Table 8 报告了在每个窗口和每个组大小下重新估计的 ρ 值。在 20 个模型-任务单元中，ρ 随窗口变化的最大范围 range_W 不超过 0.05，随组大小变化的最大范围 range_n 也不超过 0.05。论文据此认为误差相关性是模型和任务的属性，而不是预算的属性。
但这个证据有一个局限：它只在论文扫描的窗口范围（1.2k 到 6.5k token）和组大小范围（n 到 8）内成立。如果窗口继续缩小到 g 接近 g_0 以下，智能体的推理链被截断，错误模式可能从「系统性错误」变成「随机猜测」，ρ 的结构可能改变。论文没有在 g < g_0 的极端坍缩区单独验证 ρ 的稳定性。
10. 一周最小复现
目标：复现论文的核心结论——TB-MAD 在紧预算下 regret 低于辩论校准基线，且自洽性在紧窗口下显著优于辩论。
硬件约束：一张 24GB 消费级显卡。论文用的是 H100 80G，但 3B 和 7B 模型在 24GB 上可以跑 vLLM 推理。
步骤：
第一天，选 Qwen2.5-7B 和 GSM8K，因为论文 Table 5 给出了完整拟合参数可对照。下载模型和 GSM8K 的 500 题子集。用 vLLM 跑单智能体探针扫描，生成上限 g 取 64、128、256、512、1024、2048 五个点，每个点跑 200 题（校准集），温度 1.0。这一步约需 6-8 小时。
第二天，拟合 Hill 函数得到 p_max、g_0、κ。对照论文 Table 5 中 Qwen2.5-7B/GSM8K 的参考值（p_max ≈ 87.4%、g_0 ≈ 256、κ ≈ 6.9），检查拟合是否合理。然后跑第 0 轮独立回答，用 3 个智能体在 200 题上各答一次，估计 ρ 和 c_w。
第三天，实现 TB-MAD 的 S(n) 计算。窗口取 W = 1200、1600、2000、2500 四个紧窗口，n 从 1 到 8。对每个 (n, W) 计算 g、β_eff、δ、n_eff、S，选出 n*。同时实现两个基线：n=1 和 Empirical Argmax（后者需要在每个 (n, W) 格子上跑实际辩论，用 200 题校准集）。
第四天，在评估集（剩余 300 题）上跑 TB-MAD 预测的 n*、n=1、以及 Empirical Argmax 选出的 n*，各跑一轮辩论（R=1 修订轮）。记录准确率。
第五天，计算 regret。预期结果：TB-MAD 的 regret 应该在 2 个百分点以内（论文 Table 2 中 Qwen2.5-7B 在 1M budget 下的 regret 是 1.29%），且 n=1 在 W=1200 下应该显著优于 n=8（论文 Figure 1 左侧显示 n=8 在紧窗口下坍缩）。
第六天，补跑自洽性对比：在 W=1200 和 W=2500 下，用 n=1 跑自洽性（同一模型独立采样多次投票），对比同窗口下的辩论准确率。预期在 W=1200 下自洽性领先超过 10 个百分点。
第七天，整理结果，确认三个核心发现是否复现：TB-MAD regret 低于辩论校准基线、紧窗口下 n=8 坍缩、自洽性在紧窗口下优于辩论。
预期指标：TB-MAD regret 约 1-2 个百分点；W=1200 下 n=8 的准确率接近或低于随机水平（论文 Figure 1 显示该点坍缩到接近 0）；自洽性在 W=1200 下领先辩论约 10-40 个百分点（论文报告 +42.0%，但含裁剪效应，未裁剪单元为 +13.7%）。
11. 反例设计
核心主张是：在共享 token 窗口下，阅读成本 m 是导致内部最优组大小和坍缩现象的必要条件，且 TB-MAD 的闭式预测能从单智能体探针推广到任意窗口。
反例实验设计：构造一个任务，其中同伴消息的阅读成本 m 很大（比如 m = 2000 token），但同伴消息的内容具有极高的信息价值——例如，同伴消息直接包含正确答案的验证步骤，或者包含一个单智能体无法独立推出的关键中间结论。具体做法：用一个合成任务，正确答案需要两个互补的知识片段，单个智能体只有 50% 概率掌握其中一个片段，但读到同伴的消息后能以 95% 概率补全缺失的片段。
判据：如果在这个任务上，即使 g 被压缩到 g_0 以下，n=2 的辩论准确率仍然显著高于 n=1 的自洽性（比如高出 20 个百分点以上），并且这个优势在 W 很小的紧窗口下依然保持，那么论文的核心主张就被推翻了。因为论文的 Prop. 2 断言，在没有天花板提升（Δp_max ≤ 0）时，自洽性在初始轮投票上弱支配辩论；而 Eq. 11 说辩论只有在 Δp_max·ϕ(g(n)) > p_max·[ϕ(g_SC) - ϕ(g(n))] 时才能反超。如果同伴消息的信息价值足够大，Δp_max 可能大到足以在 g 很小的情况下仍然满足这个不等式，此时论文的「阅读不能打败投票」结论就不再是普适的，而变成「在同伴消息信息价值不高的任务上成立」。
这个实验的关键控制变量是 Δp_max 的测量：在固定 g 下，对比「无同伴」和「读一个同伴」的单智能体准确率差。论文 Appendix Table 15 在四个单元上测得 Δp_max 的绝对值只有 2-4 个百分点且符号混合。反例实验需要构造一个 Δp_max 超过 20 个百分点的任务，然后检验 TB-MAD 的预测是否仍然成立。
12. 落地判断
用于「抢占式 GPU 自托管 27B 模型做多智能体脚手架」的场景，这篇论文的结论可以直接用，但有一个前提和一个坑。
前提是 27B 模型的 g_0 必须被测量。论文所有实验的 g_0 在 137 到 478 token 之间，这是 3B-12B 模型在短推理任务上的解长度。27B 模型在复杂任务上的 g_0 可能超过 2000 token。如果 g_0 很大，坍缩区会移到更大的窗口，论文 Figure 1 中 n=8 在 W=1200 下坍缩的现象可能在你的场景中发生在 W=4000 甚至更高。所以第一步必须是跑单智能体探针扫描，拟合你自己的 Hill 曲线，而不是直接套用论文的参数。
怎么用：在自托管 27B 模型上，先花约 200 题跑 7 个生成上限的探针扫描（64 到 4096 token），拟合 p_max、g_0、κ。再跑一轮第 0 轮独立回答估计 ρ 和 c_w。然后对每个部署窗口 W 计算 S(n)，选出 n*。如果 n* = 1，就不要组队，直接用自洽性（同一模型独立采样多次投票）。如果 n* > 1，组队辩论，但每轮只保留最后一轮的同伴消息，不要保留完整转录。
成本量级：探针扫描的成本是 200 题 × 7 个上限 × 平均生成长度。如果平均生成长度是 500 token，总生成量约 200 × 7 × 500 = 70 万 token，加上输入成本，在自托管 GPU 上约 1-2 小时的推理时间。这比扫描 (n, W) 网格的辩论校准便宜一个数量级以上——论文 Table 10 报告辩论校准的墙钟时间是探针的 5 到 9 倍。
最大的坑：抢占式 GPU 的上下文窗口可能比论文假设的更紧张。论文的窗口 W 是 1.2k 到 6.5k token，而 27B 模型在多智能体脚手架中可能面临 8k 甚至 32k 的上下文。如果 W 很大，论文 Cor. 3 说内部最优会消失，最优策略退化为「尽量大的组」或「n=1 加自洽性」。所以在窗口宽松时，这篇论文的 TB-MAD 预测价值下降，你更需要的是自洽性采样数的优化，而不是组大小的优化。另一个坑是 27B 模型的推理链可能被抢占式 GPU 的中断打断，导致实际 g 小于标称 g，这会让 β_eff(g) 的拟合值偏乐观，需要在探针扫描时模拟抢占中断的影响。