Seq@K：在序列反馈下评估语言模型

1. 问题与价值

这篇论文的贡献类型是「知道」为主、「做到」为辅：它提出并验证了一个新的评测协议 Seq@K，但核心贡献在于通过该协议测量并诊断语言模型在「顺序反馈下的迭代修正能力」，而不是提出一个新的训练方法或推理算法。论文的方法部分（Seq@K 协议本身）是测量工具，不是被优化的系统。

论文解决的具体问题是：当前社区主要用 Pass@1 或 Pass@K 给模型排名，这两个指标都假设每次尝试是独立采样，完全不看模型能否利用前一次失败后的反馈来改进下一次回答。但在真实的 agentic 工作流里，用户或环境通常会在失败后给出针对性反馈，模型需要据此修订。Pass@K 对「模型是否善于利用反馈」这件事是盲的。

为什么重要：如果 Pass@K 和 Seq@K 给出的模型排名不同，那么用 Pass@K 选模型去部署一个带反馈循环的系统，就会选错模型。论文用实验证明这种错选是真实存在的，而且代价可以很大。

评测规模锚点：论文在 7 个 benchmark 变体上评测了 16 个前沿模型，共 471 条运行记录。benchmark 覆盖代码生成（MBPP Pro、HumanEval Pro）、复杂指令遵循（AdvancedIF）、CLBench 的两个分项（领域知识推理 DKR、规则系统应用 RSA）、医疗（HealthBench）和研究型任务（ResearchRubrics）。

主结果反差锚点：在 HumanEval Pro 上，用 Pass@5 校准选出的模型部署到 Seq@5 场景，其 Seq@5 为 70.8%；改用 Seq@3 校准选出的模型，Seq@5 达到 96.8%，提升 26.0 个百分点，且校准成本反而更低（1.015 美元降到 0.805 美元）。在 AdvancedIF 上，Pass@5 下最好与最差模型相差 33.3 个百分点，但 Seq@5 下差距缩小到 6.7 个百分点——也就是说 Pass@K 会严重高估模型间的实际差距。

谁受益、怎么受益：需要构建带反馈循环的 agentic 系统的工程师，以及需要为这类系统选模型的团队。他们可以用 Seq@K 而不是 Pass@K 做校准，用更少的校准成本选出在真实部署中表现更好的模型。论文顺带提出的「用 rubric-aware critic 写反馈」等诊断结论，是测量带来的副产品，不是论文的主贡献。

2. 已有工作的不足

在 Seq@K 之前，评测模型迭代修正能力的工作主要有两条路线。

路线一：把反馈修正当作方法，而不是评测对象。 Reflexion（Shinn et al., 2023）、Self-Refine（Madaan et al., 2023）、CRITIC（Gou et al., 2024）等工作研究的是「如何让模型利用反馈来提升表现」，它们把反馈修正当作一种技术手段。这些工作关心的是方法效果，不关心如何把「利用反馈的能力」变成一个标准化的评测指标。Reflexion 最接近本文设定，但它用的是二元通过/失败信号或自生成测试结果，反馈信息边界与本文不同。

路线二：构造新任务来测修正能力，而不是在已有 benchmark 上测。 RefineBench（Lee et al., 2025）引入了带 checklist 的新任务集，发现自我修正提升很小，而针对性反馈能让前沿模型接近饱和。ICPC-Eval 的 Refine@K（Xu et al., 2025）在竞赛编程里测执行反馈下的修正。这两项工作的共同问题是：它们需要构造新任务，因此无法直接回答「在社区已经在用的 benchmark 上，Pass@K 和 Seq@K 会给出怎样不同的模型排名」这个问题。

路线三：多轮 agentic benchmark 把修正能力和其他能力混在一起。 SWE-bench、WebArena、τ-bench、MINT 等评测的是长程规划、工具使用、状态跟踪和反馈利用的联合能力。在这些设定里，一个模型分数低，你无法区分是它不会用工具，还是不会用反馈。Seq@K 要隔离的恰恰是「反馈利用」这一项能力。

论文发表之前学界已经知道的是：反馈修正对提升 agent 表现有用（路线一），多轮评测里反馈利用只是众多能力之一（路线三）。但学界没有一个在已有 benchmark 上、用统一协议、把「利用反馈修正」单独拎出来的评测指标。这是 Seq@K 填补的空白。

3. 重建作者的思考路径

假设我面对的问题是：Pass@K 不看反馈，但真实系统里有反馈，怎么测模型利用反馈的能力？

第一步：最直接的改法。 把 Pass@K 的独立采样改成顺序采样——第一次失败后，把失败信息塞进 prompt，让模型再试一次，最多试 K 次。这看起来只是把 Pass@K 的「并行」改成「串行」。但这里立刻出现一个设计选择：失败后给模型看什么？是只告诉它「你失败了」，还是给它看测试失败的具体断言，还是让另一个模型写一段批评？不同的反馈内容会给出完全不同的 Seq@K 值。所以 Seq@K 不是一个数，而是一族指标，必须显式指定 feedback mode。

第二步：撞上的矛盾。 如果 Seq@K 和 Pass@K 高度相关，那这个新指标就没必要存在。论文先验证了这一点：Pass@5 和 Seq@5 的 Spearman 相关是 +0.68，看起来不低。但仔细想，这个相关大部分来自第一次尝试——两个协议在第一次尝试上做的是同一件事。把第一次尝试的贡献去掉，看「第 2 到第 5 次尝试带来的增益」，相关掉到 -0.08。这说明 Seq@K 确实在测一个 Pass@K 测不到的能力。这个「先看总相关、再拆掉首轮贡献」的步骤，是论证指标必要性的关键。

第三步：从「测能力」转向「测选模型」。 光说「Seq@K 和 Pass@K 不同」还不够，得说明这个不同有实际后果。于是设计了一个选模型实验：模拟一个工程师，在一小组校准任务上选模型，然后部署到带反馈的新任务上。这里的关键设计是校准成本也要算——因为 Seq@K 的每次尝试都带着历史，单次调用更贵。结果发现 Seq@3 校准不仅选得更好，成本还更低或相当。这里容易想反：成本低不是因为 Pass@K 要跑满 K 次——论文的 Table 2 明说两种协议都在首次成功时停止。Seq@K 单次调用因为带着历史与反馈本应更贵，但它让模型更早成功、所需尝试次数更少，两相抵消后总成本反而更低。

第四步：从「选模型」转向「诊断反馈本身」。 有了 Seq@K 的轨迹数据，自然可以问：模型到底有没有在听反馈？反馈里有没有评分标准，差别有多大？历史记录是全文保留还是摘要，影响多大？这些是测量工具自然延伸出的诊断问题。

与论文实际路径的差异：论文的实际结构是先定义协议（第 3 节），然后直接铺开三个问题——模型选择、修正模式、反馈诊断（第 5 节）。我重建的路径里，「先证明 Seq@K 和 Pass@K 测的是不同能力」这一步在论文里被放在 5.1.4，是三个问题都展开之后才做的。论文把「指标必要性」的论证放在「指标有用性」的论证之后，这在逻辑上有点倒置——读者先看到 Seq@K 能改变排名，再看到它为什么能改变排名。如果是我，会把 5.1.4 的相关性分析提前，作为「为什么需要 Seq@K」的直接证据。

4. 核心 intuition

日常类比：改作业 vs 重新抽签。

Pass@K 像是让学生把同一道题独立做 K 遍，每遍都从空白开始，看 K 遍里有没有一遍做对。这测的是「这个学生单次做对的概率」。

Seq@K 像是学生做完第一遍，老师批改后告诉他「第三问的公式用错了，第二问的假设没写清楚」，然后学生改一遍再交。这测的是「这个学生能不能听懂老师的批注，并且把错的地方改对」。

为什么这个区别重要：一个单次正确率一般但很会听反馈的学生，在 Pass@K 下会被低估；一个单次正确率高但改来改去还是错同一个地方的学生，在 Pass@K 下会被高估。真实世界里的 agent 系统更像后者——用户会给反馈，模型要改。用「重新抽签」的指标去选「会改作业」的模型，自然会选错。

这个类比能对上机制：Pass@K 的增益来自独立采样的多样性——多抽几次，总有一次运气好。Seq@K 的增益来自条件化——前一次的错误信息缩小了下一次搜索的空间。论文里「去掉首轮贡献后相关为 -0.08」这个结果，正是「抽签能力」和「改作业能力」是两回事的直接证据。

5. 方法 pipeline 举例

以 HumanEval Pro 的一个代码任务为例，走一遍 Seq@K 流程。

输入：一个 Python 代码生成任务。题目描述说要做两个函数：基础函数 below_zero(operations) 判断账户余额是否出现过负值，主函数把检查扩展到多个账户。这题属于论文附录 A.3 的缺陷任务——prompt 把基础函数的签名 below_zero(operations: List[int]) 误重复给了主函数，而隐藏测试调用的是 any_account_below_zero，这个函数名 prompt 从未出现，只能从测试反馈里得知。prompt 没有参考解，也没有公开测试用例。

第 1 次尝试：模型 Qwen3 Coder Flash 生成代码，把多账户函数命名为 below_zero（和基础函数同名）。隐藏测试调用的是 any_account_below_zero，所以测试失败。反馈是 test-detail 模式，内容包含：「Failed test details: - test_1 function call: any_account_below_zero([[1, 2, 3], [4, 5, 6]])... Use this feedback to fix the general logic. Do not hard-code these cases.」

第 2 次尝试：模型收到上述反馈，但生成的代码仍然把多账户函数命名为 below_zero，测试再次失败。反馈再次指出 any_account_below_zero 这个函数名。

第 3 次尝试：模型重复了第 1 次的代码，没有任何修改。测试失败。

第 4 次尝试：模型在解释文字里提到「这是主问题头部的复制粘贴错误」，但提交的代码仍然没有定义 any_account_below_zero。测试失败。

第 5 次尝试：模型再次提交和第 1 次完全相同的代码。测试失败。

结果：这条轨迹在 K=5 的预算内没有成功，Seq@5 对这条轨迹记为 0。

对比轨迹：同一个任务、同样的 test-detail 反馈，Sonnet 4.6 在第 1 次尝试里把多账户函数命名为 below_zero_main，测试失败。第 2 次尝试收到反馈后，把函数改名为 any_account_below_zero，逻辑不变，测试通过。这条轨迹在 t=2 成功，Seq@5 记为 1。

这个例子展示了 Seq@K 轨迹能暴露的信息：Qwen3 Coder Flash 的失败不是因为不会写逻辑，也不是因为它「选错了名字」——名字根本不在 prompt 里，只能从反馈学到——而是因为不根据反馈修改代码——它甚至在第 3 和第 5 次提交了完全相同的代码。Pass@K 只会告诉你两个模型最终成功率不同，Seq@K 的轨迹能告诉你失败发生在「没听懂反馈」还是「听懂了但改坏了」。

6. 核心数学推导

Seq@K 的核心公式是论文第 3 节的公式 (2)。原文公式在提取中基本完整，我按原文符号解释。

符号定义：

• D = {x_i}，i 从 1 到 N，是 N 个任务的集合。x_i 是第 i 个任务的初始 prompt。
• Y 是候选解空间。每个任务 x_i 配一个验证器 V_i : Y → {0,1}，输入一个候选解 y，输出 1 表示通过，0 表示失败。
• 模型参数为 θ，给定上下文 c，模型在 Y 上的条件解码分布记为 π_θ(· ∣ c)。这个模型叫 actor。
• F 是反馈消息空间。feedback mode m 规定失败后 actor 收到什么反馈。
• 第 t 次尝试前的交互历史 H_{i,t-1} 是之前所有「尝试-反馈」对的序列：H_{i,t-1} = ((Y_{i,1}, F_{i,1}), ..., (Y_{i,t-1}, F_{i,t-1}))，初始 H_{i,0} = ∅。

Seq@K 的生成过程：

第 t 次尝试（t 从 1 到 K）：

• 模型从 π_θ(· ∣ x_i, H_{i,t-1}) 采样出 Y_{i,t}。
• 如果 V_i(Y_{i,t}) = 1，交互提前终止。
• 如果 V_i(Y_{i,t}) = 0，环境按 feedback mode m 返回反馈 F_{i,t}，追加到历史里，进入下一轮。

Seq@K 的公式：

Seq@K = (1/N) · Σ_{i=1}^{N} E_{τ_i ∼ P^{(K)}_{θ,m,i}(·∣x_i)} [ max_{1≤t≤K} V_i(Y_{i,t}) ]

逐步拆解：

1. 对每个任务 x_i，模型和 feedback mode m 在预算 K 下诱导出一个轨迹分布 P^{(K)}_{θ,m,i}(·∣x_i)。一条轨迹 τ_i 包含若干次尝试和对应的反馈。
2. 对一条轨迹，取 max_{1≤t≤K} V_i(Y_{i,t})。因为 V_i 只取 0 或 1，这个最大值就是「K 次尝试里有没有任何一次通过」。有一次通过就是 1，全失败就是 0。
3. 对轨迹分布求期望，得到任务 i 在 Seq@K 下的成功率。
4. 对 N 个任务求平均，得到整个 benchmark 的 Seq@K。

这个公式在算什么：它在算「在允许最多 K 次顺序尝试、每次失败后都收到反馈的条件下，模型最终解决任务的期望比例」。和 Pass@K 的唯一区别是，Pass@K 里每次尝试都从 π_θ(·∣x_i) 独立采样，而 Seq@K 里第 t 次尝试从 π_θ(·∣x_i, H_{i,t-1}) 采样——历史信息进入了条件。

一个关键推论：Seq@K 不是一个单一数值，而是一族数值，由 feedback mode m 索引。同一个模型、同一个 benchmark，用 binary feedback 和用 rubric-aware critic feedback 会得到不同的 Seq@K。论文反复强调这一点，因为忽略 feedback mode 会让 Seq@K 不可复现。

7. 实验设计

数据集：7 个 benchmark 变体。AdvancedIF（指令遵循，30 个共享任务用于主要对比）、CLBench DKR（领域知识推理，28 或 30 个任务）、CLBench RSA（规则系统应用，10 个任务）、HealthBench（医疗，hard split，30 或 60 个任务）、ResearchRubrics（研究型任务，30 个任务）、MBPP Pro（45 个任务，排除缺陷后）、HumanEval Pro（40 个任务，排除缺陷后）。总计 16 个模型、471 条运行记录。

反馈模式：三种。Binary feedback 只给通过/失败信号。Raw verifier feedback 给执行栈追踪、失败测试断言或 rubric 逐项分解。LLM critic feedback 用一个语言模型生成针对性批评，critic 可以是 actor 自己或另一个模型，且 critic 是否看到评分 rubric 是可变的。

基线：Pass@K 是主基线，即独立采样 K 次。另外有「uniformly random actor choice」作为选模型实验的零成本基线。

指标：Seq@K 本身、Pass@K、selection loss（选出的模型与最优模型在 held-out 集上的 Seq@5 差距）、calibration cost（美元）、EGS（early-gain share，第一次重试贡献的增益占比）、LGS（last-gain share，最后一次尝试贡献的增益占比）、criterion repair（首轮失败的标准在后续尝试中被修复的比例）、unmodified revised attempts 比例、Spearman 相关。

消融：反馈类型（binary vs raw vs critic，critic 是否看到 rubric）、历史保留方式（全文 vs 摘要）、critic 风格（directive vs socratic）、K 的取值（1 到 5）、校准任务数 n（1 到 20）。

实验能否支撑结论：选模型实验的设计是扎实的——用 A/B 两组任务交叉校准和评估，重复 3 次取平均，bootstrap 给置信区间，并且报告了成本。但有几个缺口。第一，Seq@3 和 Seq@4 是从「被告知有 5 次尝试」的运行里截取前 3 或 4 次得到的，论文自己在附录 B.1 承认「被告知只有 3 或 4 次尝试的模型可能表现不同」。第二，选模型实验只在两个代码 benchmark 上做了，没有覆盖指令遵循或医疗任务。第三，图 1 的排名变化是描述性的，没有统计检验说明排名变化是否显著。第四，revision annotation 用的是 LLM（Claude Opus 5.5）而不是人类标注，且三个被标注的 actor 本身就是 Claude 模型，存在自我标注偏差的风险——论文在附录 D.2 里承认了这一点。

8. take-aways

1. Pass@K 和 Seq@K 测的是两种不同的能力。 去掉首轮贡献后，Pass@5 增益和 Seq@5 增益的 Spearman 相关是 -0.08（95% 区间 [-0.47, +0.31]），说明「多抽几次的增益」和「利用反馈的增益」几乎不相关。

1. 用 Seq@K 校准选模型，可以在更低成本下选出更好的模型。 在 HumanEval Pro 上，Seq@3 校准比 Pass@5 校准选出的模型 Seq@5 高 26.0 个百分点（70.8% 对 96.8%），校准成本是 0.805 美元对 1.015 美元。在 MBPP Pro 上，Seq@3 用 1 个校准任务就达到 Pass@5 用 10 个任务的选择损失，成本低 11 倍。

1. Pass@K 会系统性扭曲模型间的差距。 在 AdvancedIF 上，Pass@5 下最好与最差模型相差 33.3 个百分点，Seq@5 下只有 6.7 个百分点；在 HumanEval Pro 上方向相反，差距从 10.8 扩大到 51.7 个百分点。同一个 Pass@K 差距，在 Seq@K 下可能缩小 26.7 个百分点，也可能扩大 40.8 个百分点。

1. 反馈的质量取决于 critic 是否知道评分标准。 在 CLBench DKR 上，rubric-blind critic 修复首轮失败标准的比例是 36.8%，和独立重试的 36.5% 几乎一样；rubric-aware critic 修复比例跳到 73.8%。不知道评分标准的反馈，和没有反馈差不多。

1. 历史记录怎么保留是协议的一部分，不能忽略。 把历史摘要化在 HealthBench 上让 Seq@K 掉 14.4 个百分点，在 CLBench DKR 上掉 6.1 个百分点，但在 AdvancedIF 上只掉 0.5 个百分点。报告 Seq@K 时必须同时报告历史保留方式。

9. 最脆弱的假设

最脆弱的假设是：Seq@K 的反馈信息边界在真实部署中是可复现的。

论文的 Seq@K 值完全由 feedback mode 决定。Raw verifier feedback 和 rubric-aware critic feedback 都把评分标准的一部分直接泄露给 actor——比如测试失败的具体断言、rubric 的逐项要求。论文在附录 A.1 里明确说「Raw verifier feedback and test details show the actor part of what is graded, so Seq@K under these modes measures success with that information」。这意味着论文里那些大幅提升的 Seq@K 数字，部分来自「告诉模型它哪里错了」这个信息优势，而不是模型自己从失败信号里推理出哪里错了。

如果真实部署中用户给的反馈比论文里的 rubric-aware critic 更模糊、更不完整——比如用户只说「这个回答不对」而不说「第三项要求没满足」——那么论文报告的 Seq@K 增益会显著缩水。论文自己其实提供了这个假设的反面证据：binary feedback 在 DKR 上只比独立重试高 1 个百分点，在 coding 上对 DeepSeek 和 Qwen 也只改变 3.3 个百分点以内。也就是说，一旦反馈里没有评分信息，Seq@K 的优势就基本消失。

论文有没有给出这个假设成立的证据？部分有。论文在 5.3.1 里对比了 binary、rubric-blind critic、rubric-aware critic，发现只有 rubric-aware critic 显著有效。这实际上是在说「反馈的信息含量是 Seq@K 增益的主要来源」。但论文没有进一步讨论：真实用户能提供多接近 rubric-aware critic 的反馈？如果用户反馈更接近 binary，那 Seq@K 的实用价值就要大打折扣。这个从「实验设定」到「真实部署」的外推，是整篇论文最脆弱的一环。

10. 一周最小复现

目标：复现论文最核心的结论——「用 Seq@K 校准选模型，比用 Pass@K 校准选模型，在顺序反馈部署下选出更好的模型」。

资源约束：1 张 24GB 消费级显卡，1 周时间。这意味着不能跑 16 个前沿闭源模型，只能跑开源模型。

具体步骤：

第 1 天：选 2 个开源模型，比如 Qwen2.5-Coder-7B-Instruct 和 DeepSeek-Coder-V2-Lite-Instruct（都能在 24GB 上跑）。选 MBPP Pro 的一个子集，比如 20 个任务，按论文方式分成 A/B 两组各 10 个。用 vLLM 或 llama.cpp 部署，temperature 设 0.7。

第 2-3 天：对每个模型跑 Pass@5 和 Seq@5（test-detail feedback）。Seq@5 的 feedback 用 MBPP Pro 的隐藏测试失败信息——如果拿不到隐藏测试，可以用自己写的测试用例代替，但要注意这改变了信息边界。每个模型每个协议跑 3 个 seed。20 个任务 × 2 个模型 × 2 个协议 × 3 个 seed × 最多 5 次尝试，大约 1200 次推理，单卡 7B 模型一天能跑完。

第 4 天：做选模型实验。在 A 组上分别用 Pass@5 和 Seq@3 选模型，在 B 组上评估选出的模型的 Seq@5。然后交换 A/B。计算 selection loss 和 gain。

第 5 天：分析轨迹。统计每个模型有多少比例的 revised attempt 和上一次完全相同（unmodified revised attempts）。这个不需要额外推理，直接从已有轨迹里数。

第 6-7 天：如果时间允许，加一个 binary feedback 条件，对比 test-detail 和 binary 的 Seq@5 差距。

预期指标：论文在 MBPP Pro 上报告 Seq@3 校准比 Pass@5 校准的 gain 是 +8.3 个百分点（95% CI [+1.8, +19.9]）。用 7B 级开源模型，这个 gain 可能更小，因为小模型利用反馈的能力更弱。如果 gain 在 0 附近甚至为负，说明小模型上 Seq@K 校准的优势不成立——这本身也是一个有价值的发现。关键判据是：Seq@3 校准选出的模型在 held-out 集上的 Seq@5，是否显著高于 Pass@5 校准选出的模型。

最大的坑：MBPP Pro 的测试用例可能不在公开数据集里。如果拿不到原始测试，自己写测试会改变 feedback 的信息内容，和论文的 test-detail feedback 不完全可比。另一个坑是 7B 模型可能频繁输出格式错误的代码，导致大量轨迹在第一次尝试就因语法错误失败，Seq@K 的增益会被格式问题淹没。

11. 反例设计

要推翻的核心主张：Seq@K 校准比 Pass@K 校准能选出在顺序反馈部署下表现更好的模型，且这个优势来自 Seq@K 测到了 Pass@K 测不到的「反馈利用能力」。

反例实验：构造一个场景，让 Seq@K 校准的优势完全消失，且消失的原因可以归因于「反馈利用能力」这个构念本身不成立。

设计：取一组模型，人为制造一个「反馈利用能力和单次能力完全正相关」的条件。具体做法：选 4 个模型，先用 Pass@1 测它们的单次成功率。然后构造一个 feedback mode，让反馈不包含任何评分信息——比如 binary feedback，只告诉模型「你失败了」。在这个条件下跑 Seq@5。

判据：如果 Seq@K 校准的优势来自「测到了独立的反馈利用能力」，那么在 binary feedback 下，Seq@K 校准应该仍然比 Pass@K 校准有优势，因为模型仍然需要「利用失败信号来改进」。如果 Seq@K 校准的优势在 binary feedback 下消失——即 Seq@3 校准选出的模型和 Pass@5 校准选出的模型在 held-out Seq@5 上没有显著差异——那么论文的核心主张就被削弱了：Seq@K 的优势不是来自「测到了反馈利用能力」，而是来自「测到了模型在信息更丰富的反馈下的表现」，而 Pass@K 校准在信息丰富的反馈下之所以选错，只是因为 Pass@K 的校准任务和部署任务的信息条件不匹配，不是因为反馈利用能力是一个独立的构念。

为什么这个反例有杀伤力：论文自己在 5.3.1 里报告，binary feedback 在 DKR 上只比独立重试高 1 个百分点。如果 binary feedback 下 Seq@K 校准没有优势，那就说明 Seq@K 的选模型价值完全依赖于反馈的信息含量，而不是模型「利用反馈」的通用能力。这会动摇论文把 Seq@K 定位为「测量迭代修正能力」的核心叙事——它测的其实是「模型在特定信息条件下的表现」，而这个信息条件在真实部署中未必成立。

论文是否已经提供了这个反例的部分证据：论文的 binary feedback 实验（附录 F.2）显示，在 coding 上 DeepSeek V3.2 的 binary Seq@5 是 0.585，比 Pass@5 的 0.593 还低；Qwen3 Coder Flash 的 binary Seq@5 是 0.481，比 Pass@5 的 0.452 只高 2.9 个百分点。但论文没有在 binary feedback 条件下重跑选模型实验。如果重跑了，且 gain 消失，那论文的结论就需要加上一个重要的限定条件：「Seq@K 校准的优势只在反馈包含评分信息时成立」。

12. 落地判断

能否用于「抢占式 GPU 自托管 27B 模型做多智能体脚手架」：能，但要分两层看。

怎么用：Seq@K 在这里的直接用途不是部署时的推理协议，而是选模型和调反馈循环的校准工具。具体来说：在搭建多智能体脚手架时，如果某个 agent 的角色是「收到其他 agent 或用户的反馈后修订自己的输出」，那么在选这个 agent 的底层模型时，应该用 Seq@K 而不是 Pass@K 做校准。校准流程是：拿一小批代表性任务（比如 10-20 个），跑 Pass@5 和 Seq@3，分别选出最优模型，然后在 held-out 任务上验证 Seq@5。论文的数据显示，在代码任务上 Seq@3 校准的成本可以比 Pass@5 低 11 倍，同时选出更好的模型。

成本量级：27B 模型自托管，单次推理的 API 成本为零，但算力成本要算。Seq@K 的每次尝试都带着完整历史，context 长度随尝试次数线性增长。27B 模型在长 context 下的推理延迟和显存占用会显著上升。如果 K=5，最坏情况下第 5 次尝试的 context 包含前 4 次尝试的全部输出和反馈，可能达到几万 token。在 24GB 显卡上，27B 模型用 4-bit 量化可以跑，但长 context 下 KV cache 会吃掉大量显存，可能需要限制最大 context 长度或使用摘要历史。论文 5.3.2 的结果警告：摘要历史在 HealthBench 上掉 14.4 个百分点，所以不能无脑摘要。

最大的坑：反馈的信息边界。自托管 27B 模型的多智能体脚手架里，反馈通常来自其他 agent 或环境信号，不是来自一个知道评分标准的 critic。论文的核心发现是，反馈只有在 critic 知道评分标准时才显著有效（rubric-aware 修复率 73.8%，rubric-blind 只有 36.8%）。如果你的脚手架里没有「知道正确答案的 critic」，那么 Seq@K 的增益会大幅缩水，甚至接近 binary feedback 的水平——而 binary feedback 在 DKR 上只比独立重试高 1 个百分点。这意味着：在自托管、无特权反馈的多智能体场景里，Seq@K 校准的优势可能不存在。落地前应该先跑一个小规模验证：用你脚手架里实际会产生的反馈类型，对比 Pass@K 和 Seq@K 校准的选模型效果。如果反馈信息含量低，Pass@K 校准可能就够了，省下的算力可以用于其他环节。