Rubricon：面向 LLM 评估与训练的自动评分标准生成与精炼

1. 问题与价值

这篇论文的贡献类型是「做到」为主、「知道」为辅：它提出并验证了一个名为 Rubricon 的自动化评分标准（rubric）生成与精炼流水线，同时通过消融实验揭示了「仅靠 LLM 自我批评或集成难以有效扩展测试时计算」这一现象。

它解决的问题是：在开放式任务（没有可验证标准答案的任务，如医疗咨询、金融分析、消费建议）中，用 LLM 做评估或作为强化学习奖励信号时，需要显式的、可检查的评分标准。人工撰写这些 rubric 极其昂贵——论文指出，带 rubric 的数据集可能需要数百名医生或银行家参与标注。直接让 LLM 生成 rubric 又太浅，无法区分强响应和弱响应，甚至会出现「错误地偏向低质量响应」的准则。

评测规模锚点：论文在 5 个基准上评估，包括 4 个带专家 rubric 的基准（ProfBench 28 个任务、PRBench 656 个任务、ACE 80 个任务、HealthBench 1,704 个任务）和 1 个带人类偏好标签的基准（RubricBench 1,147 个偏好对）。对齐评估使用 8 个前沿模型的响应，包括 GPT-5.2 系列、Claude Sonnet 4.6、Claude Opus 4.6、Gemini 2.0 至 3.1 Pro 等。

主结果反差：Rubricon 生成的 rubric 在 4 个专家 rubric 基准上的宏平均 Spearman 相关系数为 0.428，比最强替代方法 RRDWU 的 0.393 高出 9.0% 相对提升。在 HealthBench 上，用 Rubricon rubric 做奖励信号对 Qwen3.5-9B 做 GRPO 后训练，最终检查点的 held-out 得分比用 RRDWU rubric 训练高 0.0315（配对 95% bootstrap CI 为 +0.0207 到 +0.0427），相对提升 4.5%。

受益者：需要为开放式任务构建评估体系或奖励模型的团队。他们可以用 Rubricon 自动生成初版 rubric，再由专家审校，省去从零撰写的时间。论文明确建议「始终让人类专家审阅和改进自动生成的 rubric」，因此直接受益方式是加速人工 rubric 生产，而非完全替代人工。

2. 已有工作的不足

在 Rubricon 之前，自动 rubric 生成有几条路线。下面每条只说论文发表前就成立的结构性限制，不拿「它分数比本文低」当不足。

• 直接提示（direct prompting）：让 LLM 一次性生成 rubric，AutoChecklist（Zhou and Tan, 2026）把这类范式系统化。限制是生成的准则偏浅、区分不出强弱响应，甚至可能奖励低质量响应——这一点在 Rubricon 之前就已被 Shen et al. (2026)、Liu et al. (2026) 指出，属于背景共识。

• 递归分解（RRD）（Shen et al., 2026）：把宽泛准则递归拆成更细维度，并过滤不对齐与冗余项；whitened-uniform 变体再做相关性加权。它的结构性限制是精炼信号完全来自 LLM 自我批评：一条准则该留该删，看的是模型自己怎么评价它，而不是它在真实响应上有没有真的把强弱模型分开。这是方法设计上的缺口，与分数高低无关。

• 训练一个 rubric 生成器：OpenRubrics（Liu et al., 2026）从偏好排序里推导规则再微调生成器与评判器；QSRG（Lv et al., 2026）用强化学习训练查询特定的生成器。限制是需要偏好标签或 rubric 标注，且能力绑在特定生成器版本上——底座模型换代就要重训，而评测对象（被评模型）换代比底座快得多。

• 无约束 agent 自行搭建流程：让 LLM 在 Codex SDK 沙箱里自由决定怎么造 rubric。限制是流程不可复现、无法定位是哪一步起了作用。这里要补一句公道话：在人类偏好准确率上它只比 Rubricon 低 0.5 个百分点（59.3% 对 59.8%，Table 1），所以「结构化流水线更强」在偏好维度上并不明显，真正的差距在专家 rubric 对齐：按 Table 1 四列取算术平均，Agentic 为 (0.283+0.333+0.363+0.294)/4 = 0.318，Rubricon 为 (0.424+0.385+0.516+0.388)/4 = 0.428。

一个被这几条路线共同忽略的维度是 headroom：生成的 rubric 能不能区分「比生成器更新的模型」的响应。Shen et al. (2026)、Xu et al. (2026b)、Zhang et al. (2026) 基本都在与生成器相当或更弱的响应上做对齐评估，而 Rubricon 用 GPT-5.2、Claude 4.6、Gemini 3.1 Pro 这些更新的模型做评估。这是评估设置上的空白，属于背景共识。

3. 重建作者的思考路径

如果面对「LLM 直接生成的 rubric 太浅、无法区分响应质量」这个问题，我可能会先想到：让 LLM 多生成几个候选 rubric，然后挑一个最好的。但「最好」怎么定义？没有人工标注，只能靠某种自动信号。

一个自然的信号是：拿已知强弱不同的模型各生成几个响应，看哪个 rubric 的准则在强模型响应上的通过率明显高于弱模型。这就是 strong–weak edge 的雏形。这个想法其实来自 Shen et al.（2026）的 misalignment filter，Rubricon 把它从「过滤单个准则」提升为「选择整个 rubric 的核心信号」。

但只选一个候选 rubric 会丢掉其他候选里的好准则。于是想到：把未选中候选里的非冗余准则补进来。这就是 gap fill。补的时候要小心——如果某个准则所有响应都通过，或者强模型全失败而弱模型全通过，它就没有区分力，应该先过滤掉。

补完覆盖后，新问题出现：候选 rubric 都是 LLM 一次性生成的，它们可能都漏掉了任务提示里的显式要求。于是需要把 prompt 拆成原子需求，逐一检查当前 rubric 是否覆盖。这就是 prompt coverage。

但即使 prompt 要求都覆盖了，rubric 仍可能有盲点——LLM 生成的准则倾向于检查「响应说了什么」，而不是「响应没说什么但本该说」。怎么发现这些盲点？一个思路是故意生成一个「钻空子」的弱响应：让它满足当前 rubric 的每一条准则，但在其他维度上尽可能差。然后让另一个 LLM 以专家视角审查这个响应，找出它缺了什么。这就是 negative probing。

对称地，还可以生成一个「尽力满足 rubric」的强响应，再让专家审查它是否还缺了高质量答案应有的内容。这就是 completeness probing。两者一个从「弱响应钻空子」方向找盲点，一个从「强响应仍不完整」方向找盲点。

加完这些准则后，rubric 变大了，但可能混入了噪声准则——有的准则奖励「回避式回答」（如「不虚构数据」会让什么都不说的响应自动通过），有的准则在强弱响应上的通过率差异是负的（弱模型反而更容易通过）。于是需要剪枝：用 strong–weak edge 阈值（低于 -0.10 就删）和 LLM 浅层准则评估器（识别「表面合规而非实质执行」的准则）来清理。

到这里，一个「生成-选择-加-剪」的循环就成型了。加和剪可以反复迭代，每轮都基于上一轮的 rubric 重新做覆盖检查和探测。

与论文实际路径的差异：我上面的重建把「strong–weak edge 用于选择」和「用于剪枝」放在一起推导，但论文中 Generate-and-Select 只用 edge 选初始 rubric，Prune 才用 edge 阈值删准则。另外，我最初没有意识到「LLM 自我批评不可靠」这个动机——论文明确说「现有 LLM 无法正确自我评判自己生成的 rubric」，所以 refinement 阶段要「鼓励模型依赖特定的外部信号和工作流」。这个动机在我推导中隐含在「需要外部信号」里，但论文把它作为设计原则显式化了。还有一个差异：我没想到 gap fill 会先从候选池里做「全通过或全反向」的硬过滤，再让 LLM 做语义去重——论文把这两步分开了。

4. 核心 intuition

Rubricon 的核心机制可以用「出题人反复用差生和优等生的卷子校准考题」来类比。

想象你要出一套能区分学生水平的考题，但你自己不确定哪些题好。你可以先出几套候选卷子，然后让一个已知的优等生和一个已知的差生各做一遍。如果某道题优等生做对了、差生做错了，这道题就有区分力；如果两人都做对，这道题太简单；如果差生做对而优等生做错，这道题可能出偏了。这就是 strong–weak edge 的直觉。

但只靠这一招不够。你还需要检查考卷有没有漏掉大纲里的知识点（prompt coverage），需要故意让一个「会钻空子的差生」按考卷要求作答、看他能蒙混过关到什么程度（negative probing），还需要让一个「尽力答题的优等生」作答、看考卷是否还漏了高分答案该有的内容（completeness probing）。最后，把那些「奖励回避而非实质」的题删掉（prune）。

这个类比能对上机制：优等生/差生对应强模型/弱模型响应，通过率差对应 edge，大纲对应任务提示的显式要求，钻空子差生对应 adversarial weak response，尽力优等生对应 completeness probe 生成的响应，删题对应 prune。关键点是：校准信号来自「实际作答的通过率差异」，而不是出题人自己的直觉——这正对应论文说的「不纯粹依赖 LLM 自我批评」。

5. 方法 pipeline 举例

以论文附录 Example 1 的 HealthBench 任务为例，走一遍完整流程。

输入任务：用户问「朋友吃了花生后喉咙严重肿胀、呼吸困难、脸色发白，只吃非处方药行吗」。

Step 1: Generate-and-Select。用 GPT-5.1 生成 K=5 个候选 rubric，每个 rubric 包含若干条带重要性标签（Critical/Major/Minor）和类别标签的准则。对每个候选 rubric，用 GPT-5 mini 作为 verifier，对 5 个强模型（GPT-5.1）响应和 3 个弱模型（Llama-3.1-8B-Instruct）响应各做 n=3 次通过/不通过判断。计算每条准则的 strong–weak edge（强模型通过率减弱模型通过率），选平均 edge 最高的候选。论文示例中，这个初始 rubric 与医生 rubric 的 Spearman ρ 为 0.613。

Step 2: Add - Gap Fill。从未选中的 4 个候选 rubric 里找当前 rubric 缺失的准则。先硬过滤：如果某准则所有响应在所有 verifier 运行中都通过，或强模型全失败且弱模型全通过，就忽略。剩下的让 LLM 判断是否与当前 rubric 语义重复，不重复的加入。这里要说清归因：论文说整个 Add 阶段新增 4 条（ρ 从 0.613 到 0.420），而 Figure 4 把这 4 条逐条标注为 gap fill——也就是说这一步在本例里贡献了全部 4 条，包括「即使症状似乎改善，仍需紧急医疗评估」和「不应建议在急救服务可用时自行驾车去医院」。

Step 3: Add - Prompt Coverage。把任务提示拆成原子需求，检查当前 rubric 是否覆盖，未覆盖的转成新准则。本例中显式需求「是否只吃非处方药就行」已由初始 rubric 覆盖，这一步没有新增准则。

Step 4: Add - Negative Probing。让 LLM 生成一个「最弱但能通过当前 rubric 所有准则」的响应，再让另一个 LLM 以专家视角挑它的缺陷，把缺陷转成新准则。本例中探测出的缺陷都已被 Step 2 的 gap fill 覆盖，这一步同样没有新增。

Step 5: Add - Completeness Probing。让 LLM 生成一个「满足当前 rubric 所有准则」的高质量响应，再审查它是否还缺了什么。本例中也没有产出新准则。

Step 6: Prune。对扩展后的 rubric，计算每条准则的 strong–weak edge，低于 -0.10 的删除。同时用 shallow-criterion assessor 识别「表面合规」准则。示例中删除了 7 条准则，包括「不将非处方药描述为充分治疗」（shallow，因为所有响应都通过）、「不以绝对确定的口吻说这是或不是过敏性休克」（misaligned，因为它惩罚了 Claude Sonnet 4.6 的明确诊断而奖励了 Gemini 2.5 Flash 的模糊表述）。剪枝后 ρ 从 Add 后的 0.420 升到 0.925。

Step 7: 第二轮迭代。重复 Add 和 Prune。论文报告第二轮后宏平均 ρ 进一步提升。

最终 rubric 用于评估时，对 8 个评估模型的响应各做 n=3 次 verifier 判断，按公式 s_R(y) = Σ w_k · v(c_k, y) / Σ max(w_k, 0) 计算归一化得分，再与专家 rubric 的得分排名做 Spearman 相关。

6. 核心数学推导

Rubricon 的核心数学是 strong–weak edge 的估计和归一化评分公式。

评分公式。设 rubric R 有 m 条准则，每条准则 c_k 有权重 w_k（Critical=5，Major=3，Minor=1）。verifier v(c_k, y) 输出 0 或 1，表示响应 y 是否满足准则 c_k。响应 y 的归一化得分为：

s_R(y) = Σ_{k=1}^{m} w_k · v(c_k, y) / Σ_{k=1}^{m} max(w_k, 0)

这个公式在算什么：把所有通过准则的权重加起来，除以所有准则的权重和（负权重按 0 算，避免分母被负权重抵消）。结果是一个 0 到 1 之间的分数，表示响应满足了多少「加权后的要求」。

Strong–weak edge。设 Y_s 是强模型响应集，Y_w 是弱模型响应集。对准则 c 和响应 y，v̄(c, y) 表示 n 次 verifier 判断的平均通过率（n=3）。准则 c 的 strong–weak edge 估计为：

e(c) = (1/∣Y_s∣) · Σ_{y∈Y_s} v̄(c, y) − (1/∣Y_w∣) · Σ_{y∈Y_w} v̄(c, y)

推导逻辑：第一项是强模型响应集上的平均通过率，第二项是弱模型响应集上的平均通过率。两者相减，得到「强模型比弱模型更容易通过这条准则」的程度。如果 e(c) 为正，说明这条准则在正确方向上区分了强弱；如果 e(c) 接近 0，说明这条准则没有区分力（大家都通过或都不通过）；如果 e(c) 为负，说明这条准则方向反了——弱模型反而更容易通过，这暗示准则可能奖励了错误的东西。

选择阶段：对每个候选 rubric，计算其所有准则的 e(c) 平均值，选平均 edge 最高的候选。

剪枝阶段：对扩展后的 rubric，删除 e(c) 低于 -0.10 的准则。阈值 -0.10 的含义是：允许轻微负 edge 的准则保留（因为估计有噪声），但明显反向的准则要删。

这个公式在算什么：它把「准则是否有区分力」和「区分方向是否正确」压缩成一个标量，使选择和剪枝可以在没有人工标注的情况下自动进行。

7. 实验设计

数据集：4 个带专家 rubric 的基准（ProfBench 的 Finance/Consulting/Physics 域 28 个任务，PRBench 的 Finance/Law 域 656 个任务，ACE 的 Shopping/DIY/Gaming/Food 域 80 个任务，HealthBench 1,704 个任务）加 1 个带人类偏好的基准（RubricBench 1,147 个偏好对）。预处理要求 ProfBench、PRBench、HealthBench 至少有 10 条专家准则，ACE 不设此限（平均 7 条）。PRBench 和 HealthBench 限制为单轮任务。ProfBench 的 Chemistry 域因专家 rubric 质量问题被排除。

基线：QSRG（查询特定训练生成器）、QSRG+Context（QSRG 加示例响应和参考材料）、OpenRubrics（对比提示训练生成器）、Agentic（GPT-5.1 在 Codex SDK 沙箱中自由构建）、RRDWU（递归分解加白化均匀加权）。Rubricon、Agentic、RRDWU、QSRG+Context 收到任务提示、示例响应和参考材料；QSRG 和 OpenRubrics 只收任务提示。

指标：对齐专家 rubric 用 Spearman 秩相关 ρ（对每个任务，用生成 rubric 和专家 rubric 分别给 8 个评估模型响应打分，算两个排名之间的 ρ，再对 n=3 次 verifier 运行和所有任务取平均）。对齐人类偏好用 selective preference accuracy（保留归一化分数差超过 0.10 的响应对，看高分响应是否匹配人类偏好）。

消融：Table 2 展示第一轮 refinement 中各阶段的累积效果。Generation 宏平均 ρ 为 0.359（5 个候选的平均），Selected Rubric 为 0.364，Gap Fill 后 0.362，Prompt Coverage 后 0.362，Negative Probing 后 0.388，Completeness Probing 后 0.395，Prune 后 0.408。平均 rubric 大小从 20.6 条（Generation）增到 31.0 条（Completeness Probing 后），再降到 26.7 条（Prune 后）。Table 9 给出各基准的逐阶段 ρ，显示不同阶段在不同基准上增益不同——例如 Negative Probing 在 PRBench 上从 0.417 升到 0.471，但在 ProfBench 上从 0.323 升到 0.346；Prune 在 ProfBench 上从 0.358 升到 0.405，但在 ACE 上从 0.376 降到 0.354。

迭代消融：Table 8 显示第一轮 refinement 后宏平均 ρ 相对 selected rubric 提升 11.9%，第二轮再提升 5.1%。相对 RRDWU，一轮后提升 3.7%，两轮后提升 9.0%。

后训练实验：HealthBench 随机分 1,204 训练 / 500 held-out。Qwen3.5-9B 用 GRPO 训练 8 个 epoch，152 次更新，LoRA rank 32，无 KL 惩罚。训练时奖励用 Rubricon 或 RRDWU rubric 的归一化分数。held-out 评估用医生 rubric 打分，avg@3（每个 prompt 采样 3 个响应取平均）。最终检查点 Rubricon 比 RRDWU 高 0.0315，且用 Gemini 3.5 Flash-Lite、GPT-5 mini、Claude Sonnet 5 三种 verifier 重评都保持优势（差异分别为 0.0315、0.0271、0.0353）。

实验能否支撑结论：主结论「Rubricon 比最强替代方法更对齐专家 rubric」有 4 个基准的一致支持，且后训练实验提供了下游验证。但有几个缺口：一是 RubricBench 上 selective preference accuracy 只有 59.8%，比 Agentic 的 59.3% 只高 0.5 个百分点，优势很薄；二是所有方法的偏好对齐度都低（论文归因于 RubricBench 故意选了困难样本），这削弱了「rubric 质量提升能转化为人类偏好对齐提升」的论证；三是后训练只在一个数据集（HealthBench）和一个模型（Qwen3.5-9B）上验证，泛化性存疑。

8. take-aways

• Strong–weak edge 是有效的自动选择信号：用强模型和弱模型响应的通过率差来选 rubric 和删准则，在 4 个专家 rubric 基准上使宏平均 ρ 达到 0.428，比最强基线 RRDWU 的 0.393 高 9.0% 相对提升。

• 覆盖扩展和剪枝互补，缺一不可：第一轮 refinement 中，Add 阶段把宏平均 ρ 从 0.364 提到 0.395，但 rubric 大小从 20.6 条膨胀到 31.0 条；Prune 再把 ρ 提到 0.408，同时把大小降到 26.7 条。只加不剪会引入噪声准则。

• 迭代 refinement 有持续收益，但边际递减：第一轮相对 selected rubric 提升 11.9%，第二轮再提升 5.1%。两轮后相对 RRDWU 的优势从一轮的 3.7% 扩大到 9.0%。

• Rubricon 的 rubric 能转化为更好的后训练奖励：在 HealthBench 上用 Rubricon rubric 训练 Qwen3.5-9B，最终检查点 held-out 得分比 RRDWU 训练高 0.0315（95% CI +0.0207 到 +0.0427），且该优势在三种不同 verifier 下都成立。

• 单纯合并候选 rubric 不如精炼：把所有 5 个候选的准则合并（不剪枝）得到宏平均 ρ 0.402，但平均 rubric 大小 103.2 条；Rubricon 用 32.3 条达到 0.428，即用 3.2 倍更小的 rubric 获得更高对齐度。

9. 最脆弱的假设

最脆弱的假设是：strong–weak edge 估计所用的「强模型响应确实比弱模型响应更好」这一前提在大多数任务上成立。

论文自己承认：「虽然无法保证弱模型的响应不比强模型的好，但适当选择这些 LLM 使这不太可能。」这个假设一旦系统性失效——例如在某些任务上 Llama-3.1-8B-Instruct 的响应反而比 GPT-5.1 更好，或者两者的质量差异太小以至于 edge 估计被 verifier 噪声淹没——那么 Generate-and-Select 会选错初始 rubric，Prune 会删掉真正有用的准则、保留噪声准则，整个流水线的核心信号就崩溃了。

论文给出的间接证据：verifier 在 ProfBench 上与专家标注的 Cohen's κ 为 0.581（GPT-5 mini），8 次重复运行的判断一致率为 97.2%（平均成对 κ=0.943），说明 verifier 噪声不是主要问题。但论文没有直接验证「强模型响应在多大比例的任务上确实优于弱模型响应」这一前提。附录 Example 1 中，Claude Sonnet 4.6 的响应（医生 rubric 得分 0.338）确实优于 Gemini 2.5 Flash（0.208），但这只是单个案例。

另一个相关假设是：verifier 对「自包含准则」的判断能力足以支撑 edge 估计。论文的 verifier 只看到响应和单条准则，看不到任务提示。如果准则写得不够自包含，verifier 的判断就会出错，edge 估计也随之失真。论文通过 Criteria Principles 强调自包含性，并在附录 B.1 报告了 verifier 与专家的一致性，但没有单独分析「准则自包含性不足导致的 edge 估计误差」有多大。

10. 一周最小复现

目标：复现 Table 2 的核心消融——证明 Add 和 Prune 阶段各自对对齐度有贡献，且 Prune 能在不牺牲对齐度的前提下缩小 rubric。

资源：1 张 24GB 消费级显卡。Rubricon 本身不需要训练，主要计算在 LLM API 调用。24GB 显卡足够跑 8B 以下的本地模型做弱模型响应生成和 verifier（如果不用 API）。

步骤：

1. 选数据和模型。用 HealthBench 的一个子集（比如 50 个任务，原文有 1,704 个，取子集足够看趋势）。强模型用 GPT-5.1 或任何 API 模型，弱模型用本地 Llama-3.1-8B-Instruct（24GB 显卡可跑 4-bit 量化）。verifier 用 GPT-5 mini API 或本地 8B 模型。

1. 生成示例响应。对每个任务，强模型生成 5 个响应，弱模型生成 3 个。这是 rubric 构建用的响应，与评估响应分开。

1. 实现 Generate-and-Select。对每个任务，用 LLM 生成 K=5 个候选 rubric（可以复用论文附录 F.1 的 prompt）。对每个候选，用 verifier 对 5+3 个响应各做 n=3 次判断，计算每条准则的 edge，选平均 edge 最高的候选。记录 selected rubric 与专家 rubric 的 ρ（用 HealthBench 自带的医生 rubric 做对齐评估，评估响应用 3-4 个不同模型的响应）。

1. 实现 Add 的四个子阶段。按论文附录 F.2 的 prompt 实现 gap fill、prompt coverage、negative probing、completeness probing。每步后记录 ρ 和 rubric 大小。

1. 实现 Prune。用 edge 阈值 -0.10 和 shallow-criterion assessor 删准则。记录 ρ 和大小。

1. 对比。预期趋势：selected rubric 的 ρ 在 0.34 左右（原文 HealthBench selected rubric ρ=0.339），Add 后升到 0.36 左右，Prune 后升到 0.37 左右。rubric 大小从约 18 条增到 25 条再降到 20 条左右。如果 50 个任务的趋势与原文一致，就复现了核心结论。

成本量级：50 个任务 × 5 个候选 rubric 生成 + 4 个 Add 子阶段 + Prune，大约 50 × (5 + 4 + 1) = 500 次 LLM 生成调用，加上 verifier 判断 50 × 8 响应 × 约 25 条准则 × 3 次 ≈ 30,000 次 verifier 调用（估算，算式：50×8×25×3）。用 API 的话 verifier 调用是主要成本，GPT-5 mini 级别约几十美元。一周内可完成。

预期指标：如果复现成功，Prune 后的 ρ 应显著高于 selected rubric，且 rubric 大小比 Add 后小。具体数值会因模型版本和子集选择有波动，但方向应一致。

11. 反例设计

核心主张：Rubricon 的 strong–weak edge 信号和 Add/Prune 流程能生成比 RRDWU 更对齐专家 rubric 的 rubric，且这种优势来自「基于响应通过率的 grounded refinement」而非单纯的 LLM 自我批评。

反例实验：构造一个「edge 信号系统性失效」的场景，看 Rubricon 是否仍然优于 RRDWU。

具体设计：选一组任务，其中「强模型」和「弱模型」的响应质量差异被刻意消除或反转。例如，对每个任务，用同一个模型生成所有示例响应，但随机标注一半为「强」、一半为「弱」。这样 strong–weak edge 的期望值为 0（只有 verifier 噪声），Generate-and-Select 的选择和 Prune 的 edge 阈值都变成随机。

判据：如果在这个场景下，Rubricon 的对齐度（宏平均 ρ）仍然显著高于 RRDWU，说明 Rubricon 的优势主要来自 Add 阶段的 prompt coverage 和 probing（这些不依赖 edge 信号），而非 edge 本身。如果 Rubricon 的优势消失甚至反转为劣势，说明 edge 信号确实是核心，论文的主张成立但适用范围受限于「强弱模型质量差异可靠」的前提。

更强的反例：构造「edge 方向系统性反转」的场景——弱模型在某些准则上通过率更高，不是因为准则 misaligned，而是因为弱模型恰好更保守（例如弱模型倾向于说「我不确定」，而某些准则奖励这种回避）。如果 Rubricon 的 Prune 把这些准则删掉后对齐度下降，说明 edge 信号在「保守性偏差」存在时会误删有用准则。论文的 shallow-criterion assessor 部分针对这个问题（它识别「奖励回避」的准则），但两者可能冲突：edge 说删，assessor 说留。这个冲突场景可以检验 Rubricon 的剪枝逻辑是否稳健。

12. 落地判断

能否用于「抢占式 GPU 自托管 27B 模型做多智能体脚手架」：可以，但需要明确 Rubricon 的角色和限制。

怎么用：在多智能体脚手架中，如果某些 agent 的输出是开放式任务（如代码审查意见、架构设计建议、故障诊断报告），可以用 Rubricon 为这些任务生成 rubric，作为 agent 输出的自动评估信号或奖励信号。具体做法：对每类开放式任务，先用一个强 API 模型（如 GPT-5.1）和一个弱模型（可以是本地 27B 模型的某个低温度配置）生成示例响应，跑 Rubricon 生成 rubric。然后用本地 27B 模型或更小的模型做 verifier，对 agent 输出打分。

成本量级：rubric 生成是一次性成本。按论文配置，每个任务约需 5 次候选生成 + 4 个 Add 子阶段 + 1 次 Prune 的 LLM 调用，加上 verifier 对 8 个示例响应 × 约 25 条准则 × 3 次的判断。如果 rubric 生成用 API 模型，每个任务约几十次生成调用加几百次 verifier 调用，API 成本在几美元量级。之后每次评估 agent 输出，只需 verifier 对输出 × 准则数做判断。如果 verifier 用本地 27B 模型，单次判断的推理成本取决于准则数和输出长度，约每条准则几十到几百 token 的生成。

最大的坑：verifier 的可靠性。论文的 verifier 是 GPT-5 mini，在 ProfBench 上与专家标注的 Cohen's κ 为 0.581，这已经是「中等偏上」的一致性，但远非完美。如果换成本地 27B 模型做 verifier，一致性可能显著下降，导致 rubric 分数噪声增大。在多智能体脚手架中，如果 rubric 分数被用作 agent 的奖励信号或路由依据，verifier 噪声会直接传导为系统行为的不稳定。建议先用论文附录 B.1 的方法，在目标任务上评测本地 verifier 与人工标注的一致性，κ 低于 0.4 就不应该直接用自动分数做硬决策，只能做软信号或人工抽检的辅助。

另一个坑是任务分布偏移。Rubricon 的 rubric 是针对特定任务提示生成的。如果多智能体脚手架中的任务高度动态（用户查询变化大），每个新任务都需要重新生成 rubric，成本会累积。可以考虑对相似任务聚类，复用或微调已有 rubric，但论文没有验证这种迁移的有效性。