Deogen：面向策略推理的自动基准生成

1. 问题与价值

这篇论文的贡献类型是「做到」为主、「知道」为辅：它提出并验证了一个自动生成道义推理基准的方法 DeoGen，同时通过评测揭示了当前模型在「信息不足时应弃权」这一能力上的系统性缺陷。

它解决的问题是：语言模型越来越多地被部署在受监管场景中，需要把给定规则应用到事实情境上并给出判定，这种能力叫道义推理。评测这种能力目前主要靠人工构造数据集，成本高、难以扩展，而且随着模型能力提升，已有基准会饱和。论文给出的饱和证据是 ConditionalQA 上已有智能体达到 99.2% 的 soundness。

DeoGen 的受益方式分两层。对基准构建者，它把「人工标注 ground-truth」变成「自动形式化 + 决策树枚举 + SMT 证明」，一个源政策文档可以生成组合数量级的条目。对模型评测者，它提供了两个此前手工基准难以系统覆盖的维度：一是「信息不足必须弃权」的 NEI 场景，二是可参数化控制的事实数量、截断深度和结构多样性。

评测规模锚点：四个源政策（IRS 税法典若干节、AFL 计划文档、AFL 保险凭证、耶鲁招聘手册），生成 263,795 个确定判定条目和 187,252 个 NEI 条目，合计 451,047 个；评测抽样 1,639 条，覆盖五个模型。

主结果反差：在确定判定条目上，五个模型平均正确率在 75.1% 到 92.5% 之间；在 NEI 条目上，正确率骤降到 4.0% 到 40.0%。最强的弃权模型 GPT-5.5 也只有 40.0%，而它在确定条目上是 89.2%。这个反差是论文最核心的发现：模型不是不会应用规则，而是不会识别「规则在上下文中完整给出、但事实不足以推出判定」的逻辑欠定情形。

一个能说明粒度问题的例子：Claude Sonnet 5 在一个长度为 38 的 AFL 条目上，只被告知某人没有提供自己一半以上的抚养费，就推断「这意味着纳税人很可能提供了抚养费」并给出判定。这里基线模型不是完全没读规则，而是在缺失条件处用默认假设填补了缺口——这正是 DeoGen 的 NEI 条目专门构造出来捕捉的失败模式。

2. 已有工作的不足

在 DeoGen 之前，道义推理基准的代表性工作是 ConditionalQA、RuleBench、RuleArena 和 DeonticBench。ConditionalQA 是第一个测试「政策文档是否支持某个主张，还是该主张依赖未陈述条件」的基准；RuleBench 和 RuleArena 把范围扩展到显式规则应用，覆盖内容审核、关系抽取、航空行李费和税务计算等场景；DeonticBench 把税务、移民、住房、航空政策等多个领域统一到一个基准下。

这些工作的共同不足是固定且手工构造。具体来说有两个环节不够：

第一，条目生成环节不可扩展。手工构造意味着每新增一个条目都要人来写情境、核对判定，成本随规模线性增长，而且没有形式化保证标签正确。论文指出人工标注昂贵、耗时、易错，LLM 生成的样本也可能包含错误标签或细微的逻辑不一致。这是背景共识，在论文发表前学界已经知道。

第二，NEI 场景的覆盖是零散而非系统性的。ConditionalQA 虽然引入了「条件未陈述」这一类答案，但它的条目是手工挑选的，无法保证对「哪些事实组合恰好不蕴含判定」做系统枚举。本文发现，正是这种系统性枚举暴露了模型在 NEI 上的崩溃——这不是已有工作声称的不足，而是 DeoGen 通过形式化方法才得以量化的现象。

另外有一条被比较的另一条路线：基于逻辑的法律建模传统，如 Sergot 等人 1986 年把英国国籍法实现为可执行逻辑程序，以及 Catala 语言把成文法直接编译成可验证代码。这条路线正确性可证明，但覆盖范围受限于专家手工编码的工作量。DeoGen 用自动形式化绕过了部分手工劳动，但论文也承认实验中形式化器是专有的，且每个规范都经过人工复核。

3. 重建作者的思考路径

如果面对第 2 项的不足，我大概会这样想。

起点是：手工基准的瓶颈在「给每个情境标注 ground-truth」。要自动化，就得让 ground-truth 从某个形式对象中机械地推出来。数学和代码基准能做自动生成，是因为问题本身有形式定义，符号方法可以枚举任务。道义推理的源材料是非结构化的自然语言规则，没有现成的符号抓手。

第一个念头是把自然语言政策翻译成一阶逻辑或 SMT 公式。这一步有现成的工作可借，即自动形式化。翻译完之后，给定一个事实集合 F，判定就是检查 P ∪ F 是否蕴含 verdict 或 ¬verdict。这直接给出三分类：Yes、No、NEI。

但光有形式化还不够。如果只是随机采样事实集合，会生成大量无结构、重复或平凡的场景。需要一种结构来系统地枚举「哪些事实组合值得问」。决策树是一个自然的选择：每个内部节点问一个条件，边是可能的回答，从根到叶的路径就是一个事实模式。这样路径上的回答自动构成 F，叶子的标签就是判定。

走到这里会撞上第一个矛盾：决策树如果只是把 SMT 公式的每个变量都展开，会爆炸。需要剪枝。一个变量如果它的值无论如何都不改变 verdict，就不该出现在树上。这引出了「贪心选择变量以最小化估计子树深度」和「剪掉对 verdict 无影响的变量」这两个设计。

第二个矛盾出现在处理派生条件时。政策里很多条件是定义在其他条件之上的，比如 AFL 计划里的「合格长期护理保费」要按 IRS §213(d)(10) 的年龄分段阈值来判定。如果树的某个节点问「这笔保费是否合格」，它不能直接回答，必须展开成一个子树，子树里问的是年龄和保费金额这些底层条件。这意味着树不是单一层次的，而是嵌套的。

第三个矛盾是数值变量。布尔变量只有两个取值，整数和实数有无限多个。不能枚举所有数值，只能按政策中出现的阈值把数域划分成区间，每个区间选一个代表值。但这里有个陷阱：如果两个数值变量通过共享原子关联，比如 ppy = 65 - taxpayerAge，分别独立枚举会生成不可能的组合。所以关联变量必须联合枚举。

走到这一步，树已经能生成路径了，但每条路径能不能直接当基准条目？不能。因为子树是独立编译的，两条路径可能各自一致、合起来矛盾。比如 §152(c) 的 qualifying-child 子树问「这个人和纳税人的关系」，§152(d) 的 qualifying-relative 子树也问同样的问题，独立分支可能让一条路径同时断言这个人是 child 又是 sibling。所以每条路径在发布前必须用 SMT 求解器证明两件事：P ∪ F(π) 一致，且 P ∪ F(π) 蕴含记录的标签。NEI 条目则要证明存在两个不同的 verdict 值都能与 P ∪ F(π) 一致。

与论文实际路径的差异：我猜的路径和论文实际走的路在大方向上一致，但有一个关键分叉我一开始没想到。我倾向于把「自动形式化」当作一个已解决的前置步骤，直接假设 SMT 公式是给定的。论文实际花了相当篇幅处理形式化之后的桥接问题：自动形式化器把不同条款翻译成逻辑上正确但彼此脱节的公式，比如 AFL 的 §152(c)(1)(B) 和 §9.04(c) 都涉及「同一主要居所」，但形式化后两个变量从未被关联。论文在人工复核中识别并手动添加了 33 个 bridge asserts。这说明形式化的难点不在单句翻译，而在跨条款的变量同一性——这是我猜的路径里没有预见到的。

4. 核心 intuition

用一个日常类比：DeoGen 的核心机制像一个「规则体检的决策树问卷」。

想象一个诊所的前台分诊系统。护士手里有一本厚厚的保险报销规则手册，病人来了之后，护士按一个固定的问题树逐项询问：有没有转诊单？是否在保险网络内？是否属于既有疾病？每问一个问题，就沿着树往下走一层。走到叶子，护士能确定地说「能报销」或「不能报销」。但如果病人只回答了一半问题就走掉了，护士手里只有部分信息——这时候正确的做法不是说「能」或「不能」，而是说「信息不够，无法判定」。

这个类比对应的机制是：决策树的每一条根到叶路径是一组完整的事实，足以推出判定；每一条根到内部节点的路径是一组不完整的事实，逻辑上不蕴含任何判定。DeoGen 的价值在于它把「哪些事实组合恰好不够」这个问题从人工判断变成了树的拓扑性质——内部节点路径天然就是 NEI 场景，不需要人来逐个设计。这解释了为什么它能规模化：树的路径数随深度组合增长，而每条路径的标签由 SMT 证明保证，不需要人工核对。

类比里「护士按固定问题树询问」对应 DeoGen 的贪心变量选择；「病人中途走掉」对应 NEI 路径；「手册规则」对应形式化后的 SMT 公式。关键的对上之处在于：NEI 不是「规则没写清楚」，而是「规则写清楚了，但事实没给够」——就像护士手册是完整的，只是病人没回答完问题。

5. 方法 pipeline 举例

以论文图 1 的停车政策为例，走一遍完整流程。

输入的自然语言政策是：「一辆车只有在以下情况下才被授权在许可区停车：(i) 展示有效停车许可；(ii) 注册到该区域的一个地址。」

第一步，自动形式化。把政策翻译成 SMT 公式。两个原子命题：validPermit（展示有效许可）和 localRegistered（注册在该区域）。规则是 (validPermit ∧ localRegistered) → authPark。verdict 原子是 authPark。

第二步，编译决策树。Z3 枚举所有与 P 一致的赋值组合。树的根节点选 validPermit，因为它是 authPark 的必要条件之一。根节点有两条边：N 和 Y。走 N 边时，validPermit = false，此时无论 localRegistered 取什么值，authPark 都必须是 false，所以 N 边直接连到叶子，标签是 authPark = No。走 Y 边时，validPermit = true，还需要问 localRegistered，所以 Y 边连到内部节点 localRegistered。这个节点有两条边：N 边连到叶子 authPark = No，Y 边连到叶子 authPark = Yes。

第三步，枚举路径并生成条目。树有四条路径：

• 路径 1：validPermit = N，到叶子。事实是「车辆没有许可」。判定是 No。这是确定条目。
• 路径 2：validPermit = Y，localRegistered = N，到叶子。事实是「有许可，未注册」。判定是 No。确定条目。
• 路径 3：validPermit = Y，localRegistered = Y，到叶子。事实是「有许可，已注册」。判定是 Yes。确定条目。
• 路径 4：validPermit = Y，停在 localRegistered 这个内部节点，不继续走。事实只有「有许可」。判定是 NEI。这是欠定条目。

第四步，认证。对路径 3，SMT 求解器检查 P ∪ {validPermit = true, localRegistered = true} 是否一致（是），以及是否蕴含 authPark = Yes（是）。对路径 4，求解器检查是否存在 authPark = Yes 和 authPark = No 两种赋值都能与 P ∪ {validPermit = true} 一致（是），所以确认为 NEI。

第五步，渲染。把事实用自然语言写出，附上来源条款标签。例如路径 4 渲染成：「事实：车辆展示有效停车许可。问题：车辆是否被授权在许可区停车？可选项：是 / 否 / 信息不足。」正确答案是「信息不足」。

6. 核心数学推导

核心公式是论文第 2.2 节的判定函数。先解释符号。

P 是政策的有限公式集合，每个公式对应源文本的一个条款。F 是事实模式，即对 P 中原子的一个有限赋值集合。verdict 是选定的判定原子。P ∪ F ⊢ verdict 表示「P 和 F 合起来逻辑蕴含 verdict 为真」，P ∪ F ⊢ ¬verdict 表示「蕴含 verdict 为假」。

判定函数定义为：

J(P, F) = Yes 当 P ∪ F ⊢ verdict； J(P, F) = No 当 P ∪ F ⊢ ¬verdict； J(P, F) = NEI 其他情况。

这个定义在算什么：它把「给定政策和事实，应该给出什么判定」这个问题形式化为逻辑蕴含关系。Yes 和 No 分别对应 verdict 原子被强制为真或假，NEI 对应 verdict 原子既不被强制为真也不被强制为假——即存在两种赋值都满足 P ∪ F，一种让 verdict 为真，一种让 verdict 为假。

NEI 的等价刻画是论文第 3.3 节给出的认证条件：一个 NEI 条目只有在 Z3 找到两个不同的值 a ≠ b，使得 P ∪ F(π) ∪ {v = a} 和 P ∪ F(π) ∪ {v = b} 都可满足时才发布。这正好是「verdict 不被强制」的形式化表达。

确定条目的认证条件是：P ∪ F(π) ⊬ ⊥ 且 P ∪ F(π) ⊢ v = ℓ。第一个条件说事实和政策不矛盾，第二个条件说记录的标签 ℓ 是逻辑必然的。第二个条件的实际检查方式是证明 P ∪ F(π) ∪ {v ≠ ℓ} 不可满足——如果假设 v 不等于 ℓ 会导致矛盾，那么 v 必须等于 ℓ。

这个公式是整个方法正确性的基石：它把「ground-truth 标签」从人工判断变成了可机械验证的 SMT 查询。决策树只是枚举路径的工具，真正保证标签正确的是这个蕴含检查。

7. 实验设计

数据集：四个源政策。IRS 税法典的 §§105(b)、125、129、152、213，共 9,156 词、109 个断言；AFL 计划文档，14,527 词、238 个断言；AFL 保险凭证，15,051 词、1,190 个断言；耶鲁招聘研究员政策，2,828 词、11 个断言。从这些政策中选了 12 个判定原子作为 verdict，包括 isDependent、isQualifyingChild、isMedicalCare、isDeductible、appointmentType 等。生成总量是 263,795 个确定条目和 187,252 个 NEI 条目。评测集从每个判定原子的人口里抽最多 100 个确定条目和 100 个 NEI 条目，按事实数量桶（1–10、11–20、21–30、31–40）分层抽样，并对大树的签名类做去重，最终评测集是 1,639 条。

基线模型：两个前沿模型 Claude Sonnet 5 和 GPT-5.5，通过公开 API 查询，关闭扩展推理；三个开源模型 Gemma 4 31B、Gemma 4 E4B、Qwen3.6-35B-A3B，用 vLLM 在单张 NVIDIA H200 上服务，贪心解码，温度 0。

指标：主指标是准确率，分确定条目和 NEI 条目分别报告。确定条目的正确答案是 Yes 或 No；NEI 条目的正确答案是「信息不足」。评分方式是让模型从声明的可选项中选择判定，「信息不足」始终在可选项中。引用指标是 recall 和 precision，针对 IRS 和 AFL 前两个政策。每个条目携带其事实所触及条款的条款标签。论文说「对祖先条款的引用给半权重」，但原文没有进一步说明这个半权重具体如何计入 recall 和 precision 的分子分母——是每条祖先引用计 0.5 分，还是 recall 分母不变、分子加 0.5，原文未给出，无法据此复现评分。这是实验设计部分的一个模糊点。

消融：有三个。一是 few-shot 消融，把图 1c 的示例条目（包括一个 NEI 示例）作为 few-shot 示例加入提示，结果显示三个模型的 NEI 准确率上升 10–13 个百分点，确定条目准确率无显著变化。二是按事实数量分层，图 3 显示准确率随事实数量增加而下降，NEI 的下降更陡。三是非典型年龄消融，把涉及年龄判定的条目分为现实典型和非典型两类，非典型场景占 IRS 和 AFL 中涉及年龄条目的 15%，所有模型在非典型场景上准确率下降 2.3–17.1 个百分点。

实验能否支撑结论：主结论「模型在 NEI 上崩溃」有 1,639 条评测样本和五个模型的一致趋势支撑，且论文报告了二项 95% 置信区间最多 ±3.5 个百分点，所有确定–NEI 差距的 p 值小于 0.001。引用分析的结论「模型引用精确但不完整」有 recall 和 precision 数据支撑。但引用评分的半权重规则不透明，削弱了引用指标的可复现性。人类评测只有 50 条、2 个非专家标注者，样本量小，且标注者自述不熟悉法律文本，这限制了「人类也只有 32% 准确率」这个对比的说服力。

缺什么：没有报告形式化器本身的错误率——自动形式化如果出错，下游所有标签都会系统性偏移，论文只说了「每个规范经过人工复核」，没有量化复核前后有多少修正。没有做跨形式化器的鲁棒性测试。也没有报告模型输出的解析失败率，只在图 4 的注释里提到一个 Qwen3.6 NEI 响应无法解析。

8. take-aways

• 在确定判定条目上，五个模型的平均准确率在 75.1% 到 92.5% 之间，最好的不是前沿模型而是开源 Gemma 4 31B（92.5%），说明在这个任务上模型规模不是唯一决定因素。
• 在 NEI 条目上，所有模型都大幅崩溃，准确率只有 4.0% 到 40.0%；GPT-5.5 是最强弃权者（40.0%），Qwen3.6-35B-A3B 几乎不弃权（4.0%，在 Fellows 上为 0.0%）。
• few-shot 示例（含一个 NEI 演示）能让三个模型的 NEI 准确率上升 10–13 个百分点，但最好的 few-shot 弃权者 GPT-5.5 仍然错过一半 NEI 条目（51.1%），说明问题不只是「不愿弃权」，还有「无法追踪判定依赖的所有条款」。
• 模型引用条款的 precision 在 0.824 到 0.935 之间，但 recall 最高只有 0.293（Claude Sonnet 5），最低 0.162（Gemma 4 E4B）——模型倾向于引用少数明显相关的条款，而不是判定实际依赖的全部条款。
• 非典型但逻辑上合法的年龄场景（如未成年但有配偶）让所有模型准确率下降 2.3–17.1 个百分点，GPT-5.5 下降最多（17.1 个百分点），说明模型即使被明确告知只依据源文本，仍会带入现实世界的规范性假设。

9. 最脆弱的假设

最脆弱的假设是自动形式化的正确性可以靠「专有翻译器 + 人工复核」保证。

整个 DeoGen 的 ground-truth 标签都建立在 SMT 公式正确反映源政策这个前提上。如果形式化器把某个条款翻译错了——比如把「只有 A 且 B 才允许」翻译成「A 或 B 就允许」——那么决策树的所有路径标签都会系统性偏移，评测结果衡量的就不是「模型的道义推理能力」，而是「模型与一个错误形式化的一致程度」。

论文给出的证据是：形式化器是专有的，每个规范都经过人工复核，且在复核中识别并手动添加了 33 个 bridge asserts。这说明了复核确实发现了问题，但论文没有报告复核前形式化器产生了多少错误、错误率是多少、复核是否穷尽。33 个 bridge asserts 是「变量同一性」这一类问题，不代表没有其他类型的翻译错误。如果形式化器在某个条款上犯了语义错误而复核没发现，所有涉及该条款的条目都会被污染。

这个假设一倒，论文的两个主结论都会受影响：确定条目的准确率可能反映的是模型在学一个错误规则；NEI 条目的崩溃可能部分源于形式化不一致而非模型能力缺陷。论文没有做形式化正确性的独立验证，比如让法律专家对形式化后的 SMT 公式做逐条反向翻译检查，或者用多个独立形式化器交叉验证。

10. 一周最小复现

目标：复现「模型在 NEI 条目上显著弱于确定条目」这个核心结论。不需要复现全部四个政策，选一个最小的即可。

第一步，选耶鲁招聘研究员政策（2,828 词、11 个断言、树深 5）。这是四个政策里最小的，确定条目只有 8 个、NEI 条目只有 5 个，评测集就是全部 13 条。如果嫌太小，可以加 IRS 的 isProgramDescribedInDDCA（树深 7，确定 7 个、NEI 9 个）。

第二步，形式化。论文用的形式化器是专有的，无法获取。替代方案是用一个开源 LLM（如 Qwen3.6-35B-A3B 或更小的模型）把政策文本翻译成 SMT-LIB 公式，然后用 Z3 检查一致性。这一步是最大的不确定点：开源模型的形式化质量可能远低于论文的专有翻译器加人工复核。预期需要手动修正明显错误，控制在一天内。

第三步，编译决策树。不需要实现完整的贪心变量选择。对这么小的政策，可以手动列出所有变量，用 Z3 枚举所有满足 P 的赋值组合，然后手工构造决策树。或者更简单：直接枚举所有可能的布尔赋值组合，对每个组合用 Z3 检查 P ∪ F ⊢ verdict、P ∪ F ⊢ ¬verdict、还是两者都不成立。对 11 个断言的政策，变量数大概在 10–20 个，枚举量可控。

第四步，生成条目并评测。用本地部署的 Qwen3.6-35B-A3B（24GB 显卡可以跑量化版）和一个小模型（如 Gemma 4 E4B 或更小的 7B 模型）做零样本评测。提示里给出政策全文、事实列表、可选项（Yes/No/信息不足）。预期指标：确定条目准确率应该在 70–90% 区间，NEI 条目准确率应该显著更低，可能在 0–30% 区间。如果 NEI 准确率没有明显低于确定条目，说明复现失败，需要检查形式化是否正确、NEI 条目是否真的欠定。

第五步，如果时间允许，加一个 few-shot 条件：在提示里加一个 NEI 示例，看 NEI 准确率是否上升。论文报告 Qwen3.6 的 NEI 准确率在 few-shot 后反而从 4.0% 降到 1.5%，所以这个模型可能不是好的 few-shot 测试对象。

一周时间分配：形式化和修正两天，决策树编译和条目生成一天，评测和调试两天，分析和写报告两天。数据规模控制在 20–50 条，足够看出确定和 NEI 的趋势差异。

11. 反例设计

要推翻本文的核心主张——「模型在逻辑欠定场景下系统性无法弃权，且这是道义推理能力的缺陷」——可以设计这样一个实验。

实验：构造一组 NEI 条目，但把「信息不足」这个选项从可选项中移除，只给 Yes 和 No。如果模型在 NEI 条目上的崩溃真的是因为「无法识别逻辑欠定」，那么在移除弃权选项后，模型的表现应该仍然很差——它会随机选 Yes 或 No，准确率接近 50%（对二分类）。但如果模型在移除弃权选项后，对 Yes/No 的选择表现出高度一致的偏向（比如总是选 Yes，或者总是选与某个简单启发式一致的答案），且这种偏向可以用提示词轻易翻转，那就说明问题不在「识别欠定」，而在「模型对弃权选项的偏好设置」。

更尖锐的版本：在 NEI 条目的提示里加一句「如果你不确定，请选择信息不足」，看准确率是否大幅上升。论文的 few-shot 消融已经部分做了这个测试，结果是只上升 10–13 个百分点，最好的模型仍错过一半。但如果换一种措辞——比如「如果事实不足以推出判定，选择信息不足是唯一正确的做法，选择 Yes 或 No 都是错误的」——准确率大幅上升，那就说明模型的能力是有的，只是默认提示没有触发它。这会削弱「系统性无法弃权」的论断，把它降级为「提示敏感性问题」。

判据：如果 (a) 移除弃权选项后模型在 NEI 条目上的 Yes/No 选择不是随机的，而是可以用一个简单特征（如事实数量、最后一个条件的方向）预测；(b) 改变提示措辞能让 NEI 准确率从 40% 以下跃升到 70% 以上，那么本文的核心主张就被推翻了——问题不是道义推理能力缺陷，而是弃权行为的提示工程问题。

论文现有的证据不足以排除这个反例：few-shot 消融只测了一种提示变体，没有系统探索提示措辞对弃权行为的影响。

12. 落地判断

用于「抢占式 GPU 自托管 27B 模型做多智能体脚手架」这个场景，DeoGen 的直接可用性有限，但有一个间接用途值得考虑。

直接用途：如果脚手架里有一个智能体负责「规则合规检查」——比如判断某个操作是否符合预定义的政策——DeoGen 的 NEI 条目可以作为这个智能体的弃权能力测试集。具体做法是：把脚手架的政策文档形式化，生成 NEI 条目，在部署前评测 27B 模型在「信息不足」场景下的弃权率。论文数据显示同量级的 Qwen3.6-35B-A3B 在 NEI 上只有 4.0%，Gemma 4 31B 是 26.7%。27B 模型大概率在这个区间或更低。如果评测发现弃权率低于 30%，就不应该让这个智能体在无人监督的情况下做合规判定。

成本量级：形式化是主要瓶颈。论文用的是专有翻译器加人工复核，33 个 bridge asserts 需要人工识别。对一个自托管场景，形式化一个中等复杂度的政策文档（几千词）预计需要一到两天的人工时间，加上 SMT 求解的计算成本（Z3 枚举和证明，对论文规模的政策在单机上几分钟到几十分钟）。生成条目的边际成本几乎为零。

最大的坑：形式化错误会静默污染所有下游判定。在自托管场景里，没有论文那种「人工复核每个规范」的资源，形式化错误更可能漏过。如果脚手架依赖这个合规智能体做真实决策，一个形式化错误可能比没有合规检查更危险——因为它给错误判定披上了「形式化验证过」的外衣。建议的缓解措施是：只把 DeoGen 用作评测工具，不用作推理时的判定依据；评测结果只用于决定「是否信任这个智能体」，不用于生成 ground-truth 来训练或微调。