跳到正文
返回论文列表
cs.AI提交于 已译

AI 在数学证明中有自己的风格

AI has its own style in mathematical proving

Xiaokai Li · Ziyu Zhou · Qibin Cheng · Yangcheng Wu · An Zeng · Ying Fan

中文摘要

随着大语言模型(large language model)越来越多地生成数学证明,它们是否形成了区别于人类数学家的证明风格仍是一个开放问题。数学家日益担忧大语言模型生成的证明难以解读,使这一问题更加紧迫。这里让三个大语言模型独立重新证明欧几里得《几何原本》全部 465 个命题,并通过 Jaccard 相似度和复杂网络分析,将其引用选择与人类证明基线进行比较。发现 AI 生成的证明与人类证明不同,且这种差异稳定可复现:AI 各次运行之间的平均成对 Jaccard 相似度(约 0.68)几乎是 AI 与人类证明之间(约 0.37)的两倍,跨运行分类一致性也很高。通过细查引用结构,识别出这种差异的具体特征:约 40% 的 AI 引用指向基础元素(定义、公理和公设),而人类证明中仅 13%;即使在定理对定理的引用中,AI 也倾向于引用更远的结果。AI 额外引用中约有一半可追溯到人类证明的上游依赖。这些发现表明,AI 证明风格是一种从基础元素自行构建论证、而非直接引用更晚、更成熟结果的倾向,我们称之为“从地基开始构建”。这些发现为理解 AI 系统如何组织和调用数学知识提供了新视角,对理解 AI 生成证明的可解释性具有启示。

关键要点

  1. 01让三个大语言模型独立重证《几何原本》465 个命题,与人类证明基线对比引用选择。
  2. 02AI 运行间平均 Jaccard 相似度约 0.68,AI 与人类之间约 0.37,差异稳定可复现。
  3. 03约 40% 的 AI 引用指向定义、公理和公设等基础元素,人类证明中仅 13%。
  4. 04AI 额外引用中约一半可追溯到人类证明的上游依赖,体现“从地基开始构建”的风格。

解读

1. 问题与价值

这篇论文要回答的不是“AI 能不能证明一道难题”,而是更结构化的问题:当大语言模型独立重证一个公理化体系中的全部命题时,它引用数学知识的方式是否形成了一种可重复、可识别、区别于人类证明的“证明风格”。

这个问题重要,是因为 AI 生成的数学证明正在从竞赛题走向更复杂的数学文本。原文给出的背景包括:AI 已开始触及开放研究问题,而数学家对 AI 证明的担忧从“能不能证明”转向“是否难以解释”“是否只适合机器而不适合人类阅读”。如果 AI 证明只是正确但结构上不可读,那么它在数学共同体中的可用性会受限。

受益者主要有三类:

  • 数学家:获得一个具体预期——AI 证明可能更频繁回到定义、公设、共同 notions 等基础元素,而不是直接引用成熟定理。
  • 应用开发者:可以把“引用结构”做成证明可读性、审计、摘要或改写工具的特征,而不只依赖自然语言长度或表面措辞。
  • 研究团队:获得一种从引用网络、拓扑层级、祖先依赖和子图连通性刻画证明风格的方法,可迁移到其他数学库或形式化证明环境。

论文的核心价值在于把“AI 证明难读”这一印象转化为可测量对象:引用集合相似度、引用类型比例、引用距离、AI 独有引用是否落在人类证明的上游依赖中、AI 独有引用子图是否更连通。

2. 已有工作的不足

在它之前,相关工作的主要做法是观察 AI 证明与人类证明的表面差异。原文列出的已有发现包括:

  • AI 生成证明更长、更啰嗦。
  • AI 反复停留在局部细节。
  • AI 更偏好程序化、代数化策略,而不是几何化、结构化洞察。
  • AI 更强调问题解决和跨学科整合,而不是方法论阐述。
  • 形式证明可读性研究关注证明步骤组织和前提与被支持步骤之间的距离。

这些工作有价值,但不足很具体:

  1. 它们主要描述“表现”,没有把表现还原为知识调用机制。

例如,证明变长可能来自啰嗦、来自更多中间步骤,也可能来自引用基础元素而非成熟定理。已有观察没有直接说明是哪一种。

  1. 它们缺少可重复的引用集合比较。

如果只比较文本措辞或证明长度,结果容易受 prompt、模型版本、输出格式影响。论文需要的是“每个命题引用了哪些前提”这一结构化记录。

  1. 它们没有充分检验跨运行和跨模型稳定性。

单次 AI 证明差异可能只是随机性。论文通过三个 Claude Opus 4.6 运行、一个 Claude Fable 5.1 运行、一个 GPT-6 Astra 运行来检查风格是否稳定。

  1. 它们没有把证明风格放到公理化系统的整体结构中。

单个证明的差异不足以说明“风格”。论文使用 Euclid 的 465 个命题,把每个证明的引用边汇入一个引用网络,从而观察全局拓扑差异。

3. 重建作者的思考路径

从旧方法出发,如果要解决“AI 证明是否难读、是否风格不同”,第一步不会直接跳到引用网络。更自然的起点是:既然已有工作说 AI 证明啰嗦、爱抠细节,那就先量化啰嗦和细节。

但很快会撞上矛盾:文本长度和细节密度太容易被 prompt 控制。一个模型可以被要求“写短一点”,另一个模型可以被要求“列出每一步”。如果只用长度、关键词、段落结构,很难判断差异是风格还是指令产物。

于是下一步会想:证明的本质不是文字,而是依赖关系。人类证明之所以简洁,是因为可以引用已经建立好的定理;AI 如果不用这些定理,就必须自己重建中间链条。这样,真正应该比较的是“每个证明引用了哪些前提”。

但这里又出现第二个矛盾:直接比较引用集合会混入三类差异。第一类是 AI 真的走错,第二类是 AI 把人类隐含的公设或定义显式写出来,第三类才是 AI 走了不同的有效路径。如果只算集合相似度,错误、粒度差异和路径差异会被压成同一个数字。因此需要一套分类机制,把完美匹配、粒度差异、路径差异、错误分开。

第三个矛盾是:人类证明基线从哪里来?现代数学论文通常不会完整列出所有依赖,形式化证明库又与自然语言证明不同。需要一个自包含、顺序建立、引用记录相对完整的系统。Euclid 的 Elements 很合适:465 个命题按顺序推进,Heath 的文本提供了人类证明和引用记录。

第四个矛盾是:AI 可能记住人类证明。为了避免“抄答案”,实验设计需要让模型只能看到命题陈述和此前可引用的资源,不能看到人类证明文本、人类引用集合或其他运行结果。

第五个矛盾是:单次运行不稳定。于是需要同一模型多次运行,再跨模型复现。如果 AI 与 AI 的相似度明显高于 AI 与人类的相似度,说明这不是单次随机输出,而是稳定风格。

第六个矛盾是:即使发现 AI 更爱引用基础元素,也可能只是因为它更爱引用公设和定义。为了排除这个解释,需要只看定理到定理的引用,并进一步检查 AI 独有引用是否出现在人类证明的上游依赖中。如果大量 AI 独有引用只是人类成熟定理背后的基础材料,那么风格就不是“乱引用”,而是“从底层重建”。

与论文实际路径的差异:我重建的路径更强调“先发现文本差异不可靠,再转向依赖结构,再排除错误和粒度差异”。论文实际路径已经直接围绕 Euclid 引用记录、Jaccard 相似度、P/G/D/E 分类和复杂网络展开,并且使用了 workflow 与 skill 架构来并行生成和分类证明。

4. 核心 intuition

可以用法律写作来类比。

人类律师写论证时,通常会直接引用已经确立的判例。一个判例背后可能包含大量事实认定、法理推导和层级审查,但成熟判例已经把这些内容封装成一个可引用的结论。这样论证短、层级高、读者容易跟上。

AI 在论文设置中更像把法律条文、定义、原则和判例都放在同一个资源池里,没有天然层级偏好。它不一定会调用“封装好的判例”,而是可能回到条文和定义,重新推导一遍。结果就是:结论正确,但引用链更底层、更密集、更远离成熟定理。

这个类比能对上机制:

  • 成熟定理相当于封装好的判例。
  • 定义、公设、共同 notions 相当于基础条文和原则。
  • 引用距离相当于律师是引用高层判例,还是回到基础条文重新推导。
  • AI 独有引用子图更连通,说明这些基础条文不是孤立堆砌,而是彼此依赖,构成重建链条。
  • AI 独有引用中约有一半可追溯到人类证明的上游依赖,说明 AI 和人类经常面对同一底层逻辑,只是进入层级不同。

5. 方法 pipeline 举例

用原文给出的具体例子 Proposition 5.18 走一遍流程。

  1. 数据准备

从 Heath 的 Euclid 数据中提取 Proposition 5.18 的命题陈述、人类证明文本、人类引用集合。原文称人类证明引用了 5.17、5.14、5.11 三个高层定理。

  1. AI 证明输入

AI 子任务只收到 Proposition 5.18 的陈述,以及当时可引用的资源:公设、共同 notions、定义,以及 5.18 之前已经建立的命题。它不能看 Heath 的人类证明文本,也不能看其他 AI 运行结果。

  1. AI 证明输出

AI 输出逐步证明和一个 USED 列表。原文称该例中 AI 回到等倍定义 D5.5,并从基础元素构造直接验证。用符号表示,AI 引用集合可记为 C_AI,人类引用集合可记为 C_H。这里 C_H 包含 5.17、5.14、5.11;C_AI 包含 D5.5 及其他基础元素。

  1. 引用集合比较

后处理步骤比较 C_AI 与 C_H。原文称 Proposition 5.18 的 Jaccard similarity 为 0。具体 Jaccard 公式在提取中损坏,原文此处无法辨认。

  1. 分类阶段

分类协议先检查前向依赖,即是否引用尚未建立的命题。若没有前向依赖,再检查是否完全匹配人类引用集合。Proposition 5.18 显然不是完全匹配。 接着检查逻辑完整性。原文称人类证明是归谬式间接论证,AI 证明是直接验证;两者到达同一数学结论但处于不同依赖层级。按协议,如果 AI 路径有效且关键中间结论不同,可进入 D 类;如果存在逻辑缺陷,则进入 E 类。原文未明确给出 Proposition 5.18 的最终类别标签,因此这里只能说明它被用作路径层级不同的例子。

  1. 网络构建

在 AI 引用网络中,从 Proposition 5.18 向 C_AI 中每个被引用元素添加有向边。在人类引用网络中,从 Proposition 5.18 向 C_H 中每个被引用元素添加有向边。

  1. 祖先依赖分析

对 D 类命题,论文会检查 AI 独有引用是否出现在人类独有引用的祖先集合中。以 Proposition 5.18 为例,若 D5.5 是 5.17、5.14、5.11 等人类引用命题的上游依赖,那么它会被计入“AI 独有引用落在人类祖先集合中”的比例。原文报告的总体结果是:在所有人类祖先中,AI 独有引用的平均比例为 47.0%;若只看人类独有引用的祖先,平均比例为 34.5%。

  1. 子图连通性分析

对同一命题,论文会分别构造 AI 独有引用节点的诱导子图和人类独有引用节点的诱导子图。人类独有引用通常是成熟高层定理,彼此之间不一定有直接依赖;AI 独有引用包含更多基础元素,因此更容易形成内部边。原文在全部 D 类命题的全网络中报告:AI 独有子图平均节点数为 6.33,人类独有子图平均节点数为 2.87;AI 独有子图含至少一条内部边的比例为 76.9%,人类独有子图为 29.5%。

6. 核心数学推导

这一部分只推导原文中可读的数字关系和公式。涉及提取损坏的公式会明确标注。

Jaccard 相似度

原文用 Jaccard similarity 比较两个引用集合的重叠程度,但提取后的公式缺少分数线和集合基数符号,原文此处无法辨认。因此这里不补写具体公式,只说明它在流程中的作用:对每个命题,给定 AI 引用集合 C_AI 和人类引用集合 C_H,计算二者重叠程度。重叠越高,说明引用选择越接近;重叠越低,说明引用路径越不同。

原文报告的均值关系是:AI 运行之间平均 Jaccard similarity 约为 0.68,AI 与人类之间平均约为 0.37。用算式表示:0.68 / 0.37 = 1.8378。这就是原文所说“接近两倍”的量化依据。

拓扑生成数

原文给出一个可读公式:g(i) = 0,如果 ∣S(i)∣ = 0;否则 g(i) = max{g(j) : j ∈ S(i)} + 1。

符号含义:

  • g(i):节点 i 的拓扑生成数,表示它在依赖网络中距离基础层的层数。
  • S(i):节点 i 的后继节点集合。在本文引用网络中,边从新命题指向被引用的旧命题,所以后继节点就是它引用的前提。
  • ∣S(i)∣:集合 S(i) 的元素个数,即节点 i 引用的前提数量。
  • max{g(j) : j ∈ S(i)}:在所有被引用节点中取最大生成数。
  • + 1:当前节点比它所依赖的最底层节点再高一层。

推导过程:

  1. 如果一个节点没有引用任何前提,即 ∣S(i)∣ = 0,它属于第 0 层。公设、共同 notions、定义通常属于这一层。
  2. 如果一个节点只引用第 0 层节点,那么 max{g(j) : j ∈ S(i)} = 0,所以 g(i) = 0 + 1 = 1。
  3. 如果一个节点引用了第 1 层节点,那么 max{g(j) : j ∈ S(i)} = 1,所以 g(i) = 1 + 1 = 2。
  4. 依此类推,生成数越高,节点在依赖链中越靠后。

一句话总结:这个公式把“一个命题依赖多少层基础材料”编码成整数层级,用来替代单纯按文本顺序计算的引用距离。

分类一致性比例

原文 Table 2 给出三类 Opus 运行合并后的分类计数。P 类总数为 64。该数可由 Table 1 中专家验证后的三个运行相加得到:22 + 18 + 24 = 64。

3-run overlap 计数为 45,因此三运行一致比例为:45 / 64 = 0.703125,即 70.3%。

至少两运行一致计数为 57,因此比例为:57 / 64 = 0.890625,即 89.1%。

G 类总数为 934,可由 319 + 320 + 295 = 934 得到。其 3-run overlap 为 723,比例为 77.4%;至少两运行 overlap 为 873,比例为 93.5%。

D 类总数为 371,可由 115 + 120 + 136 = 371 得到。其 3-run overlap 为 201,比例为 54.2%;至少两运行 overlap 为 303,比例为 81.7%。

E 类总数为 26,可由 9 + 7 + 10 = 26 得到。其 3-run overlap 为 0,比例为 0.0%;至少两运行 overlap 为 8,比例为 30.8%。

总体计数为 1395,可由每个运行 465 个命题乘以三个运行得到:465 * 3 = 1395。总体 3-run overlap 为 969,比例为:969 / 1395 = 0.6946,即约 69.5%。总体至少两运行 overlap 为 1241,比例为:1241 / 1395 = 0.8896,即约 89.0%。

D 类比例与复杂度

原文称三个 Opus 运行合并后总体 D 率为 27%。该数可由 D 类总数 371 和合并命题数 1395 推算:371 / 1395 = 0.2659,即约 26.6%,与原文给出的 27% 一致。

原文还报告 D 率随人类证明长度从 10% 上升到 69%,随人类引用数从 18% 上升到 73%,随可用工具数从 0% 上升到 58%。这些是原文直接给出的分箱结果。

引用类型比例

原文报告人类网络中定理引用占 86.8%,定义、共同 notions、公设合计占 13.2%。可由总数 100% 减去定理比例得到:100 - 86.8 = 13.2。

原文报告 Opus AI 网络中定义约 24%,共同 notions 约 10%,公设约 6%。三者合计为:24 + 10 + 6 = 40。与人类 13.2% 相比,差值为:40 - 13.2 = 26.8 个百分点。

边数比例

原文报告人类网络有 1889 条边,Fable 和 GPT-6 网络超过 4900 条边,并称约是人类数量的 2.6 倍。以原文出现的 4900 作为下界计算:4900 / 1889 = 2.594,约 2.6 倍。

祖先比例公式

原文用祖先比例衡量 AI 独有引用是否落在人类证明的上游依赖中。但提取后的比例公式缺少分数线或基数符号,原文此处无法辨认。因此这里不补公式,只说明其含义:对每个 D 类命题,计算 AI 独有引用集合中有多少元素属于人类引用集合的祖先集合。原文报告全网络平均比例为 47.0%,只看人类独有引用祖先时平均比例为 34.5%;定理网络中分别为 44.8% 和 34.4%。

7. 实验设计

数据集:

  • 使用 Heath 经典英文翻译的结构化 Euclid 数据,来自 Wolfram Data Repository。
  • 包含 465 个命题、5 个公设、5 个共同 notions、132 个定义,总共 607 条 statement。
  • 人类基线包括 Heath 的完整证明文本和每个命题的结构化引用记录。

模型与运行:

  • Claude Opus 4.6 进行三个独立运行,reasoning effort 为 high。
  • Claude Fable 5.1 进行一个运行,reasoning effort 为 xhigh。
  • GPT-6 Astra 进行一个运行,reasoning effort 为 xhigh。
  • 每个命题按原始顺序证明,只能引用此前已经建立的命题、公设、共同 notions 和定义。
  • 每个命题由隔离上下文的子任务处理,不能访问人类证明文本、人类引用集合或其他运行输出。

指标:

  • 引用集合相似度:Jaccard similarity,但原文公式提取损坏,原文此处无法辨认。
  • 证明分类:P 完美匹配、G 粒度差异、D 路径差异、E 错误。
  • 跨运行一致性:同一命题在三个运行中是否被分到同一类。
  • 网络拓扑:节点数、边数、密度、平均度、平均最短路径、平均聚类系数。
  • 引用类型比例:定理、定义、共同 notions、公设。
  • 引用距离:按命题顺序编号差和按拓扑生成数两种度量。
  • 祖先重叠:AI 独有引用是否出现在人类证明的上游依赖中。
  • 子图连通性:AI 独有引用子图与人类独有引用子图的节点数、内部边比例、最长路径、最大连通分量。
  • 文本与时间:证明长度、证明耗时。

消融与稳健性:

  • 跨模型复现:Fable 5.1 和 GPT-6 Astra 均重复整个流程。
  • 跨运行复现:Opus 三个独立运行。
  • 专家验证:两名有数学训练背景的作者复核所有 E 类证明和 D 类样本。原文称共复核 29 个被标记为错误的条目,其中 18 个来自分类阶段的 E,11 个来自几何一致性审计后从 D 重分类为 E 的条目;最终 3 个被纠正,26 个确认为真实错误。
  • D 类抽样:专家随机复核 18 个 D 类证明,原文称全部确认为真实路径差异,但 4 个属于边界模糊案例。
  • prompt 实验:对 GPT-6 Astra 做四种 prompt 条件。显式反 grounding 指令效果很小,Cohen’s d = 0.047;外部表格引用资源使 Jaccard similarity 小幅提升,d = 0.191–0.229,但基础引用比例仍为 42–48%。

实验能否支撑结论:

  • 能支撑的核心结论是:在 Euclid 自然语言证明、Heath 人类基线、模型自报 USED 引用列表这一设置下,AI 引用风格与人类不同,且跨运行和跨模型稳定。
  • 不能充分支撑的结论是:该风格必然推广到现代数学、形式证明、不同人类证明传统,或必然导致人类可读性下降。
  • 缺少的关键证据包括:独立于 AI 自报列表的引用抽取、多个独立人类证明基线、人类读者可读性实验、对全部 D/G 分类的系统性人工复核、以及训练或微调层面的因果干预。

8. take-aways

  1. AI 证明风格不是单次随机现象。

三个 Claude Opus 运行之间平均 Jaccard similarity 约为 0.68,而每个运行与人类基线的平均 Jaccard similarity 约为 0.37。算式为 0.68 / 0.37 = 1.8378。这说明 AI 运行彼此更像,而不是彼此随机。

  1. AI 更倾向于从基础元素重建论证。

Opus 网络中定义、共同 notions、公设合计约占 40%,由 24 + 10 + 6 = 40 得到;人类网络中该比例为 13.2%。差值为 40 - 13.2 = 26.8 个百分点。Fable 和 GPT-6 的定理引用比例进一步下降到 59.6% 和 52.5%。

  1. 命题越复杂,AI 与人类路径越容易分叉。

三个 Opus 运行合并后总体 D 率约为 27%,可由 371 / 1395 = 0.2659 得到。原文报告 D 率随人类证明长度从 10% 上升到 69%,随人类引用数从 18% 上升到 73%,随可用工具数从 0% 上升到 58%。

  1. AI 的额外引用不是无关噪声,而常落在人类证明的上游依赖中。

原文报告 D 类命题中,AI 独有引用出现在所有人类祖先中的平均比例为 47.0%;只看人类独有引用祖先时为 34.5%。定理网络中分别为 44.8% 和 34.4%。这支持“同一条逻辑链,从不同层级进入”的解释。

  1. prompt 很难把 AI 拉回人类式高层引用。

在 GPT-6 Astra 的 prompt 实验中,显式要求偏好成熟定理的 Cohen’s d 仅为 0.047;改用外部表格只带来 d = 0.191–0.229 的小幅变化,而基础引用比例仍为 42–48%,远高于人类 13.2%。

9. 最脆弱的假设

最脆弱的假设是:模型自报的 USED 列表和 AI judge 的分类结果,能够真实、完整、稳定地代表证明中的依赖结构。

如果这个假设倒下,论文的核心结论会直接受冲击。因为 Jaccard 相似度、引用类型比例、引用距离、祖先比例、子图连通性都建立在“引用集合被正确抽取”之上。若 AI 实际使用了某个定义但没有写入 USED,或 AI judge 把粒度差异误判为路径差异,那么所谓“从底层重建”可能部分来自标注偏差。

论文给出的证据是部分验证,不是全量独立验证:

  • 两名专家复核了所有被标记为错误的条目和 D 类样本。
  • 原文称 29 个错误条目中有 3 个被纠正,26 个确认为真实错误。
  • 原文称 18 个 D 类样本全部确认为真实路径差异,但 4 个属于边界模糊案例。

从实验设置看,这些验证能降低明显错误,但不能证明所有引用抽取都准确。尤其 E 类经过重证后最终为零,说明流程会持续修正错误;这提高了最终证明的正确性,但也可能把某些早期风格信号过滤掉。

第二个脆弱假设是:Heath 文本代表“人类证明风格”。原文在限制部分写到研究限于 Euclid 的 Elements、依赖 Heath 文本作为人类基线、聚焦自然语言证明而未涉及形式证明。若人类数学家之间存在很大引用习惯差异,或者不同文化、不同时代、不同证明传统会显著改变引用距离,那么 AI 与 Heath 的差距未必等于 AI 与“人类整体”的差距。

10. 一周最小复现

目标是复现最核心结论,而不是完整复现五个模型和 465 个命题。最核心结论可以压缩为两点:

  • 同一模型不同运行之间的引用相似度,高于模型与人类基线之间的引用相似度。
  • AI 引用中基础元素比例高于人类引用中基础元素比例。

在一台 24GB 显存消费级 GPU 和一周时间内,研究团队或应用开发者可以做如下最小复现。

  1. 选择子集

从 Euclid 前几卷中选取 50 个命题。不要选全部 465 个命题,因为完整复现需要大量模型调用和人工核验。50 个命题足够观察引用结构,也能覆盖一部分依赖深度。

  1. 准备数据

对每个命题准备三项内容:命题陈述、人类引用集合、人类证明长度。人类引用集合可来自 Heath 结构化数据。每个命题还需要构造可引用资源列表:公设、共同 notions、定义,以及该命题之前已经建立的命题。

  1. 选择模型

使用一个可在 24GB 显存中运行的开源推理模型,并做量化或上下文裁剪。该模型不等价于原文使用的商业大模型,因此复现结果应称为“代理复现”,不能直接声称与原文数值相同。

  1. 生成三次独立证明

对每个命题运行 3 次,总证明数为:50 * 3 = 150。每次运行使用不同随机种子或采样参数,但 prompt 保持一致。要求模型输出逐步证明和 USED 列表。

  1. 抽取引用集合

用规则解析 USED 列表,并对至少 10 个命题进行人工核对。由于原文 Jaccard 公式提取损坏,原文此处无法辨认,复现时应明确声明采用标准集合重叠度量作为代理指标,例如 ∣A ∩ B∣ / ∣A ∪ B∣,并把它称为复现代理指标,而不是声称完全复刻原文公式。

  1. 计算核心指标

对每个命题计算三种相似度:同一模型不同运行之间、模型与人类基线之间。然后求平均值。若核心结论在子集上成立,最低判据是同一模型不同运行的平均相似度高于模型与人类基线的平均相似度。原文整体参考值为 0.68 与 0.37。

  1. 计算引用类型比例

统计所有 AI 引用中定义、共同 notions、公设的合计比例,并与人类引用比例比较。原文人类基线为 13.2%。若子集复现中 AI 基础引用比例明显高于 13.2%,则支持“从底层重建”的方向。

  1. 计算简单复杂度分箱

按人类证明长度把 50 个命题分成若干箱,计算每箱中路径差异比例。不需要复现全部 D 率曲线,只需检查较高人类证明长度箱是否出现更高路径差异比例。

  1. 时间安排

第 1 天完成数据抽取和 prompt 模板;第 2 到第 4 天生成 150 次证明并保存日志;第 5 天解析 USED 列表;第 6 天做 10 到 20 个命题的人工核对;第 7 天计算相似度、引用类型比例和分箱结果。

  1. 预期指标

如果复现成功,应看到:同一模型不同运行之间引用集合更相似;AI 基础引用比例高于人类 13.2%;较复杂命题中路径差异比例更高。若开源小模型无法稳定输出有效 Euclid 证明,则只能说明该最小模型不足以复现原文风格,不能直接否定原文结论。

成本量级:

  • 最小复现需要 50 * 3 = 150 次证明调用。
  • 原文完整实验至少包含五个运行,总证明数为:465 * 5 = 2325。
  • 如果每个证明还需要一次自动分类,则总调用数约为:2325 + 2325 = 4650。

11. 反例设计

要推翻本文核心主张,最直接的实验不是再换一个 prompt,而是替换“人类基线”和“引用抽取”两个关键环节。

实验设计如下:

  1. 选取 Euclid 中 100 个命题,覆盖简单、中等、复杂三档。
  2. 邀请多名有数学训练的人类证明者独立重写这些命题的证明,要求他们显式列出引用集合。证明者不能看到 Heath 引用集合,也不能看到 AI 证明。
  3. 对每个命题构造三类引用集合:AI 运行集合、Heath 集合、新人类集合。
  4. 用同一套人工核对后的引用抽取流程计算相似度,避免只依赖 AI 自报 USED 列表。
  5. 比较两个量:AI 与 AI 之间的平均相似度,AI 与新人类基线之间的平均相似度。

判据:

  • 如果新人类基线下,AI 与人类的平均相似度上升到不低于 AI 与 AI 的平均相似度,那么“AI 形成区别于人类证明的稳定风格”这一核心主张会被削弱。原文参考值是 AI-AI 约 0.68,AI-Human 约 0.37。
  • 如果 AI 基础引用比例不再高于新人类基线的基础引用比例,那么“building from the ground up”作为 AI 特有风格的主张会被削弱。原文人类参考值为 13.2%。
  • 如果 AI 独有引用出现在人类祖先集合中的比例接近随机水平,而不是原文报告的 47.0%,那么“AI 与人类共享底层依赖、只是进入层级不同”的结构解释会被削弱。

这个反例之所以有力,是因为它同时攻击两个可能偏差:单一人类基线偏差和 AI 引用自报偏差。如果在这两项都被独立控制后,AI 与人类仍然明显不同,论文结论才更稳固。

12. 落地判断

这项成果目前更像诊断工具,而不是普通用户可以直接使用的产品。

普通用户:

  • 能拿到的是预期:阅读 AI 生成的数学证明时,可以预期它可能更频繁回到定义、公设、基础引理,而不是直接调用成熟高层定理。
  • 不能立刻拿到的是自动可读性评分或一键改写工具。论文没有给出面向普通用户的软件接口,也没有证明这种结构差异在所有数学领域都成立。

应用开发者:

  • 可以拿到的方向是把引用抽取、引用距离、基础元素比例、祖先重叠做成证明审计特征。例如,一个数学问答产品可以在生成证明后显示“该证明引用了若干基础定义,而非直接引用成熟定理”,或自动把底层重建链折叠成高层摘要。
  • 距离可用还差几步:
  1. 稳定的引用抽取器,不能只依赖模型自报 USED 列表。
  2. 领域化人类基线,不能只有 Euclid。
  3. 与形式证明器或数学库的对接,例如把自然语言引用映射到可验证 lemma。
  4. 用户研究,验证这些结构指标是否真的改善可读性。

研究团队:

  • 可以拿到的方向是风格测量框架:Jaccard 集合比较、P/G/D/E 分类、引用网络、拓扑生成数、祖先重叠、子图连通性。
  • 距离可用还差几步:
  1. 数据规模:需要扩展到现代数学库、论文证明、形式化证明环境。
  2. 算力门槛:完整复现至少需要 465 * 5 = 2325 次证明调用;若加分类调用,数量级约为 2325 + 2325 = 4650。
  3. 工程集成:需要 workflow、隔离上下文、引用解析、几何一致性检查、专家复核流程。
  4. 独立验证:需要多个独立人类基线、人工引用审计、人类可读性实验、训练或微调因果实验。

成本量级:

  • 最小代理复现可以用 50 * 3 = 150 次证明调用完成。
  • 完整复现原文风格结论需要全量 465 个命题和多个运行,调用量至少为 465 * 5 = 2325。
  • 若加入自动分类和重证,调用量会超过 4650 次,另需专家时间复核错误和路径差异。

最大的坑:

  • 引用抽取不可靠。AI 可能实际依赖某个定义但没有写入 USED 列表,导致风格信号被放大或缩小。
  • AI judge 与被评估对象同源。用 AI 分类 AI 证明可能引入系统性偏差,虽然论文做了专家抽样验证,但不是全量独立验证。
  • Euclid 特殊。Euclid 的线性公理结构和 Heath 的单一人类基线可能不能代表现代数学证明。
  • 结构差异不等于可读性差异。论文指出更长引用距离和更高子图连通性可能增加认知成本,但没有直接做人类读者实验。

内容由 AI 生成,仅供参考。如发现错误,欢迎反馈。

原始英文摘要

arXiv:2611.16527v1 Announce Type: new Abstract: As large language models increasingly generate mathematical proofs, whether they develop a proving style distinct from that of human mathematicians remains an open question. This question is particularly pressing as mathematicians increasingly voice concerns that proofs generated by large language models are difficult to interpret. Here we ask three large language models to independently reprove all 465 propositions of Euclid's \textit{Elements} and compare their citation choices against the human-proof baseline through Jaccard similarity and complex network analysis. We find that AI-generated proofs differ from human proofs, and this difference is stable and reproducible: mean pairwise Jaccard similarity among AI runs (~0.68) is nearly twice that between AI and human proofs (~0.37), and cross-run classification consistency is also high. By examining citation structure in detail, we identify the concrete signature of this difference: approximately 40% of AI citations point to foundational elements (definitions, common notions, and postulates), compared with only 13\% in human proofs; even among theorem-to-theorem citations, AI tends to cite more distant results. Roughly half of AI's extra citations trace to the upstream dependencies of the human proof. Together, these findings suggest that the AI proving style is a tendency to construct arguments on its own from foundational elements rather than directly citing later, more established results, which we term "building from the ground up". Our findings offer a new perspective on how AI systems organise and invoke mathematical knowledge, with implications for understanding the interpretability of AI-generated proofs.

同方向论文 · cs.AI

查看全部 →