AI 在数学证明中有自己的风格
AI has its own style in mathematical proving
Xiaokai Li · Ziyu Zhou · Qibin Cheng · Yangcheng Wu · An Zeng · Ying Fan
中文摘要
随着大语言模型(large language model)越来越多地生成数学证明,它们是否形成了区别于人类数学家的证明风格仍是一个开放问题。数学家日益担忧大语言模型生成的证明难以解读,使这一问题更加紧迫。这里让三个大语言模型独立重新证明欧几里得《几何原本》全部 465 个命题,并通过 Jaccard 相似度和复杂网络分析,将其引用选择与人类证明基线进行比较。发现 AI 生成的证明与人类证明不同,且这种差异稳定可复现:AI 各次运行之间的平均成对 Jaccard 相似度(约 0.68)几乎是 AI 与人类证明之间(约 0.37)的两倍,跨运行分类一致性也很高。通过细查引用结构,识别出这种差异的具体特征:约 40% 的 AI 引用指向基础元素(定义、公理和公设),而人类证明中仅 13%;即使在定理对定理的引用中,AI 也倾向于引用更远的结果。AI 额外引用中约有一半可追溯到人类证明的上游依赖。这些发现表明,AI 证明风格是一种从基础元素自行构建论证、而非直接引用更晚、更成熟结果的倾向,我们称之为“从地基开始构建”。这些发现为理解 AI 系统如何组织和调用数学知识提供了新视角,对理解 AI 生成证明的可解释性具有启示。
关键要点
- 01让三个大语言模型独立重证《几何原本》465 个命题,与人类证明基线对比引用选择。
- 02AI 运行间平均 Jaccard 相似度约 0.68,AI 与人类之间约 0.37,差异稳定可复现。
- 03约 40% 的 AI 引用指向定义、公理和公设等基础元素,人类证明中仅 13%。
- 04AI 额外引用中约一半可追溯到人类证明的上游依赖,体现“从地基开始构建”的风格。
解读
内容由 AI 生成,仅供参考。如发现错误,欢迎反馈。
原始英文摘要
arXiv:2611.16527v1 Announce Type: new Abstract: As large language models increasingly generate mathematical proofs, whether they develop a proving style distinct from that of human mathematicians remains an open question. This question is particularly pressing as mathematicians increasingly voice concerns that proofs generated by large language models are difficult to interpret. Here we ask three large language models to independently reprove all 465 propositions of Euclid's \textit{Elements} and compare their citation choices against the human-proof baseline through Jaccard similarity and complex network analysis. We find that AI-generated proofs differ from human proofs, and this difference is stable and reproducible: mean pairwise Jaccard similarity among AI runs (~0.68) is nearly twice that between AI and human proofs (~0.37), and cross-run classification consistency is also high. By examining citation structure in detail, we identify the concrete signature of this difference: approximately 40% of AI citations point to foundational elements (definitions, common notions, and postulates), compared with only 13\% in human proofs; even among theorem-to-theorem citations, AI tends to cite more distant results. Roughly half of AI's extra citations trace to the upstream dependencies of the human proof. Together, these findings suggest that the AI proving style is a tendency to construct arguments on its own from foundational elements rather than directly citing later, more established results, which we term "building from the ground up". Our findings offer a new perspective on how AI systems organise and invoke mathematical knowledge, with implications for understanding the interpretability of AI-generated proofs.
1. 问题与价值
这篇论文要回答的不是“AI 能不能证明一道难题”,而是更结构化的问题:当大语言模型独立重证一个公理化体系中的全部命题时,它引用数学知识的方式是否形成了一种可重复、可识别、区别于人类证明的“证明风格”。
这个问题重要,是因为 AI 生成的数学证明正在从竞赛题走向更复杂的数学文本。原文给出的背景包括:AI 已开始触及开放研究问题,而数学家对 AI 证明的担忧从“能不能证明”转向“是否难以解释”“是否只适合机器而不适合人类阅读”。如果 AI 证明只是正确但结构上不可读,那么它在数学共同体中的可用性会受限。
受益者主要有三类:
论文的核心价值在于把“AI 证明难读”这一印象转化为可测量对象:引用集合相似度、引用类型比例、引用距离、AI 独有引用是否落在人类证明的上游依赖中、AI 独有引用子图是否更连通。
2. 已有工作的不足
在它之前,相关工作的主要做法是观察 AI 证明与人类证明的表面差异。原文列出的已有发现包括:
这些工作有价值,但不足很具体:
例如,证明变长可能来自啰嗦、来自更多中间步骤,也可能来自引用基础元素而非成熟定理。已有观察没有直接说明是哪一种。
如果只比较文本措辞或证明长度,结果容易受 prompt、模型版本、输出格式影响。论文需要的是“每个命题引用了哪些前提”这一结构化记录。
单次 AI 证明差异可能只是随机性。论文通过三个 Claude Opus 4.6 运行、一个 Claude Fable 5.1 运行、一个 GPT-6 Astra 运行来检查风格是否稳定。
单个证明的差异不足以说明“风格”。论文使用 Euclid 的 465 个命题,把每个证明的引用边汇入一个引用网络,从而观察全局拓扑差异。
3. 重建作者的思考路径
从旧方法出发,如果要解决“AI 证明是否难读、是否风格不同”,第一步不会直接跳到引用网络。更自然的起点是:既然已有工作说 AI 证明啰嗦、爱抠细节,那就先量化啰嗦和细节。
但很快会撞上矛盾:文本长度和细节密度太容易被 prompt 控制。一个模型可以被要求“写短一点”,另一个模型可以被要求“列出每一步”。如果只用长度、关键词、段落结构,很难判断差异是风格还是指令产物。
于是下一步会想:证明的本质不是文字,而是依赖关系。人类证明之所以简洁,是因为可以引用已经建立好的定理;AI 如果不用这些定理,就必须自己重建中间链条。这样,真正应该比较的是“每个证明引用了哪些前提”。
但这里又出现第二个矛盾:直接比较引用集合会混入三类差异。第一类是 AI 真的走错,第二类是 AI 把人类隐含的公设或定义显式写出来,第三类才是 AI 走了不同的有效路径。如果只算集合相似度,错误、粒度差异和路径差异会被压成同一个数字。因此需要一套分类机制,把完美匹配、粒度差异、路径差异、错误分开。
第三个矛盾是:人类证明基线从哪里来?现代数学论文通常不会完整列出所有依赖,形式化证明库又与自然语言证明不同。需要一个自包含、顺序建立、引用记录相对完整的系统。Euclid 的 Elements 很合适:465 个命题按顺序推进,Heath 的文本提供了人类证明和引用记录。
第四个矛盾是:AI 可能记住人类证明。为了避免“抄答案”,实验设计需要让模型只能看到命题陈述和此前可引用的资源,不能看到人类证明文本、人类引用集合或其他运行结果。
第五个矛盾是:单次运行不稳定。于是需要同一模型多次运行,再跨模型复现。如果 AI 与 AI 的相似度明显高于 AI 与人类的相似度,说明这不是单次随机输出,而是稳定风格。
第六个矛盾是:即使发现 AI 更爱引用基础元素,也可能只是因为它更爱引用公设和定义。为了排除这个解释,需要只看定理到定理的引用,并进一步检查 AI 独有引用是否出现在人类证明的上游依赖中。如果大量 AI 独有引用只是人类成熟定理背后的基础材料,那么风格就不是“乱引用”,而是“从底层重建”。
与论文实际路径的差异:我重建的路径更强调“先发现文本差异不可靠,再转向依赖结构,再排除错误和粒度差异”。论文实际路径已经直接围绕 Euclid 引用记录、Jaccard 相似度、P/G/D/E 分类和复杂网络展开,并且使用了 workflow 与 skill 架构来并行生成和分类证明。
4. 核心 intuition
可以用法律写作来类比。
人类律师写论证时,通常会直接引用已经确立的判例。一个判例背后可能包含大量事实认定、法理推导和层级审查,但成熟判例已经把这些内容封装成一个可引用的结论。这样论证短、层级高、读者容易跟上。
AI 在论文设置中更像把法律条文、定义、原则和判例都放在同一个资源池里,没有天然层级偏好。它不一定会调用“封装好的判例”,而是可能回到条文和定义,重新推导一遍。结果就是:结论正确,但引用链更底层、更密集、更远离成熟定理。
这个类比能对上机制:
5. 方法 pipeline 举例
用原文给出的具体例子 Proposition 5.18 走一遍流程。
从 Heath 的 Euclid 数据中提取 Proposition 5.18 的命题陈述、人类证明文本、人类引用集合。原文称人类证明引用了 5.17、5.14、5.11 三个高层定理。
AI 子任务只收到 Proposition 5.18 的陈述,以及当时可引用的资源:公设、共同 notions、定义,以及 5.18 之前已经建立的命题。它不能看 Heath 的人类证明文本,也不能看其他 AI 运行结果。
AI 输出逐步证明和一个
USED列表。原文称该例中 AI 回到等倍定义D5.5,并从基础元素构造直接验证。用符号表示,AI 引用集合可记为C_AI,人类引用集合可记为C_H。这里C_H包含 5.17、5.14、5.11;C_AI包含D5.5及其他基础元素。后处理步骤比较
C_AI与C_H。原文称 Proposition 5.18 的 Jaccard similarity 为 0。具体 Jaccard 公式在提取中损坏,原文此处无法辨认。分类协议先检查前向依赖,即是否引用尚未建立的命题。若没有前向依赖,再检查是否完全匹配人类引用集合。Proposition 5.18 显然不是完全匹配。 接着检查逻辑完整性。原文称人类证明是归谬式间接论证,AI 证明是直接验证;两者到达同一数学结论但处于不同依赖层级。按协议,如果 AI 路径有效且关键中间结论不同,可进入 D 类;如果存在逻辑缺陷,则进入 E 类。原文未明确给出 Proposition 5.18 的最终类别标签,因此这里只能说明它被用作路径层级不同的例子。
在 AI 引用网络中,从 Proposition 5.18 向
C_AI中每个被引用元素添加有向边。在人类引用网络中,从 Proposition 5.18 向C_H中每个被引用元素添加有向边。对 D 类命题,论文会检查 AI 独有引用是否出现在人类独有引用的祖先集合中。以 Proposition 5.18 为例,若
D5.5是 5.17、5.14、5.11 等人类引用命题的上游依赖,那么它会被计入“AI 独有引用落在人类祖先集合中”的比例。原文报告的总体结果是:在所有人类祖先中,AI 独有引用的平均比例为 47.0%;若只看人类独有引用的祖先,平均比例为 34.5%。对同一命题,论文会分别构造 AI 独有引用节点的诱导子图和人类独有引用节点的诱导子图。人类独有引用通常是成熟高层定理,彼此之间不一定有直接依赖;AI 独有引用包含更多基础元素,因此更容易形成内部边。原文在全部 D 类命题的全网络中报告:AI 独有子图平均节点数为 6.33,人类独有子图平均节点数为 2.87;AI 独有子图含至少一条内部边的比例为 76.9%,人类独有子图为 29.5%。
6. 核心数学推导
这一部分只推导原文中可读的数字关系和公式。涉及提取损坏的公式会明确标注。
Jaccard 相似度
原文用 Jaccard similarity 比较两个引用集合的重叠程度,但提取后的公式缺少分数线和集合基数符号,原文此处无法辨认。因此这里不补写具体公式,只说明它在流程中的作用:对每个命题,给定 AI 引用集合
C_AI和人类引用集合C_H,计算二者重叠程度。重叠越高,说明引用选择越接近;重叠越低,说明引用路径越不同。原文报告的均值关系是:AI 运行之间平均 Jaccard similarity 约为 0.68,AI 与人类之间平均约为 0.37。用算式表示:
0.68 / 0.37 = 1.8378。这就是原文所说“接近两倍”的量化依据。拓扑生成数
原文给出一个可读公式:
g(i) = 0,如果∣S(i)∣ = 0;否则g(i) = max{g(j) : j ∈ S(i)} + 1。符号含义:
g(i):节点i的拓扑生成数,表示它在依赖网络中距离基础层的层数。S(i):节点i的后继节点集合。在本文引用网络中,边从新命题指向被引用的旧命题,所以后继节点就是它引用的前提。∣S(i)∣:集合S(i)的元素个数,即节点i引用的前提数量。max{g(j) : j ∈ S(i)}:在所有被引用节点中取最大生成数。+ 1:当前节点比它所依赖的最底层节点再高一层。推导过程:
∣S(i)∣ = 0,它属于第 0 层。公设、共同 notions、定义通常属于这一层。max{g(j) : j ∈ S(i)} = 0,所以g(i) = 0 + 1 = 1。max{g(j) : j ∈ S(i)} = 1,所以g(i) = 1 + 1 = 2。一句话总结:这个公式把“一个命题依赖多少层基础材料”编码成整数层级,用来替代单纯按文本顺序计算的引用距离。
分类一致性比例
原文 Table 2 给出三类 Opus 运行合并后的分类计数。P 类总数为 64。该数可由 Table 1 中专家验证后的三个运行相加得到:
22 + 18 + 24 = 64。3-run overlap 计数为 45,因此三运行一致比例为:
45 / 64 = 0.703125,即 70.3%。至少两运行一致计数为 57,因此比例为:
57 / 64 = 0.890625,即 89.1%。G 类总数为 934,可由
319 + 320 + 295 = 934得到。其 3-run overlap 为 723,比例为 77.4%;至少两运行 overlap 为 873,比例为 93.5%。D 类总数为 371,可由
115 + 120 + 136 = 371得到。其 3-run overlap 为 201,比例为 54.2%;至少两运行 overlap 为 303,比例为 81.7%。E 类总数为 26,可由
9 + 7 + 10 = 26得到。其 3-run overlap 为 0,比例为 0.0%;至少两运行 overlap 为 8,比例为 30.8%。总体计数为 1395,可由每个运行 465 个命题乘以三个运行得到:
465 * 3 = 1395。总体 3-run overlap 为 969,比例为:969 / 1395 = 0.6946,即约 69.5%。总体至少两运行 overlap 为 1241,比例为:1241 / 1395 = 0.8896,即约 89.0%。D 类比例与复杂度
原文称三个 Opus 运行合并后总体 D 率为 27%。该数可由 D 类总数 371 和合并命题数 1395 推算:
371 / 1395 = 0.2659,即约 26.6%,与原文给出的 27% 一致。原文还报告 D 率随人类证明长度从 10% 上升到 69%,随人类引用数从 18% 上升到 73%,随可用工具数从 0% 上升到 58%。这些是原文直接给出的分箱结果。
引用类型比例
原文报告人类网络中定理引用占 86.8%,定义、共同 notions、公设合计占 13.2%。可由总数 100% 减去定理比例得到:
100 - 86.8 = 13.2。原文报告 Opus AI 网络中定义约 24%,共同 notions 约 10%,公设约 6%。三者合计为:
24 + 10 + 6 = 40。与人类 13.2% 相比,差值为:40 - 13.2 = 26.8个百分点。边数比例
原文报告人类网络有 1889 条边,Fable 和 GPT-6 网络超过 4900 条边,并称约是人类数量的 2.6 倍。以原文出现的 4900 作为下界计算:
4900 / 1889 = 2.594,约 2.6 倍。祖先比例公式
原文用祖先比例衡量 AI 独有引用是否落在人类证明的上游依赖中。但提取后的比例公式缺少分数线或基数符号,原文此处无法辨认。因此这里不补公式,只说明其含义:对每个 D 类命题,计算 AI 独有引用集合中有多少元素属于人类引用集合的祖先集合。原文报告全网络平均比例为 47.0%,只看人类独有引用祖先时平均比例为 34.5%;定理网络中分别为 44.8% 和 34.4%。
7. 实验设计
数据集:
模型与运行:
指标:
消融与稳健性:
实验能否支撑结论:
USED引用列表这一设置下,AI 引用风格与人类不同,且跨运行和跨模型稳定。8. take-aways
三个 Claude Opus 运行之间平均 Jaccard similarity 约为 0.68,而每个运行与人类基线的平均 Jaccard similarity 约为 0.37。算式为
0.68 / 0.37 = 1.8378。这说明 AI 运行彼此更像,而不是彼此随机。Opus 网络中定义、共同 notions、公设合计约占 40%,由
24 + 10 + 6 = 40得到;人类网络中该比例为 13.2%。差值为40 - 13.2 = 26.8个百分点。Fable 和 GPT-6 的定理引用比例进一步下降到 59.6% 和 52.5%。三个 Opus 运行合并后总体 D 率约为 27%,可由
371 / 1395 = 0.2659得到。原文报告 D 率随人类证明长度从 10% 上升到 69%,随人类引用数从 18% 上升到 73%,随可用工具数从 0% 上升到 58%。原文报告 D 类命题中,AI 独有引用出现在所有人类祖先中的平均比例为 47.0%;只看人类独有引用祖先时为 34.5%。定理网络中分别为 44.8% 和 34.4%。这支持“同一条逻辑链,从不同层级进入”的解释。
在 GPT-6 Astra 的 prompt 实验中,显式要求偏好成熟定理的 Cohen’s d 仅为 0.047;改用外部表格只带来 d = 0.191–0.229 的小幅变化,而基础引用比例仍为 42–48%,远高于人类 13.2%。
9. 最脆弱的假设
最脆弱的假设是:模型自报的
USED列表和 AI judge 的分类结果,能够真实、完整、稳定地代表证明中的依赖结构。如果这个假设倒下,论文的核心结论会直接受冲击。因为 Jaccard 相似度、引用类型比例、引用距离、祖先比例、子图连通性都建立在“引用集合被正确抽取”之上。若 AI 实际使用了某个定义但没有写入
USED,或 AI judge 把粒度差异误判为路径差异,那么所谓“从底层重建”可能部分来自标注偏差。论文给出的证据是部分验证,不是全量独立验证:
从实验设置看,这些验证能降低明显错误,但不能证明所有引用抽取都准确。尤其 E 类经过重证后最终为零,说明流程会持续修正错误;这提高了最终证明的正确性,但也可能把某些早期风格信号过滤掉。
第二个脆弱假设是:Heath 文本代表“人类证明风格”。原文在限制部分写到研究限于 Euclid 的 Elements、依赖 Heath 文本作为人类基线、聚焦自然语言证明而未涉及形式证明。若人类数学家之间存在很大引用习惯差异,或者不同文化、不同时代、不同证明传统会显著改变引用距离,那么 AI 与 Heath 的差距未必等于 AI 与“人类整体”的差距。
10. 一周最小复现
目标是复现最核心结论,而不是完整复现五个模型和 465 个命题。最核心结论可以压缩为两点:
在一台 24GB 显存消费级 GPU 和一周时间内,研究团队或应用开发者可以做如下最小复现。
从 Euclid 前几卷中选取 50 个命题。不要选全部 465 个命题,因为完整复现需要大量模型调用和人工核验。50 个命题足够观察引用结构,也能覆盖一部分依赖深度。
对每个命题准备三项内容:命题陈述、人类引用集合、人类证明长度。人类引用集合可来自 Heath 结构化数据。每个命题还需要构造可引用资源列表:公设、共同 notions、定义,以及该命题之前已经建立的命题。
使用一个可在 24GB 显存中运行的开源推理模型,并做量化或上下文裁剪。该模型不等价于原文使用的商业大模型,因此复现结果应称为“代理复现”,不能直接声称与原文数值相同。
对每个命题运行 3 次,总证明数为:
50 * 3 = 150。每次运行使用不同随机种子或采样参数,但 prompt 保持一致。要求模型输出逐步证明和USED列表。用规则解析
USED列表,并对至少 10 个命题进行人工核对。由于原文 Jaccard 公式提取损坏,原文此处无法辨认,复现时应明确声明采用标准集合重叠度量作为代理指标,例如∣A ∩ B∣ / ∣A ∪ B∣,并把它称为复现代理指标,而不是声称完全复刻原文公式。对每个命题计算三种相似度:同一模型不同运行之间、模型与人类基线之间。然后求平均值。若核心结论在子集上成立,最低判据是同一模型不同运行的平均相似度高于模型与人类基线的平均相似度。原文整体参考值为 0.68 与 0.37。
统计所有 AI 引用中定义、共同 notions、公设的合计比例,并与人类引用比例比较。原文人类基线为 13.2%。若子集复现中 AI 基础引用比例明显高于 13.2%,则支持“从底层重建”的方向。
按人类证明长度把 50 个命题分成若干箱,计算每箱中路径差异比例。不需要复现全部 D 率曲线,只需检查较高人类证明长度箱是否出现更高路径差异比例。
第 1 天完成数据抽取和 prompt 模板;第 2 到第 4 天生成 150 次证明并保存日志;第 5 天解析
USED列表;第 6 天做 10 到 20 个命题的人工核对;第 7 天计算相似度、引用类型比例和分箱结果。如果复现成功,应看到:同一模型不同运行之间引用集合更相似;AI 基础引用比例高于人类 13.2%;较复杂命题中路径差异比例更高。若开源小模型无法稳定输出有效 Euclid 证明,则只能说明该最小模型不足以复现原文风格,不能直接否定原文结论。
成本量级:
50 * 3 = 150次证明调用。465 * 5 = 2325。2325 + 2325 = 4650。11. 反例设计
要推翻本文核心主张,最直接的实验不是再换一个 prompt,而是替换“人类基线”和“引用抽取”两个关键环节。
实验设计如下:
USED列表。判据:
这个反例之所以有力,是因为它同时攻击两个可能偏差:单一人类基线偏差和 AI 引用自报偏差。如果在这两项都被独立控制后,AI 与人类仍然明显不同,论文结论才更稳固。
12. 落地判断
这项成果目前更像诊断工具,而不是普通用户可以直接使用的产品。
普通用户:
应用开发者:
USED列表。研究团队:
465 * 5 = 2325次证明调用;若加分类调用,数量级约为2325 + 2325 = 4650。成本量级:
50 * 3 = 150次证明调用完成。465 * 5 = 2325。最大的坑:
USED列表,导致风格信号被放大或缩小。