将 LLM 的科学发现能力追溯到其训练数据
Tracing the Scientific Discovery Capacity of LLMs to Their Training Data
Arda Uzunoglu · Mahler Revsine · Michael Schatz · Benjamin Van Durme · Mehrdad Farajtabar · Daniel Khashabi · et al.
中文摘要
大语言模型（LLM）在科学发现上展现出日益增长的潜力，但关于什么因素能支撑可靠发现的基本问题仍未解决。如何将 LLM 的科学发现能力追溯到其训练数据？该问题被作为缺失概率质量（missing probability mass）问题研究，并建立了一个理论解释：在训练集中仅出现一次的“单次事实”（monofacts）决定了发现能力。在材料科学与调控基因组学（regulatory genomics）中，直接操纵训练集的单次事实率，发现更多单次事实在两个开放权重模型家族、采样策略与推理预算下一致带来更多发现。进一步实验表明，该关系不能仅由训练集多样性解释，并且在与领域内数据配对时可跨科学领域迁移。结果将训练数据中的单次事实率确定为支配语言模型发现的关键因素。
关键要点
- 01问题：LLM 科学发现能力与训练数据的关系尚不明确，缺乏可追溯的解释。
- 02方法：提出“单次事实”理论，在材料科学与调控基因组学中直接操纵训练集单次事实率。
- 03结果：更多单次事实在两个模型家族、采样策略与推理预算下一致带来更多发现。
- 04结果：该关系不能仅由训练集多样性解释，且与领域内数据配对时可跨领域迁移。
- 05局限：结论基于两个开放权重模型家族与两个科学领域，普适性仍需更多验证。
解读
尚无解读。
原始英文摘要
arXiv:2611.03617v1 Announce Type: new Abstract: Large language models (LLMs) show growing promise for scientific discovery, yet basic questions remain about what enables reliable discovery. How can we trace the scientific discovery capacity of LLMs to their training data? We study this question as one of missing probability mass and develop a theoretical account in which monofacts-the facts observed once during training-set the discovery capacity. In materials science and regulatory genomics, we directly manipulate monofact rates in training sets and find that more monofacts consistently yield more discoveries across two open-weight model families, sampling strategies, and reasoning budgets. Further experiments show the relationship cannot be explained by training-set diversity alone and can transfer across scientific domains when paired with in-domain data. Together, our results identify monofact rate in training data as a key factor governing discoveries in language models.