面向开放式模型发现的核函数自动研究
Kernel Autoresearch for Open-Ended Model Discovery
Richard Cornelius Suwandi · Feng Yin · Kevin Murphy
中文摘要
核函数编码了众多机器学习模型的归纳偏置，但核函数的自动设计面临一个根本性困境：固定的基础核与算子文法能保证有效性，却把搜索限制在由这些构件可表达的结构内；不受限的程序虽然突破这一限制，却无法再保证有效性。在压力测试中，22%–58% 通过随机输入数值校验的 LLM 生成核函数，在不同尺度或维度下评估时失效。为此提出 Kernel Autoresearch（Kernaut），将核函数设计视为开放式模型发现：由编码代理以程序形式写出核函数，同时以构造契约保证每个被接受的核函数合法。算法采用质多样性存档保留行为各异的高性能核函数，并以新颖性筛选引导代理探索功能上全新的候选。实验表明，所发现的核函数编码了可复用的归纳偏置，并能泛化到未见任务。在留出（held-out）的黑盒优化族上，一个被发现的核函数优于在同一回合（episode）上元学习得到的深度核。此外，从十条酶动力学速率定律出发发现的核函数，在五个未见机理上的误差低于经调参的 ARD 与深度核基线。已发现的核函数同时是可解释的程序，可供人类研究者进一步打磨：对其中一份核函数进行人工打磨后，留出集预测误差进一步降低 5.7%，优化遗憾进一步降低 7.8%。
关键要点
- 01问题：自动核函数设计存在有效性困境——固定文法限制表达力，而无约束程序中 22%–58% 的 LLM 生成核函数在跨尺度或跨维度下失效
- 02方法：Kernaut 将核函数设计视为开放式模型发现，通过构造契约保证每个被接受核函数的合法性，并结合质多样性存档与新颖性筛选驱动探索
- 03结果：在留出黑盒优化族上，所发现核函数优于同回合元学习得到的深度核；从十条酶动力学速率定律发现的核函数在五个未见机理上误差低于 ARD 与深度核基线
- 04可解释性与人工迭代：所发现核函数为可解释程序，经人类研究者人工打磨后，留出集预测误差再降 5.7%、优化遗憾再降 7.8%
- 05局限：压力测试显示 LLM 直接生成核函数的跨尺度、跨维度失败率高达 22%–58%，需构造契约等机制兜底以确保有效性
解读
尚无解读。
原始英文摘要
arXiv:2610.10394v1 Announce Type: new Abstract: Kernels encode the inductive bias of a wide range of machine learning models, yet automated kernel design faces a fundamental dilemma. A fixed grammar of base kernels and operators guarantees validity but limits the search to structures expressible by those building blocks. Conversely, unrestricted programs remove this limitation but no longer guarantee validity. In our stress tests, 22-58% of LLM-generated kernels that pass numerical checks on random inputs fail when evaluated at different scales or dimensions. We propose Kernel Autoresearch (Kernaut), which treats kernel design as open-ended model discovery. Coding agents write kernels as programs, while construction contracts ensure that every accepted kernel is valid. A quality-diversity archive retains high-performing kernels with distinct behaviors, and novelty screening steers agents toward functionally new candidates. Our experiments demonstrate that the discovered kernels encode reusable inductive biases that generalize to unseen tasks. On held-out black-box optimization families, a discovered kernel outperforms a meta-learned deep kernel trained on the same episodes. Furthermore, kernels discovered from ten enzyme-kinetic rate laws achieve lower error than tuned ARD and deep kernel baselines on five unseen mechanisms. The discovered kernels are also interpretable programs that human researchers can refine: a human-refined version of one further reduces the held-out predictive error by 5.7% and optimization regret by 7.8%.