METR · 前沿模型能力评估·· 2026-03-10精选AI 评分66
METR:约半数通过 SWE-bench 的 AI PR 不会被维护者合并
Many SWE-bench-Passing PRs Would Not Be Merged into Main
AI 导读
METR 让 3 个 SWE-bench Verified 仓库的 4 名维护者复核 296 个 AI 生成的 PR,发现通过自动评分的补丁中约有一半不会被合并进主分支,维护者合并率平均比 SWE-bench 分数低约 24.2 个百分点。
推荐理由
METR 让真实仓库维护者复核通过自动评分的 PR,量化了 SWE-bench 分数与可合并性之间的落差。
来源:METR · 前沿模型能力评估 · metr.org