跳到正文
原文
METR · 前沿模型能力评估·· 2026-03-10精选AI 评分66

METR:约半数通过 SWE-bench 的 AI PR 不会被维护者合并

Many SWE-bench-Passing PRs Would Not Be Merged into Main

AI 导读

METR 让 3 个 SWE-bench Verified 仓库的 4 名维护者复核 296 个 AI 生成的 PR,发现通过自动评分的补丁中约有一半不会被合并进主分支,维护者合并率平均比 SWE-bench 分数低约 24.2 个百分点。

推荐理由

METR 让真实仓库维护者复核通过自动评分的 PR,量化了 SWE-bench 分数与可合并性之间的落差。

来源:METR · 前沿模型能力评估 · metr.org