跳到正文
原文
METR · 前沿模型能力评估·· 2025-08-13精选AI 评分66

METR 研究:算法评分会高估 AI 智能体的真实编码能力

Research Update: Algorithmic vs. Holistic Evaluation

AI 导读

METR 在 stdlib-js 和 hypothesis 两个开源仓库的 18 个真实任务上测试 Claude 3.7 Sonnet 驱动的 Inspect ReAct 智能体,按人工编写的测试用例计算成功率为 38%,但人工评审的 15 个 PR 没有一个可以直接合并。

推荐理由

METR 用同一批真实开源任务对比自动测试与人工评审,量化了基准分数与可合并代码之间的差距。

来源:METR · 前沿模型能力评估 · metr.org