跳到正文
原文
Hacker News · 首页· lasu·· 3 小时前AI 评分24

Parsimony:衡量 AI 模型净增代码量的开源基准

Show HN: Parsimony – an open-source benchmark for how much code AI models add

AI 导读

Parsimony 是一款开源基准,针对 AI 模型在编码任务中新增的代码量进行排行,按净增代码单元(新增减去删除)从低到低排序,补充现有评测对 solve rate 与成本的盲区。该基准复用 SWE-bench Verified 已发布的补丁结果,只统计 Python 代码,不重跑测试。数据显示,编写更多代码的模型通常能解决更多任务(Spearman 0.33–0.60)。

来源:Hacker News · 首页 · parsimony.lasu.dev