Hacker News · 首页· lasu·· 3 小时前AI 评分24
Parsimony:衡量 AI 模型净增代码量的开源基准
Show HN: Parsimony – an open-source benchmark for how much code AI models add
AI 导读
Parsimony 是一款开源基准,针对 AI 模型在编码任务中新增的代码量进行排行,按净增代码单元(新增减去删除)从低到低排序,补充现有评测对 solve rate 与成本的盲区。该基准复用 SWE-bench Verified 已发布的补丁结果,只统计 Python 代码,不重跑测试。数据显示,编写更多代码的模型通常能解决更多任务(Spearman 0.33–0.60)。
来源:Hacker News · 首页 · parsimony.lasu.dev