热点事件持续更新
Parsimony开源基准:按净增代码量给AI模型排名
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年10月14日,Hacker News首页报道了开源基准Parsimony。该工具专门衡量AI模型在编码任务中新增的代码量,按净增代码单元(即新增减去删除)从低到高对模型进行排行,旨在补充现有评测在解决率和成本之外的盲区。Parsimony复用SWE-bench Verified已发布的补丁结果进行统计,仅纳入Python代码,不重新运行测试。数据显示,编写更多代码的模型通常能解决更多任务,Spearman相关系数在0.33至0.60之间。
AI 根据报道生成 · 53 分钟前更新
最新进展10月14日 03:50
Parsimony开源基准发布,按AI模型净增代码量从低到高排序,填补解决率与成本之外评测盲区。报道时间线
沿着报道,了解事件的不同侧面。
10月14日
- Hacker News · 首页Parsimony:衡量 AI 模型净增代码量的开源基准
Parsimony 是一款开源基准,针对 AI 模型在编码任务中新增的代码量进行排行,按净增代码单元(新增减去删除)从低到低排序,补充现有评测对 solve rate 与成本的盲区。该基准复用 SWE-bench Verified 已发布的补丁结果,只统计 Python 代码,不重跑测试。数据显示,编写更多代码的模型通常能解决更多任务(Spearman 0.33–0.60)。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。