跳到正文
热点事件持续更新

Parsimony开源基准:按净增代码量给AI模型排名

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

2026年10月14日,Hacker News首页报道了开源基准Parsimony。该工具专门衡量AI模型在编码任务中新增的代码量,按净增代码单元(即新增减去删除)从低到高对模型进行排行,旨在补充现有评测在解决率和成本之外的盲区。Parsimony复用SWE-bench Verified已发布的补丁结果进行统计,仅纳入Python代码,不重新运行测试。数据显示,编写更多代码的模型通常能解决更多任务,Spearman相关系数在0.33至0.60之间。

AI 根据报道生成 · 53 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月14日
  1. Hacker News · 首页
    Parsimony:衡量 AI 模型净增代码量的开源基准

    Parsimony 是一款开源基准,针对 AI 模型在编码任务中新增的代码量进行排行,按净增代码单元(新增减去删除)从低到低排序,补充现有评测对 solve rate 与成本的盲区。该基准复用 SWE-bench Verified 已发布的补丁结果,只统计 Python 代码,不重跑测试。数据显示,编写更多代码的模型通常能解决更多任务(Spearman 0.33–0.60)。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。