Hacker News · 首页· antiuniverse·· 5 小时前AI 评分71
MaxxBench 发布:改写 DeepSWE 任务需求后,模型分数差距翻倍
MaxxBench – "Nice DeepSWE score. But is it true?"
AI 导读
MaxxBench 团队修改 89 个 DeepSWE 任务的需求或起始代码,发现模型分数差距从 20.9 个百分点扩大到 48.3 个百分点。Claude Opus 5.5 从 74.2% 升至 76.4%,Gemini 3.8 Flash 从 73.8% 降至 53.4%,DeepSeek V4.1 Flash 从 74.2% 降至 55.6%。
来源:Hacker News · 首页 · maxxbench.unlap.ai