Unbug 一分钟读论文· unbug·· 4 天前AI 评分71
预印本《Benchleaking Is Accelerating》称榜单第一可能是背题背出来的
一分钟读论文:《榜单第一可能是背出来的》
AI 导读
Xinxu AI 与 GAIR 的预印本《Benchleaking Is Accelerating》用 few-shot 续写探针检测 4 款开源基座模型,ERNIE-5.5-Flash-Base 被判泄漏的 HumanEval 题目占比达 96.3%,把泄漏题判零后其 20 基准均值从 85.17 掉到 68.55,排名反转。
来源:Unbug 一分钟读论文 · unbug.github.io