跳到正文
热点事件历史事件

预印本称基座模型存在基准测试记忆泄漏

1 篇报道1 个报道来源4 天前更新

先了解这件事

AI 综述

2026年11月18日,Xinxu AI 与 GAIR 的预印本《Benchleaking Is Accelerating》提出用 few-shot 续写探针检测基座模型的基准测试记忆泄漏。该研究检测了4款开源基座模型,其中 ERNIE-5.5-Flash-Base 被判泄漏的 HumanEval 题目占比达 96.3%;将泄漏题判零后,其20项基准均值从85.17降至68.55,排名随之反转。报道据此提出,榜单第一可能是靠背题取得的。目前该结论来自预印本,尚待同行评议。

AI 根据报道生成 · 4 天前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月18日
  1. Unbug 一分钟读论文
    预印本《Benchleaking Is Accelerating》称榜单第一可能是背题背出来的

    Xinxu AI 与 GAIR 的预印本《Benchleaking Is Accelerating》用 few-shot 续写探针检测 4 款开源基座模型,ERNIE-5.5-Flash-Base 被判泄漏的 HumanEval 题目占比达 96.3%,把泄漏题判零后其 20 基准均值从 85.17 掉到 68.55,排名反转。

本事件热度走势

当前热度 3·可比范围峰值 8(11月18日 14:00)·近 24 小时可比范围变化 -49%

02.557.51011月18日14:0011月19日04:0011月19日17:0011月20日07:00

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。