热点事件历史事件
预印本称基座模型存在基准测试记忆泄漏
1 篇报道1 个报道来源4 天前更新
先了解这件事
AI 综述
2026年11月18日,Xinxu AI 与 GAIR 的预印本《Benchleaking Is Accelerating》提出用 few-shot 续写探针检测基座模型的基准测试记忆泄漏。该研究检测了4款开源基座模型,其中 ERNIE-5.5-Flash-Base 被判泄漏的 HumanEval 题目占比达 96.3%;将泄漏题判零后,其20项基准均值从85.17降至68.55,排名随之反转。报道据此提出,榜单第一可能是靠背题取得的。目前该结论来自预印本,尚待同行评议。
AI 根据报道生成 · 4 天前更新
最新进展11月18日 08:00
预印本称 ERNIE-5.5-Flash-Base 的 HumanEval 泄漏题占比达96.3%,判零后排名反转。报道时间线
沿着报道,了解事件的不同侧面。
11月18日
- Unbug 一分钟读论文预印本《Benchleaking Is Accelerating》称榜单第一可能是背题背出来的
Xinxu AI 与 GAIR 的预印本《Benchleaking Is Accelerating》用 few-shot 续写探针检测 4 款开源基座模型,ERNIE-5.5-Flash-Base 被判泄漏的 HumanEval 题目占比达 96.3%,把泄漏题判零后其 20 基准均值从 85.17 掉到 68.55,排名反转。
本事件热度走势
当前热度 3·可比范围峰值 8(11月18日 14:00)·近 24 小时可比范围变化 -49%
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。