研究：基准测试是衡量难度的不可靠指标

一篇论文指出，基准测试的题目难度与表述框架会影响模型训练中观测到的分数提升。结果显示，许多基准测试隐式地过度加权某些难度区间，其排行榜结论应谨慎解读；另一些基准测试则未覆盖难度轴的大部分区间，限制了其监测模型改进过程的能力。