跳到正文
热点事件持续更新

网友呼吁开源社区打造本地化复现 jev 官方基准评测

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

2026 年 10 月 17 日,Reddit r/LocalLLaMA 用户发帖指出,jev 官方基准与开源社区主流排名之间存在显著偏差,例如 kev 在官方基准中位列第二,却在开源指数中跌出首页。该用户怀疑官方基准与开源指数两边都可能存在问题,因此呼吁社区共同开发一个新的开源 benchmark:要求与 jev 官方基准强相关,覆盖图像解析、视频解析、数学、代码、游戏等多种技能,并兼顾不同输入格式的测试。该用户在帖中表示,如果无人愿意接手,他考虑自行搭建一个,但大概率不会公开发布。截至目前,尚未有社区成员或机构表态接盘该项目,也未见任何后续开发进展披露。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月17日
  1. Reddit · r/LocalLLaMA
    网友呼吁开源社区打造一个能复现 jev 官方基准排名的本地化评测

    Reddit 用户指出,jev 的官方基准与开源社区主流排名存在显著偏差,例如 kev 在官方基准中位列第二却在开源指数中跌出首页,怀疑双方基准都有问题。该用户希望社区开发一个与 jev 官方基准强相关、覆盖图像解析、视频解析、数学、代码、游戏等多种技能,并测试不同输入格式的开源 benchmark。如无人接手,他考虑自建但大概率不会公开发布。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。