Reddit · r/LocalLLaMA· /u/lahwran_·· 5 小时前AI 评分8
网友呼吁开源社区打造一个能复现 jev 官方基准排名的本地化评测
I'd like a jevlikes benchmark that tests for what jev's official benchmarks do (eg, calibration). Anyone got one or want to make it?
AI 导读
Reddit 用户指出，jev 的官方基准与开源社区主流排名存在显著偏差，例如 kev 在官方基准中位列第二却在开源指数中跌出首页，怀疑双方基准都有问题。该用户希望社区开发一个与 jev 官方基准强相关、覆盖图像解析、视频解析、数学、代码、游戏等多种技能，并测试不同输入格式的开源 benchmark。如无人接手，他考虑自建但大概率不会公开发布。
来源：Reddit · r/LocalLLaMA · reddit.com