Reddit · r/LocalLLaMA· /u/Express_Quail_1493·· 3 小时前AI 评分20
社区提案：自建私有质量基准测试，别再只盯着 tok/s
Proposal: A community revolution for private quality benchmarks (and why endless chasing tok/s is rotting our brains
AI 导读
r/LocalLLaMA 用户提议社区自建私有质量基准测试，重点评测量化前后的模型质量，各自保留测试集、只互相分享结果图表。该提案认为当前社区每隔几小时就有人发 tok/s 帖子，HuggingFace 开放权重 LLM 领域的 Benchmaxxing 也已失控。
来源：Reddit · r/LocalLLaMA · reddit.com