Reddit · r/LocalLLaMA· /u/nunodonato·· 2 天前AI 评分22
TinyLeague 更新:移除 AA 指标,新增 KV cache 效率评分
Important update to TinyLeague (AA out, KV efficiency in)
AI 导读
TinyLeague 发布重要更新,移除了 AA 指标,原因是许多小模型无法获得评分,且 AA 正转向闭源基准,未来小模型和开源权重模型的分数会更少。新增的 KV cache 效率指标按 128K 上下文估算所需 GB 值,并以 0-100% 评分,面向显存有限的本地模型用户。作者表示 TinyLeague-Index 仍在设计中,因各模型使用的基准不同,尚未找到公平的方法。
来源:Reddit · r/LocalLLaMA · reddit.com