跳到正文
原文
Reddit · r/LocalLLaMA· /u/TingTingin·· 13 小时前AI 评分26

ISTA-DASLab 的 gsq-rco 量化基准遭 Unsloth 质疑复现失败,Basalt 作者改用 Unsloth 量化

Another benchmark has hit the quant war

AI 导读

ISTA-DASLab 的 gsq-rco 量化基准被 Unsloth 质疑无法复现,其基准方法未公开,Unsloth 测试中自家量化表现优于 gsq-rco。Basalt 推理引擎作者此前以 ISTA-DASLab 量化为基座,测试后改用相近体积的 Unsloth 量化版本。相关性能数据来自 /u/TingTingin 提交的截图。

来源:Reddit · r/LocalLLaMA · reddit.com