跳到正文
原文
Reddit · r/LocalLLaMA· /u/dampflokfreund·· 1 小时前AI 评分17

基于 Strata 测试 Qwen Flash Q2_0 与 IQ2_XS GSQ-RCO 量化版本的对比体验

Qwen Flash Q2_0 vs IQ2_XS GSQ-RCO using Strata

AI 导读

用户在旧笔记本上测试 Qwen Flash 的 Q2_0 与 IQ2_XS(GSQ-RCO 量化版)的体验:IQ3 量化会严重拖慢 prefill 速度;IQ2_XS 在保留世界知识方面优于 Q2_0,但在相同推荐 sampler 设置下(尤其关闭 thinking 时)更容易出现循环生成。Q2_0 与 IQ2_XS 在 benchmark 各维度上各有明显优势。

来源:Reddit · r/LocalLLaMA · reddit.com