Reddit · r/LocalLLaMA· /u/milpster·· 5 小时前AI 评分32
Qwen 3.8 27B 搭配 Dflash2 使用低精度 draft 模型量化可提升速度
Using Q38FN with dflash2? Try lower draft model quants.
AI 导读
Qwen 3.8 27B 搭配 Dflash2 时，F16、Q8 和 Q4 draft 模型中，Q4 带来最大加速。发帖者建议在带 strata 的场景尝试更低精度的 draft 模型量化，以提升接受率相近情况下的推理速度。
来源：Reddit · r/LocalLLaMA · reddit.com