跳到正文
原文
Reddit · r/LocalLLaMA· /u/MarkoMarjamaa·· 3 小时前AI 评分15

Qwen3.8 Flash Next 量化对芬兰语的影响实测:Unsloth Q4 与 Q8 混合方案测试

Qwen3.8 Flash Next Unsloth quants KLD&Top1% with default wiki, English books and Finnish books.

AI 导读

一位用户测试了 Unsloth 对 Qwen3.8 Flash Next 的不同量化方案对芬兰语的影响。结果显示,芬兰语在量化后下降明显,Q8 精度仍远超 0.02 KLD 阈值;而英语数据上 Q8 表现接近预期水平。该用户还测试了一种混合方案,将 Unsloth Q4 与 Q8 级别的 n-gram 组合,结果介于 Q4 和 Q5 模型之间,且 n-gram 从磁盘运行不占显存。

来源:Reddit · r/LocalLLaMA · reddit.com