Reddit · r/LocalLLaMA· /u/sillynoobhorse·· 3 小时前AI 评分20
Qwen 3.8 Flash Next 加载完整 FP8 n-gram 表的实测效果
Why not run Qwen 3.8 Flash Next with the full n-gram-table?
AI 导读
用户在 llama.cpp 中以 bf16 sidecar 方式为 Qwen 3.8 Flash Next 加载完整 FP8 n-gram 表(PLE),相比 IQ3_S 自带的 IQ4_NL 量化 PLE,模型在生成 3D 场景等任务中的"低级失误"明显减少,且推理速度未受影响,仅多占用少量磁盘空间。
来源:Reddit · r/LocalLLaMA · reddit.com