跳到正文
原文
Reddit · r/LocalLLaMA· /u/Hefty_Wolverine_553·· 2 小时前AI 评分36

KV Cache 量化对 Qwen3.8 27B 的影响:8-bit 几乎无损,4-bit 有明显代价

Effects of KV Cache Quantization on Qwen3.8 27B

AI 导读

针对 Qwen3.8 27B,在 llama.cpp、exllamav3 和 vLLM 上测试 35 个权重量化后发现,8-bit KV cache 在 llama.cpp 和 ExLlamaV3 中把缓存减半且 KLD 变化小于 0.00012,基本无损;vLLM 的 FP8 cache 仅增加 0.0004-0.0006 KLD。

来源:Reddit · r/LocalLLaMA · reddit.com