21 款 Qwen3.8 27B 模型 9 种 KV 量化组合的 189 项基准对比

用户在 16GB VRAM 约束下，对 Qwen3.8 27B 等 21 个模型在 9 种不同 KV cache 量化组合上进行了 189 项 KLD 与 perplexity 基准测试。结论显示，q5_1/q5_1 几乎在所有情况下都优于 q8_0/q4_0 或 q4_0/q8_0，且 q4_0/q4_0 运行高一档模型量化通常优于低一档量化配 f16/f16 KV cache。