热点事件持续更新
KV Cache 量化对 Qwen3.8 27B 的影响评测
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年11月8日，Reddit r/LocalLLaMA 出现一项针对 Qwen3.8 27B 的 KV Cache 量化评测。报道称，测试覆盖 llama.cpp、exllamav3 和 vLLM 三个推理框架，共测试 35 个权重量化组合。结果显示，8-bit KV cache 在 llama.cpp 和 ExLlamaV3 中可将缓存减半，KLD 变化小于 0.00012，基本无损；vLLM 的 FP8 cache 仅增加 0.0004-0.0006 KLD。报道同时称 4-bit KV cache 有明显代价。目前该评测仅此一篇报道，尚无后续独立验证或官方回应。
AI 根据报道生成 · 1 小时前更新
最新进展11月8日 01:09
新评测称 Qwen3.8 27B 的 8-bit KV cache 基本无损，4-bit 有明显代价。报道时间线
沿着报道，了解事件的不同侧面。
11月8日
- Reddit · r/LocalLLaMAKV Cache 量化对 Qwen3.8 27B 的影响：8-bit 几乎无损，4-bit 有明显代价
针对 Qwen3.8 27B，在 llama.cpp、exllamav3 和 vLLM 上测试 35 个权重量化后发现，8-bit KV cache 在 llama.cpp 和 ExLlamaV3 中把缓存减半且 KLD 变化小于 0.00012，基本无损；vLLM 的 FP8 cache 仅增加 0.0004-0.0006 KLD。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。