跳到正文
原文
Reddit · r/LocalLLaMA· /u/thatscoolbutno123·· 3 小时前AI 评分23

qwen flash next 3.8 的 KV cache 量化对上下文容量影响有多大

how much difference does kv cache quants even make?

AI 导读

使用 qwen flash next 3.8、iq3xxs 权重与 q8 KV cache 时,262k 上下文已超出 RAM 容量。用户希望扩至 300–400k,因而询问改用 q4 KV cache 后性能与容量会如何变化,以评估可行性。

来源:Reddit · r/LocalLLaMA · reddit.com