Reddit · r/LocalLLaMA· /u/Boricua-vet·· 7 小时前AI 评分11
"Qwen 27B 本地部署实测：在 20GB 显存下用更高量化等级换更少上下文，速度反更快"
Qwen 27B - sacrificing context in order run better quants, pros and cons.
AI 导读
在 20GB 显存上本地运行 Qwen 27B 时，作者将 Unsloth IQ4_XS（96K 上下文、KV-F16）切换为 UDQ4KS（75K 上下文、KV-Q8）进行对比。
来源：Reddit · r/LocalLLaMA · reddit.com