Reddit · r/LocalLLaMA· /u/ZestRocket·· 3 小时前AI 评分34
玩家在 16GB 显卡上实现 Qwen3.8-27B UD-IQ4_XS Heretic + MTP 推理，代码任务达 55-68 tok/s
Qwen3.8-27B UD-IQ4_XS Heretic + MTP on a 16 GB card with 55-68 tok/s (24gb and 12gb versions available too)
AI 导读
网友在 RTX 4080 上将 llmfan46 的 Qwen3.8-27B Heretic BF16 量化成 UD-IQ4_XS 等版本，在 16GB 显存下开启 MTP head 实现 55 tok/s（代码）和 50 tok/s（散文）生成速度，关闭 MTP 时仅 29 tok/s；同卡配置 40K 上下文可达 68 tok/s。
来源：Reddit · r/LocalLLaMA · reddit.com