跳到正文
原文
Reddit · r/LocalLLaMA· /u/willeyh·· 4 天前AI 评分34

ExLlamaV3 在 9070XT 上 MoE 专家卸载调优:Qwen 3.6 35B A3B 预填充突破 2600 t/s

MoE Offloading update Exllamav3 on 9070XT

AI 导读

在 9070XT 16GB 上运行 Qwen 3.6 35B A3B Q4 量化版时,将 ExLlamaV3 的 chunk size 提升至 5120 后,预填充速度在所有上下文长度下均超过 2000 t/s,32K 上下文时达到 2606 t/s。

来源:Reddit · r/LocalLLaMA · reddit.com