Reddit · r/LocalLLaMA· /u/smflx·· 4 小时前AI 评分74
tandem.cpp 让 Qwen3.8-Flash-Next 在单张 4090 上达到 97 tok/s
tandem.cpp: Qwen3.8-Flash-Next at 97 tok/s on a single 4090 + 64 GB RAM, 3.3× llama.cpp, works for any MoE
AI 导读
tandem.cpp 是 llama.cpp 的补丁集，让显存装不下的 MoE 模型跑得更快：把最常用的专家留在 GPU 上，其余交给 CPU 参与计算，适用于 llama.cpp 支持的任何 MoE 模型。
来源：Reddit · r/LocalLLaMA · reddit.com