Reddit · r/LocalLLaMA· /u/FeydRowan·· 6 小时前AI 评分59
开源推理引擎 capy-flash v0.7.1 支持 Qwen3.8-Flash-Next 在 64 GB 内存运行
capy-flash v0.7.1: Qwen3.8-Flash-Next (125B MoE) now runs in 64 GB of RAM (234 tok/s on two 16 GB cards), and Qwen3.8-27B 3-bit fits on a single 16 GB card (174 tok/s)
AI 导读
开源推理引擎 capy-flash v0.7.1 面向消费级 RTX 50 显卡优化，使 Qwen3.8-Flash-Next 125B MoE 可在 64 GB 内存及一张或两张 GPU 上运行，Qwen3.8-27B 的 3-bit 版本可装入单张 16 GB 显卡。
来源：Reddit · r/LocalLLaMA · reddit.com