Reddit · r/LocalLLaMA· /u/MaxDev0·· 4 小时前AI 评分64
Lean-QwenFlash 让 Qwen3.8-Flash-Next 在 16GB 显存设备上运行
Lean-QwenFlash: Qwen3.8-Flash-Next (125B) running at ~20 tok/s on 16gb vram and 8gb ram via direct nvme SSD offloading
AI 导读
作者将 GLM 的 NVMe SSD 卸载方案适配到 Qwen3.8-Flash-Next，并开源模型下载器与打包脚本。该方案仅分配 8GB 系统 RAM，在 RTX 4090 上处理 100k 和 262k 上下文时分别达到 20.8 tok/s 和 20.0 tok/s 解码速度。
来源：Reddit · r/LocalLLaMA · reddit.com