Reddit · r/LocalLLaMA· /u/jesdga95·· 4 小时前AI 评分18
Basalt：为 Qwen3.8 Flash-Nnext 加入 NVFP4 与更快 prefill，单卡 5090 可跑
Basalt: NVFP4 + faster prefill for Qwen3.8 Flash-Next on Blackwell (single 5090)
AI 导读
Basalt 推理框架原生支持 NVFP4 量化，为 Qwen3.8 Flash-Nnext 提供新的 `.basalt` 打包格式，在单张 RTX 5090（400W、128GB DDR5）上结构化输出达 304 tok/s、散文 183 tok/s，搭配 5060 Ti 后可达 479/239 tok/s。
来源：Reddit · r/LocalLLaMA · reddit.com