在单张 5090 上以 255 tok/s 运行千问 Qwen3.8

通过后训练、量化和 kernel 专项优化，Qwen3.8-Flash-Next-NVFP4 可在单卡 RTX 5090 上达到约 255 tok/s 的推理速度；面向编码和日常任务的版本推荐使用 1× RTX 6000，4 用户聚合吞吐约 334 tok/sec。模型以开源形式提供，支持本地硬件部署。