Reddit · r/LocalLLaMA· /u/DataCraftsman·· 4 小时前AI 评分50
Flint 在 vLLM 的 RTX PRO 6000 NVFP4 部署测试
Ran Flint on RTX PRO 6000 at NVFP4 in vLLM
AI 导读
Flint 通过 vLLM 的 PR 在 RTX PRO 6000 上以 NVFP4 运行,单流速度约 110-180 tok/s,64 个并发请求时峰值约 2,500 tok/s。其 LiveCodeBench v6 得分 82.2,高于官方所述 80.8;SWE-bench Verified 得分 80,高于 74.1,但 chat_template.yml 仍有问题。
来源:Reddit · r/LocalLLaMA · reddit.com