跳到正文
原文
Reddit · r/LocalLLaMA· /u/DataCraftsman·· 4 小时前AI 评分50

Flint 在 vLLM 的 RTX PRO 6000 NVFP4 部署测试

Ran Flint on RTX PRO 6000 at NVFP4 in vLLM

AI 导读

Flint 通过 vLLM 的 PR 在 RTX PRO 6000 上以 NVFP4 运行,单流速度约 110-180 tok/s,64 个并发请求时峰值约 2,500 tok/s。其 LiveCodeBench v6 得分 82.2,高于官方所述 80.8;SWE-bench Verified 得分 80,高于 74.1,但 chat_template.yml 仍有问题。

来源:Reddit · r/LocalLLaMA · reddit.com