跳到正文
热点事件持续更新

RTX Pro 6000 Blackwell 上 Qwen3.8-Flash-Next 三引擎推理对比

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

2026 年 10 月 16 日,Reddit r/LocalLLaMA 发布一组基于 RTX Pro 6000 Blackwell 的推理对比测试,针对 Qwen3.8-Flash-Next 分别在 Ninfer6000、vLLM 与 llama.cpp 三个推理引擎下进行了实测。测试结果显示,Ninfer6000 在平均 decode(解码)速度上达到 238 tok/s,约为 vLLM 的 1.59 倍、llama.cpp 的 2.21 倍,整体生成速度优势明显;不过在 prefill(预填充)阶段,Ninfer6000 的速度则低于 vLLM。这意味着 Ninfer6000 在出 token 阶段表现更强,但在输入处理阶段略逊于 vLLM。目前该事件仅有这一篇最新报道,尚未出现后续的修订或反驳内容。

AI 根据报道生成 · 49 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月16日
  1. Reddit · r/LocalLLaMA
    Qwen3.8-Flash-Next 在 vLLM、llama.cpp 与 Ninfer6000 推理引擎对比测试

    在 RTX Pro 6000 Blackwell 上对 Qwen3.8-Flash-Next 进行 vLLM、llama.cpp 和 Ninfer6000 三引擎实测,Ninfer6000 平均 decode 速度达 238 tok/s,约为 vLLM 的 1.59 倍、llama.cpp 的 2.21 倍,但 prefill 速度低于 vLLM。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。