跳到正文
原文
Reddit · r/LocalLLaMA· /u/hyudryu·· 2 小时前AI 评分35

Qwen3.8 Flash Next UD-Q4_K_XL 在 RTX PRO 6000 上通过 Strata 后端跑出最高 320 tokens/s

Strata with Qwen3.8 Flash Next UD-Q4_K_XL

AI 导读

用户在 RTX PRO 6000(96GB)上以 Strata 后端运行 Unsloth 的 Qwen3.8-Flash-Next UD-Q4_K_XL,启用 INT8 KV cache。

来源:Reddit · r/LocalLLaMA · reddit.com