Reddit · r/LocalLLaMA· /u/Designer_Elephant227·· 6 天前AI 评分21
Qwen3.8-Flash-Next 在单张 r9700 上的性能：230k 上下文下 863 t/s prefill、35 t/s decode 是否正常？
Qwen3.8-Flash-Next (5.05bpw + ngram at bf16) exl3 on one r9700: 863 t/s prefill and 35 t/s decode at 230k context (256k max), is that ok or am i missing something?
AI 导读
用户在单张 AMD r9700 显卡上运行 Qwen3.8-Flash-Next（exl3 格式，5.05 bpw），在 262144 上下文、q8 kv cache 配置下测得 prefill 速度 863 t/s（仅计算新增 101k tokens）、decode 速度 34.7 t/s，mtp drafting 接受率约 53-54%。该用户询问该性能表现是否达到预期，以及是否还有调优空间。
来源：Reddit · r/LocalLLaMA · reddit.com