跳到正文
原文
Reddit · r/LocalLLaMA· /u/chocofoxy·· 4 小时前AI 评分36

双 RTX 5060 Ti 本地推理配置:Qwen3.8-27B NVFP4 达 70-95 t/s 解码

My setup for 2x 5060TI

AI 导读

用户分享双 RTX 5060 Ti 16GB 本地推理配置,用 capy-flash 跑 Qwen3.8-27B NVFP4 张量并行,配 MTP 投机解码与 int8 KV cache,176K 上下文下解码 70-95 t/s、prefill 约 1,500 t/s。

来源:Reddit · r/LocalLLaMA · reddit.com