Reddit · r/LocalLLaMA· /u/TumbleweedNew6515·· 4 小时前AI 评分34
律师用 2 台 DGX Spark + 3090 主机跑 DeepSeek-V4.1-Flash：256K 预填充 2,618 tok/s，结构化输出 322 tok/s
Lawyer with too many GPUs, part 3: DeepSeek-V4.1-Flash on 2x DGX Spark + an old 3090 box. 2,600+ tok/s prefill to 256K, 322 tok/s structured output, full stack and raw data published
AI 导读
律师 Nick Mermiges 用两台 DGX Spark 加一台 EPYC+3090 主机，以 vLLM 张量并行运行 2.75 bpw EXL3 量化的 DeepSeek-V4.1-Flash-1017，256K 预填充达 2,618 tok/s，结构化输出 322 tok/s。
来源：Reddit · r/LocalLLaMA · reddit.com