Reddit · r/LocalLLaMA· /u/uniVocity·· 3 小时前AI 评分58
单张 RTX 3090 Ti 加 128GB 内存跑 DeepSeek-V4.1-Flash 与 Qwen3.8-Flash-Next 的部署实录
Getting incredible results with a single RTX 3090ti and 128gb of ram. Deepseek-V4.1-Flash-1017 (35 tok/s decode) and Qwen3.8-Flash-Next (130 tok/s decode)
AI 导读
作者在单张 RTX 3090 Ti（24GB 显存）加 128GB DDR4 内存的 Gentoo 机器上跑起两个大 MoE 模型，DeepSeek-V4.1-Flash-1017（552B MoE，约 39B 激活）解码约 35 tok/s，Qwen3.8-Flash-Next（125B MoE，约 3.5B 激活）解码约 138–140 tok/s。
来源：Reddit · r/LocalLLaMA · reddit.com