Reddit · r/LocalLLaMA· /u/jesdga95·· 4 小时前AI 评分42
DeepSeek V4.1 Flash 1017 在单张 RTX 5090 上的本地推理实验
Ran DeepSeek V4.1 Flash 1017 on a single RTX 5090
AI 导读
开发者将 Unsloth UD-IQ1_S 量化版 DeepSeek V4.1 Flash 1017 部署到自研 Basalt 推理引擎，在单张 RTX 5090 配合 RTX 5060 Ti 16 GB 和 128 GB DDR5 时，解码速度达到 63.5 tok/s。
来源：Reddit · r/LocalLLaMA · reddit.com