跳到正文
原文
Reddit · r/LocalLLaMA· /u/indrasmirror·· 2 小时前AI 评分30

Xolotl:基于 Strata 的推理引擎,单卡 RTX 4090 运行 DeepSeek-V4.1-Flash 全 552B 参数

Xolotl (Strata based) - DeepSeek-V4.1-Flash (552B) on a single 4090 at ~27 tok/s, Uncensored 1017 quant coming in a couple of days

AI 导读

用户基于 Strata 构建推理引擎 Xolotl,可在单张 RTX 4090(24GB VRAM)加 90GB DDR4 的普通游戏 PC 上运行全量 552B 参数的 DeepSeek-V4.1-Flash。

来源:Reddit · r/LocalLLaMA · reddit.com