跳到正文
原文
Reddit · r/LocalLLaMA· /u/musicurgy·· 1 天前AI 评分67

DeepSeek-V4.1-Flash-1017 在单张 RTX 3090 上实现 41 tok/s 本地推理

DeepSeek-V4.1-Flash-1017 at 41 tok/s on one 3090

AI 导读

作者使用 Windows 版 delta-inference-engine,在单张 RTX 3090 上运行 DeepSeek-V4.1-Flash-1017 的 Q2 GGUF,实测平均生成速度为 41 tok/s。该配置支持完整 1M 上下文,输出与 DeepSeek API 的下一 token 一致率在通用文本和代码/数学任务上分别为 90.2% 和 92.4%,项目以 MIT 许可证开放。

来源:Reddit · r/LocalLLaMA · reddit.com