Latent Space·· 2 小时前精选AI 评分83
DeepSeek 开源 DeepInfer 推理框架及其生产经济性解读
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
AI 导读
DeepSeek 开源 V4.1 Flash 所用的 DeepInfer 推理框架，并披露单集群每日处理 155T tokens、输入缓存命中率 96% 和平均 400ms 首 token 延迟等生产数据。文章结合 vLLM 的对比结果、KV cache 设计与缺失的负载均衡等组件，估算其推理收入可达每张加速器每小时 $38，但相关吞吐、硬件成本和利润率均非独立审计结果。
推荐理由
文章不仅梳理 DeepInfer 的开放范围，还结合 vLLM 复现和缓存机制审视吞吐、利润率及服务可复现性。
来源：Latent Space · latent.space