每条发布 = 一张工具卡 · 命中 "新工具 / 产品更新 / 模型发布 / 平台" 标签(itemType=tool_release)· 按时间排序
DeepSeek 开源 DeepInfer，用于 DeepSeek 模型的大规模离线推理，当前支持 DeepSeek-V4.1-Flash。框架提供优化 kernels、并行化、异步调度、批量不变推理、确定性采样及结构化输出等功能，支持 NVIDIA SM100 GPU 和华为昇腾 950 NPU，并以 Apache License 2.0 发布。
推荐理由：项目公开了面向大规模服务的特性、硬件要求和构建方式，可用于评估 DeepSeek 模型的离线推理部署。
DeepSeek 以 Apache License 2.0 开源内部推理框架 DeepInfer，用于让 V4.1-Flash 模型快速大规模生成回答。DeepInfer 基于 vLLM，加入优化计算内核、多芯片分布式处理和更快的文本生成技术；DeepSeek 还开源了 deepseek-recipe，以复现官方 Deepseek API 的 token 处理行为，并表示未来模型代码也将开源。
推荐理由：开源框架同时披露了 DeepSeek 的部署架构和成本优化方向，可用于观察其模型服务策略。
DeepSeek 开源用于 V4.1 Flash 的 DeepInfer 推理框架及 deepseek-recipe 服务组件，支持最长 72 小时提示缓存、分布式推理、推测解码和结构化输出。
推荐理由：材料梳理了 DeepInfer 的架构、缓存机制和开源边界，并对照 vLLM 复现结果与收入估算，帮助读者区分已验证能力和生产方自报数据。