The Decoder· Matthias Bastian·· 4 小时前精选AI 评分78
DeepSeek 以 Apache License 2.0 开源 V4.1-Flash 推理框架 DeepInfer
Deepseek open-sources the inference engine that powers its fastest and cheapest AI model
AI 导读
DeepSeek 以 Apache License 2.0 开源内部推理框架 DeepInfer，用于让 V4.1-Flash 模型快速大规模生成回答。DeepInfer 基于 vLLM，加入优化计算内核、多芯片分布式处理和更快的文本生成技术；DeepSeek 还开源了 deepseek-recipe，以复现官方 Deepseek API 的 token 处理行为，并表示未来模型代码也将开源。
推荐理由
开源框架同时披露了 DeepSeek 的部署架构和成本优化方向，可用于观察其模型服务策略。
来源：The Decoder · the-decoder.com