The Decoder· Matthias Bastian·· 12 天前精选AI 评分78
DeepSeek 以 Apache License 2.0 开源 V4.1-Flash 推理框架 DeepInfer
Deepseek open-sources the inference engine that powers its fastest and cheapest AI model
AI 导读
DeepSeek 以 Apache License 2.0 开源内部推理框架 DeepInfer,用于让 V4.1-Flash 模型快速大规模生成回答。DeepInfer 基于 vLLM,加入优化计算内核、多芯片分布式处理和更快的文本生成技术;DeepSeek 还开源了 deepseek-recipe,以复现官方 Deepseek API 的 token 处理行为,并表示未来模型代码也将开源。
推荐理由
开源框架同时披露了 DeepSeek 的部署架构和成本优化方向,可用于观察其模型服务策略。
来源:The Decoder · the-decoder.com
最近 7 天的更新
- 面壁智能 ForgeKernel 直播从零写算子,比 DeepSeek FlashMLA 快 9.8% 并宣布开源量子位 QbitAI·
- 苹果发布搭载 PROLED XDR 显示屏与触控的 MacBook ProHacker News · 首页·
- Google 在 Android Dev Summit 开放 Android 开发环境给第三方 AI Agent 并发布新 Gemini APIThe Decoder·
- Cursor 发布 Agent SDK,可用代码定义并部署智能体Hacker News · 首页·
- Google 发布 Genie 4 智能体,可在虚拟 3D 世界中交互Product Hunt · AI 分类·
- Amazon SageMaker AI 推出 SOCI 索引以加速训练和处理任务AWS Machine Learning Blog·
- SoMark 开源 OXR 文档解析模型,1.3B 参数登顶三项基准量子位 QbitAI·
- OpenAI发布GPT-6.1 Terra,主打低成本电脑操作能力量子位 QbitAI·
相关工具
- Moonshot AI 发布 Kimi K3.1 Pro 推理模型85
- DeepSeek 开源 DeepInfer 生产推理框架及其缓存架构84
- OpenAI 一次发布 372 项数学证明,包括唯一游戏猜想83
- DeepSeek 开源大规模推理框架 DeepInfer82
- DeepSeek 发布 V4.1-Flash-1017 模型,同步上线自研 Search 与 Fetch API82
- Google 在 Android Dev Summit 开放 Android 开发环境给第三方 AI Agent 并发布新 Gemini API80
- OpenAI DevDay 2026 发布 Dots、GPT-6.1 Sol 等新品,ChatGPT 周活达 12 亿80
- NVIDIA 开源 OpenShell,为大规模 AI 智能体提供隔离运行时79