Hacker News · 首页· ggcr·· 13 天前精选AI 评分82
DeepSeek 开源大规模推理框架 DeepInfer
DeepInfer: High-performance, large-scale inference framework for DeepSeek models
AI 导读
DeepSeek 开源 DeepInfer，用于 DeepSeek 模型的大规模离线推理，当前支持 DeepSeek-V4.1-Flash。框架提供优化 kernels、并行化、异步调度、批量不变推理、确定性采样及结构化输出等功能，支持 NVIDIA SM100 GPU 和华为昇腾 950 NPU，并以 Apache License 2.0 发布。
推荐理由
项目公开了面向大规模服务的特性、硬件要求和构建方式，可用于评估 DeepSeek 模型的离线推理部署。
来源：Hacker News · 首页 · github.com
最近 7 天的更新
- 面壁智能 ForgeKernel 直播从零写算子，比 DeepSeek FlashMLA 快 9.8% 并宣布开源量子位 QbitAI·
- Mistral Large 4（Le Chonk）在 Hugging Face 发布Hugging Face Blog·
- Mistral 发布 Mistral Large 4：1T 参数 MoE 多模态模型Reddit · r/LocalLLaMA·
- Mistral 发布 1 万亿参数多模态模型 Mistral Large 4 开放权重Mistral AI·
- Gemini 4 Carbon 登顶 Artificial Analysis Intelligence Index v5Hacker News · 首页·
- 苹果发布搭载 PROLED XDR 显示屏与触控的 MacBook ProHacker News · 首页·
- Google 在 Android Dev Summit 开放 Android 开发环境给第三方 AI Agent 并发布新 Gemini APIThe Decoder·
- Cursor 发布 Agent SDK，可用代码定义并部署智能体Hacker News · 首页·
相关工具
- Moonshot AI 发布 Kimi K3.1 Pro 推理模型85
- DeepSeek 开源 DeepInfer 生产推理框架及其缓存架构84
- Mistral Large 4（Le Chonk）在 Hugging Face 发布82
- Hugging Face 发布原生 PyTorch 后端 TorchTPU82
- DeepSeek 发布 V4.1-Flash-1017 模型，同步上线自研 Search 与 Fetch API82
- Slipstream 发布：可在 64GB Mac 上以 41-52 tok/s 运行 95.5 GiB Qwen3.8-Flash-Next81
- 文心 Unlimited OCR 2 开源，KV Cache 占用从 47GB 降至 1.77GB80
- Grok 4.7 在 Amazon Bedrock 上可用80
反向发现 · 这个工具相关的论文与提示词
去交叉发现 →关联论文 · 4
关联提示词 · 1
Core Systems Architect: Upgrading the TITAN OMEGA Edge Dashboard
--- name: core-systems-architect-upgrading-the-titan-omega-edge-dashboard description: Act as Core Systems Architect. Upgrade FRACTALMESH/TITAN OMEGA to v10355.0. Expose raw JSON streams (system, telemetry, revenue, logs) via Termux Node.js