跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

最新精选

第 81–93 条 · 共 93 条
9月22日周二
  1. NVIDIA Blog61

    NVIDIA 推动埃及及非洲 AI 生态系统进入生产规模

    NVIDIA 在埃及举办活动展示当地快速增长的 AI 生态,包括开发者、创业公司和企业的应用。埃及的 Deep Learning Institute 学员基数一年增长超十倍。

    推荐理由:原文提供了非洲AI基础设施的多个具体建设进展和投资数字,读者可以据此了解非洲AI生态的现状与增长空间。

9月10日周四
9月8日周二
  1. Epoch AI60

    Epoch AI 实测:GPT-5.6 长上下文延迟呈二次增长,Claude 5 接近线性

    Epoch AI 在关闭推理的情况下测量首 token 延迟(TTFT)随上下文长度的变化,发现 GPT-5.6 Terra 和 Sol 呈明显二次曲线,Claude Sonnet 5 接近线性,Opus 5 噪声更大但同样接近线性。

    推荐理由:通过实测两家模型的首 token 延迟随上下文长度的变化,读者可以看到长上下文处理架构差异如何反映在延迟曲线上。

9月1日周二
  1. Hugging Face Blog74

    Hugging Face 发布 @huggingface/kernels:207 个 WebGPU 内核支持本地 AI 推理

    Hugging Face 发布 WebGPU 内核库 @hugglingface/kernels,包含 207 个优化内核,可从 Hub 直接加载运行。性能对比测试显示,与 ORT WebGPU 相比,新内核在 Apple M4 GPU 上实现几何平均 2.57 倍提速、中位数 1.90 倍提速,部分操作如 bilinear Einsum 提速超过 10000 倍。

    推荐理由:原文给出了 207 个内核的性能对比数据(2.57x 几何平均提速),读者可以据此判断这个底层工具对自己浏览器端 AI 推理工作流的价值。

8月25日周二
  1. Mistral AI65

    Mistral 与 HUMAIN 达成战略合作,推动沙特及中东地区主权 AI 发展

    Mistral 与 HUMAIN 宣布战略合作,合作金额达数亿欧元。双方将在 AI 基础设施、先进模型开发和 AI 解决方案部署方面合作,初始重点领域包括网络安全和语音,并计划开发在阿拉伯语方面表现优异的前沿模型。合作旨在满足主权 AI 需求,确保数据、推理和运营在客户控制范围内,主要面向金融、制造、电信、网络安全和公共部门等受监管行业。

    推荐理由:这是 AI 基础设施和主权 AI 领域的跨国合作案例,读者可以据此了解欧洲 AI 公司在中东的布局策略和主权 AI 的具体落地模式。

8月21日周五
7月16日周四
  1. Hugging Face Blog76

    Hugging Face 安全事件披露 — 2026年7月

    Hugging Face 本周检测到一起由自主 AI 智能体系统端到端驱动的安全入侵事件。攻击者通过恶意数据集利用数据集处理流程中的代码执行路径入侵,横向移动到多个内部集群,累计执行超过 17,000 次自动化操作。

    推荐理由:真实披露了 AI 智能体驱动的攻击手法和防御经验,特别是指出商业 API 护栏会阻止安全分析这一关键洞见。

7月8日周三
  1. Hugging Face Blog66

    Hugging Face 一键集成 Amazon SageMaker Studio

    Hugging Face 与 Amazon SageMaker AI 推出深度链接集成,开发者可在 Hugging Face 模型页面一键跳转至 SageMaker Studio 进行模型定制或部署。

    推荐理由:一键集成让开发者从模型发现到实验部署的路径大幅缩短,这是 Hugging Face 与 AWS 生态深度绑定的关键一步。

7月7日周二
  1. Hugging Face Blog68

    Microsoft Foundry 支持一键部署 Hugging Face 开源模型

    微软在 Build 2026 上宣布 Foundry Managed Compute 支持部署 Hugging Face 开源模型,提供经过安全扫描的模型、预构建的运行时(vLLM、SGLang、TensorRT-LLM 等)和企业级安全治理,开源模型可与 frontier 模型一起在 Foundry Agents 中使用。

    推荐理由:这是微软为企业提供的开源模型部署方案,读者可以了解到如何在微软云上获得企业级安全保障的同时使用开源模型。

  2. Hugging Face Blog79

    Hugging Face Storage 成为 SkyPilot 官方存储后端,支持 hf:// 协议挂载

    Hugging Face 与 SkyPilot 合作,将 Hugging Face Storage 集成 为 SkyPilot 官方存储后端。用户可通过 hf:// 协议挂载 Hugging Face Bucket(读写)或模型/数据集/Space 仓库(只读),在任意云上运行训练和推理任务,且读写 Hugging Face 数据免收出口费用。

    推荐理由:原文给出了 Hugging Face Storage 成为 SkyPilot 存储后端的具体集成方式、基准数据和使用场景,读者可以据此判断它对自己跨云训练/推理工作流的影响。

6月9日周二
  1. Google DeepMind75

    Google DeepMind 发布 Gemma 4 12B:统一 encoder-free 多模态模型

    Google DeepMind 发布 Gemma 4 12B,采用无编码器架构将视觉和音频输入直接整合到 LLM 主干,支持原生音频输入。性能接近更大的 26B MoE 模型,可在 16GB VRAM 的笔记本电脑上本地运行,已获 150 万次下载,发布于 Apache 2.0 许可证。

    推荐理由:原文给出了架构变化(encoder-free)、性能对比(接近 26B MoE)、内存要求(16GB VRAM)和原生音频输入等具体信息,读者可以据此评估它与其他 Gemma 模型的定位差异。

3月17日周一
  1. Mistral AI77

    Mistral Small 3.1 发布

    Mistral AI 发布 Mistral Small 3.1,号称同类最佳模型。新模型在文本性能和多模态理解上有所提升,上下文窗口扩展至 128k token,推理速度达 150 tokens/s,优于 Gemma 3 和 GPT-4o Mini。模型基于 Apache 2.0 许可证开源,可在单张 RTX 4090 或 32GB RAM Mac 上运行。

    推荐理由:原文给出了性能对比和推理速度数据,读者可以据此判断它在同类模型中的竞争力。