跳到正文
原文
Google DeepMind·· 2026-04-22精选AI 评分68

Google DeepMind 发布 Decoupled DiLoCo:面向分布式 AI 训练的高弹性新架构

Decoupled DiLoCo: A new frontier for resilient, distributed AI training

AI 导读

Google DeepMind 发布 Decoupled DiLoCo(解耦分布式低通信)架构,通过将训练任务分散到相互独立的计算岛屿,实现跨数据中心的分布式大语言模型训练。

推荐理由

这篇论文提出了一种新的分布式训练架构,能够在低带宽条件下跨数据中心训练大模型,同时保持较高的硬件容错性。

来源:Google DeepMind · deepmind.google