跳到正文
返回论文列表
cs.AI提交于 已译

超大规模神经网络:稀疏门控专家混合层

Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer

Noam Shazeer · Azalia Mirhoseini · Krzysztof Maziarz · Andy Davis · Quoc Viet Le · Geoffrey E. Hinton · et al.

中文摘要

神经网络的容量受参数数量限制。条件计算(conditional computation)理论上可在不按比例增加计算量的情况下大幅提升模型容量,即按样本激活网络的一部分,但实践中存在显著的算法与性能挑战。该工作解决这些挑战,在现代 GPU 集群上实现超过 1000 倍的模型容量提升,而计算效率仅有微小损失。提出稀疏门控专家混合层(Sparsely-Gated Mixture-of-Experts,MoE),由多达数千个前馈子网络组成;可训练的门控网络为每个样本确定稀疏的专家组合。将 MoE 应用于语言建模和机器翻译任务,模型架构为在堆叠 LSTM 层之间以卷积方式应用多达 1370 亿参数的 MoE。在大型语言建模和机器翻译基准上,这些模型以更低计算成本取得显著优于当时最佳的结果。

关键要点

  1. 01条件计算理论上可大幅提升模型容量而不按比例增加计算量,但存在算法与性能挑战。
  2. 02提出稀疏门控 MoE 层,含数千前馈子网络,由可训练门控网络为每个样本选择稀疏专家组合。
  3. 03在 GPU 集群上实现超过 1000 倍模型容量提升,计算效率仅有微小损失。
  4. 04将多达 1370 亿参数的 MoE 卷积式置于堆叠 LSTM 层之间,用于语言建模与机器翻译。
  5. 05在大型语言建模和机器翻译基准上以更低计算成本显著优于当时最佳结果。

解读

尚无解读。

原始英文摘要

The capacity of a neural network to absorb information is limited by its number of parameters. Conditional computation, where parts of the network are active on a per-example basis, has been proposed in theory as a way of dramatically increasing model capacity without a proportional increase in computation. In practice, however, there are significant algorithmic and performance challenges. In this work, we address these challenges and finally realize the promise of conditional computation, achieving greater than 1000x improvements in model capacity with only minor losses in computational efficiency on modern GPU clusters. We introduce a Sparsely-Gated Mixture-of-Experts layer (MoE), consisting of up to thousands of feed-forward sub-networks. A trainable gating network determines a sparse combination of these experts to use for each example. We apply the MoE to the tasks of language modeling and machine translation, where model capacity is critical for absorbing the vast quantities of knowledge available in the training corpora. We present model architectures in which a MoE with up to 137 billion parameters is applied convolutionally between stacked LSTM layers. On large language modeling and machine translation benchmarks, these models achieve significantly better results than state-of-the-art at lower computational cost.

同方向论文 · cs.AI

查看全部 →

反向发现 · 这篇论文相关的工具与提示词

去交叉发现 →

关联工具 · 3

Hacker News · 首页77

Reflection 发布开源权重模型 Beam:501B 总参数 / 23B 激活,主打编码与智能体效率

Reflection 发布首个开源权重模型 Beam,采用稀疏 MoE 架构,总参数量 501B、激活 23B,面向编码、推理与智能体场景。模型在 23.8T token 上完成预训练,并在 10.5K 块 NVIDIA GB300 GPU 上用 4 周生成超 1 亿次 rollout 进行高算力强化学习。

推荐理由:原文给出模型规模、训练规模与推理效率数据,并承诺本月开源权重与技术报告,可作为西方开源前沿模型的参照基线。

Latent Space88

Thinking Machines 发布 Inkling 2 Small:594B 总参数 17B 激活,68 小时预训练

Thinking Machines 发布 Inkling 2 Small,一个 594B 总参数、17B 激活的多模态 MoE 模型,在 GB300 上用 68 小时完成预训练,主预训练阶段为 8.4T token,全流程采用 NVFP4 精度。

推荐理由:材料给出 Inkling 2 Small 的预训练时长、token 量与多项第三方评测对比,可据此判断其与同尺寸模型的差距。

Hugging Face Blog61

AllenAI 发布 Olmo-core 3:面向大规模 MoE 的开源可扩展训练基础设施

AllenAI 发布 Olmo-core 3 训练框架,支持将专家池从 8 扩展到 128 而每 token 仅激活 4 个专家,总参数量从 4.6B 增至 47B,训练吞吐量仅下降不到 5%。在 8 个 NVIDIA B300 GPU 上,47B MoE 达 52,000 tokens/s/GPU,约为此前实现的 2.7 倍。系统已测试至 1.2 万亿参数规模。

推荐理由:原文给出了专家池扩展、吞吐量提升和参数规模的具体数字,读者可以据此判断这套训练基础设施对大模型研究的具体价值。