AllenAI 发布 Olmo-core 3：面向大规模 MoE 的开源可扩展训练基础设施

AllenAI 发布 Olmo-core 3 训练框架，支持将专家池从 8 扩展到 128 而每 token 仅激活 4 个专家，总参数量从 4.6B 增至 47B，训练吞吐量仅下降不到 5%。在 8 个 NVIDIA B300 GPU 上，47B MoE 达 52,000 tokens/s/GPU，约为此前实现的 2.7 倍。系统已测试至 1.2 万亿参数规模。