Reddit · r/LocalLLaMA· /u/Prestigious-Taste-63·· 2 小时前AI 评分33
单卡 GH200 预训练 21B MoE 模型，MFU 从 21% 提升到 50% 的过程记录
A Record of the Process of Increasing MFU from 21% to 50% While Pre-training 21B MoE Using a Single GH200 Chip (Includes Code and Logs)
AI 导读
一位独立研究者在单张 NVIDIA GH200 上预训练 20.99B 总参 / 3.36B 激活的 MoE 模型，将 benchmark MFU 从 21.1% 提升至 50.7%；在真实数据训练中，用两张 GH200 通过 DiLoCo 从 4B tokens 处继续训练 10.9B tokens，MFU 达到 48.9–49.1%，含同步开销估计为 47.6–47.8%。
来源：Reddit · r/LocalLLaMA · reddit.com