热点事件持续更新
独立研究者单卡GH200预训练21B MoE，MFU提升至50%
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
2026年10月12日，Reddit r/LocalLLaMA 上一位独立研究者分享了在单张 NVIDIA GH200 上预训练 21B MoE 模型的优化过程。该模型总参 20.99B、激活参数 3.36B，benchmark MFU 从初始的 21.1% 提升至 50.7%。在真实数据训练阶段，研究者使用两张 GH200，借助 DiLoCo 分布式训练方法，从 4B tokens 处继续训练了 10.9B tokens，MFU 达到 48.9%–49.1%，若计入同步开销则估计为 47.6%–47.8%。
AI 根据报道生成 · 55 分钟前更新
最新进展10月12日 20:52
独立研究者在单卡GH200上将21B MoE预训练MFU从21.1%提升至50.7%。报道时间线
沿着报道，了解事件的不同侧面。
10月12日
- Reddit · r/LocalLLaMA单卡 GH200 预训练 21B MoE 模型，MFU 从 21% 提升到 50% 的过程记录
一位独立研究者在单张 NVIDIA GH200 上预训练 20.99B 总参 / 3.36B 激活的 MoE 模型，将 benchmark MFU 从 21.1% 提升至 50.7%；在真实数据训练中，用两张 GH200 通过 DiLoCo 从 4B tokens 处继续训练 10.9B tokens，MFU 达到 48.9–49.1%，含同步开销估计为 47.6–47.8%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。