热点事件观察中
个人从零训练21B MoE模型并开源检查点
1 篇报道1 个报道来源2 天前更新
先了解这件事
AI 综述
2026年10月28日，Reddit r/LocalLLaMA 有帖子称，有人从零训练了参数规模20.99B的MoE模型Apex-3，每token激活3.36B参数。该模型仅用70B tokens训练，借助SuperBPE分词器带来约27%的token效率提升，等效约100B tokens，并放出了可继续训练的稳定checkpoint，帖子还记录了训练中的涌现能力观察。目前进展停留在开源检查点与训练观察的分享阶段，报道未提及后续评测或更大规模训练计划。
AI 根据报道生成 · 2 小时前更新
最新进展10月28日 21:43
有人开源仅用70B tokens训练的21B MoE模型Apex-3及可续训检查点。报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- Reddit · r/LocalLLaMA从零训练 21B MoE（3.36B 激活）Apex-3：70B tokens 训练中的涌现能力观察
有人从零训练了 20.99B 参数的 MoE 模型 Apex-3（每 token 激活 3.36B），仅用 70B tokens，借助 SuperBPE 分词器约 +27% 的 token 效率，等效约 100B tokens，并放出了可继续训练的稳定 checkpoint。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。