Reddit · r/LocalLLaMA· /u/Prestigious-Taste-63·· 2 天前AI 评分34
从零训练 21B MoE（3.36B 激活）Apex-3：70B tokens 训练中的涌现能力观察
I trained a 21B MoE (3.36B active) from scratch on 70B tokens (emergent ability observations)
AI 导读
有人从零训练了 20.99B 参数的 MoE 模型 Apex-3（每 token 激活 3.36B），仅用 70B tokens，借助 SuperBPE 分词器约 +27% 的 token 效率，等效约 100B tokens，并放出了可继续训练的稳定 checkpoint。
来源：Reddit · r/LocalLLaMA · reddit.com