跳到正文
原文
Reddit · r/LocalLLaMA· /u/Dear_Treat3688·· 3 小时前AI 评分58

OpenEBFM 开源能量基基础模型代码与权重

🚀 OpenEBFM: Can Energy-Based Models Scale as Foundation Models? Code and Weights Released

AI 导读

作者发布 OpenEBFM 项目,探索能量基学习能否扩展到通用基础模型,并开源训练评测代码、预训练权重和训练配方。该方法把生成拆成能量引导与 token 生成两步,共享同一 Transformer 骨干,并在 FineWeb、DCLM、ClimbMix 上预训练。

来源:Reddit · r/LocalLLaMA · reddit.com