热点事件持续更新
LatentLoop优化循环式MoE计算分配
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
2026年10月23日,Reddit r/LocalLLaMA报道称,LatentLoop压缩首次循环的序列,同时保留第二次循环的完整分辨率,并将由此节省的计算用于扩大hidden size。该方法覆盖1.3B至7B参数的15种配置,均降低验证集负对数似然。报道显示,当NLL为1.988时,相比vanilla MoE和循环基线,预测计算量分别减少19.0%和7.9%;在九项基准测试的0-shot与5-shot设置中,平均得分也有所提升。
AI 根据报道生成 · 1 小时前更新
最新进展10月23日 14:50
LatentLoop在15种配置中降低NLL并减少预测计算量。报道时间线
沿着报道,了解事件的不同侧面。
10月23日
- Reddit · r/LocalLLaMALatentLoop:通过非对称计算分配扩展循环式 MoE 模型
LatentLoop 压缩首次循环的序列、保留第二次循环的完整分辨率,并将节省的计算用于扩大 hidden size。模型在 1.3B--7B 参数的 15 种配置中均降低验证 NLL;当 NLL 为 1.988 时,相比 vanilla MoE 和循环基线分别节省 19.0% 和 7.9% 预测计算量,并在九项 benchmark 的 0-shot 与 5-shot 设置中提升平均得分。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。