Meta Expert 论文：以跨层专家共享提升 MoE 存储与检索效率

Meta Expert 提出在 MoE 中跨层共享专家，以减少不同层 Local Expert 的参数冗余，并改善信息存储与检索效率。实验显示，该模型在激活数量和专家粒度固定时，仅使用 Vanilla MoE 的 70-80% 专家即可达到相当性能，同时获得更低交叉熵损失和更高下游任务准确率。