用户尝试将稠密模型改造为 MoE 并在 RTX 4060 上实验

2026 年 10 月 11 日，Reddit 用户 bayliner1980 在 r/LocalLLaMA 分享了一次小规模实验：在仅有 8GB 显存的 RTX 4060 上，尝试将稠密语言模型改造为稀疏 Mixture-of-Experts（MoE）架构。发帖者强调，整个过程无需从头训练，而是通过 upcycling 的方式复用已有稠密模型的权重，再将其拆分为专家网络。据其描述，该方法在消费级显卡上即可运行，主要面向希望在本地环境中探索 MoE 架构的研究者与爱好者。早先报道曾涉及稠密模型转 MoE 的开源项目，但未具体说明运行硬件；本次新报道明确了实验平台为 RTX 4060 (8GB)，并强调无需从头训练，定位为个人小规模实验。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。