Reddit 用户跨 5 台设备分布式推理 Qwen3.8 Flash Next

据 Reddit 用户 StayLameBro 在 r/LocalLLaMA 分享，他将 Qwen3.8 Flash Next（48 层 MoE、每层 512 专家）拆分到 2 台游戏 PC、一台 M4 Pro MacBook 和 2 台 iPhone 17 Pro Max 上进行分布式推理，模型权重全部驻留各设备的显存或统一内存。在 60k 上下文长度下，推理速度达到 37-39 tok/s。该方案展示了将消费级硬件组合用于大型 MoE 模型推理的可行性。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。