Reddit · r/LocalLLaMA· /u/StayLameBro·· 3 小时前AI 评分36
Reddit 用户用 2 台 PC + MacBook + 2 台 iPhone 17 Pro Max 跨设备分布式推理 Qwen3.8 Flash Next,60k 上下文达 37-39 tok/s
2 gaming PCs + an M4 Pro MacBook over Ethernet + 2 iPhone 17 Pro Maxes over USB-C: Qwen3.8 Flash Next at 37-39 tok/s at 60k context (262k layout in the works)
AI 导读
Reddit 用户 StayLameBro 将 Qwen3.8 Flash Next(48 层 MoE、每层 512 专家)拆分到 2 台游戏 PC、M4 Pro MacBook 和 2 台 iPhone 17 Pro Max 上进行分布式推理,权重全部驻留显存/统一内存。
来源:Reddit · r/LocalLLaMA · reddit.com