Reddit · r/LocalLLaMA· /u/Usual_Tackle5892·· 5 小时前AI 评分42
用 M5 Ultra 256 GB 与 M3 Ultra 512 GB 通过 Thunderbolt 5 RDMA 实现 GLM-5.3-Flash 的拆分预填充/解码
Instead of waiting for an M5 Ultra 512 GB: pairing a new M5 Ultra 256 GB with my M3 Ultra 512 GB for disaggregated prefill/decode (GLM-5.3-Flash, MLX, Thunderbolt 5 RDMA)
AI 导读
在 M5 Ultra 512 GB 尚未推出的情况下，用户把 M5 Ultra 256 GB 与已有的 M3 Ultra 512 GB 通过 Thunderbolt 5 RDMA 组成分布式推理节点。
来源：Reddit · r/LocalLLaMA · reddit.com