Reddit · r/LocalLLaMA· /u/BerryBlush_Rogers691·· 2 小时前AI 评分20
Ling 3.1 Flash (560B MoE) 通过 llama.cpp RPC 跨 4 台 DGX Sparks 加载运行
Ling 3.1 Flash (560B MoE) loaded across 4 DGX Sparks using llama.cpp RPC
AI 导读
网友 sudoing 用 llama.cpp RPC 把 Ling 3.1 Flash(560B MoE,每 token 激活 25B 参数)分布式加载到 4 台 DGX Spark 上运行,由于当时没有官方 FP4 的 vLLM 版本,他选择基于 Atomic Chat 首日发布的 Q4 GGUF 部署。
来源:Reddit · r/LocalLLaMA · reddit.com