跳到正文
原文
Reddit · r/LocalLLaMA· /u/BerryBlush_Rogers691·· 2 小时前AI 评分20

Ling 3.1 Flash (560B MoE) 通过 llama.cpp RPC 跨 4 台 DGX Sparks 加载运行

Ling 3.1 Flash (560B MoE) loaded across 4 DGX Sparks using llama.cpp RPC

AI 导读

网友 sudoing 用 llama.cpp RPC 把 Ling 3.1 Flash(560B MoE,每 token 激活 25B 参数)分布式加载到 4 台 DGX Spark 上运行,由于当时没有官方 FP4 的 vLLM 版本,他选择基于 Atomic Chat 首日发布的 Q4 GGUF 部署。

来源:Reddit · r/LocalLLaMA · reddit.com