Reddit · r/LocalLLaMA· /u/fuzhongkai·· 3 小时前AI 评分62
TensorSharp 与 llama.cpp 的 Muse Spark 816B 多 GPU 推理测试
I got Muse Spark 816B running on 10× A40 GPUs — some interesting results comparing TensorSharp and llama.cpp
AI 导读
作者将 Muse-Spark-Open-816B-A42B 部署在 10× NVIDIA A40 上，对比 TensorSharp 与 llama.cpp 的多 GPU 推理。
来源：Reddit · r/LocalLLaMA · reddit.com