跳到正文
原文
Reddit · r/LocalLLaMA· /u/MasterNomie·· 4 小时前AI 评分8

M5 Ultra 256GB 还是 2 块 DGX Spark?两种本地推理方案选择讨论

M5 Ultra 256GB or 2x DGX Spark? Which one?

AI 导读

用户正考虑在已有 5090 的基础上,再购入 M5 Ultra 256GB 或双 DGX Spark 用于 agentic coding 等本地大模型推理;对比来看,两者单 token 生成速度接近,但双 DGX Spark 在 prompt 处理和多用户/多并发请求吞吐量上占优,而 M5 Ultra 256GB 能以约现有 5090 速度的 1/3 运行更大模型。

来源:Reddit · r/LocalLLaMA · reddit.com