跳到正文
原文
Reddit · r/LocalLLaMA· /u/ciprianveg·· 9 天前AI 评分51

DGX Spark 内存扩展方案:利用闲置 GPU 释放显存

Do you need some extra memory on your DGX Spark?

AI 导读

作者创建了一个开源项目,帮助拥有闲置 10-24GB GPU 的 DGX Spark 用户将 spec-decode draft model 从 Sparks 迁移到闲置 GPU,从而释放显存用于更长上下文或更高量化精度。项目支持 TCP 和 RDMA,兼容 eugr-vllm。

来源:Reddit · r/LocalLLaMA · reddit.com