Reddit · r/LocalLLaMA· /u/ciprianveg·· 9 天前AI 评分51
DGX Spark 内存扩展方案:利用闲置 GPU 释放显存
Do you need some extra memory on your DGX Spark?
AI 导读
作者创建了一个开源项目,帮助拥有闲置 10-24GB GPU 的 DGX Spark 用户将 spec-decode draft model 从 Sparks 迁移到闲置 GPU,从而释放显存用于更长上下文或更高量化精度。项目支持 TCP 和 RDMA,兼容 eugr-vllm。
来源:Reddit · r/LocalLLaMA · reddit.com