跳到正文
原文
Reddit · r/LocalLLaMA· /u/FeydRowan·· 4 小时前AI 评分21

vramble:一款自动调度模型显存切换的开源 VRAM 调度器

Built a VRAM scheduler (vramble) to automate model swapping on my local AI workstation

AI 导读

开发者 ValerioDolci 在 GitHub 开源了本地 AI 工作站的 VRAM 调度器 vramble(MIT 许可),可在多模型工作流间按优先级自动加载和卸载模型,解决不同工具争抢显存的问题。作者还提到,Qwen 27B 在本地推理达到 200+ t/s,速度远超预期。

来源:Reddit · r/LocalLLaMA · reddit.com