Reddit · r/LocalLLaMA· /u/FeydRowan·· 4 小时前AI 评分21
vramble:一款自动调度模型显存切换的开源 VRAM 调度器
Built a VRAM scheduler (vramble) to automate model swapping on my local AI workstation
AI 导读
开发者 ValerioDolci 在 GitHub 开源了本地 AI 工作站的 VRAM 调度器 vramble(MIT 许可),可在多模型工作流间按优先级自动加载和卸载模型,解决不同工具争抢显存的问题。作者还提到,Qwen 27B 在本地推理达到 200+ t/s,速度远超预期。
来源:Reddit · r/LocalLLaMA · reddit.com