Reddit · r/LocalLLaMA· /u/Distinct-Pie2389·· 4 小时前AI 评分58
Berth 发布 v0.4.1:用 Go 编写的 GPU 资源管理器,支持 llama.cpp 与 ComfyUI 热切换
Live-Swap CUDA Workloads: llama.cpp, ComfyUI, Strata & More
AI 导读
Berth 是一个用 Go 编写的轻量 GPU 资源管理器,通过租约、优先级和请求队列决定哪个应用何时占用 GPU,当前处于 alpha 阶段(v0.4.1)。
来源:Reddit · r/LocalLLaMA · reddit.com