Reddit · r/LocalLLaMA· /u/Distinct-Pie2389·· 4 小时前AI 评分26
24GB 显存下让推理引擎轮换运行的 Berth 方案
24GB is plenty if your engines take turns
AI 导读
Berth 可监控 RTX 4090、自动卸载并按需加载推理引擎,让 24GB 显存运行期间完整专用于单一功能。其 API 支持原生切换 llama-swap、strata、comfyUI、OpenWebUI 等引擎,避免进程占用、显存残留和游戏或自定义工作流被干扰。
来源:Reddit · r/LocalLLaMA · reddit.com