跳到正文
原文
Reddit · r/LocalLLaMA· /u/Distinct-Pie2389·· 4 小时前AI 评分26

24GB 显存下让推理引擎轮换运行的 Berth 方案

24GB is plenty if your engines take turns

AI 导读

Berth 可监控 RTX 4090、自动卸载并按需加载推理引擎,让 24GB 显存运行期间完整专用于单一功能。其 API 支持原生切换 llama-swap、strata、comfyUI、OpenWebUI 等引擎,避免进程占用、显存残留和游戏或自定义工作流被干扰。

来源:Reddit · r/LocalLLaMA · reddit.com