Berth方案实现24GB显存下推理引擎动态轮换

【新】2026年10月20日，Reddit r/LocalLLaMA板块报道了一款名为Berth的本地AI引擎轮换管理方案。该方案专为24GB显存（如RTX 4090）的硬件设计，可在推理引擎运行期间将显存完整专用于单一功能。Berth具备自动监控显卡状态、按需卸载和加载推理引擎的能力，并通过其API原生支持llama-swap、strata、comfyUI、OpenWebUI等多个引擎之间的切换。该方案旨在避免进程占用冲突、显存残留以及对游戏或自定义工作流的干扰。此为该事件的首批报道。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。