Reddit · r/LocalLLaMA· /u/2shanigans·· 4 小时前AI 评分58
Olla v0.1.0 发布：面向本地与自建推理的轻量开源 LLM 代理
Olla v0.1.0 - Lightweight open-source LLM proxy for homelabs & on-prem inference (Ollama, vLLM, SGLang, llama.cpp, oMLX with failover, sticky sessions & load balancing)
AI 导读
Olla 发布 v0.1.0，这是一个用 Go 编写的轻量开源 LLM 代理和负载均衡器，位于应用与推理服务器之间。它支持 Ollama、vLLM、SGLang、llama.cpp、LM Studio、MLX 等运行时，提供模型感知路由、优先级/轮询/最少连接负载均衡、健康检查与熔断，以及 OpenAI 和 Anthropic 兼容接口。
来源：Reddit · r/LocalLLaMA · reddit.com