ModelSphere 开源发布：面向混合 GPU 集群的大语言模型部署平台

Phancy Group 与 RiseUnion 在 GitHub 以 Apache 2.0 协议开源了面向生产环境的大语言模型部署平台 ModelSphere，基于 Kubernetes、Helm、SGLang 与 vLLM 构建，支持自动扩缩容、缓存感知的请求路由、共享 KV cache、多类加速卡以及中断后恢复进行中的生成任务。