AWS Machine Learning Blog· Ananth Raghavendra·· 3 小时前AI 评分25
AWS 在 Amazon EKS 上推出 Ray LLM 深度学习容器，支持多节点 LLM 推理
Run multi-node inference workloads using Ray LLM Deep Learning Containers
AI 导读
AWS 发布多节点 Ray LLM 深度学习容器，可在 Amazon EKS 上将单个大语言模型跨两台 GPU 节点部署，并把 prefill 与 decode 阶段分别置于不同节点，通过单一 OpenAI 兼容端点对外提供服务。该容器内置 vLLM、Ray Serve、NIXL 和 EFA 栈，KV cache 通过 NIXL 跨节点传输，适合 RAG、长文档摘要和智能体等场景。
来源：AWS Machine Learning Blog · aws.amazon.com