跳到正文
原文
AWS Machine Learning Blog· Dmitry Soldatkin·· 2 天前AI 评分51

Amazon SageMaker AI 推出跨区域推理路由

Keep inference running through regional capacity shortfalls with cross-Region inference routing in Amazon SageMaker AI

AI 导读

Amazon SageMaker AI 推出跨区域推理路由,应用只需调用一个推理路由器,即可在多个 AWS 区域和账户的端点与推理组件之间统一调用。路由器优先使用本区域目标,本地目标无法可靠服务时把新请求转移到其他已注册目标,恢复后再逐步回切,并在每次实时响应中返回服务目标与路由原因。该功能即日起在多数商业 AWS 区域正式可用,支持实时与异步推理,跨区域推理路由本身不额外收费。

来源:AWS Machine Learning Blog · aws.amazon.com