跳到正文
原文
AWS Machine Learning Blog· Shubham Gupta·· 4 天前AI 评分38

ArisGlobal 如何在 Amazon Bedrock 上扩展生成式 AI 推理

How ArisGlobal scaled generative AI inference on Amazon Bedrock

AI 导读

ArisGlobal 通过调整 Amazon Bedrock 提示词缓存顺序,将共享提示词前缀而非单份源文档放入缓存,从而降低有效输入成本,并支持更多租户而不带来成本同比例增长。

来源:AWS Machine Learning Blog · aws.amazon.com