AWS Machine Learning Blog· Shubham Gupta·· 4 天前AI 评分38
ArisGlobal 如何在 Amazon Bedrock 上扩展生成式 AI 推理
How ArisGlobal scaled generative AI inference on Amazon Bedrock
AI 导读
ArisGlobal 通过调整 Amazon Bedrock 提示词缓存顺序,将共享提示词前缀而非单份源文档放入缓存,从而降低有效输入成本,并支持更多租户而不带来成本同比例增长。
来源:AWS Machine Learning Blog · aws.amazon.com