跳到正文
原文
AWS Machine Learning Blog· Pierre Lienhart·· 3 小时前AI 评分18

Deepgram 如何基于 AWS Trainium2 优化其语音 AI 推理

How Deepgram optimized voice AI at scale with AWS Trainium

AI 导读

Deepgram 与 AWS 团队将 Nova-3 语音转文本模型移植到 AWS Trainium2,用于离线批处理负载。最终配置在单个 Amazon EC2 trn2.3xlarge 实例上运行 8 个模型副本,在 Deepgram 的离线吞吐导向批处理负载上,每美元处理音频量比此前所用算力选项提升 11%–70%。

来源:AWS Machine Learning Blog · aws.amazon.com