AWS Machine Learning Blog· Pierre Lienhart·· 3 小时前AI 评分18
Deepgram 如何基于 AWS Trainium2 优化其语音 AI 推理
How Deepgram optimized voice AI at scale with AWS Trainium
AI 导读
Deepgram 与 AWS 团队将 Nova-3 语音转文本模型移植到 AWS Trainium2,用于离线批处理负载。最终配置在单个 Amazon EC2 trn2.3xlarge 实例上运行 8 个模型副本,在 Deepgram 的离线吞吐导向批处理负载上,每美元处理音频量比此前所用算力选项提升 11%–70%。
来源:AWS Machine Learning Blog · aws.amazon.com