Deepgram 如何利用 AWS Trainium 优化语音 AI 规模化推理

Deepgram 将 Nova-3 语音转文字模型移植并优化至 AWS Trainium2，单台 trn2.3xlarge 实例部署八个模型副本。在离线批处理工作负载下，该配置每美元处理的音频量比原有计算方案提升 11%–70%。Deepgram 还通过 Fused FFN、深度可分离卷积等 NKI 内核调优实现了吞吐量显著增长。