跳到正文
AWS Machine Learning Blog· Joseph Cottingham·· 11 天前同事件AI 评分43

Kokoro-82M TTS 模型在 Amazon SageMaker AI 上通过实测 Q_max 与 T_total 设定自动扩缩容策略

Stop guessing auto scaling targets for TTS on Amazon SageMaker AI

AI 导读

AWS 在 Amazon SageMaker AI 上把 Kokoro-82M 部署为自定义容器实时端点,并通过五个命令用 Q_max 和 T_total 推导扩缩容阈值。该方案以 ConcurrentRequestsPerModel 为指标,将 scale-out 目标设为 37.5,scale-in 阈值设为 25.0,并给出对应冷却时间和队列门限配置。

同一件事,精选收录的是《在 Amazon SageMaker AI 上流式调用 Kokoro TTS 降低 AI 语音 Agent 延迟》

来源:AWS Machine Learning Blog · aws.amazon.com