Signal YCurated AI News
更新于 11/5 20:4061 个信源

别再靠猜测:TTS 在 Amazon SageMaker AI 上的自动扩缩容目标值怎么定

企业 AI10/23 00:30AWS 机器学习博客查看原文 ↗
摘要

AWS 官方博客以 8200 万参数的 TTS 模型 Kokoro-82M 为例,演示如何把它以自定义容器部署到 Amazon SageMaker AI 实时端点,并用 Q_max、T_total 两个在实时端点上实测的数字,通过算术推导出扩容阈值、缩容阈值和冷却时间,替代过去凭感觉设定的自动扩缩容目标值。

核心要点
  • Kokoro-82M 是非自回归 TTS 模型,属于 StyleTTS2 的衍生架构,使用 ISTFTNet 解码器,通过对抗训练而非自回归逐 token 预测或迭代去噪训练,一次时长对齐的前向推理即产出整句语音。
  • 因此 LLM 服务常用的 tokens/s 指标在此完全失效:单次合成请求会让连接持有数秒,且不存在可供埋点的生成循环。
  • 扩缩容决策指标选为 ConcurrentRequestsPerModel——由 SageMaker 自身原生发布、无需容器代码自行上报,从而规避“自定义指标配置看起来正确、实际没有数据写入”这类隐性失败。
  • 作者用两个量取代猜测:Q_max 是单实例在突破 SLO 前能维持的最高并发,T_total 是一次扩容端到端所需时间;扩容阈值、缩容阈值与两个冷却时间全部由这两个数按算术推导。
  • 部署实现由 AWS CDK 堆栈完成,模型以自定义容器形式运行在 SageMaker 实时端点上,所有数字均来自对文中 aws-samples 仓库的一次真实部署与测量。
原文佐证
  • Q_max is the highest concurrency one instance sustains before breaching the SLO, and T_total is how long a scale-out takes end to end.
  • We derive the scale-out threshold, scale-in threshold, and both cooldowns from those two numbers by arithmetic.
  • Kokoro-82M is non-autoregressive, a StyleTTS2 derivative with an ISTFTNet decoder, trained adversarially rather than by autoregressive next-token prediction or iterative denoising.
AI 洞察
生成式 AI 推理负载正在分化:LLM 的容量规划经验(tokens/s、KV cache 水位)无法平移到 TTS 这类长连接、非自回归、单次前向出结果的工作负载,每类模型都需要重新建立自己的容量模型与观测点。把容量决策收敛到“两个实测数字加算术推导”,实质是把 GPU 成本与 SLO 的权衡从工程师经验变成可复现、可审计的工程流程——在 GPU 昂贵且供给紧张的现实下,这种可验证性比任何单点优化都更值钱。对平台团队而言,真正的竞争力正在从“会不会部署模型”转向“能不能用可测量的方式说清一次扩容值多少钱、一次延迟失守值多少钱”。