在 Amazon SageMaker AI 上用 Kokoro TTS 为 AI Agent 流式输出低延迟语音
摘要
AWS 博客介绍一种降低语音 Agent 首字延迟的做法:把 Agent 生成的每一句文本立即流式送入部署在 SageMaker AI 实时端点上的 Kokoro-82M 语音合成模型,使合成从第一句就开始,而不是等整段回复写完。
核心要点
- 延迟根源被量化:单句回复可在 600 毫秒内生成,但完整多段回复需要 5 秒,而传统集成要等全部生成完才开始合成,用户在这段时间内听不到任何声音。
- 方案改为“边生成边合成”:Agent 每产出一句即流式发往托管的 Kokoro-82M,音频播放可以在回复结束前就开始。
- Kokoro-82M 仅有 8200 万参数,小到可以在单张中端 GPU 实例(ml.g5.xlarge)上低成本运行,从而同时压低延迟与推理成本。
- 自定义容器暴露两条路由:POST /invocations 用于单条完整输入的流式返回,WS /invocations-bidirectional-stream 用一条长连接承载双向多轮消息,文中还对比了两者在实际使用中的成本。
- 部署需在容器上声明 com.amazonaws.sagemaker.capabilities.bidirectional-streaming=true 的 Docker 标签,并准备好 SageMaker 端点、Amazon Bedrock AgentCore 运行时、IAM 角色、ECR 仓库与 CDK v2 等前置条件。
原文佐证
- A one-sentence response might generate in 600 milliseconds, but the full response takes five seconds, and the integration waits for all of it before synthesis starts.
- Kokoro-82M holds only 82 million parameters, small enough to run cheaply on a single mid-tier GPU instance.
- The sample container pins an older PyTorch with a known advisory ( PYSEC-2026-2286 , fixed in torch 2.10.0).
AI 洞察
语音 Agent 的体验瓶颈正在从模型能力转向工程链路时延:合成等生成、生成等全文,任何一环串行都会产生可感知的静默,逐句流水线化是当前的通用解法。云厂商把双向流式推理、托管端点和示例容器一并打包,意味着这类优化正从“自研工程能力”变成“默认可用的基础设施”,创业团队的差异化会更快转向对话编排、打断处理与单位成本控制。82M 参数的小模型足以支撑实时语音合成,也说明 TTS 侧不必依赖超大模型,成本结构对中小团队相对友好。