Deepgram 如何借助 AWS Trainium 大规模优化语音 AI
摘要
Deepgram 与 AWS 工程团队合作,将其 Nova-3 语音转写模型从标准 PyTorch 移植到 AWS Trainium2,面向呼叫中心分析、医疗转录等离线批处理负载,在单台 trn2.3xlarge 实例上运行 8 个模型副本,实现每美元音频处理量提升 11%~70%。
核心要点
- Deepgram 每年处理数万亿级音频 token,服务超过 20 万名开发者和 1,400 家组织,客户可通过其 API 调用或在自有环境(含 Amazon SageMaker AI)中运行模型。
- 最终配置在单台 Amazon EC2 trn2.3xlarge 实例上运行 8 个模型副本,主要面向离线、以吞吐为导向的批处理工作负载。
- 按评估时的实例定价测算,该方案每美元处理的音频量比 Deepgram 原有计算选项多 11%~70%。
- 移植使用 TorchNeuron(Neuron Compiler 的原生 PyTorch 集成),先以 eager 模式检查哪些算子回退到 CPU,编译后确认所有模型操作均在 Trainium2 上执行、无 CPU 回退。
- 编码器与解码器被分别编译为独立的静态形状图,精度层面同时校验层级别输出与 CPU 的一致性以及端到端 WER 是否维持在参考值内。
原文佐证
- They now process quadrillions of audio tokens a year for more than 200,000 developers and 1,400 organizations.
- The final configuration runs eight model replicas on a single Amazon Elastic Compute Cloud (Amazon EC2) trn2.3xlarge instance.
- On Deepgram’s offline, throughput-oriented batch workloads, that setup processed 11–70 percent more audio per dollar than the compute options Deepgram had been running.
AI 洞察
这是“模型—芯片”协同设计的典型案例:语音这类推理密集型负载上,定制 ASIC 的性价比优势开始在生产工作负载中兑现,而不只是停留在跑分。云厂商的竞争焦点因此从“有没有自研芯片”转向“能否提供把客户模型真正搬上去的工程能力”,如 FDE 团队与 Neuron/TorchNeuron 工具链。对 AI 应用公司而言,推理成本正变成可主动优化的变量,单位经济模型越来越取决于软硬件栈选择而非单纯堆模型规模。