Signal YCurated AI News
更新于 11/5 20:4061 个信源

AWS 提出推送式 KV 传输:vLLM 分离式推理的 TTFT 与 TPOT 优化

AI 产业10/20 00:05AWS 机器学习博客查看原文 ↗
摘要

AWS 在 vLLM 中实现并贡献了推送式(push-based)NIXL KV 传输连接器,把 prefill 之后的传输协调与建链开销移出首字延迟关键路径,从而改善分离式推理的 TTFT 与 TPOT。

核心要点
  • vLLM 的 P-D 分离把 prefill 与 decode 放在不同引擎实例上,各自独立扩缩容,但必须在生成首 token 前把 KV cache 从 prefill 实例传到 decode 实例,KV 传输效率因此直接决定 TTFT。
  • 默认的 NIXL 拉取模式是串行链路:prefill 完成后由 router 中继源元数据(含 prefill block ID),decode 侧再分配目标块、准备 NIXL 传输并发起 NIXL READ,这些步骤全部落在首 token 之前的关键路径上。
  • 推送式方案让 KV 块在 RDMA 互联上直接于 GPU 或 Trainium 设备内存之间搬运,借助 AWS EFA 的 GPUDirect RDMA 与 Neuron Direct RDMA,无需经主机内存中转。
  • 在 EC2 P5en 实例、EFA 互联的 1P1D 部署上,使用 Qwen3-32B 的基准测试显示,推送模式的 TTFT 最高提升 3 倍,TPOT 最高改善 30%,且官方注明结果依赖具体负载与配置。
  • 该特性先在采用 EFA 的 Trainium 实例集群上构建和验证,随后以与加速器无关(accelerator-agnostic)的形式贡献回 vLLM,在 GPU 集群上同样复现了收益。
原文佐证
  • Because these coordination and setup steps occur sequentially after prefill and before decoding can begin, they extend the TTFT critical path
  • push mode delivered up to 3x better TTFT and up to 30 percent better time-per-output-token (TPOT) compared to pull mode
  • We built and validated the feature on AWS Trainium instance clusters connected with EFA, and then we contributed it to vLLM as an accelerator-agnostic feature.
AI 洞察
分离式推理的竞争焦点正从“算力够不够”转向“KV 搬运快不快”——当 P-D 拆分为常态,KV 传输层就从配角变成决定首字体验的核心路径,网络与内存语义(RDMA、GPUDirect/Neuron Direct)的优化会直接兑换成产品可用性。AWS 把自家在 Trainium 上打磨的能力以与硬件无关的方式回馈上游,是典型的“开源做标准、硬件做差异”打法:软件层保持中立以扩大生态,真正的护城河留在 EFA 与自研芯片的协同上。对推理服务商而言,这类优化意味着同样的 GPU 存量可支撑更高并发与更严格的 SLO,推理单位成本的下探可能进一步压低 API 定价。