AWS 为 vLLM 贡献双向 KV 传输,多轮 Agent 场景 TTFT 最高提升 3.3 倍
摘要
AWS 将双向 KV 缓存传输能力贡献给 vLLM,使 prefill 与 decode 节点能在多轮对话中互相复用已计算的 KV 缓存,避免重复 prefill,从而显著降低首字延迟并提升加速器利用率。
核心要点
- 传统 P-D 分离服务中,KV 缓存只从 prefill 节点单向传给 decode 节点;decode 节点持有上一轮 prompt 与新生成 token 的 KV,但 prefill 节点无法取回,下一轮必须重算上一轮输出的 KV 投影。
- decode 节点维护会话状态而 prefill 节点不维护,导致活跃会话在 prefill 侧的缓存被驱逐概率上升;一旦完全 cache miss,系统需重算包括系统指令、历史请求、工具结果和模型回复在内的全部上下文。
- 在 1P1D 部署的 Amazon EC2 P5en 实例上测试,双向 KV 传输把 TTFT(首字延迟)最高提升 1.6 倍(Qwen3-32B)和 3.3 倍(zai-org/GLM-5-FP8),官方说明结果随工作负载与配置而异。
- 节点之间通过 AWS EFA 低延迟 RDMA 网络互联,支持 GPUDirect RDMA 与 Neuron Direct RDMA,可在 GPU 或 Trainium 设备内存之间直接搬运 KV 块。
- 该特性最初在搭载 EFA 的 Trainium 实例集群上构建并验证,随后以与加速器无关(accelerator-agnostic)的形式贡献给 vLLM,本次公布的 GPU 结果说明收益可迁移到 GPU 平台。
原文佐证
- Conventional disaggregated serving, however, only transfers KV cache in one direction: from prefill to decode node.
- bi-directional KV transfer reduced TTFT by up to 1.6x for Qwen3-32B and up to 3.3x for zai-org/GLM-5-FP8
- We originally built and validated the feature on AWS Trainium instance clusters connected with EFA and contributed it to vLLM as an accelerator-agnostic capability.
AI 洞察
当模型能力逐渐趋于同质化,多轮推理中“重复 prefill”这类隐性算力浪费开始成为服务成本与体验的主要变量,KV 缓存复用能力将像当年 PagedAttention 一样成为推理框架的差异化卖点。值得注意的是,这一优化强依赖 EFA/RDMA 这类低延迟网络,意味着推理性能优化正从单机内核层面转向“网络架构 + 缓存调度”的联合设计,云厂商的网络资产会被直接折算成 token 成本优势。AWS 先把功能在自家 Trainium 上验证、再以与加速器无关的形式回馈 vLLM,也体现出云厂商正通过开源推理栈争取标准话语权,而非仅靠自研芯片。