使用 Ray LLM 深度学习容器运行多节点推理负载
摘要
AWS 发布面向多节点部署的 Ray LLM 深度学习容器(DLC),并在博文中演示如何在 Amazon EKS 上用两个 GPU 节点、以 prefill/decode 分离的方式部署单个大语言模型,对外统一暴露 OpenAI 兼容接口。
核心要点
- 部署形态是把一个 LLM 跨两个 GPU 节点运行在 Amazon EKS 上,prefill 与 decode 各占一个节点,位于同一个 OpenAI 兼容端点之后。
- 容器打包了 Ray Serve LLM、NVIDIA Inference Transfer Library(NIXL)与 Elastic Fabric Adapter(EFA)网络栈,无需任何应用代码即可对外提供 API。
- DLC 是预构建、性能优化、经过测试与补丁的 Docker 镜像,把框架、依赖与 GPU 栈(含 CUDA 库)整体固化,免去客户自行拼接依赖并在组件错配时排障的工作。
- 多节点设置常见于张量并行、流水线并行、数据并行以及 prefill/decode 分离这类推理负载;客户采用多节点 Ray Serve 的原因包括模型超出单卡容量、单副本吞吐不足、以及需要分离两阶段以提升性能。
- PD 分离的原理是:prefill 并行处理整个输入并构建 KV cache,decode 逐 token 生成回复,分离可防止计算密集的长提示词拖慢已在途请求的 token 生成。
原文佐证
- This post shows how to deploy one large language model (LLM) across two GPU nodes on Amazon Elastic Kubernetes Service (Amazon EKS) with the multi-node Ray LLM Deep Learning Containers .
- We use the multi-node Ray LLM DLC, which ships Ray Serve LLM , NVIDIA Inference Transfer Library (NIXL) , and the Elastic Fabric Adapter (EFA) stack, and exposes an OpenAI-compatible API with no application code.
- This is undifferentiated work that takes time and effort away from delivering models.
AI 洞察
把多节点 PD 分离推理封装成开箱即用的容器,正在把过去只有头部团队才做得起的定制工程变成云厂商的标准交付物,推理侧竞争焦点由此从「能不能跑起来」转向「阶段调度与传输效率」。对云厂商来说,DLC 这类镜像是绑定 EKS 与 GPU 消耗的黏性手段;对自建推理栈的团队,自行维护依赖链的边际价值被持续稀释。NIXL、EFA 这类传输层组件随之成为关键中间件,也意味着推理集群的优化正越来越像编译与调度问题。