AWS Machine Learning Blog· Sunita Nadampalli·· 14 天前精选AI 评分74
vLLM 新增推送模式 NIXL 连接器，拆分预填充与解码以降低 TTFT
Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM
AI 导读
vLLM 引入基于推送的 NIXL 连接器，让解码实例提前注册目标块并与预填充计算重叠，把传输准备移出关键路径。在 P5en + EFA 的 1P1D Qwen3-32B 基准中，高并发长上下文下 TTFT 最高改善约 3 倍，TPOT 改善约 30%，现已可用并通过 NixlPushConnector 启用。
推荐理由
作者说明了vLLM新增推送模式KV传输的工作原理，并给出了在高负载下TTFT最高降低3倍和TPOT提升30%的实测数据。
来源：AWS Machine Learning Blog · aws.amazon.com