AWS Machine Learning Blog· Sunita Nadampalli·· 14 天前精选AI 评分70
vLLM 新增双向 KV 传输降低多轮智能体 TTFT
Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM
AI 导读
AWS 将双向 KV 缓存传输贡献给 vLLM，使 Prefill-Decode 分离部署中 decode 节点保留的 KV 可反向复用，避免多轮对话中重复计算。在 EC2 P5en 实例上，该机制使 Qwen3-32B 的 TTFT 最多降低 1.6 倍，zai-org/GLM-5-FP8 最多降低 3.3 倍。
推荐理由
AWS 开源双向 KV 传输功能，为 vLLM 多轮智能体场景提供具体的延迟优化方案和性能数据参考。
来源：AWS Machine Learning Blog · aws.amazon.com