vLLM推出push模式KV传输优化分离式推理
先了解这件事
2026年10月20日，AWS Machine Learning Blog 连续发布两篇报道，介绍其在 vLLM 中针对分离式推理的 KV 传输优化。第一篇报道称，AWS 在 vLLM 中实现双向 KV 传输，让 decode 节点把已计算的 KV 缓存回传给 prefill 节点，避免多轮对话重复预填充；在 Amazon EC2 P5en 的 1P1D 部署上，该功能使 Qwen3-32B 的 TTFT 最多降低 1.6 倍、zai-org/GLM-5-FP8 最多降低 3.3 倍。第二篇报道称，AWS 为 vLLM 贡献基于 NIXL 的 push 模式 KV 传输，把解码侧块注册与传输准备从关键路径移到预填充侧后台线程；在 Qwen3-32B、1P1D 的 Amazon EC2 P5en + EFA 基准中，push 模式相比默认 pull 模式 TTFT 最高提升 3 倍、TPOT 提升约 30%。目前进展为上述两项优化已公布基准数据。
AI 根据报道生成 · 2 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- AWS Machine Learning BlogAWS 为 vLLM 贡献 push 模式 KV 传输，TTFT 最高提升 3 倍
AWS 在 vLLM 中引入基于 NIXL 的 push 模式 KV 传输，把解码侧块注册与传输准备从关键路径移到预填充侧后台线程。在 Qwen3-32B、1P1D 的 Amazon EC2 P5en + EFA 基准中，push 模式相比默认 pull 模式 TTFT 最高提升 3 倍、TPOT 提升约 30%。
- AWS Machine Learning BlogAWS 用 vLLM 双向 KV 传输降低多轮智能体 TTFT
AWS 在 vLLM 中实现双向 KV 传输，让 decode 节点把已计算的 KV 缓存回传给 prefill 节点，避免多轮对话重复预填充。在 Amazon EC2 P5en 的 1P1D 部署上，该功能使 Qwen3-32B 的 TTFT 最多降低 1.6 倍、zai-org/GLM-5-FP8 最多降低 3.3 倍。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。