vLLM 推出基于推送的 KV 传输，提升分离式推理的 TTFT 与 TPOT

vLLM 新增推送式 NIXL connector，把 prefill 后的 KV 传输协调与准备工作移出关键路径。在 Amazon EC2 P5en 实例加 EFA 的 1P1D 部署上，Qwen3-32B 的 TTFT 最高提升 3 倍，TPOT 最高提升 30%。该功能先在 AWS Trainium 集群验证，再作为与加速器无关的特性贡献给 vLLM。