vLLM 双向 KV 传输提升多轮智能体工作负载首字延迟

vLLM 推出双向 KV 缓存传输功能，允许 Decode 节点在多轮对话中将已计算的 KV 块传回 Prefill 节点，避免重复计算共享上下文。在配备 AWS EFA 的 Amazon EC2 P5en 实例 1P1D 测试中，该机制使 Qwen3-32B 的首字延迟（TTFT）降低最高达 1.6 倍，zai-org/GLM-5-FP8 降低最高达 3.3 倍。