vLLM 项目于 2026 年 10 月 18 日发布 v0.32.0,包含来自 363 位贡献者(121 位新面孔)的 814 个提交。阅读发布说明。
低精度 KV 缓存
- NVFP4 KV 缓存现可在 SM8x/SM12x、SM90 上运行,并支持 SM12x 的 XQA 解码,以及在 SM100 上用于 MiniMax-M3 稀疏注意力。
- GLM-5.x 在 SM100 上默认启用 FP8 KV 缓存:每 rank KV 显存减半,引用基准中吞吐提升 2.3–5.5%,首 token 延迟代价 7–11%;SM90 上 fp8_ds_mla 路径为 GLM-5.3-Flash 带来最高 31% 的输出吞吐提升。
- ROCm 新增 4 位 ultraquant KV 缓存,密度约为 FP8 的两倍。
结构化决策与解析器
新增 POST /v1/systemone 端点,可基于结构化状态回答 choice、noul 与 score 类问题,默认随服务开启,并支持 Cloudflare clef-omni、LiquidAI d1-3B 与 DiffusionGemma。新的 hf 工具与推理解析器直接读取检查点的 response_template,自带该字段的模型无需专门解析器,Python 与 Rust 前端均可用。
Model Runner V2 与服务提速
Model Runner V2 新增支持变长草稿的 GPU n-gram 投机器、弹性专家并行、面向 MLA 模型的流水线并行(含预填充上下文并行)以及原生 torch.compile 模式,并成为 ROCm 上的默认。启动与服务改进包括:vllm download-kernels 安装 FlashInfer 预编译内核、重启间保持自动调优表热态、多模态张量的共享内存 arena,以及按最负载路由 API worker——基准中短请求每秒请求数提升 43–85%。
新模型支持与安全
新增 EmbeddingGemma 2 全模态嵌入、MiniCPM-V 4.7 与 Nemotron 3.5 ASR 支持,Transformers 后端支持视频输入,GLM-5.3 稀疏 MLA 索引跨层复用(该内核提速 3.5–3.9 倍)。本版还修复三个已披露漏洞:聊天模板资源耗尽、tokenizer max_token_id 处理、P2P ZMQ 套接字问题。
以上性能数字来自项目的 PR 基准,非独立测试;我们的核查指南说明了对待方式。