vLLM 项目于 2026 年 11 月 2 日发布 v0.33.0,包含来自 389 位贡献者的 927 个提交。该版本以 v0.33.0rc3 标签发布,但 GitHub 预发布标记为关、公告正文即完整 v0.33.0 说明;本文按项目自身的正式版口径报道。阅读发布说明。
变化内容
- 新模型支持:Reflection Beam-1.0(501B MoE、激活 23B,带 DFlash2 起草器)、Yandex AliceAI-Foundation-80B-A3B、Recursive Flint、Muse Spark Open、Step-5 Preview、NVIDIA Alpamayo 2 Super、Nemotron-Labs Dory1.0-4B、Nemotron Parse 3.5、MiniCPM-OCR 1.0、Domyn Edge 与 ColUltraVBERT 视觉文档检索器。
- 平台基线:升级 PyTorch 2.14.0(torchvision 0.29.0、Triton 3.8.0);CUDA 12.9 的 wheel 与镜像停止发布——产物仅 CUDA 13.0。默认 ROCm 镜像升至 ROCm 10.0,7.2 仍以
-rocm72发布。 - 投机解码:为块扩散起草器新增 XPress 精炼器;起草器不再占用 token 预算槽——引用 PR 基准中,GB300 上 DeepSeek-V4.1-Flash + DSpark 输出从 1,373 提升到 3,390 tok/s;可选量化起草
lm_head(PR 数据:并发 1 解码 +18%);EAGLE/MTP 前缀缓存命中经前瞻哈希保留末块,默认开启。 - 服务与 API:OpenAI 兼容
/v1/decisions端点默认开启;token 嵌入支持晚分块;Rust 前端大幅对齐;TP > 1 时工作进程并发启动;看门狗可转储卡死进程栈。
谁受影响、怎么办
CUDA 12.9 上的自托管团队升级前必须改用 CUDA 13.0 产物(或锁定旧版本)。使用 Medusa、MLP speculator 或旧版 Ray 编译图执行器的用户需要迁移——三者均已移除。NIXL 连接器要求 NIXL ≥ 1.5;生成暂停期间的请求现在返回 HTTP 503 而非排队。
厂商报告的性能
发布说明给出多组特定硬件收益——如 GB300 上 Kimi-K3 的可选延迟特化解码(TP8/TP16 提升 1.5–2 倍)、8xB200 上 FlashInfer DCP 预填充在 100k 输入下平均首 token 延迟降低 39–48%、MI300X/MI325X 的 MonoKernel 解码(并发 1 交互性 2.32 倍)。以上均来自项目 PR 基准而非独立测试。