Le projet vLLM a publié la v0.32.0 le 18 octobre 2026, couvrant 814 commits provenant de 363 contributeurs, dont 121 nouveaux. Lire les notes de version.
Cache KV basse précision
- Le cache NVFP4 KV fonctionne désormais sur SM8x et SM12x, SM90, et avec le décodage XQA sur SM12x, plus sur MiniMax-M3, avec une attention éparse sur SM100.
- GLM-5.x utilise par défaut un cache KV FP8 sur SM100, réduisant de moitié la mémoire KV par rang avec 2,3 à 5,5 % de débit en plus pour un coût de temps jusqu'au premier jeton de 7 à 11 % dans le benchmark cité ; sur SM90, le chemin fp8_ds_mla donne à GLM-5.3-Flash jusqu'à 31 % de débit de sortie en plus.
- ROCm gagne un cache KV ultraquant de 4 bits avec environ deux fois la densité de FP8.
Décisions structurées et analyseurs
Un nouveau POST /v1/systemone Le point de terminaison répond aux questions de choix, de noul et de score sur l'état structuré, est servi par défaut et fonctionne également sur Cloudflare clef-omni, LiquidAI d1-3B et DiffusionGemma. Un nouveau hf L'outil et l'analyseur de raisonnement lisent le modèle de réponse du point de contrôle, de sorte que les modèles qui l'expédient n'ont pas besoin d'analyseur spécifique au modèle, à la fois dans les interfaces Python et Rust.
Model Runner V2 et vitesse de service
Model Runner V2 ajoute un spéculateur GPU n-gram avec des brouillons de longueur variable, un parallélisme expert Elastic, un parallélisme de pipeline avec parallélisme de contexte de pré-remplissage pour les modèles MLA et un mode stock torch.compile ; c'est désormais la valeur par défaut sur ROCm. Les améliorations de démarrage et de service incluent des noyaux FlashInfer précompilés via vllm download-kernels, des tables de réglage automatique chaudes lors des redémarrages, une arène de tenseur de mémoire partagée pour les travailleurs multimodaux et un routage des travailleurs d'API le moins chargé que le benchmark rapporte comme 43 à 85 % de requêtes en plus par seconde sur les requêtes courtes.
Prise en charge et sécurité du modèle
La prise en charge du nouveau modèle inclut les intégrations omnimodales EmbeddingGemma 2, MiniCPM-V 4.7 et Nemotron 3.5 ASR, ainsi que l'entrée vidéo dans le backend Transformers et la réutilisation de l'index sparse-MLA GLM-5.3 (3,5 à 3,9x sur ce noyau). La version corrige également trois vulnérabilités révélées : l'épuisement des ressources du modèle de discussion, la gestion du tokenizer max_token_id et un problème de socket P2P ZMQ.
Les chiffres de performances ci-dessus proviennent des benchmarks pull-request du projet et non de tests indépendants ; notre guide de vérification décrit comment nous les traitons.