Hugging Face a publié Transformers v5.21.0 le 26 octobre 2026 (tag v5.21). La version ajoute quatre nouvelles architectures de modèles. Lire les notes de version.
Prise en charge d'un nouveau modèle
- MiniCPM-OCR (OpenBMB) : un modèle de compréhension de documents de la famille MiniCPM-V conservant l'architecture 4.6 — un encodeur de vision SigLIP et une fusion d'attention de fenêtre associés à un modèle de langage Qwen3.5 — spécialisé pour les images riches en texte telles que les pages numérisées, les captures d'écran, les reçus et les tableaux.
- Flint (Récursif) : prise en charge native du modèle de langage mixte d'experts déjà distribué via Ollama. Comparé à un transformateur SwiGLU MoE standard, il utilise une attention hybride – une attention à fenêtre coulissante avec des intégrations rotatives sur le jeton actuel et les 512 jetons précédents dans la plupart des couches, une attention totale sans codage de position dans le reste – plus une attention apprise avec des requêtes et des clés normalisées RMS par tête. Chaque couche clairsemée achemine un jeton vers 6 des 256 experts par score sigmoïde avec un expert partagé non fermé ; les deux premières couches sont denses.
- UltraVBert: étend ModernVBert en associant l'encodeur de texte UltraBERT à un encodeur de vision SigLIP pour la compréhension et la récupération visuelles de documents. Les pages sont divisées en tuiles de 512 pixels plus une vue globale, chaque bloc 4×4 de patchs de vision fusionne en un seul jeton, et
max_image_tiles(27 par défaut) couvre les vignettes par page. - Phonon TTS Gradium: une famille de modèles de synthèse vocale sur appareil entraînés avec la recette Pocket TTS. Un transformateur causal lit une invite vocale et un texte, émet un son latent continu de 32 dimensions par étape à 12,5 Hz via une tête de flux en une étape, et une tête de fin de discours décide quand l'énoncé se termine ; les latents décodent en audio 24 kHz. Les voix sont expédiées sous forme de latents précalculés à 512 dimensions à partir d'un codec de haut-parleur distinct et ne peuvent pas être clonées à partir d'un enregistrement.
Ce rapport couvre les notes de version du 26 octobre. Les versions récentes sont couvertes dans nos rapports sur v5.20.1 et v5.20.0; Le déploiement Flint de Ollama est en cours notre rapport v0.40.8.