Hugging Face a publié Transformers v5.20.0 le 15 octobre 2026. La version ajoute cinq nouvelles architectures de modèles ainsi que des correctifs. Lire les notes de version.
Prise en charge d'un nouveau modèle
- Muse Spark Open (Meta) : un modèle multimodal de mélange d'experts qui prend du texte, des images, de l'audio et de la vidéo en entrée et génère du texte. Il dispose d'un total de 816 B de paramètres (42 B actifs par jeton) et d'une fenêtre contextuelle pouvant contenir jusqu'à 1 048 576 jetons partagés entre les modalités, et est formé pour les tâches de codage agent telles que l'édition multi-fichiers, le débogage et l'utilisation d'outils. Les points de contrôle sont livrés aux formats BF16 et NVFP4.
- Ling 3.0 Flash (InclusionAI) : un modèle de langage MoE hybride dont le décodeur regroupe cinq couches Kimi Delta Attention avec une couche Multi-head Latent Attention. Il est supporté nativement comme
BailingHybridForCausalLM, chargement sanstrust_remote_code=True. - Kolibri 1 (Aleph Alpha) : un modèle de raisonnement du MoE allemand-anglais ; chacune de ses 50 couches achemine chaque jeton vers 6 des 384 experts avec un routage sigmoïde plus un expert partagé, en alternant les couches à fenêtre coulissante et à pleine attention.
- MiniCPM-V 4.7 (OpenBMB) : associe un encodeur de vision SigLIP à un squelette Qwen3.5 et ajoute un canevas M-RoPE, attribuant à chaque jeton visuel une position (temporelle, hauteur, largeur) sur un canevas 2D afin que les tranches d'image conservent les relations spatiales et que les images vidéo conservent l'ordre temporel.
- IllimitéOcr (Baidu) : un modèle OCR à paramètres 3B unique avec un contexte de 32 768 jetons, s'appuyant sur l'OCR DeepSeek.
Ce rapport couvre les notes de version du 15 octobre ; la version précédente est couverte dans notre rapport v5.19.0. Notre guide de vérification décrit comment nous suivons les versions de bibliothèque.