Hugging Face a publié Transformers v5.19.0 le 6 octobre 2026. La version ajoute une nouvelle architecture de modèle, plusieurs fonctionnalités de formation et de service, ainsi qu'un ensemble de modifications majeures. Lire les notes de version.
Prise en charge d'un nouveau modèle
EmbeddingGemma2, un modèle d'intégration multimodal de Google construit sur l'architecture Gemma 4, intègre du texte, des images, de l'audio et de la vidéo dans un espace partagé de 768 dimensions. Il prend en charge la troncature de Matryoshka aux dimensions 512, 256 ou 128 et permet de désactiver les tours de vision ou audio inutilisées.
Modifications cassantes à vérifier
- Les modèles MoE dont les routeurs calculent les logits les renvoient désormais lorsque
output_router_logits=True, suivant le modèle Qwen3-MoE. Owlv2ForObjectDetection.embed_image_querysélectionne désormais la boîte de requête avec le score d'objectivité le plus élevé, modifiant ainsi le comportement de détection antérieur.- Le
paged|Le préfixe pour SDPA et Flash Attention est obsolète ; leurs implémentations régulières prennent directement en charge le traitement par lots continu, tandis qu'une attention enthousiaste utilise toujourspaged|eager.
Nouvelles fonctionnalités
- Parallélisme expert avec un nouveau
ep_dispatch_expertsplan, par défaut pour Qwen3 MoE et Mellum ; Le formateur prend en charge la formation parallèle d’experts. - Configuration du cache par couche pour DynamicCache et StaticCache.
- Prise en charge continue du traitement par lots pour les appareils XPU.
- Backends de traitement personnalisés enregistrés et un formateur
loss_is_scaled_for_ga.
Corrections notables
La génération ne mute plus la configuration du cache quantifié de l'utilisateur, un bug d'amorçage DataCollatorForLanguageModeling est corrigé et le pré-remplissage fragmenté Qwen3-VL, le comptage WatermarkDetector, la pénalité de répétition de l'encodeur et la gestion de la configuration GPT-OSS SwiGLU ont reçu des corrections. CI exécute désormais Python 3.11 et pandas n'est plus une dépendance d'installation.
Les chemins de mise à niveau qui dépendent des sorties MoE ou du préfixe d'attention paginé doivent d'abord être testés par rapport à ces modifications. Ce rapport couvre les notes de version du 6 octobre ; notre guide de vérification explique comment nous les suivons.