Hugging Face 于 2026 年 10 月 6 日发布 transformers v5.19.0。该版本新增一种模型架构、多项训练与推理特性,并包含一组破坏性变更。阅读发布说明。
新模型支持
EmbeddingGemma2 是 Google 基于 Gemma 4 架构构建的多模态嵌入模型,可将文本、图像、音频和视频嵌入到共享的 768 维空间,支持 Matryoshka 截断到 512、256 或 128 维,并允许关闭未使用的视觉或音频塔。
需要核对的破坏性变更
- 路由器会计算 logits 的 MoE 模型，在
output_router_logits=True时现在会返回这些输出，与 Qwen3-MoE 行为一致。 Owlv2ForObjectDetection.embed_image_query现在选择目标性得分最高的查询框,改变了此前的检测行为。- SDPA 与 flash attention 的
paged|前缀已弃用，常规实现直接支持连续批处理；eager attention 仍需paged|eager。
新特性
- 专家并行:新增
ep_dispatch_experts调度方案,Qwen3 MoE 与 Mellum 默认启用;Trainer 支持专家并行训练。 - DynamicCache 与 StaticCache 支持分层缓存配置。
- XPU 设备支持连续批处理。
- 可注册自定义处理后端;Trainer 新增
loss_is_scaled_for_ga选项。
重要修复
生成过程不再修改用户的量化缓存配置;修复 DataCollatorForLanguageModeling 的种子问题;Qwen3-VL 分块预填充、WatermarkDetector 重复 n-gram 计数、编码器重复惩罚以及 GPT-OSS SwiGLU 配置读取均得到修正。CI 迁移到 Python 3.11,setup.py 不再依赖 pandas。
依赖 MoE 输出或 paged 注意力前缀的升级路径应先针对这些变更测试。本文覆盖 10 月 6 日的发布说明;我们的核查指南说明了跟踪方式。