Hugging Face 于 2026 年 10 月 26 日发布 transformers v5.21.0(tag 为 v5.21),新增四种模型架构。阅读发布说明。
新模型支持
- MiniCPM-OCR(OpenBMB):来自 MiniCPM-V 家族的文档理解模型,沿用 4.6 架构——SigLIP 视觉编码器与窗口注意力合并器搭配 Qwen3.5 语言模型——专攻扫描页、截图、收据、表格等文字密集图像。
- Flint(Recursive):这款混合专家语言模型(此前经 Ollama 分发)获得原生支持。与标准 SwiGLU MoE Transformer 相比,它采用混合注意力——多数层对当前 token 与前 512 个 token 做带旋转编码的滑动窗口注意力,其余层做无位置编码的全注意力——并引入 GPT-OSS 式的学习型注意力沉降,配合逐头 RMS 归一化的 query/key。每个稀疏层按 sigmoid 得分把 token 路由到 256 个专家中的 6 个并附加一个无门控共享专家,前两层为稠密层。
- UltraVBert:在 ModernVBert 基础上把 UltraBERT 文本编码器与 SigLIP 视觉编码器配对,面向视觉文档理解与检索。页面切分为 512 像素图块加全局视图,每 4×4 视觉 patch 块合并为一个 token,
max_image_tiles(默认 27)限制每页图块数。 - Gradium Phonon TTS:采用 Pocket TTS 配方训练的端侧语音合成家族。因果 Transformer 读取语音提示与文本,经单步流头以 12.5 Hz 每步输出一个连续的 32 维音频潜变量,结束头决定语句终点;潜变量解码为 24 kHz 音频。语音以独立说话人编解码器的预计算 512 维潜变量提供,不能从录音克隆。
本文覆盖 10 月 26 日的发布说明。近期版本见v5.20.1与v5.20.0报道;Ollama 侧的 Flint 上线见v0.40.8 报道。