transformers v5.22.0(2026 年 10 月 29 日发布)新增对 Mistral Large 4(昵称 "Le Chonk")的支持,Mistral 称其为迄今最大、能力最强的模型。阅读发布说明。
公告确认的事实
- 架构:1 万亿参数的原生多模态混合专家模型,每 token 激活 490 亿参数(含嵌入与输出层为 520 亿)——128 个路由专家、每 token 激活 4 个,外加 1 个共享专家。
- 上下文与语言:1M token 上下文窗口;原生流利掌握 160+ 种语言,包括欧盟全部官方语言。
- 模态与模式:文本与图像输入、文本输出(Pixtral 式视觉编码器,支持可变图像尺寸);推理力度可按请求选择 low/medium/high,默认 high。
- 训练:Mistral 称模型在其欧洲自建数据中心、3,800 块 NVIDIA Grace Blackwell GPU 上从零训练。
谁受影响、怎么用
权重面向经 transformers(及周边推理栈)自托管的开发者。Mistral 推荐参数:所有推理力度下 temperature=1.0、top_p=0.95;智能体场景使用定义清晰的工具集与明确的系统提示。
许可条件
本版本采用 Mistral Ecosystem Open-Weight License——修改版 MIT,允许商业与非商业使用;但以其运营 Model-as-a-Service 业务需向 Mistral 另行取得商业许可。
仍属厂商说法的部分
Mistral 报告该模型在网络安全、金融、法律负载上表现强劲,视觉定位在开放权重模型中最强,网络安全成绩为开放权重中的最优水平。以上数据来自厂商发布说明而非独立评估;transformers 发布中未附带基准表格。
本版其他内容
v5.22.0 列出破坏性变更(专家并行逻辑拆分为独立文件等);配套 v5.21.1 补丁修复了 rope-scaling setter 回归。