MiniMax 开源 MiniMax M3 模型,拥有 4280 亿参数和 100 万 token 上下文
据 Beating 称,MiniMax 已在 Hugging Face 上开源其原生多模态混合专家(MoE)模型 MiniMax M3 的权重。该模型总参数规模达 4280 亿,且每个 token 激活 230 亿参数,能够原生支持最高 100 万 token 的上下文长度。开发团队发布了 MXFP8 量化版本,并集成了对主流推理框架的支持,包括 SGLang、vLLM 和 Transformers。MiniMax 还开源了轻量级 MiniMax 稀疏注意力(MSA)内核库,在 NVIDIA Blackwell 架构优化下,实现了在 100 万 token 上下文中预填充快 9 倍、解码快 15 倍。
Gate News·19 分钟前