微软完成MAI-Base-2预训练 2.8万亿参数算力仅对手四分之一
微软近日宣布完成新一代自研基础模型 MAI-Base-2 的预训练。据官方披露,该模型总参数达 2.8 万亿,采用混合专家(MoE)架构,每次仅激活约 800 亿参数。微软 AI 负责人穆斯塔法·苏莱曼(Mustafa Suleyman)在内部会议上称,MAI-Base-2 的预训练基座已强于支撑 GPT-5.6 Sol 的 OpenAI 模型,而训练所需算力仅为后者的四分之一。

从工程数字看,MAI-Base-2 于今年 8 至 9 月动用约 1.6 万张英伟达 GB200 GPU 训练了 38 天,处理约 50 万亿 Token,并首次引入原生视觉预训练,视觉数据占训练量的 18%。微软表示,训练数据全部由自家处理,未通过蒸馏其他公司模型获取能力。在代码、问答、数学与理工学科等文本预测指标上,该模型内部测试超过了 DeepSeek-V4-Pro-Base、Kimi K3 与 Qwen3.8 等模型。
能效是这次发布的核心叙事。微软称,其训练方法在算力效率上比 DeepSeek-V4-Pro-Base 高出 4 至 12 倍;若只想训练出同等水平的模型,所需算力仅为后者的约四分之一到十二分之一。不过微软也承认,为把模型做得更大更强,MAI-Base-2 实际消耗的训练算力仍高于 DeepSeek。公司改进了 MoE 专家调度、Muon 优化器与数据筛选方法,以减少显存浪费、提升大规模训练稳定性。
与同行的路线选择形成对比:DeepSeek、Mistral、Meta 等近年纷纷开放模型权重,而微软明确 MAI-Base-2 暂不开源,计划先用于 Copilot 等自家产品,再通过 Azure Foundry 向企业合作伙伴授权模型权重。这也延续了微软自 6 月 Build 2026 以来"七款原生模型"的自研路线,直接对标长期合作伙伴 OpenAI 的基座,模型层的权力边界正在生变。
据披露,下一代模型 MAI-Base-3 的筹备工作已经展开。在算力成本成为行业胜负手的当下,微软用架构与训练效率换取"同等能力、更少算力"的证明,既是对外展示自研实力的信号,也暗示其与 OpenAI 之间日益明显的脱钩趋势。
读者评论 (0)
想参与讨论?请 登录 后发表评论。
还没有评论,欢迎抢沙发!