微软完成2.8万亿参数基模MAI-Base-2预训练,训练效率超DeepSeek
微软当地时间10月15日通过官方技术博客宣布,已完成新一代基础模型 MAI-Base-2 的预训练。这是继今年6月 MAI-Thinking-1 之后,微软自研模型体系又一次重要扩容,标志着其正在加速摆脱对外部模型供应商的依赖。MAI-Base-2 是一个混合专家(MoE)架构的基座模型,总参数规模达到 2.8 万亿,每 token 仅激活 800 亿参数。

根据微软披露的训练细节,MAI-Base-2 于今年8月至9月、在 1.6 万张 NVIDIA GB200 GPU 上完成训练,历时 38 天,平均算力利用率(MFU)为 21%、有效训练吞吐(goodput)达 89%。模型采用原生多模态设计,视觉数据从一开始就融入训练,图像与文本混合语料占 50 万亿 token 总量的 18%。微软强调,全部训练数据均来自自有管线,不涉及对其他模型输出的蒸馏,并计划通过 Foundry 向可信合作伙伴授权模型权重。
在性能表述上,微软称 MAI-Base-2 在自有留存评测中优于所有参测的开源权重模型,并以 bits-per-byte 指标领先 DeepSeek-V4-Pro-Base、Kimi K3、Qwen3.8、MiMo 等模型;其训练方法的计算效率被宣称是 DeepSeek-V4-Pro-Base 的 4 至 12 倍。不过这些结论目前均来自微软自身测试,尚未经过第三方独立复现,闭源前沿模型也不在对比范围内。

从影响看,MAI-Base-2 目前仍处后训练阶段,距离成为可用产品还有一步之遥,微软已同步启动下一代 MAI-Base-3 的准备工作。对行业而言,科技巨头自研超大规模基模正成为明确趋势:在持续投入算力的同时,把数据、训练与基础设施打通,以更低成本换取更强的自主可控能力。微软人工智能主管穆斯塔法·苏莱曼更在内部讲话中称,该模型在部分测试上优于驱动 GPT-5.6 的竞品,凸显其与长期合作伙伴之间微妙的能力分化。
读者评论 (0)
想参与讨论?请 登录 后发表评论。
还没有评论,欢迎抢沙发!