资讯›热点›正文

字节跳动联合高校开源智能体模型Axion 1.0,仅三轮训练即逼近商业旗舰水平

拾光者 2026-11-22 21:15 阅读 2 热点
字节跳动联合杜克大学等高校开源智能体模型Axion 1.0,仅用两轮监督微调加一轮强化学习完成训练,数据构建与训练代码全量公开。122B版在Humanity's Last Exam得分59.0,部分科学基准超过商业模型。

字节跳动联合杜克大学、马里兰大学等高校研究人员近日开源了智能体基础模型Axion 1.0。这套模型的特别之处在于训练流程被刻意压缩到只有三个阶段:两轮监督微调加一轮强化学习,没有中间训练、没有直接偏好优化,也没有在线策略蒸馏。团队同时公开了数据构建、筛选、训练和评测的全套代码与提示词,采用Apache 2.0许可证。

字节跳动联合高校开源智能体模型Axion 1.0,仅三轮训练即逼近商业旗舰水平

团队的核心主张是:把复杂度沉淀在数据构建环节,而不是堆叠训练流程。第一轮微调用10819条推理轨迹训练模型的独立推理能力,题目来自公开课程和竞赛题,并由模型自动改写得更难——如果基座模型已经能答对,就通过组合、改变参数等方式继续加码,答案经核验后才入训。第二轮针对工具使用,用7544条轨迹训练模型借助NASA系外行星档案、学术论文库等真实数据库完成任务,约含3.12亿个Token。

字节跳动联合高校开源智能体模型Axion 1.0,仅三轮训练即逼近商业旗舰水平

最后一轮强化学习采用异步GRPO方法,让模型在搜索、网页访问、Python执行等环境中实战练兵。模型共两个规格:35B版总参数350亿、每个Token激活约30亿;122B版总参数1220亿、激活约100亿,均基于阿里通义千问开源基座做后训练。

成绩单上,122B版在Humanity's Last Exam拿到59.0分,高于论文所列Gemini 3.1 Pro的51.4分;在FrontierScience研究测试中得66.7分,超过GPT-5.6 Sol的63.3分;35B版则在信息检索测试SEAL-0上拿到62.2分。不过论文也如实标注,这些成绩为作者自评、未经独立验证,Humanity's Last Exam上仍落后Claude Fable 5的63.8分。

这次开源的意义可能大于分数本身:数据、代码、提示词全量公开,意味着其他团队可以直接复现整个流程。35B版已有社区复现权重可下载,官方特别说明其并非字节官方权重,122B版暂未放出权重。当头部厂商纷纷给推理链上锁时,字节选择反其道而行——把训练配方完全摊开,也为国产开源模型的智能体研发提供了一条低成本的参照路径。

读者评论 (0)

想参与讨论?请 登录 后发表评论。

还没有评论,欢迎抢沙发!