阿里千问发布QwenGyre弹性强化学习框架：智能体训练提速最高1.85倍

阿里巴巴旗下通义千问（Qwen）团队联合中国科学技术大学、清华大学发布弹性强化学习框架 QwenGyre，相关论文已公开（arXiv: 2609.33848）。该框架面向“超长程”智能体任务：一次软件工程任务的执行可能持续数小时，涉及数百轮模型调用与工具操作，单次 rollout 消耗的 token 量约 70 万、最高接近 100 万。

论文指出，对这类任务做在线强化学习有两大瓶颈。一是任务执行时间差异极大：同步训练必须等一批智能体全部跑完才能更新模型，先结束的任务会让部分 GPU 长时间闲置，而固定配额的异步训练又无法把空闲算力转移给另一环节。二是智能体反复重试、压缩历史记录、调用子智能体会留下大量相互重叠的执行路径，直接拉平训练会重复计算共享前缀，推高整体成本。

针对这两个问题，QwenGyre 给出了组合方案。其弹性调度器把 GPU 集群划分为多个“细胞”单元，让同一批卡能在任务执行与模型训练之间动态切换：任务陆续结束时，空闲出来的算力可直接加入正在进行的训练批次，无需中断执行，角色切换耗时不到 9 秒。其轨迹处理器则把分支执行历史整理成共享前缀的轨迹树，去重冗余路径，并对超时任务中已完成、可检验的部分成果给予部分奖励，避免整条样本作废。

实测数据显示，在同等训练得分下，QwenGyre 较传统方案端到端提速 1.21~1.85 倍。团队在旗舰模型 Qwen3.8 2.4T 上验证：相同 GPU 预算下完成 48 步强化学习，QwenGyre 耗时 75.42 小时，传统异步方案需要 134.55 小时，训练时间缩短约 44%；模型在代码仓库生成基准 NL2RepoBench 上的通过率也从 52.5% 提升至 58.5%。

这一进展反映出智能体竞赛的重心正在从模型能力转向训练系统层。当编程智能体的任务时长从分钟级拉到小时级，能否让昂贵的加速器持续满负荷运转，直接决定了这类模型的迭代速度与成本。对行业而言，训练框架的效率提升，可能比榜单分数更能影响下一代智能体的落地节奏。