ServiceNow推出AutoSynthData，用失败案例自动生成智能体训练数据

企业软件公司ServiceNow在10月2日通过CoreAI团队发布了AutoSynthData，一个用于训练企业智能体的自动化数据生成框架。它的思路很直接：先找出目标模型在真实业务环境里做不好的任务，再借助一个更强的教师模型演示正确做法，自动生成大量可验证的练习题目，喂给模型做训练。整个流程不需要人工标注员逐条写题。

AutoSynthData把一个训练任务拆成三部分：系统设定、用户指令，以及一个自动校验器。合格的题目必须同时满足可行、真实、有难度三条标准——既要在环境里真的能完成，又要像真实员工会提出的请求，还要恰好踩在模型当前做不好的地方。框架分两阶段放大数据量：先由目标阶段并行生成一批经过求解、执行与校验的核心任务；再由乘法阶段把它们扩展成措辞、实体和初始状态各不相同的变体，且规定派生样本不能再去播种下一代，防止语义漂移。

配套基准EnterpriseOps Gym给出了一记清醒剂：在模拟真实办公软件环境的任务上，表现最好的前沿模型也只完成了约三分之一，其余模型更差；而当研究人员在每次任务前给智能体一份人类写好的计划，得分能提升14到35个百分点——说明瓶颈主要在规划而非执行。这也解释了AutoSynthData的价值：它把模型在哪一步会翻车变成可规模化的训练信号。

不过AutoSynthData目前仍是一个研究管线，而非可即买即用的产品，其效果依赖于是否存在明显更强的教师模型，以及是否具备高保真的仿真环境。对正在采购企业智能体的公司来说，这项研究与约三分之一的成功率都是一份现实提醒：在签下合同前，应当询问厂商的智能体在贴合自身系统的任务上表现如何，而非只看通用能力榜单。大模型与智能体正加速进入办公场景，但距离真正可靠的数字员工，中间还隔着一长段需要补齐的能力缺口。