微软等发布Taste-Bench基准,AI智能体长期决策仅六成正确
微软与香港城市大学联合发布Taste-Bench基准,专门衡量AI智能体在长任务中的"品味"——即岔路口选对方向的判断力。14款主流模型测试显示,最强模型GPT-5.6 Sol也仅59.7%正确,且延长思考时间并无帮助。
微软与香港城市大学的研究者发布了一款名为 Taste-Bench 的新基准,专门衡量 AI 智能体在长任务中的"品味"——也就是在岔路口选对前进方向的判断力。现有的评测大多只看智能体是否完成任务,而 Taste-Bench 关注的是沿途每一步选择的质量。

基准的构建方式很巧妙:研究者把真实的智能体运行轨迹冻结在分叉点,隐藏之后的工作,再让模型在两条可能路径中二选一,由后续轨迹的成败反过来标注哪条更好。Taste-Bench 共 502 道题,素材来自数千次已评分的编码与科研任务运行,包括 SWE-bench Pro 与 METR 的公开轨迹,人工复核确认了几乎所有自动生成的标签。
在 14 款来自 Claude、GPT、Grok、DeepSeek、GLM、MiniMax、Mistral 等家族的模型测试中,即便每题都以正反两种顺序各问一次、只有两次都答对才算分(纯猜仅 25%),表现最好的 OpenAI GPT-5.6 Sol 也只拿到 59.7%,GPT-5.5 以 59.5% 紧随其后,其余模型均大幅落后。更值得注意的是,当关键线索出现得很晚时,所有模型准确率跌到约 21%,接近随机;而延长思考时间几乎无助于提升。
研究者同时证明"品味"可以被训练:把知道正确路径的教师模型判断力蒸馏进只能看到问题的学生模型后,一个 27B 的学生在未见任务上从 30.0% 提升到 47.9%。对正在把智能体推向生产环境的行业而言,这个基准量化了一个被广泛感知却长期缺位的短板——智能体擅长把活干完,却不擅长在路上做对选择,而延长推理预算并不能弥补这一点。
读者评论 (0)
想参与讨论?请 登录 后发表评论。
还没有评论,欢迎抢沙发!