资讯›热点›正文

LangChain给Open SWE装上模型路由器,编码Agent成本降64%

麦田守望 2026-10-3 18:26 阅读 2 评论 1热点
LangChain在开源编码Agent项目Open SWE的Harness中内置模型路由器,按任务复杂度在三个模型档位间动态分配。一项覆盖973个真实线程的A/B测试显示,路由后每线程中位成本由2.61美元降至0.94美元,降幅64%,而合并PR率基本持平。

10月1日,LangChain发布技术博客,介绍其为开源编码Agent项目Open SWE内置的模型路由器(Model Router)。核心思路是:大多数Agent并不需要每个任务都调用最昂贵的前沿模型,路由器的职责是为每个线程挑选最便宜、又能搞定的模型。在始终调用顶级前沿模型的旧基线上,这套路由器把每线程的中位成本砍掉了64%,且质量没有可测量的下降。

LangChain给Open SWE装上模型路由器,编码Agent成本降64%

路由器被放在Agent的Harness(中间件)里,而非通用网关——LangChain的理由是,选对模型需要任务与领域上下文,而这些上下文Harness本就掌握。它运行在线程的第一条人类消息上,由三部分组成:告诉分类器挑最便宜的可行模型的基础提示词、各档位的平实标准,以及读取请求并判定档位的分类器模型。LangChain沿着智能与成本的帕累托曲线选了三档:快速档GLM-5.3-Flash、均衡档GPT-5.6 Sol、性能档GPT-6 Astra。

LangChain给Open SWE装上模型路由器,编码Agent成本降64%

验证来自一场覆盖973个真实用户线程的A/B测试:路由组每线程中位成本0.94美元,对照组2.61美元,降幅64%;均值下降42%,p90下降37%。衡量质量的合并PR率几乎持平,29.2%对27.3%,p值为0.49。档位分布上,仅10%的线程被路由到性能档,56%走均衡档、34%走快速档。换言之,绝大多数日常编码请求并不需要最强模型。

这一实践呼应了模型—Harness—任务匹配的工程理念,也反映出当智能体在大规模运行时,前沿大模型的高成本正成为现实瓶颈。随着开源与闭源大模型在性价比上持续逼近,把路由决策下沉到Harness、按任务动态选型,正成为降低AI工程账单的一条务实路径。不过LangChain也提醒,面向外部用户的Agent缺少内部员工的即时反馈通道,上线前应先用自有真实流量做小样本标注与验证。

读者评论 (1)

想参与讨论?请 登录 后发表评论。

  • 清
    清晨第一缕阳光2026-10-03 18:28

    省钱思路确实对,但10%还在用顶级模型,这钱也没少花