谷歌TPUv7智能体推理基准首测击败英伟达GB300旗舰

半导体研究机构SemiAnalysis近日公布了谷歌第七代自研AI芯片TPUv7（代号Ironwood）在智能体推理基准AgentX上的首批公开测试结果。数据显示，谷歌仅用4颗TPUv7芯片、配合自研的TorchTPU与vLLM推理软件栈，就在单位总拥有成本（TCO）性能上超过了英伟达由72块GPU组成的GB300 NVL72机柜系统。

具体来看，首次提交的结果中，TPUv7每美元性能最高达到GB300 NVL72（FP4精度）的1.67倍；几天后的第二次提交将这一优势收窄至1.42倍。在中等到高交互性场景下，TPUv7相比AMD的MI355X快约2.5倍，相比英伟达上一代GB200 NVL72最多快3.16倍。值得注意的是，整套测试并非基于谷歌自家模型，而是使用了阿里巴巴开源的Qwen3.5 397B模型，这在一定程度上削弱了「为自己优化」的质疑。

这场对比之所以引发关注，关键在于基准本身的变化。传统AI基准大多围绕一问一答的聊天机器人设计，而AgentX专门衡量智能体工作负载：数十甚至上百轮的多轮交互、迅速膨胀的系统提示与历史上下文、被反复调用的前缀，以及子智能体突发产生的内存峰值。随着编码助手、研究智能体和企业自动化工具越来越「代理化」，这类负载的服务成本与简单问答已截然不同。

对英伟达而言，这并非全面失守。SemiAnalysis也指出，在低交互性、以批处理为主、对延迟不敏感的场景中，GB300 NVL72在FP4精度下仍然保持约1.2倍的优势。但谷歌用4颗芯片对抗72块GPU机柜的结果，意味着当算账口径从「单卡峰值算力」切换到「总拥有成本」时，定价权天平正在松动。

更深远的变化在于生态。谷歌正全力推进TorchTPU这一原生PyTorch后端，并计划对外开源，以降低外部开发者使用TPU的门槛；Anthropic已承诺采购逾百万颗TPU。随着分离式预填充与解码、投机解码等关键优化陆续落地，TPUv7有望在全性能曲线上与英伟达GB200、GB300形成正面竞争。对依赖云端推理的企业来说，芯片选型的答案，可能第一次不再默认是「买英伟达」。