IBM 发布 Granite Switch 4.1,单一端点整合对话、决策与语音识别
IBM 的 Granite 团队于 10 月 15 日在 Hugging Face 发布 Granite Switch 4.1,提供 8B 与 30B 两档规格。新版本延续今年春季启动的模块化思路:以一个冻结的基础模型为骨架,挂载若干轻量适配器,使同一个部署能在自然语言对话、结构化决策与语音转文字之间切换,全部由单一托管端点提供。

具体而言,4.1 在基础模型之上捆绑了三项能力。其一是面向通用决策的 Decision aLoRA;其二是专门的 Guardian aLoRA,IBM 称其在安全相关决策任务上的平均表现优于 Jev 1.13、Microsoft-Decision-1、GPT-Luna-Decisions 与 Clef-Flash;其三是 Granite-Speech-5.0-Turbo-CTC,IBM 称之为 OpenASR 榜单上最快的语音识别模型。三项技术与基础模型组合后,占用的 GPU 显存与单独的基础模型大致相当。

切换之所以能保持高速,关键在于适配器采用缓存高效的「激活式 LoRA(aLoRA)」:基础模型生成时建立的 KV 缓存可被后续任意适配器决策复用,无需重新计算前缀。结合 IBM 近期对 vLLM 低秩适配器推理的提速贡献,以及同置的 ASR 编码器,模型能在聊天、决策与语音请求之间快速跳转。官方演示中,8B 版本可在同一端点实时完成「听写音频—生成摘要—筛查有害内容—测试 15 项自定义标记」的流水线。
从行业背景看,决策模型正在成为继对话大模型之后的一类独立产品:它是为智能体控制面提供廉价、低延迟结构化判断的小型分类器,而非撰写长文。IBM 强调 4.1 属「开箱即用」,但任何人都能从 Granite Libraries 中自由组合适配器,公司还计划发布用于训练适配器的 SDK。以 Apache 2.0 协议开放权重,也让开发者可在自有基础设施上微调与部署,无需依赖闭源前端 API。这一「一个端点、多模态能力」的路线,正与 OpenAI 的 Decisions API、Perplexity 的开源决策器等探索形成呼应。
读者评论 (0)
想参与讨论?请 登录 后发表评论。
还没有评论,欢迎抢沙发!