资讯›热点›正文

小米开源MiDashengLM-Spatial,首个端到端空间音频理解大模型

拾光少年 2026-10-17 13:46 阅读 9 热点
10月15日,小米技术团队发布并开源Dasheng系列新模型MiDashengLM-Spatial。该模型以MiDashengLM-7B为基座,是业界首个开源的端到端空间音频理解大模型,在听懂声音内容的同时能感知声源方位与空间分布,并以Apache 2.0协议开放权重与推理代码。

10月15日,小米技术团队发布并开源 Dasheng 系列新模型 MiDashengLM-Spatial。该模型以 MiDashengLM-7B 为基座,进一步为声音理解大模型"装上耳朵",使其不仅能听懂声音内容,还能感知声音来自何处、如何在空间中分布。团队称,这是业界首个开源的端到端空间音频理解大模型。

小米开源MiDashengLM-Spatial,首个端到端空间音频理解大模型

MiDashengLM-Spatial 通过 Spatial-Dasheng 空间音频编码器与分层语义到空间的 HSSC 条件机制,将语义分支的中间表示逐级传递给空间分支,让空间建模借助语义上下文,同时保留两条分支的功能独立性。其数据管线构建了约 100 万段空间声学场景、约 1.3 万小时音频,以及 600 万条经事实校验的问答对。

在评测中,MiDashengLM-Spatial-7B 采用双耳音频输入,在 STAR-Bench 空间推理子集上空间准确率约 70.3%,声道交换全对率约 64.1%,明显领先 Gemini-3.6-Flash、Qwen3-Omni 等仅用单声道输入的模型,且在不牺牲通用音频理解能力的前提下获得空间感知。

小米开源MiDashengLM-Spatial,首个端到端空间音频理解大模型

模型以 Apache 2.0 许可证完整公开权重与推理代码,开发者、企业与学术机构均可免费用于商业集成或研究。小米表示,该能力将逐步应用于智能家居、汽车座舱等场景,以空间听觉提升"人车家全生态"的交互体验。

从语音识别到通用音频理解,再到如今的空间音频,多模态模型正把"听"的维度从内容延伸到方位与空间。MiDashengLM-Spatial 的开源,为国产大模型在听觉感知这一细分方向提供了可复现、可定制的底座,也有望带动智能家居与车载语音交互的新一轮升级。

读者评论 (0)

想参与讨论?请 登录 后发表评论。

还没有评论,欢迎抢沙发!