小米开源MiDashengLM-Spatial 业界首个端到端空间音频理解大模型

10月15日，小米 Dasheng 语音团队开源了 MiDashengLM-Spatial，这是业界首个在单一端到端神经网络架构内同时实现"通用音频理解"与"三维空间声学感知"的开源大模型。它以 MiDashengLM-7B 为底座，配套推理与评估代码，以 Apache 2.0 协议全面开放，可商用集成。

传统音频大模型大多把多声道信号在输入层平均成单声道再理解，方位、距离、运动轨迹等空间信息在第一秒就被抹掉。小米给出的解法是双分支设计：原有的 0.6B 参数语义编码器继续理解"声音是什么"，新增的 86M 参数空间编码器 Spatial-Dasheng 专门感知"声音在哪里"，二者通过层级语义到空间条件模块（HSSC）互通，先听清内容再判断方位。

实测表现来自官方自评：在 STAR-Bench 空间推理测试中，新模型达到 70.3%，明显高于原版 MiDashengLM 的 44.3%、Qwen3-Omni 的 44.7% 与 MOSS-Audio 的 41.7%；在"左右声道互换"测试中，新模型全对率 72.6%，而原版为 0%——过去所有被测模型都未能发现声道被对调。模型还能区分重叠的多声源，判断各自位置与运动状态，同时不损伤原有语义理解能力。

训练数据同样下本：用头相关传递函数加虚源法模拟室内声学环境，造出约 100 万段双耳音频场景、约 1.3 万小时音频与 600 万组空间问答，覆盖语音、环境声与音乐，每条声源都标注了位置、运动轨迹与时间关系。模型规模约 8B 参数，消费级显卡即可本地运行。

这项能力的落地场景已较为清晰：智能家居中音箱不只听懂"关掉空调"，还知道指令从卧室还是客厅传来；汽车座舱里后排左侧孩子说"开窗"只开那一侧；家用机器人听到玻璃碎裂声能判断方向自行查看。小米表示，该技术后续还将探索机器人听觉。从"听得清"到"感知得到物理空间"，多模态交互补齐了关键的听觉空间维度。