资讯›热点›正文

面壁智能发布MiniCPM-V 4.7,35B多模态大模型手机端运行

一叶知秋 2026-11-10 18:24 阅读 13 热点
面壁智能近日发布多模态大模型MiniCPM-V 4.7,总参数35B、激活约3B,凭借MoE架构与前瞻专家调度技术,在手机端以约3GB内存实现超过20token/s的生成速度,同系列1B版本可下探至千元机。团队已将推理引擎与App开源。

近日,面壁智能发布多模态大模型MiniCPM-V 4.7。这款总参数35B(约3B激活)的模型,实现了在手机端的无损流畅运行,标志着大模型从云端走向端侧、进入个人设备迈出实质性一步。

面壁智能发布MiniCPM-V 4.7,35B多模态大模型手机端运行

据面壁智能介绍,MiniCPM-V 4.7采用混合专家(MoE)架构,在手机端运行时内存占用约3GB,生成速度超过20token/s。同系列的1B版本进一步下探,可运行在千元机甚至部分百元设备上,大幅降低端侧AI的硬件门槛。

突破的关键在于让模型在有限资源下既“装得下”又“跑得快”。面壁智能利用MoE的稀疏激活特性,将大部分专家权重存于手机闪存、推理时按需加载;并首次提出前瞻专家调度技术,提前预测下一层所需专家,将存储读取与当前层计算并行,隐藏I/O等待;再结合分层量化与投机解码进一步提升效率。

面壁智能发布MiniCPM-V 4.7,35B多模态大模型手机端运行

端侧智能的意义不止于“手机跑模型”。随着模型能力增强,越来越多日常任务可在本地完成,减少对云端算力的依赖,同时满足隐私保护、断网可用与低延迟等需求。面壁智能联席首席科学家姚远认为,端侧智能取决于模型、硬件与基础设施三者的协同进步。

目前,面壁智能已将推理引擎、App代码及相关安装包开源,邀请手机厂商、芯片厂商与开发者结合具体场景继续优化。在AI芯片与算力成本高企的当下,把智能下沉到设备端,正在成为大模型落地的重要路径之一。

读者评论 (0)

想参与讨论?请 登录 后发表评论。

还没有评论,欢迎抢沙发!