MiniCPM-V 4.7 1B:一个 1B 的多模态模型,想替你把终端侧 AI 真跑起来
OpenBMB 放出了 MiniCPM-V 系列的新一代模型 MiniCPM-V 4.7,这次主推 1B 参数版本。它想做的事很直白:让手机、平板上真正跑起看图、看视频,而不是停留在「能加载、能出结果」的演示层面。对做边缘部署、端侧应用的团队来说,这算一个值得停下来看两眼的重磅发布。
模型页直接跟 Qwen3.5 0.8B 做对比,说 1B 版在 Instruct 模式下,总得分和推理效率都明显超出。这种「小模型互卷」的信号很明确——大家抢的不是参数大小,而是有限算力下谁的能力密度更高。MiniCPM-V 4.7 给的路线是效率优先:视觉 token 在编码器早期就做压缩,借鉴 LLaVA-UHD v4 那套 intra-ViT 早期压缩思路,后面的编码层计算量就能减下来。
token 压缩可以调档,支持 4x/16x 两档混合。16x 是默认,用合并 token 换效率;4x 保留的 token 是 16x 的四倍,适合抠细节的场景,比如高清大图、需要分辨细微差异的任务。它还配了一系列高级参数,max_slice_nums 控制高分图切多少片,大图设 36,视频用 1;视频这边还有 max_num_frames、stack_frames 控制抽帧和每秒采样点数。对真正写 pipeline 的人,这堆参数意味着能按任务精细调,而不是拿回家只能用固定配置。
部署面铺得挺开。iOS、Android、HarmonyOS 都支持,Rockchip、Houmo、Intel、AMD、Arm 这些芯片平台给了 day-0 支持,发布当天就能在对应硬件上跑。推理框架覆盖 SGLang、vLLM、llama.cpp、Ollama,微调走 SWIFT 和 LLaMA-Factory,量化版本给了 GGUF、BNB、AWQ、GPTQ 四件套之外,还新增了 FP8。权重总大小在 safetensors 上是 2B 参数、BF16,Ollama 上也能直接拉。
它还同时发了一个 DSpark 草稿模型,专门做投机解码(speculative decoding)。这招在端侧挺实用——用更小的草稿模型先猜,主模型再验证,能显著压低解码延迟。配合 1B 这个规模,看得出团队是把「端上真实体感」当成核心指标在抠,不只是堆功能表。
另有一个叫 Self-Replay Fine-Tuning(SRFT)的微调方法,官网博客里讲得比较细。它宣称的目标是让开发者在低成本下扩展模型能力,同时减少对既有能力的遗忘——想帮你自定义,又不想让你把本来会的东西改没了。「微调不丢本事」这点对想拿它做垂直场景定制的团队有吸引力,戳中的正是微调里最容易翻车的记忆灾难问题。
1B 路线要留意一点:它不是从零训的。致谢里写明语言主干来自 Qwen3.5/Qwen3.6,视觉理解模块用 SigLIP2,模型处理靠 Transformers。本质是把别人成熟的基座和视觉编码,跟自家在端侧、推理效率上的功夫捏在一起。这也说明小模型时代真正的差异化不在「我又训了个底模」,而在谁能把这套东西在有限资源里榨出最好的表现。
最后一句务实的话:这类发布页上的 benchmark 只能说明一部分问题,「overall score」提升不等于你的具体场景也提效。真要用,建议按自己任务先拿 Cookbook 里的单图、多图、视频、OCR、PDF、grounding 那几个 guide 跑一遍,把 downsample_mode、切图数这些参数在自己的数据上调一调,再看值不值。至少有一点是确定的:现在做端侧多模态,不用再拿几 B 起步的大模型硬塞进手机里了。
相关链接
- 模型主页:https://huggingface.co/openbmb/MiniCPM-V-4.7-1B
- GitHub 仓库:https://github.com/openbmb/MiniCPM-V
- 微调方法说明:https://openbmb.cn/en/blog/self-replay-fine-tuning
- 实时 demo:https://huggingface.co/spaces/openbmb/MiniCPM-V-4.7-Demo
- 部署与微调文档:https://github.com/OpenBMB/MiniCPM-o/blob/main/docs/deployment_en.md