SAM 3 发布:总算能从一句话里,把一类东西全抠出来
Meta 的 SAM 3 正式上了 Hugging Face,模型页已经摆好:0.9B 参数,F32,过去一个月下载量冲到 203 万。但要真正拿到手,得先登录、勾选同意分享联系方式,再按 Meta 隐私政策走一遍流程。对,这是 gated 访问,不是以前那种点开就能跑的开源节奏。有人可能觉得多此一举,但从 Meta 的角度看,这也算是把模型放到了「官方认证」的位置上。
真正让我有反应的倒不是参数量,而是它这次定义问题的方式。SAM 3 是统一的、可提示分割的基础模型,图像和视频都能招呼,支持文本和视觉提示,点、框、掩码都行。和 SAM 2 相比,最大的变化是它能把一个开放词汇概念的所有实例一次性全分割出来——给上一句「ear」或者给一个示例,它返回的就不再是单个目标,而是图像里所有匹配的对象。这跟以前那种「我给框一个,你帮我抠一个」的交互逻辑是完全两种用法。
核心卖点是这个开放词汇的规模。它有个新的 SA-CO benchmark,里面塞了 27 万个独特概念,比现有基准多出 50 倍以上。模型在这个基准上做到了人类表现的 75% 到 80%。这个数字得读明白:不是 100%,也不是说它已经超越人了,它是在一个覆盖面大得多的概念集合上,做到了一个人工标注员八九成的水平。换句话说,以前分割模型只能处理几个、几十个预设类别,SAM 3 是在几十万概念的维度上谈表现,这个「量」先立起来了。
如果从干活的角度看,最实用的是那个叫 SAM3Tracker 的模块。它基本就是 SAM 2 的升级版,接口保持一致,可以直接当 SAM 2 的 drop-in 替换用,性能更好。手里有跑过 SAM 2 的流程,基本不用改代码就能切过来。Transformer 生态也接好了,Sam3Model、Sam3Processor、Sam3Video 这些都齐了,拿 from_pretrained("facebook/sam3") 就能加载。
实际操作层面有几个细节值得记下来。视频推理分两种:预加载全部帧的,和逐帧流的。流式推理适合实时场景,但文档里明确标了警告——流式模式会关掉去除重复和未匹配对象的 hotstart 策略,因为做这些判断需要看到后面的帧,所以流式会带来更多误检和重复轨迹。要做最终交付,能拿到全部帧就老老实实用预加载推理,别图省事。
还有一个点:SAM3 现在没挂到任何推理 Provider 上,官方页面挂着「Ask for provider support」,社区还在攒票。这意味着真要用起来,得自己拉权重搭环境,或者等第三方接入。0.9B 的体量不算重,F32 也能扛,但对大多数想把「一句话分割整类目标」塞进产品里的人,现阶段还是得自己动手。
整个模型的定位很清楚:从「交互式抠一个」升级成「一句话抠一类」。这背后是开放词汇能力的整体上移,也是 SAM 系列从单目标工具往通用视觉理解底座走的信号。gated 访问加上还没上推理服务,说明 Meta 对它的放量节奏是审慎的——模型给了,但怎么用、谁先用,它想自己看着点。作为从业者,我的态度是先把那套 Transformers 的接口跑起来,用一句「ear」和一句「person」试试它到底能一次捞出多少个来,再谈值不值得换掉手头的旧流程。样本是最靠谱的判断依据,比任何 benchmark 都直接。