← 返回行业咨询

商汤开源统一视觉大模型:终结"缝合怪"时代,视觉AI迈向AGI主线

商汤发布SenseNova-Vision:统一视觉大模型的产业信号

事件概述

7月16日,智东西报道商汤科技发布并全面开源日日新SenseNova-Vision理解生成统一视觉大模型。该模型综合得分登顶Hugging Face Any-to-Any Leaderboard,位列全模态任意输入输出开源模型榜单全球第一。


一、核心突破:从"模型拼盘"到"大一统"

1.1 行业痛点:长期存在的"缝合怪"架构

长期以来,视觉AI领域依赖各自独立的专家模型完成任务:
- 目标检测:输出边界框坐标
- 图像分割:输出像素级掩膜
- 深度预测:输出稠密深度图
- 3D重建:输出点云和相机位姿

这种"模型拼盘"架构在面对复杂现实场景时往往力不从心。

1.2 SenseNova-Vision的统一路线

该技术报告指出,SenseNova-Vision以单一模型覆盖四大核心任务
1. 结构化视觉理解
2. 稠密几何预测
3. 图像分割
4. 多视角3D几何

1.3 两大根本性变革

任务本质统一:将检测、分割、深度、3D重建等经典视觉任务统一表述为多模态生成问题,不再为每个任务设计专属架构。

双向增益机制
- 数据反哺大模型:视觉领域海量工业级数据直接用于训练大模型
- 推理赋能视觉任务:大语言模型的泛化推理能力反向输出,开发者可用自然语言定义新视觉任务


二、性能表现:四大核心任务的实测能力

2.1 国际对比

在与Vision Banana等国际领先模型的可比指标上,SenseNova-Vision取得显著领先。Vision Banana技能点主要集中在两类任务,而SenseNova-Vision实现全任务覆盖。

2.2 极端场景泛化能力

零样本理解游戏画面:面对训练集中从未出现的《我的世界》游戏画面,无需微调即可同步完成表面法向预测、实例分割和目标检测。

超稠密物体分割:在颜色极度相近、边缘深度交织的密集场景中,能精准分离独立个体,适用于工业计数、智慧仓储等场景。

免疫3D视觉错觉:在借位摄影等视觉错觉图像中,能准确抠出被遮挡物体完整轮廓,输出正确的表面法向估计。

识破镜面反射:在包含镜子、玻璃的复杂室内环境中,自动过滤反射干扰,准确估计镜中物体的真实空间方向与深度关系。


三、产业逻辑:视觉AI走向基础设施

3.1 范式转变

传统落地模式:"一场景、一模型、一开发"的重资产项目制模式。

SenseNova-Vision指向的新范式:平台化能力复用。单个模型覆盖绝大多数高频视觉需求,大幅缩短研发周期、降低部署成本。

3.2 商汤的市场地位

  • 连续十年蝉联中国视觉AI市场份额第一
  • 2025年首次登顶视频分析赛道全球市场份额第一
  • 2025年首次登顶视频分析赛道亚太地区市场份额第一

3.3 开源生态

商汤同步开放:
- 模型权重
- 代码
- 训练配方
- 5000万条高质量开源视觉语料样本
- 完整的转换规则和脚本


四、资源入口

资源 链接
Hugging Face https://huggingface.co/collections/sensenova/sensenova-vision
GitHub https://github.com/OpenSenseNova/SenseNova-Vision
魔搭社区 https://modelscope.cn/models/SenseNova/SenseNova-Vision-7B-MoT
技术报告 https://arxiv.org/abs/2607.06560

五、辨析:意义与待验证方向

5.1 积极信号

SenseNova-Vision将计算机视觉融入AGI主线的可行性得到展示。视觉AI正式并轨成为通往通用人工智能的主线任务之一。

5.2 待观察事项

  • 社区复现效果与官方数据的差距
  • 实际业务场景中的部署成本与性能表现
  • 开源语料库的质量与版权合规性
  • 大规模应用后的生态扩展速度

信息来源:智东西7月16日报道

本文仅基于公开材料进行事实梳理,不构成投资建议或技术评估结论。