商汤开源 SenseNova-Vision：视觉任务大统一，全面超越 Vision Banana
商汤科技于 2026 年 7 月 8 日正式发布并全面开源 SenseNova-Vision 理解生成统一视觉大模型。这是日日新大模型体系的重要视觉能力升级，将计算机视觉重新定义为统一多模态生成问题，Apache 2.0 全面开源。
核心理念：视觉任务大统一
行业以往的"统一视觉"多是把检测、分割、深度预测等多个专家模型打包封装，本质仍是割裂的。SenseNova-Vision 的核心变革是：
让视觉成为通用基础模型的原生能力，彻底融入大模型体系。 所有经典视觉任务——目标检测、图像分割、深度预测、3D 重建、OCR、关键点检测等——都在同一个架构下原生统一，无需任务特定的预测头或架构修改。
这种"原生融入"带来了双向增益：
- 数据反哺：视觉领域几十年的高质量数据直接提升大模型底座的视觉理解能力
- 思维赋能：大语言模型的推理能力反过来让视觉任务融会贯通，甚至能用语言直接定义新视觉任务
模型架构
SenseNova-Vision 采用 SigLIP 视觉编码器 + Qwen2 7B LLM 骨干 + VAE 解码器 的标准统一多模态结构：
- 输入：图像 + 自然语言指令（可选：点/框/涂鸦视觉提示）
- 编码：SigLIP 视觉编码器将图像转为 Visual Token 序列
- 推理：Qwen2 7B 大语言模型处理 Visual Token + Text Token 的联合序列
- 输出：三种解码方式——
- 文本输出（检测框、关键点坐标、OCR 文字、相机参数）
- 图像输出（分割掩码、深度图、法向图、多视角点图）
- 混合输出（文本+图像组合，如接地对话生成）
SenseNova-Vision 系统架构图
能力覆盖
SenseNova-Vision 原生支持四大类视觉任务：
| 类别 | 具体任务 | 输出格式 |
|---|---|---|
| 结构化视觉理解 | 目标检测（COCO/LVIS/Dense）、指代检测、OCR（HierText/ICDAR15）、GUI 定位、关键点检测 | 文本 |
| 稠密几何预测 | 单目深度估计（NYUv2/KITTI/ETH3D）、表面法向估计 | 图像 |
| 分割 | 全景/语义分割、指代分割、推理分割、交互式分割、GCG 分割 | 图像 |
| 多视角几何 | 多视图重建、相机位姿估计 | 图像+文本 |
复杂场景实测表现
SenseNova-Vision 在以下极端场景展现了惊人的泛化能力：
1. 零样本泛化：面对训练集中从未出现过的游戏画面（如《黑神话：悟空》），模型无需针对性重训就能同时处理表面法向、实例分割和角色关键点检测。
2. 超稠密物体分割：面对高度重叠的鱼群、羊群或货架商品，能像外科手术般精准地将每个独立个体剥离。
3. 看穿镜面反射：在包含镜子、玻璃的复杂室内环境中，自动过滤倒影，准确估计真实空间方向与深度。
4. 突破视觉错觉：不被借位、透视欺骗，正确判断纹理结构和空间几何本质。
Benchmark 评测结果
结构化视觉理解（检测/OCR/关键点）
| 方法 | COCO | RefCOCOg | LVIS | Dense200 | VisDrone | ICDAR15 | ScreenSpot | COCO-Kpt |
|---|---|---|---|---|---|---|---|---|
| SenseNova-Vision | 56.6 | 80.2/79.6/80.5 | 54.8 | 66.8 | 43.3 | 49.5 | 85.9 | 34.6 |
| LocateAnything | 54.7 | — | 50.7 | 58.7 | 39.9 | 26.4 | 85.5 | — |
| Qwen3.5-9B | 49.3 | — | 43.2 | 27.5 | 26.8 | 11.4 | 92.2 | — |
| Grounding DINO | 56.6 | — | 38.8 | 33.1 | 38.5 | — | — | — |
深度估计（与专用模型对比）
| 方法 | NYUv2 (δ1↑) | KITTI (δ1↑) | ETH3D (δ1↑) | ScanNet (δ1↑) |
|---|---|---|---|---|
| DepthAnything | 98.1 | 94.7 | 88.2 | 98.1 |
| MoGe-2 | 98.0 | 97.7 | 98.8 | 98.3 |
| SenseNova-Vision | 98.1 | 95.9 | 97.4 | 98.0 |
作为一个统一模型，在深度估计上与专用模型 DepthAnything 和 MoGe 相比毫不逊色。
与 Vision Banana 直接对比
| 方法 | 语义分割 (Cityscapes) | 指代分割 (RefCOCOg) | 深度KITTI (δ1) | 深度NYUv2 (δ1) | 法向NYUv2 (Mean↓) |
|---|---|---|---|---|---|
| Vision Banana | 69.9 | 73.8 | 91.5 | 94.8 | 17.8 |
| SenseNova-Vision | 71.2 | 80.3 | 95.9 | 98.1 | 14.4 |
全面超越 Vision Banana。
同类模型综合对比
| 能力 | SenseNova-Vision | Vision Banana | X-SAM | Grounding DINO | DepthAnything |
|---|---|---|---|---|---|
| 统一架构 | ✅ 原生统一 | ✅ 统一 | ✅ 统一 | ❌ 专用检测 | ❌ 专用深度 |
| 目标检测 | ✅ 最强 | ✅ | ❌ | ✅ 专精 | ❌ |
| 分割 | ✅ 较强 | ✅ | ✅ 最强 | ❌ | ❌ |
| 深度估计 | ✅ 比肩专模 | ✅ | ❌ | ❌ | ✅ 最强 |
| 法向/3D/OCR/关键点 | ✅ 唯一覆盖 | ❌ | ❌ | ❌ | ❌ |
| 开源 | ✅ Apache 2.0 | ❌ 未开源 | ✅ | ✅ | ✅ |
| 数据集开源 | ✅ 5000万样本 | ❌ | ❌ | ❌ | ❌ |
使用限制
- 硬件需求：7B 参数 + VAE 解码器需要至少 16GB VRAM，完整 Benchmark 需 8×80GB GPU
- 推理速度：生成式架构延迟高于专用小模型，不适合高帧率实时场景
- 分割精度：全景/语义分割不如专用模型 X-SAM
- 极端场景深度：在 DIODE 等困难数据集上仍有提升空间
- 项目成熟度：2026年6月创建仓库，社区生态尚在早期
资源链接
- GitHub: https://github.com/OpenSenseNova/SenseNova-Vision
- arXiv 论文: https://arxiv.org/abs/2607.06560
- HuggingFace 模型: https://huggingface.co/sensenova/SenseNova-Vision-7B-MoT
- HuggingFace 数据集: https://huggingface.co/datasets/sensenova/SenseNova-Vision-Corpus-50M
- 在线 Demo: https://huggingface.co/spaces/sensenova/SenseNova-Vision
SenseNova-Vision 是目前开源最强的统一视觉模型。它在检测、深度、法向等多个任务上达到接近最先进专用模型的水平，同时覆盖了更多的视觉任务类型。"视觉作为统一多模态生成"的路线，代表了视觉 AI 从工具化走向通用世界理解的重要方向。