蚂蚁灵波科技 LingBot-Depth 2.0 & LingBot-Vision：给机器人一双看透世界的眼睛
蚂蚁灵波科技 LingBot-Depth 2.0 & LingBot-Vision：给机器人一双"看透"世界的眼睛
发布时间： 2026年7月（LingBot-Vision 论文 7月6日，LingBot-Depth 2.0 7月发布）
来源： OSCHINA 资讯 · GitHub: lingbot-depth · GitHub: lingbot-vision
论文： arXiv:2601.17895 (Depth 1.0) · arXiv:2607.05247 (Vision)
配图：pics/目录
概述
2026年7月，蚂蚁集团旗下具身智能公司——灵波科技（LingBot Tech / Robbyant），接连发布两项重磅成果：
- LingBot-Depth 2.0：新一代空间感知深度补全模型，训练数据从 300 万扩充至 1.5 亿，在 16 项基准测试中斩获 12 项第一，室内大面积深度缺失场景的误差降低一半
- LingBot-Vision：视觉基础模型正式开源（4 个版本），首个以"边界结构"为预训练目标的视觉模型，仅用 DINOv3 十分之一的训练数据，实现了亚像素级的空间感知
这两项成果共同指向一个核心问题：如何让机器人真正"看懂"物理世界？
一、灵波科技（LingBot Tech）是什么？
灵波科技是蚂蚁集团（Ant Group）于 2025 年成立的全资具身智能子公司，GitHub 组织为 Robbyant，技术官网（technology.robbyant.com）使用蚂蚁集团基础设施，核心团队成员均以 antgroup.com 邮箱署名。
灵波科技已开源一整套具身智能基础模型套件，形成从感知到控制的完整技术栈：
| 项目 | GitHub Stars | 描述 |
|---|---|---|
| LingBot-Map | 10,366 | 前馈式 3D 基础模型，从流式数据重建场景 |
| LingBot-World | 4,120 | 开源世界模型（视频生成 + 环境交互） |
| LingBot-VLA | 1,579 | 视觉-语言-动作（VLA）基础模型 |
| LingBot-VA (RSS 2026) | 1,461 | 因果视频-动作世界模型，通用机器人控制 |
| LingBot-Depth | 1,424 | 深度补全模型——核心产品 |
| LingBot-Vision | 577 | 视觉基础模型——核心产品 |
| LingBot-World-V2 | 569 | 无限世界与多功能交互 |
| LingBot-Video | 553 | 混合专家（MoE）视频预训练 |
| LingBot-VLA-V2 | 359 | VLA 从基础到应用 |
所有模型均以 Apache-2.0 协议开源，商业友好。
二、深度补全：机器人的"视觉盲区"难题
2.1 传统深度传感器的根本缺陷
| 方案 | 优点 | 致命缺陷 |
|---|---|---|
| Intel RealSense（双目/结构光） | 成本低（$200-400），体积小 | 对玻璃、镜子、透明物体、黑色表面完全失效 |
| LiDAR（激光雷达） | 精度高，室外可用 | 成本极高（>$1,000），稀疏，对透明物体同样失效 |
| ToF 相机 | 中等成本，帧率高 | 多路径干扰，边缘精度差，透明物体困扰 |
深度补全（Depth Completion） 正是为了解决这个问题——从不完整、有噪声的深度传感器数据出发，结合 RGB 图像信息，恢复出完整、高精度的稠密深度图。
2.2 LingBot-Depth 的技术路线
LingBot-Depth 的核心方法是 Masked Depth Modeling（掩码深度建模）：
- 将传感器深度误差视为"掩码信号"，通过自监督学习重建
- 跨模态注意力机制：RGB 和深度在统一潜在空间中对齐
- 保持度量尺度（Metric-Scale），直接输出真实世界的测量值
2.3 1.0 → 2.0 的飞跃
| 维度 | 1.0（2026年1月） | 2.0（2026年7月） | 提升幅度 |
|---|---|---|---|
| 视觉编码器 | DINOv2 风格 | LingBot-Vision（边界结构预训练） | 创新性提升 |
| 训练数据 | 300 万张 | 1.5 亿张 | 50 倍 |
| 室内深度 RMSE | 0.132m | 0.062m | 降低一半 |
| 基准测试排名 | - | 16 项中 12 项第一 | 显著领先 |
| 难例处理 | 基础玻璃/镜面处理 | 玻璃、镜面、透明物体达到实用水平 | - |
最令人印象深刻的结果：在室内大面积深度缺失场景（如整面玻璃墙），误差从 0.132m 降至 0.062m——这意味着算法已经可以稳定恢复出传统传感器完全失效的区域。
2.4 学术认可
LingBot-Depth 1.0 已被 ECCV 2026 接收，论文：Masked Depth Modeling for Spatial Perception（arXiv: 2601.17895）。
三、LingBot-Vision：以"边界结构"为核心的视觉预训练
3.1 为什么需要新的视觉预训练方法？
现有主流方法的局限：
| 方法 | 预训练目标 | 学到的特征 | 局限 |
|---|---|---|---|
| MAE | 重建被掩码的像素 | 低层纹理 | 缺乏语义 |
| DINOv2/v3 | 自蒸馏对比学习 | 强语义特征 | 空间边界模糊，牺牲空间精度 |
| CLIP | 图文对比 | 强语义 | 无空间感知能力 |
LingBot-Vision 指出一个关键矛盾：语义越强，空间边界越模糊。而机器人感知恰恰需要同时兼顾语义理解和精确的空间定位。
3.2 Masked Boundary Modeling —— 核心创新
LingBot-Vision 是业内首个以"边界结构"作为预训练目标的视觉基础模型。其核心流程：
- 动态发现边界：教师网络自动学习哪些 token 位于物体边界上
- 掩码边界目标：将这些"边界 token"作为掩码目标
- 迫使学习空间结构：模型在补全边界的过程中，学到稠密的空间视觉表征
关键洞察：边界建模不仅仅是"线段检测"——它是一种可扩展的预训练原则，能学到空间结构化的视觉表征，同时保留语义理解能力。
3.3 模型家族与性能
| 模型 | 骨干网络 | 嵌入维度 | 参数量 |
|---|---|---|---|
| LingBot-Vision-Giant | ViT-g/16 · SwiGLU · RoPE · 4 register tokens | 1536 | ~1.1B |
| LingBot-Vision-Large | ViT-L/16（从 Giant 蒸馏） | 1024 | ~300M |
| LingBot-Vision-Base | ViT-B/16（从 Giant 蒸馏） | 768 | ~86M |
| LingBot-Vision-Small | ViT-S/16（从 Giant 蒸馏） | 384 | ~22M |
性能亮点：
- 预训练仅用 1.6 亿张图像（比 DINOv3 的 16 亿张少 10 倍以上），但下游空间感知任务表现更优
- 冻结的 patch token 做 PCA 即可看到清晰的对象区域和锐利边界
- 支持下游任务：深度估计、语义分割、视频对象分割（无需微调）、深度补全
3.4 论文信息
- 标题：Vision Pretraining for Dense Spatial Perception
- arXiv：2607.05247（2026年7月6日）
- 开源：GitHub + HuggingFace + ModelScope 三平台，Apache-2.0
四、与业内模型对比
4.1 LingBot-Vision vs DINOv2/v3
| 维度 | DINOv2/v3 | LingBot-Vision |
|---|---|---|
| 预训练目标 | 自蒸馏对比学习（语义） | 边界掩码建模（语义 + 空间） |
| 训练数据量 | DINOv3: >16 亿张图像 | 1.6 亿张（10x 更少） |
| 语义分割 | 强 | 相当或略优 |
| 稠密空间感知 | 边界模糊 | 亚像素级边界定位 |
| 深度估计 | 需额外解码器 | 直接支持，且更优 |
| 模型规模 | 最大 ViT-g/14 | 最大 ViT-g/16（1.1B） |
4.2 LingBot-Depth vs Depth Anything v2
| 维度 | Depth Anything v2 | LingBot-Depth 2.0 |
|---|---|---|
| 方法 | 单目深度估计（一个 RGB 推断深度） | 深度补全（RGB + 传感器深度） |
| 输入 | 仅 RGB | RGB + 原始传感器深度 |
| 适用场景 | 无深度传感器的纯视觉场景 | 有深度传感器的机器人场景 |
| 精度 | 单目天然存在尺度歧义 | 度量精度（Metric Scale） |
| 玻璃/镜面 | 难以处理 | 专门优化，效果显著 |
| 基准测试 | 通用深度榜前列 | 16 项中 12 项第一 |
核心结论：两个模型不是竞争关系，而是互补关系。Depth Anything 解决"无传感器"场景，LingBot-Depth 解决"有传感器但数据不完整"的场景。
五、开源状态与社区生态
5.1 开源仓库
| 项目 | GitHub | Stars | 协议 |
|---|---|---|---|
| LingBot-Depth | github.com/Robbyant/lingbot-depth | 1,424 | Apache-2.0 |
| LingBot-Vision | github.com/Robbyant/lingbot-vision | 577 | Apache-2.0 |
5.2 数据和权重
| 资源 | 平台 | 说明 |
|---|---|---|
| 模型权重 | HuggingFace: robbyant/ | 6 个模型（Depth + Vision），HuggingFace + ModelScope 双平台 |
| 数据集 | HuggingFace + ModelScope | RobbyReal（140万真实）、RobbySim（99万仿真）、RobbyVLA（58万机器人） |
| 国内下载 | ModelScope: modelscope.cn/collections/Robbyant | 国内用户可直接访问 |
5.3 社区生态（发布 5 个月）
已有社区贡献者开发了：
- TensorRT 加速版：Ar-Ray-code/lingbot-depth-trt
- ROS2 Wrapper：DanielK16/LingBot_ROS2_Wrapper
- TouchDesigner 集成：armdz/lingbot-depth-trt-Touchdesigner
六、对中国具身智能的战略意义
6.1 补齐"视觉短板"
中国具身智能领域长期存在"大脑强、眼睛弱"的问题：
- "大脑"（VLA 大模型、操作策略）：已有大量工作（北京智源、清华、上交等）
- "眼睛"（高精度、低成本深度感知）：长期依赖 Intel RealSense、Azure Kinect 等进口传感器
灵波科技用算法补硬件的不足，让中国机器人产业可以减少对高端进口深度传感器的依赖。
6.2 蚂蚁集团的战略意图
从数字世界到物理世界——蚂蚁在支付、金融、AI 大模型领域积累深厚，具身智能是其"AI 惠及每一个人"愿景的自然延伸。这套全栈开源策略（Depth → Vision → Map → World → VLA）对标的是 Google DeepMind + Meta + OpenAI 的组合能力。
6.3 关键应用场景
| 场景 | 传统方案问题 | LingBot-Depth 2.0 价值 |
|---|---|---|
| 服务机器人（家庭/酒店） | 玻璃门、镜子导致碰撞 | 精准识别透明障碍物 |
| 仓储物流 | 金属货架反光导致深度缺失 | 稳定补全金属表面 |
| 工业质检 | 透明/半透明工件检测困难 | 可辅助完成透明物体抓取 |
| 自动驾驶 | 大雨/夜间 LiDAR 性能下降 | 与摄像头融合补全深度 |
| 人形机器人 | 需要高精度环境感知 | 提供度量精度的 3D 点云 |
七、总结
- 技术突破显著：LingBot-Depth 2.0 在深度补全领域实现了从"算法辅助"到"实用级别"的跨越，玻璃/镜面等传统盲区得到有效解决
- 视觉预训练新范式：LingBot-Vision 提出的 Masked Boundary Modeling 为空间感知任务提供了比 DINOv3 更高效（10x 更少数据）、更精确的预训练方法
- 开源生态完整：Apache-2.0 协议 + 三平台分发 + 数据集公开 + 已有社区贡献，生态正在快速形成
- 国产替代价值：在 Intel RealSense 等进口传感器受限的背景下，算法层面的突破提供了有竞争力的国产解决方案
- 蚂蚁集团战略布局：灵波科技技术栈（9 个项目，从深度感知到 VLA 控制）展示了中国科技巨头在具身智能领域的野心和执行力
本文基于 OSCHINA 资讯、GitHub 仓库、arXiv 论文、Robbyant 技术官网等公开资料整理。