AAllHere AI
登录注册

ECCV 2026｜国防科大AirZoo：把全球3D地图变成无人机训练场

无人机也能“看懂”3D世界了？国防科大发布航拍视觉大模型数据集 AirZoo

最近，国防科技大学的虚拟现实与视觉计算团队（SAW Lab），联合先进制导与控制技术国家级重点实验室等机构，搞了个大事情——他们正式推出了一个面向航拍几何 3D 视觉的统一大规模数据集和评测基准，名字叫「AirZoo」。这项成果已经被 ECCV 2026 接收了。

但 AirZoo 可不是简单地把一堆数据堆在一起。它背后有一套基于 AirSim-Cesium-Unreal 的自动化仿真管线，构建了一套可扩展、可复现的预训练引擎。它的核心目标很明确：解决视觉基础模型从地面视角向无人机航拍视角迁移时面临的复杂视角变化、尺度差异以及几何监督缺失等痛点。

核心突破：把全球 3D 地图变成无人机的“训练轨迹”

你可能注意到了，现在那些视觉基础模型在街景、室内这些常见场景里表现得非常出色。但一旦换到无人机航拍领域，问题就来了。

无人机可在 6-DoF（六自由度）空间里自由飞行，相机的俯仰角可以从斜视快速切换到正射视角。再加上昼夜交替、复杂气象条件（晴天、雨天、雾天、雪天），以及城乡地貌的巨大差异，传统 UAV 数据集往往陷入两难：要么“光度真实感强但缺乏几何信息”，要么“有几何信息但场景覆盖有限”。

AirZoo 的思路很巧妙：它把全球尺度的真实地理场景、可控的无人机运动，以及像素级的几何监督，全部接入同一条自动化生产管线中。具体怎么做到的呢？

  1. 自动化渲染管线打通：Python 控制器下发全球 WGS84 航点，Cesium for Unreal 将 Google Photorealistic 3D Tiles 流式载入 UE5，AirSim 负责多旋翼 UAV 和虚拟相机的同步采集。
  2. 全球规模覆盖：数据横跨六大洲 22 个国家，包含 95 条基础飞行序列和 377 条气象条件轨迹，累计飞行约 2400 km。
  3. 高精度几何真值：生成超过 120 万帧分辨率为 1600×1200 的像素级 RGB-D 数据及对应的 6-DoF 地理位姿标注。通过邻帧双向重投影检查，中位相对深度误差低于 0.1%。
  4. 统一三任务评测：涵盖航拍图像检索、跨视角匹配与多视图 3D 重建三大任务，并发布了 AirZoo-Real 真实评测集以验证 Sim-to-Real 迁移能力。

实验验证：微调即显著提升 SoTA 模型性能

团队保持模型架构不变，仅使用 AirZoo 对 MegaLoc、RoMa、VGGT、Depth Anything 3 等主流模型进行微调，并在公开基准及新采集的 AirZoo-Real 真实飞行数据上进行了测试。结果显示，AirZoo 为模型补充了航拍域所需的几何先验，显著提升了它们在真实航拍环境中的表现。

1. 航拍图像检索：跨越域差异

以 MegaLoc 为基座微调后，模型在 AirZoo-Real 上的 R@1 由 6.46% 提升至 18.66%，R@5 由 22.16% 提升至 50.53%。定性对比显示，微调后的模型在面对真实斜视航拍、尺度变化和光照差异时，能更稳定地检索到与查询图像对应的卫星瓦片区域，有效克服了外观相似但位置错误的误检问题。

2. 跨视角匹配：增强几何约束可靠性

经 AirZoo 微调的 RoMa 在 AirZoo-Real 定位任务上，中位误差降至 3.03 m，acc@5m 提升至 79.78%。原始模型在大幅视角变化下易出现局部纹理错误关联，而 AirZoo 微调后的 RoMa 产生的匹配点更均匀地分布在道路、建筑等静态结构上，明显减少了错误对应，为后续位姿估计提供了更稳定的几何约束。

3. 多视图 3D 重建：恢复完整几何结构

在 AirZoo-Test 上，Depth Anything 3 (DA3-Large) 的 F1 分数由 54.10 提升至 86.09；在 UrbanScene3D 上，VGGT 的 F1 由 43.38 提升至 52.61。定性结果表明，原始模型常出现局部结构缺失、几何断裂和伪影，而经过 AirZoo 训练后，重建结果覆盖更完整，建筑、道路与植被等场景结构更加连贯。

资源发布与未来展望

AirZoo 的价值在于将全球 3D 地理场景转换成连续、可验证、可复现的学习轨迹，让检索、匹配与重建模型能够在同一套几何监督下获得航拍先验。团队同系列的 PiLoT 等定位工作也受益于这套数据范式。

相关链接与资源：

  • 论文链接：https://arxiv.org/abs/2604.26567
  • 论文主页：https://nudt-sawlab.github.io/AirZoo/
  • 渲染引擎代码：https://github.com/nudt-sawlab/AirZoo
  • AirZoo 合成数据集：https://huggingface.co/datasets/choyaa/AirZoo/tree/main
  • AirZoo-Real 真实评测集：https://huggingface.co/datasets/RingoWRW97/AirZoo-Real/tree/main

未来，团队将继续扩展数据规模与真实基准的覆盖范围，推动航拍几何 3D 视觉在智慧城市、应急测绘和无人系统等场景中的实际落地。

注：本文基于国防科技大学 SAW Lab 发布的 AirZoo 相关材料及 ECCV 2026 收录信息整理。