基于无人机拍摄图像的高度图实时重建

摘要

本文提出了一种利用无人机获取的图像进行稠密点云实时三维重建的方法。该方法通过使用已知标记作为参考来估计模型尺度，从而获得环境的较为精确的高程图。所提出的图像分析框架还能够在环境中无已知标记的情况下，从单目图像实现离线三维重建。该框架是对基于图像块的多视角立体匹配（PMVS）算法的改进，以实现更快的点云生成，适用于实时环境重建。

对于所获得的高程图，手动检测标记时的误差估计范围为1–1.5%，自动检测标记时为4–5%，我们认为该精度足以满足自主导航与路径规划的需求。

关键词 实时三维重建 UAV应用 Image分析 计算机视觉 Autonomous机器人

1 引言

无人机（UAV）可以定义为一种有动力的飞行器，不搭载人类操作员，利用空气动力提供飞行器升力，并能够自主飞行或远程操控[9]。无人机被分为与机翼类型（固定翼或旋翼）及其起降能力（垂直起降或短距起降）[4]有关。性能优良、成本低、具备垂直/短距起降能力，可进入对人类危险的区域，重量轻、噪音低，这些是无人机在不同应用中的主要优势。目前，半自主无人机仅能执行某些特定的自动任务，例如基于标记的导航、自动起降[20]。为了拓展无人机当前可能的应用范围，必须确保其能够在未知环境中实现安全且自主的导航，这就要求具备对周围环境进行可靠建图的能力。这种探索能力带来了许多非平凡的问题，例如在无GPS区域中的无人机定位问题，或在未知环境中导航时的实时避障问题。为了解决这些问题，需要根据传感器接收到的数据生成可靠的环境度量表示，即包含飞越区域的距离、高度和角度数据的地图。

描述环境地貌最常用的方法是通过高程图。高程图的生成过程涉及从一系列传感器读数（测距仪或视觉传感器）中对地形表面进行数字化表示，以获得被称为数字高程模型（DEM）、数字地形模型（DTM）或数字表面模型（DSM）的数值模型[22,25]。数字地形模型的主要应用包括陆地参数提取、用于地貌制图表示的三维地图生成、航空摄影的正射校正、GPS数据的分析、地形表面的分析、飞行规划等。

在文献中，已有多种利用无人机获取的基于GPS的图像进行数字地形模型生成的方案。本文旨在提出一种基于商用无人机并配备单目相机的解决方案，以提供一种简便且经济的数字地形模型生成方法，尤其适用于无GPS环境下的学术和民用用途。本研究选用的无人机型号为法国Parrot公司制造的AR.Drone 1.0；然而，所提出的方法可轻松适配任何具备高质量相机用于图像采集的无人机。

本研究提出了一种数字图像分析方法，用于在线和离线生成点云，以获得具有尺度估计的三维模型以及可用于无人机自主导航的高程图构建。本文结构如下：第2节介绍了三维建模、高程图生成以及AR.Drone无人机的里程计与导航算法方面的相关前期工作；第3节描述了所提出的图像分析方法的架构；第4节展示所获得的实验结果；第5节提供数据分析与解释；最后，第6节总结全文并给出一些最终结论。

2 相关工作

本节介绍了一些关于基于图像的三维重建和高度图生成的相关研究工作。

2.1 基于图像的三维重建

一些针对从单目图像进行环境三维重建的方法已被提出。由于该任务的复杂性，许多作者建议使用多传感器[19]或立体相机[27]来获取图像中的深度数据，并认为单目相机不适合用于三维重建而予以排除[19]。还有一些其他方法专注于利用扩展卡尔曼滤波器（EKF）进行建筑立面三维重建的视觉SLAM，但存在尺度不确定性[6, 16]。对于基于运动恢复结构（SfM）的单相机方法，虽然可以恢复场景，但仅能恢复到相对尺度，因为无法计算绝对尺寸[21]。为解决尺度不确定性问题，必须确保场景中存在已知参考物，从而通过其中参考物的相对尺寸恢复绝对尺度。我们提议使用一种易于通过标记检测算法（如加里多‐胡拉多等人提出的方法[8]）检测的标记。

利用基于图像的离线三维重建问题已通过诸如基于面片的多视角立体匹配算法（PMVS）[7]和运动恢复结构（SfM）方法（如反例运动恢复结构算法（ACSfM）[17]）成功解决，这些方法能够提供稠密且高细节点云。

然而，图像匹配和相机位姿计算所需的处理时间过长，无法满足实时三维重建的要求；此外，尺度因子也未知。

2.2 高度图的尺度估计

关于从航拍图像生成高程图，已存在多种方案，但大多数方法依赖于GPS数据[1, 26]和立体相机[2]来获取深度数据。韦斯等人[26]的方法在手动测量尺度因子后可实时创建三维模型，但仅适用于具备GPS信息的环境。此外，已有若干鲁棒特征描述符被提出用于在三维空间[5, 15, 28]中定义物体，但大多数方法未考虑遮挡问题，且无法妥善处理场景中同一物体的多个实例。

3 提出的方法

简而言之，配备单目相机的无人机必须飞越室内区域或无GPS地形，同时所提出的系统分析图像并构建环境的高程图。

为了定义无人机必须遵循的路径，我们使用加里多‐胡拉托等人[8]提出的标记方法在地形上设置导航检查点，并为每个标记分配无人机指令。该标记方法提供了三个额外且有用的优势：首先，相机位姿矩阵可以实时估计，且计算开销相对较小；其次，对标记尺寸的先验知识使我们能够确定点云的尺度因子；第三，标记还设定了场景的地面高度，即作为所有估计高度参考的XY平面。

对于点云生成，采用基于PMVS算法[7]的实时图像分析。兴趣点（POI）是图像中的角点和边缘，分别通过哈里斯算法[10]和高斯差分（DoG）[14]获得。每个兴趣点被建模为一个图像块，并可能出现在多幅图像中。当分析新图像时，根据通过互相关测量的光度一致性准则，将满足极线一致性的图像块进行合并。该过程工作方式如下：图像以每三幅为一组进行分析，得到一个临时点云，用于更新全局点云。这样，随着无人机在环境中的前进，点云不断增长。

为了在场景中精确定位标记，我们采用了一种汤巴里等人[24]在三维空间中进行目标检测的方法，并基于适用于三维形状的霍夫变换[11]的投票过程进行了改进。在我们的方法中，需要比较两个点云：一个是称为场景的实际建模环境，另一个是描述标记的点云，称为模型。统计这两个点云中的总点数，并根据科舍尔曼等人方法[12]计算它们的法向量。然后对两个点云进行均匀采样，以将它们缩减为小方块，并用每个方块的质心进行近似。

随后，通过SHOT描述子对缩减后的点云进行描述，如[23]所示，并利用欧氏距离寻找描述子之间的匹配对。如果找到匹配对，BOARD算法[18]将为其分配一个局部参考坐标系（LRF），以实现旋转和平移不变性。最后，通过霍夫投票为所有局部参考坐标系生成方向直方图。可变阈值定义了找到的点对应数量，从而可以判断参考物体（模型）是否存在于场景中。如果标记被找到，则进一步搜索其角点以进行测量。标记在点云中的相对尺寸及其绝对尺寸可用于解决尺度不确定性问题，从而获得环境的真实度量的三维模型。

所提出的方法已在Linux操作系统上用C/C++实现，分为两个部分：第一部分用于无人机控制和临时点云的重建，第二部分用于全局点云更新和标记搜索。

作为附加功能，该系统能够在离线过程中从图像生成3D模型，而无需已知标记。此任务通过ACSfM算法[17]完成，该算法基于SIFT算法[13]进行图像匹配，以计算每幅图像的相机位姿矩阵。最后，利用计算出的位姿矩阵，使用PMVS算法处理全部图像，生成环境的全局点云。

4 结果

为了验证所提出的方法，使用了两个不同标记尺寸的场景（ ）。对于这两个场景，生成的高度图如 所示。选取四个已知高度A、B、C和D作为计算的参考估计误差（参见图2）。在场景1中使用了14×14cm的标记，在场景2中使用了21×21cm的标记，以评估不同标记尺寸下的估计误差。

4.1 实时三维建模

一组包含72 640×480图像被用于获取 中所示的模型。全局点云的增长过程如 所示。 展示了3D模型的立体感。

4.2 标记检测与高程图生成

表1和表2分别显示了每种场景下真实高度A、B、C和D的估计高度和误差，以及霍夫投票的不同阈值（图6）。

A (0.235 米)	B (0.39 米)	C (0.16 米)	D (−0.14 m)	平均误差（%）	阈值
0.2308	0.4046	0.1719	−0.1369	3.79	0.01
0.2645	0.4477	0.1952	−0.1523	14.53	0.015
0.3176	0.5474	0.2310	−0.1962	40.01	0.020

A（0.39米）	B（0.395米）	C（0.55米）	D（0.24米）	平均误差（%）	阈值
0.4195	0.4098	0.5645	0.2471	4.22	0.01
0.4261	0.4039	0.5707	0.2457	4.41	0.015
0.4329	0.4143	0.5814	0.2525	6.70	0.020
0.4398	0.4181	0.5777	0.2513	7.09	0.030
0.5171	0.4985	0.7001	0.3071	28.51	0.1
## 4.3 离线3D模型

从相同72 640×480图像生成的离线3D模型如 所示。

5 讨论

表1和表2中报告的结果略有不同，因为不仅标记的大小，霍夫投票中的阈值也会影响尺度估计过程。图像质量与分辨率对相机位姿估计以及点云中的标记检测具有显著影响。这使我们得出结论：尺度估计依赖于准确的标记检测，同时相机位姿矩阵的精度依赖于标记的视觉质量。对于自主导航，640×480图像能够在足够的处理时间内生成高程图，足以准确满足本研究设定的要求。在这些场景中，平均处理时间达到了每秒1.05帧。

结合用于计算相机位姿的运动恢复结构算法和基于图像块的点云生成算法，在离线方法中提供了精确、密集且高度详细的3D模型。在这种情况下，图像集是在无人机飞越环境后进行处理的。

6 结论

根据获得的结果可以得出结论，无论是在实时还是离线方法中，所生成的3D模型在视觉质量和处理时间方面都可与第2节中介绍的先前研究相媲美甚至更优，同时包含了全局尺度因子估计。此外，高度估计误差足够适合且精确，可用于在环境中实现安全自主导航。未来工作计划使用真实航拍图像测试提出的框架，以研究环境和高度对无人机影响高程图生成。同时考虑了处理时间减少、无需人工标记的高程图构建、无人机自主室内导航以及协同实时三维建模。