CN109949399B - 一种基于无人机航拍图像的场景三维重建方法 - Google Patents

Abstract

本发明公开了一种基于无人机航拍图像的场景三维重建方法，对输入的原始航拍图像进行预处理、特征提取与特征匹配，利用SfM技术求取场景的稀疏点云以及相机位姿；然后对稀疏点云数据进行切块处理；再循环对每个切分小块进行处理，直接在稀疏点云基础上进行网格重建以及纹理贴图的操作；最终将各个小块生成的二维正射图和数字高程图进行合并，完成结果输出。本发明整体耗时少，同时兼顾了重建效果、处理时间以及硬件配置等方面，相比于现有的其他基于无人机航拍图像的三维重建方法，本发明具有明显进步。

Description

一种基于无人机航拍图像的场景三维重建方法

技术领域

本发明属于无人机视觉图像处理技术领域，具体涉及一种基于无人机航拍图像的场景三维重建方法。

背景技术

在无人机行业应用中，航拍图像是无人机的一种重要信息来源，通过对图像序列的分析和处理，可以对异常目标进行检测和分类，对油气管线进行定位和标记，同时构建场景的三维地图。其中，场景三维地图的构建，可以很大程度的帮助用户更为直观的查看航线覆盖区域的地形起伏变化以及整体正射表面。

目前，绝大多数无人机航拍图像均来自普通的定焦相机，因此三维重建问题可以定位为基于多视角的单目图像拼接问题。对于该问题，最具代表性的有基于SfM技术的Pix4D、VisualSFM、Smart3D、ColMap等软件，以及基于SLAM技术的ORB-SLAM2、DSO、LSD、VINS等算法。从整理流程上分析，解决该问题一般遵循如下框架，即：利用SfM或SLAM方法从输入的航拍图像序列中求解得到相机位姿以及三维空间的稀疏点云，之后对稀疏点云进行稠密化处理，再通过网格重建将稠密点云生成三角面片，最终对网格进行纹理贴图，得到带有纹理信息的三维地图。该框架中，基于SfM技术的方法虽然整体流程较为成熟，但巨大的算法计算量使其对硬件配置要求较高，特别是对于高分辨率的航拍图像序列，为了保持原始分辨率的重建结果其处理时间会非常长；而基于SLAM技术的方法虽然极大的提升了处理速度，但其对输入图像的重叠率要求基本在90％以上，严重影响了实际无人机的作业效率，且对于航拍作业这种大场景的累积误差较大，重建结果往往不够理想。

因此，对于无人机航拍场景，寻找一种快速的、效果好的、适应性强的三维重建方法就显得格外重要。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于无人机航拍图像的场景三维重建方法，解决现有重建方法不能同时兼顾重建效果、处理时间以及硬件配置等问题。

本发明采用以下技术方案：

一种基于无人机航拍图像的场景三维重建方法，其特征在于，对输入的原始航拍图像进行预处理、特征提取与特征匹配，利用SfM技术求取场景的稀疏点云以及相机位姿；然后对稀疏点云数据进行切块处理；再循环对每个切分小块进行处理，直接在稀疏点云基础上进行网格重建以及纹理贴图的操作；最终将各个小块生成的二维正射图和数字高程图进行合并，完成结果输出。

具体的，预处理、特征提取与特征匹配具体为：

直接对降采样小图提取SIFT特征；再根据每张图像对应的GPS坐标建立相邻关系列表；在特征匹配基础上，利用全局SfM技术通过非线性优化的方式不断迭代优化估算出相机位姿以及场景的稀疏点云坐标。

进一步的，降采样小图的分辨率为1500*1000。

具体的，在确定了图像特征点对的匹配关系后，利用全局SfM技术先计算图像间相对的和全局的旋转及平移矩阵，再对相机内参、畸变参数、场景路标点、相机位姿以及GPS坐标参数利用光束平差法进行非线性整体优化，根据梯度下降的方向不断迭代的调整各个参数，并最终实现收敛，从而估算出相机位姿以及场景的稀疏点云坐标。

具体的，对稀疏点云数据进行切块处理具体为：

读取硬件物理内存大小确定每次处理的最大区域，再判断该区域对应的观测图像数量是否超过当前内存的承载能力，如果超过则缩小上一步的区域范围；如果不超过，设定5％的重叠率作为切分的容错依据，在各小块基础上进行网格重建和纹理贴图的操作。

具体的，直接在稀疏点云基础上进行网格重建以及纹理贴图操作具体为：

使用经畸变校正的原始分辨率图像对每个切分小块对应的稀疏点云进行三角网格重建以及纹理贴图，通过稀疏点坐标描述航拍场景的地形变化，对应于每个切分小块，每次循环处理后均生成TIFF格式的包含实际地理坐标的二维正射图以及数字高程图，经过合并作为最终的结果输出。

进一步的，最终结果输出具体为：

对要合并的所有正射和高程小图依次通过gdalbuildvrt建立虚拟数据库，并设定无效值取值；再利用gdal_translate将虚拟数据库的信息进行转换生成指定名称和压缩方式的大图。

更进一步的，利用GDAL空间数据抽象库提供的gdalbuildvrt工具，以正射或高程小图路径作为输入，以指定的虚拟数据库的名称及路径作为输出，并设定无纹理区域的无效值，即可建立输入图像对应的虚拟数据库。

更进一步的，利用GDAL空间数据抽象库提供的gdal_translate工具，通过指定输入的虚拟数据库和输出的合并图像名称、路径及压缩方式，根据虚拟数据库建立的索引关系即可实现正射或高程多幅小图的合并功能。

具体的，输入为重叠率60％以上的航拍图像以及对应的GPS坐标，输出为高分辨率的二维正射图和数字高程图。

与现有技术相比，本发明至少具有以下有益效果：

本发明提供了一种基于无人机航拍图像的快速场景三维重建方法，对于输入的航拍图像序列以及对应的GPS坐标，将采用SfM技术生成的场景稀疏点云进行切块处理，有效地避免了重建过程中内存不足的问题，也为输出高分辨率重建结果提供了可能；在生成三角面片过程中，没有采用传统的点云稠密化方法，而是直接在稀疏点云基础上进行网格重建，一方面减少了处理时间，另一方面较好地保持了正射图的细节信息。经过上述步骤，在输出高质量高分辨率的二维正射图以及准确的数字高程图的结果基础上，整体耗时比目前市面主流方法提升了约4倍以上。

进一步的，预处理、特征提取与特征匹配作为整个算法流程的基础，匹配的准确性很大程度上决定了场景最终的重建效果。预处理阶段主要对图像进行降采样以及GPS信息的写入操作，从而减小SIFT特征提取的计算量；同时，在进行特征匹配前，预先根据GPS坐标建立相邻关系列表，可以很大程度的滤除距离较远的图像对，从而缩短特征匹配时间。因此，通过这部分操作，可以在保证匹配准确性的基础上极大地缩短处理时间。

进一步的，在预处理时，将图像降采样为1500*1000分辨率的直接目的是减小特征提取的计算量，以缩短处理时间；而间接好处是降采样后小图的特征点相对于原图会大幅度减少，从而减小了重建网格和纹理贴图的计算量。因此，通过降采样，可以在保持原图关键信息的前提下极大地减小计算量，从而提升处理速度。

进一步的，对稀疏点云数据进行切块处理的主要目的是规避内存不足问题，以确保图像数量较多时算法可以正常执行，而不会出现崩溃问题。通过分块操作，单次申请的连续内存就可以大幅度减少，从而确保网格重建和纹理贴图的正常执行，而无需额外增加电脑的物理内存，降低了算法对硬件的要求。

进一步的，三维场景可以采用点、线、面等方式进行描述，而面的方式最为直观。网格重建的目的就是对场景的三维点云进行面片划分，将多个一维的点连成三维的面，从而丰富了场景信息；而纹理贴图则是在构建的网格基础上，进一步还原场景本身的纹理信息，使重建效果更加真实。在算法流程中，不对稀疏点云进行稠密化，而是直接在其基础上进行网格重建和纹理贴图，一方面可以极大程度的减少计算量，另一方面也可以在保持高程效果的前提下生成更好的正射效果。

进一步的，由于前期进行了分块操作，导致每个小块都会生成不同区域的正射图和高程图，因此，在最终结果输出时需要分别对多个二维正射图和数字高程图进行合并，以方便结果查看和后期的数据使用。在实际使用中，我们采用GDAL库中的gdalbuildvrt和gdal_translate相结合的方式来实现合并功能，而该方式也是目前合并方法中速度最快的一种。

进一步的，低重叠率的输入图像确保了无人机可以更加高效的作业，精简的输入数据保证了方法具有更好的适用性；而高分辨率的输出结果则能够反映更多的细节信息，构建更加准确的场景地图。

综上所述，本发明整体耗时少，同时兼顾了重建效果、处理时间以及硬件配置等方面，相比于现有的其他基于无人机航拍图像的三维重建方法，本发明具有明显进步。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明基于无人机航拍图像的快速场景三维重建基本流程图；

图2为本发明输出的某40KM管线的稀疏点云；

图3为本发明在某场景下包含管线坐标(黑色线条)的拼图结果；

图4为本发明在图3圈定区域对应的原始图片下的管线位置；

图5为本发明处理某25KM管线正射图从左至右依次放大的细节展示；

图6为本发明处理某场景高程网格的细节展示。

具体实施方式

本发明提供了一种基于无人机航拍图像的场景三维重建方法，首先输入重叠率60％以上的原始航拍图像以及对应的GPS坐标(经度、纬度、高度)，对原始航拍图像进行预处理、特征提取与特征匹配，利用SfM技术求取场景的稀疏点云以及相机位姿；然后对稀疏点云数据进行切块处理以规避内存不足问题；再循环对每个切分小块进行处理，不做点云稠密化计算，而是直接在稀疏点云基础上进行网格重建以及纹理贴图的操作；最终将各个小块生成的二维正射图和数字高程图进行合并，完成结果输出高分辨率的二维正射图和数字高程图。

请参阅图1，本发明一种基于无人机航拍图像的场景三维重建方法，包括以下步骤：

S1、对原始航拍图像进行预处理、特征提取与特征匹配，利用SfM技术求取场景的稀疏点云以及相机位姿；

由于当前采集的大多数航拍图像原始分辨率均在6000*4000的量级，一个像素可以反映约5厘米*5厘米大小的物体，若直接处理原图，虽然精度很高但处理速度很慢。

因此在实际求取稀疏点云时，对图像进行1/4降采样时每个像素反映的物体约为20厘米*20厘米，因此相对于原分辨率图像，理论上的最大定位偏差约为15厘米；因此，在确保定位精度影响较小的前提下对图像进行降采样，直接对1500*1000分辨率的降采样小图提取SIFT特征；

再根据每张图像对应的GPS坐标建立相邻关系列表，从而避免了采用暴力匹配实现图像配准，大大缩短了特征匹配时间；

随后，在特征匹配基础上，利用主流的全局SfM技术通过非线性优化的方式不断迭代优化估算出相机位姿以及场景的稀疏点云坐标；

S2、对稀疏点云数据进行切块处理以规避内存不足问题；

得到稀疏点云后，如果直接对其进行网格重建和纹理贴图的操作，单次计算所申请的连续内存可能会因为图像数量或分辨率过大的原因而出现内存不足的问题，除了增加电脑物理内存外，更好的解决方式是在不影响重建效果的前提下采用分块的方式来规避该问题。

先通过读取硬件物理内存大小确定每次可以处理的最大区域，再判断该区域对应的观测图像数量是否超过当前内存的承载能力，如果超过则缩小上一步的区域范围；

随后，为确保相邻小块在后续贴图的连续性，设定5％的重叠率作为切分的容错依据，并最终在各小块基础上进行网格重建和纹理贴图的操作；

S3、循环对每个切分小块进行处理，不做点云稠密化计算，而是直接在稀疏点云基础上进行网格重建以及纹理贴图的操作；

在循环内部，跳过传统的点云稠密化操作，使用经过畸变校正的原始分辨率图像对每个切分小块对应的稀疏点云进行三角网格重建以及纹理贴图，通过稀疏点本身的坐标来描述航拍场景的地形变化，而且避免稠密深度图的计算以及密集三角面片的生成，从而在最大限度减少运算时间的同时保持高质量的重建结果；

对应于每个切分小块，每次循环处理后均会生成TIFF格式的包含实际地理坐标的二维正射图以及数字高程图，这些小图需要经过合并才能作为最终的结果输出；

S4、将各个小块生成的二维正射图和数字高程图进行合并，完成最终的结果输出。

对于相邻的切分小块，由于彼此存在一定重叠率，因此需要确保合并时有效信息不会被无效值覆盖，在实际合并过程中，采用GDAL库中的gdalbuildvrt和gdal_translate相结合的方式来实现合并TIFF的功能，该方式也是目前合并方法中速度最快的一种。

先对要合并的所有正射和高程小图依次通过gdalbuildvrt建立虚拟数据库，并设定无效值取值；

再利用gdal_translate将虚拟数据库的信息进行转换生成指定名称和压缩方式的大图即可。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在采用同一测试硬件、相同输入数据以及输出分辨率下对多组数据进行了耗时统计，具体信息如下：

硬件环境：

CPU：Inter(R)Core(TM)[email protected]；

内存：16GB

显卡：NVIDIA GeForce GTX 1080

OS：Windows10专业版。

图像分辨率：6000*4000和7952*5304；

图像总数：4513张；

贴图分辨率：原始分辨率；

输出数据：数字正射影像和数字地表模型，格式均为TIF；

本发明耗时统计：平均处理时间为4.52秒/张；市面主流软件耗时统计：平均处理时间为18.54秒/张。

请参阅图2，在硬件测试环境同等以及指定输入输出图像分辨率一致的情况下，处理某40KM管线航拍数据时，一次性对900余张7952*5304分辨率的原始图像进行处理，输出原始分辨率的高程图和正射图，采用业内某知名软件的处理时间为九个小时，而采用本方法的处理时间仅为两个小时，处理速度得到明显提升。

请参阅图3和图4，本发明融合了图像信息和GPS信息，在实际应用中，亦可以有效地辅助定位，建立原始输入图像与经过拼图得到的整体地理坐标之间的关系，其定位的准确性与GPS精度保持一致，因此具有较高的定位精度。

该功能在实际使用中可以实现两类问题的定位：

1)指定原图任意点位置，可以输出该点对应的实际GPS坐标，可用于定位异常目标位置；

2)指定实际场景中某一点的GPS坐标，可以输出该点(如管线)出现在哪些原图中的哪个位置。

请参阅图5和图6，本发明的结果细节保持较好，能够构建准确的高程图以及正射图，并输出对应分辨率的所有细节信息。

本发明对硬件配置和输入数据的要求较低。由于在算法内部加入了分块机制，在算法处理过程中会根据硬件配置自动调整每次处理数据的大小，有效的避免了内存不足问题。另外，输入数据只需包含重叠度60％以上的航拍图像以及每张图像对应的GPS坐标(经度、纬度、高度)即可，其中，低重叠率确保了无人机较高的作业效率，而精简的输入数据则保证了软件更好的适用性。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (7)

1.一种基于无人机航拍图像的场景三维重建方法，其特征在于，对输入的原始航拍图像进行预处理、特征提取与特征匹配，利用SfM技术求取场景的稀疏点云以及相机位姿；然后对稀疏点云数据进行切块处理；再循环对每个切分小块进行处理，直接在稀疏点云基础上进行网格重建以及纹理贴图的操作；最终将各个小块生成的二维正射图和数字高程图进行合并，完成结果输出；预处理、特征提取与特征匹配具体为：

直接对降采样小图提取SIFT特征；再根据每张图像对应的GPS坐标建立相邻关系列表；在特征匹配基础上，利用全局SfM技术通过非线性优化的方式不断迭代优化估算出相机位姿以及场景的稀疏点云坐标，降采样小图的分辨率为1500*1000；在确定了图像特征点对的匹配关系后，利用全局SfM技术先计算图像间相对的和全局的旋转及平移矩阵，再对相机内参、畸变参数、场景路标点、相机位姿以及GPS坐标参数利用光束平差法进行非线性整体优化，根据梯度下降的方向不断迭代的调整各个参数，并最终实现收敛，从而估算出相机位姿以及场景的稀疏点云坐标。

2.根据权利要求1所述的基于无人机航拍图像的场景三维重建方法，其特征在于，对稀疏点云数据进行切块处理具体为：

读取硬件物理内存大小确定每次处理的最大区域，再判断该区域对应的观测图像数量是否超过当前内存的承载能力，如果超过则缩小上一步的区域范围；如果不超过，设定5％的重叠率作为切分的容错依据，在各小块基础上进行网格重建和纹理贴图的操作。

3.根据权利要求1所述的基于无人机航拍图像的场景三维重建方法，其特征在于，直接在稀疏点云基础上进行网格重建以及纹理贴图操作具体为：

使用经畸变校正的原始分辨率图像对每个切分小块对应的稀疏点云进行三角网格重建以及纹理贴图，通过稀疏点坐标描述航拍场景的地形变化，对应于每个切分小块，每次循环处理后均生成TIFF格式的包含实际地理坐标的二维正射图以及数字高程图，经过合并作为最终的结果输出。

4.根据权利要求1或3所述的基于无人机航拍图像的场景三维重建方法，其特征在于，最终结果输出具体为：

对要合并的所有正射和高程小图依次通过gdalbuildvrt建立虚拟数据库，并设定无效值取值；再利用gdal_translate将虚拟数据库的信息进行转换生成指定名称和压缩方式的大图。

5.根据权利要求4所述的基于无人机航拍图像的场景三维重建方法，其特征在于，利用GDAL空间数据抽象库提供的gdalbuildvrt工具，以正射或高程小图路径作为输入，以指定的虚拟数据库的名称及路径作为输出，并设定无纹理区域的无效值，即可建立输入图像对应的虚拟数据库。

6.根据权利要求4所述的基于无人机航拍图像的场景三维重建方法，其特征在于，利用GDAL空间数据抽象库提供的gdal_translate工具，通过指定输入的虚拟数据库和输出的合并图像名称、路径及压缩方式，根据虚拟数据库建立的索引关系即可实现正射或高程多幅小图的合并功能。

7.根据权利要求1所述的基于无人机航拍图像的场景三维重建方法，其特征在于，输入为重叠率60％以上的航拍图像以及对应的GPS坐标，输出为高分辨率的二维正射图和数字高程图。

Images