CN109671109B - 密集点云生成方法及*** - Google Patents

Abstract

本发明公开了一种密集点云生成方法及***，方法包括：读取无人机拍摄采集到的多张影像，通过GPU由多张影像中提取出同名特征和同名像点，并基于同名特征和同名像点进行特征点匹配，获取相应的匹配点对信息；采用光束法平差原理，根据匹配点对信息，利用多视几何原理求解出各个影像的相对方位元素，并基于相对方位元素恢复得到无人机影像立体像对在空间坐标系中的位置姿态信息；基于恢复得到的无人机影像立体像对在空间坐标系中的位置姿态信息，将基准影像上像点反算至重叠影像并寻找同名像点，利用同名像点通过空间前方交会生成相应的密集点云。其有效解决了传统的无人机数据处理方式运算效率较低，不能实现快速高效的数据处理的问题。

Description

密集点云生成方法及***

技术领域

本发明涉及图像处理技术领域，特别是涉及一种密集点云生成方法及***。

背景技术

在信息化时代，地理空间态势瞬息万变，各类目标千差万别，传统的遥感成像和测绘手段难以适应日趋复杂的技术要求。现代社会发展需要具备动态测绘的能力，但是目前成熟的卫星遥感和航空遥感技术难以满足动态测绘即时保障的客观需求。受飞行地域、航高和不可回避的人力成本的制约，常规有人驾驶航空遥感测绘平台实施动态测绘保障极为不易，而基于无人机平台的动态测绘保障却可满足该需求。因此，基于无人机飞行平台在测绘领域的应用具有重大经济和社会效益。

基于无人机飞行平台的无人机摄影测量通常包含两方面的含义：一方面是数据动态获取的能力，另一方面则是数据的近实时处理能力。目前来看，这两方面能力的发展是不均衡的，无人机数据处理能力发展速度明显滞后于数据动态获取的能力。传统的数据处理方式运算效率较低，对于获取到的数据不能实现快速高效的处理。

发明内容

基于此，有必要针对传统的无人机数据处理方式运算效率较低，不能实现快速高效的数据处理的问题，提供一种密集点云生成方法及***。

基于上述目的，本发明提供的一种密集点云生成方法，包括如下步骤：

读取无人机拍摄采集到的多张影像，通过GPU由多张影像中提取出同名特征和同名像点，并基于所述同名特征和所述同名像点进行特征点匹配，获取相应的匹配点对信息；

采用光束法平差原理，以共线条件方程式作为平差的基础方程，根据所述匹配点对信息，利用多视几何原理求解出各个所述影像的相对方位元素，并基于所述相对方位元素恢复得到无人机影像立体像对在空间坐标系中的位置姿态信息；

基于恢复得到的所述无人机影像立体像对在空间坐标系中的所述位置姿态信息，将基准影像上像点反算至重叠影像并寻找所述同名像点，利用所述同名像点通过空间前方交会生成相应的密集点云。

在其中一个实施例中，所述读取无人机拍摄采集到的多张影像，通过GPU由多张影像中提取出同名特征和同名像点，并基于所述同名特征和所述同名像点进行特征点匹配，获取相应的匹配点对信息，包括如下步骤：

读取无人机拍摄采集到的多张影像，使用GPU并行计算方式建立每张影像的特征描述符；

根据建立的所述特征描述符进行特征点匹配处理，获得多个所述匹配点对信息；

采用RANSAC方法由多个所述匹配点对中获取最优匹配点对信息，剔除误配点对信息。

在其中一个实施例中，所述采用光束法平差原理，以共线条件方程式作为平差的基础方程，根据所述匹配点对信息，利用多视几何原理求解出各个所述影像的相对方位元素，并基于所述相对方位元素恢复得到无人机影像立体像对在空间坐标系中的位置姿态信息，包括如下步骤：

读取匹配点对信息以及用于拍摄采集多张影像的相机参数；

根据读取到的所述匹配点对信息和所述相机参数，利用多视几何原理对各个所述影像进行相对定向处理，求解出各个所述影像的相对方位元素；

对求解得到的所述相对方位元素进行粗差探测与剔除处理，以及多视角联合平差处理，得到并输出相应的平差结果；

其中，所述平差结果包括所述无人机影像立体像对在空间坐标系中的位置姿态信息。

在其中一个实施例中，所述根据读取到的所述匹配点对信息和所述相机参数，利用多视几何原理对各个所述影像进行相对定向处理，求解出各个所述影像的相对方位元素，包括如下步骤：

判断当前正在处理的影像中是否存在控制点或GPS数据；

若是，则利用所述控制点或所述GPS数据对所述相对方位元素进行绝对定向处理后，再执行所述对求解得到的所述相对方位元素进行粗差探测与剔除处理，以及多视角联合平差处理的步骤；

若否，则直接执行所述对求解得到的所述相对方位元素进行粗差探测与剔除处理，以及多视角联合平差处理的步骤。

在其中一个实施例中，所述基于恢复得到的所述无人机影像立体像对在空间坐标系中的所述位置姿态信息，将基准影像上像点反算至重叠影像并寻找所述同名像点，利用所述同名像点通过空间前方交会生成相应的密集点云，包括如下步骤：

根据所述无人机影像立体像对在空间坐标系中的所述位置姿态信息，利用GPU并行加速手段，获取目标空间物体的顶面信息点云和多个侧面信息点云；

以预设的基准影像为基准，分别将其他各个影像与所述基准影像进行组合，获取相应的初始匹配结果，并以所述初始匹配结果为初值，通过分析和调整匹配参数，得到所述基准影像与其他各个影像的接边点云；其中，初始匹配结果中包含所述同名像点信息；

通过空间分析方法，以单镜头多视匹配点云为主，并以多镜头接边点云为辅，将所有的匹配点云进行融合，得到相应的密集点云。

相应的，基于同一发明构思，本发明还提供了一种密集点云生成***，包括稀疏匹配模块、平差处理模块和点云生成模块；

其中，所述稀疏匹配模块，用于读取无人机拍摄采集到的多张影像，通过GPU由多张影像中提取出同名特征和同名像点，并基于所述同名特征和所述同名像点进行特征点匹配，获取相应的匹配点对信息；

所述平差处理模块，用于采用光束法平差原理，以共线条件方程式作为平差的基础方程，根据所述匹配点对信息，利用多视几何原理求解出各个所述影像的相对方位元素，并基于所述相对方位元素恢复得到无人机影像立体像对在空间坐标系中的位置姿态信息；

所述点云生成模块，用于基于恢复得到的所述无人机影像立体像对在空间坐标系中的所述位置姿态信息，将基准影像上像点反算至重叠影像并寻找所述同名像点，利用所述同名像点通过空间前方交会生成相应的密集点云。

在其中一个实施例中，所述稀疏匹配模块包括特征描述符建立子模块、特征点匹配子模块和剔除误配点对子模块；

所述特征描述符建立子模块，用于读取无人机拍摄采集到的多张影像，使用GPU并行计算方式建立每张影像的特征描述符；

所述特征点匹配子模块，用于根据建立的所述特征描述符进行特征点匹配处理，获得多个所述匹配点对信息；

所述剔除误配点对子模块，用于采用RANSAC方法由多个所述匹配点对中获取最优匹配点对信息，剔除误配点对信息。

在其中一个实施例中，所述平差处理模块包括信息参数读取子模块、相对定向处理子模块、粗差探测处理子模块和多视角联合平差处理子模块；

所述信息参数读取子模块，用于读取匹配点对信息以及用于拍摄采集多张影像的相机参数；

所述相对定向处理子模块，用于根据读取到的所述匹配点对信息和所述相机参数，利用多视几何原理对各个所述影像进行相对定向处理，求解出各个所述影像的相对方位元素；

所述粗差探测处理子模块，用于对求解得到的所述相对方位元素进行粗差探测与剔除处理；

所述多视角联合平差处理子模块，用于所述粗差探测处理子模块对求解得到的所述相对方位元素进行粗差探测与剔除处理后，再进行多视角联合平差处理，得到并输出相应的平差结果；

其中，所述平差结果包括所述无人机影像立体像对在空间坐标系中的位置姿态信息。

在其中一个实施例中，所述平差处理模块还包括判断子模块和绝对定向处理子模块；

其中，所述判断子模块，用于所述相对定向处理子模块利用多视几何原理对各个所述影像进行相对定向处理，求解出各个所述影像的相对方位元素后，判断当前正在处理的影像中是否存在控制点或GPS数据；

所述绝对定向处理子模块，用于当所述判断子模块判断出存在所述控制点或所述GPS数据时，利用所述控制点或所述GPS数据对所述相对方位元素进行绝对定向处理后，再跳转至所述粗差探测剔除子模块和所述多视角联合平差处理子模块，由所述粗差探测剔除子模块和所述多视角联合平差处理子模块分别执行所述对求解得到的所述相对方位元素进行粗差探测与剔除处理，以及多视角联合平差处理的步骤；

所述判断子模块，还用于在判断出不存在所述控制点或所述GPS数据时，直接跳转至所述粗差探测剔除子模块和所述多视角联合平差处理子模块，由所述粗差探测剔除子模块和所述多视角联合平差处理子模块分别执行所述对求解得到的所述相对方位元素进行粗差探测与剔除处理，以及多视角联合平差处理的步骤。

在其中一个实施例中，所述点云生成模块包括单面点云获取子模块、接边点云获取子模块和点云融合子模块；

其中，所述单面点云获取子模块，用于根据所述无人机影像立体像对在空间坐标系中的所述位置姿态信息，利用GPU并行加速手段，获取目标空间物体的顶面信息点云和多个侧面信息点云；

所述接边点云获取子模块，用于以预设的基准影像为基准，分别将其他各个影像与所述基准影像进行组合，获取相应的初始匹配结果，并以所述初始匹配结果为初值，通过分析和调整匹配参数，得到所述基准影像与其他各个影像的接边点云；其中，初始匹配结果中包含所述同名像点信息；

所述点云融合子模块，用于通过空间分析方法，以单镜头多视匹配点云为主，并以多镜头接边点云为辅，将所有的匹配点云进行融合，得到相应的密集点云。

上述密集点云生成方法，通过读取无人机拍摄采集到的多张影像，采用GPU由多张影像中提取出同名特征和同名像点，并基于提取出的同名特征和同名像点进行特征点匹配获取相应的匹配点对信息后，采用光束法平差原理，以共线条件方程式作为平差的基础方程，根据获取到的匹配点对信息，利用多视几何原理求解出各个影像的相对方位元素，并基于相对方位元素恢复得到无人机影像立体像对在空间坐标系中的位置姿态信息；同时，基于恢复得到的位置姿态信息将基准影像上的像点反算至重叠影像并寻找同名像点，利用同名像点通过空间前方交会生成相应的密集点云。其综合利用了计算机视觉和数字摄影测量领域中的多视角数字影像密集匹配方法，既能够充分利用影像数据的精确定位信息，快速计算出重叠影像及其搜索范围，同时还能够利用特征点辅助多视匹配的方法，缓解影像匹配过程中的特征重复、纹理单一、集合变形严重、成像比例不一、光照差异和遮挡等难点问题，有效提高了无人机数据的处理效率，最终解决了传统的无人机数据处理方式运算效率较低，不能实现快速高效的数据处理的问题。

附图说明

图1为本发明的密集点云生成方法的一具体实施例的流程图；

图2为本发明的密集点云生成方法的一具体实施例中建立特征描述符的过程示意图；

图3为本发明的密集点云生成方法的一具体实施例中对无人机影像进行区域网平差处理的流程示意图；

图4为本发明的密集点云生成方法的一具体实施例中基于多视密集匹配的点云生成流程示意图；

图5为采用本发明的密集点云生成方法对某矿坑地区航拍图进行处理时，所读取到的影像数据的控制点标志位置图；

图6为采用本发明的密集点云生成方法对某矿坑地区航拍图进行处理后所生成的密集点云结果图；

图7为在图6所示的密集点云结果图中进行控制点标记后的密集点云图；

图8为本发明的密集点云生成***的一具体实施例的结构示意图。

具体实施方式

为使本发明技术方案更加清楚，以下结合具体实施例对本发明做进一步详细说明。其中，应当说明的是，以下描述包括帮助理解的各种具体细节，但是这些细节将被视为仅是示例性的。因此，本领域普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可对本文所述的各种实施例进行各种改变和修改。另外，为了清晰和简洁，公知功能和构造的描述可被省略。

以下描述和权利要求书中所使用的术语和词汇不限于文献含义，而是仅由发明人用来使本公开能够被清晰和一致地理解。因此，对于本领域技术人员而言应该明显的是，提供以下对本公开的各种实施例的描述仅是为了示例性目的，而非限制由所附权利要求及其等同物限定的本公开的目的。

应该理解，除非上下文明确另外指示，否则单数形式也包括复数指代。因此，例如，对“组件表面”的引用包括对一个或更多个这样的表面的引用。

参见图1，作为本发明的密集点云生成方法的一具体实施例，其首先包括步骤S100，读取无人机拍摄采集到的多张影像，通过GPU(Graphic Pracessing Unit，图形处理器)由多张影像中提取出同名特征和同名像点，并基于同名特征和同名像点进行特征点匹配，获取相应的匹配点对信息。

此处，应当说明的是，基于特征的影像匹配是通过在不同的影像上同时提出点、线等几何特征，进行几何特征描述并进行特征参数化，通过对几何特征参数的匹配，提取特征参数相同的特征作为同名特征和同名像点。其中，用于描述同名特征和同名像点的尺度不变量特征变换(Scale Invariant Feature Transform)也称SIFT算子。其对图像的缩放、旋转、光照强度和探测器观察视角的改变以及噪声扰动具有很好的稳定性。但是，SIFT特征的提取和匹配运算量较大，传统的仅仅依靠CPU的计算不能适应摄影测量中高分辨率、大数据量的特点。因此，在本发明的密集点云生成方法中，进行同名特征和同名像点(即，SIFT算子)的提取和匹配采用了基于GPU的并行处理算法。

具体的，其首先包括步骤S110，读取无人机拍摄采集到的多张影像，使用GPU并行计算方式建立每张影像的特征描述符。即，首先进行建立特征描述符的步骤。然后，再执行步骤S120，根据建立的特征描述符进行特征点匹配处理，获得多个匹配点对信息。即，进行特征点匹配。最后，再通过步骤S130，采用RANSAC方法由多个匹配点对中获取最优匹配点对信息，剔除误配点对信息。

其中，在步骤S110，建立特征描述符的过程中，可通过多个步骤使用GPU并行计算的方式进行。具体包括：输入彩色图像的灰度转换，对输入图像的降采样和升采样；创建高斯图像金字塔(灰度、梯度、差分高斯图像)；关键点检测(亚像素和亚尺度级定位)；采用GPU直方图约简产生压缩特征列表；计算特征方向和描述子。但是，并不是所有计算都在GPU上运行更快。参见图2，本发明的密集点云生成方法的一具体实施例中，其并未将所有的建立特征描述符的计算过程全部进行GPU并行化改造，而是为每一步骤设计最合适的处理方式。

具体的，参见图2，首先，通过无人机拍摄采集到的图像输入后，利用GPU分布高斯卷积片段程序加速高斯金字塔的构建，并将图像灰度、梯度和高斯差分金字塔存储在RGBA纹理存储器内，以便于利用片段程序进行并行向量计算。随后，在图形硬件内对高斯差分金字塔所有的像素进行并行计算，检测局部极值，确定关键点，计算关键点的主曲率，通过一个2*2的hessian矩阵计算特征比率值，检测关键点主曲率是否超过设定的阈值，通过二值位图精确标记关键点的位置、尺度。运行另一个片段程序将二值位图压缩变成RGBA数据，随后被读回到CPU，并同时进行解码。

其中，关键点位置和尺度将在CPU中恢复。由于将存储在纹理存储器的梯度金字塔读回到CPU需要花费大量时间，因此随后的过程在GPU上也同时运行。关键点附近的梯度向量在另一个片段程序进行高斯加权累积建立直方图。随后，方向直方图被读回到CPU，并且检测直方图的峰值，确定关键方向。这是因为在GPU上检测直方图的峰值并确定关键方向所花费的时间超过通过一个小的回读把数据传递到CPU上进行计算时间。

最后，计算128位的SIFT描述符，这些由16*16组成的图像数据块根据关键点的尺度、位置和方向建立SIFT描述符的过程全部在GPU上进行不能够达到最好的效率。因此，将这一步骤在CPU和GPU之间进行分割。重采样每个特征的梯度向量块，在GPU上对其进行高斯加权，采样和加权的梯度向量被传递到CPU，随后计算描述符。

当通过上述步骤实现特征描述符的建立后，即可执行步骤S120，进行特征点匹配。其中，需要指出的是，生成两幅图像的SIFT特征点向量后，特征匹配过程包含两个步骤：第一步，计算不同特征点描述符的欧式距离：对两张待匹配影像上的不同特征点，计算其描述符的差平方和测度作为匹配的相似性测度，以测度最小的点对作为候选匹配点对。第二步，确定匹配点对：对每个待匹配特征点，通过K-D树优先搜索得到与其描述符的欧氏距离最邻近和次邻近的两个特征点，将最近邻和次近邻的欧式距离之比与阈值比较，剔除不可靠的点对。

进一步的，匹配完成之后，可能会出现一些误配点对信息，因此为了保证匹配结果的准确性和可靠性，其还包括步骤S130，剔除误配点对信息的过程。即，采用RANSAC方法来取得最优匹配点对，进而剔除误配。具体的，首先，从已求得的匹配点对中抽取几对配准点，计算变换矩阵，并将这几对点记录为“内点”继续寻找匹配点对中的非内点，若这些匹配点对符合矩阵，则将其添加到内点。当内点中的点对数大于样本总点对的25％时，则判定此矩阵为精确的变换矩阵。依照以上方法，随机采样N次，选取内点数最大集合，剔除非内点等误配点对。

参见图1，当通过上述步骤完成基于GPU的SIFT稀疏匹配后，即可执行区域网平差处理步骤。即，步骤S200，采用光束法平差原理，以共线条件方程式作为平差的基础方程，根据匹配点对信息，利用多视几何原理求解出各个影像的相对方位元素，并基于相对方位元素恢复得到无人机影像立体像对在空间坐标系中的位置姿态信息。

其中，区域网平差处理主要采用光束法平差原理，以共线条件方程式作为平差的基础方程，根据连接点自动匹配的信息，利用多视几何原理，求解出各影像的相对方位元素，并完成粗差探测与剔除，然后按非线性最小二乘准则实现对外参数的优化，若有控制点或GPS数据，则可利用此数据进行七参数绝对定向，最终精确地获得无人机影像立体像对在空间坐标系中的位置姿态信息。该处理流程主要包括相对定向、绝对定向、粗差探测与剔除和多视角联合平差四部分。

具体的，参见图3，其首先包括步骤S210，读取匹配点对信息以及用于拍摄采集多张影像的相机参数。然后，执行步骤S220，根据读取到的匹配点对信息和相机参数，利用多视几何原理对各个影像进行相对定向处理，求解出各个影像的相对方位元素。

此处，应当指出的是，作为本发明的优选实施例，其在求解出各个影像的相对方位元素后，为了保证最终获得的位置姿态信息的精确度，其还包括步骤S230，判断当前正在处理的影像中是否存在控制点或GPS数据。当判断出存在控制点或GPS数据时，则执行步骤S240，利用控制点或GPS数据对相对方位元素进行七参数绝对定向处理，以便于最终精确的恢复得到无人机影像立体像对在空间坐标系中的位置姿态信息。当判断出不存在控制点或GPS数据时，则直接执行步骤S250，对求解得到的所述相对方位元素进行粗差探测与剔除处理，以及多视角联合平差处理。进而执行步骤S260，输出相应的平差结果。其中，平差结果包括无人机影像立体像对在空间坐标系中的位置姿态信息。无人机影像立体像对在空间坐标系中的位置姿态信息包括七个外方位元素。

此处，需要指出的是，绝对定向就是利用地面控制点确定相对定向中的模型点的大地坐标。由于大地坐标系是左手系，它的坐标轴与对应摄影测量坐标系的坐标轴之间的夹角不是小角度，不便于二者之间直接换算。因此，在绝对定向之前，应先将控制点的大地坐标换算成地面摄影测量坐标；然后利用这些控制点，在摄影测量坐标系和地面摄影测量坐标系之间的绝对定向，计算出模型点的地面摄影测量坐标；最后，将模型点的地面摄影测量坐标换算为大地坐标。实际上，绝对定向的主要工作是把模型点的摄影测量坐标变换成地面摄影测量坐标。

它们之间的空间相似变换可以用下式表示：

其中，(X_p,Y_p,Z_p)为模型点的摄影测量坐标，(X_tp,Y_tp,Z_tp)为对应的地面摄影测量坐标，λ为缩放系数，(a_i,b_i,c_i)为角元素φ,ω,κ的函数组成的方向余弦，(△X,△Y,△Z)为坐标原点的平移量。绝对定向就是根据控制点的地面摄影测量坐标和对应的模型坐标，解算出上述7个绝对定向参数，再用这7个参数把待定点的摄影测量坐标换算成地面摄影测量坐标。

通过上述步骤即可实现对多张无人机影像的整体区域的校正。待完成上述校正后，即可执行步骤S300,基于恢复得到的无人机影像立体像对在空间坐标系中的位置姿态信息，将基准影像上像点反算至重叠影像并寻找同名像点，利用同名像点通过空间前方交会生成相应的密集点云。其中，在“将基准影像上像点反算至重叠影像并寻找同名像点”时，可以利用立体像对的位置姿态信息，根据基准影像上的像点计算出其匹配对应点在另外一张影像上的大概位置，缩小匹配时的搜索空间，加快匹配速度。其通过利用精确地位置姿态信息辅助密集匹配，可以提升匹配效果，缓解影像匹配过程中因特征重复、纹理单一、几何变形严重、成像比例尺不一、光照差异、遮挡等问题导致的匹配失败。

此处，还需要说明的是，在数字摄影测量领域，多视角立体影像匹配流程大致为：首先对多视角立体影像进行区域网平差处理，以提高影像的定位精度；随后利用基于物方空间的约束方法，将基准影像上像点反算至重叠影像并寻找同名像点，最后通过空间前方交会生成稠密点云。由此，为了从无人机影像中快速恢复出真实、精致的目标区三维模型，在本发明的密集点云生成方法的一具体实施例中，当通过上述步骤实现对无人机影像的区域网平差处理后，即可进行基于多视密集匹配的点云生成处理。

具体的，其首先包括步骤S310，根据无人机影像立体像对在空间坐标系中的位置姿态信息，利用GPU并行加速手段，获取目标空间物体的顶面信息点云和多个侧面信息点云。即，参见图4，首先以单个镜头获取的重叠影像为对象，利用多基线匹配技术，在物方空间约束下(即，根据无人机影像立体像对在空间坐标系中的位置姿态信息)，利用GPU并行加速手段，快速获取目标区空间物体的顶面和多个侧面信息点云。其中，顶面信息点云即正视匹配点云，多个侧面信息点云则包括前侧面匹配点云、后侧面匹配点云、左侧面匹配点云和右侧面匹配点云等。

然后，执行步骤S320，以预设的基准影像为基准，分别将其他各个影像与基准影像进行组合，获取相应的初始匹配结果，并以初始匹配结果为初值，通过分析和调整匹配参数，得到基准影像与其他各个影像的接边点云；其中，初始匹配结果中包含所述同名像点信息。参见图4，在该步骤中，首先执行步骤S321，以垂直摄影的影像为基准，分别将各个倾斜摄影的影像与其组合，利用ASIFT等特征点匹配方法，获取精确的、稀疏的初始匹配结果。然后，再通过步骤S322，利用初始匹配结果作为初值，通过分析和调整匹配参数，利用基于物方空间约束的多视匹配方法，丰富匹配结果，得到垂直影像与倾斜影像接边点云。如：分别计算垂直—前视影像的接边点云、垂直—后视影像的接边点云、垂直—左视影像的接边点云、垂直—右视影像的接边点云等。

最后，再通过步骤S330，通过空间分析方法，以单镜头多视匹配点云为主，并以多镜头接边点云为辅，将所有的匹配点云进行融合，得到相应的密集点云。

由此，本发明以实现无人机影像自动化处理为目标，通过SIFT稀疏匹配和多视密集匹配，提出了一种密集点云生成方法。与现有方法相比，本发明综合利用了计算机视觉和数字摄影测量领域中的多视角数字影像密集匹配方法，既能够充分利用影像数据的精确定位信息，快速计算出重叠影像及其搜索范围，又能够利用特征点辅助多视匹配的方法，缓解影像匹配过程中的特征重复、纹理单一、几何变形严重、成像比例尺不一、光照差异、遮挡等难点问题。

更进一步的，为了更加清楚的说明本发明的密集点云生成方法的技术方案以及所产生的技术效果，以下以瑞士某矿坑航拍图为例对本发明的密集点云生成方法做更进一步的说明和验证。

参见图5，实验在Intel E5 2.40GHz CPU，16GB RAM的工作站上采用VS2010编程实现。使用数据为pix4Dmapper软件中的倾斜影像mining_quarry_switzerland(7GCP)，该组数据为瑞士某矿坑地区航拍图，共127张图片，照片大小为4000*3000。在该组数据中，控制点共有7个，其位置如图5所示，具体坐标如表1所示。

表1控制点列表

首先，使用本发明算法进行连接点自动匹配处理，共提取到40839个稀疏匹配点，其中有8001个匹配影像对，耗时2230s。接着，利用同名特征点对影像进行相对定向，加密点相对定向精度如表2所示，中误差约为0.471084个像素，优于1个像素。

表2加密点相对精度/pixel

下面进行绝对定向，控制点9001、9002、9004、9011参与绝对定向，控制点9012、9016、9017作为检查点。通过多片前方交会得到的控制点坐标的测量值与控制点坐标的大地量测值进行比较，得到控制点、检查点的绝对精度如表3和表4所示。

表3控制点绝对精度/m

点标号	X	Y	Z
				9001	-0.127172	-0.145938	0.049185
9002	0.056171	0.153886	-0.042131
				9004	0.040234	0.043507	-0.239051
9011	0.030770	-0.051442	0.232016
				中误差	0.073982	0.111263	0.169684

表4检查点绝对精度/m

点标号	X	Y	Z
				9012	0.180840	-0.333445	0.763101
9016	-0.210096	-0.073539	-1.012477
				9017	0.015870	0.029328	0.614661
中误差	0.160307	0.197867	0.813478

最后，采用本发明中的多视角密集匹配技术生成的密集点云如图6所示。同时，对点云数据的高程精度进行统计，根据控制点坐标位置在点云数据中刺点，如图7所示。将控制点在点云数据中的坐标与实际坐标对比，统计高程误差如表5所示。由表可知，在有控制点的情况下，高程精度为0.229米，优于1米。

表5有控高程误差统计/m

在不使用控制点的情况下，重新运行试验数据，生成密集点云，统计控制点处高程误差如表6所示。由表可知，在无控制点的情况下，高程精度为7.581米，优于10米。

表6无控高程误差统计/m

由此，通过上述实际场景的点云生成实验结果显示本发明方法在有控制点的情况下，高程精度优于1米，在无控制点的情况下，高程精度优于10米，精度良好，且该算法不需要任何初始信息，可以适用于复杂大场景的密集点云生成，具有较大的实际应用价值。

相应的，为了实现上述任一种密集点云生成方法，本发明还提供了一种密集点云生成***。由于本发明提供的密集点云生成***的工作原理与本发明的密集点云生成方法的原理相同或相似，因此重复之处不再赘述。

参见图8，作为本发明的密集点云生成***100的一具体实施例，其包括稀疏匹配模块110、平差处理模块120和点云生成模块130。其中，稀疏匹配模块110，用于读取无人机拍摄采集到的多张影像，通过GPU由多张影像中提取出同名特征和同名像点，并基于同名特征和同名像点进行特征点匹配，获取相应的匹配点对信息。平差处理模块120，用于采用光束法平差原理，以共线条件方程式作为平差的基础方程，根据匹配点对信息，利用多视几何原理求解出各个影像的相对方位元素，并基于相对方位元素恢复得到无人机影像立体像对在空间坐标系中的位置姿态信息。点云生成模块130，用于基于恢复得到的无人机影像立体像对在空间坐标系中的位置姿态信息，将基准影像上像点反算至重叠影像并寻找同名像点，利用同名像点通过空间前方交会生成相应的密集点云。

其中，优选的，稀疏匹配模块110包括特征描述符建立子模块、特征点匹配子模块和剔除误配点对子模块(图中未示出)。其中，特征描述符建立子模块，用于读取无人机拍摄采集到的多张影像，使用GPU并行计算方式建立每张影像的特征描述符。特征点匹配子模块，用于根据建立的特征描述符进行特征点匹配处理，获得多个匹配点对信息。剔除误配点对子模块，用于采用RANSAC方法由多个匹配点对中获取最优匹配点对信息，剔除误配点对信息。

进一步的，平差处理模块120包括信息参数读取子模块、相对定向处理子模块、粗差探测处理子模块和多视角联合平差处理子模块(图中未示出)。其中，信息参数读取子模块，用于读取匹配点对信息以及用于拍摄采集多张影像的相机参数。相对定向处理子模块，用于根据读取到的匹配点对信息和相机参数，利用多视几何原理对各个影像进行相对定向处理，求解出各个影像的相对方位元素。粗差探测处理子模块，用于对求解得到的相对方位元素进行粗差探测与剔除处理。多视角联合平差处理子模块，用于粗差探测处理子模块对求解得到的相对方位元素进行粗差探测与剔除处理后，再进行多视角联合平差处理，得到并输出相应的平差结果。其中，平差结果包括无人机影像立体像对在空间坐标系中的位置姿态信息。

更进一步的，平差处理模块120还包括判断子模块和绝对定向处理子模块(图中未示出)。其中，判断子模块，用于相对定向处理子模块利用多视几何原理对各个影像进行相对定向处理，求解出各个影像的相对方位元素后，判断当前正在处理的影像中是否存在控制点或GPS数据。绝对定向处理子模块，用于当判断子模块判断出存在控制点或GPS数据时，利用控制点或GPS数据对相对方位元素进行绝对定向处理后，再跳转至粗差探测剔除子模块和多视角联合平差处理子模块，由粗差探测剔除子模块和多视角联合平差处理子模块分别执行对求解得到的相对方位元素进行粗差探测与剔除处理，以及多视角联合平差处理的步骤。判断子模块，还用于在判断出不存在控制点或GPS数据时，直接跳转至粗差探测剔除子模块和多视角联合平差处理子模块，由粗差探测剔除子模块和多视角联合平差处理子模块分别执行对求解得到的相对方位元素进行粗差探测与剔除处理，以及多视角联合平差处理的步骤。

另外，还需要说明的是，在本发明的密集点云生成***100的另一具体实施例中，点云生成模块130包括单面点云获取子模块、接边点云获取子模块和点云融合子模块(图中未示出)。其中，单面点云获取子模块，用于根据无人机影像立体像对在空间坐标系中的位置姿态信息，利用GPU并行加速手段，获取目标空间物体的顶面信息点云和多个侧面信息点云。接边点云获取子模块，用于以预设的基准影像为基准，分别将其他各个影像与基准影像进行组合，获取相应的初始匹配结果，并以初始匹配结果为初值，通过分析和调整匹配参数，得到基准影像与其他各个影像的接边点云；其中，初始匹配结果中包含同名像点信息。点云融合子模块，用于通过空间分析方法，以单镜头多视匹配点云为主，并以多镜头接边点云为辅，将所有的匹配点云进行融合，得到相应的密集点云。

本发明的密集点云生成***100，通过SIFT稀疏匹配和多视密集匹配，综合利用了计算机视觉和数字摄影测量领域中的多视角数字影像密集匹配方法，既能够充分利用影像数据的精确定位信息，快速计算出重叠影像及其搜索范围，又能够利用特征点辅助多视匹配的方法，缓解影像匹配过程中的特征重复、纹理单一、几何变形严重、成像比例尺不一、光照差异、遮挡等难点问题。

另外，还需要说明的是，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种密集点云生成方法，其特征在于，包括如下步骤：

读取无人机拍摄采集到的多张影像，通过GPU由多张影像中提取出同名特征和同名像点，并基于所述同名特征和所述同名像点进行特征点匹配，获取相应的匹配点对信息；

采用光束法平差原理，以共线条件方程式作为平差的基础方程，根据所述匹配点对信息，利用多视几何原理求解出各个所述影像的相对方位元素，并基于所述相对方位元素恢复得到无人机影像立体像对在空间坐标系中的位置姿态信息；

基于恢复得到的所述无人机影像立体像对在空间坐标系中的所述位置姿态信息，将基准影像上像点反算至重叠影像并寻找所述同名像点，利用所述同名像点通过空间前方交会生成相应的密集点云；

其中，所述读取无人机拍摄采集到的多张影像，通过GPU由多张影像中提取出同名特征和同名像点，并基于所述同名特征和所述同名像点进行特征点匹配，获取相应的匹配点对信息，包括如下步骤：

读取无人机拍摄采集到的多张影像，使用GPU并行计算方式建立每张影像的特征描述符；

根据建立的所述特征描述符进行特征点匹配处理，获得多个所述匹配点对信息；

采用RANSAC方法由多个所述匹配点对中获取最优匹配点对信息，剔除误配点对信息；

其中，根据建立的所述特征描述符进行特征点匹配处理，获得多个所述匹配点对信息时，包括：

计算不同特征点描述符的欧式距离，对每张待匹配影像上的不同特征点，计算其描述符的差平方和测度作为匹配的相似度测度，以测度最小的点对作为候选匹配点对；

确定匹配点对：对每个待匹配特征点，通过K-D树优先搜索得到与其描述符的欧氏距离最邻近和次邻近的两个特征点，将最近邻和次近邻的欧氏距离之比与阈值比较，剔除不可靠的点对；

其中，采用RANSAC方法由多个所述匹配点对中获取最优匹配点对信息，剔除误配点对信息，包括：

从以求得的匹配点对中抽取几对配准点，计算变换矩阵，并将这几对点记录为“内点”继续寻找匹配点对中的非内点，若这些匹配点对符合矩阵，则将其添加到内点；

当内点中的点对数大于样本总点对的25％时，则判定此矩阵为精确的变换矩阵；

依照上述变换矩阵的判定方式，随机采样N次，选取内点数最大集合，剔除非内点等误配点对。

2.根据权利要求1所述的密集点云生成方法，其特征在于，所述采用光束法平差原理，以共线条件方程式作为平差的基础方程，根据所述匹配点对信息，利用多视几何原理求解出各个所述影像的相对方位元素，并基于所述相对方位元素恢复得到无人机影像立体像对在空间坐标系中的位置姿态信息，包括如下步骤：

读取匹配点对信息以及用于拍摄采集多张影像的相机参数；

根据读取到的所述匹配点对信息和所述相机参数，利用多视几何原理对各个所述影像进行相对定向处理，求解出各个所述影像的相对方位元素；

对求解得到的所述相对方位元素进行粗差探测与剔除处理，以及多视角联合平差处理，得到并输出相应的平差结果；

其中，所述平差结果包括所述无人机影像立体像对在空间坐标系中的位置姿态信息。

3.根据权利要求2所述的密集点云生成方法，其特征在于，所述根据读取到的所述匹配点对信息和所述相机参数，利用多视几何原理对各个所述影像进行相对定向处理，求解出各个所述影像的相对方位元素，包括如下步骤：

判断当前正在处理的影像中是否存在控制点或GPS数据；

若是，则利用所述控制点或所述GPS数据对所述相对方位元素进行绝对定向处理后，再执行所述对求解得到的所述相对方位元素进行粗差探测与剔除处理，以及多视角联合平差处理的步骤；

若否，则直接执行所述对求解得到的所述相对方位元素进行粗差探测与剔除处理，以及多视角联合平差处理的步骤。

4.根据权利要求1至3任一项所述的密集点云生成方法，其特征在于，所述基于恢复得到的所述无人机影像立体像对在空间坐标系中的所述位置姿态信息，将基准影像上像点反算至重叠影像并寻找所述同名像点，利用所述同名像点通过空间前方交会生成相应的密集点云，包括如下步骤：

根据所述无人机影像立体像对在空间坐标系中的所述位置姿态信息，利用GPU并行加速手段，获取目标空间物体的顶面信息点云和多个侧面信息点云；

以预设的基准影像为基准，分别将其他各个影像与所述基准影像进行组合，获取相应的初始匹配结果，并以所述初始匹配结果为初值，通过分析和调整匹配参数，得到所述基准影像与其他各个影像的接边点云；其中，初始匹配结果中包含所述同名像点信息；

通过空间分析方法，以单镜头多视匹配点云为主，并以多镜头接边点云为辅，将所有的匹配点云进行融合，得到相应的密集点云。

5.一种密集点云生成***，其特征在于，包括稀疏匹配模块、平差处理模块和点云生成模块；

其中，所述稀疏匹配模块，用于读取无人机拍摄采集到的多张影像，通过GPU由多张影像中提取出同名特征和同名像点，并基于所述同名特征和所述同名像点进行特征点匹配，获取相应的匹配点对信息；

所述平差处理模块，用于采用光束法平差原理，以共线条件方程式作为平差的基础方程，根据所述匹配点对信息，利用多视几何原理求解出各个所述影像的相对方位元素，并基于所述相对方位元素恢复得到无人机影像立体像对在空间坐标系中的位置姿态信息；

所述点云生成模块，用于基于恢复得到的所述无人机影像立体像对在空间坐标系中的所述位置姿态信息，将基准影像上像点反算至重叠影像并寻找所述同名像点，利用所述同名像点通过空间前方交会生成相应的密集点云；

其中，所述稀疏匹配模块包括特征描述符建立子模块、特征点匹配子模块和剔除误配点对子模块；

所述特征描述符建立子模块，用于读取无人机拍摄采集到的多张影像，使用GPU并行计算方式建立每张影像的特征描述符；

所述特征点匹配子模块，用于根据建立的所述特征描述符进行特征点匹配处理，获得多个所述匹配点对信息；

所述剔除误配点对子模块，用于采用RANSAC方法由多个所述匹配点对中获取最优匹配点对信息，剔除误配点对信息；

其中，所述特征点匹配子模块，被配置为根据建立的所述特征描述符进行特征点匹配处理，获得多个所述匹配点对信息时，包括：

计算不同特征点描述符的欧式距离，对每张待匹配影像上的不同特征点，计算其描述符的差平方和测度作为匹配的相似度测度，以测度最小的点对作为候选匹配点对；

确定匹配点对：对每个待匹配特征点，通过K-D树优先搜索得到与其描述符的欧氏距离最邻近和次邻近的两个特征点，将最近邻和次近邻的欧氏距离之比与阈值比较，剔除不可靠的点对；

所述剔除误配点对子模块，被配置为采用RANSAC方法由多个所述匹配点对中获取最优匹配点对信息，剔除误配点对信息时，包括：

从以求得的匹配点对中抽取几对配准点，计算变换矩阵，并将这几对点记录为“内点”继续寻找匹配点对中的非内点，若这些匹配点对符合矩阵，则将其添加到内点；

当内点中的点对数大于样本总点对的25％时，则判定此矩阵为精确的变换矩阵；

依照上述变换矩阵的判定方式，随机采样N次，选取内点数最大集合，剔除非内点等误配点对。

6.根据权利要求5所述的密集点云生成***，其特征在于，所述平差处理模块包括信息参数读取子模块、相对定向处理子模块、粗差探测处理子模块和多视角联合平差处理子模块；

所述信息参数读取子模块，用于读取匹配点对信息以及用于拍摄采集多张影像的相机参数；

所述相对定向处理子模块，用于根据读取到的所述匹配点对信息和所述相机参数，利用多视几何原理对各个所述影像进行相对定向处理，求解出各个所述影像的相对方位元素；

所述粗差探测处理子模块，用于对求解得到的所述相对方位元素进行粗差探测与剔除处理；

所述多视角联合平差处理子模块，用于所述粗差探测处理子模块对求解得到的所述相对方位元素进行粗差探测与剔除处理后，再进行多视角联合平差处理，得到并输出相应的平差结果；

其中，所述平差结果包括所述无人机影像立体像对在空间坐标系中的位置姿态信息。

7.根据权利要求6所述的密集点云生成***，其特征在于，所述平差处理模块还包括判断子模块和绝对定向处理子模块；

其中，所述判断子模块，用于所述相对定向处理子模块利用多视几何原理对各个所述影像进行相对定向处理，求解出各个所述影像的相对方位元素后，判断当前正在处理的影像中是否存在控制点或GPS数据；

所述绝对定向处理子模块，用于当所述判断子模块判断出存在所述控制点或所述GPS数据时，利用所述控制点或所述GPS数据对所述相对方位元素进行绝对定向处理后，再跳转至所述粗差探测剔除子模块和所述多视角联合平差处理子模块，由所述粗差探测剔除子模块和所述多视角联合平差处理子模块分别执行所述对求解得到的所述相对方位元素进行粗差探测与剔除处理，以及多视角联合平差处理的步骤；

所述判断子模块，还用于在判断出不存在所述控制点或所述GPS数据时，直接跳转至所述粗差探测剔除子模块和所述多视角联合平差处理子模块，由所述粗差探测剔除子模块和所述多视角联合平差处理子模块分别执行所述对求解得到的所述相对方位元素进行粗差探测与剔除处理，以及多视角联合平差处理的步骤。

8.根据权利要求5至7任一项所述的密集点云生成***，其特征在于，所述点云生成模块包括单面点云获取子模块、接边点云获取子模块和点云融合子模块；

其中，所述单面点云获取子模块，用于根据所述无人机影像立体像对在空间坐标系中的所述位置姿态信息，利用GPU并行加速手段，获取目标空间物体的顶面信息点云和多个侧面信息点云；

所述接边点云获取子模块，用于以预设的基准影像为基准，分别将其他各个影像与所述基准影像进行组合，获取相应的初始匹配结果，并以所述初始匹配结果为初值，通过分析和调整匹配参数，得到所述基准影像与其他各个影像的接边点云；其中，初始匹配结果中包含所述同名像点信息；

所述点云融合子模块，用于通过空间分析方法，以单镜头多视匹配点云为主，并以多镜头接边点云为辅，将所有的匹配点云进行融合，得到相应的密集点云。

Images