CN103927785B - 一种面向近景摄影立体影像数据的特征点匹配方法 - Google Patents

Abstract

本发明提供一种面向近景摄影立体影像数据的特征点匹配方法，包括如下步骤：将同名影像对先后以子区域和三角形为约束条件进行特征点正向匹配并得到正向同名像点群，将同名影像先后对以子区域和三角形为约束条件进行特征点逆向匹配并得到逆向同名像点群，保留正向同名像点群和逆向同名像点群中相匹配的同名像点结果，得到最终匹配的同名像点结果；本发明依次采用子区域和三角形作为约束条件进行特征点检测，大大提高了特征点检测的时间效率并且提高了正确匹配点数目，在近景摄影立体影像匹配中具有重要的应用价值。

Description

一种面向近景摄影立体影像数据的特征点匹配方法

技术领域

本发明属于数字近景摄影领域，涉及一种特征点匹配方法。

背景技术

随着现代测绘技术的发展，数字摄影测量可以为数字地球、城市三维建模等提供数据和支持。对于数字摄影测量所获得的原始数据，比较重要的是数字影像的特征，包括点状特征、线状特征和面状特征。对这些特征的提取方法是影像分析和影像匹配的基础，可利用各种算子来进行，例如：Moravec算子、Forstner算子和Harris算子均可以用来提取特征点。对数字影像中的明显目标，不仅需要识别它们，还需要确定它们的位置。摄影测量中立体像对的量测是提取物体三维信息的基础。数字摄影测量中以影像匹配代替传统的人工观测，来达到自动确定同名像点的目的。影像匹配实质上是在两幅或多幅影像之间识别同名像点，它是数字摄影测量及计算机视觉的核心问题。基于灰度的匹配方法是一种较成熟的匹配方法，主要包括基于灰度相似度检测和最小二乘影像匹配的方法，它们都是以同名影像相似度为基础。

尺度不变特征转换(Scale-invariant feature transform，SIFT)是David Lowe提出的局部特征描述子，其将斑点检测、特征矢量生成和特征匹配搜索等步骤完整地结合在一起进行优化，达到了接近实时的运算速度。SIFT特征匹配算法可以处理两幅图像之间发生平移、旋转、仿射变换情况下的匹配问题，具有很强的匹配能力。然而，在获取影像数据时，由于可能会受到降水反射、土体运动、高速相机焦距设置和检校精度、拍摄角度以及场景布置等因素的影响，影像数据容易出现模糊、特征不明显、纹理不清晰等质量问题，此时，若采用常规的影像匹配方法，会出现正确匹配点少、误匹配点多的情况。

发明内容

本发明针对现有技术的不足，目的在于提供一种能够提高正确匹配点数目、降低误匹配点数目并且提高了特征点检测的时间效率的面向近景摄影立体影像数据的特征点匹配方法。

为达到上述目的，本发明的解决方案是：

一种面向近景摄影立体影像数据特征点的匹配方法，包括如下步骤：

(1)、采用平行摄影的方式对待匹配场景进行拍摄，选择同一时刻两个相机分别拍摄的两幅图像作为第一幅图像和的第二幅图像，在第一幅图像中选取第一待匹配区域，在第二幅图像中并选取与第一待匹配区域对应的第二待匹配区域；

(2)、利用SIFT算法分别检测第一待匹配区域的特征点和第二待匹配区域的特征点，以第一待匹配区域内的特征点为基准分别将第一待匹配区域和第二待匹配区域分割为多个一一对应的子区域；

(3)、分别以第一待匹配区域的各个子区域为约束条件，利用最近邻距离算法进行由第一待匹配区域的子区域向第二待匹配区域的对应子区域的特征点正向匹配，最终匹配出各个子区域的同名像点；

(4)、以第一待匹配区域的各个子区域的同名像点和位于子区域边缘上的特征点作为三角形的三个顶点分割子区域并构建三角网络；

(5)、以步骤(4)所得三角网络中的各个三角形为约束条件，利用最近邻距离算法进行由第一待匹配区域的三角形向第二待匹配区域的对应三角形的特征点循环正向匹配，得到正向同名像点群；

(6)、分别以第二待匹配区域的各个子区域为约束条件，利用最近邻距离算法进行由第二待匹配区域的子区域向第一待匹配区域的对应子区域的特征点逆向匹配，最终匹配出各个子区域的同名像点；

(7)、以第二待匹配区域的各个子区域的同名像点和位于子区域边缘上的特征点作为三角形的三个顶点分割子区域并构建三角网络；

(8)、以步骤(7)所得三角网络中的各个三角形为约束条件，利用最近邻距离算法进行由第二待匹配区域的三角形向第一待匹配区域的对应三角形的特征点循环逆向匹配，得到逆向同名像点群；

(9)、根据正向同名像点群和逆向同名像点群得到正确匹配的同名像点结果。

在步骤(2)中，根据第一待匹配区域和第二待匹配区域各自的坡度和坡向并把第一待匹配区域和第二待匹配区域目视相同的特征点作为子区域的分割点，把第一待匹配区域和第二待匹配区域完整地分割成数个对应的子区域。进一步地，第一待匹配区域或者第二待匹配区域各自的相邻子区域间有部分重叠。

步骤(5)中的特征点循环正向匹配具体包括：

第一步、设定预设循环次数和三角形大小阈值，；

第二步、将步骤(4)所得三角网络中的各个三角形作为第一级三角形，以第一级三角形为约束条件，利用最近邻距离算法进行由第一待匹配区域的第一级三角形向第二待匹配区域的对应三角形的特征点正向匹配，得到各个第一级三角形的同名像点，n设定为1，m设定为0；

第三步、n＝n+1，利用第n-1级三角形中正确匹配的同名像点与子区域的分割点作为三角形的三个顶点构建第n级三角形；

第四步、以第n级三角形为约束条件，利用最近邻距离算法进行由第一待匹配区域的第n级三角形向第二待匹配区域的对应三角形的特征点正向匹配，并通过多次循环RANSAC算法剔除误匹配特征点，得出正确匹配的同名像点，m＝m+1；

第五步、判断m是否不小于预设循环次数并且第n级三角形的大小是否均小于三角形大小阈值，当m不小于预设循环次数并且第n级三角形的大小均小于三角形大小阈值时，得到正向同名像点群，否则返回执行第三步，

其中，n为三角形的级别，m为循环次数。

步骤(8)中的特征点循环逆向匹配具体包括：

第一步、设定预设循环次数和三角形大小阈值；

第二步、将步骤(7)所得三角网络中的各个三角形作为第一级三角形，以第一级三角形为约束条件，利用最近邻距离算法进行由第二待匹配区域的第一级三角形向第一待匹配区域的对应三角形的特征点逆向匹配，得到各个第一级三角形的同名像点，n'设定为1，m'设定为0；

第三步、n'＝n'+1'，利用第n'-1级三角形中正确匹配的同名像点与子区域的分割点作为三角形的三个顶点构建第n'级三角形；

第四步、以第n'级三角形为约束条件，利用最近邻距离算法进行由第二待匹配区域的第n'级三角形向第一待匹配区域的对应三角形的特征点逆向匹配，并通过多次循环RANSAC算法剔除误匹配特征点，得出正确匹配的同名像点，m'＝m'+1；

第五步、判断m'是否不小于预设循环次数并且第n'级三角形的大小是否均小于三角形大小阈值，当m'不小于预设循环次数并且第n'级三角形的大小均小于三角形大小阈值时，得到逆向同名像点群，否则返回执行第三步，

其中，n'为三角形的级别，m'为循环次数。

由于采用上述方案，本发明的有益效果是：

首先，本方法依次采用子区域和Delaunay三角形作为约束条件进行特征点检测，大大提高了特征点检测的时间效率；其次，本方法多次采用循环RANSAC算法剔除误匹配的特征点，从而降低了剔除正确同名像点的概率；另外，本方法利用SIFT算子基于特征进行匹配，不涉及影像的内外方位元素，避免了相机参数未知或相机检校参数误差较大对匹配结果精度的影响；最后，本方法采取逐级约束特征点区域进行匹配，避免了因特征相似导致的误匹配。

附图说明

图1为本发明实施例中的面向近景摄影立体影像数据的特征点匹配方法的流程图。

图2为本发明实施例中的循环进行的特征点正向匹配的流程图。

图3为本发明实施例中的循环进行的特征点逆向匹配的流程图。

具体实施方式

以下结合附图所示实施例对本发明作进一步的说明。

实施例

本实施例提供了一种面向近景摄影立体影像数据的特征点匹配方法，其主要利用子区域和Delaunay三角形作为约束条件，采用SIFT算子进行特征点检测和匹配，并伴随着多次循环RANSAC算子(Random Sample Consensus)删除误匹配的同名像点，从而提高了正确匹配点数并且降低了误匹配点数。

如图1所示，本实施例中的面向近景摄影立体影像数据的特征点匹配方法包括如下步骤：

第一步、获取同名影像对并选取待匹配区域，具体包括：

使用高速相机采用平行摄影的方式对同一待匹配场景进行拍摄，获得多幅数字图像，从中选择同一时刻两个高速相机分别拍摄的两幅图像分别作为第一幅图像和第二幅图像(也即组成了同名影像对)。为了提高特征点检测的时间效率，根据具体需要从第一幅图像选择待匹配的区域作为第一待匹配区域，从第二幅图像中选择与第一待匹配区域对应的区域作为第二待匹配区域。

第二步、利用SIFT算法分别检测出第一待匹配区域的特征点和第二待匹配区域的特征点。SIFT算法包括特征点检测和同名像点匹配，其中，特征点检测是在图像的尺度空间中搜索出图像的局部极值点，然后去除对比度低的极值点和不稳定的边缘响应点，从而确定图像的特征点，之后对特征点周围区域进行图像分块，计算各块内的梯度直方图，生成独特性的向量描述符，即128维的特征描述子，来描述每个特征点的位置、尺度和方向信息。

第三步、以第一待匹配区域内的特征点为基准，分别将第一待匹配区域和第二待匹配区域分割为多个子区域，使得第一待匹配区域的子区域和第二待匹配区域的子区域呈一一对应关系。在分割时，要综合考虑第一待匹配区域和第二待匹配区域各自的坡度和坡向等特征，并将第一待匹配区域和第二待匹配区域中目视明显相同的特征点作为子区域的分割点，把第一待匹配区域和第二待匹配区域完整地分割成数个对应的子区域。分割时要保证第一待匹配区域或者第二待匹配区域各自的相邻子区域间有部分重叠，以保证在子区域交界处特征点的成功匹配。

第四步、分别以第一待匹配区域的各个子区域为约束条件，利用最近邻距离算法进行由第一待匹配区域的子区域向第二待匹配区域的对应子区域的特征点单向匹配(正向匹配)，并通过多次循环RANSAC算法剔除误匹配的特征点，从而匹配出第一待匹配区域和第二待匹配区域的各个子区域的同名像点。

本步骤中，SIFT算法中的同名像点匹配采用最近邻距离算法，该最近邻距离算法以子区域作为约束条件，能够限定同名像点的搜索范围，不仅提高了同名像点匹配的时间效率，而且还显著降低了误匹配率。在该约束条件下，按照各个子区域内的已检测出来的特征点，分别对各个子区域的特征点采用最近邻距离算法进行特征点匹配，即采用和样本特征点最近邻的特征点的欧式距离与次近邻特征点的欧氏距离的比值与设定的阈值比较，若比值小于阈值，则认为是特征点。然而，对各个子区域内匹配的特征点，会存在误匹配结果，可以通过多次循环RANSAC算法剔除误匹配的特征点。

RANSAC算法是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法。该算法的基本假设是样本中包含正确数据，也包含异常数据，当给定一组正确的数据，存在可以计算出符合这些数据的模型参数的方法。RANSAC算法首先是在样本数据集中随机抽取一个子集并初始化为模型，判断数据集中的其他数据是否满足该模型，若满足则构成一致集并计算新的模型，直至算法结束。根据该算法的原理，可以得出：由于随机抽取的数据子集不一样，其构建的初始模型也会不同，部分正确的数据由于不满足该模型被误认为错误的数据而剔除，所以构成的一致集中包含的样本数据和经过该算法得到的结果也会有所区别。

若是仅利用SIFT算子对整个待匹配区域进行特征点检测和同名像点匹配，则匹配结果中存在很多的误匹配点，这就需要利用RANSAC算子进行误匹配点剔除。如果仅对结果运行一次RANSAC算子，结果中虽然只有正确的同名像点，但是大量的正确匹配点也同样被认为是误匹配点被剔除，因此需要循环RANSAC算法；当循环RANSAC算法至数百次时，由于每次循环初始的模型有可能不同，故可以降低剔除正确同名像点的概率。

第五步、以各个子区域内已匹配出来的同名像点和子区域的分割点作为三角形的三个顶点，分别在第一待匹配区域的各个子区域和第二待匹配区域的各个子区域内构建Delaunay三角形，并将Delaunay三角形作为第一级三角形，多个第一级三角形共同形成第一级三角网络。

第六步、以第五步所得第一级三角网络中的各个第一级三角形为初始约束条件，利用最近邻距离算法进行由第一待匹配区域的三角形向第二待匹配区域的对应三角形的特征点循环单向匹配(正向匹配)和第n级三角形的构建，最终得到正向同名像点群。

其中，如图2所示，第六步具体包括如下分步骤：

步骤1-1、设定预设循环次数和三角形大小阈值；

步骤1-2、以第五步所得第一级三角形为约束条件，利用最近邻距离算法进行由第一待匹配区域的第一级三角形向第二待匹配区域的对应三角形的特征点单向匹配(正向匹配)，并通过多次循环RANSAC算法剔除误匹配特征点，得出正确匹配的各个第一级三角形的同名像点，三角形的级别n设定为1，循环次数m的值设定为0；

步骤1-3、使得三角形的级别n＝n+1，利用第n-1级三角形中正确匹配的同名像点与子区域的分割点作为三角形的三个顶点构建第n级三角形；

步骤1-4、以第n级三角形为约束条件，利用最近邻距离算法进行由第一待匹配区域的第n级三角形向第二待匹配区域的对应三角形的特征点单向匹配(正向匹配)，并通过多次循环RANSAC算法剔除误匹配特征点，得出正确匹配的同名像点，循环次数m＝m+1；

步骤1-5、判断循环次数m是否不小于预设循环次数m₀并且第n级三角形的大小Tn是否均小于三角形大小阈值T₀，当循环次数m不小于预设循环次数并且第n级三角形的大小均小于三角形大小阈值时，得到正向同名像点群，然后结束第六步，否则返回执行步骤1-3。

第七步、分别以第二待匹配区域的各个子区域为约束条件，利用最近邻距离算法进行由第二待匹配区域的子区域向第一待匹配区域的对应子区域的特征点单向匹配(逆向匹配)，并通过多次循环RANSAC算法剔除误匹配的特征点，从而匹配出第一待匹配区域和第二待匹配区域的各个子区域的同名像点。

第八步、以各个子区域内已匹配出来的同名像点和子区域的分割点作为三角形的三个顶点，分别在第一待匹配区域的各个子区域和第二待匹配区域的各个子区域内构建Delaunay三角形，并将该Delaunay三角形作为第一级三角形，多个第一级三角形共同形成第一级三角网络。

第九步、以第八步所得第一级三角网络中的各个第一级三角形为初始约束条件，利用最近邻距离算法进行由第二待匹配区域的三角形向第一待匹配区域的对应三角形的特征点循环单向匹配(逆向匹配)和第n'级三角形的构建，最终得到逆向同名像点群。

其中，如图3所示，第九步具体包括如下分步骤：

步骤2-1、设定预设循环次数和三角形大小阈值；

步骤2-2、以第八步所得第一级三角形为约束条件，利用最近邻距离算法进行由第二待匹配区域的第一级三角形向第一待匹配区域的对应三角形的特征点单向匹配(逆向匹配)，并通过多次循环RANSAC算法剔除误匹配特征点，得出正确匹配的各个第一级三角形的同名像点，三角形的级别n'设定1，循环次数m'的值设定为0；

步骤2-3、使得三角形的级别n'＝n'+1，利用第n-1级三角形中正确匹配的同名像点与子区域的分割点作为三角形的三个顶点构建第n'级三角形；

步骤2-4、以第n'级三角形为约束条件，利用最近邻距离算法进行由第二待匹配区域的第n级三角形向第一待匹配区域的对应三角形的特征点单向匹配(逆向匹配)，并通过多次循环RANSAC算法剔除误匹配特征点，得出正确匹配的同名像点，使循环次数m'＝m'+1；

步骤2-5、判断循环次数m'是否不小于预设循环次数m'₀并且第n'级三角形的大小T'_n是否均小于三角形大小阈值T'₀，当循环次数m'不小于预设循环次数并且第n'级三角形的大小均小于三角形大小阈值时，得到逆向同名像点群，然后结束第九步，否则返回执行步骤2-3。

因为同名影像对通过SIFT算子可以检测非常密集的特征点，目视观察发现会有大量的同名像点，经过子区域和三角网约束匹配的同名像点并通过RANSAC算子剔除误匹配点之后，仍然有很多同名像点没有匹配成功。因此，可以通过逆向匹配，即以同名影像对中的另外一副图像为基准进行特征点的逆向匹配。

第十步、保留正向同名像点群和逆向同名像点群中相匹配的同名像点结果，即得到最终匹配的同名像点结果。

按照本实施例提到的方法，采用滑坡模拟平台下高速相机拍摄的立体影像数据验证其可行性。当不采用本实施例的方法时而采用基于灰度相似度匹配方法，整个滑坡体仅正确匹配出422对同名像点，并且滑坡体的下部仅匹配出12个同名像点。使用本实施例的方法，以子区域和循环构建的三角网为约束条件，先后利用同名影像对作为基准影像，按照SIFT算法进行匹配并多次循环RANSAC算法剔除误匹配点。经过测试该数据，结果显示，同名影像对中可较均匀地匹配出同名像点4552个，匹配数目是以前的10倍，大大提高了正确匹配点数。

综上所述，在成像模型、外界环境等因素的影响下，高速相机所获取的影像数据质量较差，若直接采用SIFT和RANSAC算法，出现成功匹配出的同名像点少、分布不均等结果；而本实施例采用按子区域和三角网为约束条件多次循环RANSAC算法并且进行同名影像对的双向匹配，得到同名像点数据多且分布均匀，并且降低了误匹配点，在近景摄影立体影像匹配及三维立体模型重建等方面具有重要的应用价值。

上述的对实施例的描述是为便于该技术领域的普通技术人员能理解和使用本发明。熟悉本领域技术的人员显然可以容易地对这些实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，不脱离本发明范畴所做出的改进和修改都应该在本发明的保护范围之内。

Claims (5)

1.一种面向近景摄影立体影像数据的特征点匹配方法，其特征在于：包括如下步骤：

(1)、采用平行摄影的方式对待匹配场景进行拍摄，选择同一时刻两个相机分别拍摄的两幅图像作为第一幅图像和第二幅图像，在所述第一幅图像中选取第一待匹配区域，在所述第二幅图像中并选取与所述第一待匹配区域对应的第二待匹配区域；

(2)、利用SIFT算法分别检测所述第一待匹配区域的特征点和所述第二待匹配区域的特征点，以所述第一待匹配区域内的特征点为基准分别将所述第一待匹配区域和所述第二待匹配区域分割为多个一一对应的子区域；

(3)、分别以所述第一待匹配区域的各个子区域为约束条件，利用最近邻距离算法进行由所述第一待匹配区域的子区域向所述第二待匹配区域的对应子区域的特征点正向匹配，最终匹配出各个子区域的同名像点；

(4)、以所述第一待匹配区域的各个子区域的同名像点和位于所述子区域边缘上的特征点作为三角形的三个顶点分割子区域并构建三角网络；

(5)、以步骤(4)所得三角网络中的各个三角形为约束条件，利用最近邻距离算法进行由所述第一待匹配区域的三角形向所述第二待匹配区域的对应三角形的特征点循环正向匹配，得到正向同名像点群；

(6)、分别以所述第二待匹配区域的各个子区域为约束条件，利用最近邻距离算法进行由所述第二待匹配区域的子区域向所述第一待匹配区域的对应子区域的特征点逆向匹配，最终匹配出各个子区域的同名像点；

(7)、以所述第二待匹配区域的各个子区域的同名像点和位于所述子区域边缘上的特征点作为三角形的三个顶点分割子区域并构建三角网络；

(8)、以步骤(7)所得三角网络中的各个三角形为约束条件，利用最近邻距离算法进行由所述第二待匹配区域的三角形向所述第一待匹配区域的对应三角形的特征点循环逆向匹配，得到逆向同名像点群；

(9)、根据所述正向同名像点群和所述逆向同名像点群得到正确匹配的同名像点结果。

2.根据权利要求1所述的面向近景摄影立体影像数据的特征点匹配方法，其特征在于：在步骤(2)中，根据所述第一待匹配区域和所述第二待匹配区域各自的坡度和坡向并把所述第一待匹配区域和所述第二待匹配区域目视相同的特征点作为子区域的分割点，把所述第一待匹配区域和所述第二待匹配区域完整地分割成数个对应的子区域。

3.根据权利要求2所述的面向近景摄影立体影像数据的特征点匹配方法，其特征在于：所述第一待匹配区域或者所述第二待匹配区域各自的相邻子区域间有部分重叠。

4.根据权利要求2所述的面向近景摄影立体影像数据的特征点匹配方法，其特征在于：步骤(5)中的所述特征点循环正向匹配包括：

第一步、设定预设循环次数和三角形大小阈值；

第二步、将步骤(4)所得三角网络中的各个三角形作为第一级三角形，以所述第一级三角形为约束条件，利用所述最近邻距离算法进行由所述第一待匹配区域的第一级三角形向所述第二待匹配区域的对应三角形的特征点正向匹配，得到各个所述第一级三角形的同名像点，n设定为1，m设定为0；

第三步、n＝n+1，利用第n‐1级三角形中正确匹配的同名像点与子区域的所述分割点作为三角形的三个顶点构建第n级三角形；

第四步、以所述第n级三角形为约束条件，利用所述最近邻距离算法进行由所述第一待匹配区域的所述第n级三角形向所述第二待匹配区域的对应三角形的特征点正向匹配，并通过多次循环RANSAC算法剔除误匹配特征点，得出正确匹配的同名像点，m＝m+1；

第五步、判断m是否不小于所述预设循环次数并且第n级三角形的大小是否均小于所述三角形大小阈值，当m不小于所述预设循环次数并且所述第n级三角形的大小均小于所述三角形大小阈值时，得到正向同名像点群，否则返回执行第三步，

其中，n为三角形的级别，m为循环次数。

5.根据权利要求2所述的面向近景摄影立体影像数据的特征点匹配方法，其特征在于：步骤(8)中的所述特征点循环逆向匹配包括：

第一步、设定预设循环次数和三角形大小阈值；

第二步、将步骤(7)所得三角网络中的各个三角形作为第一级三角形，以所述第一级三角形为约束条件，利用所述最近邻距离算法进行由所述第二待匹配区域的第一级三角形向所述第一待匹配区域的对应三角形的特征点逆向匹配，得到各个所述第一级三角形的同名像点，n'设定为1，m'设定为0；

第三步、n'＝n'+1'，利用第n'‐1级三角形中正确匹配的同名像点与子区域的所述分割点作为三角形的三个顶点构建第n'级三角形；

第四步、以所述第n'级三角形为约束条件，利用所述最近邻距离算法进行由所述第二待匹配区域的所述第n'级三角形向所述第一待匹配区域的对应三角形的特征点逆向匹配，并通过多次循环RANSAC算法剔除误匹配特征点，得出正确匹配的同名像点，m'＝m'+1；

第五步、判断m'是否不小于所述预设循环次数并且第n'级三角形的大小是否均小于所述三角形大小阈值，当m'不小于所述预设循环次数并且所述第n'级三角形的大小均小于所述三角形大小阈值时，得到逆向同名像点群，否则返回执行第三步，

其中，n'为三角形的级别，m'为循环次数。