CN102169581A - 一种基于特征向量的快速高精度鲁棒性匹配方法 - Google Patents

Abstract

一种基于特征向量的快速高精度鲁棒性匹配方法。由于环境的变化、目标运动的影响和传感器的缺陷，拍摄的图像不仅受噪声的影响，而且存在严重的灰度失真和几何畸变。因此，匹配方法如何达到精度高、匹配正确率高、速度快、鲁棒性和抗干扰性强以及并行实现，成为追求的目标。本发明提出了一种亚像素级的快速高精度鲁棒性匹配。首先对待处理的两幅图片分别提取SIFT特征向量，并将其进行PCA降维处理，然后利用Kd-tree对两个特征向量集进行匹配，接着利用RANSAC算法对得到的匹配点对进行筛选，并通过表面拟合技术使匹配达到亚像素级，从而得到高精度鲁棒性的特征点对。此外本发明还使用了均匀取点方法来提高匹配速度。通过本发明得到的图像匹配结果有着很高的匹配精度和较快的运行速度，实验效果表现优异。

Description

一种基于特征向量的快速高精度鲁棒性匹配方法

技术领域

本发明涉及图像特征点匹配，特别是一种基于特征向量的快速高精度鲁棒性匹配方法，属于数字图像处理领域。

背景技术

由于环境的变化、目标运动的影响和传感器的缺陷，拍摄的图像不仅受噪声的影响，而且存在严重的灰度失真和几何畸变。因此，匹配方法如何达到精度高、匹配正确率高、速度快、鲁棒性和抗干扰性强以及并行实现，成为追求的目标。

图像匹配按照提取特征的层次一般可分为基于灰度的图像匹配、基于特征的图像匹配和基于理解与解释的图像匹配三大类。基于灰度的匹配方法，思路简单，易于实现；其缺点是过分依赖图像的灰度信息，一旦遇到信息量不足或存在较大变形的图像，匹配则难免失败。基于图像理解和解释的图像匹配是最高层次的图像匹配，这类方法通过图像中目标的结构与语义描述达到匹配的目的。它不仅可以自动识别相应的像点，自动识别目标的性质，而且能够描述目标间的相互关系，理论上具有极高的准确性和可靠性。但是该技术涉及到计算机视觉、模式识别和人工智能等诸多领域，不仅仅依赖于这些领域理论上的突破，而且有待于高速并行处理计算机的发展，因此到目前为止该类方法还没有取得显著的进展。

基于特征(点、线、面等低级特征)的匹配方法恰恰能有效地克服基于灰度的匹配方法受噪声、灰度变化及各种几何变形影响的不足；此外，用特征代替原图像，大大压缩了数据量，再采用一些适当的匹配搜索策略，可大大地加快匹配速度，满足多种图像匹配的应用目的；而且基于特征匹配的结果还可以进一步被利用于物体的识别和重建，比灰度匹配具有更广阔的应用前景。因此多年来，国内外众多研究工作者都致力于基于特征的图像匹配方法的研究。

特征选择和提取是基于特征的匹配方法的关键内容，只有选择合适的特征基元和好的特征提取方法才能保证匹配结果的准确性。图像的低级特征包括点特征、线特征及面特征，线、面特征提取过程较复杂，必然耗时较多，点特征是图像中最常见的一种特征，易于表示和操作，并且也反映图像的基本特征，因此基于点特征提取的匹配技术获得了广泛的研究与应用。

特征点提取是许多图像分析过程中的重要步骤，也是数字摄影测量的关键技术之一。它广泛应用于目标识别、图像分割、三维重建、图像拼接等众多方面，一直是研究人员关注的焦点。特征点的本质问题可以归结为，在抵抗一定图像畸变的情况下，保证特征点的正确提取和匹配。然而，由于天气、阳光、遮挡以及传感器位置变化等因素导致图像发生了各种几何变形和灰度变化，稳定的特征点提取变得困难。因此研究特征点提取及其在图像匹配中的应用具有重要的理论意义和实用价值。本发明在深入研究特征点提取技术后，选择可靠性强、重复率高的特征点提取算子，并以此为基础研究适应性好的特征点匹配方法。

基于特征的匹配方法存在一定的问题：一是特征匹配的精度不高；二是基于单像的特征提取不一定能将同名特征同时提取出来，即使被提取出来，也可能被描述成不同的类型；三是缺少完美的匹配算法，匹配成功的特征往往只占总特征数的一小部分，特征稀少的后果是直接造成内插后的表面失真或根本无法内插，这在一定程度上限制了特征匹配法在摄影测量中的应用。

发明内容

本发明要解决的技术问题是：提供一种基于特征向量的高精度鲁棒性匹配方法。该方法能够在较少的时间内，找到两幅图像精确地匹配对，并将匹配特征点的位置精确到亚像素级，同时保证寻找匹配点对的鲁棒性。

本发明采用的技术方案为：一种基于特征向量的高精度鲁棒性匹配方法，其特征在于实现步骤如下：

(1)分别对两幅待匹配的图片进行SIFT特征点的提取，并对每个提取的特征点计算其特征向量，获得两个待匹配的特征点集合A、B，每个点对应一个128维的特征向量。

(2)在步骤(1)获取两幅图像的特征点后，使用表面拟合技术使所提取的特征点的位置精确到亚像素级。

(3)通过步骤(1)和步骤(2)得到两个特征向量的集合后，利用PCA主成分分析法对特征向量进行降维操作，使得后续的匹配过程更加的快速。

(4)在步骤(3)获取两幅图像精确的特征点及特征向量后，利用Kd-tree对两个待匹配的特征点集进行简单的匹配，对于集合A中的每个点在集合B中寻找特征向量间欧氏距离最近的特征点。

(5)在步骤(4)得到一系列匹配点对以后，用MLESAC(Maximum likelihood estimation sample consensus)算法对该匹配点对的集合进行筛选，去除可能的误匹配特征点，保证匹配的精确性和鲁棒性。

(6)将得到的精确匹配点对在两幅匹配图中显示出来，并将点对连接，得到最终的匹配效果图。

本发明与现有技术相比的优点在于：首先，本发明由于利用了发明内容中步骤(1)(2)所述的方法，对两幅待匹配的图像进行特征点及特征向量的提取，该方法能够提取更多的特征信息，对光照、尺度等变换有着很高的鲁棒性，其次利用表面拟合技术使特征点的位置精确到亚像素级。本发明由于利用步骤(3)的降维技术，使得特征向量只保留特征明显的数据，大大加快了其后的特征点的匹配过程。另外本发明由于利用步骤(4)(5)(6)的匹配筛选技术，对特征点进行了精确的筛选，保证了匹配的精确性和鲁棒性。

附图说明

图1为本发明的方法流程图；

图2、图3为输入的待匹配的两幅图像；

图4为计算所得的图像匹配示意图；

图5为输入的待匹配的两幅图像；

图6为计算所得的图像匹配示意图。

具体实施方式

步骤1利用SIFT(Scale Invariant Feature Transform)特征提取算法对待匹配的图像进行特征点提取并计算SIFT特征向量。

步骤1.1对一个输入图像I(x，y)，建立一个图像金字塔，然后对每级图像用高斯滤波对图像进行卷积操作。卷积公式如下：

$L(x,y,\mathrm{k\δ})=G(x,y,\mathrm{k\δ})\⊗I(x,y)$

其中G(x，y，kδ)是标准高斯方程，其中kδ表示标准偏差维度，L(x，y，kδ)则是滤后的图像。首先根据不同的k值，k₁，k₂，...，k_n，生成一系列相对应的L₁，L₂，...，L_n滤波图像；

步骤1.2根据生成的一系列的滤波图像L₁，L₂，...，L_n，生成滤波差分图像D，其定义如下。

D(x，y，δ)＝L(x，y，k_iδ)-L(x，y，k_jδ)

步骤1.3对每一个图像中的点，在这一系列的滤波差分图像中，首先横向比较它周围的8个像素点看这个点是否是极值，然后在纵向的比较看这个点是否是在对应位置的，判断在所有相邻滤波差分图像中此点是否是极值。如果两个条件都满足，此点作为特征点输出。

步骤2在对待匹配图像进行特征点提取并计算特征向量的过程中，为了提高特征点提取的运行速度，在特征点过多的情况下，我们采用了均匀取点的方法。

首先将图像均匀的分割成若干个n×n的小网格，在整个图像上形成一个网状结构，在每一个n×n的小网格里提取到的特征点的个数不能超过一个，这样就可以限制所选取的特征点的密集度，从而使选取的特征点在征得图像区域内相对均匀。当增大n的值时，用来分隔图像的小网格面积会增大，网格的数量会减少，此时选取的特征点的密集度相对稀疏，选取的特征点的总数会有所减少。相反，若小网格宽度n的值减小，则分割整幅图像的网格数目就会增大，从而就会增加选取的特征点密集度，增大特征点的数量。

步骤3使用表面拟合技术使所提取的特征点的位置精确到亚像素级。

利用提取出来的特征点及其周围的点的灰度信息(intensity)拟合一个表面(surface)，然后在这个拟合的表面寻找极值，这个找到的极值的位置便可作为更准确的特征点的位置。

假设对于图像中的点(x，y)，对应的灰度值是I(x，y)，需要拟合(fit)一个表面方程：

z(x，y)＝ax²+by²+cxy+dx+ey+f

此方程共有a，b，c，d，e，f五个未知参数，可以用(x，y)点，及其周围点来确定这些未知参数。然后找出这个表面的极值，确定其具体的位置，这就是特征点的准确位置。

步骤3.1首先以检测出的特征点为中心考察周围的3*3的9个点，计算其角点反应值(corner response)。方法如下：

$f(x,y)=\frac{\det \left(M\right)}{\mathrm{tr}\left(M\right)}=\frac{{\mathrm{\λ}}_1{\mathrm{\λ}}_2}{{\mathrm{\λ}}_1+{\mathrm{\λ}}_2}$

其中，f(x，y)即为点(x，y)处的角点反应值，M是原图像在(x，y)处的自相关矩阵(matrix of auto-correlation)，λ1、λ2为M的两个特征值。

矩阵M的定义：

$M=G\left(\mathrm{\σ}\right)\⊗\left[\begin{array}{cc}{I}_x& I_x{I}_y\\ I_x{I}_y& I_y\end{array}\right]$

其中G(σ)为高斯函数，I(x，y)为图像在(x，y)点的亮度值，而Ix、Iy分别为I在此点对x和y的一阶偏导。之前获得的特征点也就是在周围的区域内f值局部达到最大的点。

步骤3.2现在有特征点和其附近点的相对位置如下：

(y0，x0)＝(-1，-1)	(y1，x1)＝(-1，0)	(y2，x2)＝(-1，1)
			(y3，x3)＝(0，-1)	(y4，x4)＝(0，0)	(y5，x5)＝(0，1)
(y6，x6)＝(1，-1)	(y7，x7)＝(1，0)	(y8，x8)＝(1，1)

设其角点反应值分别为f0，…，f8。这里应用二次曲线来拟合表面：

z(x，y)＝ax²+by²+cxy+dx+ey+f

z(x，y)即为点(x，y)处的角点反应值，得到超定方程Ax＝B

$A=\left[\begin{array}{cccccc}{x}_0^2& y_0^2& x_0{y}_0& x_0& y_0& 1\\ x_1^2& y_1^2& x_1{y}_1& x_1& y_1& 1\\ ...& ...& ...& ...& ...& ...\\ x_8^2& y_8^2& x_8{y}_8& x_8& y_8& 1\end{array}\right],$ $x=\left[\begin{array}{c}a\\ b\\ c\\ d\\ e\\ f\end{array}\right],$ $B=\left[\begin{array}{c}{f}_0\\ f_1\\ .\\ .\\ .\\ f_8\end{array}\right]$

通过广义逆的方法解方程得到：

x＝(A^TA)^-1A^TB

这样拟合曲线各系数都已求得，通过计算各偏导为0：

$\frac{\∂z}{\∂x}=2\mathrm{ax}+\mathrm{cy}+d=0$

$\frac{\∂z}{\∂y}=2\mathrm{by}+\mathrm{cx}+e=0$

解出极值点

最终亚像素级别的特征点定位为(x+x_σ，y+y_σ)

步骤4利用PCA对特征向量进行降维操作。

对于每一个关键点，选取一个以关键点为中心的41*41像素的区域，计算垂直和水平梯度，形成投影矩阵。然后计算投影矩阵的协方差矩阵的特征值和特征向量，选取前32个特征向量。最后与关键点周围提取的像斑旋转到其主方向，计算水平与垂直梯度，形成梯度向量与前一步得到的投影矩阵相乘生成一个大小为32的PCA-SIFT算子。

步骤5寻找两个特征点集A和B中特征向量间欧氏距离最近的特征点。

首先以特征点集A的32维特征向量做一棵搜索树，然后对于特征点集B中的每个特征点，寻找与搜索树中结点间特征向量的欧式距离最近的特征点，以此作为与B中特征点对应的匹配点。

步骤6利用RANSAC算法的思想筛选初步匹配点对。

步骤6.1首先在原始简单匹配集中选取少量匹配对，用这些少量的匹配对对假设模型进行参数估计。

步骤6.2用所有的原始简单匹配集中的数据来检测上一步中估算出来的模型参数，计算符合上一步中估算的模型的数据(inliers)比例.并记录符合此模型参数的数据。

步骤6.3用符合模型参数的数据(inliers)对模型参数进行重新校准估算。

步骤6.4然后用符合模型的参数(inliers)对重新校准的模型进行误差计算(error estimation)。

以上步骤重复不断的进行直到选取误差计算中最小的模型参数作为输出，即找出一个根据此匹配计算出来的几何关系能够让最多的点满足此关系。从而找到了特征点之间的匹配关系。

本发明未详细阐述部分属于本领域技术人员的公知技术。

Claims (7)

1.一种基于特征向量的快速高精度鲁棒性匹配方法，其特征在于实现步骤如下：

(1)分别对两幅待匹配的图像进行SIFT特征点的提取，并对每个提取的特征点计算其特征向量，对应所述两幅待匹配的图像获得两个待匹配的特征点集合A、B，所述每个提取的特征点对应一个128维的特征向量，从而得到两个特征向量的集合；

(2)在步骤(1)获取两幅图像的特征点后，使用表面拟合技术使所提取的特征点的位置精确到亚像素级；

(3)通过步骤(1)和步骤(2)得到两个特征向量的集合后，利用PCA主成分分析法对特征向量进行降维操作；

(4)在步骤(3)获取两幅图像精确的特征点及特征向量后，利用Kd-tree对两组待匹配的特征点集进行简单的匹配，对于集合A中的每个点在集合B中寻找特征向量间欧氏距离最近的特征点；

(5)在步骤(4)得到一系列匹配点对以后，用MLESAC(Maximum likelihood estimation sample consensus)算法对该匹配点对的集合进行筛选，去除可能的误匹配特征点，保证匹配的精确性和鲁棒性；

(6)将得到的精确匹配点对在两幅匹配图中显示出来，并将点对连接，得到最终的匹配效果图。

2.根据权利要求1所述的一种基于特征向量的快速高精度鲁棒性匹配方法，其特征在于：所述步骤(1)对待匹配图像进行特征点提取并计算特征向量的过程如下：

(1.1)对一个输入图像I(x，y)，建立一个图像金字塔，然后对每级图像用高斯滤波对图像进行卷积操作；卷积公式如下：

$L(x,y,\mathrm{k\δ})=G(x,y,\mathrm{k\δ})\⊗I(x,y)$

其中G(x，y，kδ)是标准高斯方程，其中kδ表示标准偏差维度，L(x，y，kδ)则是滤后的图像；首先根据不同的k值，k₁，k₂，...，k_n，生成一系列相对应的L₁，L₂，...，L_n滤波图像；

(1.2)根据生成的一系列的滤波图像L₁，L₂，...，L_n，每两幅滤波图像之间生成滤波差分图像D，其定义如下：

D(x，y，δ)＝L(x，y，k_iδ)-L(x，y，k_jδ)

(1.3)在这一系列的滤波差分图像中，对于图像中的每一个点，首先横向比较图像中的每一个点周围的8个像素点看这个点是否是极值，然后在纵向比较看这个点是否是上下相邻滤波差分图像中对应位置的9个像素点的极值点；如果该点在横向、纵向都是极值点则此点作为特征点输出。

3.根据权利要求1所述的一种基于特征向量的快速高精度鲁棒性匹配方法，其特征在于：所述步骤(1)对待匹配图像进行特征点提取并计算特征向量的过程采用均匀取点的方法，具体过程如下：

首先将图像均匀的分割成若干个n×n的小网格，在每一个n×n的小网格里提取到的特征点的个数不超过一个。

4.根据权利要求1所述的一种基于特征向量的快速高精度鲁棒性匹配方法，其特征在于：所述步骤(2)使用表面拟合技术使所提取的特征点的位置精确到亚像素级的过程如下：

利用提取出来的特征点及其周围的点的灰度信息(intensity)拟合一个表面(surface)，然后在这个拟合的表面寻找极值，所述找到的极值的位置作为更准确的特征点的位置；

对于图像中的点(x，y)，对应的灰度值是I(x，y)，需要拟合(fit)一个表面方程：

z(x，y)＝ax²+by²+cxy+dx+ey+f

此方程共有a，b，c，d，e，f五个未知参数，可以用(x，y)点，及其周围点来确定这些未知参数.然后找出这个表面的极值，确定其具体的位置，这就是特征点的准确位置；具体过程如下：

(2.1)首先以检测出的特征点为中心考察周围的3*3的9个点，计算其角点反应值(corner response)，方法如下：

$f(x,y)=\frac{\det \left(M\right)}{\mathrm{tr}\left(M\right)}=\frac{{\mathrm{\λ}}_1{\mathrm{\λ}}_2}{{\mathrm{\λ}}_1+{\mathrm{\λ}}_2}$

其中，f(x，y)即为点(x，y)处的角点反应值，M是原图像在(x，y)处的自相关矩阵(matrix of auto-correlation)，λ1、λ2为M的两个特征值；

矩阵M的定义：

$M=G\left(\mathrm{\σ}\right)\⊗\left[\begin{array}{cc}{I}_x& I_x{I}_y\\ I_x{I}_y& I_y\end{array}\right]$

其中G(σ)为高斯函数，I(x，y)为图像在(x，y)点的亮度值，而Ix、Iy分别为I在此点对x和y的一阶偏导；之前获得的特征点也就是在周围的区域内f值局部达到最大的点；

(2.2)现在有特征点和其附近点的相对位置如下：

  (y₀，x₀)＝(-1，-1)   (y₁，x₁)＝(-1，0)   (y₂，x₂)＝(-1，1)   (y₃，x₃)＝(0，-1)   (y₄，x₄)＝(0，0)   (y₅，x₅)＝(0，1)   (y₆，x₆)＝(1，-1)   (y₇，x₇)＝(1，0)   (y₈，x₈)＝(1，1)

设其角点反应值分别为f0，…，f8。这里应用二次曲线来拟合表面：

z(x，y)＝ax²+by²+cxy+dx+ey+f

z(x，y)即为点(x，y)处的角点反应值，得到超定方程Ax＝B

$A=\left[\begin{array}{cccccc}{x}_0^2& y_0^2& x_0{y}_0& x_0& y_0& 1\\ x_1^2& y_1^2& x_1{y}_1& x_1& y_1& 1\\ ...& ...& ...& ...& ...& ...\\ x_8^2& y_8^2& x_8{y}_8& x_8& y_8& 1\end{array}\right],$ $x=\left[\begin{array}{c}a\\ b\\ c\\ d\\ e\\ f\end{array}\right],$ $B=\left[\begin{array}{c}{f}_0\\ f_1\\ .\\ .\\ .\\ f_8\end{array}\right]$

通过广义逆的方法解方程得到：

x＝(A^TA)^-1A^TB

这样拟合曲线各系数都已求得，通过计算各偏导为0：

$\frac{\∂z}{\∂x}=2\mathrm{ax}+\mathrm{cy}+d=0$

$\frac{\∂z}{\∂y}=2\mathrm{by}+\mathrm{cx}+e=0$

解出极值点

最终亚像素级别的特征点定位为(x+x_σ，y+y_σ)

5.根据权利要求1所述的一种基于特征向量的快速高精度鲁棒性匹配方法，其特征在于：所述步骤(3)利用PCA对特征向量进行降维操作的方法如下：

对于每一个关键点，选取一个以关键点为中心的41*41像素的区域，计算垂直和水平梯度，形成投影矩阵；然后计算投影矩阵的协方差矩阵的特征值和特征向量，根据经验设定值选取前n个特征向量；最后与关键点周围提取的像斑旋转到其主方向，计算水平与垂直梯度，形成梯度向量与前一步得到的投影矩阵相乘生成一个大小为n的PCA-SIFT算子。

6.根据权利要求1所述的一种基于特征向量的快速高精度鲁棒性匹配方法，其特征在于：所述步骤(4)寻找两个特征点集A和B中特征向量间欧氏距离最近的特征点对的方法如下：

首先以特征点集A的128维特征向量做一棵搜索树，然后对于特征点集B中的每个特征点，寻找与搜索树中结点间特征向量的欧式距离最近的特征点，以所述欧式距离最近的特征点作为与B中特征点对应的匹配点。

7.根据权利要求1所述的一种基于特征向量的快速高精度鲁棒性匹配方法，其特征在于：所述步骤(5)对步骤(4)得到的初步匹配点对的筛选过程如下：

利用RANSAC算法的思想，首先选取七个点先来估算两幅图像之间的几何关系，然后在用剩余的点来检验所述估算结果，即有多少点满足这个几何关系；不断迭代直到找出最好的估算结果，即找出一个根据此匹配计算出来的几何关系能够让最多的点满足此关系，从而找到了特征点之间的匹配关系。

Images