CN108550165A - 一种基于局部不变特征的图像匹配方法 - Google Patents

Abstract

本发明提供的是一种基于局部不变特征的图像匹配方法。对初始图像求取积分图像和Hessian矩阵的行列式；建立尺度空间金字塔并进行特征点的定位；通过Haar小波确定特征点的主方向，完成特征点提取；计算每个特征点周围图像区域的旋转不变LBP特征，构造特征描述子；利用欧氏距离的最近邻法，完成特征粗匹配；(6)通过随机抽样一致性方法，剔除粗匹配方法执行后剩余的误匹配点，完成特征精匹配。本发明的发明的方法在保证匹配时间和正确率的条件下，在图像发生尺度、光照和旋转变化时也具有一定的鲁棒性。

Description

一种基于局部不变特征的图像匹配方法

技术领域

发明涉及的是一种图像特征提取与图像处理方法，具体地说是一种图像匹配方法。

背景技术

图像匹配是指对包含同一场景的两幅图像进行对准并确定彼此对应关系的图像分析和处理技术，它广泛应用在导航、地图与地形匹配、生物特征识别、文字识别、医学影像分析、计算机视觉等领域。在实际应用中，需要进行匹配的图像往往是用不同传感器在不同时间、不同的条件下获得的，它们之间存在着平移、尺度、旋转、光照、噪声、视角等差异，这给图像匹配方法带来了巨大的挑战性。基于像素灰度值的相关方法(例如SSAD，NNPROD等)的缺点是对图像的尺度、旋转、光照、视角等变换敏感，相比之下，基于局部特征(例如角点、SURF(Speed Up Robust Features)特征点等)的方法效果更佳。图像的局部不变特征具备在多种图像变换(如几何变换，光照变换等)下的不变性、低冗余性、无需预先对图像分割以及独特性等特点，已经被广泛用于图像匹配、物体识别、图像分类及图像检索等领域。

在图像匹配技术中运用局部特征，可以将繁杂的图像匹配问题转换为特征向量的度量问题，从而提高算法的速度和鲁棒性。基于局部不变特征的图像匹配方法的基本思路一般是先检测出图像的特征点集，然后基于特征点和它的局部邻域信息生成特征向量，最后度量特征向量间的相似性来完成图像匹配问题。2004年发表在IJCV上的SIFT(ScaleInvariant Feature Transform)以及后来为改进SIFT运行速度提出的基于Hessian矩阵和Haar小波的SURF是图像匹配领域中最具代表性的两个的局部特征算法，但是在光照变化图像的问题上低效，准确率不太高。对光照变化具有鲁棒性的LBP(Local Binary Patterns)方法是一种表述灰度图像某像素点与周围像素点大小关系的二进制描述，最初被应用于图像纹理描述。近年来人们提出了很多扩展的LBP，它计算简单，并且具有部分的尺度、旋转和亮暗不变性等优点。

《SIFT和旋转不变LBP相结合的图像匹配算法》中，用旋转不变LBP特征描述SIFT关键点周围局部图像区域，该方法对尺度、旋转、光照等图像变换具有很强的鲁棒性，但是在运算速度方面，无法满足高实时性的要求。

发明名称为《一种结合LBP特征提取和SURF特征提取方法的图像匹配方法》的专利文件中，在特征点描述时，保留原SURF方法中的Haar特征描述子，并将Haar特征描述子与LBP旋转不变描述子相结合，使得该图像匹配方法比原SURF方法具有更好的匹配效果，但是两种特征描述使得方法复杂度增加，运算速度有所下降。

《局部不变特征综述》一文中提到，在图像、视频检索及目标识别等领域应用较多的局部不变特征的匹配方法有基于门限的匹配方法、基于最近邻的匹配方法和基于最近邻距离比率的匹配方法。3种方法各有优缺点，其中基于门限的匹配方法简单计算量小，基于最近邻距离比率的匹配方法准确性高。

由于图像间存在各种几何及光度变换、噪声、量化误差及图像中可能存在相似的局部结构等多种因素的影响，基于相似性度量的特征匹配结果中仍可能存在错误的匹配。随机抽样一致性方法根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的方法，最早由Fischler和Bolles于1981年提出。它广泛应用于图像配准以及拼接，可以在一组包含“外点”(不符合最优模型的点)的数据集中，采用不断迭代的方法，寻找最优参数模型。

发明内容

本发明的目的在于提供一种在保证匹配时间和正确率的条件下，在图像发生尺度、光照和旋转变化时也具有一定的鲁棒性的基于局部不变特征的图像匹配方法。

本发明的目的是这样实现的：

(1)对初始图像求取积分图像和Hessian矩阵的行列式；

(2)建立尺度空间金字塔并进行特征点的定位；

(3)通过Haar小波确定特征点的主方向，完成特征点提取；

(4)计算每个特征点周围图像区域的旋转不变LBP特征，构造特征描述子；

(5)利用欧氏距离的最近邻法，完成特征粗匹配；

(6)通过随机抽样一致性方法，剔除粗匹配方法执行后剩余的误匹配点，完成特征精匹配。

与背景技术相比本发明的主要特点在于：

1、本发明把旋转不变LBP特征引入到关键点的描述中去，为关键点描述构造了一种计算简单、维数低的描述方法，增强了图像匹配方法的光照鲁棒性。

2、本发明在特征点提取部分，采用SURF提供的特征点提取方法，利用Hessian矩阵和积分图方法进行快速计算，保证匹配性能的同时，有效地改进了基于梯度图的SIFT方法计算速度慢的问题。

3、本发明在特征描述时，采用以LBP旋转不变描述子代替原SURF方法中的Haar特征描述子，在应对旋转变化，光照变化，视角变化时有良好的效果，同时不影响图像匹配的速度。

4、本发明为提高图像匹配的准确性，采用准确性较高的欧氏距离最近邻法进行粗匹配。

5、本发明在精匹配时，采用随机抽样一致性方法，剔除粗匹配结果中存在的误匹配，进一步提高图像匹配的准确性。

本发明围绕局部特征点的提取和描述，特征的匹配以及去除误匹配等关键问题进行研究，提出一种基于局部不变特征的图像匹配方法，既能保证较好的图像匹配性能，同时具有较好的尺度、光照和旋转鲁棒性。在保证匹配时间和正确率的条件下，在图像发生尺度、光照和旋转变化时也具有一定的鲁棒性。

本发明的有益效果是：在特征点提取部分，利用Hessian矩阵和积分图方法进行快速计算，并构造尺度图像金字塔，保证了图像匹配的快速性和尺度不变性；在特征描述部分，把旋转不变LBP特征引入到关键点的描述中去，为关键点构造了一种计算简单、维数低的描述方法，增强了尺度和光照的鲁棒性；在特征角点粗匹配部分，采用欧氏距离的最近邻法，使角点匹配速度更快；在特征角点精匹配部分，采用随机抽样一致性方法，剔除粗匹配方法执行后剩余的误匹配点，优化匹配结果，使角点匹配准确率更高。

附图说明

图1为本发明的流程图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清晰明了，下面结合附图举例对本发明作进一步描述。

结合图1，本发明的基于局部特征点提取和描述的图像匹配方法，包括以下步骤：

步骤一：图像特征点提取，包括：

(1)求取初始图像的积分图像和Hessian矩阵的行列式

对需要进行匹配的初始图像遍历求取初始图像的积分图像，并求取图像上每个点的Hessian矩阵的行列式。

对于待匹配图像1中给定的一个像素点(x,x)＝f(x,y)，则该像素点的Hessian矩阵H(f(x,y))为：

H矩阵(Hessian矩阵的简称，下同)判别式det(H)为：

其中，和为像素点f(x,y)的二阶偏导数。

判别式的值是H矩阵的特征值，根据判定结果的符号可以将所有点分类，由判别式值的正负，来判断该点是不是极值点。

每一个像素点都可以求出一个H矩阵。为了让特征点具备尺度无关性，在进行H矩阵构造前，需要对其进行高斯滤波。经过滤波后再进行H矩阵的计算，则在像素点x的σ尺度上的Hessian矩阵H(x,σ)定义为：

其中L_xx(x,σ)是高斯和函数的核函数二阶导与图像1在X点的卷积，L_xy(x,σ)和L_yy(x,σ)用同样的方法计算，其中

通过这种方法可以为图像中每个像素计算出其H行列式的决定值，并用这个值来判别特征点。将框状滤波器与图像卷积的结果D_xx、D_xy、D_yy分别代替L_xx、L_xy、L_yy得近似Hessian的矩阵H_approx，其行列式det(H_approx)为：

det(H_approx)＝D_xxD_yy-(0.9D_xy)² (4)

(2)建立尺度空间金字塔并进行特征点的定位

为了具有尺度不变性，必须建立尺度空间金字塔。保持图像大小不变，通过改变盒式滤波器的模板大小来建立尺度图像金字塔，具体构建方法为：图像尺度空间金字塔分四层，对每一层进行四次滤波，第1层第一次滤波模板大小是给定的，为9×9，第1层中相邻的模板尺寸相差6个像素，即第1层中第一至四次滤波模板大小分别是9×9、15×15、21×21和27×27；第2层中相邻的滤波模板大小相差12个像素，第3层中相邻的滤波模板大小相差24个像素，第4层中相邻的滤波模板大小相差48个像素，每一层的第一个模板尺寸等于前一层的第二个模板的尺寸，故第2层中第一至四次滤波模板大小分别是15×15、27×27、39×39、51×51，第3层中第一至四次滤波模板大小分别是27×27、51×51、75×75、99×99，第4层中第一至四次滤波模板大小分别是51×51、99×99、147×147、195×195，每次滤波对应的近似尺度可由公式(5)计算。

其中σ_approx表示尺度。

特征点定位过程：为Hessian矩阵响应值设定一个阈值，所有小于这个阈值的点都被去除，然后通过非极大值抑制将那些比其临近层及本层尺度周围的点的响应值都大或都小的点选为特征点，最后拟合三维二次函数精确定特征点的点的位置和尺度。

(3)通过Haar小波确定特征点的主方向

在以特征点为圆心，6σ(σ为特征点所在尺度值)为半径的圆形邻域里，用边长为4σ的Haar小波模板求X和Y两个方向的Haar小波响应，并用标准差为2σ的高斯函数对滤波后的区域加权，而后以特征点为中心，用一个圆心角为π/3的扇形在圆形邻域内扫描一周，计算该扇形所扫描的每个π/3角度内包括的图像点的Haar小波响应总和，取其中最大响应的方向为该特征点的主方向，其中σ为特征点所在的尺度值，X和Y是圆形邻域所处的平面直角坐标系中的两个方向。

步骤二：特征描述子生成，包括：

基本的LBP特征是对一个3×3邻域的二进制描述，缺点是旋转相关的，为了获得旋转不变性，本发明采用关键点周围区域的旋转不变LBP特征描述。

设p_i(r,c,σ,θ)为步骤一中关键点提取中得到的某一关键点，其中为(r,c)在原始图像上的位置坐标，σ和θ分别为p_i的尺度和方向。根据σ的大小，在p_i所在的高斯金字塔相应层上，以p_i为中心取一个9×9大小的图像区域为待描述区域。为了获得旋转不变性，按照θ的大小把该图像区域旋转到参考方向。待描述区域旋转不变LBP特征描述步骤如下：

(1)在待描述区域8×8大小的区域中，分别以每个像素点p_j为中心，求取以它为中心的旋转不变LBP特征，记为lbp_j(j＝1,2,…,64)。

(2)从直观上讲，像素点p_j距离中心越远，它对描述p_i贡献的信息量越小，因此对lbp_j进行加权，加权系数w_j为：

w_j＝exp{^-[(r_j-r_i)²+(c_j-c_i)²]/(2σ₀ ²)}/(2πσ₀ ²) (6)

其中(r_j,c_j)和(r_j,c_i)为像素点p_j和中心点p_i在待描述图像区域中的坐标，σ₀为选定的常数。

(3)把计算得到的所有加权LBP特征值组成一个一维向量，记为T_i，

T_i＝[w₁·lbp₁ w₂·lbp₂ … w₆₄·lbp₆₄] (7)

(4)为了消除光照变化的影响，把T_i进行归一化，即

综上，最后得到的64维向量T_i即为关键点T_i周围区域的描述。

步骤三：图像特征粗匹配，包括：

当关键点的描述向量生成后，本发明采用距离公式为

公式(9)距离作为关键点之间的相似性判定度量。其中，T_A＝[a₁ a₂ … a_n]和T_B＝[b₁ b₂ … b_n]分别为关键点A和B的描述向量。匹配策略：取图像1中的某个关键点A，并在图像2中找出与之描述向量距离最近的2个关键点B和C，如果最近的距离||T_A-T_B||₁与次近的距离||T_A-T_C||₁的比值小个阈值t，即

则认为关键点A与距离最近的关键点B匹配。

步骤四：图像特征精匹配，包括：

随机抽样一致性方法是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的方法。这种方法的基本假设是样本中包含正确数据(适应模型的数据)，也包含异常数据(不适应模型的数据)。而且给定一组正确的数据，存在可以计算出符合这些数据的模型参数的方法。

设两幅待拼接图像1和图像2中对应的匹配特征点集为f，随机抽样一致性方法去除误匹配点的步骤如下：

(1)任意的从匹配特征点集f中选三对不共线的匹配点，算出其变换矩阵M。

(2)根据变换矩阵M来计算对应的点，例如对点(a,b)，计算b'＝M(a)。

(3)削断b'与b的距离，如果在门限内，则(a,b)为内点，否则为外点。

(4)内点的数目满足条件，则退出；循环k步后，内点的数目没达到要求，则取最大的内点数。如果不满足退出条件则转到步骤四中(1)。

Claims (1)

1.一种基于局部不变特征的图像匹配方法，其特征是：

(1)对初始图像求取积分图像和Hessian矩阵的行列式；

(2)建立尺度空间金字塔并进行特征点的定位；

(3)通过Haar小波确定特征点的主方向，完成特征点提取；

(4)计算每个特征点周围图像区域的旋转不变LBP特征，构造特征描述子；

(5)利用欧氏距离的最近邻法，完成特征粗匹配；

(6)通过随机抽样一致性方法，剔除粗匹配方法执行后剩余的误匹配点，完成特征精匹配。