CN104834931A - 一种基于小波变换的改进的尺度不变特征匹配算法 - Google Patents

Abstract

为了解决SIFT算法运行时间过长，匹配率不高的问题，本发明提出了一种改进的SIFT算法。在原来经典的SIFT算法的基础上，引入了二维Mallat快速小波变换算法，重建图像的低频成分，再对高斯金字塔组数进行调整，减少降采样次数，最后通过优化的RANSAC算法剔除误匹配点。改进后的算法不仅减少了匹配耗时，而且匹配率也得到了提高，优于原SIFT算法。

Description

一种基于小波变换的改进的尺度不变特征匹配算法

技术领域

本发明涉及计算机视觉中的图像匹配领域，具体指的是一种基于小波变换的改进的尺度不变特征匹配算法。

背景技术

图像匹配在近几十年来一直是人们研究的热点和难点，它是在变换空间中寻找一种或多种变换，使来自不同时间、不同传感器或者不同视角的同一场景的两幅或者多幅图像在空间上一致，目前已经应用于许多领域，其中应用最广泛的是图像配准领域和运动目标识别与跟踪领域。因此图像匹配技术占据着至关重要的地位。

由于拍摄时间、拍摄角度、自然环境的变化，使得拍摄的图像受到各种噪声的影响。在这种条件下，匹配算法如何达到精度高、匹配正确率高、速度快、鲁棒性强以及并行实现成为人们追求的目标。针对这一问题，很多国内外学者进行了广泛的研究。基于匹配的基本原理将图像匹配算法分为四种：基于灰度相关的匹配、基于特征的匹配、基于模型的匹配以及基于变换域的匹配。目前，研究最广泛的是基于特征的匹配，其中最经典的算法是由D.G.Lowe于2004年完善总结的SIFT(尺度不变特征匹配)算法，该算法对平移、旋转、尺度缩放、亮度变化均能保持很好的不变性。后来，很多学者依据SIFT算法提出了不同的改进算法。

陈抒瑢等提出了Contourlet-SIFT特征匹配算法，对尺度空间下旋转不变特征进行Contourlet变换后再进行匹配，但是计算量偏大，不满足实时性要求。曹娟等提出了基于D²OG特征点检测算子的改进SIFT特征匹配算法，适用于图像信息丰富且对实时性要求较高的场合，但是算法提取的匹配点对数相对较少，限制了此算法处理的图像类型。杨幸芳提出了以街区距离代替欧氏距离作为特征描述符之间的相似性度量，降低了相似性度量公式的时间复杂度，但是没有提高鲁棒性。于丽莉提出了一种基于图像Radon变化的改进的SIFT特征匹配算法，降低了SIFT特征向量的维数，提高了特征匹配效率，但是在实际场景使用时性能有待提高。孔军提出了多尺度特征提取的双目视觉匹配，虽然匹配率得到了提高，但是匹配耗时较长，时效性较差。为了进一步提高正确匹配率、增强鲁棒性及实时性，本发明提出了基于小波变换的改进的尺度不变特征匹配算法。

发明内容

本发明的目的在于针对现有方法中存在正确匹配率不高、鲁棒性不强、算法运行时间过长等问题，在原来经典尺度不变特征匹配算法的基础上，提出了基于小波变换的改进的尺度不变特征匹配算法技术，开发出一种鲁棒性强，正确匹配率高，适用于实时性要求高的场景中的图像匹配方法。

本发明是基于如下考虑：为了解决原SIFT算法运行时间过长，匹配率不高的问题，提出了一种改进的SIFT算法。在原来经典的SIFT算法的基础上，引入了二维Mallat快速小波变换算法，重建图像的低频成分，再对高斯金字塔组数进行调整，减少降采样次数，最后通过优化的RANSAC算法剔除误匹配点。改进后的算法不仅减少了匹配耗时，而且匹配率也得到了提高。

本发明基于小波变换的改进的尺度不变特征匹配算法的技术方案如下：

(1)对待配准的两幅图像进行二维Mallat小波变换分解，得到图像的低频成分和水平与垂直高频成分，舍弃经小波变换分解后的高频成分，对图像的低频成分进行重构，得到新的图像；

(2)利用两幅新图像构造尺度空间(DoG)，通过图像与不同尺度的高斯差分卷积核生成高斯金字塔，由于新图像经过小波变换，舍弃了部分信息，在构建高斯差分金字塔时，减少降采样次数，比原始生成层数少一层，减少构造尺度空间的时间；

(3)在DoG空间寻找关键点，把中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的18点共26个点进行比较，确保最终能够获得足够多的关键点。

(4)由于DoG值对噪声和边缘比较敏感，在上面DoG尺度空间中检测到局部极值点还要经过进一步的检验才能精确定位为特征点。通过拟合三维二次函数来精确确定关键点的位置和尺度。

其梯度值m(x,y)和方向θ(x,y)的计算表达式为

{[L(x+1,y)-L(x-1,y)]²+[L(x,y+1)-L(x,y-1)]²}^1/2

$\mathrm{\θ}(x,y)={\tan }^{-1}\left[\frac{L(x,y+1)-L(x,y-1)}{L(x+1,y)-L(x-1,y)}\right]$

(5)特征点描述通过对关键点周围区域进行图像分块，计算各块内的梯度直方图，生成独特性的向量描述符。为了增强匹配的稳健性，对每个关键点使用4×4共16个种子点来描述，这样对于一个关键点就可以产生128个数据，最终形成128维的SIFT特征向量。

(6)当两幅图像的SIFT特征向量生成后，下一步我们采用关键点特征向量的欧式距离来作为两幅图像中关键点的相似性判定度量。取样本特征点和样本特征点欧氏距离最近的特征点，在这两个特征点中，如果最近的距离除以次近的距离少于某个比例阈值，则接受这一对匹配点。降低这个比例阈值，SIFT匹配点数目会减少，但更加稳定。在计算特征点之间的欧氏距离时，采用了BBF算法来处理128维的特征向量。

(7)在对所有特征点进行粗匹配之后，使用RANSAC算法估计两个图像对之间的单位变换矩阵并将其作为几何约束，进而去除一些误匹配点，完成图像之间的精确匹配，提高匹配效率。

本发明的有益效果：本发明采用二维Mallat小波变换对图像进行分解与重构，舍弃图像的包含大量噪声和少量有用信息的高频成分，仅对图像的低频成分进行重构。经二维小波变换处理后的待配准图像，一方面可以减少每次参与匹配的像素点，提高了匹配速度，另一方面减少了弱匹配点，从而使误匹配率下降。本发明在构造尺度空间时，由于高斯差分金字塔的最后一层包含了很少的兴趣点，对最终的匹配结果没有太大的影响，而且经过图像小波变换处理后包含的信息也减少一部分，所以可以减少降采样次数，使高斯差分金字塔的层数减少一层，减少构造尺度空间的时间，同时还可以去除部分误匹配点，提高匹配效率。本发明在对图像所有特征点进行粗匹配后使用RANSAC算法估计两个图像对之间的单位变换矩阵并将其作为几何约束，进而去除一些误匹配点，完成图像之间的精确匹配，提高匹配效率。

附图说明

图1是SIFT算法步骤。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合具体实例，并参照附图，对本发明的具体实施方式作详细说明，本发明包含但不限于所举实例。

本发明的具体步骤如下：

1、二维Mallat小波变换

Mallat在小波变换多分辨率分析理论与图像处理的应用研究中受到塔式算法的启发，提出了信号的塔式多分辨率分解与重构的快速算法，即为马拉特(Mallat)算法。

使用两个相同的一维小波函数和一维尺度函数的乘积构造二维小波基，生成的尺度函数和三个小波函数分别为：

$\left\{\begin{array}{c}\mathrm{\φ}(x,y)=\mathrm{\φ}\left(x\right)\mathrm{\φ}\left(y\right)\\ {\mathrm{\ψ}}^1(x,y)=\mathrm{\φ}\left(x\right)\mathrm{\ψ}\left(y\right)\\ {\mathrm{\ψ}}^2(x,y)=\mathrm{\ψ}\left(x\right)\mathrm{\φ}\left(y\right)\\ {\mathrm{\ψ}}^3(x,y)=\mathrm{\ψ}\left(x\right)\mathrm{\ψ}\left(y\right)\end{array}\right.$

设为待分析的图像信号，其二维逼近图像为

$A_{i}f=A_{j+1}f+D_{j+1}^{1}f+D_{j+1}^{2}f+D_{j+1}^{3}f$

式中

$\left\{\begin{array}{c}{A}_{j+1}f=\underset{m=-\∞}{\overset{\∞}{\mathrm{\Σ}}}\underset{n=-\∞}{\overset{\∞}{\mathrm{\Σ}}}{c}_{j+1}(m,n){\mathrm{\φ}}_{j+1}(m,n)\\ D_{j+1}^{i}f=\underset{m=-\∞}{\overset{\∞}{\mathrm{\Σ}}}\underset{n=-\∞}{\overset{\∞}{\mathrm{\Σ}}}{d}_{j+1}^i(m,n){\mathrm{\φ}}_{j+1}(m,n)\end{array}\right.(i=\mathrm{1,2,3})$

利用尺度函数和小波函数的正交性，可得：

$c_{j+1}(m,n)=\underset{k=-\∞}{\overset{\∞}{\mathrm{\Σ}}}\underset{l=-\∞}{\overset{\∞}{\mathrm{\Σ}}}h(k-2m)h(l-2n)c_j(k,l)$

上式说明，j+1尺度空间的尺度系数c_j+1(m,n)可以由j尺度空间的尺度系数c_j(k,l)经二维滤波器系数进行加权求和得到。

又

$\left\{\begin{array}{c}{d}_{j+1}^1=\underset{k=-\∞}{\overset{\∞}{\mathrm{\Σ}}}\underset{l=-\∞}{\overset{\∞}{\mathrm{\Σ}}}h(k-2m)g(l-2n)c_j(k,l)\\ d_{j+1}^2=\underset{k=-\∞}{\overset{\∞}{\mathrm{\Σ}}}\underset{l=-\∞}{\overset{\∞}{\mathrm{\Σ}}}g(k-2m)h(l-2n)c_j(k,l)\\ d_{j+1}^3=\underset{k=-\∞}{\overset{\∞}{\mathrm{\Σ}}}\underset{l=-\∞}{\overset{\∞}{\mathrm{\Σ}}}g(k-2m)g(l-2n)c_j(k,l)\end{array}\right.$

引入矩阵算子，令H_r和H_c分别表示用尺度滤波器系数对阵列的行和列作用的算子，G_r和G_c分别表示用小波滤波器系数对行和列作用的算子，则二维Mallat分解算法为

$\left\{\begin{array}{c}{C}_{j+1}=H_r{H}_c{C}_j\\ D_{j+1}^1=H_r{H}_c{C}_j\\ D_{j+1}^2=G_r{H}_c{C}_j\\ D_{j+1}^3=G_r{G}_c{C}_j\end{array}\right.(j=\mathrm{0,1},....,J)$

二维Mallat重构算法为

$C_j=H_r^{*}{H}_c^{*}{C}_{j+1}+H_r^{*}{G}_c^{*}{D}_{j+1}^{*}+G_r^{*}{H}_c^{*}{D}_{j+1}^2+G_r^{*}{G}_c^{*}{D}_{j+1}^3$

利用上述二维Mallat小波变换算法对图像进行分解与重构，得到新的图像。

2、改进的SIFT算法

SIFT算法是在不同的尺度空间上查找关键点，并计算出关键点的方向。SIFT算法的实现包括两个方面，一个是图像特征点的生成，另一个是不同图像之间SIFT特征点的匹配。SIFT特征提取可分解为四个步骤，如图1所示。

2.1构造尺度空间

一幅二维图像I(x,y)的尺度空间L(x,y,σ)定义为一个变化尺度的高斯函数与原图像的卷积，即

L(x,y,σ)＝G(x,y,σ)*I(x,y)

式中，σ为尺度空间的空间尺度因子，G(x,y,σ)为高斯核函数，其定义为

$G(x,y,\mathrm{\σ})=\frac{1}{{2\mathrm{\π\σ}}^2}\·\exp (-(x^2+y^2)/{2\mathrm{\σ}}^2)$

为了能在尺度空间中检测到稳定的关键点，使用高斯差分(DoG)算子近似尺度归一化的拉普拉斯——高斯(LoG)算子。通过图像与不同尺度的高斯差分卷积核生成：

D(x,y,σ)＝L(x,y,kσ)-L(x,y,σ)

高斯金字塔共O组、S层，一般取为4组、5层，每组第一层是由上一组最后一层降采样得到的。在构造尺度空间之前，本文已先利用二维小波变换对待配准图像进行预处理，舍弃了高频成分，只保留了低频成分对其进行重建，所以无需做和原图大小时一样的降采样次数。因此，本发明针对高斯金字塔的组数进行调整，减少降采样次数，使高斯差分金字塔的层数减少一层。

2.2极值点检测

关键点是由DoG空间的局部极值点组成的。为了寻找DoG函数的极值点，把中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的18点共26个点进行比较，最终确保在尺度空间和二维图像空间都能够检测到极值点。

2.3关键点定位

由于DoG值对噪声和边缘比较敏感，因此，在上面DoG尺度空间中检测到局部极值点还要经过进一步的检验才能精确定位为特征点。为了增强匹配的稳定性、提高抗噪声能力，通过拟合三维二次函数来精确确定关键点的位置和尺度，通过去除低对比度的关键点和不稳定的边缘响应点。

通过求解每个极值点的梯度来为关键点赋予方向，采用梯度直方图统计法来确定关键点的方向，其梯度值m(x,y)和方向θ(x,y)的计算表达式为

{[L(x+1,y)-L(x-1,y)]²+[L(x,y+1)-L(x,y-1)]²}^1/2

$\mathrm{\θ}(x,y)={\tan }^{-1}\left[\frac{L(x,y+1)-L(x,y-1)}{L(x+1,y)-L(x-1,y)}\right]$

2.4特征描述子生成

特征点描述通过对关键点周围区域进行图像分块，计算各块内的梯度直方图，生成独特性的向量描述符。为了增强匹配的稳健性，对每个关键点使用4×4共16个种子点来描述，这样对于一个关键点就可以产生128个数据，最终形成128维的SIFT特征向量。

2.5特征点匹配

当两幅图像的SIFT特征向量生成后，下一步我们采用关键点特征向量的欧式距离来作为两幅图像中关键点的相似性判定度量。取样本特征点和样本特征点欧氏距离最近的特征点，在这两个特征点中，如果最近的距离除以次近的距离少于某个比例阈值，则接受这一对匹配点。降低这个比例阈值，SIFT匹配点数目会减少，但更加稳定。在计算特征点之间的欧氏距离时，采用了BBF算法来处理128维的特征向量。

在对所有特征点进行粗匹配之后，使用RANSAC算法估计两个图像对之间的单位变换矩阵并将其作为几何约束，进而去除一些误匹配点，完成图像之间的精确匹配，提高匹配效率。

Claims (5)

1.一种基于小波变换的改进的尺度不变特征匹配算法，其特征在于对待配准的两幅图像进行二维Mallat小波变换分解，得到图像的低频成分和水平与垂直高频成分，舍弃经小波变换分解后的高频成分，对图像的低频成分进行重构，得到新的图像；利用两幅新图像构造尺度空间(DoG)，通过图像与不同尺度的高斯差分卷积核生成高斯金字塔，由于新图像经过小波变换，舍弃了部分信息，在构建高斯差分金字塔时，减少降采样次数，比原始生成层数少一层，减少构造尺度空间的时间；在DoG空间寻找关键点，把中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的18点共26个点进行比较，确保最终能够获得足够多的关键点。当两幅图像的SIFT特征向量生成后，下一步采用关键点特征向量的欧式距离来作为两幅图像中关键点的相似性判定度量。取样本特征点和样本特征点欧氏距离最近的特征点，在这两个特征点中，如果最近的距离除以次近的距离少于某个比例阈值，则接受这一对匹配点。降低这个比例阈值，SIFT匹配点数目会减少，但更加稳定。在计算特征点之间的欧氏距离时，采用了BBF算法来处理128维的特征向量。在对所有特征点进行粗匹配之后，使用RANSAC算法估计两个图像对之间的单位变换矩阵并将其作为几何约束，进而去除一些误匹配点，完成图像之间的精确匹配，提高匹配效率。

2.根据权利要求1所述的基于小波变换的改进的尺度不变特征匹配算法，其特征是：采用二维Mallat小波变换对图像进行分解与重构，舍弃图像的包含大量噪声和少量有用信息的高频成分，仅对图像的低频成分进行重构。在构造尺度空间时，由于高斯差分金字塔的最后一层包含了很少的兴趣点，对最终的匹配结果没有太大的影响，而且经过图像小波变换处理后包含的信息也减少一部分，所以可以减少降采样次数，使高斯差分金字塔的层数减少一层。在对图像所有特征点进行粗匹配后使用RANSAC算法估计两个图像对之间的单位变换矩阵并将其作为几何约束，进而去除一些误匹配点，完成图像之间的精确匹配。

3.根据权利要求1和2所述的基于小波变换的改进的尺度不变特征匹配算法，其特征在于：所述的二维Mallat小波变换对图像进行分解，舍弃图像的高频成分，只对图像的低频成分进行重构。

4.根据权利要求1和2所述的基于小波变换的改进的尺度不变特征匹配算法，其特征在于：在构造尺度空间时，减少了降采样次数，使高斯差分金字塔的层数减少一层，降低了算法的冗余计算，提高了实时性。

5.根据权利要求1和2所述的基于小波变换的改进的尺度不变特征匹配算法，其特征在于：使用RANSAC算法去除部分误匹配点，提高了匹配的准确性和精确性。