CN105760879A - 基于傅里叶梅林变换的图像几何匹配方法 - Google Patents

Abstract

本发明公开了一种基于傅里叶梅林变换的图像几何匹配方法，解决了待匹配图像和参考图像间旋转角度较大时匹配精度差，时间长的问题。匹配过程包括：用傅里叶梅林变换求待匹配图像和参考图像间的旋转角；对旋转角矫正，得到初步匹配图像；提取上述两幅图像显著图的特征点；对特征点关联；求解仿射变换模型；用该模型变换初步匹配图像，用双线性插值法对变换后图像插值，得到最终匹配图像。本发明能有效处理待匹配图像与参考图像间旋转角度差较小的情况，且可处理两图像间旋转角较大的情况，匹配时间远小于SIFT算法的匹配时间。本发明精度高、匹配效率高，可用于处理图像间旋转角度差较大时的图像匹配。

Description

基于傅里叶梅林变换的图像几何匹配方法

技术领域

本发明属于图像处理技术领域，主要涉及特征提取、特征关联、优化以及图像插值等算法，具体是一种基于傅里叶梅林变换的图像几何匹配方法，可用于医学图像处理、遥感图像处理、计算机视觉、模式识别等领域。

背景技术

在20世纪中叶，科学家在研究导航过程中提出了图像几何匹配的概念，并将图像几何匹配广泛用于军事领域。20世纪80年代后，图像几何匹配开始被用于民用领域，例如其被运用于医学图像处理，遥感图像融合等方面，并有效推动了这些领域的发展。

图像几何匹配，就是使两幅图像中相同结构或相同位置对准的过程。图像几何匹配应用于特征识别、医疗、计算机视觉等，虽然其用于不同的领域有不同的作用，但是图像几何匹配的方案却大体一样。图像几何匹配涉及到的技术很多，例如，图像预处理、特征提取、相似性测度、图像插值技术等，并与遗传算法、蚁群算法等数学知识联系紧密。

图像几何匹配大体可以分为两大类匹配：同种模态间匹配和不同模态间匹配。同种模态间的匹配是指，待匹配图像和参考图像来自同一种条件同一种设备所成的像。不同模态间的匹配也称多模态匹配，是指来自有差异的设备或有差别的情况下获得的图像间的匹配。

尽管当前计算机技术已取得很大的发展，运算速度相对于从前提高了很多，但是图像几何匹配中需要被处理的数据量有时十分庞大，因此，计算机的计算速度还是没有达到实时性目标。且由于相异的光照和噪声等，会使相同内容的图像也会有差别，从而提高了图像几何匹配的难度。因此，匹配精度高、实时性好的图像几何匹配算法，对于医学图像处理、遥感图像处理、模式识别等领域具有非常重要的应用价值和理论意义。

大体来说，图像几何匹配经历了几十年的发展，出现了许多好的图像几何匹配算法，但还是有很多图像几何匹配问题是当前的图像几何匹配算法所不能有效解决的。当前的图像几何匹配算法虽然比较多，但是在实时性和匹配精度上难以两全。例如，当前比较常用的SURF算法，它利用的是最近距离与次近距离的关联方法，在没有添加去误匹配算法的情况下，SURF算法关联特征点时会出现特征点关联的误匹配情况，因而只可以有效处理两幅图像间存在较小角度差的匹配，但是不能有效处理两幅图像间存在较大角度差的匹配。鉴于这种情况，很多图像几何方法都添加了去除误匹配的算法，该算法通过改善特征关联环节，从而使最终的匹配精度提高。但是有些图像匹配，尽管添加了去除误匹配算法，最终匹配精度的提高并不是很多，且由于增加了去除误匹配算法，反而增加了匹配时间。

发明内容

针对上述现有技术的缺陷，本发明提出了一种无需添加去误匹配算法、匹配时间更少、匹配精度较高的基于傅里叶梅林变换的图像几何匹配方法。

本发明是一种基于傅里叶梅林变换的图像几何匹配方法，其特征在于，对待匹配图像和参考图像进行匹配，匹配步骤包括有：

步骤1：首先输入待匹配图像和参考图像，利用傅里叶梅林变换求出待匹配图像和参考图像之间的旋转角度，将待匹配图像和参考图像均变换到傅里叶频域，得到待匹配图像和参考图像的频谱，然后对待匹配图像的频谱和参考图像的频谱分别取模值，建立一个关于两幅图像间旋转角度的等式，找出待匹配图像频谱和参考图像频谱模值的关系，再将等式变换到极坐标下，得到两模值在极坐标下相应的关系等式，最后对极坐标下的等式进行傅里叶变换，根据交叉能量谱公式求得待匹配图像和参考图像之间的旋转角度。

步骤2：得到初步匹配图像，利用傅里叶梅林变换求出的参考图像和待匹配图像间的旋转角度，矫正待匹配图像，得到初步匹配图像。

步骤3：获得初步匹配图像的显著图和参考图像的显著图，并使用SURF角点提取算法提取参考图像显著图和待匹配图像显著图中的特征点。

步骤4：对初步匹配图像显著图中的特征点和参考图像显著图中的特征点进行特征关联，即使用最近距离与次近距离之比的关联方法，让两幅图像中相同物理位置的点对准成一个点，形成关联点。

步骤5：求解仿射变换模型参数，假定初步匹配图像显著图的特征点p₁(x₁,y₁)和参考图像显著图的特征点p₂(x₂,y₂)是关联点，则根据仿射变换，建立二者的关系如下式：

$\left\{\begin{array}{c}{x}_2=a_{11}{x}_1+a_{12}{y}_1+a_{13}\\ y_2=a_{21}{x}_1+a_{22}{y}_1+a_{23}\end{array}\right.$

上式中,a₁₁,a₁₂,a₁₃,a₂₁,a₂₂,a₂₃分别是控制平移、旋转和尺度变换的参数，上式也可以改写成矩阵形式，如下式所示，

$\left[\begin{array}{c}{x}_2\\ y_2\\ 1\end{array}\right]=\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right]$

通过代入初步匹配图像显著图和参考图像显著图中多对关联特征点对的坐标，求出仿射变换模型的a₁₁,a₁₂,a₁₃,a₂₁,a₂₂,a₂₃参数；得到了仿射变换模型的参数，即得到了仿射变换模型，该变换模型即是该初步匹配图像的变换模型。

步骤6：利用求解出的仿射变换模型变换初步匹配图像，并使用双线性插值算法对变换后的图像插值，得到待匹配图像最终的匹配图像。本发明处理得到的匹配图像精度较高，匹配时间短，具有更好的匹配效率。

本发明在不添加去除误匹配算法的情况下，利用傅里叶梅林变换理论可以使特征关联的更加准确，从而提高了图像匹配的精度。另一方面，本发明在图像显著图中(而非整个原始图像)进行特征提取和特征关联，从而节省了图像匹配的时间。且本发明利用傅里叶梅林变换理论，使找出的两幅图像间的旋转角度更加准确，从而使本发明获得的匹配精度更高。

本发明与现有的技术相比具有以下优点：

1.本发明在对图像进行特征匹配前，先对待匹配图像和参考图像间的旋转角度进行矫正，无论旋转角度较小或较大的情况，本发明均可以进行处理，提高了匹配精度，且匹配时间更短。

2.利用傅里叶梅林变换中的频谱理论，求出的图像间的旋转角度更精确，从而使得图像的匹配精度更高。

3.在图像的显著性图(而非整个图像)中提取特征点，并在显著图中对特征点进行关联，从而节省了图像匹配的时间。

4.本发明不但可以匹配两幅图像间旋转角度较小的情况，而且可以匹配两幅图像间旋转角度较大的情况。

5.本发明不需添加去误匹配算法，因而节省了匹配时间，在不添加去误匹配算法的情况下依然能获得较高的匹配精度。

附图说明

图1为本发明的总流程图；

图2为利用傅里叶梅林变换求待匹配图像和参考图像间旋转角度的流程图；

图3为9×9方框滤波模板；

图4为积分图像形成图；

图5为待匹配图像与参考图像间旋转角度为5°时，本发明与SIFT算法和SURF算法的匹配效果对比图(单模态图像间匹配)，(a)为待匹配图像,(b)为参考图像,(c)为SIFT算法匹配效果图,(d)为SURF算法匹配效果图,(e)为本发明匹配效果图；

图6为待匹配图像与参考图像间旋转角度为10°时，本发明与SIFT算法和SURF算法的匹配效果对比图(单模态图像间匹配)，(a)为待匹配图像,(b)为参考图像,(c)为SIFT算法匹配效果图,(d)为SURF算法匹配效果图,(e)为本发明匹配效果图；

图7为待匹配图像与参考图像间旋转角度为50°时，本发明与SIFT算法和SURF算法的匹配效果对比图(单模态图像间匹配)，(a)为待匹配图像,(b)为参考图像,(c)为SIFT算法匹配效果图,(d)为SURF算法匹配效果图,(e)为本发明匹配效果图；

图8为待匹配图像与参考图像间旋转角度为60°时，本发明与SIFT算法和SURF算法的匹配效果对比图(单模态图像间匹配)，(a)为待匹配图像,(b)为参考图像,(c)为SIFT算法匹配效果图,(d)为SURF算法匹配效果图,(e)为本发明匹配效果图；

图9为待匹配图像与参考图像间旋转角度为80°时，本发明与SIFT算法和Surf算法的匹配效果对比图(单模态图像间匹配)，(a)为待匹配图像,(b)为参考图像,(c)为SIFT算法匹配效果图,(d)为SURF算法匹配效果图,(e)为本发明匹配效果图；

图10为待匹配图像与参考图像间旋转角度为5°时，本发明与SIFT算法和Surf算法的匹配效果对比图(多模态图像间匹配)，(a)为待匹配图像,(b)为参考图像,(c)为SIFT算法匹配效果图,(d)为SURF算法匹配效果图,(e)为本发明匹配效果图；

图11为待匹配图像与参考图像间旋转角度为10°时，本发明与SIFT算法和Surf算法的匹配效果对比图(多模态图像间匹配)，(a)为待匹配图像,(b)为参考图像,(c)为SIFT算法匹配效果图,(d)为SURF算法匹配效果图,(e)为本发明匹配效果图；

图12为待匹配图像与参考图像间旋转角度为50°时，本发明与SIFT算法和Surf算法的匹配效果对比图(多模态图像间匹配)，(a)为待匹配图像,(b)为参考图像,(c)为SIFT算法匹配效果图,(d)为SURF算法匹配效果图,(e)为本发明匹配效果图；

图13为待匹配图像与参考图像间旋转角度为60°时，本发明与SIFT算法和Surf算法的匹配效果对比图(多模态图像间匹配)，(a)为待匹配图像,(b)为参考图像,(c)为SIFT算法匹配效果图,(d)为SURF算法匹配效果图,(e)为本发明匹配效果图；

图14为待匹配图像与参考图像间旋转角度为80°时，本发明与SIFT算法和Surf算法的匹配效果对比图(多模态图像间匹配)，(a)为待匹配图像,(b)为参考图像,(c)为SIFT算法匹配效果图,(d)为SURF算法匹配效果图,(e)为本发明匹配效果图。

具体实施方式

下面结合附图对本发明作详细描述。

当前的图像几何匹配算法多种多样，典型的有SIFT算法和SURF算法，它们对图像之间存在旋转角度差的图像均能做匹配。其中SIFT算法提取到的图像特征比较稳定，对于含有光照影响、旋转影响等情况下，都可以很好的进行特征匹配；SURF算法不仅对尺度、旋转和缩放等具有不变性，而且其匹配速度较SIFT算法更快。但是，这两种典型的匹配算法只对图像间旋转角度较小的图像的匹配效果较好，对于旋转角度稍微大一些的图像，其匹配效果不是很好。在没有添加去误匹配算法的情况下，SURF算法在对图像进行特征关联时，会出现误匹配的情况，因而只可以有效处理两幅图像间存在较小角度差的匹配，但是不能有效处理两幅图像间存在较大角度差的匹配。鉴于这种情况，很多图像几何匹配方法都添加了去除误匹配的算法，该算法通过改善特征关联环节，从而使最终的匹配精度提高。但是有些图像匹配方法，尽管添加了去除误匹配算法，但是最终匹配精度的提高并不是很多，且由于增加了去除误匹配算法，反而增加了匹配时间。针对上述现状，本发明展开了研究与创新。

实施例1

本发明提出了一种基于傅里叶梅林变换的图像几何匹配方法，参见图1，对待匹配图像和参考图像进行匹配，匹配步骤包括有：

步骤1：利用傅里叶梅林变换求出待匹配图像和参考图像之间的旋转角度，首先输入待匹配图像和参考图像，参考图像与待匹配图像是对同一场景所成图像，两者之间存在一定的旋转角度差，也即待匹配图像与参考图像之间存在一定的旋转角度差。将待匹配图像和参考图像均变换到傅里叶频域，得到待匹配图像和参考图像的频谱，然后对待匹配图像的频谱和参考图像的傅里叶频谱分别取模值，建立一个关于两幅图像间旋转角度的等式，找出待匹配图像频谱和参考图像频谱模值的关系，再将旋转角度等式变换到极坐标下，得到傅里叶频谱两模值在极坐标下相应的关系等式，最后对极坐标下的等式进行傅里叶变换，根据交叉能量谱公式求得待匹配图像和参考图像之间的旋转角度。

步骤2：得到初步匹配图像，

利用傅里叶梅林变换求出的参考图像和待匹配图像间的旋转角度，通过一个参数中包含该旋转角度的仿射变换对待匹配图像进行矫正，矫正后的图像即为初步匹配图像。参见图5，图5(a)中的待匹配图像与图5(b)中的参考图像之间的旋转角度为5°，对其进行矫正时，将图5(a)的图像按照5°矫正到角度与如图5(b)所示的图像一致，所获得的图像即是初步匹配图像。对图像间的旋转角度进行矫正后，还需对该初步匹配图像进行更精确的匹配。

步骤3：获得初步匹配图像的显著图和参考图像的显著图，并使用SURF角点提取算法提取参考图像显著图和待匹配图像显著图中的特征点。初步匹配图像的显著图和参考图像的显著图按频谱剩余理论获得，使用SURF角点提取算法提取参考图像显著图和待匹配图像显著图中特征点的方法主要包括两步：首先是确定参考图像显著图和待匹配图像显著图中的候选特征点，然后是对候选特征点进行精确定位。

步骤4：对初步匹配图像显著图中的特征点和参考图像显著图中的特征点进行特征关联，即使用最近距离与次近距离之比的关联方法，让两幅图像中相同物理位置的点对准成一个点，形成关联点。

步骤5：求解仿射变换模型参数，假定初步匹配图像显著图的特征点p₁(x₁,y₁)和参考图像显著图的特征点p₂(x₂,y₂)是关联点，则根据仿射变换，建立二者的关系如下式：

$\left\{\begin{array}{c}{x}_2=a_{11}{x}_1+a_{12}{y}_1+a_{13}\\ y_2=a_{21}{x}_1+a_{22}{y}_1+a_{23}\end{array}\right.$

上式中,a₁₁,a₁₂,a₁₃,a₂₁,a₂₂,a₂₃分别是控制平移、旋转和尺度变换的参数，上式也可以改写成矩阵形式，如下式所示，

$\left[\begin{array}{c}{x}_2\\ y_2\\ 1\end{array}\right]=\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right]$

通过代入初步匹配图像显著图和参考图像显著图中多对关联特征点对的坐标，求出仿射变换模型的a₁₁,a₁₂,a₁₃,a₂₁,a₂₂,a₂₃参数；得到了仿射变换模型的参数，即得到了仿射变换模型，该变换模型即是该初步匹配图像的变换模型。

步骤6：利用求解出的仿射变换模型对初步匹配图像进行变换，并使用双线性插值算法对变换后的图像插值，得到待匹配图像最终的匹配图像。本发明处理得到的匹配图像精度较高，匹配时间短，具有更好的匹配效率。

本发明不添加去除误匹配算法，也就节省了图像匹配的时间，另一方面，本发明在图像显著图中(而非整个原始图像)进行特征提取和特征关联，从而节省了图像匹配的时间。且本发明利用傅里叶梅林变换理论，使找出的两幅图像间的旋转角度更加准确，从而使本发明获得的匹配精度更高。针对当前的SURF等匹配算法，在没有后续去误匹配算法的情况下，不能有效处理两幅图像间存在较大角度差的匹配的问题。本发明利用傅里叶梅林变换的理论以及基于特征的图像几何匹配算法，可以有效处理两幅图像间角度差任意的匹配。在没有去除误匹配算法的情况下，不但可以有效处理两幅图像间存在较小角度差的匹配，而且可以有效处理两幅图像间存在较大角度差的匹配。

实施例2

基于傅里叶梅林变换的图像几何匹配方法同实施例1，参见图2，其中步骤1中所述的利用傅里叶梅林变换求出待匹配图像和参考图像之间的旋转角度，包括如下步骤：

1.1输入待匹配图像和参考图像，参考图像与待匹配图像是对同一场景所成图像，两者者之间存在一定的旋转角度差，其关系可由下式表示，

f₂(x,y)＝f₁[a(xcosθ₀+ysinθ₀)-Δx,a(-xcosθ₀+ysinθ₀)-Δy]

上式中，f₁(x,y)为参考图像，f₂(x,y)为待匹配图像，a为尺度变换因子，θ₀为待匹配图像和参考图像间的旋转角度，Δx和Δy为f₁(x,y)与f₂(x,y)在x轴和y轴的平移量；

1.2将待匹配图像和参考图像均做傅里叶变换，将其变换到频域，得到两者的频谱关系。

将f₁(x,y)和f₂(x,y)变换到傅里叶频域，得到下面关系式：

$F_2(\mathrm{\ξ},\mathrm{\η})=e^{-2\mathrm{\π}j(\mathrm{\ξ}\mathrm{\Δ}x+\mathrm{\η}\mathrm{\Δ}y)}{a}^{-2}|F_1\[a^{-1}({\mathrm{\ξcos\θ}}_0+{\mathrm{\ηsin\θ}}_0),a^{-1}(-{\mathrm{\ξcos\θ}}_0+{\mathrm{\ηsin\θ}}_0)\]|$

上式中，F₁(ξ,η)为f₁(x,y)的傅里叶变换，F₂(ξ,η)为f₂(x,y)的傅里叶变换，图像在傅里叶变换前后的旋转角度不变，缩放系数变为原值的倒数。

1.3对待匹配图像和参考图像的频谱分别取模值，得到待匹配图像和参考图像模值的关系式，如下式所示：

|F₂(ξ,η)|＝a^-2|F₁[a^-1(ξcosθ₀+ηsinθ₀),a^-1(-ξsinθ₀+ηcosθ₀)]|

1.4将待匹配图像和参考图像模值的关系式变换到极坐标下，如下式所示：

$a^{-1}({\mathrm{\ξcos\θ}}_0+{\mathrm{\ηsin\θ}}_0)=\frac{\mathrm{\ρ}}{a}cos(\mathrm{\θ}-{\mathrm{\θ}}_0)$

$a^{-1}(-{\mathrm{\ξsin\θ}}_0+{\mathrm{\ηcos\θ}}_0)=\frac{\mathrm{\ρ}}{a}\sin (\mathrm{\θ}-{\mathrm{\θ}}_0)$

式中，ρ和θ为极坐标下的变量；

将f₁(x,y)和f₂(x,y)的傅里叶变换的幅值写成极坐标的形式，如下式所示：

r_p(θ,ρ)＝|F₁(ρcosθ,ρsinθ)|

s_p(θ,ρ)＝|F₂(ρcosθ,ρsinθ)|

上式中的r_p(θ,ρ)是f₁(x,y)的傅里叶变换的幅值在极坐标系下的形式，s_p(θ,ρ)是f₂(x,y)的傅里叶变换的幅值在极坐标系下的形式；

通过迭代得到如下关系式：

$s_p(\mathrm{\θ},\mathrm{\ρ})=a^{-2}{r}_p\[(\mathrm{\θ}-{\mathrm{\θ}}_0),\frac{\mathrm{\ρ}}{a}\]$

令λ＝lgρ，b＝lga，并定义r_p1(θ,λ)＝r_p(θ,ρ)，s_p1(θ,λ)＝s_p(θ,ρ)，则可得到如下形式：

s_p1(θ,λ)＝a^-2r_p1[(θ-θ₀),λ-b]

1.5对待匹配图像和参考图像傅里叶频谱的模值，在极坐标下的关系式进行傅里叶变换，得到如下结果：

$S_{p1}(\mathrm{\ω},\mathrm{\υ})=e^{-2\mathrm{\π}j({\mathrm{\θ}}_0\mathrm{\ω}+b\mathrm{\υ})}{a}^{-2}{R}_{p1}(\mathrm{\ω},\mathrm{\υ})$

1.6利用交叉能量谱公式即可求得待匹配图像和参考图像间的旋转角度θ₀，也即

$\frac{S_{p1}(\mathrm{\ω},\mathrm{\υ})R_{p1}^{*}(\mathrm{\ω},\mathrm{\υ})}{\left|S_{p1}(\mathrm{\ω},\mathrm{\υ})R_{p1}(\mathrm{\ω},\mathrm{\υ})\right|}=e^{-2\mathrm{\π}j({\mathrm{\θ}}_0\mathrm{\ω}+b\mathrm{\υ})}$

上式中，等号左边表达式取得最大值时的θ₀即为待匹配图像和参考图像间的旋转角度。

矫正的目的是将待匹配图像旋转到与参考图像相同的角度。

本发明在对待匹配图像和参考图像匹配之前，对两幅图像间的旋转角度进行了校正，为两幅图像的精确匹配建立了良好的基础。

实施例3

基于傅里叶梅林变换的图像几何匹配方法同实施例1-2，其中步骤3中所述的利用SURF角点提取算法提取参考图像显著图和待匹配图像显著图中的特征点，包括如下步骤:

3.1利用频谱剩余理论获取参考图像和待匹配图像的显著图。

3.2确定参考图像显著图和待匹配图像显著图中的候选特征点，计算每个点的海森矩阵行列式的值，求出每个点的海森矩阵行列式后，在某点周围3×3×3的立体区域进行非极大值抑制，即通过比较本尺度某点附近8个点以及上下相邻尺度9个点的值，取最大或者最小的作为候选特征点。

3.3对特征点进行精确定位，

利用泰勒公式将海森矩阵在候选特征点位置处展开成如下：

$H\left(X\right)=H\left(X_0\right)+\frac{\∂{\[H\left(X\right)\]}^T}{\∂X}X+\frac{1}{2}{X}^T\frac{{\∂}^{2}H\left(X\right)}{\∂X^2}X$

其中，X＝(x,y,σ)，x,y为点的坐标，σ为点(x,y)处的尺度，X₀＝(x₀,y₀,σ₀)候选特征点的位置，x₀和y₀为该候选特征点的坐标，σ₀为该点处的尺度，

H(X)的极值点由下式求得：

$X^{*}=-\frac{{\∂}^2{H}^{-1}}{\∂X^2}\frac{\∂H}{\∂X}$

上式中，其中X^*是亚像素级坐标点，X^*＝(x^*,y^*,σ^*)，x^*，y^*，σ^*分别表示求得的亚像素级坐标点的横坐标，纵坐标以及该点处的尺度；

3.4选择X^*为最终的特征点。对参考图像和待匹配图像均做上述处理，得到各自最终的特征点。

实施例4

基于傅里叶梅林变换的图像几何匹配方法同实施例1-3，步骤4中所述的对初步匹配图像显著图中的特征点和参考图像显著图中的特征点进行特征关联，具体包括：

4.1计算两幅显著图中任意两点的特征描述符之间的距离

初步匹配图像显著图为图像B，参考图像显著图为图像A，设P_A是图像A中任意一点，P_B是图像B中任意一点，P_A的特征描述符向量为Descr_A，Descr_A的第i个分量记为Descr_Ai，P_B的特征描述符向量为Descr_B，它的第i个分量记为Descr_Bi，则Descr_A与Descr_B之间的距离为：

$D(P_A,P_B)=\sqrt{\underset{i=1}{\overset{n}{\Σ}}{({\mathrm{Descr}}_{Ai}-{\mathrm{Descr}}_{Bi})}^2}$

4.2使用最近距离与次近距离之比方法进行特征点关联，

由步骤4.1中计算出图像A中任意一点的描述符与图像B中所有特征点的描述符间的距离，找出特征描述符间距离最小时图像B中的特征点，并记作P_Bj，认为此时的点P_A与点P_Bj为一对特征关联点对。这样关联特征会出现下面两种情况：

一、若点P_A在图像B中的真正对应点没有检测出来，按照上述关联思想会使点P_A误关联到图像B中的其它点。

二、与点P_A的Descr_A距离最近的图像B中的特征描述符向量有可能有两个或多个，这样就无法得知到底哪一个才是点P_A的对应点。

对于上述特征关联思想出现的问题，Lowe提出了最近距离与次近距离之比的关联方法，实验证明，这种关联特征的方法可以使图像几何匹配的精度提高。

假定图像B中点P_BiN的描述符与点P_A的描述符距离最小，并记此距离为D(P_A,P_BiN)，图像B中点P_BiNN的描述符与点P_A的描述符距离次最小，并将这个距离记作D(P_A,P_BiNN)，若D(P_A,P_BiN)除以D(P_A,P_BiNN)的值比阈值小，则点P_BiN为点P_A的对应点。即

$Rod=\frac{D(P_A,P_{BiN})}{D(P_A,P_{BiNN})}$

$\left\{\begin{array}{ccc}if& Rod\≤threshold,& success\\ if& Rod>threshold,& failure\end{array}\right.$

阈值threshold是位于区间(0,1)的一个正数。本发明研究表明阈值threshold位于区间[0.5,0.7]时，提取的特征点效果最好。下面结合附图从具体操作的角度对本发明作进一步的详细描述。

实施例5

基于傅里叶梅林变换的图像几何匹配方法同实施例1-4，参见图1和图2，

步骤1：利用傅里叶梅林变换的理论求出待匹配图像和参考图像之间的旋转角度。

假定待匹配图像为f₂(x,y)，参考图像为f₁(x,y)，f₁(x,y)与f₂(x,y)之间的关系如式(1)所示，

f₂(x,y)＝f₁[a(xcosθ₀+ysinθ₀)-Δx,a(-xcosθ₀+ysinθ₀)-Δy](1)

式(1)中，a为尺度变换因子，θ₀为待匹配图像和参考图像间的旋转角度，Δx和Δy为f₁(x,y)与f₂(x,y)在x轴和y轴的平移量。

变换f₁(x,y)和f₂(x,y)到傅里叶频域，得到关系式(2)，

$F_2(\mathrm{\ξ},\mathrm{\η})=e^{-2\mathrm{\π}j(\mathrm{\ξ}\mathrm{\Δ}x+\mathrm{\η}\mathrm{\Δ}y)}{a}^{-2}|F_1\[a^{-1}({\mathrm{\ξcos\θ}}_0+{\mathrm{\ηsin\θ}}_0),a^{-1}(-{\mathrm{\ξcos\θ}}_0+{\mathrm{\ηsin\θ}}_0)\]|---\left(2\right)$

式(2)中，F₁(ξ,η)为f₁(x,y)的傅里叶变换，F₂(ξ,η)为f₂(x,y)的傅里叶变换。

对式(2)两端取模值，得到式(2)。

|F₂(ξ,η)|＝a^-2|F₁[a^-1(ξcosθ₀+ηsinθ₀),a^-1(-ξsinθ₀+ηcosθ₀)]|(3)

对式(3)中的坐标系变换到极坐标系，得到如下式(4),

$a^{-1}({\mathrm{\ξcos\θ}}_0+{\mathrm{\ηsin\θ}}_0)=\frac{\mathrm{\ρ}}{a}cos(\mathrm{\θ}-{\mathrm{\θ}}_0)---\left(4\right)$

$a^{-1}(-{\mathrm{\ξsin\θ}}_0+{\mathrm{\ηcos\θ}}_0)=\frac{\mathrm{\ρ}}{a}\sin (\mathrm{\θ}-{\mathrm{\θ}}_0)---\left(5\right)$

式(4)和式(5)中的ρ和θ为极坐标下的变量。

将f₁(x,y)和f₂(x,y)的傅里叶变换的幅值写成极坐标的形式，如下式所示：

r_p(θ,ρ)＝|F₁(ρcosθ,ρsinθ)|(6)

s_p(θ,ρ)＝|F₂(ρcosθ,ρsinθ)|(7)

式(6)中的r_p(θ,ρ)是f₁(x,y)的傅里叶变换的幅值在极坐标系下的形式，式(7)中的s_p(θ,ρ)是f₂(x,y)的傅里叶变换的幅值在极坐标系下的形式。

将式(4)～(7)代入式(3)得

$s_p(\mathrm{\θ},\mathrm{\ρ})=a^{-2}{r}_p\[(\mathrm{\θ}-{\mathrm{\θ}}_0),\frac{\mathrm{\ρ}}{a}\]---\left(8\right)$

令λ＝lgρ，b＝lga，并定义r_p1(θ,λ)＝r_p(θ,ρ)，s_p1(θ,λ)＝s_p(θ,ρ)，则有

s_p1(θ,λ)＝a^-2r_p1[(θ-θ₀),λ-b](9)

对式(9)实施傅里叶变换，得到式(10),

$S_{p1}(\mathrm{\ω},\mathrm{\υ})=e^{-2\mathrm{\π}j({\mathrm{\θ}}_0\mathrm{\ω}+b\mathrm{\υ})}{a}^{-2}{R}_{p1}(\mathrm{\ω},\mathrm{\υ})---\left(10\right)$

利用交叉能量谱公式即可求得旋转角度θ₀,如式(11)所示，

$\frac{S_{p1}(\mathrm{\ω},\mathrm{\υ})R_{p1}^{*}(\mathrm{\ω},\mathrm{\υ})}{\left|S_{p1}(\mathrm{\ω},\mathrm{\υ})R_{p1}(\mathrm{\ω},\mathrm{\υ})\right|}=e^{-2\mathrm{\π}j({\mathrm{\θ}}_0\mathrm{\ω}+b\mathrm{\υ})}---\left(11\right)$

式(11)的等号左边表达式取得最大值时的θ₀即为待匹配图像和参考图像间的旋转角度。

步骤2：得到初步匹配图像。

利用傅里叶梅林变换求出的参考图像和待匹配图像间的旋转角度，将该旋转角度作为仿射变换的参数，通过仿射变换矫正待匹配图像，将矫正后的图像作为初步匹配图像，如式(12)所示，

$F_s=T_{{\mathrm{\θ}}_0}\left(F_B\right)---\left(12\right)$

上式中，F_A为参考图像，F_S为初步匹配图像，θ₀为参考图像F_A和待匹配图像F_B间的旋转角度，表示使用含有参数θ₀的仿射变换对F_B进行变换。

步骤3：获得初步匹配图像的显著图和参考图像的显著图，并使用SURF角点提取算法提取参考图像显著图和待匹配图像显著图中的特征点。

图像显著图的获取方法如下，

设I(x,y)为输入图像，对它进行傅里叶变换，分离它的幅度谱A(f)和相位谱P(f)。A(f)表示先验信息。log频谱记为L(f)，频谱残差记作R(f)，剩余谱算法认为A(f)曲线中的奇异点对应图像中的显著区域。以下是上述变量的关系式:

L(f)＝log(A(f))(13)

R(f)＝L(f)-h₃(f)*L(f)(14)

上式中h₃(f)的表达式如式(15)所示，

$h_3\left(f\right)=\frac{1}{9}\left[\begin{array}{ccc}1& 1& 1\\ 1& 1& 1\\ 1& 1& 1\end{array}\right]---\left(15\right)$

I(x,y)的显著图可以通过公式(16)求得，

G(x)＝g(x)*F^-1[exp(R(f)+P(f))]²(16)

上式中g(x)是高斯平滑滤波器。

参考图像显著图和待匹配图像显著图中特征点的提取包括两步，一是确定候选特征点，二是对候选特征点进行精确定位，

确定候选特征点的过程如下：

确定候选特征点主要是通过计算每个点的海森矩阵行列式的值，选择出一部分特征点，再对它们实施非极大值抑制来完成的。为了得到不同尺度下的图像，通常需要不同尺度的模板，因此，先介绍一下模板。

图3为9×9方框滤波模板，图中灰色区域表示0，其它区域值如图3所示,图3(a)为x方向滤波模板，图3(b)为y方向滤波模板,图3(c)为xy方向滤波模板。若一个方框滤波模板的尺寸为N×N，N取值为9、15、21、27、39、51、75、99、147、195等等，则它对应的尺度为σ＝1.2×N/9。

假设输入图像为I(x,y)，则海森矩阵H(X)的代数式可以通过公式(17)获得，

$H\left(X\right)=H(x,y,\mathrm{\σ})=\left[\begin{array}{cc}{L}_{xx}(x,y,\mathrm{\σ})& L_{xy}(x,y,\mathrm{\σ})\\ L_{xy}(x,y,\mathrm{\σ})& L_{yy}(x,y,\mathrm{\σ})\end{array}\right]---\left(17\right)$

上式中，L_xx(x,y,σ)、L_xy(x,y,σ)、L_yy(x,y,σ)可通过式(18)求得，

$\left\{\begin{array}{c}{L}_{xx}(x,y,\mathrm{\σ})=\frac{{\∂}^2}{\∂x^2}G(x,y,\mathrm{\σ})*I(x,y)\\ L_{xy}(x,y,\mathrm{\σ})=\frac{{\∂}^2}{\∂x\∂y}G(x,y,\mathrm{\σ})*I(x,y)\\ L_{yy}(x,y,\mathrm{\σ})=\frac{{\∂}^2}{\∂y^2}G(x,y,\mathrm{\σ})*I(x,y)\end{array}\right.---\left(18\right)$

上式中，G(x,y,σ)为含有变量σ的高斯函数，x,y为点的坐标，σ为尺度，*为卷积运算。

由于方框滤波模板的滤波特性和二阶高斯滤波器滤波特性很相似，且前者计算卷积时较为简单，因此，常用方框滤波模板代替二阶高斯滤波。利用方框滤波模板的结构特点(块状矩形区域取值一样)，通过引入积分图像，大大缩短了计算所花的时间。

对于图像I(x,y)，其积分图像I_Δ(x,y)定义如下：

$I_{\mathrm{\Δ}}(x,y)=\underset{i=0}{\overset{i\≤x}{\Σ}}\underset{j=0}{\overset{j\≤y}{\Σ}}I(x,y)---\left(19\right)$

(x,y)为点的坐标，则式(19)表示连接原点和点(x,y)的对角线所在矩形内像素灰度总和。

图4为积分图像形成图。通过式(19)可以得到所有点的积分，则图4中矩形ABDC所有灰度值的和可以通过式(20)求得。

S_ABDC＝S_A-S_B-S_C+S_D(20)

其中，S_ABDC表示矩形ABDC内灰度值总和，S_A表示矩形OEAG内灰度值总和，S_B、S_C、S_D分别表示矩形OFBG区域、矩形OECK区域和矩形OFDK区域所有像素灰度值的总和。

把方框滤波x、xy以及y方向滤波模板分别与输入图像做卷积运算得到D_xx、D_xy、D_yy(当然，此处利用积分图像代替了方框滤波模板卷积输入图像的计算)，并把D_xx、D_xy、D_yy近似代替L_xx、L_xy、L_yy。

H的行列式Det(H)由式(21)计算得到：

Det(H)＝D_xxD_yy-(ωD_xy)²(21)

上式中，ω为权重系数，其值可以由式(22)求得

$\mathrm{\ω}=\frac{\left|\right|L_{xy}(x,y,\mathrm{\σ})|{|}_F}{\left|\right|L_{xy}(x,y,\mathrm{\σ})|{|}_F}\×\frac{\left|\right|D_{xx}(x,y,N)|{|}_F}{\left|\right|D_{xy}(x,y,N)|{|}_F}---\left(22\right)$

上式中，||·||_F为Frobenius范数，N为尺寸为N×N方框滤波模板中的边长。对于尺寸为9×9方框滤波模板近似为σ＝1.2的二阶高斯导数，ω取值0.9。

利用公式(21)求出每个点的海森矩阵行列式后，在某点3×3×3的立体区域进行非极大值抑制。通过比较本尺度某点附近8个点以及上下相邻尺度9个点的值，取最大或者最小的作为候选特征点。

特征点精确定位的过程如下：

为了使特征点的位置更加精确，常用拟合的方法来实现。下面具体说明这个过程。

利用泰勒公式将海森矩阵在候选特征点位置处展开成式(23)：

$H\left(X\right)=H\left(X_0\right)+\frac{\∂{\[H\left(X\right)\]}^T}{\∂X}X+\frac{1}{2}{X}^T\frac{{\∂}^{2}H\left(X\right)}{\∂X^2}X---\left(23\right)$

上式中，X＝(x,y,σ)，x,y为点的坐标，σ为点(x,y)处的尺度，X₀＝(x₀,y₀,σ₀)候选特征点的位置，x₀和y₀为该候选特征点的坐标，σ₀为该点处的尺度。

H(X)的极值点可以由式(24)求得：

$X^{*}=-\frac{{\∂}^2{H}^{-1}}{\∂X^2}\frac{\∂H}{\∂X}---\left(24\right)$

上式中，X^*是亚像素级坐标点，X^*＝(x^*,y^*,σ^*)，x^*，y^*，σ^*分别表示求得的亚像素级坐标点的横坐标，纵坐标以及该点处的尺度。

步骤4：对初步匹配图像显著图中的特征点和参考图像显著图中特征点进行特征关联。

为便于书写，初步匹配图像显著图记作图像B，参考图像显著图记作图像A。

完成特征点的提取之后，需要将参考图像和待匹配图像中特征点进行关联，即让两幅图像中相同物理位置的点对准成一个点。通常使用最近距离与次近距离之比的方法关联特征点对。

设P_A是图像A中任意一点，P_B是图像B中任意一点，P_A的特征描述符向量为Descr_A，Descr_A的第i个分量记为Descr_Ai，P_B的特征描述符向量为Descr_B，它的第i个分量记为Descr_Bi，则Descr_A与Descr_B的距离为：

$D(P_A,P_B)=\sqrt{\underset{i=1}{\overset{n}{\Σ}}{({\mathrm{Descr}}_{Ai}-{\mathrm{Descr}}_{Bi})}^2}---\left(25\right)$

根据式(25)计算出图像A中任意一点的描述符与图像B中所有特征点的描述符间的距离，找出特征描述符间距离最小时图像B中的特征点，并记作P_Bj，认为此时的点P_A与点P_Bj为一对特征关联点对。这样关联特征会出现下面两种情况：一，若点P_A在图像B中的真正对应点没有检测出来，按照上述关联思想会使点P_A误关联到图像B中的其它点。二，与点P_A的Descr_A距离最近的图像B中的特征描述符向量有可能有两个或多个，这样就无法得知到底哪一个才是点P_A的对应点。

对于上述特征关联思想出现的问题，Lowe提出了最近距离与次近距离之比的关联方法，实验证明，这种关联特征的方法可以使图像几何匹配的精度提高。假定图像B中点P_BiN的描述符与点P_A的描述符距离最小，并记此距离为D(P_A,P_BiN)，图像B中点P_BiNN的描述符与点P_A的描述符距离次最小，并对这个距离记作D(P_A,P_BiNN)，若D(P_A,P_BiN)除以D(P_A,P_BiNN)的值比阈值小，则点P_BiN为点P_A的对应点。即

$Rod=\frac{D(P_A,P_{BiN})}{D(P_A,P_{BiNN})}---\left(26\right)$

$\left\{\begin{array}{ccc}if& Rod\≤threshold,& success\\ if& Rod>threshold,& failure\end{array}\right.---\left(27\right)$

阈值threshold是位于区间(0,1)的一个正数。本例中取阈值取为0.6，提取到的特征点效果较好。

步骤5：求解仿射模型参数。

假定特征点p₁(x₁,y₁)和特征点p₂(x₂,y₂)是分别来自初步匹配图像显著图和参考图像显著图中的特征点，且二者为关联点。则根据仿射变换，建立二者的关系如下：

$\left\{\begin{array}{c}{x}_2=a_{11}{x}_1+a_{12}{y}_1+a_{13}\\ y_2=a_{21}{x}_1+a_{22}{y}_1+a_{23}\end{array}\right.---\left(28\right)$

上式中,a₁₁,a₁₂,a₁₃,a₂₁,a₂₂,a₂₃分别是控制平移、旋转和尺度变换的参数。式(28)可以改写成矩阵的形式，如式(29)所示：

$\left[\begin{array}{c}{x}_2\\ y_2\\ 1\end{array}\right]=\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right]---\left(29\right)$

通过，代入多个关联特征点的坐标，求出a₁₁,a₁₂,a₁₃,a₂₁,a₂₂,a₂₃等参数。

步骤6：利用求解出的仿射变换模型变换初步匹配图像，并使用双线性插值算法插值，最终得到匹配图像。

本发明在对图像进行特征匹配前，先对待匹配图像和参考图像间的旋转角度进行校正，无论旋转角度较小或较大的情况，本发明均可以进行处理，提高了匹配精度，且匹配时间更短。在图像的显著性图(而非整个图像)中提取特征点，并在显著图中对特征点进行关联，从而节省了图像匹配的时间。本发明不需添加去误匹配算法，因而节省了匹配时间，在不添加去误匹配算法的情况下依然能获得较高的匹配精度。

本发明的效果通过以下仿真进一步说明。

实施例6

基于傅里叶梅林变换的图像几何匹配方法同实施例1-5，

仿真条件

本实验的硬件测试平台是：AMDA8-4500MAPUwithRadeon(tm)HDGraphics,主频1.9GHz，内存4GB，软件平台为：Windows7操作***和Matlab2011a。

仿真内容与结果

仿真1，利用本发明方法对单模态图像进行图像匹配，并与SURF算法和SIFT算法对比，结果如图5～9所示，图5～9中是以Lena图片作为实验图像，采用本发明的匹配方法进行仿真实验。实验中，图5到图9，待匹配图像与参考图像间的旋转角度逐渐增大，采用本发明的方法匹配后仍可得到较好的匹配效果。尤其是图9，两者间的旋转角度为80°,经本发明匹配后，获得的匹配图像与参考图像角度几乎一致，而其他方法的匹配结果均未达到本发明的效果。

实施例7

基于傅里叶梅林变换的图像几何匹配方法同实施例1-5，仿真条件同实施例6

仿真2，利用本发明方法对多模态图像进行图像匹配，并与SURF算法和SIFT算法对比，结果如图10～14所示，图10～14中是以人的脑部图片作为实验图像，采用本发明的匹配方法进行仿真实验。实验中，图10到图14，待匹配图像与参考图像间的旋转角度逐渐增大，采用本发明的方法匹配后仍可得到较好的匹配效果。尤其是图14，两者间的旋转角度为80°,经本发明匹配后，获得的匹配图像与参考图像角度几乎一致，而其他方法的匹配结果均未达到本发明的效果。

实施例8

基于傅里叶梅林变换的图像几何匹配方法同实施例1-5，仿真条件同实施例6仿真结果分析：

从表1中看出，只有在待匹配图像与参考图像间的旋转角度为5°时，SURF算法的匹配精度为0.9746，略微高于本发明的匹配精度0.9725，在待匹配图像与参考图像间的旋转角度为10°、50°、60°、80°时，本发明的匹配精度都要高于SURF算法，且本发明的匹配精度基本上都超过了0.97，本发明的匹配精度在待匹配图像与参考图像间旋转角度为5°、10°、50°、60°、80°时，均高于SIFT算法的匹配精度。

从表2中看到，在匹配时间方面，本发明与SURF算法差不多，有时，匹配时间比SURF算法少，有时，则正好相反。例如，在待匹配图像与参考图像间旋转角度差为60°、80°时，本发明所花时间分别为11.962秒以及9.4542秒，要少于SURF算法的12.553秒以及9.8333秒。本发明的匹配时间远远少于SIFT算法的匹配时间。

表1三种匹配算法匹配精度表

表2三种匹配算法匹配时间(秒)

表3三种匹配方法匹配精度表

表4三种匹配方法匹配时间表(秒)

从表3看出，SIFT算法在处理待匹配图像与参考图像间存在较大旋转角度的情况下(20°及其以上)，匹配精度比较低，例如，待匹配图像与参考图像间旋转角度为50°时，SIFT算法的匹配精度为0.6921。待匹配图像与参考图像间旋转角度为5°、10°、60°、80°时，SIFT算法的匹配精度也只有0.7多一点，不超过0.8。SURF算法在待匹配图像与参考图像间旋转角度为5°和10°时，匹配精度分别为0.9696,0.9148。待匹配图像与参考图像间旋转角度超过10°时，SURF算法的匹配精度就再也没有达到0.9，且匹配精度会随着待匹配图像与参考图像间旋转角度的增大而呈现下降趋势。而本发明除了在待匹配图像与参考图像间旋转角度为5°和60°时，匹配精度为0.9432和0.9532之外，在待匹配图像与参考图像间旋转角度为10°、50°、80°时的匹配精度都超过了0.96。

从表4看出，SIFT算法匹配时间较SURF算法和本发明的方法长很多，都在180秒以上，有些甚至超过300秒。而本发明的匹配时间虽然比SURF算法多一点，但是大多数情况多不了1秒。

综上，本发明的方法与当前较为常用的SURF算法和SIFT算法进行比较，实验结果表明，在匹配精度方面，SIFT算法和SURF算法在处理待匹配图像和参考图像间旋转角度差较大时(超过20°)，匹配精度基本呈现下降的趋势，且都小于0.9。而本发明提出的基于傅里叶梅林变换的图像几何匹配算法不仅可以有效处理待匹配图像与参考图像间旋转角度差较小的情况，而且可以处理待匹配图像与参考图像间旋转角度较大的情况，匹配后的图像和参考图像的归一化相关系数基本在0.96以上。在匹配时间方面，SIFT算法匹配时间远远大于SURF算法和本发明提出的算法，本发明提出的算法匹配时间基本和SURF算法差不多。

Claims (4)

1.一种基于傅里叶梅林变换的图像几何匹配方法，其特征在于，对待匹配图像和参考图像进行匹配，匹配步骤包括有：

步骤1：利用傅里叶梅林变换求出待匹配图像B和参考图像A之间的旋转角度，首先将待匹配图像和参考图像均变换到傅里叶频域，得到待匹配图像和参考图像的频谱，然后对待匹配图像的频谱和参考图像的频谱分别取模值，建立一个关于两幅图像间旋转角度的等式，找出待匹配图像频谱和参考图像频谱模值的关系，再将等式变换到极坐标下，得到两模值在极坐标下相应的关系等式，最后对极坐标下的等式进行傅里叶变换，根据交叉能量谱公式求得待匹配图像和参考图像之间的旋转角度；

步骤2：得到初步匹配图像，利用傅里叶梅林变换求出的参考图像和待匹配图像间的旋转角度，矫正待匹配图像，得到初步匹配图像；

步骤3：获得初步匹配图像的显著图和参考图像的显著图，并使用SURF角点提取算法提取参考图像显著图和待匹配图像显著图中的特征点；

步骤4：对初步匹配图像显著图中的特征点和参考图像显著图中的特征点进行特征关联，即使用最近距离与次近距离之比的关联方法，让两幅图像中相同物理位置的点对准成一个点，形成关联点；

步骤5：求解仿射变换模型参数，假定初步匹配图像显著图的特征点p₁(x₁,y₁)和参考图像显著图的特征点p₂(x₂,y₂)是关联点，则根据仿射变换，建立二者的关系如下式：

$\left\{\begin{array}{c}{x}_2=a_{11}{x}_1+a_{12}{y}_1+a_{13}\\ y_2=a_{21}{x}_1+a_{22}{y}_1+a_{23}\end{array}\right.$

上式中,a₁₁,a₁₂,a₁₃,a₂₁,a₂₂,a₂₃分别是控制平移、旋转和尺度变换的参数，上式也可以改写成矩阵形式，如下式所示，

$\left[\begin{array}{c}{x}_2\\ y_2\\ 1\end{array}\right]=\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right]$

通过代入初步匹配图像显著图和参考图像显著图中多对关联特征点对的坐标，求出仿射变换模型的a₁₁,a₁₂,a₁₃,a₂₁,a₂₂,a₂₃参数；

步骤6：利用求解出的仿射变换模型变换初步匹配图像，并使用双线性插值算法对变换后的图像插值，得到待匹配图像最终的匹配图像。

2.根据权利要求1所述的基于傅里叶梅林变换的图像几何匹配方法，其特征在于，步骤1中所述的利用傅里叶梅林变换求出待匹配图像和参考图像之间的旋转角度，包括如下步骤：

(1.1)输入待匹配图像和参考图像，并获得它们之间的关系，

假定待匹配图像为f₂(x,y)，参考图像为f₁(x,y)，二者之间的关系如下式所示，

f₂(x,y)＝f₁[a(xcosθ₀+ysinθ₀)-Δx,a(-xcosθ₀+ysinθ₀)-Δy]

上式中，a为尺度变换因子，θ₀为待匹配图像和参考图像间的旋转角度，Δx和Δy为f₁(x,y)与f₂(x,y)在x轴和y轴的平移量；

(1.2)将待匹配图像和参考图像均变换到傅里叶变换域，得到两者的频谱关系，

变换f₁(x,y)和f₂(x,y)到傅里叶频域，得到下面关系式，

F₂(ξ,η)＝e^{-2πj(ξΔx+ηΔy)}a^-2|F₁[a^-1(ξcosθ₀+ηsinθ₀),a^-1(-ξcosθ₀+ηsinθ₀)]|

上式中，F₁(ξ,η)为f₁(x,y)的傅里叶变换，F₂(ξ,η)为f₂(x,y)的傅里叶变换；

(1.3)对待匹配图像和参考图像的频谱分别取模值，得到待匹配图像和参考图像模值的关系式，

|F₂(ξ,η)|＝a^-2|F₁[a^-1(ξcosθ₀+ηsinθ₀),a^-1(-ξsinθ₀+ηcosθ₀)]|

(1.4)将待匹配图像和参考图像模值的关系式变换到极坐标下，

$a^{-1}({\mathrm{\ξcos\θ}}_0+{\mathrm{\ηsin\θ}}_0)=\frac{\mathrm{\ρ}}{a}cos(\mathrm{\θ}-{\mathrm{\θ}}_0)$

$a^{-1}(-{\mathrm{\ξsin\θ}}_0+{\mathrm{\ηcos\θ}}_0)=\frac{\mathrm{\ρ}}{a}sin(\mathrm{\θ}-{\mathrm{\θ}}_0)$

式中的ρ和θ为极坐标下的变量；

将f₁(x,y)和f₂(x,y)的傅里叶变换的幅值写成极坐标的形式：

r_p(θ,ρ)＝|F₁(ρcosθ,ρsinθ)|

s_p(θ,ρ)＝|F₂(ρcosθ,ρsinθ)|

上式中的r_p(θ,ρ)是f₁(x,y)的傅里叶变换的幅值在极坐标系下的形式，s_p(θ,ρ)是f₂(x,y)的傅里叶变换的幅值在极坐标系下的形式；

通过迭代得到，

$s_p(\mathrm{\θ},\mathrm{\ρ})=a^{-2}{r}_p\[(\mathrm{\θ}-{\mathrm{\θ}}_0),\frac{\mathrm{\ρ}}{a}\]$

令λ＝lgρ，b＝lga，并定义r_p1(θ,λ)＝r_p(θ,ρ)，s_p1(θ,λ)＝s_p(θ,ρ)，则有

s_p1(θ,λ)＝a^-2r_p1[(θ-θ₀),λ-b]

(1.5)对待匹配图像和参考图像的傅里叶频谱模值在极坐标下的关系式进行傅里叶变换，

$S_{p1}(\mathrm{\ω},\mathrm{\υ})=e^{-2\mathrm{\π}j({\mathrm{\θ}}_0\mathrm{\ω}+b\mathrm{\υ})}{a}^{-2}{R}_{p1}(\mathrm{\ω},\mathrm{\υ})$

(1.6)利用交叉能量谱公式求得待匹配图像和参考图像间的旋转角度θ₀，

$\frac{S_{p1}(\mathrm{\ω},\mathrm{\υ})R_{p1}^{*}(\mathrm{\ω},\mathrm{\υ})}{\left|S_{p1}(\mathrm{\ω},\mathrm{\υ})R_{p1}(\mathrm{\ω},\mathrm{\υ})\right|}=e^{-2\mathrm{\π}j({\mathrm{\θ}}_0\mathrm{\ω}+b\mathrm{\υ})}$

上式中，等号左边表达式取得最大值时的θ₀即为待匹配图像和参考图像间的旋转角度。

3.根据权利要求1所述的基于傅里叶梅林变换的图像几何匹配方法，其特征在于，步骤3中所述的利用SURF角点提取算法提取参考图像显著图和待匹配图像显著图中的特征点，包括如下步骤:

(3.1)利用频谱剩余理论获取参考图像和待匹配图像的显著图；

(3.2)定参考图像显著图和待匹配图像显著图中的候选特征点，

计算每个点的海森矩阵行列式的值，求出每个点的海森矩阵行列式后，在某点周围3×3×3的立体区域进行非极大值抑制，通过比较本尺度某点附近8个点以及上下相邻尺度9个点的值，取最大或者最小的作为候选特征点；

(3.3)征点进行精确定位，

利用泰勒公式将海森矩阵在候选特征点位置处展开成如下：

$H\left(X\right)=H\left(X_0\right)+\frac{\∂{\[H\left(X\right)\]}^T}{\∂X}X+\frac{1}{2}{X}^T\frac{{\∂}^{2}H\left(X\right)}{\∂X^2}X$

其中，X＝(x,y,σ)，x,y为点的坐标，σ为点(x,y)处的尺度，X₀＝(x₀,y₀,σ₀)候选特征点的位置，x₀和y₀为该候选特征点的坐标，σ₀为该点处的尺度，

H(X)的极值点由下式求得：

$X^{*}=-\frac{{\∂}^2{H}^{-1}}{\∂X^2}\frac{\∂H}{\∂X}$

其中X^*是亚像素级坐标点，X^*＝(x^*,y^*,σ^*)，x^*，y^*，σ^*分别表示求得的亚像素级坐标点的横坐标，纵坐标以及该点处的尺度；

(3.4)选择极值点X^*作为最终的特征点。

4.根据权利要求1所述的基于傅里叶梅林变换的图像几何匹配方法，其特征在于，步骤4中所述的对初步匹配图像显著图中的特征点和参考图像显著图中的特征点进行特征关联，具体包括：

(4.1)计算两幅显著图中任意两点的特征描述符之间的距离

初步匹配图像显著图为图像B，参考图像显著图为图像A，设P_A是图像A中任意一点，P_B是图像B中任意一点，P_A的特征描述符向量为Descr_A，Descr_A的第i个分量记为Descr_Ai，P_B的特征描述符向量为Descr_B，它的第i个分量记为Descr_Bi，则Descr_A与Descr_B之间的距离为：

$D(P_A,P_B)=\sqrt{\underset{i=1}{\overset{n}{\Σ}}{({\mathrm{Descr}}_{Ai}-{\mathrm{Descr}}_{Bi})}^2}$

(4.2)使用最近距离与次近距离之比方法进行特征点关联，

(4.21)找出特征描述符间距离最小时图像B中的特征点，假定图像B中点P_BiN的描述符与点P_A的描述符距离最小，此时的距离为D(P_A,P_BiN)，

(4.22)找出特征描述符间距离次小时图像B中的特征点，假定图像B中点P_BiNN的描述符与点P_A的描述符距离次最小，并对这个距离记作D(P_A,P_BiNN)，

(4.23)计算D(P_A,P_BiN)除以D(P_A,P_BiNN)的值，若该值比阈值小，则点P_BiN即为点P_A的对应的特征点，即

$Rod=\frac{D(P_A,P_{BiN})}{D(P_A,P_{BiNN})}$

$\left\{\begin{array}{cc}ifRod\≤threshold,& success\\ ifRod>threshold,& failure\end{array}\right.$

其中，阈值threshold是位于区间(0,1)的一个正数。