CN103679720A - 一种基于小波分解与Harris角点检测的快速图像配准方法 - Google Patents

Abstract

本发明公开了一种基于小波分解与Harris角点检测的快速图像配准方法，通过小波分解使得图像的大小缩小从而减少了运算量，提高了图像配准的实时性，且小波分解的过程为一个低通滤波的过程，能够处理噪声，此外本发明采用Harris角点检测算法进行角点配对，同时还对误匹配点角点进行了剔除使得抗噪、抗干扰能力强，进一步提高了图像匹配的准确度。

Description

一种基于小波分解与Harris角点检测的快速图像配准方法

技术领域

本发明涉及数字图像处理与模型辨识相关技术，适用于包括导航、机动目标跟踪、状态监控等图像处理与模式识别相关领域，具体涉及一种基于小波分解与Harris角点检测的快速图像配准方法。

背景技术

图像配准是图像处理的一个基础问题。随着计算机技术的发展，图像配准算法得到了快速的发展，在遥感、军事、医疗、导航、成像制导、变迁检测等领域得到广泛的应用。

目前，图像配准方法主要有两类：一类是基于区域的图像配准方法，是指利用两幅图像像素间的灰度值关系来确定变换模型的参数，该方法利用了图像的全部灰度信息，配准精度高，但计算量大，实时性差。目前常见的基于区域的图像配准算法有比值法、基于块匹配方法（又称基于模板配准算法）、网格匹配法等，这种方法适用于图像间只有水平、垂直平移的情况。

另一类是基于特征的图像配准方法，其基本步骤如下：首先提取基准图像和待配准的图像特征集，然后进行特征匹配，最后利用配准的特征之间的关系估算出基准图像和待配准图像之间几何变换模型及其参数变量值。这种方法利用图像中的明显特征来，而不是利用图像中全部的信息计算图像之间的变换，对图像灰度的变化具有鲁棒性，能够适用于存在更复杂几何变换的图像之间的配准。常见的基于特征的图像配准算法有：Harris角点检测算法、SUSAN角点检测算法、SIFT尺度不变特征转换算法等。

目前，基于特征的图像配准算法中Harris角点检测算法是应用最广泛的图像配准方法，但是这种算法计算复杂，使得匹配实时性较差，此外，由于该方法存在角点误匹配问题，使得其抗噪、抗干扰能力差，从而导致图像匹配准确度差问题。

发明内容

有鉴于此，本发明提供了一种基于小波分解与Harris角点检测的快速图像配准方法，通过小波分解使得图像的大小缩小从而减少了运算量，提高了图像配准的实时性，且小波分解的过程为一个低通滤波的过程，能够处理噪声，此外本发明采用Harris角点检测算法进行角点配对，同时还对误匹配点角点进行了剔除使得抗噪、抗干扰能力强，进一步提高了图像匹配的准确度。

一种基于小波分解与Harris角点检测的快速图像配准方法，包括下列步骤：

步骤一、将基准图像和待配准图像分别从三维的真彩色图像转换为二维的灰度图像，将基准图像和待配准图的灰度图分别记为图像f₁和图像f₂；

步骤二、对图像f₁和图像f₂进行N级小波分解，分别获得一个第N次小波分解时的近似图像，其中，图像f₁进行N次分解后的近似图像称为LLNA，图像f₂进行N次分解后的近似图像称为LLNB；

步骤三、采用Harris角点检测算法对步骤二小波分解后得到的近似图像LLNA和LLNB进行角点提取；

步骤四、采用NCC匹配算法对步骤三得到的近似图像LLNA提取的角点与近似图像LLNB提取的角点进行角点粗配准，获得匹配角点对；

步骤五、采用RANSAC算法对步骤四获得的角点对进行验证，剔除误匹配的角点对，得到正确的匹配角点对；

步骤六、利用步骤五得到的匹配角点对进行几何变换获得模型变换参数。

较佳的，步骤二中的N等于2。

较佳的，步骤六中的几何变换为仿射变换。

有益效果：

1)本发明首先，通过N级小波分解后，图像的大小缩小为原来的1/2^N，所以，基于小波分解后的图像进行图像配准，大大缩短了计算复杂性，提高了图像配准的匹配实时性。

其次，本发明与传统的基于Harris角点的图像配准算法相比，引进了小波分解和剔除误匹配点两个步骤，小波分解过程是一个低通滤波的过程，对含有噪声的图像进行小波分解，其实是对图像进行了去噪声处理，能够将不重要的细节信息处理掉，只保留重要的基本信息，从而降低了噪声干扰，提高了图像匹配准确度。采用RANSAC算法对角点对进行验证，剔除误匹配的角点对，提高了图像配准方法的抗噪和抗干扰能力，进一步提高了图像的匹配准确度。

2)本发明实施例对图像进行了二级小波分解，能够压缩图像的同时不增加计算的复杂度，进一步保证了图像匹配的准确度和实时性。

3）本发明实施例利用得到的匹配角点对采用仿射变换获得几何变换模型，该几何变换能够实现图像平移、旋转等多种变换，同时又无复杂的计算量，能够进一步保证图像匹配的准确度和实时性。

附图说明

图1为本发明的流程图；

图2为小波分解得到的近似图像；

图3为基准图像和待配准图像的近似图像上提取的角点；

图4为采用NCC匹配算法对获得的匹配角点对；

图5为采用RANSAC算法剔除误匹配的角点对。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

本发明提供了一种基于小波分解与Harris角点检测的快速图像配准方法，该方法在计算机硬件环境下进行，Windows2000/XP；matlab或C语言或C++等任何一种语言环境软件均可实现，本实施例采用matlab语言环境，流程图如图1所示，具体包括下列步骤，：

步骤一、在matlab中输入两幅图像F₁和F₂，其中F₁为基准图像，F₂为待配准图像，采用matlab中的函数rgb2gray()分别将两幅图像分别从三维的真彩色图像转换为二维的灰度图像，将基准图像和待配准图的灰度图分别记为图像f₁和图像f₂。

步骤二、对图像f₁和图像f₂进行N级小波分解，分别获得一个第N次小波分解时的近似图像，其中，图像f₁进行N次分解后的近似图像称为LLNA，图像f₂进行N次分解后的近似图像称为LLNB。

例如，对图像f₁进行一级小波分解时，首先用低通滤波器（L）和高通滤波器（H）对图像行向进行小波分解，得到的高频分量和低频分量数据；然后将得到的高频分量和低频分量数据的列向分别用低通滤波器（L）和高通滤波器（H）进行滤波，从而得到图像的低频部分，又称为图像的一级近似信息LL1A、图像沿水平方向的细节信息HL1A、图像沿垂直方向的细节信息LH1A；图像沿对角线方向的细节信息HH11。

对图像进行二级小波分解即对获得的图像一级分解近似信息LL1A进行二次小波分解，获得图像的二级近似信息LL2A，图像沿水平方向的细节信息HL2A，图像沿垂直方向的细节信息LH2A，为图像沿对角线方向的细节信息HH2A。

当进行N级小波分解时，得到图像的N级近似信息；图像沿水平方向的细节信息HLNA；图像沿垂直方向的细节信息LHNA；图像沿对角线方向的细节信息HHNA。

这种分解是一种无损变焦，且近似分量是光滑的，因而小波分解具有压缩图像及抗噪声的优点，图像分解次数的选择非常重要，分解的层数越多，进行图像配准时计算复杂度越低、匹配效率越高，然而，分解次数太多的话会丢失大量的图像信息。因此，在对图像进行分解时，选择合适的分解层数不仅简化图像信息，同时保留了图像的重要信息，本实施例对图像进行二级小波分解，能够压缩图像的同时不增加计算的复杂度，进一步保证了图像匹配的准确度和实时性。

对图像f₁和图像f₂进行二级小波分解，分别获得小波分解后的近似图像，其中，图像f₁进行N次分解后的近似图像称为LL2A,图像f₂进行N次分解后的近似图像称为LL2B，如图2所示，左图为LL2A，右图为LL2B。

步骤三、采用Harris角点检测算法分别对步骤二小波分解后得到的近似图像LL2A和LL2B进行角点信息提取。

Harris角点检测算法（曲喜文.一种改进的Harris角点检测方法.机电技术，2012，40-42）原理如下：

首先，将待检测的图像窗口w向任意方向移动微小的位移，假定图像窗口w内的目标像素的坐标是(x,y)，在x和y方向移动的位移分别为u和v，则将点(x,y)在一个(u,v)正方形窗口中的灰度变化量定义为：

$\begin{array}{c}E(u,v)=\underset{x,y}{\mathrm{\Σ}}w(x,y){[I(x+u,y+v)-I(x,y)]}^2\\ =\underset{x,y}{\mathrm{\Σ}}w(x,y){[I_{x}u+I_{y}v+o(u^2+v^2)]}^2\end{array}$

其中：w(x,y)为窗函数，这里选用高斯窗口，以提高抗干扰能力；I(x,y)，I(x+u,y+v)是目标像素的灰度函数；o(u²+v²）是位移无穷小量；I_x和I_y为目标像素的一阶灰度梯度，其中，

$w(x,y)=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}{e}^{-\frac{x^2+y^2}{2{\mathrm{\σ}}^2}}$

$I_x=\frac{\∂I}{\∂x}=I\⊗(-\mathrm{1,0,1})$

$I_y=\frac{\∂I}{\∂y}=I\⊗(-\mathrm{1,0,1})$

写成矩阵形式：

$M=w(x,y)\⊗\left[\begin{array}{cc}{I}_x^2& I_x{I}_y\\ I_x{I}_y& I_y^2\end{array}\right]$

则 $E(u,v)=\left[\begin{array}{cc}u& v\end{array}\right]M\left[\begin{array}{c}u\\ v\end{array}\right]$

其中：M是目标像素的自相关矩阵；设λ₁和λ₂是M的两个特征值，λ₁和λ₂的值的大小决定了该目标像素为角点、边缘或平坦区域：

(1)角点：λ₁和λ₂的值都比较大；

(2)边缘：λ₁和λ₂的值，一个大，一个小；

(3)平坦区：λ₁和λ₂都很小。

为了避免对自相关矩阵M进行特征值分解，定义角点响应函数CRF为:

CRF＝det(M)-k*trace²(M)

其中，det(M)为矩阵M的行列式；trace(M)为矩阵M的迹（矩阵对角线元素的和）；k为经验值，通常取0.04。（毛雁明，兰美辉，王运琼，冯乔生.一种改进的基于Harris的角点检测方法，计算机技术与发展，2009.05）

本实施例对两幅图像采用Harris算法提取角点时，角点判断的准则为：

当角点响应函数CRF的值大于某个预先设定的阈值时，即为候选的角点，否则不是角点，阈值的大小根据所需角点的多少来决定。

因此，要确保角点的数目足够多，就需要设置合适的阈值，根据经验可知，角点的数目在200左右时，就能保证图像配准时有足够的角点对，因此，通过多次实验，针对本实施例图像中角点阈值设置为0.000149044。

对图2中的两幅图像进行Harris角点提取，并将提取的角点在图像上做上标记，得到图3所示的角点图像。

Harris算子是一种有效的点特征提取算子，有以下几个优点：

①计算简单：Harris算子中只用到灰度的一阶差分以及滤波，操作简单；

②提取的点特征均匀而且合理；

③稳定：Harris算子的计算公式中只涉及到一阶导数，因此，对图像旋转、灰度变化、噪声影响和视点变换不敏感，是比较稳定的一种点特征提取算子。

步骤四、采用NCC匹配算法对步骤三得到的近似图像LL2A提取的角点与近似图像LL2B提取的角点进行角点粗配准，获得匹配角点对。

NCC匹配算法是一种经典的匹配算法，该方法是在基准图像和待配准图像中以提取的角点为中心，构造M×N的模板，分别获得模板图像（对应基准图像以角点为中心构造的M×N模板图像）和背景图像（对应待配准图像以角点为中心构造的M×N模板图像），通过计算模板图像和背景图像的互相关值来确定匹配的程度，互相关的最大值决定了模板图像在背景图像中的位置和相似程度，进而得到基准图像和待配准图像上角点的相关程度。

在实际匹配应用中，模板图像和背景图像的相似性通过度量函数来度量，本实施例采用归一化积相关匹配度量函数C来度量，其定义为

$C=\frac{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}[f(x_i,y_j)-\stackrel{\‾}{f}][g(x_i^{*},y_j^{*})-\stackrel{\‾}{g}]}{\sqrt{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{[f(x_i,y_j)-\stackrel{\‾}{f}]}^2}\sqrt{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{[g(x_i^{*},y_j^{*})-\stackrel{\‾}{g}]}^2}}---\left(1\right)$

其中，f(x_i,y_j)为基准图像上某一点(x_i,y_j)处的灰度值，

为待配准图像上某一点

处的灰度值。

分别为基准图像和待配准图像上M×N的模板上灰度均值，其值为：

$\stackrel{\‾}{f}=\frac{1}{m\×n}\underset{i,j}{\mathrm{\Σ}}f(x_i,y_j),\stackrel{\‾}{g}=\frac{1}{m\×n}\underset{i,j}{\mathrm{\Σ}}g(x_i^{*},y_j^{*})---\left(2\right)$

其中：m和n分别为图像的行和列。

C为互相关系数，当C=1时，说明基准图像和待配准图像上相应的模板是完全相关的，当C=0时，表示不相关。在实际应用中，由于光线、噪声对图像的影响，要使图像完全相关是很难的，因此这里的相关性存在一定的误差。实验中，取C大于0.8时，则认为两个模板是匹配的，否则是不匹配的。（陈卫兵.几种图像相似性度量的匹配性能比较[J].计算机应用，2010(1)）。

本实施例采用上述算法对步骤三中的近似图像LL2A提取的角点信息与近似图像LL2B提取的角点信息进行角点粗配准，获得匹配角点对，如图4所示。

步骤五、采用RANSAC算法对步骤四获得的角点对进行验证，剔除误匹配的角点对，如图5所示，得到正确的匹配角点对，提高了图像配准方法的抗噪和抗干扰能力，进一步提高了图像的匹配准确度。

从图3可知，角点对的配准并不准确，有正确的角点对，也存在误匹配的角点对，因此，为了提高角点对配准的精度，需要进行误匹配角点对的剔除。

RANSAC是“Random Sample Consensus（随机采样一致性）”的缩写，是在1981年由Fischler和Bolles最先提出的，它是从一组包含异常数据的数据集中迭代估计数学模型的参数，得到有效数据的算法。RANSAC一般采用比较少的点估计出模型，再利用剩余的点来验证模型，这样就减轻存在严重错误点时异常数据对模型参数估计的影响。

RANSAC算法的基本假设为：

（1）数据由“局内点”组成；

（2）“局外点”是不能适应该模型的数据；

（3）除此之外的数据属于噪声。

这里所说的局内点（inliers）是指正确的数据，异常点也称为局外点(outliers)，是指偏离正常范围，无法适应数学模型的数据。这些异常点通常是由于噪声、错误的测量方法或对数据的错误假设产生的。

RANSAC算法的基本思想描述如下：

1）考虑一个初始化模型参数所需的最小样本数n和一个样本集P，集合P的样本数S*大于n，然后从集合P中随机抽取包含n个样本的子集S初始化模型M；

2）将余集C_Ps＝P/S与模型M误差小于某一设定阈值t的样本集及子集S作为模型M的内点集S*，称为该模型M的一致集；

3）若模型M的内点集个数大于Q(其中Q表示正确模型所含一致集的最小个数)，则认为是正确的模型参数，并利用内点集S*采用最小二乘等方法重新计算新模型，随机抽取新的子集S'，并重复（2）和（3）两个步骤；

4）在完成一定的抽样次数后，若未找到一致集则算法失败，否则选取抽样后得到的最大一致集的模型M来判断内外点，算法结束。

其中，步骤2）中阈值t是用来判断样本集是否在模型误差内，一般需要采取人工干预的方式来设置合适的阈值，一般取0.001～0.01；

步骤3）中的随机抽取样本集次数，记为k，它决定着模型参数的精度；

$k=\frac{\log (1-p)}{\log (1-e^m)}$

其中：m是计算约束模型所需的最小匹配点对数量，在这里我们选用四个点对来计算基本矩阵，所以m=4；

p为我们期望达到的概率，比如令P=0.98，也就意味着我们可以找到m个正确匹配点对的概率为98%；

e是正确的数据比例，它是未知的，它会随着程序的运行不断更新，比如在第一次选取了4个点对，计算出模型M，我们判断出满足M的内点，这些内点在匹配点对集合中占40%，那么e就等于0.4，我们第二次又选取了另外4个点对计算出M，我们判断出满足M的内点，这些内点在匹配点对集合中占70%，那么e就更新到0.7，依此类推。

步骤六、利用步骤五得到的匹配角点对进行几何变换获得模型变换参数。

图像配准就是找出两图像中的同一目标对象的空间位置关系，从而确定图像间的匹配关系，在进行图像配准之前，需要选择正确的变换模型。图像的配准依赖于所选择的几何变换模型，常见的获得几何变换模型的方法有刚体变换、相似变换、仿射变换和投影变换等，由于仿真变换能够实现图像的平移、旋转、尺度缩放等多种变换，同时又无复杂的计算量，能够进一步保证图像匹配的准确度和实时性。因此，本实施例中选用仿射变换。

假设待配准图像上一点的坐标(u,v)与基准图像上一点的坐标(x,y)为一对匹配的角点对，写成齐次坐标的表示形式分别为(u',v',w')与(x,y,1)，则待配准图像经仿射变换变换到基准图像的公式为：

$\left[\begin{array}{c}{u}^{\′}\\ v^{\′}\\ w^{\′}\end{array}\right]=\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]---\left(3\right)$

上式中是具有8个自由度的变换矩阵。

根据上面得到的角点匹配点集，采用随机采样一致性就能够估计出这8个参数：

将这些参数带入式(3)，可得：

$u=\frac{u^{\′}}{w^{\′}}=\frac{a_{11}x+a_{12}y+a_{13}}{a_{31}x+a_{32}y+1}$

$v=\frac{v^{\′}}{w^{\′}}=\frac{a_{21}x+a_{22}y+a_{23}}{a_{31}x+a_{32}y+1}$

根据上式可知，共有8个未知数，为了求解这8个未知数，至少需要4对配准的角点。

根据上面得到的角点对，得到的变换模型矩阵为：

$M=\left[\begin{array}{ccc}0.0847& -0.3674& -0.0040\\ -0.2635& 0.4805& -0.0023\\ 33.7893& 25.2208& 1.0000\end{array}\right]$

上面得到的仿射模型变换参数，只是针对小波分解后的近似图像进行的角点配准得到的，原来两幅图像配准时的伸缩系数、旋转角度与他们分别进行小波分解后的两幅近似图像的伸缩系数、旋转角度分别相等；

若原图像配准时的平移量为(4Δt_x,4Δt_y)时，则进行一次小波分解后的两幅近似图像的平移量为(2Δt_x,2Δt_y)，进行二次小波分解后的两幅图像的平移量为(Δt_x,Δt_y)，因此，原来的两幅图像的仿射变换模型矩阵为：

这样，就能获得两幅图像的模型变换参数。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于小波分解与Harris角点检测的快速图像配准方法，其特征在于，包括下列步骤：

步骤一、将基准图像和待配准图像分别从三维的真彩色图像转换为二维的灰度图像，将基准图像和待配准图的灰度图分别记为图像f₁和图像f₂；

步骤二、对图像f₁和图像f₂进行N级小波分解，分别获得一个第N次小波分解后的近似图像，其中，图像f₁进行N次分解后的近似图像称为LLNA，图像f₂进行N次分解后的近似图像称为LLNB；

步骤三、采用Harris角点检测算法对步骤二小波分解后得到的近似图像LLNA和LLNB进行角点提取；

步骤四、采用NCC匹配算法对步骤三得到的近似图像LLNA提取的角点与近似图像LLNB提取的角点进行角点粗配准，获得匹配角点对；

步骤五、采用RANSAC算法对步骤四获得的角点对进行验证，剔除误匹配的角点对，得到正确的匹配角点对；

步骤六、利用步骤五得到的匹配角点对进行几何变换获得模型变换参数。

2.如权利要求1所述的一种基于小波分解与Harris角点检测的快速图像配准方法，其特征在于，所述步骤二中的N等于2。

3.如权利要求1所述的一种基于小波分解与Harris角点检测的快速图像配准方法，其特征在于，所述的步骤六中的几何变换为仿射变换。

Images