CN104700400A - 一种基于特征点训练的高精度图像匹配方法 - Google Patents

Abstract

本发明涉及一种基于特征点训练的高精度图像匹配方法，在图像配准前将不同角度下的待配准图像与标准图像进行特征点匹配，并提取在不同角度下均能准确匹配的特征点作为实际检测过程中的基准特征点。本发明选取的特征点既有利于搜索到定位精度更高的特征点作为变换模型的计算依据，从而提高定位精度；同时也可以进一步减少特征点匹配运算的计算量，加快算法的运算速度。

Description

一种基于特征点训练的高精度图像匹配方法

技术领域

本发明涉及特征点匹配方法，尤其是一种基于特征点训练的高精度图像匹配方法。

背景技术

图像配准是机器视觉领域的一个基本问题，一直是人们研究的热点和难点。图像配准是指在来自不同时间、不同视角或不同传感器的同一场景的两幅或多幅图像之间寻找对应关系。有关图像配准的方法主要分为：基于灰度配准和基于特征配准的方法。

基于灰度配准的方法，也称为相关配准方法，用空间二维滑动模板进行图像配准，不同算法的区别主要体现在相关准则的选择。基于特征点配准方法是首先在原始图像中提取特征，然后建立两幅图像之间特征点的配准关系，具有较高的鲁棒性，比如SURF算法。目前，基于SURF算法图像配准已经得到广泛应用，比如应用于医学图像配准，遥感图像配准等。SURF算法首先提取图像中的特征点进行特征点匹配，并将匹配的特征点对用于计算图像配准变换模型参数，使待配准图像准确地变换到标准图像位置，以达到配准目的。特征点的匹配是实现图像配准的关键，匹配的精度直接影响着后续配准的精度。算法中根据SURF特征点描述符中包含的特征点邻域信息，采用K最近邻法可以找出每个特征点潜在的两个最佳匹配点，并通过匹配点的距离最佳值与次佳值比率优选出最佳匹配点对。

但在实际图像配准过程中，待配准图像相对于标准图像存在着不同角度的变化，虽然SURF特征点检测算法具有旋转不变性的特征点，但随着图像不同角度的变化，从中提取的特征点的定位精度仍然具有一定的差异性。为了提高图像配准的精度，如何提取不受图像角度变化影响的特征点成为解决问题的关键。

发明内容

本发明的目的在于提供一种基于特征点训练的高精度图像匹配方法，选取不受图像旋转角度变化影响的特征点，从而提高图像配准的精度。

本发明解决其技术问题是采取以下技术方案实现的：

一种基于特征点训练的高精度图像匹配方法，其特征在于：在图像配准前将不同角度下的待配准图像与标准图像进行特征点匹配，并提取定位精度较高的特征点作为实际检测过程中的基准特征点。

而且，所述基准特征点的具体选择步骤为：使用SURF特征点提取算法分别提取两种不同旋转角度图像中的特征点，并分别与标准图像中的特征点进行匹配，得到标准图像中匹配的特征点集，记录特征点的X和Y坐标；分析获得的两组匹配成功的特征点集合，选取两个特征点集合中存在X和Y坐标完全一致的特征点作为基准特征点。

而且，所述旋转角度为2°至10°。

而且，所述图像配准采用SURF特征点检测算法，将基准特征点作为SURF算法图像配准的计算图像配准变换模型参数，使待配准图像准确地变换到标准图像位置。

本发明的优点和积极效果是：

1、本方法通过验证特征点的匹配性能，选取到的特征点在不同旋转条件下均能都准确匹配，且其坐标达到小数点后三位的精度，这部分特征点对图像特征的描述能力强，定位精度高，且能够更好地适应不同旋转角度下的特征点匹配。

2、本发明选取的特征点既有利于搜索到定位精度更高的特征点作为变换模型的计算依据，从而提高定位精度；同时也可以进一步减少特征点匹配运算的计算量，加快算法的运算速度。

附图说明

图1为逆时针2度标准图像中匹配的特征点；

图2为顺时针2度标准图像中匹配的特征点；

图3为不同旋转角度下标准图像中实现匹配的特征点分布图；

图4为重合特征点与不重合特征点计算出的坐标差值分布结果；

图5为9×9盒子滤波模板；

图6为特征点的主方向的选取；

图7特征描述符的构成。

具体实施方式

下面结合附图并通过具体实施例对本发明作进一步详述，以下实施例只是描述性的，不是限定性的，不能以此限定本发明的保护范围。

一种基于特征点训练的高精度图像匹配方法，研究特征点的定位精度受不同变换的影响程度，本实施例选取了逆时针旋转2度的待测图像和顺时针旋转2度的待测图像进行实验。

首先，使用SURF特征点提取算法分别提取两种不同旋转角度图像中的特征点，并分别与标准图像中的特征点进行匹配，得到标准图像中匹配的特征点集，如图1和图2所示，不同形状的点标记着不同旋转角度下标准图像中实现匹配的特征点。

随后，通过进一步分析获得的两组匹配成功的特征点集合后，发现两个特征点集合中存在X和Y坐标完全一致的特征点(图3所示的两种标记完全重合的点)，X和Y坐标完全一致的特征点即为在不同旋转角度下均能准确匹配的特征点。

表1所示为部分重合点的坐标。

表1 重合点坐标

序号	X坐标	y坐标
			1	143.113	119.743
2	216.9	155.781
			3	225.787	327.051
4	243.284	410.629
			5	258.155	55.093
6	344.04	297.874
			7	381.819	415.828
8	509.629	262.798
			9	513.646	205.083
10	518.92	262.092

从实验结果中可以看出，不同旋转条件下匹配成功的特征点集合存在较大差别。同时，我们注意到在上述特征点对集合中存在部分交集，即在上述特征点集合中存在部分特征点在不同旋转条件下均能都准确匹配，且其坐标达到小数点后三位的精度。这一实验结果说明这部分特征点对图像特征的描述能力强，定位精度高，且能够更好地适应不同旋转角度下的特征点匹配。

为了进一步验证这类特征点所具有的图像特征表达能力，进行了特征点的旋转适应性实验。在此，提取图3所示的重合特征点和不重合特征点(均为标准图像中的特征点)分别作为特征点匹配基准点，与顺时针旋转10度的待测图像中提取的特征点进行特征点匹配，并将匹配成功的特征点做如下处理：

按照图像旋转理论分别计算两组匹配基准点中实现了匹配的特征点在图像旋转10度后的理论坐标值(理论计算得到)；

将(1)中计算得到的特征点坐标值与旋转10度的待测图像中实现了匹配的特征点的坐标值进行X和Y方向上的差值计算，从而得到上述特征点的定位偏差，结果如图4所示。

从图4可以看出，标准图像中提取的重合特征点坐标值与实际计算的理论坐标值差值变化相对较小，且相对集中于原点附近，表明其定位精度较高。与之相对应，不重合特征点的定位偏差就比较大。这一结果表明特征点的定位精度存在一定差异。

为此，在图像配准前可以将不同角度下的待配准图像与标准图像进行特征点匹配，并提取定位精度较高的特征点作为实际检测过程中的基准特征点。通过上述方法，既有利于搜索到定位精度更高的特征点作为变换模型的计算依据，从而提高定位精度；同时也可以进一步减少特征点匹配运算的计算量，加快算法的运算速度。

为了说明在进行图像配准前可以提取标准图像中与不同角度下的待配准图像均能匹配的特征点作为实际检测过程中的基准特征点，进行了进一步的分析。通过选择不同角度组合的两幅待配准的训练图像与标准图像进行特征点匹配，提取标准图像中与两幅待配准图像均能 匹配的特征点，并使用一幅不同角度的测试图像进行测试，以验证提取的特征点的有效性。如表2所示。

表2 特征点匹配精度分析

从表2可以看出，重合点与理论坐标的平均距离均小于非重合点的平均距离，且仅为后者的一半左右。从而进一步说明，选取标准图像上与不同角度下的图像均能实现特征点匹配的特征点作为后续检测过程中的基准点的有效性。

将最终求出的基准特征点用于配准变换模型参数的计算，作为SURF算法图像配准的计算图像配准变换模型参数，使待配准图像准确地变换到标准图像位置，以达到配准目的。

SURF特征点检测算法是在SIFT算法的基础上提出的一种速度快、鲁棒性强的特征提取算法。该算法不仅对图像旋转、平移、缩放和噪声具有较好的鲁棒性，而且对光照变化和视角变化不变性以及图像模糊度有较好的处理。同时，通过引入积分图像和盒子滤波器，在运算速度上大约提高了3倍，综合性能更加优越。

SURF特征点检测算法是通过计算Hessian矩阵行列式的局部极值来确定特征点的位置。其中，尺度为σ的图像I中点的Hessian矩阵定义为：

$H=\left[\begin{array}{cc}{L}_{\mathrm{xx}}(\hat{x},\mathrm{\σ})& L_{\mathrm{xy}}(\hat{x},\mathrm{\σ})\\ L_{\mathrm{xy}}(\hat{x},\mathrm{\σ})& L_{\mathrm{yy}}(\hat{x},\mathrm{\σ})\end{array}\right]$

式中，L_xx是高斯二阶导同I＝(x,y)卷积的结果，其中L_xy,L_yy具有相同的含义。

SURF算法采用盒子滤波来近似二阶高斯滤波，构造出一种快速Hessian矩阵，并使用积分图像来加速卷积以提高计算速度。

其中，如图5所示为9×9的盒子滤波模板。为了使SURF特征具有尺度不变性，需要构造尺度空间，并在各个尺度空间下通过快速Hessian矩阵行列式得到局部极值点。在此，SURF算法采用不同大小的盒子滤波器与源图像进行卷积以获得不同尺度空间的特征描述。通过盒 子滤波处理后，x方向的值记作D_xx，xy方向的值记作D_xy，y方向的值记作D_yy。由于盒子滤波是二阶高斯滤波的近似估计，因此引入比例因子ω(ω近似取0.9)，进一步求解得到快速Hessian矩阵的行列表达式为：

ΔH＝D_xx(x)D_yy(x)-(ωD_xy(x))²

其中，Δ为图像点I(x,y)周围区域的盒子滤波器响应值，用Δ进行极值点的检测。

根据快速Hessian矩阵求出尺度图像在各个尺度空间下局部的极值点后，将每个局部极值点及同一尺度的8个相邻点以及它上下两个尺度的各9个点构成一个3×3×3的立体邻域。将尺度空间的每个极值点与立体邻域相邻的26个点进行比较，只有当局部极值点的值均大于(或小于)所有26个相邻点时，才将此局部极值点作为候选特征点。为了能够对候选特征点进行亚像素定位，可以在尺度空间和图像空间中进行插值，得到稳定的特征点位置及所在的尺度值。

插值使用的二次拟合函数为：

$D\left(x\right)=D+\frac{\∂D^T}{\∂X}X+\frac{1}{2}{X}^T\frac{\∂D}{\∂X^2}X$

对函数求导得到极值点为：

$\hat{X}=-\frac{{\∂}^2{D}^{-1}}{\∂X^2}\frac{\∂D}{\∂X}$

函数在极值点处的极值为：

$D\left(\hat{X}\right)=D+\frac{1}{2}\frac{\∂D^T}{\∂X}\hat{X}$

实验中剔除D(x)＜0.03的候选特征点。

SURF特征点的描述 

为保持特征点的旋转不变性，在特征点位置确定以后，为每一个特征点进行主方向的确定。为此，在以特征点为中心，计算半径为6σ(σ为特征点的尺度)的圆形区域内，对图像在x和y方向进行Harr小波(Harr小波边长取4σ)响应运算，并使用尺度为2σ的高斯加权函数对Harr小波响应值进行高斯加权，使得越靠近特征点的响应贡献越大；然后用π/3大小的扇形区域范围遍历整个圆形区域，并将域内水平方向响应和垂直方向响应的矢量和模的最大值的方向定义为特征点的主方向(如图6所示)。

然后，以特征点为中心，构造一边垂直于主方向且边长为20σ的正方形窗口区域，并将该窗口区域划分成4×4的子区域。在每一个子区域内，进行5σ×5σ个采样点的水平方向 和垂直方向的Harr小波响应的计算，分别记作d_x和d_y，同样使用尺度为2σ的高斯加权函数对Harr小波响应值进行高斯加权，以增加对几何变换的鲁棒性。然后将每个子区域的响应值和响应值的绝对值相加形成∑d_x，∑d_y，∑|d_x|，∑|d_y|。由此，每个子区域就形成了一个四维特征描述向量V:

V＝(Σd_x,Σd_x,Σ|d_x|,Σ|d_y|)

对于每一个特征点，形成4×4×4＝64维的特征向量。为保证对光照的不变性，对特征向量进行归一化处理，得到最终的SURF描述符，如图7所示。

特征点的匹配 

特征点的匹配是实现图像配准的关键，匹配的精度直接影响着后续配准的精度。算法中根据SURF特征点描述符中包含的特征点邻域信息，采用K最近邻法可以找出每个特征点潜在的两个最佳匹配点，并通过匹配点的距离最佳值与次佳值比率优选出最佳匹配点对。

设M₁、M₂分别为两幅图像I₁、I₂分别采用SURF提取的待匹配特征点集合，对M₁中的任一特征点m_1i，M₂中与m_1i的欧式距离最小的两个特征点分别为m_2j,m'_2j，对应距离分别为d_ij，d'_ij，如果d_ij≤α*d'_ij(实验取α＝0.65)，则认为m_1i与m_2j为优选的匹配点对。

利用上面的方法可以得到标准图像和待配准图像所有的匹配点对 其中S、D分别为标准图像和待配准图像完成匹配的特征点集。由于这些匹配点对中存在着一定的误匹配点对，本文采用三角形相似的方法对其进行提纯。在特征点集S、D中任取三个匹配点对P₁与Q₁、P₂与Q₂、和P₃与Q₃，构成虚拟的三角形ΔP₁P₂P₃和ΔQ₁Q₂Q₃，并形成一个三角形对，其三边的长度分别设为lp₁、lp₂、lp₃和lq₁、lq₂、lq₃，如果满足下式中的关系，则表明选取的匹配点对均为有效点对，否则存在误匹配点对，给予剔除，实现特征点对的提纯：

$\frac{{\mathrm{lp}}_1}{{\mathrm{lp}}_1}\≈\frac{{\mathrm{lp}}_2}{{\mathrm{lp}}_2}\≈\frac{{\mathrm{lp}}_3}{{\mathrm{lp}}_3}$

本实施例实验中边长比之间的误差控制在0.02。

尽管为说明目的公开了本发明的实施例和附图，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换、变化和修改都是可能的，因此，本发明的范围不局限于实施例和附图所公开的内容。

Claims (4)

1.一种基于特征点训练的高精度图像匹配方法，其特征在于：在图像配准前将不同角度下的待配准图像与标准图像进行特征点匹配，并提取定位精度较高的特征点作为实际检测过程中的基准特征点。

2.根据权利要求1所述的基于特征点训练的高精度图像匹配方法，其特征在于：所述基准特征点的具体选择步骤为：使用SURF特征点提取算法分别提取两种不同旋转角度图像中的特征点，并分别与标准图像中的特征点进行匹配，得到标准图像中匹配的特征点集，记录特征点的X和Y坐标；分析获得的两组匹配成功的特征点集合，选取两个特征点集合中存在X和Y坐标完全一致的特征点作为基准特征点。

3.根据权利要求1所述的基于特征点训练的高精度图像匹配方法，其特征在于：所述旋转角度为2°至10°。

4.根据权利要求1所述的基于特征点训练的高精度图像匹配方法，其特征在于：所述图像配准采用SURF特征点检测算法，将基准特征点作为SURF算法图像配准的计算图像配准变换模型参数，使待配准图像准确地变换到标准图像位置。