CN111444948B - 一种图像特征提取与匹配方法 - Google Patents

Abstract

本发明公开了一种图像特征提取与匹配方法，包括步骤一：对特征点进行初步筛选；步骤二：利用候选角点中X和Y方向的梯度对S1得到的候选角点进行二次筛选；步骤三：像素级角点检测；步骤四：亚像素级角点检测，通过迭代优化Harris位置获得S3中得到的像素级角点的亚像素级角点坐标；步骤五：旋转不变快速变化描述子计算；步骤六：进行特征提取与特征匹配。发明在Harris角点检测的基础上，经过两次候选角点的筛选以提高角点的检测速度，并且通过迭代优化提高了角点检测的位置精度，最后，利用旋转不变快速变换描述子来表示特征。

Description

一种图像特征提取与匹配方法

技术领域

本发明涉及一种图像特征提取与匹配方法，特别是一种基于Harris的特征提取与匹配方法，属于图像处理领域。

背景技术

图像匹配是一种在不同图像中查找相似图像部分的方法。它被广泛应用于图像融合，目标识别，计算机视觉等领域。目前，图像匹配可以分为基于灰度的方法和基于特征的方法。众所周知，特征是图像中非常重要的信息，对于图像来说，特征是图像局部信息的抽象描述。特征可以在保留图像关键信息的同时极大地减少数据量。此外，这些特征对图像噪声，灰度变化，图像变形和遮挡具有良好的适应性，因此基于图像特征的匹配在实践中越来越广泛地使用。现在常用的方法是Harris角点检测，但是它的精度为像素级别，没有合适的描述子，并且计算复杂度较大。

发明内容

针对上述现有技术，本发明要解决的技术问题是提供一种有效提高图像特征提取与匹配的快速性与准确性的图像特征提取与匹配方法。

为解决上述技术问题，本发明的一种图像特征提取与匹配方法，包括以下步骤：

S1：对特征点进行初步筛选，具体为：

将采集到的彩色图像转换为灰度图像，转换公式如下：

Gray＝(306*R+601*G+1147*B)＞＞10

其中，Gray表示图像的灰度值，R、G、B分别表示红、绿、蓝三个通道的值，通过图像中每个像素点与其邻域中8个其他像素点的相似性来选择候选角点，根据两个像素点的灰度差异确定它们之间的相似度，对于在点(i,j)的像素点P，如果其邻域中8个像素点与该点之间的灰度差的绝对值P小于设置的灰色阈值T₁，则认为该点与点P相似，检测P点与领域中8个像素点的相似性，并记录与P点相似的点的数量，记为N(i,j)；

P属于某个局部区域中的像素点，根据P点的N(i,j)值，判断点P是否为可能的角点，如果P点的N(i,j)在间隔(3,6)之间，点P被视为一个可能的角点，遍历图像中的所有像素点，并选择所有符合条件的像素点作为候选角点；

S2：利用候选角点中X和Y方向的梯度对S1得到的候选角点进行二次筛选；

S3：像素级角点检测，具体为：计算步骤2中得到的每个候选角点的自相关矩阵：计算与每个候选角点相对应的梯度乘积，获得自相关矩阵M₁：

I_x、I_y分别表示候选角点在x与y方向的梯度值，然后使用高斯核函数G(x,y,σ)和M₁进行卷积，得到一个新的自相关矩阵M₂；

计算候选角点的角点响应函数值，并将该值用于确定它是否是正确的角点，角点响应函数值R的计算如下：

Det(M₂)＝λ₁λ₂

Tr(M₂)＝λ₁+λ₂

R＝Det(M₂)-k*Tr²(M₂)

其中λ₁和λ₂是自相关矩阵M₂的特征值，k是常数，如果点的CRF值R大于设置的阈值T₃，则将该点选择为像素级角点；

S4：亚像素级角点检测，通过迭代优化Harris位置获得S3中得到的像素级角点的亚像素级角点坐标；

S5：旋转不变快速变化描述子计算，具体为：

描述子选择的局部区域是一个以特征点为中心，半径为12个像素的圆形区域，所选局部区域被三个圆圈划分为三层，以特征点为中心的半径为4个像素，8个像素和12个像素点，中间的圆是一个子区域，中间层的环被均匀地分成4个子区域，最外层的环被均匀地分成8个子区域，共有13个子区域，在每个子区域中提取8方向梯度向量，最后获得104维特征向量作为描述子；

首先，以特征点为中心，根据特征点的邻域梯度的主方向，将选择区域中的所有像素点沿相同方向旋转，主方向θ(i,j)满足：

其次，计算局部区域中每个像素的梯度方向和大小：根据θ(i,j)计算梯度方向，将0°至360°的范围划分为八个方向，每个方向包含45°，并且确定每个像素属于哪个梯度方向，梯度幅度m(i,j)满足：

m(i,j)＝sqrt[(I(i+1,j)-I(i-1,j))²+(I(i,j+1)-I(i,j-1))²]

每个像素的梯度加权大小由高斯决定，该点的高斯权重w(i,j)满足：

最后，根据每个像素的位置和梯度方向，确定其所贡献的统计块并通过将梯度插值系数乘以梯度幅度得到每个像素点对该统计块的贡献，每个子区域都有8个梯度方向，因此共有104个统计块，通过计算所有像素点对某个统计块的贡献的累加值得到相应的子区域在相应的梯度方向上的梯度分布特征值，共获得104维梯度分布特征向量，差值系数的计算公式如下：

像素对第n个统计块的贡献k(n)是：

k(n)＝c·I(i,j)·w(i,j)·m(i,j)

累加对第n个统计块有贡献的所有像素的贡献值，得到K(n)：

K(n)＝∑k(n)

S6：进行特征提取与特征匹配。

本发明还包括：

1.S2中利用候选角点中X和Y方向的梯度对特征点进行二次筛选具体为：假设初始筛选后保留的候选角点数为N，将X与Y方向梯度平均值的70％设为阈值，消除梯度值小于阈值的像素点，将梯度值大于阈值的像素点保留为新的候选角点。

2.S4中亚像素级角点检测，通过迭代优化Harris位置获得S3中得到的像素级角点的亚像素级角点坐标具体为：距离S3中得到的任一像素级角点O给定像素范围内的点包括两类点：A类点的灰度梯度值为0，B类点的梯度方向垂直于向量O；图像原点指向O点的向量为

图像原点指向距离角点O给定像素范围内的第i个点的向量为

则第k次迭代的向量

满足：

其中，

是灰度梯度向量，

是第k次迭代的灰度梯度向量，在

对应的坐标点附近选取向量

得到

迭代直到满足条件

ε为设定的误差，则

对应的坐标为该角点O的亚像素级角点坐标。

本发明的有益效果：本发明充分考虑特征提取的精度以及效率的问题，针对Harris角点检测精度以及效率问题，本发明在Harris角点检测的基础上，经过两次候选角点的筛选以提高角点的检测速度，并且通过迭代优化提高了角点检测的位置精度，最后，利用旋转不变快速变换描述子来表示特征。本发明可用于图像处理领域。本发明的主要优点体现在：

1.本发明经过两次候选角点的筛选，极大地提高了角点检测的速度。

2.本发明利用迭代优化的方法，有效提高了角点检测的位置精度。

附图说明

图1(a)为Harris方法效果图；

图1(b)为本发明效果图；

图2为本发明的算法流程图；

具体实施方式

下面结合附图对本发明具体实施方式做进一步说明。

结合图2，本发明具体实施方式包括以下步骤：

步骤一：对特征点进行初步筛选；

将采集到的彩色图像转换为灰度图像，转换公式如下：

Gray＝(306*R+601*G+1147*B)＞＞10 (1)

公式(1)中，Gray表示图像的灰度值，R、G、B分别表示红、绿、蓝三个通道的值。通过图像中每个像素点与其邻域中8个其他像素点的相似性来选择候选角点。根据两个像素点的灰度差异确定它们之间的相似度。对于在点(i,j)的像素点P，如果其邻域中8个像素点与该点之间的灰度差的绝对值P小于设置的灰色阈值T₁，则认为该点与点P相似。检测P点与领域中8个像素点的相似性，并记录与P点相似的点的数量，记为N(i,j)。

根据值N(i,j)，可以判断点P是否为可能的角点。如果P点的N(i,j)非常大，其附近的像素点与点P相似，P属于某个局部区域中的像素点。如果P点的N(i,j)比较小，其附近没有点与P相似，P属于孤立像素点或噪点。在本文中，如果P点的N(i,j)在间隔(3,6)之间，点P可以被视为一个可能的角点。遍历图像中的所有像素点，并选择所有符合条件的像素点作为候选角点。

步骤二：对特征点进行二次筛选；

初始筛选后，后续步骤中计算出的像素点数将大大减少。通常，角点的灰度值在其附近变化很大，并且梯度值相对较大。候选角点中X和Y方向的梯度可用于二次筛选，以进一步降低特征提取算法的计算复杂度。

假设初始筛选后保留的候选角点数为N。在本文中，将X与Y方向梯度平均值的70％设为阈值，消除梯度值小于阈值的像素点，将梯度较大的像素点保留为新的候选角点。二次筛选阈值的公式如下：

公式(2)中，

表示第i个候选角点在x方向的梯度值，N表示候选角点的数量。公式(3)中，

表示第i个候选角点在y方向的梯度值，N表示候选角点的数量。

步骤三：像素级角点检测；

计算每个候选角点的自相关矩阵。计算与每个候选角点相对应的梯度乘积，获得如下式所示的自相关矩阵M₁。

公式(4)中，I_x、I_y分别表示候选角点在x与y方向的梯度值。

然后使用高斯核函数G(x,y,σ)和M₁进行卷积，得到一个新的自相关矩阵M₂。

接下来，计算候选角点的角点响应函数(CRF)值，并将该CRF值用于确定它是否是正确的角点。自相关矩阵M₂的特征值是λ₁和λ₂。当两个特征值都较小时，表示该点位于平坦区域。当一个特征值较小而另一个较大时，表示该点位于边缘。当两个特征值都较大时，它就是一个角点。为了避免求解特征值，通常使用角点响应函数。CRF值R的计算如下：

Det(M₂)＝λ₁λ₂ (5)

Tr(M₂)＝λ₁+λ₂ (6)

R＝Det(M₂)-k*Tr²(M₂) (7)

公式(5)中，λ₁、λ₂分别表示自相关矩阵M₂的特征值，Det(M₂)表示矩阵M₂的行列式。公式(6)中，Tr(M₂)表示矩阵M₂的迹。公式(7)中，k是常数，值的范围通常为0.04至0.06。角点的CRF值为正，通常不会很小。如果点的CRF值R大于设置的阈值T₃，则将该点选择为角点。

步骤四：亚像素级角点检测；

通过迭代优化Harris位置获得更准确的亚像素级角点坐标。对于角点O，靠近点O的点可以分为两种，一种在边缘，还有一种不在边缘。A点的灰度梯度值为0，且B点的梯度方向垂直于向量OB，因此可以认为角点O附近的灰度梯度垂直于将该点连接到角点O的线。数学表达式为：

公式(8)中，

是灰度梯度向量，

是图像原点指向O点的向量，

是图像原点指向第i个点的向量。

实际上，图像通常受噪声影响，因此公式(10)的左侧不等于0。假设误差为ε，有：

角点O附近所有点的累积误差总和是E：

这样，将求解角点的精确位置的问题转化为最小化误差总和E的问题。这个问题可以通过迭代的方法解决，并且在等式(10)的两端乘以

将点O附近区域的点都代入方程式(11)，可得出总和：

根据公式(12)可求得

的表达式为：

在

附近选取向量

继续执行公式(13)得到

不断迭代，直到满足条件

即可，一般选取ε＝1.0e^-6，最终获得了准确的亚像素级角点坐标。

步骤五：旋转不变快速变化描述子计算；

描述子选择的局部区域是一个以特征点为中心，半径为12个像素的圆形区域。所选局部区域被三个圆圈划分为三层，以特征点为中心的半径为4个像素，8个像素和12个像素点。中间的圆是一个子区域，中间层的环被均匀地分成4个子区域，最外层的环被均匀地分成8个子区域，对于共有13个子区域。在每个子区域中提取8方向梯度向量，最后获得104维特征向量作为描述子。

首先，以特征点为中心，根据特征点的邻域梯度的主方向，将选择区域中的所有像素点沿相同方向旋转。旋转的目的是对齐主方向，以便可以在相似的局部区域中提取一致的特征向量，从而确保旋转不变。主方向θ(i,j)的计算如下：

公式(14)中，I(i,j)表示在点(i,j)处的灰度值。

其次，计算局部区域中每个像素的梯度方向和大小。根据等式(14)计算梯度方向，将0°至360°的范围划分为八个方向，每个方向包含45°，并且确定每个像素属于哪个梯度方向。梯度幅度m(i,j)计算如下：

m(i,j)＝sqrt[(I(i+1,j)-I(i-1,j))²+(I(i,j+1)-I(i,j-1))²] (15)

公式(15)中，I(i,j)表示在点(i,j)处的灰度值。

每个像素的梯度加权大小由高斯决定。该点的高斯权重w(i,j)的计算如下：

公式(16)中，r表示点(i,j)到角点的距离，

表示方差。

最后，根据每个像素的位置和梯度方向，确定其所贡献的统计块，并通过线性插值法确定其贡献。每个子区域都有8个梯度方向，因此共有104个统计块。通过将梯度插值系数乘以梯度幅度获得贡献。所有像素点对某个统计块的贡献的累加值是相应的子区域在相应的梯度方向上的梯度分布特征值。在完成所有统计块的计算之后，可以获得104维梯度分布特征向量。其中。差值系数d(i,j)的计算公式如下：

公式(17)中，r表示点(i,j)到角点的距离。

则像素对第n个统计块的贡献k(n)是：

k(n)＝c·d(i,j)·w(i,j)·m(i,j) (18)

公式(18)中，c表示贡献系数，d(i,j)表示差值系数，w(i,j)表示高斯权重系数，m(i,j)表示梯度幅度。

累加对第n个统计块有贡献的所有像素的贡献值，得到K(n)：

K(n)＝∑k(n) (19)

步骤六：进行特征提取与特征匹配。

通过拍摄两幅图片进行实验验证。在算法用时方面，Harris算法用时5.04s，改进Harris算法用时1.276s，其时间消耗仅为Harris算法的25.3％，该算法有效地提高了特征提取与匹配速度。在特征匹配方面，当图中有400个特征点时，Harris算法正确匹配数量为87，改进Harris算法正确匹配数量为121。该算法有效的提高了正确匹配的特征点的数量。

Claims (1)

1.一种图像特征提取与匹配方法，其特征在于，包括以下步骤：

S1：对特征点进行初步筛选，具体为：

将采集到的彩色图像转换为灰度图像，转换公式如下：

Gray＝(306*R+601*G+1147*B)＞＞10

其中，Gray表示图像的灰度值，R、G、B分别表示红、绿、蓝三个通道的值，通过图像中每个像素点与其邻域中8个其他像素点的相似性来选择候选角点，根据两个像素点的灰度差异确定它们之间的相似度，对于在点(i,j)的像素点P，如果其邻域中8个像素点与该点之间的灰度差的绝对值P小于设置的灰色阈值T₁，则认为该点与点P相似，检测P点与领域中8个像素点的相似性，并记录与P点相似的点的数量，记为N(i,j)；

P属于某个局部区域中的像素点，根据P点的N(i,j)值，判断点P是否为可能的角点，如果P点的N(i,j)在间隔(3,6)之间，点P被视为一个可能的角点，遍历图像中的所有像素点，并选择所有符合条件的像素点作为候选角点；

S2：利用候选角点中X和Y方向的梯度对S1得到的候选角点进行二次筛选，具体为：

假设初始筛选后保留的候选角点数为N，将X与Y方向梯度平均值的70％设为阈值，消除梯度值小于阈值的像素点，将梯度值大于阈值的像素点保留为新的候选角点；

S3：像素级角点检测，具体为：计算步骤2中得到的每个候选角点的自相关矩阵：计算与每个候选角点相对应的梯度乘积，获得自相关矩阵M₁：

I_x、I_y分别表示候选角点在x与y方向的梯度值，然后使用高斯核函数G(x,y,σ)和M₁进行卷积，得到一个新的自相关矩阵M₂；

计算候选角点的角点响应函数值，并将该值用于确定它是否是正确的角点，角点响应函数值R的计算如下：

Det(M₂)＝λ₁λ₂

Tr(M₂)＝λ₁+λ₂

R＝Det(M₂)-k*Tr²(M₂)

其中λ₁和λ₂是自相关矩阵M₂的特征值，k是常数，如果点的CRF值R大于设置的阈值T₃，则将该点选择为像素级角点；

S4：亚像素级角点检测，通过迭代优化Harris位置获得S3中得到的像素级角点的亚像素级角点坐标，具体为：

距离S3中得到的任一像素级角点O给定像素范围内的点包括两类点：A类点的灰度梯度值为0，B类点的梯度方向垂直于向量OB；图像原点指向O点的向量为

图像原点指向距离角点O给定像素范围内的第i个点的向量为

则第k次迭代的向量

满足：

其中，

是灰度梯度向量，

是第k次迭代的灰度梯度向量，在

对应的坐标点附近选取向量

得到

迭代直到满足条件

ε为设定的误差，则

对应的坐标为该角点O的亚像素级角点坐标；

S5：旋转不变快速变化描述子计算，具体为：

描述子选择的局部区域是一个以特征点为中心，半径为12个像素的圆形区域，所选局部区域被三个圆圈划分为三层，以特征点为中心的半径为4个像素，8个像素和12个像素点，中间的圆是一个子区域，中间层的环被均匀地分成4个子区域，最外层的环被均匀地分成8个子区域，共有13个子区域，在每个子区域中提取8方向梯度向量，最后获得104维特征向量作为描述子；

首先，以特征点为中心，根据特征点的邻域梯度的主方向，将选择区域中的所有像素点沿相同方向旋转，主方向θ(i,j)满足：

其中，I(i,j)表示在点(i,j)处的灰度值；

其次，计算局部区域中每个像素的梯度方向和大小：根据θ(i,j)计算梯度方向，将0°至360°的范围划分为八个方向，每个方向包含45°，并且确定每个像素属于哪个梯度方向，梯度幅度m(i,j)满足：

m(i,j)＝sqrt[(I(i+1,j)-I(i-1,j))²+(I(i,j+1)-I(i,j-1))²]

每个像素的梯度加权大小由高斯决定，该点的高斯权重w(i,j)满足：

其中，r表示点(i,j)到角点的距离，

表示方差；

最后，根据每个像素的位置和梯度方向，确定其所贡献的统计块并通过将梯度插值系数乘以梯度幅度得到每个像素点对该统计块的贡献，每个子区域都有8个梯度方向，因此共有104个统计块，通过计算所有像素点对某个统计块的贡献的累加值得到相应的子区域在相应的梯度方向上的梯度分布特征值，共获得104维梯度分布特征向量，差值系数的计算公式如下：

像素对第n个统计块的贡献k(n)是：

k(n)＝c·d(i,j)·w(i,j)·m(i,j)

其中，c表示贡献系数；

累加对第n个统计块有贡献的所有像素的贡献值，得到K(n)：

K(n)＝∑k(n)

S6：进行特征提取与特征匹配。

Images