CN105631860B - 基于局部排序方向直方图描述子的图像同名点提取方法 - Google Patents

Abstract

基于局部排序方向直方图描述子的图像同名点提取方法，针对SAR图像场景特征相似性较高导致SIFT分块梯度方向直方图描述子区分力不足的问题，提出了一种新的基于局部排序方向直方图的描述子。本发明方法计算特征邻域内每个像素点八个方向的方向导数，取最大和次大导数的方向位置作为特征基元，对邻域分块并统计其特征基元分布形成描述子向量。通过增加次大方向及其位置信息，考虑了更加完善的邻域信息，提高了描述子的区分力。在山区、城市、乡村等场景的实验结果表明，本发明方法能更好的衡量特征之间的差异性，增强了描述子的区分力，可以提取更多的匹配点，更加适合SAR图像匹配。

Description

基于局部排序方向直方图描述子的图像同名点提取方法

技术领域

本发明属于图像处理领域，涉及一种遥感图像同名点的提取方法，适用于SAR图像的配准、拼接、区域网平差等。

背景技术

SAR图像同名点提取是从存在几何和灰度畸变的两幅SAR图像中提取同名特征点，是图像配准、图像镶嵌、目标检测和识别等众多应用的关键技术。

近年来，基于不变特征的方法是同名点自动提取的研究热点，该类方法分为特征检测、特征描述、特征匹配以及特征筛选四个阶段：首先利用检测子提取图像中稳定的点、线或面特征，然后抽取特征邻域的结构、形状、纹理以及其他信息形成描述子，通过计算描述子之间的相似性进而获得匹配点，最后采用一致性检验算法筛选出正确的匹配点。SIFT(Scale Invariant Feature Transform)是该类方法中应用最为广泛的一种，它首先检测图像高斯尺度空间中稳定的块点(blob)并确定邻域大小，具有尺度不变性，然后利用特征点邻域的梯度方向直方图计算特征点主方向，具有旋转不变形，最后计算分块梯度方向直方图形成描述子，具有较强的区分力，以及局部仿射和灰度不变性。基于SIFT描述子分块+特征基元+直方图的框架，后续很多算法对其进行了改进。SURF(Speed-Up RobustFeatures)统计Haar小波在x和y两个方向的分量及其绝对值，形成直方图；GLOH(GradientLocation Orientation Histogram)在对数极坐标下将特征邻域划分为扇形区域并统计梯度方向直方图；WLD(Weber Local Descriptor)统计二维直方图，其中一维是梯度方向，另一维是3*3邻域相对中心像素的灰度值变化比例。

对于计算机视觉处理的自然场景图像，其分辨率较高，图像中蕴含着丰富的结构纹理信息，提取这些特征可以很好的区分不同的局部图像模式，采用上述描述子应用效果较佳。但SAR图像作为遥感图像的一种，其分辨率远远低于计算机视觉中的自然场景图像，而且SAR主要针对地表大区域范围成像，常见的地表场景有山区、水域、建筑物、植被等，这些场景包含的细节信息有限，同一幅图像中相似场景的特征相似性较强，不易区分。如针对乡村地区成像，不同农田之间的相似性很高。因此，针对SAR图像匹配，采用上述描述子的区分力有限。

发明内容

本发明解决的技术问题是：克服SIFT描述子向量对SAR图像场景相似性区分力不足的问题，提出了一种基于局部排序方向直方图描述子(Local Sorted OrientationHistogram,LSOH)的图像同名点提取方法，采用SIFT描述子分块+特征基元+直方图的框架，改进其特征基元提取方式，能更好的衡量特征之间的差异性，增强描述子的区分力，提取更多的匹配点，更加适合SAR图像匹配。

本发明的技术解决方案是：基于局部排序方向直方图描述子的图像同名点提取方法，包括如下步骤：

(1)输入参考图像和待匹配图像，将两幅图像分别作为原始图像采用以下步骤(2)～步骤(4)的方法进行处理；

(2)采用方差不断增大的高斯核与原始图像卷积建立高斯尺度空间，通过高斯尺度空间相邻层相减建立差分尺度空间，每个像素与本层8邻域和上下两层相同位置处3*3邻域相比，筛选出极值点，作为特征点；

(3)对于每一个特征点，计算其邻域内每个像素点的梯度幅值和方向，用像素点的梯度幅值累加其梯度方向份，构建其梯度方向直方图，并将幅值最大的方向作为主方向，然后根据主方向的角度，将邻域顺时针旋转，使其主方向为水平方向；

(4)构建每个特征点的局部排序方向直方图描述子，具体步骤为：

(41)对特征点邻域内的每个像素点，根据其3*3邻域，首先利用Sobel算子计算该像素点8个方向的方向导数，求得最大和次大响应方向；

(42)采用第0维到第7维表示最大方向的8个方位，其中东向为第0维，东北向为第1维，逆时针方向依次将北、西北、西、西南、南、东南确定第2维到第7维，采用第8维到第15维表示次大方向的8个方位，其中东向为第8维，东北向为第9维，逆时针方向依次确定第10到第15维度，根据步骤(41)的结果确定最大和次大响应方向的维度，并用各自的方向响应值加权，形成一个16维向量，16维向量中与最大方向和次大方向的维度有值，其他维度为0；

(43)将特征点邻域分成4*4子块，对于每一个子块，将子块中每个像素点的方向权重累积到相应的方向份中，具体为：

其中p_j(i)表示子块中第j个像素的方向维向量中第i维的取值，N为子块内像素个数；

(44)将4*4个子块的16维局部排序方向直方图依次连接起来得到256维描述子向量，形成直方图描述子；

(5)对于两幅图像，在参考图像上遍历每一个特征点，并在待匹配图像上选取与各特征点分别对应的最近邻和次近邻特征点，通过直方图描述子，计算参考图像上的特征点与待匹配图像上相应的最近邻和次近邻特征点的欧式距离，如果计算得到的欧式距离小于指定的阈值，则判定参考图像上的特征点与待匹配图像上相应的最近邻的特征点为匹配点，然后通过RANSAC算法筛选出全部正确的匹配点，得到两幅图像的同名点。

本发明与现有技术相比的优点在于：在分块+特征基元+直方图的框架里，SIFT提取像素点的梯度方向作为基本的特征基元，但梯度方向仅描述了像素邻域灰度变化最大的方向。本发明的局部排序方向直方图描述子对梯度方向进行了拓展，考虑了更加全面的邻域特性，通过计算像素周围八个方向的方向导数，并对这些响应值排序，进而获取最大和次大响应的方向位置。受噪声以及形变的影响，像素邻域各个方向的值会发生变化，进而可能影响方向导数的大小顺序。但一般情况下，相比响应值较小的方向，响应值较大的方向更加稳定，因此综合考虑区分力、鲁棒性以及描述子的维数，本发明的局部排序方向直方图描述子利用最大和次大两个方向刻画像素的基本特性，描述子的区分力得到显著增强，可以显著提升对SAR图像场景相似性的区分力。

附图说明

图1为本发明方向导数计算模板示意图；

图2为本发明的方向编码示意图，其中图2(a)为最大方向编码，图2(b)为次大方向编码；

图3为本发明方向导数求取示意图；

图4为本发明某一个像素点的方向直方图；

图5为本发明两个不同的局部图像模式示意图；

图6为本发明方法的流程框图；

图7为本发明城市场景中的SIFT(a)和LSOH(b)性能对比图；

图8为本发明乡村场景中的SIFT(a)和LSOH(b)性能对比图；

图9为本发明山区场景中的SIFT(a)和LSOH(b)性能对比图。

具体实施方式

针对SAR图像匹配，应充分考虑其场景特征之间相似程度较高的特性，着重增强描述子的区分力。

SIFT对特征点邻域进行4*4子块划分，统计每个子块的梯度方向直方图并级联起来形成描述子向量。梯度方向具有一定程度的区分力，但梯度方向是像素灰度值变化最大的方向，若仅利用最大方向，忽略了其他方向，会导致区分力不足。鉴于此，本发明提出了一种新的基于局部排序方向直方图(Local Sorted Orientation Histogram,LSOH)的描述子，该描述子首先计算每个点八个方向的方向导数，然后取最大和次大的方向响应作为对该点的描述，最后对特征点邻域做4*4子块划分，形成直方图描述子。

具体的，对特征点邻域内的每个像素，根据其3*3邻域，首先利用Sobel算子计算该点8个方向的方向导数，计算模板如图1所示，图中相同列(如东和西)对应的方向响应值绝对值相等，符号相反，因此可只计算4个方向的响应值，另外4个方向的值取反即可；然后对这8个响应值排序，关于中心像素对称的方向响应值符号相反，正数表示沿着该方向灰度值逐渐增大，负数表示灰度值逐渐减小，因此排序时响应值不必取绝对值，直接比大小，即可求得最大和次大响应方向。最后根据图2所示的编码规则，第0维到第7维表示最大方向的8个方位，东向为第0维，东北向为第1维，逆时针方向依次确定第2到第7维度，第8维到第15维表示次大方向的8个方位，东向为第8维，东北向为第9维，逆时针方向依次确定第10到第15维度，确定最大和次大方向份的维度，并用各自的方向响应值加权，最终形成一个16维向量，只有两个维度有值，其他维度为0。

以图3为例，图3中左图给出了某中心像素点及其3*3邻域的取值，该中心像素八个方向的方向导数值为右图，以直方图形式显示为图4(a)。对它们排序可得到最大和次大方向分别为北和东北方向，即第2维和第9维，响应值分别为39和32，因此对描述子方向维的第2维和第9维分别用39和32加权，其他维度取值为0，形成的方向维向量如图4(b)所示。

在获得每个像素点对应的方位维向量后，描述子的构造方式与SIFT相同，将特征邻域分成4*4子块，统计每个子块的方向分布，即每个像素点的方向权重累积到相应的方向份中，如式(1)所示

其中，p_j(i)表示第j个像素的方向维向量中第i维的取值，N为子块内像素个数。将4*4共16个子块的16维直方图向量依次连接即级联起来得到256维描述子向量。

在分块+特征基元+直方图的框架里，SIFT提取像素点的梯度方向作为基本的特征基元。相比单纯依赖灰度值或灰度的梯度值，梯度方向能应对更加复杂的灰度变化，进而能稳定的区分不同的局部图像模式。但梯度方向仅描述了像素邻域灰度变化最大的方向，而本发明的LSOH可以认为是对梯度方向的拓展，它考虑了更加全面的邻域特性，计算像素周围八个方向的方向导数，并对这些响应值排序，进而获取最大和次大响应的方向位置。受噪声以及形变的影响，像素邻域各个方向的值会发生变化，进而可能影响方向导数的大小顺序。但一般情况下，相比响应值较小的方向，响应值较大的方向更加稳定，因此综合考虑区分力、鲁棒性以及描述子的维数，LSOH利用最大和次大两个方向刻画像素的基本特性。

在统计每块的直方图时，最大和次大方向响应值并不是累加到相同的方向份，而是分别累加。图5给出了一个直观的示例，图5(a)和(b)是两个不同的局部图像模式，图5(a)第一个子模式的最大方向为东北方向，响应值为80，次大方向为正东向，响应值为60，第二个子模式的最大方向为正东向，响应值为110，次大方向为东北向，响应值为100。如果不区分最大次大方向，将所有东北向及东向的响应值分别累加，则得到的直方图如第3列所示，东北向的响应值为180，正东向的响应值为170。图5(b)第一个子模式的最大方向为正东方向，响应值为70，次大方向为东北向，响应值为40，第二个子模式的最大方向为东北向，响应值为140，次大方向为正东向，响应值为100。可以看出，这与图5(b)得到的直方图是相同的(第三列)，并不能区分(a)和(b)这两种局部图像模式。但如果区分最大方向和次大方向，将它们的响应值分别累加，则得到的直方图如第4列所示，可以看出，这种直方图形成方式可以有效区分这两个局部图像模式。

如图6所示，为本发明方法的流程图，核心是将SIFT的分块梯度方向直方图描述子改进为LSOH，主要步骤如下：

(1)特征检测

第一步，采用方差不断增大的高斯核与原图像卷积建立尺度空间，如式(2)

L(x,y,σ)＝I(x,y)*G(x,y,σ) (2)

其中，I(x,y)为原图像，L(x,y,σ)为原图像的高斯尺度空间图像，*代表卷积运算，G(x,y,σ)为标准差为σ的高斯函数，如式(3)

第二步，通过高斯尺度空间相邻层相减建立差分尺度空间C(x,y,σ)，如式(4)

C(x,y,σ)＝I(x,y)*(G(x,y,kσ)-G(x,y,σ))

＝L(x,y,kσ)-L(x,y,σ) (4)

式中k>1，L(x,y,kσ)和L(x,y,σ)为相邻的尺度空间图像。

第三步，每个像素与本层8邻域和上下两层相同位置处3*3邻域相比，筛选出极值点，作为候选特征点。

在差分尺度空间里检测极值点，相当于在尺度空间里检测拉普拉斯响应极值点，计算量大为减小。

第四步，根据特征点数量人工设定阈值去除易受噪声影响的对比度较低的点和不易匹配的边缘点，得到特征点。

对比度由第三步的极值点响应衡量，经插值计算后如第五步的式(10)所示。边缘点利用主曲率的比值来判断，主曲率可由Hessian矩阵的特征值得到，Hessian矩阵表达式为式(5)

式中，D为二维偏导数。

设α为H的较大的特征值，β为较小的，r为两者的比值，α＝rβ，借鉴Harris角点的计算方法，不用计算出特征值，考虑H的迹和行列式，二者的比值为式(6)

r≥1时，随着r的增大而增大，r＝1，即α和β相等时，该比值最小。故可根据式(7)来筛选特征点，T为指定阈值，若不满足该式，则舍弃该特征点。

第五步，利用泰勒展开式提高特征点的定位精度。

差分尺度空间D(x,y,σ)在极值点X₀＝(x₀,y₀,σ₀)^T处进行泰勒级数展开，并忽略二次以上的项，得式(8)。

其中，D及其一阶和二阶导数都是相对极值点X₀的值，X＝(x,y,σ)^T是相对极值点X₀的偏移量。令D(X)对X的一阶偏导为零，则可以得到极值点位置如式(9)。

如果求得的X_new的位置和尺度与X₀的位置和尺度相差0.5以上，则应该改变极值点的位置到与X_new最接近的位置。D(X)在最终极值点处的值可以衡量此处图像的对比度，如式(10)。

如果该值的绝对值小于0.03，则舍掉该极值点。

(2)特征描述

首先根据下式计算特征点邻域内每个像素点的梯度幅值m和方向θ，

式中L(x,y)为(x,y)处的灰度值，然后统计梯度方向直方图，将梯度方向每隔10°划分一份，总计36份，若某像素点的梯度方向落入第i份，则将其梯度幅值累加到该方向份中。梯度方向直方图中，幅值最大的份所表示的方向为主方向，若其他方向份的幅值大于最大幅值的0.8倍，则也将它们作为主方向。通过赋予多个主方向，有效提高了算法对噪声的鲁棒性。在获得主方向所在的方向份之后，利用其邻近的两个方向份的幅值可以插值出更为精确的主方向。

在获得特征点的主方向后，根据主方向的角度，将邻域顺时针旋转，使其主方向为水平方向，然后在旋转图像上采用LSOH生成描述子向量。首先计算每个点八个方向的方向导数，然后取最大和次大的方向响应作为对该点的描述，最后对特征点邻域做4*4子块划分，统计每个子块的方向分布，即每个像素点的方向权重累积到相应的方向份中，将4*4个子块级联起来得到256维描述子向量，形成直方图描述子。

(3)特征匹配与匹配点筛选

生成描述子后，利用描述子间的欧式距离建立匹配对。用比值法，即如果特征点与其最近邻和次近邻的距离之比小于指定阈值，则判定该特征点和其最近邻为匹配点。该方法的正确率要高于简单的基于最近邻阈值的方法。因为描述子维数较高，所以采用BestBin First(BBF)方法来加快匹配过程，最后通过Random Sample Consensus(RANSAC)算法筛选出正确的匹配点。

同名点提取算法需要解决区分力和不变性的问题，SIFT通过建立尺度空间解决了尺度不变性，通过计算主方向解决了旋转不变性，通过高斯加权描述子和双线性插值解决了仿射鲁棒性。LSOH是建立在SIFT的基础上，改变了形成描述子时所用的特征基元，因此不会影响不变性，仅会改变区分力。以下通过实验着重比较不同场景下LSOH与SIFT的区分力。典型场景包括地势平坦的乡村地区，有相对地势起伏的城市地区，以及地势起伏较大的山区等。两种描述子均是在SIFT检测子提取的特征上进行匹配的，特征点数相同，因此本实验主要比较经过比值法匹配后的匹配点数量，以及经过RANSAC算法筛选后的正确的匹配点的数量。另外，本实验还比较了采用两种描述子进行匹配时的速度，实验中使用的电脑CPU为酷睿i5-2400，主频3.10GHz，内存为2GB。

下面分别给出不同传感器获得的城市、乡村以及山区等场景下三个有代表性的实验结果，具体结果和分析如下。

一、城市场景实验

城市内有大量的建筑物，会产生二次及多次反射现象，因此不同成像条件下获得的图像间灰度畸变较大。图7给出了两幅北京城区的图像，图7(a)为RADARSAT-1获得的图像，分辨率为3m，图7(b)为ALOS获得的图像，分辨率为5m，可以看出图像斑点噪声严重，且分辨率较低，场景之间相似度高，不易区分，匹配难度较大。表1和图7给出了SIFT和LSOH的匹配点提取结果，SIFT得到了66个匹配点，其中，正确的匹配点有8个，在整个匹配点中占12％，而LOSH得到了87个匹配点，其中有17个正确的匹配点，占据整个匹配点的比例为20％。无论是绝对数量还是相对比例，LSOH都优于SIFT。LSOH提取了更多的匹配点，应该比SIFT更耗时，但因为LSOH提取的正确匹配点的比例较高，RANSAC耗时较少，因此整体时间并不比SIFT多。

表1城市场景下同名点结果对比

二、乡村场景实验

乡村地区地势平坦，多为农田、河流等场景，受成像条件影响较小，但如果是不同季节获取的图像，场景本身发生了变化，也会导致提取的匹配点较少。图8和表2给出了不同时相获取的两幅北京附近的乡村图像，可以看出农田有较大的变化。SIFT提取了13个正确的匹配点，在整个匹配点中占27％，而LOSH提取了21个正确的匹配点，在整个匹配点中占27％。两种方法相对比例相同，但绝对数量上LSOH是SIFT的将近两倍，因此，LSOH耗时比SIFT多。

表2乡村场景下同名点结果对比

三、山区场景实验

山区地势起伏较大，会产生叠掩、阴影等现象。成像时入射角不同会导致两幅图像的几何畸变不同，灰度畸变也较大。图9给出了两幅四川绵阳附近的山区图像，它们均为从左向右照射，但入射角不同，可以看出，左图迎着入射角的坡面压缩比例小于右图，阴影区域的大小和位置也不同，两幅图像的灰度属性有较大的变化。图9和表3给出了同名点的提取结果。SIFT提取了16个正确的匹配点，在整个匹配点中占33％，而LOSH提取了24个正确的匹配点，在整个匹配点中占39％。无论是绝对数量还是相对比例，LSOH都优于SIFT。LSOH提取的匹配点数多于SIFT，相对比例稍高于SIFT，折中后两种算法速度相当。

表3山区场景下同名点结果对比

本发明说明书中未作详细描述的内容属本领域技术人员的公知技术。

Claims (1)

1.基于局部排序方向直方图描述子的图像同名点提取方法，其特征在于包括如下步骤：

(1)输入参考图像和待匹配图像，将两幅图像分别作为原始图像采用以下步骤(2)～步骤(4)的方法进行处理；

(2)采用方差不断增大的高斯核与原始图像卷积建立高斯尺度空间，通过高斯尺度空间相邻层相减建立差分尺度空间，每个像素与本层8邻域和上下两层相同位置处3*3邻域相比，筛选出极值点，作为特征点；

(3)对于每一个特征点，计算其邻域内每个像素点的梯度幅值和方向，用像素点的梯度幅值累加其梯度方向份，构建其梯度方向直方图，并将幅值最大的方向作为主方向，然后根据主方向的角度，将邻域顺时针旋转，使其主方向为水平方向；

(4)构建每个特征点的局部排序方向直方图描述子，具体步骤为：

(41)对特征点邻域内的每个像素点，根据其3*3邻域，首先利用Sobel算子计算该像素点8个方向的方向导数，求得最大和次大响应方向；

(42)采用第0维到第7维表示最大方向的8个方位，其中东向为第0维，东北向为第1维，逆时针方向依次将北、西北、西、西南、南、东南确定第2维到第7维，采用第8维到第15维表示次大方向的8个方位，其中东向为第8维，东北向为第9维，逆时针方向依次确定第10到第15维度，根据步骤(41)的结果确定最大和次大响应方向的维度，并用各自的方向响应值加权，形成一个16维向量，16维向量中仅最大方向和次大方向的维度有值，其他维度为0；

(43)将特征点邻域分成4*4子块，对于每一个子块，将子块中每个像素点的方向权重累积到相应的方向份中，具体为：

其中p_j(i)表示子块中第j个像素的方向维向量中第i维的取值，N为子块内像素个数；

(44)将4*4个子块的16维局部排序方向直方图依次连接起来得到256维描述子向量，形成直方图描述子；

(5)对于两幅图像，在参考图像上遍历每一个特征点，并在待匹配图像上选取与各特征点分别对应的最近邻和次近邻特征点，通过直方图描述子，计算参考图像上的特征点与待匹配图像上相应的最近邻和次近邻特征点的欧式距离，如果计算得到的欧式距离小于指定的阈值，则判定参考图像上的特征点与待匹配图像上相应的最近邻的特征点为匹配点，然后通过RANSAC算法筛选出全部正确的匹配点，得到两幅图像的同名点。