CN112116621A

CN112116621A - 一种合成孔径雷达图像快速多尺度超像素分割方法

Info

Publication number: CN112116621A
Application number: CN202010989859.5A
Authority: CN
Inventors: 王世晞; 项德良; 张亮; 张伟
Original assignee: Hangzhou Shiping Information & Technology Co ltd
Current assignee: Hangzhou Shiping Information & Technology Co ltd
Priority date: 2020-09-18
Filing date: 2020-09-18
Publication date: 2020-12-22

Abstract

一种合成孔径雷达图像快速多尺度超像素分割方法，包括以下步骤：结合后向散射灰度相似度、边缘信息相似度和同质性相似度度量两个像素的最终相似性；对SAR图像进行图结构表示；构造用于SAR图像的最小生成树；基于最小生成树实现SAR图像快速多尺度超像素分割，基于分割结果得到超像素分割边界并生成SAR图像分割结果。本发明能够即时生成具有树结构的任意数量超像素，从而可以分割不同级别的超像素结果。本发明多尺度超像素分割方法不仅可以很好地保持图像边界，而且具有良好的图像局部细节保持能力，能够对SAR图像实时生成任意尺度的分割结果，有助于不同尺寸目标信息获取，执行效率显著提高。

Description

一种合成孔径雷达图像快速多尺度超像素分割方法

技术领域

本发明属于遥感图像解译领域，具体涉及一种合成孔径雷达图像快速多尺度超像素分割方法，通过利用SAR图像像素相似度构建SAR图像的最小生成树，进而完成快速多尺度超像素分割，从而为SAR图像内容分析以及场景分割提供重要的类别属性信息。

背景技术

合成孔径雷达(SAR)在遥感技术中起着关键作用，无论昼夜或各种天气条件，合成孔径雷达都能提供高分辨率的对地观测图像。SAR图像快速分割可以识别出不同的对象类别，从而有助于后续应用，例如图像去斑，图像分类和目标检测等。

超像素分割是一种流行的图像预处理方法，可以在图像中生成具有相似属性的局部同质区域。使用局部匀质区域(即超像素)代替像素作为图像处理基本单元，有助于减少SAR图像处理的相干斑噪声影响以及计算复杂度。迄今为止，相关文献已经提出几种针对SAR图像的超像素生成和分割方法。例如，在简单线性迭代聚类(SLIC)的基础上，通过定义SAR图像幅度和位置相似性来生成超像素，该方法对相干斑噪声有一定稳健性。利用马氏距离代替欧氏距离来定义像素相似性度量，能够提高SLIC算法在SAR图像上的性能。以及，首先使用SLIC算法将SAR图像分割为超像素，然后使用基于密度的空间聚类方法合并超像素以实现最终分割。除了基于SLIC的算法，具有线性特征聚类和边缘约束的SAR图像自适应超像素生成方法可以生成具有良好边界保持性的超像素并考虑全局图像结构信息。而边缘感知的超像素生成方法，该方法可以实现一次迭代完成SAR图像超像素分割。

尽管上述方法可以用于SAR图像超像素分割，但是它们无法直接生成一系列具有不同细节的超像素。其中较粗糙级别的超像素可以由较精细级别的超像素组成，这种金字塔分割结果有助于从SAR图像中快速提取信息。为了实现分层或多尺度的SAR图像分割，需要根据分割尺度来确定超像素数，然后需要将超像素生成算法重复执行多次，效率低下。

发明内容

本发明的目的在于针对上述现有技术中实现分层或多尺度的SAR图像分割时效率低下的问题，提供一种合成孔径雷达图像快速多尺度超像素分割方法，基于最小生成树(MST)实现SAR图像快速多尺度超像素分割，能够即时生成具有树结构的任意数量的超像素，可以分割不同级别的超像素结果，很好地保持图像边界，而且具有良好的图像局部细节保持能力。

为了实现上述目的，本发明有如下的技术方案：

一种合成孔径雷达图像快速多尺度超像素分割方法，包括以下步骤：

-结合后向散射灰度相似度、边缘信息相似度和同质性相似度度量两个像素的最终相似性；

-对SAR图像进行图结构表示；

-构造用于SAR图像的最小生成树；

-基于最小生成树实现SAR图像快速多尺度超像素分割，基于分割结果得到超像素分割边界并生成SAR图像分割结果。

在本发明的一种优选实施方式当中，基于当前中心像素的两个3×3局部区域的样本平均幅度，得出图像的后向散射差异。

在本发明的一种优选实施方式当中，两个像素之间的后向散射灰度相似度为：

其中，两个局部区域R_u和R_v的样本均值分别表示为

和

L为SAR图像的视数。

在本发明的一种优选实施方式当中，采用基于导引滤波器的SAR图像边缘检测子对SAR图像提取边缘。

在本发明的一种优选实施方式当中，得到图像边缘之后，基于边缘信息的相似性度量为：

σ_E(u，v)＝max{ESM(u)，ESM(v)}

其中，ESM(u)表示像素u的边缘强度图。

在本发明的一种优选实施方式当中，同质性相似度为：

其中，

和

表示局部区域R_u和R_v的SAR图像变异系数，由标准偏差与平均值之比得出。

在本发明的一种优选实施方式当中，两个像素的最终相似性为散射灰度相似度、边缘信息相似度和同质性相似度之和。

在本发明的一种优选实施方式当中，对SAR图像进行图结构表示的操作方法如下：

假设SAR图像G＝(V，E)是一个由顶点V＝{v₁，v₂，...，v_N}和边E＝{e₁，e₂，...，e_M}组成的无向加权图；SAR图像的每个像素都由一个顶点表示，基于8连通邻域连接每两个顶点，将顶点V划分为K个不相交的分量，即超像素，并且每个分量对应于连接子图G′＝(V′，E′)，其中V′∈V，E′∈E。

在本发明的一种优选实施方式当中，利用Kruskal算法构造用于SAR图像的最小生成树，具体步骤如下：

1)输入的SAR图像视为连通、加权的无向图，记该图中有v个顶点，e个边；

2)获得SAR图像的边缘强度图；

3)将所有顶点初始化为单独的像素；

4)将最小生成树初始化为空，该最小生成树中拥有原图中同样的v个顶点，但没有边；

5)计算SAR图像所有像素与其邻域像素的像素相似度，作为边的权重，将全部e个边按权值从小到大排序：

6)循环：从权值最小的边开始遍历每条边，直至图中全部的节点都在同一个连通分量中，如果某条边连接的两个节点不在同一个连通分量中，则增加这条边到最小生成树中；

7)返回生成的最小生成树。

在本发明的一种优选实施方式当中，在得到SAR图像多尺度分割结果之后，根据像素分割标签利用梯度计算法提取超像素分割边缘，根据分割边缘对SAR图像逐个超像素计算均值，得到最终的SAR图像分割结果。

相较于现有技术，本发明具有如下的有益效果：根据SAR图像的像素相似度，结合SAR图像的后向散射灰度相似度、边缘信息相似度和同质性相似度定义一种新的像素相似度，该像素相似度具有鲁棒性，在此基础上构建SAR图像的最小生成树，最后基于最小生成树实现SAR图像的快速多尺度超像素分割。本发明的方法能够即时生成具有树结构的任意数量超像素，从而可以分割不同级别的超像素结果。本发明提出的多尺度超像素分割方法不仅可以很好地保持图像边界，而且具有良好的图像局部细节保持能力，能够对SAR图像实时生成任意尺度的分割结果，有助于不同尺寸目标信息获取，执行效率显著提高。

附图说明

图1是SAR图像切片图；

图2是SAR图像构造出的MST图；

图3是基于MST进行多尺度SAR图像超像素分割示意图；

图4是本发明方法针对SAR图像的多尺度分割结果：

(a)3000个超像素；(b)1500个超像素；(c)800个超像素；(d)400个超像素；

图5是对比方法针对SAR数据分割结果：

(a)GIOESP方法分割结果图；(b)RCBLP方法分割结果图；(c)ALFCE方法分割结果图。

具体实施方式

下面结合附图对本发明做进一步的详细说明。

一种合成孔径雷达图像快速多尺度超像素分割方法，具体步骤如下：

A、针对SAR图像，定义像素灰度相似度、边缘强度相似度以及图像不均匀性相似度；

B、对SAR图像进行图结构表示；

C、利用Kruskal算法实现SAR图像最小生成树；

D、基于最小生成树实现SAR图像快速多尺度超像素分割；

E、基于分割结果得到超像素分割边界并生成SAR图像分割结果。

步骤A的具体操作方法为：

首先，需要为SAR图像定义像素相似性度量，由于存在相干斑噪声，传统的基于像素灰度相似性度量(例如欧几里得距离)不适用于SAR图像。此外，相似性度量还应考虑图像边缘信息以及均匀性信息从而实现准确的超像素分割。在本发明的分割方法当中，使用基于当前中心像素的两个3×3局部区域的样本平均幅度，并得出图像的后向散射差异。两个局部区域R_u和R_v的样本均值分别表示为

和

两个像素之间的后向散射灰度相似度为：

其中L为SAR图像的视数。

边缘信息对于定义像素相似性度量至关重要，当两个像素之间存在边缘时，它们将不可能形成最小生成树。本发明采用基于导引滤波器的SAR图像边缘检测子来对SAR图像提取边缘，该方法可以去除包括斑点噪声和细节纹理在内的非边缘信息，并同时保留边缘信息。在得到图像边缘之后，基于边缘信息的相似性度量可以表示为：

σ_E(u，v)＝max{ESM(u)，ESM(v)}

其中，ESM(u)表示像素u的边缘强度图。

通常，同质区域内的像素有很大概率属于同一个最小生成树。因此，可以在像素相似度定义中考虑它们之间的图像同质性差异。在本发明中，将同质性相似度定义为：

其中，

和

表示局部区域R_u和R_v的SAR图像变异系数(CoV)，可以由标准偏差与平均值之比得出。

最后，本发明结合了反向散射灰度相似度，边缘信息相似度和同质性相似度，实现两个像素的最终相似性度量：

步骤B的具体操作方法为：

假设G＝(V，E)是一个由顶点V＝{v₁，v₂，...，v_N}和边E＝{e₁，e₂，...，e_M}组成的无向加权图。对于SAR图像，每个像素都可以由一个顶点表示，并且每个边缘e_k＝(u，v)都有权重w(e_k)，即顶点u与v之间的差异w(u，v)。在本发明的分割方法中，基于8连通邻域连接每两个顶点。为了对图G(即SAR图像)实现超像素分割，应将顶点V划分为K个不相交的分量，即超像素，并且每个分量(超像素)对应于连接子图G′＝(V′，E′)，其中V′∈V，E′∈E。

步骤C的具体操作方法为：生成树定义为加权，无向和无环子图。最小生成树实际上就是顶点之间所有连接边的总权重最小的那颗生成树。针对SAR图像超像素分割，由于最小生成树(MST)内的像素具有最小的像素相似度之和，因此，MST可以表示超像素，从而生成具有非常相似属性的局部图像区域。Kruskal算法是一种流行的MST提取方法，其基本思想是：假设连通网为G(V，E)，令最小生成树的初始状态为只有n个顶点而无边的非连通图T＝(V，{ })，图中每个顶点自成一个连通分量。在E中选择代价最小的边，若该边依附的顶点分别在T中不同的连通分量上，则将此边加入到T中；否则，舍去此边而选择下一条代价最小的边。依此类推，直至T中所有顶点构成一个连通分量为止。

MST可以用于图像分割任务，但是，很少有研究将MST应用于SAR图像超像素分割中。本发明的方法给出了如何构造用于SAR图像的MST。具体步骤如下：

2)获得SAR图像的边缘强度图；

3)将所有顶点初始化为单独的像素；

7)返回生成的最小生成树。

步骤D的具体操作方法为：在前面步骤中，Kruskal算法以自底向上的方式计算最小生成树。通过树(像素)的迭代合并，整个SAR图像最终会生成一个大的MST，每个超像素都可以视为该大MST中的子树。如图1与图2所示，同一类别的像素可以形成边缘权重较小的子树，这也是较小的MST。但是，由不同区域形成的子树之间的边缘权重要大得多。因此，可以得出结论，生成的大MST包含SAR图像超像素的层次结构信息。通过设置不同数量的超像素，可以快速获得分层或多尺度的超像素分割结果。

图3给出了基于MST分区的多尺度超像素分割的示意图。具体来说，对于最大MST内的所有边，可以根据边的权重对它们进行排序，然后删除权重最大的边缘。因此，一个MST可以分为两个MST。然后，对于每个小的MST，重新进行边权重排序，然后进一步删除权重最大的边。对每个MST执行此过程，直到最终生成的MST的数量达到预设的超像素数量为止。因此，可以发现，本发明所提出的方法实际上可以从MST动态生成任何数量的超像素。

步骤E的具体操作方法为：在得到SAR图像多尺度分割结果之后，本步骤进一步根据像素分割标签利用梯度计算法来提取超像素分割边缘，进而根据分割边缘对SAR图像逐个超像素计算均值，从而得到最终的SAR图像分割结果。

实验效果分析：

利用机载SAR数据集来验证所提出的方法。该数据是X波段SAR图像的一部分，分辨率为0.5米。图片大小为1063×1165。为了进行评估比较，选择了三种SAR图像分层分割方法。第一种是分层区域合并方法，即GIOESP方法。第二种是基于公共边界约束的快速区域合并方法，即RCBLP方法。最后一个是具有边缘约束的自适应超像素分割方法，即ALFCE方法。前两种方法属于区域合并方法，它们合并初始超像素以实现最终分割。最后一种是超像素分割方法，可以通过重复执行ALFCE方法实现分层分割。

图4(a)、图4(b)、图4(c)以及图4(d)分别给出了通过本发明方法对SAR数据进行的多尺度超像素分割结果。对于该X波段SAR图像，给出了具有3000、1500、800和400个超像素的分层分割。从图中可以发现，更多的超像素可以保留更多的图像细节。在图4(a)中，不仅可以很好地保留明显的图像边界和较大的建筑面积，而且可以很好地保留较小的孤立建筑物。相反，随着超像素数量的减少，一些小的孤立建筑物将合并到其相邻区域中，从而导致某些信息丢失。尽管如此，SAR图像的结构信息都得到了很好的保留，这表明生成的超像素可以很好地保持图像边缘，并且可以保留主要图像信息。值得注意的是，超像素分割结果都是从相同的MST获得的，生成所有结果所需的时间基本上是相同的。因此，从一个MST可以实时获取任何尺度的分割结果，表明本发明可以实现SAR图像层次分割。

图5(a)、图5(b)以及图5(c)分别给出了GIOESP，RCBLP和ALFCE方法对SAR数据的分割结果。对于所有结果，将分割区域个数设置为1500。从图5(a)可以看出，GIOESP可以清晰地保留大部分图像边缘和建筑区域。但是，与图5(b)的结果相比，缺少了一些小的孤立建筑物的细节，导致分割效果更差。图5(b)表示RCBLP的结果，其性能与GIOESP相似。由于这两种方法都合并了初始的超像素以实现最终的分割，因此很容易出现一些过度合并的错误，从而使小目标的细节丢失了。相反，本发明的方法计算了SAR图像的MST，该图像实际上包含分层结构信息。然后从MST中获得分割结果。因此，较少的过度合并错误，并且可以很好地维护小目标的详细信息。图5(c)显示了ALFCE的结果，这也是SAR图像的超像素分割方法。可以看出，ALFCE方法可以清晰地获得人造小目标的图像边界和结构信息。然而，该方法基于局部特征聚类执行超像素分割，这导致了一些过分割错误。另外，分割的超像素边界不能很好的拟合图像边界。相比之下，由于SAR图像的全局MST，图4(b)中本发明分割方法得到的结果能更好的拟合真实边界和更少的过分割错误。

以上所述的仅仅是本发明的较佳实施例，并不用以对本发明的技术方案进行任何限制，本领域技术人员应当理解的是，在不脱离本发明精神和原则的前提下，该技术方案还可以进行若干简单的修改和替换，这些修改和替换也均会落入权利要求书所涵盖的保护范围之内。

Claims

1.一种合成孔径雷达图像快速多尺度超像素分割方法，其特征在于，包括以下步骤：

-对SAR图像进行图结构表示；

-构造用于SAR图像的最小生成树；

2.根据权利要求1所述的合成孔径雷达图像快速多尺度超像素分割方法，其特征在于：基于当前中心像素的两个3×3局部区域的样本平均幅度，得出图像的后向散射差异。

3.根据权利要求2所述的合成孔径雷达图像快速多尺度超像素分割方法，其特征在于：

两个像素之间的后向散射灰度相似度为：

其中，两个局部区域R_u和R_v的样本均值分别表示为

和

L为SAR图像的视数。

4.根据权利要求1所述的合成孔径雷达图像快速多尺度超像素分割方法，其特征在于：采用基于导引滤波器的SAR图像边缘检测子对SAR图像提取边缘。

5.根据权利要求4所述的合成孔径雷达图像快速多尺度超像素分割方法，其特征在于，得到图像边缘之后，基于边缘信息的相似性度量为：

σ_E(u，v)＝max{ESM(u)，ESM(v)}

其中，ESM(u)表示像素u的边缘强度图。

6.根据权利要求1所述的合成孔径雷达图像快速多尺度超像素分割方法，其特征在于，同质性相似度为：

其中，

和

7.根据权利要求1所述的合成孔径雷达图像快速多尺度超像素分割方法，其特征在于，两个像素的最终相似性为散射灰度相似度、边缘信息相似度和同质性相似度之和。

8.根据权利要求1所述的合成孔径雷达图像快速多尺度超像素分割方法，其特征在于，对SAR图像进行图结构表示的操作方法如下：假设SAR图像G＝(V，E)是一个由顶点V＝{v₁，v₂，...，v_N}和边E＝{e₁，e₂，...，e_M}组成的无向加权图；SAR图像的每个像素都由一个顶点表示，基于8连通邻域连接每两个顶点，将顶点V划分为K个不相交的分量，即超像素，并且每个分量对应于连接子图G′＝(V′，E′)，其中V′∈V，E′∈E。

9.根据权利要求1所述的合成孔径雷达图像快速多尺度超像素分割方法，其特征在于，利用Kruskal算法构造用于SAR图像的最小生成树，具体步骤如下：

2)获得SAR图像的边缘强度图；

3)将所有顶点初始化为单独的像素；

7)返回生成的最小生成树。

10.根据权利要求1所述的合成孔径雷达图像快速多尺度超像素分割方法，其特征在于，在得到SAR图像多尺度分割结果之后，根据像素分割标签利用梯度计算法提取超像素分割边缘，根据分割边缘对SAR图像逐个超像素计算均值，得到最终的SAR图像分割结果。