CN105139395A - 基于小波池化卷积神经网络的sar图像分割方法 - Google Patents

Abstract

本发明公开了一种基于小波池化卷积神经网络的SAR图像分割方法。其方案为：1.构建小波池化层并形成小波池化的卷积神经网络；2.选取图像块输入到小波池化的卷积神经网络中进行训练；3.将所有图像块输入到训练好的网络中进行测试，得到SAR图像第一类标；4.对SAR图像作超像素分割，将其结果与SAR图像第一类标融合，得到SAR图像第二类标；5.根据Markov随机场模型得到SAR图像第三类标，并将其与超像素分割结果融合，得到SAR图像第四类标；6.根据SAR图像梯度图，将SAR图像的第二类标和第四类标进行融合，得到最终的分割结果。本发明提高了SAR图像的分割效果，可用于目标检测和识别。

Description

基于小波池化卷积神经网络的SAR图像分割方法

技术领域

本发明属于图像处理技术领域，涉及SAR图像分割方法，可用于目标检测和识别。

背景技术

随着遥感技术的快速发展，SAR图像解译在能源、环境、考古等方面发挥越来越重要的作用。SAR图像分割是SAR图像解译中基础而重要的一环，它可以为后续的分类、检测、识别和跟踪提供帮助。SAR图像分割的主要目标是将SAR图像划分成没有交集的连通区域，完成这一目标需要对SAR图像的每个像素进行标记，因此是一项非常困难的任务。

现有的SAR图像分割方法主要分为基于特征的方法和基于统计模型的方法。基于特征的方法主要是提取一些SAR图像的特征进行分割，比如纹理特征、边特征和混合特征等。这些方法在SAR图像的匀质区域取得了较好的分割效果。然而，SAR图像是对地观测，总是能观测到一些城区、森林等复杂场景。这些复杂的场景总是伴随着尖锐的明暗变化，这种特性使基于特征的方法受到挑战。基于统计模型的方法将SAR图像分割问题用概率的方式表达，由于该类方法考虑了图像的空间上下文关系，最近几年受到了越来越多的关注。基于统计模型的方法将图像的特征描述为一些经验的分布，例如Nakagami分布、Gamma分布、K分布、G分布等。空间上下文模型描述为Gibbs分布、多项式逻辑回归函数等。实际上，SAR图像分割问题转化成为求这些分布或者函数的参数问题。参数求解通常用组合优化的方法来解决，这是一个耗时的过程，而且很多时候总是不能找到满意解。尽管基于模型的方法取得了较好的分割效果，对于一些复杂的宏纹理的区域，仍然不能将他们分成一致性的区域。这两类方法都是在人为给定的特征下进行SAR图像的分割，而卷积神经网络可以从数据本身逐层的学***均池化法，只是简单的在特征图的邻域窗内取最大值或者平均值，会对学习到的特征的结构造成一定的破坏，不利于SAR图像的分割。

发明内容

本发明的目的在于针对上述已有方法的不足，提出一种基于小波池化卷积神经网络的SAR图像分割方法，以提升SAR图像分割的效果。

为实现上述目的，本发明的技术方案如下：

(1)在卷积神经网络中，对特征图进行小波变换并取其近似子带构成小波池化层，利用小波池化层形成小波池化的卷积神经网络；

(2)根据SAR图像标记图，每类选取50％的像素，并将以该像素为中心的图像块输入到小波池化的卷积神经网络中进行训练；

(3)对SAR图像的所有像素，选取以该像素为中心的图像块输入到训练好的网络中进行测试，得到SAR图像的第一类标；

(4)对SAR图像进行超像素分割，得到SAR图像的超像素分割结果，并将其与SAR图像的第一类标融合，得到SAR图像的第二类标；

(5)根据Markov随机场模型得到SAR图像的第三类标，并将其与SAR图像的超像素分割结果融合，得到SAR图像的第四类标；

(6)根据SAR图像梯度图，将SAR图像的第二类标和第四类标进行融合，得到最终的分割结果。

本发明与现有技术相比具有如下优点：

第一，卷积神经网络中的传统池化方法，即最大池化、平均池化法，只是简单的在特征图的邻域中取最大值或平均值，会对学习到的结构特征造成一定的破坏，本发明采用的小波池化不仅具有降噪的功能，而且能更好的保持学习到的结构特征，这对于图像的分割是至关重要的。

第二，本发明基于小波池化的卷积神经网络可以从原始数据自动学习特征，而不需要人为给定特征的类型，这种从原始数据学习到的丰富的结构特征可以提高异质区域，例如城区、森林等分割结果的一致性。

第三，本发明基于SAR图像梯度的融合策略，将基于小波池化的卷积神经网络与Markov随机场模型的优点融合在一起，使分割在精确地定位边界的同时又可以保持区域的一致性。

附图说明

图1是本发明的实现流程图；

图2是本发明中小波池化卷积神经网络示意图；

图3是本发明中小波池化卷积神经网络学习到的特征图；

图4是本发明仿真使用的SAR图像标记图；

图5是用本发明与现有方法对X波段分辨率为1米的NoerdlingerRies图像的分割结果图；

图6是用本发明与现有方法对Ku波段分辨率为1米的Piperiver图像的分割结果图。

具体实施方式

参照图1，本发明的实施步骤如下：

步骤1，构建小波池化层并形成小波池化的卷积神经网络。

(1.1)按照下式对特征图CF_k进行小波变换，

${\left\{{\mathrm{SF}}_k^{\mathrm{\ϵ}}(x,y)\right\}}_{\mathrm{\ϵ}=a,h,v,d}=down({\mathrm{CF}}_k^{\mathrm{\η}(x,y)}*\mathrm{\ψ})$

其中k＝1,...,N，N为特征图的个数：是特征图CF_k中以点(x,y)为中心的邻域块，*代表卷积操作，ψ是小波基函数，down(·)代表下2采样操作，是经过小波变换得到的各子带中的点，a,h,v,d分别代表近似子带、水平子带、垂直子带和对角子带；

(1.2)用近似子带特征图构成小波池化层，其中k＝1,...,N，N为特征图的个数；

(1.3)利用小波池化层形成小波池化的卷积神经网络，如图2所示，该神经网络是一个包含输入层、卷积层、池化层、全连接层和输出层的八层神经网络，其中，第一层为输入层，第二层与第四层为卷积层，第三层与第五层为池化层，第六层与第七层为全连接层，第八层为输出层。

步骤2，选取图像块输入到小波池化的卷积神经网络中进行训练。

(2.1)在如图4所示的SAR图像标记图中，每类选取50％的像素，并且对每个像素选取以它为中心的32×32的图像块作为训练样本，其中图4(a)为NoerdlingerRies图像，图4(b)为NoerdlingerRies图像的标记图，类别数为5，图4(c)为Piperiver图像，图4(b)为Piperiver图像的标记图，类别数为5；

(2.2)将训练样本输入到步骤(1)构建的小波池化的卷积神经网络，并用后向传播算法学习网络的参数，直到所有的训练样本训练完毕。

步骤3，将所有图像块输入到训练好的网络中进行测试。

(3.1)对SAR图像中所有像素，选取以该像素为中心的32×32的图像块作为测试样本；

(3.2)将测试样本输入到步骤(2)中训练好的神经网络中，学习到特征图，如图3所示，其中图3(a)为测试样本类型为森林时，网络学习到的第二层与第四层特征图，图3(b)为测试样本类型为城区时，网络学习到的第二层与第四层特征图，图3(c)为测试样本类型为农田1时，网络学习到的第二层与第四层特征图，图3(d)为测试样本类型为农田2时，网络学习到的第二层与第四层特征图；

(3.3)利用前向传播算法，预测得到每个图像块的类标，即得到SAR图像中每个像素的第一类标。

步骤4，对SAR图像进行超像素分割，获得该SAR图像的第二类标。

图像超像素分割的常用方法有：分水岭、MeanShift和TurboPixels等。本发明中采用但不限于TurboPixels的方法，得到SAR图像超像素的分割结果；

根据步骤(3)中得到的SAR图像的第一类标，计算每个超像素内各类别的像素个数；

将每个超像素标记为该超像素内像素个数最多的那个类别，得到SAR图像的第二类标。

步骤5，根据Markov随机场模型得到SAR图像的第三类标。

(5.1)Markov随机场模型的先验概率公式如下：

$P\left(x_s\right)=\frac{\exp (-u(x_s\left)\right)}{\underset{x_s\∈L}{\Σ}\exp (-u(x_s\left)\right)}$

其中，x_s代表图像像素的类标，L＝{1,...,m}表示图像的类别，u(x_s)定义如下：

$u\left(x_s\right)=-\mathrm{\β}\underset{i\∈N_s}{\Σ}\[\mathrm{\δ}(x_s,x_i)-1\]$

其中，N_s代表x_s为中心的邻域像素，β为模型参数， $\mathrm{\δ}(x_s,x_i)=\left\{\begin{array}{cc}1,& x_s=x_i\\ 0,& x_s\≠x_i\end{array}\right.;$

(5.2)Markov随机场模型的似然概率公式如下：

$p\left(y_s\right|x_s)=\frac{2}{\mathrm{\Γ}\left(v_l\right)}{\left(\frac{v_l}{{\mathrm{\μ}}_l}\right)}^{v_l}{y}_s^{2v_l-1}{e}^{(-v_l\frac{y_s^2}{{\mathrm{\μ}}_l})}$

其中，y_s代表图像的像素值，v_l，μ_l为模型参数，Γ(·)为Gamma分布。

(5.3)Markov随机场模型的后验概率公式如下：

${\hat{x}}_s=\arg \underset{x_s\∈L}{\max }\{p\left(y_s\right|x_s)\·p\left(x_s\right|x_{N_s})\}$

(5.4)根据Markov随机场模型得到SAR图像的第三类标其中L＝{1,...,m}表示图像的类别。

步骤6，将SAR图像的第三类标与超像素分割结果融合，得到该SAR图像的第四类标。

(6.1)根据步骤(5)中得到的SAR图像的第三类标，计算每个超像素内各类别的像素个数；

(6.2)将每个超像素标记为该超像素内像素个数最多的那个类别，得到该SAR图像的第四类标。

步骤7，获取SAR图像梯度图，将SAR图像的第二类标和第四类标进行融合，得到最终类标。

(7.1)将比值算子r、十字交叉算子c和一阶差分算子y进行融合，得到融合后的操作算子f：

$f=\frac{xy}{1-x-y+2xy}$

其中， $x=\sqrt{\frac{r^2+c^2}{2}};$

(7.2)将融合后的操作算子f与SAR图像进行卷积，得到SAR图像梯度图，并将像素(x,y)的梯度记为G(x,y)；

(7.3)针对像素(x,y)的梯度G(x,y)设定阈值T＝185，并将G(x,y)与T进行比较，如果G(x,y)≥T，则将该像素的第二类标作为最终类标，否则，将该像素的第四类标作为最终类标。

本发明的效果可以通过以下仿真实验进行说明：

一.仿真条件

第一组参数：图像来源为X波段分辨率为1米的NoerdlingerRies图像，基于小波池化的卷积神经网络的卷积核的大小为5*5，Markov随机场模型中参数β＝1,每个像素邻域N_s的大小为3*3；

第二组参数：图像来源为Ku波段分辨率为1米的Piperiver图像，基于小波池化的卷积神经网络的卷积核的大小为5*5，Markov随机场模型中参数β＝1，每个像素邻域N_s的大小为3*3。

二.仿真内容：

仿真1，用本发明方法与现有的Markov随机场模型、卷积神经网络和基于小波池化的卷积神经网络分别对第一组参数的图像进行分割，结果如图5。其中图5(a)为原图，图5(b)为Markov随机场模型的分割结果，图5(c)为卷积神经网络的分割结果，图5(d)为基于小波池化的卷积神经网络的分割结果，图5(e)为本发明的结果，图5(f)为真实标记图，图5(g)为该SAR图像相应的光学图像。

仿真2，用本发明方法与现有的Markov随机场模型、卷积神经网络和基于小波池化的卷积神经网络分别对第二组参数的图像进行分割，结果如图6，其中图6(a)为原图，图6(b)为Markov随机场模型的分割结果，图6(c)为卷积神经网络的分割结果，图6(d)为基于小波池化的卷积神经网络的分割结果，图6(e)为本发明的结果，图6(f)为真实标记图，图6(g)为该SAR图像相应的光学图像。

三.仿真结果分析：

从图5和图6可以看出，Markov随机场模型较好地保持了图像的边界信息，但是容易产生过分割的结果，这是由于预先定义的空间上下文模型造成的；卷积神经网络在异质区域的分割结果中一致性较好，这是因为卷积神经网络可以较好地学习图像的结构特征，然而由于匀质区域的结构较弱，所以卷积神经网络在匀质区域产生了错分；基于小波池化的卷积神经网络可以使学习到的特征保持更多的结构，因此其在异质区域的分割结果中一致性比卷积神经网络更好；本发明结合了基于小波池化卷积神经网络和Markov两个算法的优点，因此结果不仅具有较好的区域一致性而且可以精确的定位边界。

综上所述，本发明实现了SAR图像分割中区域一致性和精确的边界定位之间的平衡，获得了SAR图像良好的分割效果。

本实施例没有具体描述的部分都属于本技术领域的公知常识和公知技术，且以上例举仅仅是对本发明的举例说明，并不构成对本发明的保护范围的限制，凡是与本发明相同或相似的设计均属于本发明的保护范围之内。

Claims (4)

1.基于小波池化卷积神经网络的SAR图像分割方法，包括：

(1)在卷积神经网络中，对特征图进行小波变换并取其近似子带构成小波池化层，利用小波池化层形成小波池化的卷积神经网络；

(2)根据SAR图像标记图，每类选取50％的像素，并将以该像素为中心的图像块输入到小波池化的卷积神经网络中进行训练；

(3)对SAR图像的所有像素，选取以该像素为中心的图像块输入到训练好的网络中进行测试，得到SAR图像的第一类标；

(4)对SAR图像进行超像素分割，得到SAR图像的超像素分割结果，并将其与SAR图像的第一类标融合，得到SAR图像的第二类标；

(5)根据Markov随机场模型得到SAR图像的第三类标，并将其与SAR图像的超像素分割结果融合，得到SAR图像的第四类标；

(6)根据SAR图像梯度图，将SAR图像的第二类标和第四类标进行融合，得到最终的分割结果。

2.根据权利要求1所述的卷积神经网络的SAR图像分割方法，其中所述步骤(1)中对特征图进行小波变换并取其近似子带构成小波池化层，按如下步骤进行：

(1.1)按照下式对特征图CF_k进行小波变换，

${\left\{{\mathrm{SF}}_k^{\mathrm{\ϵ}}(x,y)\right\}}_{\mathrm{\ϵ}=a,h,v,d}=down({\mathrm{CF}}_k^{\mathrm{\η}(x,y)}*\mathrm{\ψ})$

其中k＝1,...,N，N为特征图的个数，是特征图CF_k中以点(x,y)为中心的邻域块，*代表卷积操作，ψ是小波基函数，down(·)代表下2采样操作，是经过小波变换得到的各子带中的点，a,h,v,d分别代表近似子带、水平子带、垂直子带和对角子带；

(1.2)用近似子带特征图构成小波池化层，其中k＝1,...,N，N为特征图的个数。

3.根据权利要求1所述的SAR图像分割方法，其中所述步骤(4)中将SAR图像的超像素分割结果与SAR图像的第一类标融合，是先根据步骤(3)中得到的SAR图像的第一类标，计算每个超像素内各类别的像素个数；再将每个超像素标记为该超像素内像素个数最多的那个类别，得到SAR图像的第二类标。

4.根据权利要求1所述的基于小波池化卷积神经网络的SAR图像分割方法，其中所述步骤(6)中根据SAR图像梯度图，将SAR图像的第二类标与第四类标进行融合，得到最终的分割结果，按如下步骤进行：

(6.1)将比值算子r、十字交叉算子c和一阶差分算子y进行融合，得到融合后的操作算子f：

$f=\frac{xy}{1-x-y+2xy}$

其中， $x=\sqrt{\frac{r^2+c^2}{2}};$

(6.2)将融合后的操作算子f与SAR图像进行卷积，得到SAR图像梯度图，并将像素(x,y)的梯度记为G(x,y)。

(6.3)针对像素(x,y)的梯度G(x,y)设定阈值T＝185，并将G(x,y)与T进行比较，如果G(x,y)≥T，则将该像素的第二类标作为最终类标，否则，将该像素的第四类标作为最终类标。