CN113111975A - 基于多核尺度卷积神经网络的sar图像目标分类方法 - Google Patents

Abstract

本发明公开了一种基于多核尺度卷积神经网络的SAR图像目标分类方法，包括：1.选取不同种类的SAR图像作为样本集；2.在每个卷积层中采用多尺度卷积核并行地对输入SAR图像进行卷积，对提取到的多核尺度特征进行多尺度最优化融合，获取融合特征；3.对浅层、中层和深层的卷积层提取到的融合特征进行多层级最优化融合，得到最终特征；4.将最终特征输入全连接层和softmax分类器得到预测结果，并与真实结果对比，完成网络训练过程；5.将待分类的SAR图像输入训练好的多核尺度卷积神经网络，得到对应的类别。本发明能提高SAR图像目标特征表征的完整性，获得更高的分类精度和分类效率，具有较好的工程应用价值。

Description

基于多核尺度卷积神经网络的SAR图像目标分类方法

技术领域

本发明涉及SAR图像目标分类技术领域，具体涉及一种基于多核尺度卷积神经网络的SAR图像目标分类方法。

背景技术

合成孔径雷达(Synthetic Aperture Radar,SAR)是具有全天时、全天候工作能力的有源成像传感器，它可以有效地识别伪装和穿透掩盖物，获取高分辨率的遥感图像。与光学图像相比，SAR图像可以提供如幅度信息、相位信息和极化信息等多种有用信息，这些信息被有效地运用在军事侦察领域的SAR图像目标分类应用中。

传统的SAR图像目标分类方法一般通过人工提取的方式获取SAR图像的特征，再将特征输入分类器中进行分类，这样的方法不仅费时费力，且获取的特征不一定令人满意。随着越来越多的数据被用于SAR图像目标分类，基于大数据的深度学习方法在分类表现上远远超越了传统的SAR图像目标分类方法，其中卷积神经网络(Convolutional NeuralNetwork,CNN)凭借其出色的表现得到了广泛的关注。卷积神经网络一般通过交替的卷积和池化操作逐步提取SAR图像目标的深层特征，再利用这些深层特征进行分类。但是当SAR图像目标分类任务比较复杂时，卷积神经网络往往容易陷入瓶颈。近年来针对这一问题，许多新的卷积神经网络被相继提出，它们分别从数据量、网络深度、网络结构等多个方面对传统的卷积神经网络进行改进。

现有的改进的卷积神经网络基本都采用了固定尺度的卷积核进行卷积操作，当卷积核尺度较大时，SAR图像中目标的局部细节特征容易被丢失；当卷积核尺度较小时，SAR图像中目标的整体轮廓特征容易被丢失。综上所述，SAR图像目标的局部细节特征提取和整体轮廓特征提取在使用固定尺度的卷积核时无法被兼顾，SAR图像目标特征表征的完整性较低，使得最终的分类表现较差。

发明内容

本发明是为了解决上述现有技术存在的不足之处，提出一种基于多核尺度卷积神经网络的SAR图像目标分类方法，以期能有效兼顾SAR图像目标的局部细节特征提取和整体轮廓特征提取，保证SAR图像目标特征表征的完整性，从而获得较好的分类结果。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种基于多核尺度卷积神经网络的SAR图像目标分类方法的特点是包括如下步骤：

步骤1：选取不同种类的SAR图像作为多核尺度卷积神经网络的样本集，将样本集中的SAR图像的尺寸进行统一，得到统一尺寸后的样本集X＝{X₁,X₂,…,X_i,…,X_n}，X_i表示统一尺寸后的样本集X中的第i个SAR图像样本，i∈[1,n]，n表示样本容量；

步骤2：对第j个卷积层中尺度为l×l的卷积核

的权重值进行初始化；其中，j＝1,2,3，分别表示浅层、中层和深层；

设置两个膨胀系数为α₁和α₂，并分别用于对卷积核

进行卷积核膨胀操作，得到尺度为[α₁·(l-1)+1]×[α₁·(l-1)+1]的卷积核

和尺度为[α₂·(l-1)+1]×[α₂·(l-1)+1]的卷积核

设置步长为1，分别采用三个卷积核

和

并行地对输入的第i个SAR图像样本X_i进行卷积操作，从而利用式(1)得到第i个SAR图像X_i分别在第j个卷积层中的多核尺度特征f₁ ^i,j、

和

式(1)中，

为卷积符号，σ(·)为ReLU函数；

利用式(2)对三个多核尺度特征f₁ ^i,j、

和

进行多尺度最优化融合，从而获取第i个SAR图像X_i在第j个卷积层的融合特征

式(2)中，

为第j个卷积层的多尺度最优化融合的权重向量，且

λ₁ ^j、

分别表示第j个卷积层的三个尺度最优化融合的权重；[·]^T表示矩阵转置；

步骤3：根据式(3)对浅层、中层和深层的卷积层中提取到的融合特征

和

进行多层级最优化融合，获取第i个SAR图像X_i的最终特征Fⁱ：

式(3)中，ω₁、ω₂、ω₃分别为三层级最优化融合的权重；

步骤4：将最终特征Fⁱ输入全连接层进行降维，并将全连接层的输出结果输入softmax分类器中，得到第i个SAR图像样本X_i对应每个类别的后验概率，选取其中最大的后验概率对应的类别作为第i个SAR图像样本X_i的预测类别；

将第i个SAR图像样本X_i的预测类别与真实类别进行对比，通过反向传播对多核尺度卷积神经网络进行优化，从而完成多核尺度卷积神经网络的训练过程；

步骤5：将待分类的SAR图像输入到训练好的多核尺度卷积神经网络中，从而得到分类结果。

与现有技术相比，本发明的有益效果在于：

1.本发明提出的基于多核尺度卷积神经网络的SAR图像目标分类方法，有效提升了SAR图像目标分类过程中的特征表征的完整性，减弱了网络对SAR图像中目标的特征尺度变化的敏感度，实现了SAR图像目标的高效精确分类。

2.本发明使用不同尺度的卷积核对SAR图像进行并行的卷积操作得到多核尺度特征，兼顾了SAR图像目标的局部细节特征提取和整体轮廓特征提取，之后对多核尺度特征进行多尺度最优化融合，使携带不同信息的特征之间相互补充，得到更加完备的特征信息。

3.本发明巧妙地设计了一种新的多通道并行卷积拓扑结构，使多核尺度卷积过程在多个通道上并行进行，不仅减少了计算时间，而且防止了多核尺度卷积过程之间互相影响，同时提高了SAR图像目标分类的精度和效率。

4.本发明通过对较小尺度的卷积核进行膨胀操作来获取较大尺度的卷积核，在保证感受野大小不变的同时使多核尺度卷积神经网络中的待训练参数显著减少，大幅降低了网络结构的复杂度，提高了SAR图像目标分类的效率。

5.本发明将在浅层、中层和深层卷积层中提取并融合的特征进行多层级最优化融合。这些抽象程度不同的特征通过训练自动获取它们对最终分类决策的重要性，并按照各自的重要性进行融合，进一步提高了用于分类的特征信息的完备性。

附图说明

图1是本发明的基于多核尺度卷积神经网络的SAR图像目标分类方法的流程图；

图2是本发明的模拟多目标场景SAR图像；

图3是本发明的基于多核尺度卷积神经网络的SAR图像目标分类方法在模拟多目标场景SAR图像上的分类结果；

图4是本发明的基于多核尺度卷积神经网络的SAR图像目标分类方法与其他常见的基于卷积神经网络的SAR图像分类方法的ROC-AUC曲线对比图。

具体实施方式

下面结合实施例对本发明作进一步说明，本发明包括但不仅限于下述实施例。

在本实施例中，如图1所示，一种基于多核尺度卷积神经网络的SAR图像目标分类方法包括如下步骤：

步骤1：选取不同种类的SAR图像作为多核尺度卷积神经网络的样本集，将样本集中的SAR图像的尺寸通过降采样的方法统一为88×88，从而得到统一尺寸后的样本集X＝{X₁,X₂,…,X_i,…,X_n}，X_i表示统一尺寸后的样本集X中的第i个SAR图像样本，i∈[1,n]，n表示样本容量；

步骤2：对第j个卷积层中尺度为l×l的卷积核

的权重值进行初始化，具体的初始化方式选用截断高斯分布；其中，j＝1,2,3，分别表示浅层、中层和深层，且l＝3；

设置两个膨胀系数为α₁＝2和α₂＝3，并分别用于对卷积核

进行卷积核膨胀操作，得到尺度为[α₁·(l-1)+1]×[α₁·(l-1)+1]的卷积核

和尺度为[α₂·(l-1)+1]×[α₂·(l-1)+1]的卷积核

经过计算，

和

的尺度分别为5×5和7×7；

设置步长为1，分别采用三个卷积核

和

并行地对输入的第i个SAR图像样本X_i进行卷积操作，从而利用式(1)得到第i个SAR图像X_i分别在第j个卷积层中的多核尺度特征f₁ ^i,j、

和

式(1)中，

为卷积符号，σ(·)为ReLU函数；

利用式(2)对三个多核尺度特征f₁ ^i,j、

和

进行多尺度最优化融合，从而获取第i个SAR图像X_i在第j个卷积层的融合特征

式(2)中，

为第j个卷积层的多尺度最优化融合的权重向量，且

λ₁ ^j、

分别表示第j个卷积层的三个尺度最优化融合的权重，其通过自动训练获取，目的是为了令多核尺度卷积神经网络的损失达最小。[·]^T表示矩阵转置；

步骤3：根据式(3)对浅层、中层和深层的卷积层中提取到的融合特征

和

进行多层级最优化融合，获取第i个SAR图像X_i的最终特征Fⁱ：

式(3)中，ω₁、ω₂、ω₃分别为三层级最优化融合的权重，其同样通过自动训练获取，使得多核尺度卷积神经网络的损失达到最小；

具体地，在多核尺度卷积神经网络中，经过卷积层后提取的融合特征将先被输入池化层进行降采样，之后再输入到下一层卷积层中。由于本发明中任一池化层的池化核的尺寸均设置为2×2，且步长也都设置为2，则在此过程中融合特征的长和宽都降为原来的一半，为保证拼接过程中不同卷积层提取的融合特征在数据量上保持一致，则将后一层卷积层中卷积核的深度设置为前一层卷积层中的四倍；

步骤4：将最终特征Fⁱ进行展平操作，得到一个特征向量，将其输入到全连接层进行降维，进一步增加多核尺度卷积神经网络的非线性。本发明中的全连接层由两个尺寸不同的权重值矩阵组合而成，特别地，第二个全连接层的输出尺寸保持与SAR图像分类任务中具体的SAR图像种类数量一致。本发明在全连接层中使用了随机失活层，且将失活率设置为0.5，在每次训练过程中随机地选取一半的节点不参与网络的更新，从而避免了一般卷积神经网络训练过程中常见的梯度***和梯度消失的问题。

再将全连接层的输出结果输入softmax分类器中，得到第i个SAR图像样本X_i对应每个类别的后验概率，选取其中最大的后验概率对应的类别作为第i个SAR图像样本X_i的预测类别；

将第i个SAR图像样本X_i的预测类别与真实类别进行对比，通过反向传播对多核尺度卷积神经网络进行优化，从而完成多核尺度卷积神经网络的训练过程；

步骤5：将待分类的SAR图像输入到训练好的多核尺度卷积神经网络中，从而得到分类结果。

至此，基于多核尺度卷积神经网络的SAR图像目标分类方法基本完成。

以下通过MSTAR数据集实验进一步说明本发明有效性。

MSTAR数据集SAR图像目标分类实验：

1.实验设置：

实验数据来自美国国防高等研究计划署(U.S.Defense Advanced ResearchProjects Agency,DARPA)支持的MSTAR计划所公布的实测SAR地面静止目标数据，该数据由分辨率为0.3m×0.3m，工作波段为X波段，极化方式为HH的SAR在美国阿拉巴马州的亨兹维尔周围获取。本实施例使用MSTAR数据集中的标准操作条件(Standard OperatingCondition,SOC)数据集和基于俯角变化的扩展操作条件(Depression-variant ExtendedOperating Condition,EOC-D)数据集进行实验。SOC数据集包含十类SAR地面目标：2S1、BRDM-2、BTR-60、D7、T-72、BMP-2、BTR-70、T-62、ZIL-131、ZSU-234，其训练集和测试集的俯角分别为17°和15°；EOC-D数据集中包含四类SAR地面目标：2S1、BRDM-2、T-72、ZSU-234，其训练集和测试集的俯角分别为17°和30°。另外，为了更直观地说明本发明的有效性，本实施例通过人工合成的方式生成了一幅模拟多目标场景SAR图像进行SAR图像目标分类的可视化展示，其中模拟多目标场景SAR图像如图2所示，可视化分类结果如图3所示。

2.结果分析：

本实施例中的实验采用准确率Accuracy、精准度Precision、召回率Recall、MacroF1-socre、训练时间和测试时间对本发明提出的方法的性能进行定量分析。为说明本发明提出方法的优越性，选用几种常见的基于卷积神经网络的SAR图像目标分类方法进行对比，这些方法包括Le-Net、VGG-Net、残差神经网络(Residual neural network,Res-Net)。对所有方法的训练过程设置批处理尺寸为100，迭代次数为100，学习率为0.001，优化算法为Adam算法。对比结果如表1所示，其中：

式(4)、式(5)和式(6)中，TP指被判为正例的正样本，TN指被判为负例的负样本，FP指被判为负例的正样本，FN指被判为正例的负样本。式(7)中n为分类任务中SAR图像的类别数量，Precision_l和Recall_l分别为第l类SAR图像的精准度和召回率。

表1基于多核尺度卷积神经网络的SAR图像目标分类方法性能评估指标

除此以外，本实施例中的实验还通过接收机性能曲线(Receiver OperationCurve,ROC)以及对应的曲线下面积(Area Under the ROC Curve,AUC)来反映本发明中提出方法的优越性，结果如图4所示。

结合图3、图4及表1进行分析，相比于其他常见的基于卷积神经网络的SAR图像目标分类方法，本发明提出的基于多核尺度卷积神经网络的SAR图像目标分类方法在使用SOC数据集以及EOC-D数据集进行实验时均能获得更好的分类结果，而且还具有最好的ROC特性。在上述几种SAR图像目标分类方法中，Le-Net使用了结构比较简单的卷积神经网络，所以训练时间和测试时间较短，但其分类结果相比于其他方法并不理想。VGG-Net使用成堆的小尺度卷积核代替大尺度卷积核，从而提高了网络的非线性特性并增加了网络的深度，明显改善了SAR图像目标分类的表现；而Res-Net则是在卷积神经网络中引入了残差模块，大幅提升了网络深度，获取了更好的分类结果。但VGG-Net和Res-Net在网络复杂度上都有很大程度的增长，直接导致了训练时间和测试时间的成倍增加。本发明提出的基于多核尺度卷积神经网络的SAR图像目标分类方法将多核尺度特征和多层特征进行多尺度和多层级最优化融合并用于最终分类决策，有效提升了SAR图像目标分类过程中的特征表征的完整性，在本实施例中获得了最好的SAR图像目标分类结果。除此以外，本发明还通过并行卷积、卷积核膨胀等方式显著地降低了网络的复杂度，减少了训练时间和测试时间。综上所述，本发明提出的基于多核尺度卷积神经网络的SAR图像目标分类方法具有结构简单、分类精准、计算高效的特点，在实际工程中具有很高的应用价值。

Claims (1)

1.一种基于多核尺度卷积神经网络的SAR图像目标分类方法，其特征是包括如下步骤：

步骤1：选取不同种类的SAR图像作为多核尺度卷积神经网络的样本集，将样本集中的SAR图像的尺寸进行统一，得到统一尺寸后的样本集X＝{X₁,X₂,…,X_i,…,X_n}，X_i表示统一尺寸后的样本集X中的第i个SAR图像样本，i∈[1,n]，n表示样本容量；

步骤2：对第j个卷积层中尺度为l×l的卷积核

的权重值进行初始化；其中，j＝1,2,3，分别表示浅层、中层和深层；

设置两个膨胀系数为α₁和α₂，并分别用于对卷积核

进行卷积核膨胀操作，得到尺度为[α₁·(l-1)+1]×[α₁·(l-1)+1]的卷积核

和尺度为[α₂·(l-1)+1]×[α₂·(l-1)+1]的卷积核

设置步长为1，分别采用三个卷积核

和

并行地对输入的第i个SAR图像样本X_i进行卷积操作，从而利用式(1)得到第i个SAR图像X_i分别在第j个卷积层中的多核尺度特征f₁ ^i,j、

和

式(1)中，

为卷积符号，σ(·)为ReLU函数；

利用式(2)对三个多核尺度特征f₁ ^i,j、

和

进行多尺度最优化融合，从而获取第i个SAR图像X_i在第j个卷积层的融合特征

式(2)中，

为第j个卷积层的多尺度最优化融合的权重向量，且

分别表示第j个卷积层的三个尺度最优化融合的权重；[·]^T表示矩阵转置；

步骤3：根据式(3)对浅层、中层和深层的卷积层中提取到的融合特征

和

进行多层级最优化融合，获取第i个SAR图像X_i的最终特征Fⁱ：

式(3)中，ω₁、ω₂、ω₃分别为三层级最优化融合的权重；

步骤4：将最终特征Fⁱ输入全连接层进行降维，并将全连接层的输出结果输入softmax分类器中，得到第i个SAR图像样本X_i对应每个类别的后验概率，选取其中最大的后验概率对应的类别作为第i个SAR图像样本X_i的预测类别；

将第i个SAR图像样本X_i的预测类别与真实类别进行对比，通过反向传播对多核尺度卷积神经网络进行优化，从而完成多核尺度卷积神经网络的训练过程；

步骤5：将待分类的SAR图像输入到训练好的多核尺度卷积神经网络中，从而得到分类结果。

Images