CN109934282A - 一种基于sagan样本扩充和辅助信息的sar目标分类方法 - Google Patents

Abstract

本发明属于合成孔径雷达小样本目标识别领域，具体涉及一种基于SAGAN样本扩充和辅助信息的SAR目标分类方法。本研究根据SAR的数据样本图像的特性，对Inception结构进行优化和改进，并添加适当的正则化条件，联合上述的GAN小样本生成和GAN小样本超分辨率的成果，对SAR小样本目标进行精确的识别。本发明提出了一种更适用于SAR遥感图像的网络，使得其能够学习不同种类目标区域的特征，从而生成新的较为逼真的目标区域图像，解决了SAR小样本的数据量少的问题。解决了针对合成孔径雷达SAR遥感图像中的目标区域，一种基于自注意力生成对抗网络样本扩充和辅助信息的SAR目标分类方法，本发明主要涉及生成式对抗网络来扩充SAR新样本数据，并基于Restnet50结构网络用以SAR小样本目标识别。

Description

一种基于SAGAN样本扩充和辅助信息的SAR目标分类方法

技术领域

本发明属于合成孔径雷达小样本目标识别领域，具体涉及一种基于SAGAN样本扩充和辅助信息的SAR目标分类方法。

背景技术

合成孔径雷达，即SAR，是一种主动式微波成像传感器，通过发射宽带信号，结合合成孔径技术，SAR能在距离向和方位向上同时获得二维高分辨率图像。与传统光学遥感和高光谱遥感相比，SAR具备全天候、全天时的成像能力，还有一定的穿透性，获得的图像能够反映目标微波散射特性，是人类获取地物信息的一种重要技术手段。SAR已被广泛应用于军事和民生领域，是实现空间军事侦察、自然资源普查、自然灾害监测等的重要技术手段。

随着深度学习中生成对抗网络，即GAN，的出现，并且GAN已经在很多图像处理领域取得了巨大的成效，例如图像超分辨率和生成指定数据分布的新样本。为此，本项目拟使用深度学习来解决SAR图像的小样本识别问题，并在此基础上利用GAN生成对抗网络模型来同时解决SAR小样本识别中图像分辨率低和图像数量少的问题。本项目将设计两个GAN生成对抗网络模型用于分别用于提升SAR小样本识别中图像的分辨率和补充SAR图像小样本的样本数量，以及一个针对SAR图像特点的深度神经网络进行目标识别，在提高样本质量和样本数量的同时，提高SAR小样本识别的准确度。

GAN拥有一个非常吸引人的性质。GAN中的G作为生成模型，不需要像传统图模型一样，需要一个严格的生成数据的表达式。这就避免了当数据非常复杂的时候，复杂度过度增长导致的不可计算。它只需要一个噪声输入，一堆无标准的真实数据，两个可以逼近任意函数的网络。就可以生成指定真实的数据分布。但是GAN的训练存在很多难点，如自由度过高，容易产生有畸变的样本；生成器和识别器交替训练不稳定难以收敛等问题。除GAN本身的难点之外，SAR小样本也因为自身特点，存在特征模糊等难点。因此将结合SAR图像的特点，例如相干斑噪声，目标的散射等。得到克服GAN难以训练的方法，用GAN训练一个可以生成逼近真实SAR目标样本的深度神经网络生成器。用来弥补SAR小样本识别中存在的样本数量少的问题。降低分类器训练的难度。

传统的卷积方法由于提取图像的特征的尺度和维度有限，在SAR小样本图像特征不明显，目标易混淆的特点下，难以取得较好的分类效果。与传统的卷积分类网络相比。Inception结构不仅能够大大减少神经网络的计算量，还能够有效提取各个不同尺度的特征向量。基于SAR小样本目标图像的散射特性，以及轮廓不清晰，特征模糊等特点，使用Inception结构能够提取到SAR小样本图像不同尺度下的高维特征向量。因此能够提供给分类器更多的判别特征，提高识别的准确率。本研究将根据SAR的数据样本图像的特性，对Inception结构进行优化和改进，并添加适当的正则化条件，联合上述的GAN小样本生成和GAN小样本超分辨率的成果，对SAR小样本目标进行精确的识别。

发明内容

本发明主要解决了针对SAR遥感图像中的目标区域，基于生成对抗网络，提出了一种更适用于SAR遥感图像的网络，使得能够学习不同种类目标区域的特征，从而生成新的较为逼真的目标区域图像，解决了SAR小样本的数据量少的问题。

一种基于SAGAN样本扩充和辅助信息的SAR目标分类方法，该方法包括以下步骤：

步骤1：将noise(z)的噪声z输入至带有自注意力机制的样本生成器网络中，得到模仿真实样本产生的数据图像；

步骤2：将生成器网络中生成的仿真样本和真实数据样本输入至样本识别器网络；

步骤3：根据识别器的识别结果，得到两个损失函数，通过反向传播改善生成器和识别器的网络结构；

步骤4：重复步骤1到步骤3，构成生成式对抗网络，并直到达到识别器和生成器的纳什均衡；

步骤5：再利用生成器网络生成大量仿真样本，利用仿真样本对现有数据库进行扩充；

步骤6：利用现有数据库，训练基于Resnet的SAR目标识别网络A；

步骤7：保留A网络的模型和参数，利用SAR目标样本中的辅助信息，形成新的分类网络B；

步骤8：将所有带有辅助信息真实样本对网络B进行再训练，直到网络达到最优；

步骤9：最后将需要识别的SAR样本输入训练完成的分类网络B进行SAR目标的识别。

步骤1所述的将noise(z)的噪声z输入至带有自注意力机制的样本生成器网络中，依次经过四个尺度不同的相似模块，第一模块L1，第二模块L2，第三模块L3以及第四模块L4进行处理，每个模块中依次包含反卷积层，光谱标准化，ReLU激活，三个数据处理层，当经过第三模块L3以及第四模块L4后各进入一个尺度不同的自注意力机制层，之后在经过一个反卷积层、Tanh激活层之后，输出生成对抗图片。所述的反卷积层是将初始输入的小数据，即噪声，经过卷积后，尺寸变大，包括：将卷积核反转，再将卷积结果作为输入，做补0扩充操作；在扩充后的输入基础上再对整体补0；将补0后的卷积结果作为真正的输入，反转后的卷积核为filter，进行步长为1的卷积操作；

在反卷积输出层之后使用了光谱标准化，通过给网络中每一层的光谱标准值增加限制的做法，控制鉴别器函数的Lipschitz常数、标准化权重矩，以稳定网络的训练过程；

在光谱标准化之后使用ReLU进行激活，ReLU的激活公式如下：

并在该网络的L3和L4结构之后，加入了自注意力模块，步骤为将前一层卷积层的输出特征先通过简单的1×1卷积转换成两个特征空间f,g用于计算注意力，在把f转置之后和g进行矩阵乘法运算，再逐行进行softmax得到注意力图，计算方法如式所示：

其中，β_i,j表示第i个位置是否应该与第j个位置形成关联；

自注意力模块最终输出是：

其中，h(x_i)＝W_hx_i,W_h为卷积核，x_i为输入，h(x_i)相当于一个卷积层输出；

最终将attention层的输出加上一个缩放因子后与最开始的卷积层相加，作为最终输出，即：

y_i＝γo_i+x_i

其中，γ被初始化为0，在之后逐渐学习变大；

最后经过一层反卷积和Tanh激活得到仿真的SAR样本，Tanh公式如下：

步骤2所述的将生成器网络中生成的仿真样本和真实数据样本输入至样本识别器网络，识别器将真实图片和生成图片作为输入，依次经过四个尺度不同的相似模块L1,L2,L3,L4进行处理，每个模块中依次包含卷积，光谱标准化，ReLU激活，三个数据处理层，当经过L3、L4后各进入一个尺度不同的自注意力机制层，之后在经过一个卷积层、Tanh激活层之后输出图片标签。

步骤3所述的两个损失函数表示为下式：

其中，G是生成器，D是识别器，L_D是识别器的损失函数，L_G是生成器的损失函数，p_data表示真实样本分布，p_Z表示生成样本分布，表示总体样本期望值，将上述损失函数利用反向传播的方法，优化对应的网络。

步骤4所述的纳什均衡表示为下式：

其中，J为参数更新的差值，D(x)表示x是实际图像而不是生成图像的概率，G(z)是输入噪声z的生成图像，在这个过程中，有两个网络G和D，同时训练。

步骤6所述的基于Resnet的SAR目标识别网络A中包括第一Resnet结构Resnet-1、第二Resnet结构Resnet-2、第三Resnet结构Resnet-3和第四Resnet结构Resnet-4四种Resnet结构，四个Resnet结构进行的是三层间的残差学习，三层卷积核分别是1×1，3×3和1×1。

步骤7所述的新的分类网络B包括：A网络图片输入后，经过一层卷积、一层池化层之后经过16个基于Resnet网络子结构，最后通过ReLU激活、池化层、全连接层；将辅助的信息作为输入，通过2个全连接层拼接到A网络的全连接层中，最后通过Dropout输出，形成新的分类网络B。

本发明的有益效果在于：

本发明主要解决了针对SAR遥感图像中的目标区域，基于生成对抗网络，提出了一种更适用于SAR遥感图像的网络，使得能够学习不同种类目标区域的特征，从而生成新的较为逼真的目标区域图像，解决了SAR小样本的数据量少的问题。本发明主要解决了针对合成孔径雷达SAR遥感图像中的目标区域，一种基于自注意力生成对抗网络样本扩充和辅助信息的SAR目标分类方法，本发明主要涉及生成式对抗网络来扩充SAR新样本数据，并基于Restnet50结构网络用以SAR小样本目标识别。

附图说明

图1为整体技术路线图。

图2为新样本生成器网络结构图。

图3为反卷积示意图。

图4为self-attention模块图。

图5为新样本生成识别器网络结构图。

图6为A网络结构。

图7(a)为Resnet-1结构图。

图7(b)为Resnet-2结构图。

图7(c)为Resnet-3结构图。

图7(d)为Resnet-4结构图。

图8为B网络结构图。

图9为基于SAGAN样本扩充和辅助信息的SAR目标分类方法流程图。

具体实施方式

下面结合附图对本发明做进一步描述。

一种基于SAGAN样本扩充和辅助信息的SAR目标分类方法，包括如下步骤：

1.将noise(z)的噪声z输入至带有自注意力机制的样本生成器网络中，得到模仿真实样本产生的数据图像。依次经过四个尺度不同的相似模块L1,L2,L3,L4进行处理，每个模块中依次包含卷积，光谱标准化，ReLU激活，三个数据处理层，当经过L3、L4后各进入一个尺度不同的自注意力机制层，之后在经过一个卷积层、Tanh激活层之后输出图片标签。

反卷积是将初始输入的小数据(噪声)经过卷积后，尺寸变大。

首先是将卷积核反转。再将卷积结果作为输入，做补0扩充操作。在扩充后的输入基础上再对整体补0。将补0后的卷积结果作为真正的输入，反转后的卷积核为filter，进行步长为1的卷积操作。

在反卷积输出层之后使用了光谱标准化，通过给网络中每一层的光谱标准值增加实实在在的限制的做法，控制鉴别器函数的Lipschitz常数、标准化权重矩，以稳定网络的训练过程。

在光谱标准化之后使用ReLU进行激活。ReLU的激活公式如下：

并在该网络的L3和L4结构之后，加入了自注意力模块。该模块将前一层卷积层的输出特征先通过简单的1×1卷积转换成两个特征空间f,g用于计算注意力。在把f转置之后和g进行矩阵乘法运算，再逐行进行softmax得到注意力图，计算方法如式所示：

其中β_i,j表示第i个位置是否应该与第j个位置形成关联。

自注意力模块最终输出是：

其中：

其中h(x_i)＝W_hx_i,W_h为卷积核，x_i为输入。h(x_i)相当于一个卷积层输出。

最终将attention层的输出加上一个缩放因子后与最开始的卷积层相加，作为最终输出，即：

y_i＝γo_i+x_i

其中γ被初始化为0，在之后逐渐学习变大，这样有利于模型的稳定。

自注意力可以更好地平衡模型的长相关性和计算与统计效率。通过self-attention，生成器可以绘制图像，所绘制图像中每个位置的精细细节都与图像远端的精细细节充分协调，鉴别器可对全局图像结构执行复杂的几何约束。该机制可以实现远距离区域之间的相互关联。

最后经过一层反卷积和Tanh激活得到仿真的SAR样本。Tanh公式如下：

2.将生成器网络中生成的仿真样本和真实数据样本输入至样本识别器网络，识别器D的作用是尽量可能的区分生成的数据分布与真实的数据分布。并提供对抗损失给生成器进行进一步的优化训练。依次经过四个尺度不同的相似模块L1,L2,L3,L4进行处理，每个模块中依次包含卷积，光谱标准化，ReLU激活，三个数据处理层，当经过L3、L4后各进入一个尺度不同的自注意力机制层，之后在经过一个卷积层、Tanh激活层之后输出图片标签。

最后用一个一维的卷积层卷积之后，对其所有值求平均之后输出识别结果。

3.根据识别器的识别结果，得到两个损失函数，如下式：

其中G是生成器，D是识别器，L_D是识别器的损失函数，L_G是生成器的损失函数，p_data表示真实样本分布，p_Z表示生成样本分布。表示总体样本期望值。将上述损失函数利用反向传播的方法，优化对应的网络。

4.生成器和识别器交替上述1、2、3步骤，构成生成式对抗网络，并直到达到识别器和生成器的纳什均衡。其数学描述如式：

其中P_noise(z)为样本噪声分布，J为参数更新的差值，D(x)表示x是实际图像而不是生成图像的概率，G(z)是输入噪声z的生成图像。在这个过程中，有两个网络，G和D，同时训练。

为了解决极小极大问题，在小批量随机梯度优化的每次迭代中，在D上执行梯度上升步骤，然后在G上执行梯度下降步骤。优化步骤如下：

其中ωN代表神经网络N。

5.再利用生成器网络生成大量仿真样本，利用仿真样本对现有数据库进行扩充。在训练过程中通过大量的仿真样本扩充，能极大的提高分类器的识别率。

6.利用现有数据库，训练基于Resnet的SAR目标识别网络A。A网络概述为：图片输入后，经过一层卷积、一层池化层之后经过16个基于Resnet网络子结构，最后通过ReLU激活、池化层、全连接层和softmax层之后输出。

该网络中包括Resnet-1、Resnet-2、Resnet-3和Resnet-4四种Resnet结构，我们最终采用Resnet50版本作为分类所使用的网络。其中包括Resnet-1、Resnet-2、Resnet-3和Resnet-4四种Resnet结构，形成50层卷积层。其中Resnet-1-A包括三层间的残差学习，三层卷积核分别是1×1(深度64)，3×3(深度64)和1×1(深度256)，通过一二层后进入BN层和ReLU激活层，第三层卷积过后进入BN层，与原始图像深度加深处理后的图像进行相加，之后输出。Resnet-1-B包括三层间的残差学习，三层卷积核分别是1×1(深度64)，3×3(深度64)和1×1(深度256)，通过一二层后进入BN层和ReLU激活层，第三层卷积过后进入BN层，与原始图像直接进行相加，之后输出。Resnet-2、Resnet-3、Resnet-4与Resnet-1结构相似，卷积核深度分别为：(128,128,512,512)、(256,256,1024,1024)和(512,512,2048,2048)。

7.保留A网络的模型和参数，利用SAR目标样本中的辅助信息。A网络图片输入后，经过一层卷积和一层池化层之后经过16个基于Resnet网络子结构，最后通过ReLU激活、池化层和全连接层。然后将辅助的信息作为输入，通过2个全连接层拼接到A网络的全连接层中，最后通过Dropout输出，形成新的分类网络B。

8.将所有带有辅助信息真实样本对网络B进行再训练，直到网络达到最优。

9.最后将需要识别的SAR样本输入训练完成的分类网络B进行SAR目标的识别。

本发明拟使用深度学习来解决SAR图像的小样本识别问题，并在此基础上利用GAN生成对抗网络模型来同时解决SAR小样本识别中图像数量少的问题。本项目将设计一个GAN生成对抗网络模型用于提高SAR图像小样本的样本数量，以及一个针对SAR图像特点的深度神经网络进行目标识别，在提高样本数量的同时，提高SAR小样本识别的准确度。

Claims (8)

1.一种基于SAGAN样本扩充和辅助信息的SAR目标分类方法，其特征在于，该方法包括以下步骤：

步骤1：将noise(z)的噪声z输入至带有自注意力机制的样本生成器网络中，得到模仿真实样本产生的数据图像；

步骤2：将生成器网络中生成的仿真样本和真实数据样本输入至样本识别器网络；

步骤3：根据识别器的识别结果，得到两个损失函数，通过反向传播改善生成器和识别器的网络结构；

步骤4：重复步骤1到步骤3，构成生成式对抗网络，并直到达到识别器和生成器的纳什均衡；

步骤5：再利用生成器网络生成大量仿真样本，利用仿真样本对现有数据库进行扩充；

步骤6：利用现有数据库，训练基于Resnet的SAR目标识别网络A；

步骤7：保留A网络的模型和参数，利用SAR目标样本中的辅助信息，形成新的分类网络B；

步骤8：将所有带有辅助信息真实样本对网络B进行再训练，直到网络达到最优；

步骤9：最后将需要识别的SAR样本输入训练完成的分类网络B进行SAR目标的识别。

2.根据权利要求1所述的一种基于SAGAN样本扩充和辅助信息的SAR目标分类方法，其特征在于：步骤1所述的将noise(z)的噪声z输入至带有自注意力机制的样本生成器网络中，依次经过四个尺度不同的模块，第一模块L1，第二模块L2，第三模块L3以及第四模块L4进行处理，每个模块中依次包含反卷积层，光谱标准化，ReLU激活，三个数据处理层，当经过第三模块L3以及第四模块L4后各进入一个尺度不同的自注意力机制层，之后在经过一个反卷积层、Tanh激活层之后，输出生成对抗图片。

3.根据权利要求2所述的一种基于SAGAN样本扩充和辅助信息的SAR目标分类方法，其特征在于：所述的反卷积层是将初始输入的小数据，即噪声，经过卷积后，尺寸变大，包括：将卷积核反转，再将卷积结果作为输入，做补0扩充操作；在扩充后的输入基础上再对整体补0；将补0后的卷积结果作为真正的输入，反转后的卷积核为filter，进行步长为1的卷积操作；

在反卷积输出层之后使用了光谱标准化，通过给网络中每一层的光谱标准值增加限制的做法，控制鉴别器函数的Lipschitz常数、标准化权重矩，以稳定网络的训练过程；

在光谱标准化之后使用ReLU进行激活，ReLU的激活公式表示为：

并在该网络的L3和L4结构之后，加入了自注意力模块，步骤为将前一层卷积层的输出特征先通过简单的1×1卷积转换成两个特征空间f,g用于计算注意力，在把f转置之后和g进行矩阵乘法运算，再逐行进行softmax得到注意力图，计算方法表示为下式：

其中，β_i,j表示第i个位置是否与第j个位置形成关联；

自注意力模块最终输出是：

其中，h(x_i)＝W_hx_i,W_h为卷积核，x_i为输入，h(x_i)为卷积层输出；

最终将attention层的输出加上一个缩放因子后与最开始的卷积层相加，作为最终输出，即：

y_i＝γo_i+x_i

其中，γ被初始化为0，在之后逐渐学习变大；

最后经过一层反卷积和Tanh激活得到仿真的SAR样本，Tanh公式表示为下式：

4.根据权利要求1所述的一种基于SAGAN样本扩充和辅助信息的SAR目标分类方法，其特征在于，步骤2所述的将生成器网络中生成的仿真样本和真实数据样本输入至样本识别器网络，识别器将真实图片和生成图片作为输入，依次经过四个尺度不同的模块进行处理，每个模块中依次包含卷积，光谱标准化，ReLU激活，三个数据处理层，当经过后两个模块后各进入一个尺度不同的自注意力机制层，之后在经过一个卷积层、Tanh激活层之后输出图片标签。

5.根据权利要求4所述的一种基于SAGAN样本扩充和辅助信息的SAR目标分类方法，其特征在于，步骤3所述的两个损失函数表示为下式：

其中，G是生成器，D是识别器，L_D是识别器的损失函数，L_G是生成器的损失函数，p_data表示真实样本分布，p_Z表示生成样本分布，表示总体样本期望值，将上述损失函数利用反向传播的方法，优化对应的网络。

6.根据权利要求5所述的一种基于SAGAN样本扩充和辅助信息的SAR目标分类方法，其特征在于：步骤4所述的纳什均衡表示为下式：

其中，J为参数更新的差值，D(x)表示x是实际图像而不是生成图像的概率，G(z)是输入噪声z的生成图像，在这个过程中，有两个网络G和D，同时训练。

7.根据权利要求6所述的一种基于SAGAN样本扩充和辅助信息的SAR目标分类方法，其特征在于，步骤6所述的基于Resnet的SAR目标识别网络A中包括第一Resnet结构Resnet-1、第二Resnet结构Resnet-2、第三Resnet结构Resnet-3和第四Resnet结构Resnet-4四种Resnet结构，四个Resnet结构进行的是三层间的残差学习，三层卷积核分别是1×1，3×3和1×1。

8.根据权利要求7所述的一种基于SAGAN样本扩充和辅助信息的SAR目标分类方法，其特征在于，步骤7所述的新的分类网络B包括：A网络图片输入后，经过一层卷积、一层池化层之后经过16个基于Resnet网络子结构，最后通过ReLU激活、池化层、全连接层；将辅助的信息作为输入，通过2个全连接层拼接到A网络的全连接层中，最后通过Dropout输出，形成新的分类网络B。