CN113537031B - 基于多鉴别器条件生成对抗网络的雷达图像目标识别方法 - Google Patents

Abstract

本发明公开了一种基于多鉴别器条件生成对抗网络的雷达图像目标识别方法，包括以下步骤：S1、将随机噪声和带有标签的图像数据样本输入条件对抗生成网络的生成器中生成伪图像；S2、将伪图像与带有标签的真实图像数据样本一起分别输入到两个鉴别器中进行训练；S3、将未打标签的图像数据样本输入到训练好的两个鉴别器中，获得带有预测标签的图像数据样本；S4、将最初带标签的真实图像数据样本和鉴别器分配了预测标签的图像数据样本结合，作为网络的训练数据集，在半监督学习的基础上训练CNN并实现雷达图像目标识别。本发明具有更精确的图像生成能力，并且可以提高的识别精度。同时，该方法可以有效地提高带有少量标记样本的网络的识别精度和鲁棒性。

Description

基于多鉴别器条件生成对抗网络的雷达图像目标识别方法

技术领域

本发明属于图像识别技术领域，特别涉及一种基于多鉴别器条件生成对抗网络的雷达图像目标识别方法。

背景技术

在遥感图像处理中，成像雷达微波遥感探测的主要信息是目标与微波波段电磁波相互作用后反射的微波信息。因此，雷达图像包含目标物体的形状和散射信息，可以很好的表示目标特征信息。因此，基于雷达图像的目标识别技术在军事和民用领域的应用具有重要的意义。

深度卷积神经网络(Convolutional Neural Network,CNN)因其强大的高级特征学习能力，在雷达图像目标识别领域中取得了一定进展。但是，此类方法需要大量的标记数据集来训练模型，而大多数雷达图像数据集是未标记或稀疏标记的，这会造成训练深层网络时的过度拟合。文献“Chen,Sizhe,et al."Target classification using the deepconvolutional networks for SAR images."IEEE Transactions on Geoscience andRemote Sensing 54.8(2016):4806-4817.”中提出了一种全卷积网络，将所有全连接层替换为卷积层。该方法通过减少模型参数来减少过度拟合。但是，它的识别性能随着减少标记的训练样本而显著降低。由于手动标记雷达图像数据集耗时耗力，提升在标签有限训练集中训练CNN的性能至关重要。

迁移学习可以通过使用从大量数据集中学习到的参数来初始化模型，然后用目标任务的少量带标签样本对初始化的模型进行微调，从而克服标签受限的难题。文献“Huang,Zhongling,Zongxu Pan,and Bin Lei."Transfer learning with deep convolutionalneural network for SAR target classification with limited labeled data."Remote Sensing 9.9(2017):907.”预训练了无监督的生成网络Auto-Encoder来学习大量未标记的雷达图像的特征。随后，添加了一个分类层对整个网络进行微调。该方法增强了在小标签样本训练集下CNN的识别性能。但是，此类方法仅利用目标域中的标记训练样本，而忽略了目标域中未标记样本的信息。因此，出现了基于半监督学习的目标识别研究。半监督学习旨在通过学习标记数据样本的特征，从而预测大量未标记的数据样本，以建立更好的分类器。

发明内容

本发明的目的在于克服现有技术的不足，提供一种具有更精确的图像生成能力，并且可以提高的识别精度，同时可以有效地提高带有少量标记样本的网络的识别精度和鲁棒性的基于多鉴别器条件生成对抗网络的雷达图像目标识别方法。

本发明的目的是通过以下技术方案来实现的：基于多鉴别器条件生成对抗网络的雷达图像目标识别方法，包括以下步骤：

S1、将随机噪声和带有标签的图像数据样本输入条件对抗生成网络的生成器中生成伪图像；

S2、将伪图像与带有标签的真实图像数据样本一起分别输入到两个鉴别器中进行训练，第一个鉴别器用于预测输入图像所属标签，第二个鉴别器用于判断输入图片为真实图像或伪图像；

S3、将未打标签的图像数据样本输入到训练好的两个鉴别器中，鉴别器将类别标签分配给这些图像数据样本，获得带有预测标签的图像数据样本；

S4、将最初带标签的真实图像数据样本和鉴别器分配了预测标签的图像数据样本结合，作为网络的训练数据集，在半监督学习的基础上训练CNN并实现雷达图像目标识别。

进一步地，所述步骤S2具体实现方法为：

第一个鉴别器的损失函数设置为交叉熵函数，由下式表示

其中，N表示目标标签类别总数，x表示真实的标签，L为鉴别器判断各类别的概率向量，y_i表示预测的标签；

多鉴别器条件生成对抗网络的损失函数表示为：

其中，G表示生成器，D表示鉴别器，V(G,D)为目标函数，

表示数学期望计算，n为输入的随机噪声，P_n(n)为随机噪声的分布，P_data(r)为输入样本数据的分布，r为输入的带标签的数据样本，z为输出的生成样本，G(n|r)表示在带标签数据样本条件下，给定随机噪声r时生成器的输出，D(G(n|r))表示鉴别器在带标签数据样本条件下判断伪数据为真实数据的概率估计，D(z|r)表示鉴别器在带标签数据样本条件下判断真实数据为真实数据的概率估计；

进一步地，所述步骤S3具体实现方法为：将未打标签的图像数据样本输入到训练好的鉴别器中，两个鉴别器将输出N维的对数向量

l＝[l₁,l₂,...,l_N]

随后，通过最后一层Softmax层转换为N维的类别标签概率向量：

p＝[p₁,p₂,...,p_N]

其中，l为多鉴别器输出的对数向量，p为多鉴别器输出的类别标签概率向量，N为目标标签类别总数；Softmax层的处理方程表示为

采用阈值来选择正样本，将对应于大于阈值的概率的类别标签分配给输入的未标记样本，该阈值设置为P_th≥0.8；

若输入多鉴别器的图像最终输出的类别概率向量p中的N个元素均小于0.8，则判定该图像为伪图像并舍弃；若类别概率向量p中有大于0.8的元素，则取这些元素中最大值对应的类别，将该标签分配给输入的图像。

本发明的有益效果是：与其他基于半监督学习的方法相比，本发明提出的方法具有更精确的图像生成能力，并且可以提高的识别精度。同时，该方法可以有效地提高带有少量标记样本的网络的识别精度和鲁棒性。

附图说明

图1为本发明的雷达图像目标识别方法的流程图；

图2为本实施例带有标签的图像数据样本；

图3为本实施例生成的伪图像。

具体实施方式

本发明利用条件生成器生成的伪图像和真实带标签的图像来训练两个鉴别器。一共包括以下三个阶段：训练生成器和鉴别器、预测标签、训练和测试。

下面结合附图进一步说明本发明的技术方案。

如图1所示，本发明的一种基于多鉴别器条件生成对抗网络的雷达图像目标识别方法，包括以下步骤：

S1、将随机噪声和带有标签的图像数据样本输入条件对抗生成网络(ConditionalGenerative Adversarial Network,CGAN)的生成器中生成伪图像。

条件生成器的损失函数可以视为一个极大极小问题，由下式表示

其中，G表示生成器，D表示鉴别器，V(G,D)为目标函数，

表示数学期望计算，n为输入的随机噪声，P_n(n)为随机噪声的分布，P_data(r)为输入样本数据的分布，r为输入的带标签的数据样本，z为输出的生成样本，G(n|r)表示在带标签数据样本条件下，给定随机噪声r时生成器的输出，D(G(n|r))表示鉴别器在带标签数据样本条件下判断伪数据为真实数据的概率估计，D(z|r)表示鉴别器在带标签数据样本条件下判断真实数据为真实数据的概率估计。

类别标签和随机噪声信号可以组合作为隐空间表示。其中，图像数据样本的标签为该生成器的条件，目的是有条件地监督生成器生成的图像数据，使生成器生成结果的方式不是完全自由无监督的。该条件生成器使用数字的类别r作为类别标签，并进行了one-hot编码，r中的真实类比标签为“1”，其余元素均为“0”，随机噪声n来自均均匀分布。随机噪声n和类别标签r均映射到隐层后，进行拼接作为下一层全连接层的输入，激活函数使用ReLU。两个全连接层后为两层反卷积层，反卷积层可以看作卷积层的逆过程，它们拥有相同的卷积核和池化索引。当输入为图片时，反卷积将特征值逆映射回了输入图片的像素空间，借此说明输入中的哪些像素参与激活了该特征值。条件生成器网络的最后一层使用Sigmoid函数，得到最终的生成图像样本。本发明的生成器与鉴别其的网络参数设置如表1所示。

表1

本实施例的带有标签的图像数据样本如图2所示，生成的伪图像如图3所示。

S2、将伪图像与带有标签的真实图像数据样本一起分别输入到两个鉴别器中进行训练，第一个鉴别器用于预测输入图像所属标签，第二个鉴别器用于判断输入图片为真实图像或伪图像；具体实现方法为：

第一个鉴别器的损失函数设置为交叉熵函数，由下式表示

其中，N表示目标标签类别总数，x表示真实标签的one-hot向量，L为鉴别器判断各类别的概率向量，y_i表示预测的标签；

根据公式(1)和(2)，得到多鉴别器条件生成对抗网络的损失函数表示为：

利用损失函数优化条件对抗生成网络的生成器和鉴别器的参数，直至损失函数收敛。

S3、将未打标签的图像数据样本输入到训练好的两个鉴别器中，鉴别器将类别标签分配给这些图像数据样本，获得带有预测标签的图像数据样本；具体实现方法为：将未打标签的图像数据样本输入到训练好的鉴别器中，两个鉴别器将输出N维的对数向量

l＝[l₁,l₂,...,l_N]

随后，通过最后一层Softmax层转换为N维的类别标签概率向量：

p＝[p₁,p₂,...,p_N]

其中，l为多鉴别器输出的对数向量，每一个元素代表相对应类别输出的对数向量，p为多鉴别器输出的类别标签概率向量，每一个元素代表相对应类别输出的概率向量，N为目标标签类别总数；Softmax层的处理方程表示为

由于Softmax层的输出概率可能非常接近，所以采用阈值来选择正样本，将对应于大于阈值的概率的类别标签分配给输入的未标记样本，该阈值设置为P_th≥0.8；

若输入多鉴别器的图像最终输出的类别概率向量p中的N个元素均小于0.8，则判定该图像为伪图像并舍弃；若类别概率向量p中有大于0.8的元素，则取这些元素中最大值对应的类别，将该标签分配给输入的图像。

多鉴别器通过这样的方式将类别标签分配给未打标签的图像数据样本，以获得带有预测标签的图像数据样本。

S4、将最初带标签的真实图像数据样本和鉴别器分配了预测标签的图像数据样本结合，作为网络的训练数据集，在半监督学习的基础上训练CNN并实现雷达图像目标识别。采用本实施例的图像作为测试数据，输入生成的模型，得到本发明的识别方法与其他识别方法的识别准确率对比如表2所示。

表2

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (2)

1.基于多鉴别器条件生成对抗网络的雷达图像目标识别方法，其特征在于，包括以下步骤：

S1、将随机噪声和带有标签的图像数据样本输入条件对抗生成网络的生成器中生成伪图像；

S2、将伪图像与带有标签的真实图像数据样本一起分别输入到两个鉴别器中进行训练，第一个鉴别器用于预测输入图像所属标签，第二个鉴别器用于判断输入图片为真实图像或伪图像；具体实现方法为：

第一个鉴别器的损失函数设置为交叉熵函数，由下式表示

其中，N表示目标标签类别总数，x表示真实的标签，L为鉴别器判断各类别的概率向量，y_i表示预测的标签；

多鉴别器条件生成对抗网络的损失函数表示为：

其中，G表示生成器，D表示鉴别器，V(G,D)为目标函数，

表示数学期望计算，n为输入的随机噪声，P_n(n)为随机噪声的分布，P_data(r)为输入样本数据的分布，r为输入的带标签的数据样本，z为输出的生成样本，G(n|r)表示在带标签数据样本条件下，给定随机噪声r时生成器的输出，D(G(n|r))表示鉴别器在带标签数据样本条件下判断伪数据为真实数据的概率估计，D(z|r)表示鉴别器在带标签数据样本条件下判断真实数据为真实数据的概率估计；

利用损失函数对条件对抗生成网络的生成器和鉴别器进行优化，直至损失函数收敛；

S3、将未打标签的图像数据样本输入到训练好的两个鉴别器中，鉴别器将类别标签分配给这些图像数据样本，获得带有预测标签的图像数据样本；

S4、将最初带标签的真实图像数据样本和鉴别器分配了预测标签的图像数据样本结合，作为网络的训练数据集，在半监督学习的基础上训练CNN并实现雷达图像目标识别。

2.根据权利要求1所述的基于多鉴别器条件生成对抗网络的雷达图像目标识别方法，其特征在于，所述步骤S3具体实现方法为：将未打标签的图像数据样本输入到训练好的鉴别器中，两个鉴别器将输出N维的对数向量

l＝[l₁,l₂,...,l_N]

随后，通过最后一层Softmax层转换为N维的类别标签概率向量：

p＝[p₁,p₂,...,p_N]

其中，l为多鉴别器输出的对数向量，p为多鉴别器输出的类别标签概率向量，N为目标标签类别总数；Softmax层的处理方程表示为

采用阈值来选择正样本，将对应于大于阈值的概率的类别标签分配给输入的未标记样本，该阈值设置为P_th≥0.8；

若输入多鉴别器的图像最终输出的类别概率向量p中的N个元素均小于0.8，则判定该图像为伪图像并舍弃；若类别概率向量p中有大于0.8的元素，则取这些元素中最大值对应的类别，将该标签分配给输入的图像。

Images