CN111814875B - 基于样式生成对抗网络的红外图像中舰船样本扩充方法 - Google Patents

基于样式生成对抗网络的红外图像中舰船样本扩充方法 Download PDF

Info

Publication number
CN111814875B
CN111814875B CN202010650897.8A CN202010650897A CN111814875B CN 111814875 B CN111814875 B CN 111814875B CN 202010650897 A CN202010650897 A CN 202010650897A CN 111814875 B CN111814875 B CN 111814875B
Authority
CN
China
Prior art keywords
layer
convolution
network
setting
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010650897.8A
Other languages
English (en)
Other versions
CN111814875A (zh
Inventor
吴鑫
汪钰
邹俊锋
李俊儒
黄曦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202010650897.8A priority Critical patent/CN111814875B/zh
Publication of CN111814875A publication Critical patent/CN111814875A/zh
Application granted granted Critical
Publication of CN111814875B publication Critical patent/CN111814875B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于样式生成对抗网络的红外图像中舰船样本扩充方法。主要解决现有技术生成红外图像由于仿真建模复杂导致真实性较差，可见光‑红外图像光电转换训练样本获取难度大、训练集数量少导致扩充的红外图像缺乏多样性的问题，本发明的步骤如下：(1)选取实拍红外图像组成训练集；(2)构建生成器网络；(3)构建判别器网络；(4)构建样式生成对抗网络；(5)训练判别器网络；(6)训练生成器网络；(7)训练样式生成对抗网络；(8)使用训练好的生成器网络输出红外图像样本，完成红外图像样本扩充。本发明能够大量生成红外舰船样本，有效地提高了扩充样本的真实感和多样性。

Description

基于样式生成对抗网络的红外图像中舰船样本扩充方法
技术领域
本发明属于图像处理技术领域，进一步涉及深度学习领域中的一种基于样式生成对抗网络styleGAN(style-based Generative Adversarial Network)的红外图像中舰船样本扩充方法。本发明可对红外图像中舰船样本进行扩充，以便为红外目标检测与识别算法的训练提供丰富的数据集。
背景技术
红外成像技术由于其目标探测能力强、抗干扰能力强等特点，常用于目标的检测、识别和跟踪等方面。由于目标的红外特性复杂，随温度条件变化明显，实现红外目标的探测与识别比较困难，为了提高探测与识别红外目标的能力，一般需要大量红外图像对探测与识别算法进行训练学习。然而红外图像通常是通过热像仪对目标场景进行拍摄得到，因此获取一些特定目标红外图像的手段受限，从而导致了红外样本数量的严重不足。目前已有研究人员提出了基于红外仿真的样本扩充方法，通过对目标区域场景进行建模以及辐射计算生成红外仿真图像，然而由于建模所需目标信息可能受到限制，导致生成的红外图像真实感不高、数量有限。
北京机电工程研究所在其申请的专利文献“基于红外仿真的目标样本生成方法”(2018105060882，CN110162812A)中提出了一种基于红外仿真的目标样本生成方法。该方法对目标区域场景进行建模，完成目标场景的区域划分和材质赋值，生成目标区场景的材质图像，根据材质图像、目标区场景的模型以及目标区场景的数据构建出目标区场景的三维场景，然后设置目标区场景的外部环境条件，进行目标区场景的温度场、红外辐射以及大气透过率计算以生成目标区场景的零视距下的红外仿真场景，在目标区红外仿真场景的基础上，根据视距参数以及成像***参数生成红外仿真目标样本。该方法存在的不足之处是：需要对目标区域场景的外部环境进行辐射计算。辐射计算虽能解决红外仿真图像生成的问题，但在复杂的外部环境中，需考虑的因素繁多、建模过程较为复杂，导致仿真结果真实感较差，无法准确地获得所需目标场景的红外样本。
陈佛计等人在其发表的论文“基于生成对抗网络的红外图像数据增强”(计算机应用,2020:1-7)中提出了一种基于光电图像转换模型的可见光图像生成红外图像的样本扩充方法。该方法首先通过现有的可见光图像和红外图像数据构建成对的数据集，随后基于卷积神经网络构成生成对抗网络的生成器和判别器。随后使用成对的数据集来训练生成对抗网络，直到生成器和判别器之间达到均衡状态。最后，该方法使用训练完成的生成对抗网络的生成器来将可见光图像从可见光域变换到红外域，从而完成红外图像的样本扩充。该方法存在的不足之处是：需要采集成对的可见光图像和对应的红外图像作为数据集对生成对抗网络进行训练，成对的可见光-红外图像数据获取难度大，训练集数量较少，导致生成的红外图像样本缺乏多样性；且在扩充红外图像样本时，仍需收集大量额外的可见光图像作为输入进行光电转换，扩充方式较为复杂，且扩充的样本数量受限。
发明内容
本发明的目的在于针对上述现有技术的不足，提出了一种基于样式生成对抗网络的红外图像中舰船样本扩充方法，旨在解决扩充红外图像样本时仿真过程复杂，扩充的红外样本真实感较差，可见光到红外的光电转换方法训练集获取难度大，扩充红外样本缺乏多样性，扩充数量有限的问题。
本发明实现上述目的的思路是：构建以随机特征向量作为输入的样式生成对抗网络，使用实拍红外图像舰船样本作为训练集，通过判别器和生成器交替训练的方式，更新网络的参数。在更新到生成器网络的损失值小于20，判别器网络的损失值均值小于10的情况下，保存训练好的生成器网络各层的权重参数。最后，将随机生成的特征向量输入到训练好的生成器网络中进行计算，得到生成的红外图像，并将其添加到训练集中，完成对红外图像舰船样本的扩充。
本发明的具体步骤包括如下：
(1)获取训练集：
选取实拍至少2000张红外图像，每张图片均包含舰船目标；将每张图像的大小缩放裁剪为256×256，组成训练集；
(2)构建生成器网络：
(2a)搭建一个生成器网络，其结构依次为：常数矩阵层→第1噪声调制层→第1自适应样式调制层→第1反卷积层→第2噪声调制层→激活函数层→第2自适应样式调制层→样式卷积块组合→第2反卷积层→输出层；
所述自适应样式调制层结构依次为：特征向量输入层→归一化层→第1全连接层→第2全连接层→第3全连接层→第4全连接层→第5全连接层→第6全连接层→第7全连接层→第8全连接层→缩放平移变换层→输出层；
所述样式卷积块组合由6个相同结构的样式卷积块级联组成，每个样式卷积块的结构依次为：第1反卷积层→第1噪声调制层→第1激活函数层→第1自适应样式调制层→第2反卷积层→第2噪声调制层→第2激活函数层→第2自适应样式调制层；
所述归一化层采用实例归一化函数实现；所述激活函数层均采用LeakyReLU函数实现；
(2b)设置生成器网络的每层参数：
将第1反卷积层和第2反卷积层的每个卷积核大小均设置为3×3，卷积核的个数分别设置为512和3，卷积步长均设置为1，权重初始化为满足标准差为0.02正态分布的随机值；
将激活函数层的Leaky ReLU函数的斜率均设置为0.2；
将样式卷积块组合中的第1至第3样式卷积块的第1、第2反卷积层的每个卷积核大小均设置为3×3，卷积核的个数均设置为512，卷积步长均设置为1；将第4样式卷积块中第1、第2反卷积层的每个卷积核大小均设置为3×3，卷积核的个数均设置为256，卷积步长均设置为1；将第5样式卷积块中第1、第2反卷积层的每个卷积核大小均设置为3×3，卷积核的个数均设置为128，卷积步长均设置为1；将第6样式卷积块中第1、第2反卷积层的每个卷积核大小均设置为3×3，卷积核的个数均设置为64，卷积步长均设置为1；将第1至第6样式卷积块中每个反卷积层的每个卷积核的权重均初始化为满足标准差为0.02正态分布的随机值；将第1至第6样式卷积块中的激活函数层的每个Leaky ReLU函数的斜率均设置为0.2；
将自适应样式调制层中的第1至第8全连接层的神经元个数均设置为512，权重均初始化为满足标准差为0.02正态分布的随机值；
(3)构建判别器网络：
(3a)搭建一个判别器网络，其结构依次为：输入层→卷积层→激活函数层→卷积块组合→全连接层→输出层；
所述卷积块组合由6个相同结构的卷积块级联组成，每个卷积块的结构依次为：第1卷积层→第1激活函数层→第2卷积层→第1池化层→第2激活函数层；
所述激活函数层均采用Leaky ReLU函数实现，池化层采用全局平均池化实现；
(3b)设置判别器网络的每层参数：
将卷积层的卷积核大小均设置为3×3，卷积核的个数分别设置为512，卷积步长均设置为1，权重初始化为满足标准差为0.02正态分布的随机值；
将激活函数层的每个Leaky ReLU函数的斜率均设置为0.2；
将卷积块组合中第1、第2卷积块中的第1、第2卷积层的每个卷积核大小均设置为3×3，卷积核的个数均设置为512，卷积步长均设置为1；将第3卷积块中第1、第2卷积层的每个卷积核大小均设置为3×3，卷积核的个数均设置为256，卷积步长均设置为1；将第4卷积块中第1、第2卷积层的每个卷积核大小均设置为3×3，卷积核的个数均设置为128，卷积步长均设置为1；将第5卷积块中第1、第2卷积层的每个卷积核大小均设置为3×3，卷积核的个数均设置为64，卷积步长均设置为1；将第6卷积块中第1、第2卷积层的每个卷积核大小均设置为3×3，卷积核的个数均设置为32，卷积步长均设置为1；将第1至第6卷积块中每个卷积层的每个卷积核权重初始化为满足标准差为0.02正态分布的随机值；将第1至第6卷积块中的每个激活函数层的Leaky ReLU函数的斜率均设置为0.2；
将全连接层的神经元个数设置为1，权重初始化为满足标准差为0.02正态分布的随机值；
(4)构建样式生成对抗网络：
将生成器网络和判别器网络级联组成样式生成对抗网络；
(5)训练判别器网络：
固定生成器网络当前的权重参数，将随机生成的特征向量输入到生成器网络中，输出随机的红外图像，将生成的随机红外图像和训练集中的红外图像分别输入到判别器网络中，判别器网络对依次输入的红外图像评估后分别输出对应的评估分数，利用判别器网络的评估分数和判别器网络的损失函数计算判别器网络的损失值；
利用判别器网络的损失值和梯度下降法，计算判别器网络每个卷积层的每个卷积核的梯度、全连接层的梯度；
利用判别器网络每个卷积层的每个卷积核的梯度、全连接层的梯度，使用学习率为0.005的Adam优化器更新判别器网络每个卷积层和反卷积层的每个卷积核的权重、全连接层的权重；
(6)训练生成器网络：
固定判别器网络当前的权重参数，将随机生成的特征向量输入到生成器网络中，输出红外图像，将生成的随机红外图像输入到判别器网络中，判别器网络对输入的生成图像进行评估，输出评估分数，利用判别器的评估分数和生成器网络的损失函数计算生成器网络损失值；
利用生成器网络的损失值和梯度下降法，计算生成器网络每个反卷积层的每个卷积核的梯度、全连接层的梯度、调制噪声层的梯度、自适应样式调制层的梯度；
利用生成器网络每个反卷积层的每个卷积核的梯度、全连接层的梯度、调制噪声层的梯度、自适应样式调制层的梯度，使用学习率为0.005的Adam优化器迭代更新生成器网络每个反卷积层的每个卷积核的权重、全连接层的权重、调制噪声层的权重、自适应样式调制层的权重；
(7)训练样式生成对抗网络：
重复步骤(5)、(6)，对判别器网络和生成器网络进行交替训练，直到当前迭代获得的生成器网络的损失值小于20，且判决器网络的损失值均值小于10时，得到训练好的生成器网络权重，保存训练好的样式生成对抗网络中生成器网络的每个反卷积层的每个卷积核的权重、全连接层的权重、调制噪声层的权重、自适应样式调制层的权重；
(8)扩充红外图像样本：
将随机生成的特征向量输入到训练好的生成器网络中进行计算，输出包含舰船样本的红外图像，并将其添加到训练集中，完成对红外图像舰船样本的扩充。
本发明与现有技术相比，具有如下优点：
第一，由于本发明采用样式卷积块，将随机特征向量作为样式卷积块的输入对卷积层结果进行调制的方法，生成舰船目标姿态和海面起伏多样的红外图像舰船样本，克服了现有技术生成红外图像多样性差的问题，使得本发明在扩充红外图像舰船样本时，提高了红外图像舰船样本的多样性。
第二，由于本发明采用样式生成对抗网络，将实拍的红外图像舰船样本作为训练集，采用判别器和生成器交替训练的方式对网络进行训练，使得输出的红外图像舰船样本红外特性更加接近实拍图像，克服了现有技术仿真生成红外图像时真实感较差的问题，使得本发明在扩充红外图像样本时，提高了红外图像样本的真实感。
附图说明
图1为本发明的流程图；
图2为本发明生成器网络的结构示意图；
图3为本发明判别器网络的结构示意图；
图4为本发明样式生成对抗网络的结构示意图；
图5为本发明的仿真图。
具体实施方式
下面结合附图，对本发明进一步的详细描述。
参照附图1，对本发明的实现步骤作进一步的详细描述。
步骤1，获取训练集。
选取实拍至少2000张红外图像，每张图片均包含舰船目标；将每张图像的大小缩放裁剪为256×256，组成训练集。
步骤2，构建生成器网络。
构建一个生成器网络并设置该网络的每层参数，将其作为样式生成对抗网络的生成器网络。
参照附图2，对本发明所构建的样式生成对抗网络中的生成器网络结构作进一步的详细描述。
生成器网络的结构依次为：常数矩阵层→第1噪声调制层→第1自适应样式调制层→第1反卷积层→第2噪声调制层→激活函数层→第2自适应样式调制层→样式卷积块组合→第2反卷积层→输出层。
所述自适应样式调制层结构依次为：特征向量输入层→归一化层→全连接层→缩放平移变换层→输出层。
所述样式卷积块组合由6个相同结构的样式卷积块级联组成，每个样式卷积块的结构依次为：第1反卷积层→第1噪声调制层→第1激活函数层→第1自适应样式调制层→第2反卷积层→第2噪声调制层→第2激活函数层→第2自适应样式调制层。
所述归一化层采用实例归一化函数实现。所述激活函数层均采用LeakyReLU函数实现。
附图2中的省略号表示第2至第6个样式卷积块，共十个反卷积层，十个噪声调制层，十个激活函数层，十个缩放平移变换层。附图2中随机噪声表示噪声调制层的输入。附图2中单向箭头表示特征连接关系。
生成器网络的每层参数设置如下：
将第1反卷积层和第2反卷积层的每个卷积核大小均设置为3×3，卷积核的个数分别设置为512和3，卷积步长均设置为1，权重初始化为满足标准差为0.02正态分布的随机值。
将激活函数层的Leaky ReLU函数的斜率均设置为0.2。
将样式卷积块组合中的第1至第3样式卷积块的第1、第2反卷积层的每个卷积核大小均设置为3×3，卷积核的个数均设置为512，卷积步长均设置为1。将第4样式卷积块中第1、第2反卷积层的每个卷积核大小均设置为3×3，卷积核的个数均设置为256，卷积步长均设置为1。将第5样式卷积块中第1、第2反卷积层的每个卷积核大小均设置为3×3，卷积核的个数均设置为128，卷积步长均设置为1。将第6样式卷积块中第1、第2反卷积层的每个卷积核大小均设置为3×3，卷积核的个数均设置为64，卷积步长均设置为1。将第1至第6样式卷积块中每个反卷积层的每个卷积核的权重均初始化为满足标准差为0.02正态分布的随机值。将第1至第6样式卷积块中的激活函数层的每个Leaky ReLU函数的斜率均设置为0.2。
将自适应样式调制层中的全连接层权重初始化为满足标准差为0.02正态分布的随机值。
步骤3，构建判别器网络。
构建一个判别器网络并设置该网络的每层参数，将其作为样式生成对抗网络的判别器网络。
参照附图3，对本发明所构建的样式生成对抗网络中的判别器网络结构作进一步的详细描述。
判别器网络结构依次为：输入层→卷积层→激活函数层→卷积块组合→全连接层→输出层。
所述卷积块组合由6个相同结构的卷积块级联组成，每个卷积块的结构依次为：第1卷积层→第1激活函数层→第2卷积层→第1池化层→第2激活函数层。
所述激活函数层均采用Leaky ReLU函数实现，池化层采用全局平均池化实现。
附图3中的省略号表示第2至第6个卷积块，共十个卷积层，十个激活函数层，五个池化层，附图3中单向箭头表示特征连接关系。
判别器网络的每层参数设置如下：
将卷积层的卷积核大小均设置为3×3，卷积核的个数分别设置为512，卷积步长均设置为1，权重初始化为满足标准差为0.02正态分布的随机值。
将激活函数层的每个Leaky ReLU函数的斜率均设置为0.2。
将卷积块组合中第1、第2卷积块中的第1、第2卷积层的每个卷积核大小均设置为3×3，卷积核的个数均设置为512，卷积步长均设置为1。将第3卷积块中第1、第2卷积层的每个卷积核大小均设置为3×3，卷积核的个数均设置为256，卷积步长均设置为1。将第4卷积块中第1、第2卷积层的每个卷积核大小均设置为3×3，卷积核的个数均设置为128，卷积步长均设置为1。将第5卷积块中第1、第2卷积层的每个卷积核大小均设置为3×3，卷积核的个数均设置为64，卷积步长均设置为1。将第6卷积块中第1、第2卷积层的每个卷积核大小均设置为3×3，卷积核的个数均设置为32，卷积步长均设置为1。将第1至第6卷积块中每个卷积层的每个卷积核权重初始化为满足标准差为0.02正态分布的随机值。将第1至第6卷积块中的每个激活函数层的Leaky ReLU函数的斜率均设置为0.2。
将全连接层的权重初始化为满足标准差为0.02正态分布的随机值。
步骤4，构建样式生成对抗网络。
参照附图4，对本发明所构建的样式生成对抗网络的结构作进一步的详细描述。
样式生成对抗网络由生成器网络和判别器网络级联组成。
附图4中的生成器表示步骤2所述的生成器网络，附图4中的判别器表示步骤3所述的判别器网络，附图4中单向箭头表示特征连接关系。
步骤5，训练判别器网络。
固定生成器网络当前的权重参数，将随机生成的特征向量输入到生成器网络中，输出随机的红外图像，将生成的随机红外图像和训练集中的红外图像分别输入到判别器网络中，判别器网络对依次输入的红外图像评估后分别输出对应的评估分数，利用判别器网络的评估分数和判别器网络的损失函数计算判别器网络的损失值，所述判别器网络的损失函数计算公式如下：
其中，LD表示判别器网络的损失函数，E[·]表示求期望操作，D(·)表示样式生成对抗网络中的判别器网络的输出，G(·)表示样式生成对抗网络中的生成器网络的输出，z表示随机生成的特征向量，x表示取自训练集中的16张实拍红外图像，γ表示平方项系数，λ表示约束项系数，表示由生成器输出的16张红外图像和训练集中的16张实拍红外图像根据随机比例对应融合得到的约束项红外图像，||·||2表示2范数操作，▽表示求导操作。
利用判别器网络的损失值和梯度下降法，计算判别器网络每个卷积层的每个卷积核的梯度、全连接层的梯度。
利用判别器网络每个卷积层的每个卷积核的梯度、全连接层的梯度，使用学习率为0.005的Adam优化器更新判别器网络每个卷积层和反卷积层的每个卷积核的权重、全连接层的权重。
步骤6，训练生成器网络。
固定判别器网络当前的权重参数，将随机生成的特征向量输入到生成器网络中，输出红外图像，将生成的随机红外图像输入到判别器网络中，判别器网络对输入的生成图像进行评估，输出评估分数，利用判别器的评估分数和生成器网络的损失函数计算生成器网络损失值，所述生成器网络的计算公式如下：
LG＝-E[D(G(z))]
其中，LG表示生成器网络的损失函数，E[·]表示求期望操作，D(·)表示样式生成对抗网络中的判别器网络的输出，G(·)表示样式生成对抗网络中的生成器网络的输出，z表示随机生成的特征向量。
利用生成器网络的损失值和梯度下降法，计算生成器网络每个反卷积层的每个卷积核的梯度、全连接层的梯度、调制噪声层的梯度、自适应样式调制层的梯度。
利用生成器网络每个反卷积层的每个卷积核的梯度、全连接层的梯度、调制噪声层的梯度、自适应样式调制层的梯度，使用学习率为0.005的Adam优化器迭代更新生成器网络每个反卷积层的每个卷积核的权重、全连接层的权重、调制噪声层的权重、自适应样式调制层的权重。
步骤7，训练样式生成对抗网络。
重复步骤5和步骤6，对判别器网络和生成器网络进行交替训练，直到当前迭代获得的生成器网络的损失值小于20，且判决器网络的损失值均值小于10时，得到训练好的生成器网络权重，保存训练好的样式生成对抗网络中生成器网络的每个反卷积层的每个卷积核的权重、全连接层的权重、调制噪声层的权重、自适应样式调制层的权重。
步骤8，对红外图像样本进行扩充。
将随机生成的特征向量输入到训练好的生成器网络中进行计算，输出包含舰船样本的红外图像，并将其添加到训练集中，完成对红外图像舰船样本的扩充。
下面结合仿真实验对本发明的效果做进一步说明。
1.仿真条件：
本发明的仿真实验是在单块NVIDIA RTX 2080型号的GPU、运行内存128GB的硬件环境和PyTorch1.1.0的软件环境下进行的。
2.仿真内容与结果分析：
本发明的仿真实验是使用本发明和一个现有技术的方法，分别对实拍的2000张红外图像舰船样本进行扩充。
所述的现有技术为：北京机电工程研究所申请的专利文献“基于红外仿真的目标样本生成方法”(2018105060882，CN110162812A)中提出的一种基于红外仿真的目标样本生成方法。
附图5是本发明的仿真图，其中，图5(a)为从本发明仿真实验所使用的训练集中随机选取的1张实拍红外图像舰船样本图。5(b)为采用现有技术生成的1张红外图像舰船扩充样本图，图5(c)为采用本发明方法生成的9张红外图像舰船扩充样本图。
对比附图5中的图5(a)、图5(b)和图5(c)，可以看出，图5(b)采用现有技术生成的红外图像舰船样本与图5(a)的实拍红外图像舰船样本相比具有明显的差别。而图5(c)采用本发明方法生成的红外图像舰船样本与图5(a)实拍红外图像舰船样本相比在红外纹理细节特征、目标的辐射特性等方面都具有高度的一致性。
对比附图5中图5(c)采用本发明方法生成的9张红外图像舰船扩充样本，可以看出，采用本发明方法生成的红外图像舰船扩充样本具有多种尺寸、角度的舰船目标和多种形式的海面亮带，可以看出本发明方法生成的红外图像舰船样本具有很强的多样性。
因此，本发明方法克服了现有技术中的问题，提高了红外图像舰船扩充样本的真实感，增加了红外图像舰船样本的多样性。

Claims (3)

1.一种基于样式生成对抗网络的红外图像中舰船样本扩充方法，其特征在于，采用一种判别器和生成器交替训练的样式生成对抗网络，用随机特征向量对生成器的每一层分别进行调制的方法，实现由随机特征向量通过生成器输出红外图像舰船样本，进行扩充，该方法的具体步骤如下：
(1)获取训练集：
选取实拍至少2000张红外图像，每张图片均包含舰船目标；将每张图像的大小缩放裁剪为256×256，组成训练集；
(2)构建生成器网络：
(2a)搭建一个生成器网络，其结构依次为：常数矩阵层→第1噪声调制层→第1自适应样式调制层→第1反卷积层→第2噪声调制层→激活函数层→第2自适应样式调制层→样式卷积块组合→第2反卷积层→输出层；
所述自适应样式调制层结构依次为：特征向量输入层→归一化层→第1全连接层→第2全连接层→第3全连接层→第4全连接层→第5全连接层→第6全连接层→第7全连接层→第8全连接层→缩放平移变换层→输出层；
所述样式卷积块组合由6个相同结构的样式卷积块级联组成，每个样式卷积块的结构依次为：第1反卷积层→第1噪声调制层→第1激活函数层→第1自适应样式调制层→第2反卷积层→第2噪声调制层→第2激活函数层→第2自适应样式调制层；
所述归一化层采用实例归一化函数实现；；所述激活函数层均采用Leaky ReLU函数实现；
(2b)设置生成器网络的每层参数：
将第1反卷积层和第2反卷积层的每个卷积核大小均设置为3×3，卷积核的个数分别设置为512和3，卷积步长均设置为1，权重初始化为满足标准差为0.02正态分布的随机值；
将激活函数层的Leaky ReLU函数的斜率均设置为0.2；
将样式卷积块组合中的第1至第3样式卷积块的第1、第2反卷积层的每个卷积核大小均设置为3×3，卷积核的个数均设置为512，卷积步长均设置为1；将第4样式卷积块中第1、第2反卷积层的每个卷积核大小均设置为3×3，卷积核的个数均设置为256，卷积步长均设置为1；将第5样式卷积块中第1、第2反卷积层的每个卷积核大小均设置为3×3，卷积核的个数均设置为128，卷积步长均设置为1；将第6样式卷积块中第1、第2反卷积层的每个卷积核大小均设置为3×3，卷积核的个数均设置为64，卷积步长均设置为1；将第1至第6样式卷积块中每个反卷积层的每个卷积核的权重均初始化为满足标准差为0.02正态分布的随机值；将第1至第6样式卷积块中的激活函数层的每个Leaky ReLU函数的斜率均设置为0.2；
将自适应样式调制层中的第1至第8全连接层的神经元个数均设置为512，权重均初始化为满足标准差为0.02正态分布的随机值；
(3)构建判别器网络：
(3a)搭建一个判别器网络，其结构依次为：输入层→卷积层→激活函数层→卷积块组合→全连接层→输出层；
所述卷积块组合由6个相同结构的卷积块级联组成，每个卷积块的结构依次为：第1卷积层→第1激活函数层→第2卷积层→第1池化层→第2激活函数层；
所述激活函数层均采用Leaky ReLU函数实现，池化层采用全局平均池化实现；
(3b)设置判别器网络的每层参数：
将卷积层的卷积核大小均设置为3×3，卷积核的个数分别设置为512，卷积步长均设置为1，权重初始化为满足标准差为0.02正态分布的随机值；
将激活函数层的每个Leaky ReLU函数的斜率均设置为0.2；
将卷积块组合中第1、第2卷积块中的第1、第2卷积层的每个卷积核大小均设置为3×3，卷积核的个数均设置为512，卷积步长均设置为1；将第3卷积块中第1、第2卷积层的每个卷积核大小均设置为3×3，卷积核的个数均设置为256，卷积步长均设置为1；将第4卷积块中第1、第2卷积层的每个卷积核大小均设置为3×3，卷积核的个数均设置为128，卷积步长均设置为1；将第5卷积块中第1、第2卷积层的每个卷积核大小均设置为3×3，卷积核的个数均设置为64，卷积步长均设置为1；将第6卷积块中第1、第2卷积层的每个卷积核大小均设置为3×3，卷积核的个数均设置为32，卷积步长均设置为1；将第1至第6卷积块中每个卷积层的每个卷积核权重初始化为满足标准差为0.02正态分布的随机值；将第1至第6卷积块中的每个激活函数层的Leaky ReLU函数的斜率均设置为0.2；
将全连接层的神经元个数设置为1，权重初始化为满足标准差为0.02正态分布的随机值；
(4)构建样式生成对抗网络：
将生成器网络和判别器网络级联组成样式生成对抗网络；
(5)训练生成器网络：
固定生成器网络当前的权重参数，将随机生成的特征向量输入到生成器网络中，输出随机的红外图像，将生成的随机红外图像和训练集中的红外图像分别输入到判别器网络中，判别器网络对依次输入的红外图像评估后分别输出对应的评估分数，利用判别器网络的评估分数和判别器网络的损失函数计算判别器网络的损失值；
利用判别器网络的损失值和梯度下降法，计算判别器网络每个卷积层的每个卷积核的梯度、全连接层的梯度；
利用判别器网络每个卷积层的每个卷积核的梯度、全连接层的梯度，使用学习率为0.005的Adam优化器更新判别器网络每个卷积层和反卷积层的每个卷积核的权重、全连接层的权重；
(6)训练判别器网络：
固定判别器网络当前的权重参数，将随机生成的特征向量输入到生成器网络中，输出红外图像，将生成的随机红外图像输入到判别器网络中，判别器网络对输入的生成图像进行评估，输出评估分数，利用判别器的评估分数和生成器网络的损失函数计算生成器网络损失值；
利用生成器网络的损失值和梯度下降法，计算生成器网络每个反卷积层的每个卷积核的梯度、全连接层的梯度、调制噪声层的梯度、自适应样式调制层的梯度；
利用生成器网络每个反卷积层的每个卷积核的梯度、全连接层的梯度、调制噪声层的梯度、自适应样式调制层的梯度，使用学习率为0.005的Adam优化器迭代更新生成器网络每个反卷积层的每个卷积核的权重、全连接层的权重、调制噪声层的权重、自适应样式调制层的权重；
(7)训练样式生成对抗网络：
重复步骤(5)、(6)，对判别器网络和生成器网络进行交替训练，直到当前迭代获得的生成器网络的损失值小于20，且判决器网络的损失值均值小于10时，得到训练好的生成器网络权重，保存训练好的样式生成对抗网络中生成器网络的每个反卷积层的每个卷积核的权重、全连接层的权重、调制噪声层的权重、自适应样式调制层的权重；
(8)扩充红外图像样本：
将随机生成的特征向量输入到训练好的生成器网络中进行计算，输出包含舰船样本的红外图像，并将其添加到训练集中，完成对红外图像舰船样本的扩充。
2.根据权利要求1所述的基于样式生成对抗网络的红外图像中舰船样本扩充方法，其特征在于，步骤(5)中所述判别器网络的损失函数如下：
其中，LD表示判别器网络的损失函数，E[·]表示求期望操作，D(·)表示样式生成对抗网络中的判别器网络的输出，G(·)表示样式生成对抗网络中的生成器网络的输出，z表示随机生成的特征向量，x表示训练集中的16张实拍红外图像，γ表示平方项系数，λ表示约束项系数，表示由生成器输出的16张红外图像和训练集中的16张实拍红外图像根据随机比例对应融合得到的约束项红外图像，||·||2表示2范数操作，▽表示求导操作。
3.根据权利要求2所述的基于样式生成对抗网络的红外图像中舰船样本扩充方法，其特征在于，步骤(6)中所述生成器网络的损失函数如下：
LG＝-E[D(G(z))]
其中，LG表示生成器网络的损失函数。
CN202010650897.8A 2020-07-08 2020-07-08 基于样式生成对抗网络的红外图像中舰船样本扩充方法 Active CN111814875B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010650897.8A CN111814875B (zh) 2020-07-08 2020-07-08 基于样式生成对抗网络的红外图像中舰船样本扩充方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010650897.8A CN111814875B (zh) 2020-07-08 2020-07-08 基于样式生成对抗网络的红外图像中舰船样本扩充方法

Publications (2)

Publication Number Publication Date
CN111814875A CN111814875A (zh) 2020-10-23
CN111814875B true CN111814875B (zh) 2023-08-01

Family

ID=72842044

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010650897.8A Active CN111814875B (zh) 2020-07-08 2020-07-08 基于样式生成对抗网络的红外图像中舰船样本扩充方法

Country Status (1)

Country Link
CN (1) CN111814875B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465736B (zh) * 2020-11-18 2023-03-24 武汉理工大学 一种用于港口船舶监控的红外视频图像增强方法
CN112835709B (zh) * 2020-12-17 2023-09-22 华南理工大学 基于生成对抗网络的云负载时序数据生成方法、***和介质
CN112700408B (zh) * 2020-12-28 2023-09-08 ***股份有限公司 模型训练方法、图像质量评估方法及装置
CN112884003A (zh) * 2021-01-18 2021-06-01 中国船舶重工集团公司第七二四研究所 一种基于样本扩充器的雷达目标样本扩充生成方法
CN112819914B (zh) * 2021-02-05 2023-07-18 北京航空航天大学 一种pet图像处理方法
CN112950505B (zh) * 2021-03-03 2024-01-23 西安工业大学 一种基于生成对抗网络的图像处理方法、***和介质
CN112784930B (zh) * 2021-03-17 2022-03-04 西安电子科技大学 基于cacgan的hrrp识别数据库样本扩充方法
CN113792764A (zh) * 2021-08-24 2021-12-14 北京遥感设备研究所 一种样本扩充方法、***、存储介质及电子设备
CN113516656B (zh) * 2021-09-14 2021-12-14 浙江双元科技股份有限公司 一种基于ACGAN和Cameralink相机的缺陷图像数据处理仿真方法
CN114022724A (zh) * 2021-10-08 2022-02-08 郑州大学 基于风格迁移的生成对抗网络的管道病害图像数据增强方法
CN114881884B (zh) * 2022-05-24 2024-03-29 河南科技大学 一种基于生成对抗网络的红外目标样本增强方法
CN115086674B (zh) * 2022-06-16 2024-04-02 西安电子科技大学 基于生成对抗网络的图像隐写方法
CN115393242A (zh) * 2022-09-30 2022-11-25 国网电力空间技术有限公司 一种基于gan的电网异物图像数据增强的方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018028255A1 (zh) * 2016-08-11 2018-02-15 深圳市未来媒体技术研究院 基于对抗网络的图像显著性检测方法
CN111027454A (zh) * 2019-12-06 2020-04-17 西安电子科技大学 基于深度密集连接和度量学习的sar舰船目标分类方法
CN111260594A (zh) * 2019-12-22 2020-06-09 天津大学 一种无监督的多模态图像融合方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11170256B2 (en) * 2018-09-26 2021-11-09 Nec Corporation Multi-scale text filter conditioned generative adversarial networks

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018028255A1 (zh) * 2016-08-11 2018-02-15 深圳市未来媒体技术研究院 基于对抗网络的图像显著性检测方法
CN111027454A (zh) * 2019-12-06 2020-04-17 西安电子科技大学 基于深度密集连接和度量学习的sar舰船目标分类方法
CN111260594A (zh) * 2019-12-22 2020-06-09 天津大学 一种无监督的多模态图像融合方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于双重对抗自编码网络的红外目标建模方法;苗壮;张湧;李伟华;;光学学报(第11期);全文 *
基于稀疏编码的红外显著区域超分重建算法;黄硕;胡勇;巩彩兰;郑付强;;红外与毫米波学报(第03期);全文 *

Also Published As

Publication number Publication date
CN111814875A (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
CN111814875B (zh) 基于样式生成对抗网络的红外图像中舰船样本扩充方法
CN105981050B (zh) 用于从人脸图像的数据提取人脸特征的方法和***
CN108509910A (zh) 基于fmcw雷达信号的深度学习手势识别方法
CN112257741B (zh) 一种基于复数神经网络的生成性对抗虚假图片的检测方法
CN113724149B (zh) 一种弱监督的可见光遥感图像薄云去除方法
Chen et al. A wavelet based deep learning method for underwater image super resolution reconstruction
CN114049434A (zh) 一种基于全卷积神经网络的3d建模方法及***
CN113420639A (zh) 基于生成对抗网络的近地面红外目标数据集建立方法及装置
CN113989100A (zh) 一种基于样式生成对抗网络的红外纹理样本扩充方法
CN112686817A (zh) 一种基于不确定性估计的图像补全方法
CN116258816A (zh) 一种基于神经辐射场的遥感影像仿真方法
Reed et al. Coupling rendering and generative adversarial networks for artificial SAS image generation
CN115761117A (zh) 一种基于star模型的三维人体重建方法及***
CN110148083B (zh) 基于快速bemd和深度学习的图像融合方法
Zhang et al. Ship HRRP target recognition based on CNN and ELM
CN109658508A (zh) 一种多尺度细节融合的地形合成方法
CN117036875B (zh) 一种基于融合注意力gan的红外弱小移动目标生成算法
CN116188259B (zh) 一种基于压缩感知和生成对抗的鱼类图像生成方法
CN117036901A (zh) 一种基于视觉自注意力模型的小样本微调方法
CN116721201A (zh) 纹理智能生成的红外海面背景仿真方法及***
CN115830462A (zh) 基于循环一致性对抗网络的sar图像重构方法及装置
CN116486244A (zh) 基于细节增强的水下目标检测方法
CN116188847A (zh) 军事玩具模型的智能化加工方法及其***
CN115471516A (zh) 基于生成网络的光学-雷达isar图像转换方法及装置
CN111681156B (zh) 一种应用于无线传感器网络的深度压缩感知图像重构方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant