CN112415514B - 一种目标sar图像生成方法及装置 - Google Patents

一种目标sar图像生成方法及装置 Download PDF

Info

Publication number
CN112415514B
CN112415514B CN202011278930.5A CN202011278930A CN112415514B CN 112415514 B CN112415514 B CN 112415514B CN 202011278930 A CN202011278930 A CN 202011278930A CN 112415514 B CN112415514 B CN 112415514B
Authority
CN
China
Prior art keywords
sar
image
images
generated
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011278930.5A
Other languages
English (en)
Other versions
CN112415514A (zh
Inventor
翟佳
陈�峰
董毅
彭实
贾雨生
谢晓丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Environmental Features
Original Assignee
Beijing Institute of Environmental Features
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Environmental Features filed Critical Beijing Institute of Environmental Features
Priority to CN202011278930.5A priority Critical patent/CN112415514B/zh
Publication of CN112415514A publication Critical patent/CN112415514A/zh
Application granted granted Critical
Publication of CN112415514B publication Critical patent/CN112415514B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G01S13/9094—Theoretical aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明涉及一种目标SAR图像生成方法及装置、计算机设备、计算机可读存储介质，该方法包括：获取真实的SAR图像数据构成训练集；由一组训练样本中选出N个方位角连续的SAR真实图像，利用卷积神经网络提取特征；将首个SAR真实图像的单图特征和连续N个SAR真实图像的整体关系特征输入生成对抗网络的生成器，得到N‑1个SAR生成图像；通过生成对抗网络的判别器，对N‑1个SAR生成图像和相对应的N‑1个SAR真实图像分别进行特征对比，利用损失函数衡量SAR生成图像和SAR真实图像的相似度；得到完成训练的生成对抗网络，随机生成SAR生成图像。本发明可实现SAR图像数据的外推生成，以完善并扩充数据量。

Description

一种目标SAR图像生成方法及装置
技术领域
本发明涉及目标探测与识别技术领域，尤其涉及一种目标SAR图像生成方法及装置、计算机设备、计算机可读存储介质。
背景技术
目标电磁散射特性的研究，在电子对抗、隐身设计及目标探测与识别等方面有着重要的应用。目前，对于大部分车辆、舰船、飞机等具有导体表面材料的目标来说，理论建模和参数化建模的方法能够给出较好的结果，但实现复杂外形、材料和结构目标的电磁散射特性建模，仍存在着巨大的困难，对这类目标，只能通过实验室测量来获得目标电磁散射特性数据。但由于实验室测量存在成本高、耗时长、测量频率/角度/极化范围受测量条件限制等问题，常常难以满足实际应用的需求。因此，目前对于复杂外形、材料和结构目标，高效地、低成本的获取较完整的电磁散射特性数据仍存在较大的困难。
发明内容
本发明的目的是针对上述至少一部分不足之处，提供一种基于深度隐式模型和概率图模型的目标SAR图像数据生成方法，以解决SAR图像外推生成中生成图像不稳定、生成方法鲁棒性弱的问题。
为了解决上述技术问题，本发明提供了一种目标SAR图像生成方法，包括如下步骤：
S1、获取真实的SAR图像数据构成训练集；其中，所述训练集包括多组训练样本，每组训练样本包括2N个俯仰角相同、方位角连续的SAR真实图像，N为大于等于3的整数；
S2、由一组所述训练样本中选出N个方位角连续的SAR真实图像，利用卷积神经网络提取特征，包括提取连续N个SAR真实图像的整体关系特征，以及各个SAR真实图像的单图特征；
S3、将步骤S2中提取的首个SAR真实图像的单图特征和连续N个SAR真实图像的整体关系特征，输入生成对抗网络的生成器，得到N-1个SAR生成图像，所述N-1个SAR生成图像的方位角连续，且对应在首个SAR真实图像之后；其中，所述生成对抗网络采用深度隐式模型与概率图模型结合的方法构建，基于贝叶斯网络模拟SAR图像数据样本空间特征之间的关系；
S4、通过所述生成对抗网络的判别器，对步骤S3中所述生成器得到的N-1个SAR生成图像和相对应的N-1个SAR真实图像分别进行特征对比，利用损失函数衡量SAR生成图像和SAR真实图像的相似度；
S5、判断是否完成训练，否则返回步骤S2；
S6、得到完成训练的所述生成对抗网络，随机生成SAR生成图像。
优选地，所述步骤S4中，利用损失函数衡量SAR生成图像和SAR真实图像的相似度时，在损失函数中引入基于互信息的惩罚项，互信息的表达式为：
Figure BDA0002780060230000021
其中，X和Y分别表示SAR真实图像和SAR生成图像，x表示X中的像素灰度级，y表示Y中的像素灰度级，PXY(x,y)为X和Y的联合概率密度，PX(x)和PY(y)分别是X和Y的边缘概率密度函数。
优选地，该目标SAR图像生成方法还包括：
S7、采用结构相似性指标评价随机生成的SAR生成图像与SAR真实图像的相似度。
优选地，所述步骤S7中，采用结构相似性指标评价随机生成的SAR生成图像与SAR真实图像的相似度时，表达式为：
Figure BDA0002780060230000031
其中，SSIM(x，y)表示图像x与图像y之间的结构相似度，μx表示图像x的均值；μy表示图像y的均值；σx 2、σy 2分别表示图像x、y的方差；σxy表示图像x与图像y的协方差，C1和C2为常数。
优选地，所述步骤S4还包括：若SAR生成图像和SAR真实图像的相似度低于设定阈值，则将对应的所述训练样本存入微调样本集；
所述步骤S6还包括：在得到完成训练的所述生成对抗网络之后，随机生成SAR生成图像之前，利用微调样本集中的所述训练样本对所述生成对抗网络进行微调训练。
本发明还提供了一种目标SAR图像生成装置，包括：
训练集构建单元，用于获取真实的SAR图像数据构成训练集；其中，所述训练集包括多组训练样本，每组训练样本包括2N个俯仰角相同、方位角连续的SAR真实图像，N为大于等于3的整数；
模型训练单元，用于执行如下步骤：
A、由一组所述训练样本中选出N个方位角连续的SAR真实图像，利用卷积神经网络提取特征，包括提取连续N个SAR真实图像的整体关系特征，以及各个SAR真实图像的单图特征；
B、将步骤A中提取的首个SAR真实图像的单图特征和连续N个SAR真实图像的整体关系特征，输入生成对抗网络的生成器，得到N-1个SAR生成图像，所述N-1个SAR生成图像的方位角连续，且对应在首个SAR真实图像之后；其中，所述生成对抗网络采用深度隐式模型与概率图模型结合的方法构建，基于贝叶斯网络模拟SAR图像数据样本空间特征之间的关系；
C、通过所述生成对抗网络的判别器，对步骤B中所述生成器得到的N-1个SAR生成图像和相对应的N-1个SAR真实图像分别进行特征对比，利用损失函数衡量SAR生成图像和SAR真实图像的相似度；
D、判断是否完成训练，否则返回步骤A；
图像生成单元，用于得到完成训练的所述生成对抗网络，随机生成SAR生成图像。
优选地，所述模型训练单元利用损失函数衡量SAR生成图像和SAR真实图像的相似度时，在损失函数中引入基于互信息的惩罚项，互信息的表达式为：
Figure BDA0002780060230000041
其中，X和Y分别表示SAR真实图像和SAR生成图像，x表示X中的像素灰度级，y表示Y中的像素灰度级，PXY(x,y)为X和Y的联合概率密度，PX(x)和PY(y)分别是X和Y的边缘概率密度函数。
优选地，该目标SAR图像生成装置还包括：
模型评价单元，用于采用结构相似性指标评价随机生成的SAR生成图像与SAR真实图像的相似度。
本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述目标SAR图像生成方法的步骤。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述目标SAR图像生成方法的步骤。
本发明的上述技术方案具有如下优点：本发明提供了一种目标SAR图像生成方法及装置、计算机设备、计算机可读存储介质，本发明基于卷积神经网络的电磁散射数据特征分布分析，利用卷积神经网络对电磁散射数据(即SAR图像数据)进行特征提取与分析，以及对SAR图像特征进行建模；基于生成对抗网络的电磁散射数据生成方法设计实施步骤，包括构成训练数据集、提取连续方位角整体特征、提取各方位角局部特征、生成图像等，本发明提供了具有高鲁棒性，且可生成高置信度数据的电磁散射数据生成方法，将人工智能生成方法应用到目标电磁散射特性建模领域，利用人工智能扩充数据范围，可解决当前SAR图像数据不完备的问题。
附图说明
图1是本发明实施例中一种目标SAR图像生成方法步骤示意图；
图2是本发明实施例中一种目标SAR图像生成方法流程示意图；
图3(a)和图3(b)示出了采用常规GAN损失函数进行训练，且未经微调训练的生成对抗网络外推效果，其中图3(a)为SAR真实图像，图3(b)为SAR生成图像；
图4(a)和图4(b)示出了采用常规GAN损失函数进行训练，并经微调训练后的生成对抗网络外推效果，其中图4(a)为SAR真实图像，图4(b)为SAR生成图像；
图5(a)和图5(b)示出了本发明实施例中一种目标SAR图像生成方法的外推效果，其中图5(a)为SAR真实图像，图5(b)为SAR生成图像。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1和图2所示，本发明实施例提供的一种目标SAR图像生成方法，包括如下步骤：
S1、获取真实的SAR图像数据构成训练集；其中，所述训练集包括多组训练样本，每组训练样本包括2N个俯仰角相同、方位角连续的SAR真实图像，N为大于等于3的整数。N优选范围为3～6，更优选为等于4。
步骤S1对真实的SAR图像数据进行分组，每组训练样本中的SAR真实图像存在固定的顺序，各个SAR真实图像的俯仰角相同，而方位角是按照顺序连续变化的。例如当N＝4，则步骤S1中即将每相邻8个方位角的图像进行组合，构成的每组训练样本中，图像的序号从1至8对应连续变化的8个方位角。
S2、由一组所述训练样本中选出N个方位角连续的SAR真实图像，利用卷积神经网络提取特征，其中提取特征包括提取选出的连续N个SAR真实图像的整体关系特征(即整体特征)，以及提取选出的各个SAR真实图像的单图特征(即局部特征，或称特有特征)。
步骤S2选出部分方位角连续的SAR真实图像并提取特征。本发明考虑了单个图像的特征以及连续若干图像之间的关联关系，因此需提取两种特征：一种是连续N个图像的整体特征(包含连续图像之间的关系)，另一种是每一个图像的特有特征。这种处理方式兼顾了整体特征和特有特征，能够提高生成图像的置信度。利用卷积神经网络提取特征的具体实现方式可参考现有技术，在此不再进一步赘述。
S3、将步骤S2中提取的、(连续N个SAR真实图像中的)首个SAR真实图像的单图特征，以及连续N个SAR真实图像的整体关系特征，输入生成对抗网络的生成器，得到N-1个SAR生成图像，该N-1个SAR生成图像的方位角连续，且对应在首个SAR真实图像之后；其中，所述生成对抗网络采用深度隐式模型与概率图模型结合的方法构建，基于贝叶斯网络，模拟SAR图像数据样本空间特征之间的关系。
本发明基于深度隐式模型与概率图模型结合的方法，建立了SAR图像样本空间特征向量之间关系的模型后，针对SAR图像中同一目标，使用相同俯仰角、不同方位角的SAR图像为训练样本，尝试模拟这些训练样本的分布，并生成新的方位角下的SAR图像，实现SAR图像外推生成。步骤S3中通过生成对抗网络生成的、N-1个SAR生成图像的方位角是连续的，位置对应在步骤S2中提取的(连续N个图像中)首个SAR真实图像之后，以N＝4为例，若步骤S2中选取序号为2-5的连续4个SAR真实图像提取特征，则步骤S3中提取序号为2的SAR真实图像的单图特征，以及序号为2-5的连续4个SAR真实图像的整体关系特征，输入生成对抗网络的生成器，得到3个SAR生成图像，对应序号为3-5，与序号为2的SAR真实图像组成4个俯仰角相同、方位角连续的图像。
本发明结合深度隐式模型和概率图模型设计了用于SAR图像生成的生成对抗网络模型，该模型包括生成器(也称生成网络)和判别器(也称判别网络)，模型中使用贝叶斯网络来表示变量间的结构，并用深度隐似然函数来为复杂数据建模。
考虑到贝叶斯网络具有局部性质，即贝叶斯网络中变量之间存在依赖关系，本发明将其应用到SAR图像中，将连续方位角的一组SAR图像建模为贝叶斯网络中存在依赖关系的变量，则根据该依赖关系可以在已知某个角度的SAR图像情况下得到其相邻角度的若干SAR图像。当给定依赖性结构的情况下，变量之间的依赖函数就可以参数化为深度神经网络，进而来拟合复杂的数据。由于模型本身是高度非线性的，这会导致后验概率难以计算。为了解决这个问题，可采用一个神经网络来近似计算后验概率，即利用一个神经网络来估计后验概率的近似分布。
令X表示可观测变量，存在于X中的可观测样本用xj表示，j＝1,2...,N，N为可观测样本数，令Z表示隐变量(不可观测变量)，存在于Z中的隐样本用zi表示，i＝1,2...，令G表示关联有向无环图(也即贝叶斯网络)，pG(X，Z)表示可观测变量X与隐变量(不可观测变量)Z之间的联合概率分布，由于贝叶斯网络的局部结构形状，分布可分解为：
Figure BDA0002780060230000071
其中，paG(xj)表示关联有向无环图G中xj的父节点(paG(zi)表示G中zi的父节点)，p(|)表示局部条件概率。
根据上述链式法则P_model(X,Z)＝P_model(Z)P_model(X|Z)，生成式模式可以转换为对两个分布的建模：一个是观测变量X的条件分布P_model(X|Z)，另一个是隐变量的先验分布P_model(Z)。生成模型有两种，一种是prescribed模型，一种是implicit模型，本发明采用的深度隐式模型，即为后者与深度学习的结合，就是利用神经网络的方式来隐式地建模条件分布p(x|z)。而其中所谓的隐式建模，是指并不对条件分布p(x|z)本身进行建模，而是建模生成过程，即学习一个映射函数g:z→x。生成对抗网络的输入为隐变量z，输出为观测变量x。
S4、通过所述生成对抗网络的判别器，对步骤S3中所述生成器得到的N-1个SAR生成图像和相对应的N-1个SAR真实图像分别进行特征对比，利用损失函数衡量SAR生成图像和SAR真实图像的相似度。
步骤S4利用生成对抗网络的判别器及损失函数，提取并对比真实图像和生成图像的特征，对比时，一对一将序号相同的SAR生成图像和SAR真实图像进行对比。
S5、判断是否完成训练，否则返回步骤S2。若完成训练，则继续执行步骤S6。
本发明同时训练生成对抗网络的生成器、判别器。生成器输入的是卷积神经网络提取的特征，也可以认为生成器本身就涵盖了卷积神经网络的工作，输出的是生成图像。判别器输入的是生成图像和真实图像，输出的是二者差异以及判别出的结果。生成器和判别器一起训练，最终达到平衡。
S6、得到完成训练的所述生成对抗网络，随机生成SAR生成图像。
此步骤中随机生成SAR生成图像时，随机输入连续N个SAR真实图像，利用完成训练的生成对抗网络，生成对应在首个SAR真实图像之后的N-1个方位角连续的SAR生成图像。
优选地，该目标SAR图像生成方法的步骤S4中，利用损失函数衡量SAR生成图像和SAR真实图像的相似度时，在损失函数中引入基于互信息的惩罚项，互信息的表达式为：
Figure BDA0002780060230000091
其中，I(X，Y)为互信息，X和Y分别表示SAR真实图像和SAR生成图像，x表示X中的像素灰度级，y表示Y中的像素灰度级，PXY(x,y)为X和Y的联合概率密度，PX(x)和PY(y)分别是X和Y的边缘概率密度函数。
本发明在GAN(生成对抗网络)的思想基础上修改GAN的损失函数，在GAN的损失函数中引入基于互信息的惩罚项，用来衡量对于真实图像和生成图像的相似度，优化电磁散射数据的外推生成。基于互信息关联的生成对抗网络可以提取更多的目标特征和信息，因此在电磁散射数据(SAR图像数据)生成时有更多、更丰富的特征来实现数据驱动的建模并优化数据生成过程。
互信息是衡量随机变量之间相互依赖程度的度量。假设存在一个随机变量X和另外一个随机变量Y，那么它们的互信息是I(X；Y)＝H(X)-H(Y|X)，其中H(X)是X的信息熵，H(Y|X)是已知X情况下Y带来的信息熵(条件熵)。
从概率角度分析，互信息I(X，Y)是由随机变量X,Y的联合概率分布PXY(x,y)和边缘概率分布PX(x)、PY(y)得出，即可得到上述互信息的表达式。不同于相关系数，互信息并不局限于实值随机变量，它更加一般且决定着联合分布PXY(x,y)和分解的边缘分布的乘积PX(x)PY(y)的相似程度。
最大化互信息条件，就是最大化两个随机事件的相关性。在数据集里，就是最大化两个数据集合所拟合出的概率分布的相关性。在机器学习中，理想情况下，当互信息最大，可以认为从数据集中拟合出来的随机变量的概率分布与真实分布相同。所以本发明研究互信息关联的电磁散射生成优化方法，互信息既作为生成的电磁散射数据的一种衡量技术，也作为一种激励措施，本发明采用互信息关联优化设计，能够使生成的电磁散射数据分布接近于真实数据分布。
优选地，该方法还包括：
S7、采用结构相似性(SSIM)指标评价随机生成的SAR生成图像与SAR真实图像的相似度。
通常可采用SSIM和MSE的评价标准衡量真实图像和生成图像的相似度。MSE，即均方误差，是一个用来计算两个图像相似度的一个指标值，该值越小表示两个图像越相似，MSE在学术领域中得到了广泛的应用，其计算公式为：
Figure BDA0002780060230000101
其中m和n分别表示图像的宽和高，I(i，j)和K(i，j)分别表示两个图像坐标(i，j)对应的像素值，即将两个图像对应位置的像素值相减然后将结果累积起来即可。MSE的实现起来非常简单，但是当使用它进行相似性判断时，存在的问题是像素强度之间的差距比较大并不一定意味着图像的内容有很大的差异。
为了更好地判断两个图像的相似度，本发明采用了SSIM指标，该指标能够从亮度、对比度和结构三个方面反应两个图像的相似度，其中均值作为亮度估计，标准差作为对比度估计，协方差作为结构相似性度量。该指标的范围是[0,1]，当SSIM＝0时表示两个图像完全不相似，当SSIM＝1时表示两个图像非常相似，即该值越接近1说明两个图像越相似。
进一步地，步骤S7中，采用结构相似性指标评价随机生成的SAR生成图像与SAR真实图像的相似度时，表达式为：
Figure BDA0002780060230000111
其中，SSIM(x，y)表示图像x与图像y之间的结构相似度，μx表示图像x的均值；μy表示图像y的均值；σx 2、σy 2分别表示图像x、y的方差；σxy表示图像x与图像y的协方差，C1和C2为常数，用于维持***稳定。将SAR生成图像与SAR真实图像分别代入图像x与图像y，即可计算SAR生成图像与SAR真实图像的相似度。
基于SSIM指标的评价比MSE更为复杂，SSIM试图模拟图像结构信息中感知到的变化，而MSE实际上是估计感知到的误差。两者之间有着细微的差别，但结果上的差异还是比较大的。如果完全一样的图像则MSE为0，SSIM为1，如果两幅图像像素差距较大，而内容相似，MSE会比较大，而SSIM能更好的的评价内容相似度。因此，本发明采用SSIM在网络模型稳定之后，对整个生成对抗网络进行生成数据评价。若评价结果不佳，则可重新构成新的训练集，再次对生成对抗网络进行新一轮的训练。
在优选的实施方式中，该目标SAR图像生成方法的步骤S4还包括：若SAR生成图像和SAR真实图像的相似度低于设定阈值，则将对应的所述训练样本存入微调样本集；
所述步骤S6还包括：在得到完成训练的所述生成对抗网络之后，随机生成SAR生成图像之前，利用微调样本集中的所述训练样本对所述生成对抗网络进行微调训练。
若SAR生成图像和SAR真实图像的相似度低于设定阈值，则可认为模型生成的图像形状不好，将生成形状不好的图像所对应的训练样本挑选出来作为一个微调样本集，微调样本集中的训练样本形式与训练集相同，在完成训练，得到生成对抗网络的基础模型后，通过再输入微调样本集，再进行微调训练就可以得到微调后的模型，微调训练相当于重新快速训练一次，具体训练方式可参考步骤S2至步骤S4，在此不再重复说明。图3(a)和图3(b)示出了采用常规GAN损失函数进行训练，且未经微调训练的基础模型生成图像的效果，其中图3(a)为输入的SAR真实图像，图3(b)为SAR生成图像，训练集为MSTAR(bmp2和btr70)训练集；图4(a)和图4(b)示出了采用常规GAN损失函数进行训练，并经微调训练后的微调模型生成图像的效果，其中图4(a)为输入的SAR真实图像，图4(b)为SAR生成图像；图5(a)和图5(b)示出了本发明实施例中，采用本发明优化后的损失函数进行训练，且经微调训练后的生成对抗网络生成图像的效果，其中图5(a)为输入的SAR真实图像，图5(b)为SAR生成图像。通过对基础模型进行微调训练，以及互信息优化损失函数，能够提高生成对抗网络的精确度，即优化电磁散射SAR图像数据外推模型。
本发明还提供了一种目标SAR图像生成装置，该装置包括训练集构建单元、模型训练单元和图像生成单元，其中：
训练集构建单元用于获取真实的SAR图像数据构成训练集；其中，所述训练集包括多组训练样本，每组训练样本包括2N个俯仰角相同、方位角连续的SAR真实图像，N为大于等于3的整数。
模型训练单元用于执行如下步骤：
A、由一组所述训练样本中选出N个方位角连续的SAR真实图像，利用卷积神经网络提取特征，包括提取连续N个SAR真实图像的整体关系特征，以及各个SAR真实图像的单图特征；
B、将步骤A中提取的首个SAR真实图像的单图特征和连续N个SAR真实图像的整体关系特征，输入生成对抗网络的生成器，得到N-1个SAR生成图像，所述N-1个SAR生成图像的方位角连续，且对应在首个SAR真实图像之后；其中，所述生成对抗网络采用深度隐式模型与概率图模型结合的方法构建，基于贝叶斯网络模拟SAR图像数据样本空间特征之间的关系；
C、通过所述生成对抗网络的判别器，对步骤B中所述生成器得到的N-1个SAR生成图像和相对应的N-1个SAR真实图像分别进行特征对比，利用损失函数衡量SAR生成图像和SAR真实图像的相似度；
D、判断是否完成训练，否则返回步骤A。直到完成训练。
图像生成单元用于得到完成训练的所述生成对抗网络，随机生成SAR生成图像。
优选地，模型训练单元利用损失函数衡量SAR生成图像和SAR真实图像的相似度时，在损失函数中引入基于互信息的惩罚项，互信息的表达式为：
Figure BDA0002780060230000131
其中，X和Y分别表示SAR真实图像和SAR生成图像，x表示X中的像素灰度级，y表示Y中的像素灰度级，PXY(x,y)为X和Y的联合概率密度，PX(x)和PY(y)分别是X和Y的边缘概率密度函数。
优选地，该目标SAR图像生成装置还包括模型评价单元，模型评价单元，用于采用结构相似性指标评价随机生成的SAR生成图像与SAR真实图像的相似度。
上述目标SAR图像生成装置的各单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
以上各实施例中，硬件单元可以通过机械方式或电气方式实现。例如，一个硬件单元可以包括永久性专用的电路或逻辑(如专门的处理器，FPGA或ASIC)来完成相应操作。硬件单元还可以包括可编程逻辑或电路(如通用处理器或其它可编程处理器)，可以由软件进行临时的设置以完成相应操作。具体的实现方式(机械方式、或专用的永久性电路、或者临时设置的电路)可以基于成本和时间上的考虑来确定。
特别地，在本发明一些优选的实施方式中，还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一实施方式中所述目标SAR图像生成方法的步骤。
在本发明另一些优选的实施方式中，还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一实施方式中所述目标SAR图像生成方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述目标SAR图像生成方法实施例的流程，在此不再重复说明。
综上所述，本发明提供了一种结合深度隐式模型和概率图模型的SAR图像生成方法及装置，该方法针对不完备的目标电磁散射SAR图像数据，依次通过SAR图像特征分析、训练及生成流程、互信息关联优化设计，最终得到优化后的电磁散射SAR图像数据外推模型，从而实现SAR图像数据的外推生成，以完善并扩充数据量。可解决当前SAR图像数据不完备的问题，特别是对于复杂外形、材料和结构目标，能够高效地、低成本的获取较完整的电磁散射特性数据。本发明可基于智能算法模型生成高置信度的电磁散射特性数据，并且当目标姿态、频率、极化等因子发生变化时，该方法能够持续有效。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种目标SAR图像生成方法，其特征在于，包括如下步骤：
S1、获取真实的SAR图像数据构成训练集；其中，所述训练集包括多组训练样本，每组训练样本包括2N个俯仰角相同、方位角连续的SAR真实图像，N为大于等于3的整数；
S2、由一组所述训练样本中选出N个方位角连续的SAR真实图像，利用卷积神经网络提取特征，包括提取连续N个SAR真实图像的整体关系特征，以及各个SAR真实图像的单图特征；
S3、将步骤S2中提取的首个SAR真实图像的单图特征和连续N个SAR真实图像的整体关系特征，输入生成对抗网络的生成器，得到N-1个SAR生成图像，所述N-1个SAR生成图像的方位角连续，且对应在首个SAR真实图像之后；其中，所述生成对抗网络采用深度隐式模型与概率图模型结合的方法构建，基于贝叶斯网络模拟SAR图像数据样本空间特征之间的关系；
S4、通过所述生成对抗网络的判别器，对步骤S3中所述生成器得到的N-1个SAR生成图像和相对应的N-1个SAR真实图像分别进行特征对比，利用损失函数衡量SAR生成图像和SAR真实图像的相似度；
S5、判断是否完成训练，否则返回步骤S2；
S6、得到完成训练的所述生成对抗网络，随机生成SAR生成图像。
2.根据权利要求1所述的目标SAR图像生成方法，其特征在于：
所述步骤S4中，利用损失函数衡量SAR生成图像和SAR真实图像的相似度时，在损失函数中引入基于互信息的惩罚项，互信息的表达式为：
Figure FDA0002780060220000011
其中，X和Y分别表示SAR真实图像和SAR生成图像，x表示X中的像素灰度级，y表示Y中的像素灰度级，PXY(x,y)为X和Y的联合概率密度，PX(x)和PY(y)分别是X和Y的边缘概率密度函数。
3.根据权利要求1所述的目标SAR图像生成方法，其特征在于，还包括：
S7、采用结构相似性指标评价随机生成的SAR生成图像与SAR真实图像的相似度。
4.根据权利要求3所述的目标SAR图像生成方法，其特征在于：
所述步骤S7中，采用结构相似性指标评价随机生成的SAR生成图像与SAR真实图像的相似度时，表达式为：
Figure FDA0002780060220000021
其中，SSIM(x，y)表示图像x与图像y之间的结构相似度，μx表示图像x的均值；μy表示图像y的均值；σx 2、σy 2分别表示图像x、y的方差；σxy表示图像x与图像y的协方差，C1和C2为常数。
5.根据权利要求1所述的目标SAR图像生成方法，其特征在于，
所述步骤S4还包括：若SAR生成图像和SAR真实图像的相似度低于设定阈值，则将对应的所述训练样本存入微调样本集；
所述步骤S6还包括：在得到完成训练的所述生成对抗网络之后，随机生成SAR生成图像之前，利用微调样本集中的所述训练样本对所述生成对抗网络进行微调训练。
6.一种目标SAR图像生成装置，其特征在于，包括：
训练集构建单元，用于获取真实的SAR图像数据构成训练集；其中，所述训练集包括多组训练样本，每组训练样本包括2N个俯仰角相同、方位角连续的SAR真实图像，N为大于等于3的整数；
模型训练单元，用于执行如下步骤：
A、由一组所述训练样本中选出N个方位角连续的SAR真实图像，利用卷积神经网络提取特征，包括提取连续N个SAR真实图像的整体关系特征，以及各个SAR真实图像的单图特征；
B、将步骤A中提取的首个SAR真实图像的单图特征和连续N个SAR真实图像的整体关系特征，输入生成对抗网络的生成器，得到N-1个SAR生成图像，所述N-1个SAR生成图像的方位角连续，且对应在首个SAR真实图像之后；其中，所述生成对抗网络采用深度隐式模型与概率图模型结合的方法构建，基于贝叶斯网络模拟SAR图像数据样本空间特征之间的关系；
C、通过所述生成对抗网络的判别器，对步骤B中所述生成器得到的N-1个SAR生成图像和相对应的N-1个SAR真实图像分别进行特征对比，利用损失函数衡量SAR生成图像和SAR真实图像的相似度；
D、判断是否完成训练，否则返回步骤A；
图像生成单元，用于得到完成训练的所述生成对抗网络，随机生成SAR生成图像。
7.根据权利要求6所述的目标SAR图像生成装置，其特征在于：所述模型训练单元利用损失函数衡量SAR生成图像和SAR真实图像的相似度时，在损失函数中引入基于互信息的惩罚项，互信息的表达式为：
Figure FDA0002780060220000031
其中，X和Y分别表示SAR真实图像和SAR生成图像，x表示X中的像素灰度级，y表示Y中的像素灰度级，PXY(x,y)为X和Y的联合概率密度，PX(x)和PY(y)分别是X和Y的边缘概率密度函数。
8.根据权利要求6所述的目标SAR图像生成装置，其特征在于，还包括：
模型评价单元，用于采用结构相似性指标评价随机生成的SAR生成图像与SAR真实图像的相似度。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述目标SAR图像生成方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述目标SAR图像生成方法的步骤。
CN202011278930.5A 2020-11-16 2020-11-16 一种目标sar图像生成方法及装置 Active CN112415514B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011278930.5A CN112415514B (zh) 2020-11-16 2020-11-16 一种目标sar图像生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011278930.5A CN112415514B (zh) 2020-11-16 2020-11-16 一种目标sar图像生成方法及装置

Publications (2)

Publication Number Publication Date
CN112415514A CN112415514A (zh) 2021-02-26
CN112415514B true CN112415514B (zh) 2023-05-02

Family

ID=74831929

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011278930.5A Active CN112415514B (zh) 2020-11-16 2020-11-16 一种目标sar图像生成方法及装置

Country Status (1)

Country Link
CN (1) CN112415514B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114997238B (zh) * 2022-06-24 2023-04-07 西北工业大学 一种基于分布矫正的sar目标识别方法及装置
CN116051426B (zh) * 2023-03-27 2023-06-30 南京誉葆科技股份有限公司 一种合成孔径雷达图像处理方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109284786A (zh) * 2018-10-10 2019-01-29 西安电子科技大学 基于分布和结构匹配生成对抗网络的sar图像地物分类方法
CN110783177A (zh) * 2019-10-31 2020-02-11 中山大学 一种在蓝宝石模板上生长图形化GaN的方法及一种GaN外延片
CN110930471A (zh) * 2019-11-20 2020-03-27 大连交通大学 一种基于人机交互式对抗网络的图像生成方法
CN111179207A (zh) * 2019-12-05 2020-05-19 浙江工业大学 一种基于并联生成网络的跨模态医学图像合成方法
CN111476294A (zh) * 2020-04-07 2020-07-31 南昌航空大学 一种基于生成对抗网络的零样本图像识别方法及***
CN111767861A (zh) * 2020-06-30 2020-10-13 苏州兴钊防务研究院有限公司 一种基于多判别器生成对抗网络的sar图像目标识别方法
CN111861906A (zh) * 2020-06-22 2020-10-30 长安大学 一种路面裂缝图像虚拟增广模型建立及图像虚拟增广方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130106649A1 (en) * 2011-10-31 2013-05-02 Kenneth W. Brown Methods and apparatus for wide area synthetic aperture radar detection
CN111512344A (zh) * 2017-08-08 2020-08-07 西门子股份公司 使用增强用生成式对抗神经网络从cad数据生成合成深度图像
US20200142057A1 (en) * 2018-11-06 2020-05-07 The Board Of Trustees Of The Leland Stanford Junior University DeepSAR: Specific Absorption Rate (SAR) prediction and management with a neural network approach

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109284786A (zh) * 2018-10-10 2019-01-29 西安电子科技大学 基于分布和结构匹配生成对抗网络的sar图像地物分类方法
CN110783177A (zh) * 2019-10-31 2020-02-11 中山大学 一种在蓝宝石模板上生长图形化GaN的方法及一种GaN外延片
CN110930471A (zh) * 2019-11-20 2020-03-27 大连交通大学 一种基于人机交互式对抗网络的图像生成方法
CN111179207A (zh) * 2019-12-05 2020-05-19 浙江工业大学 一种基于并联生成网络的跨模态医学图像合成方法
CN111476294A (zh) * 2020-04-07 2020-07-31 南昌航空大学 一种基于生成对抗网络的零样本图像识别方法及***
CN111861906A (zh) * 2020-06-22 2020-10-30 长安大学 一种路面裂缝图像虚拟增广模型建立及图像虚拟增广方法
CN111767861A (zh) * 2020-06-30 2020-10-13 苏州兴钊防务研究院有限公司 一种基于多判别器生成对抗网络的sar图像目标识别方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
AR Image Generation Using Structural Bayesian Deep Generative Adversarial Network;Zhai, Jia等;2019 PHOTONICS & ELECTROMAGNETICS RESEARCH SYMPOSIUM - FALL (PIERS - FALL);1386-1392 *
The Method for Colorizing SAR Images of Kompsat-5 Using Cycle GAN with Multi-scale Discriminators;Ku, Wonhoe等;Korean Journal of Remote Sensing;第34卷(第6期);1415-1425 *
基于DRGAN和支持向量机的合成孔径雷达图像目标识别;徐英;谷雨;彭冬亮;刘俊;;光学精密工程(第03期);218-226 *
基于生成对抗网络和非局部神经网络的SAR图像变化检测;吴飞;中国优秀硕士学位论文全文数据库 信息科技辑(第02期);I136-1755 *
生成对抗网络及其应用研究;程深;中国优秀硕士学位论文全文数据库 信息科技辑(第7期);I138-900 *

Also Published As

Publication number Publication date
CN112415514A (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
CN110472627B (zh) 一种端到端的sar图像识别方法、装置及存储介质
CN111369572B (zh) 一种基于图像修复技术的弱监督语义分割方法和装置
Chen et al. CycleGAN-STF: Spatiotemporal fusion via CycleGAN-based image generation
CN112415514B (zh) 一种目标sar图像生成方法及装置
Zhang et al. A GANs-based deep learning framework for automatic subsurface object recognition from ground penetrating radar data
CN110826458A (zh) 一种基于深度学习的多光谱遥感图像变化检测方法及***
CN105184260A (zh) 一种图像特征提取方法及行人检测方法及装置
CN108399430B (zh) 一种基于超像素和随机森林的sar图像舰船目标检测方法
CN111311702B (zh) 一种基于BlockGAN的图像生成和识别模块及方法
CN109446894A (zh) 基于概率分割及高斯混合聚类的多光谱图像变化检测方法
CN106485716B (zh) 一种基于区域划分与Gamma混合模型的多视SAR图像分割方法
CN113703048B (zh) 对抗神经网络高分辨率地震断层检测方法和***
CN105160666B (zh) 基于非平稳分析与条件随机场的sar图像变化检测方法
CN115705393A (zh) 一种基于持续学习的雷达辐射源分级识别方法
Ding Model-driven automatic target recognition of sar images with part-level reasoning
Huang et al. Seg2Sonar: a full-class sample synthesis method applied to underwater sonar image target detection, recognition, and segmentation tasks
Xinyu et al. Methods for underwater sonar image processing in objection detection
CN109934292B (zh) 基于代价敏感性辅助学***衡极化sar地物分类方法
Yu et al. A lightweight ship detection method in optical remote sensing image under cloud interference
Papazov et al. Stochastic optimization for rigid point set registration
CN113920391A (zh) 一种基于生成尺度自适应真值图的目标计数方法
Moreno-García et al. Consensus of Two Graph Correspondences Through a Generalisation of the Bipartite Graph Matching
CN112949384A (zh) 一种基于对抗性特征提取的遥感图像场景分类方法
Bryan et al. Automatic recognition of underwater munitions from multi-view sonar surveys using semi supervised machine learning: a simulation study
Bhanu et al. Stochastic Recognition of Occluded Objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant