CN116930884B - 一种基于光sar图像转换的sar欺骗干扰模板生成及干扰方法 - Google Patents

一种基于光sar图像转换的sar欺骗干扰模板生成及干扰方法 Download PDF

Info

Publication number
CN116930884B
CN116930884B CN202311193660.1A CN202311193660A CN116930884B CN 116930884 B CN116930884 B CN 116930884B CN 202311193660 A CN202311193660 A CN 202311193660A CN 116930884 B CN116930884 B CN 116930884B
Authority
CN
China
Prior art keywords
layer
sar
generator
optical
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311193660.1A
Other languages
English (en)
Other versions
CN116930884A (zh
Inventor
田甜
周峰
张宇成
郭欣仪
樊伟伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202311193660.1A priority Critical patent/CN116930884B/zh
Publication of CN116930884A publication Critical patent/CN116930884A/zh
Application granted granted Critical
Publication of CN116930884B publication Critical patent/CN116930884B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/38Jamming means, e.g. producing false echoes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/094Adversarial learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于光SAR图像转换的SAR欺骗干扰模板生成方法,包括:获取光学目标图像;将光学目标图像输入训练好的生成器,生成光学目标图像对应俯仰和方位角下的虚假SAR目标图像;生成器是采用多对训练样本和目标损失函数,对初始转换生成对抗网络训练得到;每对训练样本包括一张光学样本图像和一张SAR样本图像;目标损失函数包含生成器损失函数和判别器损失函数;生成器损失函数包含循环一致性损失函数、聚焦频率损失函数和沃森斯坦梯度惩罚生成对抗损失函数中生成器的相关项;将生成的虚假SAR目标图像作为欺骗干扰模板。本发明可以利用丰富的光学目标图像生成多姿态、高逼真度的SAR目标欺骗干扰模板,提高了SAR欺骗干扰模板的多样性和质量。

Description

一种基于光SAR图像转换的SAR欺骗干扰模板生成及干扰方法
技术领域
本发明属于雷达技术领域,具体涉及一种基于光SAR图像转换的SAR欺骗干扰模板生成及干扰方法。
背景技术
合成孔径雷达(Synthetic Aperture Radar,SAR)是一种微波遥感雷达,因其全天时、全天候的高分辨率成像优势,被广泛应用在地质测绘、目标监视和重点区域侦察等领域。随着SAR技术的飞速发展,为了有效避免关键区域或目标遭受SAR的恶意侦察,各种欺骗性干扰技术也应运而生,而高质量的SAR欺骗干扰模板是实施有效SAR欺骗干扰的前提,因此,需要研究高逼真度、多姿态、低耗时的SAR欺骗干扰模板生成技术。
传统的SAR欺骗性干扰模板生成方法一般分为基于实测采集数据的模板生成方法和基于电磁计算的模板生成方法。其中,前者所需的人力成本高,操作难度大,且对环境要求严格,而后者存在几何建模复杂度高、计算资源消耗大等问题。随着人工智能技术的发展,基于深度学习的SAR目标图像生成方法开始涌现,为SAR欺骗干扰模板的生成提供了新的解决思路。目前基于深度学习的SAR欺骗干扰模板生成方法主要采用生成对抗网络(Generative Adversarial Networks,GAN)及其衍生网络生成SAR目标欺骗干扰模板。但是上述方法均利用SAR图像数据集进行模板生成,而目前多目标类型、多角度的SAR目标图像十分有限,导致模板多样性不足,不能适配各种欺骗干扰环境。
也就是说,相关技术中的SAR欺骗模板生成方法存在以下问题:
1)基于实测采集数据和基于电磁计算的SAR欺骗干扰模板生成方法的模板获取成本高、耗时长;
2)对于主要采用SAR图像数据集进行模板生成的方法而言,由于目前多目标类型、多角度的SAR目标图像十分有限,导致模板多样性不足,从而使得生成的模板不能适配各种欺骗干扰环境。
发明内容
为了解决相关技术中存在的上述问题,本发明提供了一种基于光SAR图像转换的SAR欺骗干扰模板生成及干扰方法。本发明要解决的技术问题通过以下技术方案实现:
本发明提供一种基于光SAR图像转换的SAR欺骗干扰模板生成方法,包括:
获取光学目标图像;
将所述光学目标图像输入训练好的生成器,生成所述光学目标图像对应俯仰和方位角下的虚假SAR目标图像;所述生成器是采用多对训练样本和目标损失函数,对初始转换生成对抗网络进行训练得到的;每对训练样本包括一张光学样本图像和一张SAR样本图像;所述目标损失函数包含生成器损失函数和判别器损失函数;所述生成器损失函数包含循环一致性损失函数、聚焦频率损失函数,以及沃森斯坦梯度惩罚生成对抗损失函数中生成器的相关项;
将所述虚假SAR目标图像作为欺骗干扰模板。
在一些实施例中,所述将所述光学目标图像输入训练好的生成器,生成所述光学目标图像对应俯仰和方位角下的虚假SAR目标图像,包括:
将所述光学目标图像输入训练好的生成器后,所述光学目标图像依次经过第一编码层、第二编码层、第三编码层、第四编码层、第五编码层和第六编码层后,生成编码特征;
所述编码特征经过第一解码层后,生成第一解码特征;
所述第一解码特征和所述第五编码层的输出共同经过第二解码层后,生成第二解码特征;
所述第二解码特征和所述第四编码层的输出共同经过第三解码层后,生成第三解码特征;
所述第三解码特征和所述第三编码层的输出共同经过第四解码层后,生成第四解码特征;
所述第四解码特征依次经过第五解码层、第六解码层和一个组合层后,生成所述SAR目标图像。
在一些实施例中,所述第一编码层依次包括:第一卷积层、卷积核选择网络、实例归一化层和ReLU激活层;
所述第二编码层依次包括:第二卷积层、所述卷积核选择网络层、所述实例归一化层和所述ReLU激活层;
所述第三编码层依次包括:第三卷积层、所述卷积核选择网络层、所述实例归一化层和所述ReLU激活层;
所述第四编码层、所述第五编码层和所述第六编码层为相同的编码层;所述第四编码层包括:第四卷积层、所述实例归一化层和所述ReLU激活层。
在一些实施例中,所述第一解码层依次包括:第一反卷积层、实例归一化层和ReLU激活层;
所述第二解码层依次包括:所述第一反卷积层、所述实例归一化层和所述ReLU激活层;
所述第三解码层依次包括:第二反卷积层、所述实例归一化层和所述ReLU激活层;
所述第四解码层依次包括:第三反卷积层、所述实例归一化层和所述ReLU激活层;
所述第五解码层和所述第六解码层均依次包括:第四反卷积层、所述实例归一化层和所述ReLU激活层;
所述组合层依次包括:第五卷积层、所述实例归一化层和Tanh激活层。
在一些实施例中,在所述将所述光学目标图像输入训练好的生成器,生成所述光学目标图像对应俯仰和方位角下的虚假SAR目标图像之前,还包括:
获取所述多对训练样本;
构建所述初始转换生成对抗网络;所述初始转换生成对抗网络包括:第一生成器和第二生成器,以及结构相同的第一判别器和第二判别器;所述第一生成器用于根据输入的光学图像生成对应的虚假SAR图像,所述第二生成器用于根据输入的SAR图像生成对应的虚假光学图像;
采用所述多对训练样本和所述目标损失函数,对所述初始转换生成对抗网络进行训练,得到训练好的转换生成对抗网络;所述生成器损失函数用于训练所述第一生成器和所述第二生成器,所述判别器损失函数用于训练所述第一判别器和所述第二判别器;
将所述训练好的转换生成对抗网络中的训练好的第一生成器,作为所述训练好的生成器。
在一些实施例中,用于训练所述第一生成器的所述生成器损失函数的表达式如下:
其中,表示用于训练所述第一生成器的所述生成器损失函数,/>表示所述第一生成器的沃森斯坦梯度惩罚生成对抗损失函数中生成器的相关项,/>表示聚焦频率损失函数,/>表示循环一致性损失函数,β和α均表示预设的加权系数,G1表示所述第一生成器,G2表示所述第二生成器,D1表示所述第一判别器,y表示每次用于训练的训练样本对中的每张光学样本图像,x表示与y构成一对训练样本的SAR样本图像,YO表示每次用于训练的训练样本对中的光学样本图像的分布,XS表示每次用于训练的训练样本对中的SAR样本图像的分布,G1(y)表示根据y生成的虚假SAR图像,G2(G1(y))表示根据G1(y)生成的重构光学图像,G2(x)表示根据x生成的虚假光学图像,G1(G2(x))表示根据G2(x)生成的重构SAR图像,D1(G1(y))表示D1对G1(y)进行判别,H为光学样本图像或SAR样本图像的高度,W为光学样本图像或SAR样本图像的宽度,wfreq(p,q)表示位置坐标(p,q)处的空间频率的权重,Fn(p,q)表示图像n经二维离散傅里叶变换后位置坐标(p,q)处的复频率值,n表示x、y、G1(y)和G2(x),/>表示期望值,|.|表示绝对值,||.||1表示L1范数,/>表示使/>达到最小。
在一些实施例中,用于训练所述第一判别器的所述判别器损失函数的表达式如下:
其中,表示用于训练所述第一判别器的所述判别器损失函数,||.||2表示L2范数,/>表示SAR样本空间和虚假SAR样本空间之间的分布,所述SAR样本空间是由每次用于训练的训练样本对中的SAR样本图像所构成的样本空间,所述虚假SAR样本空间是由将每次用于训练的训练样本对中的光学样本图像输入所述第一生成器后生成的虚假SAR图像所构成的样本空间,/>表示对/>采样得到的样本图像,/>表示对/>进行判别,/>表示梯度,/>表示使/>达到最小,D1(x)表示对x进行判别。
在一些实施例中,所述第一卷积层的卷积核个数为32,所述第二卷积层的卷积核个数为64,所述第三卷积层的卷积核个数为128,所述第四卷积层的卷积核个数为256。
在一些实施例中,所述第一反卷积层的卷积核个数为256,所述第二反卷积层的卷积核个数为128,所述第三反卷积层的卷积核个数为64,所述第四反卷积层的卷积核个数为32,所述第五卷积层的卷积核个数为1。
本发明还提供一种干扰方法,包括:
获取采用上述基于光SAR图像转换的SAR欺骗干扰模板生成方法生成的欺骗干扰模板;
根据所述欺骗干扰模板生成虚假目标欺骗干扰信号,采用所述虚假目标欺骗干扰信号对SAR进行欺骗干扰。
本发明具有如下有益技术效果:
由于本发明的训练好的生成器是采用目标损失函数对初始转换生成对抗网络进行训练得到的,并且,目标损失函数包含生成器损失函数和判别器损失函数,且生成器损失函数包含循环一致性损失函数、聚焦频率损失函数,以及沃森斯坦梯度惩罚生成对抗损失函数中生成器的相关项,生成器损失函数中的循环一致性损失函数能够在图像转换的同时保留原图部分信息,对图像生成添加约束,沃森斯坦梯度惩罚生成对抗损失函数能够提高网络训练的稳定性,并且,聚焦频率损失能够从频域进一步提升生成图像的质量,因而,训练好的生成器的性能更好,且更稳定,因而,生成的SAR图像的质量更高,更接近真实SAR图像;再有,由于本发明将生成器应用在SAR欺骗干扰模板的生成方面,并且是利用包括光学样本图像和对应的SAR样本图像的多对训练样本对初始转换生成对抗网络进行训练得到的,因而,在生成SAR欺骗干扰模板时只需输入光学目标图像即可,从而,可以利用丰富的光学目标图像生成多姿态、高逼真度的SAR目标欺骗干扰模板,提高了SAR欺骗干扰模板的多样性和质量。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1为本发明实施例提供的基于光SAR图像转换的SAR欺骗干扰模板生成方法的一个流程图;
图2为本发明实施例提供的示例性的生成器的内部结构示意图;
图3为本发明实施例提供的示例性的判别器的内部结构示意图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述,但本发明的实施方式不限于此。
在本发明的描述中,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外,本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。
尽管在此结合各实施例对本发明进行了描述,然而,在实施所要求保护的本发明过程中,本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书,可理解并实现所述公开实施例的其他变化。在权利要求中,“包括”(comprising)一词不排除其他组成部分或步骤,“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施,但这并不表示这些措施不能组合起来产生良好的效果。
图1是本发明实施例提供的基于光SAR图像转换的SAR欺骗干扰模板生成方法的一个流程图,如图1所示,所述方法包括以下步骤:
S101、获取光学目标图像。
S102、将光学目标图像输入训练好的生成器,生成光学目标图像对应俯仰和方位角下的虚假SAR目标图像;生成器是采用多对训练样本和目标损失函数,对初始转换生成对抗网络进行训练得到的;每对训练样本包括一张光学样本图像和一张SAR样本图像;目标损失函数包含生成器损失函数和判别器损失函数;生成器损失函数包含循环一致性损失、聚焦频率损失,以及沃森斯坦梯度惩罚生成对抗损失函数中生成器的相关项。
这里,初始转换生成对抗网络包括:第一生成器和第二生成器,以及结构相同的第一判别器和第二判别器;第一生成器用于根据输入的光学图像生成对应的虚假SAR图像,第二生成器用于根据输入的SAR图像生成对应的虚假光学图像。
第一生成器和第二生成器均包括:编码器和解码器,但是,第一生成器的解码器和第二生成器的解码器的最后一个卷积层的卷积核数目不同。示例性的,如图2所示,第一生成器中的编码器包括:第一编码层、第二编码层、第三编码层、第四编码层、第五编码层和第六编码层。第一编码层依次包括:第一卷积层、卷积核选择网络(Selective KernelNetwork,SK-NET)层、实例归一化(Instance Normalization,IN)层和ReLU(RectifiedLinear Unit)激活层;具体的,第一卷积层的卷积核个数为32,卷积核大小为4×4,步长为2,填充为0。第二编码层依次包括:第二卷积层、SK-NET层、IN层和ReLU激活层;具体的,第二卷积层的卷积核个数为64,卷积核大小为4×4,步长为2,填充为0。第三编码层依次包括:第三卷积层、SK-NET层、IN层和ReLU激活层;具体的,第三卷积层的卷积核个数为128,卷积核大小为4×4,步长为2,填充为0。第四编码层、第五编码层和第六编码层为相同的编码层,并且,第四编码层包括:第四卷积层、IN层和ReLU激活层;具体的,第四卷积层的卷积核个数为256,卷积核大小为4×4,步长为2,填充为0。如图2所示,第一生成器中的解码器从上向下依次包括:第一解码层、第二解码层、第三解码层、第四解码层、第五解码层、第六解码层和一个组合层。第一解码层依次包括:第一反卷积层、IN层和ReLU激活层;具体的,第一反卷积层的卷积核个数为256,卷积核大小为4×4,步长为2,填充为0。第二解码层依次包括:第一反卷积层、IN层和ReLU激活层。第三解码层依次包括:第二反卷积层、IN层和ReLU激活层;具体的,第二反卷积层的卷积核个数为128,卷积核大小为4×4,步长为2,填充为0。第四解码层依次包括:第三反卷积层、IN层和ReLU激活层;具体的,第三反卷积层的卷积核个数为64,卷积核大小为4×4,步长为2,填充为0。第五解码层和第六解码层均依次包括:第四反卷积层、IN层和ReLU激活层;具体的,第四反卷积层的卷积核个数为32,卷积核大小为4×4,步长为2,填充为0。组合层依次包括:第五卷积层、IN层和Tanh激活层;具体的,第五卷积层的卷积核个数为1,且卷积核大小为4×4,步长为1,填充为0。如图2所示,第一解码层的输出通道与第五编码层的输出通道级联,第二解码层的输出通道与第四编码层的输出通道级联,第三解码层的输出通道与第三编码层的输出通道级联。需要说明的是,在图2中第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层统称为卷积层;在图2中第一反卷积层、第二反卷积层、第三反卷积层和第四反卷积层统称为反卷积层。
这里,第二生成器的解码器的最后一个卷积层的卷积核个数为3。
需要说明的是,上述对于编码层和解码层的层数、层级结构,以及其中的卷积层和反卷积层的具体参数的说明都是示例性的,编码层和解码层的层数、层级结构,以及其中的卷积层和反卷积层的具体参数可以根据实际需要进行设置。
本发明通过将SK-NET层与其他层组合,可以更好的提取输入图像的特征,从而有利于生成更加逼真的图像。通过编码器在对输入的图像进行下采样的过程中由于卷积层的固有缺点,会造成图像的一些原始信息的损失,本发明通过上述形式的通道级联,可以将一些原始图像的信息直接传递到解码器部分,从而可以减少图像的原始信息的损失,从而使得生成器生成的图像更加逼真。也就是说,采用上述结构的生成器可以提高生成的图像逼真度。
这里,上述S102可以通过以下步骤实现:
S1021、将光学目标图像输入训练好的生成器后,光学目标图像依次经过第一编码层、第二编码层、第三编码层、第四编码层、第五编码层和第六编码层后,生成编码特征。
S1022、编码特征经过第一解码层后,生成第一解码特征。
S1023、第一解码特征和第五编码层的输出共同经过第二解码层后,生成第二解码特征。
S1024、第二解码特征和第四编码层的输出共同经过第三解码层后,生成第三解码特征。
S1025、第三解码特征和第三编码层的输出共同经过第四解码层后,生成第四解码特征。
S1026、第四解码特征依次经过第五解码层、第六解码层和一个组合层后,生成虚假SAR目标图像。
这里,第一判别器和第二判别器均采用PatchGAN结构,如图3所示,第一判别器依次包括:第一组合层、第二组合层、第三组合层、第四组合层和第五层。第一组合层依次包括:第二卷积层和渗露线性整流(Leaky Rectified Linear Unit,LReLU)激活层;具体的,第二卷积层的卷积核个数为64,卷积核大小为4×4,步长为2,填充为0。第二组合层依次包括:第三卷积层、IN层和LReLU激活层。第三组合层依次包括:第四卷积层、IN层和LReLU激活层。第四组合层依次包括:第六卷积层、IN层和LReLU激活层;具体的,第六卷积层的卷积核个数为512,卷积核大小为4×4,步长为1,填充为0。第五层包括:第五卷积层;具体的,第五卷积层的卷积核个数为1,卷积核大小为4×4,步长为1,填充为0。需要说明的是,在图3中第二卷积层、第三卷积层、第四卷积层、第六卷积层和第五卷积层统称为卷积层。
需要说明的是,上述对于各个组合层和第五层的层数、层级结构,以及其中的卷积层的具体参数的说明都是示例性的,各个组合层和第五层的层数、层级结构,以及其中的卷积层的具体参数可以根据实际需要进行设置。
这里,第一生成器的输入为光学图像,输出为该光学图像对应的虚假SAR图像;第二生成器的输入为SAR图像,输出为该SAR图像对应的虚假光学图像。第一判别器的输入为该虚假SAR图像和该SAR图像,输出为对该虚假SAR图像和该SAR图像的判别值;第二判别器的输入为该虚假光学图像和该光学图像,输出为对该虚假光学图像和该光学图像的判别值。
S103、将虚假SAR目标图像作为欺骗干扰模板。
这里,欺骗干扰模板用于生成虚假的欺骗干扰信号。
在一些实施例中,在上述S102之前,还包括:
S201、获取多对训练样本。
这里,可以获取多张不同的光学图像,以及获取每张光学图像对应的SAR图像,并将每张光学图像和该张光学图像对应的SAR图像构成一对训练样本(即一个训练样本对),其中,该张光学图像作为光学样本图像,该张光学图像对应的SAR图像作为SAR样本图像。例如,可以分别采用Altair FEKO电磁分析软件和3ds Max图形建模软件生成若干对不同的SAR图像-光学图像,并从中选取多对SAR图像-光学图像作为训练集,以及再选取多对SAR图像-光学图像作为测试集。
S202、构建初始转换生成对抗网络;初始转换生成对抗网络包括:第一生成器和第二生成器,以及结构相同的第一判别器和第二判别器;第一生成器用于根据输入的光学图像生成对应的虚假SAR图像,第二生成器用于根据输入的SAR图像生成对应的虚假光学图像。
S203、采用多对训练样本和目标损失函数,对初始转换生成对抗网络进行训练,得到训练好的转换生成对抗网络;生成器损失函数用于训练第一生成器和第二生成器,判别器损失函数用于训练第一判别器和第二判别器。
具体的,用于训练第一生成器的生成器损失函数的表达式如下:
具体的,用于训练第二生成器的生成器损失函数的表达式如下:
具体的,用于训练第一判别器的判别器损失函数的表达式如下:
具体的,用于训练第二判别器的判别器损失函数的表达式如下:
上述公式中,其中,表示用于训练第一生成器的生成器损失函数,/>表示用于训练第二生成器的生成器损失函数,/>表示第一生成器的沃森斯坦梯度惩罚生成对抗损失函数中生成器的相关项,/>表示第二生成器的沃森斯坦梯度惩罚生成对抗损失函数中生成器的相关项,/>和/>均表示聚焦频率损失,/>和/>均表示循环一致性损失函数,β和α均表示预设的加权系数,G1表示第一生成器,G2表示第二生成器,D1表示第一判别器,D2表示第二判别器,y表示每次用于训练的训练样本对中的每张光学样本图像,x表示与y构成一对训练样本的SAR样本图像,YO表示每次用于训练的训练样本对中的光学样本图像的分布,XS表示每次用于训练的训练样本对中的SAR样本图像的分布,G1(y)表示根据y生成的虚假SAR图像,G2(G1(y))表示根据G1(y)生成的重构光学图像,G2(x)表示根据x生成的虚假光学图像,G1(G2(x))表示根据G2(x)生成的重构SAR图像,D1(G1(y))表示D1对G1(y)进行判别,D2(G2(x))表示D2对G2(x)进行判别,H为光学样本图像或SAR样本图像的高度,W为光学样本图像或SAR样本图像的宽度,wfreq(p,q)表示位置坐标(p,q)处的空间频率的权重,Fn(p,q)表示图像n经二维离散傅里叶变换后位置坐标(p,q)处的复频率值,n表示x、y、G1(y)和G2(x),/>表示期望值,|.|表示绝对值,||.||1表示L1范数,||.||2表示L2范数;/>表示SAR样本空间和虚假SAR样本空间之间的分布,SAR样本空间是由每次用于训练的训练样本对中的SAR样本图像所构成的样本空间,虚假SAR样本空间是由将每次用于训练的训练样本对中的光学样本图像输入第一生成器后生成的虚假SAR图像所构成的样本空间,/>表示对采样得到的样本图像,/>表示对/>进行判别,D1(x)表示对x进行判别,/>表示梯度;/>表示光学样本空间和虚假光学样本空间之间的分布,光学样本空间是由每次用于训练的训练样本对中的光学样本图像所构成的样本空间,虚假光学样本空间是由将每次用于训练的训练样本对中的SAR样本图像输入第二生成器后生成的虚假光学图像所构成的样本空间,/>表示对/>采样得到的样本图像,/>表示对/>进行判别,D2(y)表示对y进行判别,/>表示梯度,/>表示使/>最小,/>表示使/>最小,/>表示使/>最小,/>表示使/>最小。
需要说明的是,在每次对转换生成对抗网络进行训练时,首先训练第二判别器,之后再训练第二生成器,接着训练第一判别器,最后训练第一生成器。
这里,在进行训练时,当训练参数达到预设停止条件时,可以停止训练,从而将最后一次训练得到的转换生成对抗网络作为训练好的转换生成对抗网络;并且,训练参数和预设停止条件可以根据实际需要设定。例如,当训练参数为训练次数时,预设停止条件可以为预设的训练次数(例如,训练过程中的Epoch(训练轮数)为200)等等,本申请对此不作限定。
示例性的,本申请在对初始转换生成对抗网络进行训练时,batch-size(批大小)可以为1,并选用适应性矩估计(Adaptive moment estimation,Adam)作为网络优化算法,并且,网络的初始学习率为0.0002。
S204、将训练好的转换生成对抗网络中的训练好的第一生成器,作为训练好的生成器。
本发明还提供一种干扰方法,该方法包括:
S301、获取采用上述基于光SAR图像转换的SAR欺骗干扰模板生成方法生成的欺骗干扰模板。
S302根据欺骗干扰模板生成虚假目标欺骗干扰信号,采用虚假目标欺骗干扰信号对SAR进行欺骗干扰。
这里,可以采用已有的虚假干扰信号生成方法,根据欺骗干扰模板生成对应的虚假目标欺骗干扰信号。例如,已有的虚假干扰信号生成方法可以为“一种虚假大场景SAR快速转发式欺骗干扰”。
以下通过仿真实验数据,对本发明实施例的技术效果进行进一步说明。
(1)实验条件
本发明采用的仿真实验硬件平台:GPU为NVIDIA GeForce RTX 3090,其显存大小为24GB;CPU为11代Intel i7-11700K,主频为3.6GHz,内存大小为64GB。本发明采用的仿真实验软件平台:操作***为windows 11。
(2)仿真内容
1、受限于实际场景下样本对光学图像-SAR图像的匮乏,实验中分别使用软件3dsMax和FEKO仿真生成光学样本图像数据集和对应的SAR样本图像数据集。光学样本图像测试数据集包含:坦克1在方位角1和俯仰角1下的一张光学图像和坦克2在方位角2和俯仰角2下的一张光学图像;对应的;SAR样本图像测试数据集包含:坦克1在方位角1和俯仰角1下的一张SAR图像和坦克2在方位角2和俯仰角2下的一张SAR图像。
2、在网络训练环节,将由光学样本图像数据集和对应的SAR样本图像数据集构成的训练样本输入光-SAR转换生成对抗网络(本文上述的初始转换生成对抗网络),对光-SAR转换生成对抗网络进行训练。
3、在测试环节,由于本发明最终目的是生成SAR目标欺骗干扰模板,所以仅需将上述测试集中的测试样本,即坦克1的一张光学图像(以下称为测试光学图像a)、坦克2的一张光学图像(以下称为测试光学图像b)输入训练好的光-SAR转换生成对抗网络中的第一生成器,该生成器即可输出测试光学图像a和测试光学图像b各自对应的一张SAR图像,通过实际比较发现,生成的SAR图像具有极高的逼真度。
4、在欺骗干扰仿真实验中,利用步骤3中的生成器生成三个坦克的SAR目标图像作为SAR欺骗干扰模板,并根据SAR欺骗干扰模板和原始场景的SAR图像生成欺骗干扰后的SAR图像。例如,原始场景的SAR图像中具有陆地区域和湖泊区域,生成的欺骗干扰后的SAR图像中,将三个坦克的SAR图像嵌入到了原始场景的SAR图像中的陆地区域,通过比较原始场景的SAR图像和生成的欺骗干扰后的SAR图像发现,高逼真度的欺骗干扰模板很好的嵌入进了原始场景,验证了本发明中欺骗干扰模板生成方法的有效性,可以很好的应用在SAR欺骗干扰领域中。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于光SAR图像转换的SAR欺骗干扰模板生成方法,其特征在于,包括:
获取光学目标图像;
将所述光学目标图像输入训练好的生成器,生成所述光学目标图像对应俯仰和方位角下的虚假SAR目标图像;所述生成器是采用多对训练样本和目标损失函数,对初始转换生成对抗网络进行训练得到的;每对训练样本包括一张光学样本图像和一张SAR样本图像;所述目标损失函数包含生成器损失函数和判别器损失函数;所述生成器损失函数包含循环一致性损失函数、聚焦频率损失函数,以及沃森斯坦梯度惩罚生成对抗损失函数中生成器的相关项;
将所述虚假SAR目标图像作为欺骗干扰模板。
2.根据权利要求1所述的基于光SAR图像转换的SAR欺骗干扰模板生成方法,其特征在于,所述将所述光学目标图像输入训练好的生成器,生成所述光学目标图像对应俯仰和方位角下的虚假SAR目标图像,包括:
将所述光学目标图像输入训练好的生成器后,所述光学目标图像依次经过第一编码层、第二编码层、第三编码层、第四编码层、第五编码层和第六编码层后,生成编码特征;
所述编码特征经过第一解码层后,生成第一解码特征;
所述第一解码特征和所述第五编码层的输出共同经过第二解码层后,生成第二解码特征;
所述第二解码特征和所述第四编码层的输出共同经过第三解码层后,生成第三解码特征;
所述第三解码特征和所述第三编码层的输出共同经过第四解码层后,生成第四解码特征;
所述第四解码特征依次经过第五解码层、第六解码层和一个组合层后,生成所述SAR目标图像。
3.根据权利要求2所述的基于光SAR图像转换的SAR欺骗干扰模板生成方法,其特征在于,所述第一编码层依次包括:第一卷积层、卷积核选择网络层、实例归一化层和ReLU激活层;
所述第二编码层依次包括:第二卷积层、所述卷积核选择网络层、所述实例归一化层和所述ReLU激活层;
所述第三编码层依次包括:第三卷积层、所述卷积核选择网络层、所述实例归一化层和所述ReLU激活层;
所述第四编码层、所述第五编码层和所述第六编码层为相同的编码层;所述第四编码层包括:第四卷积层、所述实例归一化层和所述ReLU激活层。
4.根据权利要求2所述的基于光SAR图像转换的SAR欺骗干扰模板生成方法,其特征在于,所述第一解码层依次包括:第一反卷积层、实例归一化层和ReLU激活层;
所述第二解码层依次包括:所述第一反卷积层、所述实例归一化层和所述ReLU激活层;
所述第三解码层依次包括:第二反卷积层、所述实例归一化层和所述ReLU激活层;
所述第四解码层依次包括:第三反卷积层、所述实例归一化层和所述ReLU激活层;
所述第五解码层和所述第六解码层均依次包括:第四反卷积层、所述实例归一化层和所述ReLU激活层;
所述组合层依次包括:第五卷积层、所述实例归一化层和Tanh激活层。
5.根据权利要求1所述的基于光SAR图像转换的SAR欺骗干扰模板生成方法,其特征在于,在所述将所述光学目标图像输入训练好的生成器,生成所述光学目标图像对应俯仰和方位角下的虚假SAR目标图像之前,还包括:
获取所述多对训练样本;
构建所述初始转换生成对抗网络;所述初始转换生成对抗网络包括:第一生成器和第二生成器,以及结构相同的第一判别器和第二判别器;所述第一生成器用于根据输入的光学图像生成对应的虚假SAR图像,所述第二生成器用于根据输入的SAR图像生成对应的虚假光学图像;
采用所述多对训练样本和所述目标损失函数,对所述初始转换生成对抗网络进行训练,得到训练好的转换生成对抗网络;所述生成器损失函数用于训练所述第一生成器和所述第二生成器,所述判别器损失函数用于训练所述第一判别器和所述第二判别器;
将所述训练好的转换生成对抗网络中的训练好的第一生成器,作为所述训练好的生成器。
6.根据权利要求5所述的基于光SAR图像转换的SAR欺骗干扰模板生成方法,其特征在于,用于训练所述第一生成器的所述生成器损失函数的表达式如下:
其中,表示用于训练所述第一生成器的所述生成器损失函数,/>表示所述第一生成器的沃森斯坦梯度惩罚生成对抗损失函数中生成器的相关项,/>表示聚焦频率损失函数,/>表示循环一致性损失函数,β和α均表示预设的加权系数,G1表示所述第一生成器,G2表示所述第二生成器,D1表示所述第一判别器,y表示每次用于训练的训练样本对中的每张光学样本图像,x表示与y构成一对训练样本的SAR样本图像,YO表示每次用于训练的训练样本对中的光学样本图像的分布,XS表示每次用于训练的训练样本对中的SAR样本图像的分布,G1(y)表示根据y生成的虚假SAR图像,G2(G1(y))表示根据G1(y)生成的重构光学图像,G2(x)表示根据x生成的虚假光学图像,G1(G2(x))表示根据G2(x)生成的重构SAR图像,D1(G1(y))表示D1对G1(y)进行判别,H为光学样本图像或SAR样本图像的高度,W为光学样本图像或SAR样本图像的宽度,wfreq(p,q)表示位置坐标(p,q)处的空间频率的权重,Fn(p,q)表示图像n经二维离散傅里叶变换后位置坐标(p,q)处的复频率值,n表示x、y、G1(y)和G2(x),/>表示期望值,|.|表示绝对值,||.||1表示L1范数,/>表示使/>达到最小。
7.根据权利要求6所述的基于光SAR图像转换的SAR欺骗干扰模板生成方法,其特征在于,用于训练所述第一判别器的所述判别器损失函数的表达式如下:
其中,表示用于训练所述第一判别器的所述判别器损失函数,||.||2表示L2范数,表示SAR样本空间和虚假SAR样本空间之间的分布,所述SAR样本空间是由每次用于训练的训练样本对中的SAR样本图像所构成的样本空间,所述虚假SAR样本空间是由将每次用于训练的训练样本对中的光学样本图像输入所述第一生成器后生成的虚假SAR图像所构成的样本空间,/>表示对/>采样得到的样本图像,/>表示对/>进行判别,/>表示梯度,表示使/>达到最小,D1(x)表示对x进行判别。
8.根据权利要求3所述的基于光SAR图像转换的SAR欺骗干扰模板生成方法,其特征在于,所述第一卷积层的卷积核个数为32,所述第二卷积层的卷积核个数为64,所述第三卷积层的卷积核个数为128,所述第四卷积层的卷积核个数为256。
9.根据权利要求4所述的基于光SAR图像转换的SAR欺骗干扰模板生成方法,其特征在于,所述第一反卷积层的卷积核个数为256,所述第二反卷积层的卷积核个数为128,所述第三反卷积层的卷积核个数为64,所述第四反卷积层的卷积核个数为32,所述第五卷积层的卷积核个数为1。
10.一种干扰方法,其特征在于,包括:
获取采用上述权利要求1~9任一项所述的方法生成的欺骗干扰模板;
根据所述欺骗干扰模板生成虚假目标欺骗干扰信号,采用所述虚假目标欺骗干扰信号对SAR进行欺骗干扰。
CN202311193660.1A 2023-09-15 2023-09-15 一种基于光sar图像转换的sar欺骗干扰模板生成及干扰方法 Active CN116930884B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311193660.1A CN116930884B (zh) 2023-09-15 2023-09-15 一种基于光sar图像转换的sar欺骗干扰模板生成及干扰方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311193660.1A CN116930884B (zh) 2023-09-15 2023-09-15 一种基于光sar图像转换的sar欺骗干扰模板生成及干扰方法

Publications (2)

Publication Number Publication Date
CN116930884A CN116930884A (zh) 2023-10-24
CN116930884B true CN116930884B (zh) 2023-12-26

Family

ID=88380726

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311193660.1A Active CN116930884B (zh) 2023-09-15 2023-09-15 一种基于光sar图像转换的sar欺骗干扰模板生成及干扰方法

Country Status (1)

Country Link
CN (1) CN116930884B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110988818A (zh) * 2019-12-09 2020-04-10 西安电子科技大学 基于条件生成式对抗网络的欺骗干扰模板生成方法
CN111292220A (zh) * 2020-01-19 2020-06-16 西北工业大学 面向合成孔径雷达目标图像识别的靶向伪装图像生成方法
CN113870157A (zh) * 2021-09-26 2021-12-31 电子科技大学 一种基于CycleGAN的SAR图像合成方法
CN113960551A (zh) * 2021-08-30 2022-01-21 西安电子科技大学 一种针对sar图像的杂波图像生成方法和目标检测方法
WO2022047625A1 (zh) * 2020-09-01 2022-03-10 深圳先进技术研究院 一种图像处理方法、***和计算机存储介质
CN114897723A (zh) * 2022-05-05 2022-08-12 南京航空航天大学 一种基于生成式对抗网络的图像生成与加噪方法
CN115201768A (zh) * 2022-06-10 2022-10-18 西安电子科技大学 基于循环一致性生成对抗网络的有源欺骗式干扰方法
WO2022262209A1 (zh) * 2021-06-17 2022-12-22 深圳市商汤科技有限公司 一种神经网络训练方法、装置、计算机设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4014197A1 (en) * 2019-08-13 2022-06-22 University of Hertfordshire Higher Education Corporation Predicting visible/infrared band images using radar reflectance/backscatter images of a terrestrial region

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110988818A (zh) * 2019-12-09 2020-04-10 西安电子科技大学 基于条件生成式对抗网络的欺骗干扰模板生成方法
CN111292220A (zh) * 2020-01-19 2020-06-16 西北工业大学 面向合成孔径雷达目标图像识别的靶向伪装图像生成方法
WO2022047625A1 (zh) * 2020-09-01 2022-03-10 深圳先进技术研究院 一种图像处理方法、***和计算机存储介质
WO2022262209A1 (zh) * 2021-06-17 2022-12-22 深圳市商汤科技有限公司 一种神经网络训练方法、装置、计算机设备及存储介质
CN113960551A (zh) * 2021-08-30 2022-01-21 西安电子科技大学 一种针对sar图像的杂波图像生成方法和目标检测方法
CN113870157A (zh) * 2021-09-26 2021-12-31 电子科技大学 一种基于CycleGAN的SAR图像合成方法
CN114897723A (zh) * 2022-05-05 2022-08-12 南京航空航天大学 一种基于生成式对抗网络的图像生成与加噪方法
CN115201768A (zh) * 2022-06-10 2022-10-18 西安电子科技大学 基于循环一致性生成对抗网络的有源欺骗式干扰方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
SAR有源欺骗干扰模版生成与效果评估方法;李雨辰;中国硕士学位论文全文数据库 信息科技辑;全文 *
Wide-Band Interference Mitigation for SAR Based on Generative Adversarial Network;Zhaodong Zhan;2021 CIE International Conference on Radar (Radar);全文 *
基于DCGAN的SAR虚假目标图像仿真;卢庆林;叶伟;李国靖;;电子信息对抗技术(02);全文 *
基于SAR目标特征的欺骗式干扰技术研究;赵明明;中国硕士学位论文全文数据库 信息科技辑;全文 *
基于谱归一化生成对抗网络的目标SAR图像仿真方法;孙智博;徐向辉;;计算机与现代化(08);全文 *
生成对抗网络的发展与挑战;董永生;信号处理;全文 *

Also Published As

Publication number Publication date
CN116930884A (zh) 2023-10-24

Similar Documents

Publication Publication Date Title
Akçay et al. Skip-ganomaly: Skip connected and adversarially trained encoder-decoder anomaly detection
Yu et al. A survey on deepfake video detection
Wang et al. Enhanced 1-bit radar imaging by exploiting two-level block sparsity
Pan et al. Residual attention-aided U-Net GAN and multi-instance multilabel classifier for automatic waveform recognition of overlapping LPI radar signals
Weinberg et al. Bayesian framework for detector development in Pareto distributed clutter
CN107301641A (zh) 一种遥感图像变化的检测方法及装置
CN116047427B (zh) 一种小样本雷达有源干扰识别方法
CN111010356A (zh) 一种基于支持向量机的水声通信信号调制方式识别方法
Liu et al. AFDet: Toward more accurate and faster object detection in remote sensing images
CN111062321A (zh) 一种基于深度卷积网络的sar检测方法及***
Aziz et al. Optimising compressive sensing matrix using Chicken Swarm Optimisation algorithm
Sun et al. Convolutional neural network (CNN)-based fast back projection imaging with noise-resistant capability
Wang et al. Generative AI for integrated sensing and communication: Insights from the physical layer perspective
Kong et al. A transformer-based contrastive semi-supervised learning framework for automatic modulation recognition
Jia et al. Bipartite adversarial autoencoders with structural self-similarity for unsupervised heterogeneous remote sensing image change detection
Guo et al. Causal adversarial autoencoder for disentangled SAR image representation and few-shot target recognition
Huang et al. EST-YOLOv5s: SAR image aircraft target detection model based on improved YOLOv5s
CN116930884B (zh) 一种基于光sar图像转换的sar欺骗干扰模板生成及干扰方法
Pan et al. Ship detection using online update of clutter map based on fuzzy statistics and spatial property
Wang et al. SAR image synthesis based on conditional generative adversarial networks
CN116503685A (zh) 基于层次域先验的光学-isar图像转换方法及装置
Cai et al. Sea‐surface weak target detection scheme using a cultural algorithm aided time‐frequency fusion strategy
Du et al. Aggregated-attention deformable convolutional network for few-shot SAR jamming recognition
Yan et al. Detection of sea‐surface target of coastal defense radar based on Stacked Autoencoder (SAE) algorithm
Ye et al. RBM‐based joint dictionary learning for ISAR resolution enhancement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant