CN112561817B - 基于am-gan的遥感图像去云方法、装置、设备及存储介质 - Google Patents

基于am-gan的遥感图像去云方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112561817B
CN112561817B CN202011463223.3A CN202011463223A CN112561817B CN 112561817 B CN112561817 B CN 112561817B CN 202011463223 A CN202011463223 A CN 202011463223A CN 112561817 B CN112561817 B CN 112561817B
Authority
CN
China
Prior art keywords
image
cloud
attention
network
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011463223.3A
Other languages
English (en)
Other versions
CN112561817A (zh
Inventor
徐萌
邓芙蓉
贾森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202011463223.3A priority Critical patent/CN112561817B/zh
Publication of CN112561817A publication Critical patent/CN112561817A/zh
Application granted granted Critical
Publication of CN112561817B publication Critical patent/CN112561817B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于AM‑GAN的遥感图像去云方法、装置、设备及存储介质，本发明先根据有云图像组与无云图像组形成的数据对结合损失函数对网络模型进行训练，再通过训练得到的目标网络模型中的注意力循环网络获取待处理图像的注意力图，在注意力图的指导下通过目标网络模型中的负残差网络对待识别图像去云得到目标特征图，通过目标网络模型中的标准残差块对目标特征图重建得到无云背景图像，还通过目标网络模型中的鉴别器对无云背景图像进行鉴别，得到鉴别结果，以根据鉴别结果确定无云背景图像与真实无云图像的相似度，避免云层对遥感图像的干扰，提高对遥感图像进行处理得到的结果准确度。

Description

基于AM-GAN的遥感图像去云方法、装置、设备及存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于AM-GAN(GenerativeAdversarial Network of Attention Mechanism，生成式对抗网络)的遥感图像去云方法、装置、设备及存储介质。
背景技术
随着遥感技术的飞速发展，现在可获得具有高空间分辨率和高光谱分辨率的遥感图像。丰富的光谱信息被广泛用于地球观测应用中，例如资源勘探，植被管理和灾害监测等。但是，由于云层的干扰，会导致部分信息丢失，大大降低了遥感图像的质量，导致对遥感图像进一步处理得到的结果准确度较低。
发明内容
本发明的主要目的在于提供一种基于AM-GAN的遥感图像去云方法、装置、设备及存储介质，旨在解决当前对遥感图像进一步处理得到的结果准确度较低的技术问题。
为实现上述目的，本发明实施例提供一种基于AM-GAN的遥感图像去云方法，所述基于AM-GAN的遥感图像去云方法包括：
获取有云图像组与无云图像组，通过预设方式对所述有云图像组与无云图像组形成的数据对进行配准，并将配准得到的第一图像组裁切为预设格式的第二图像组，根据所述第二图像组形成训练集，将所述训练集中的有云图像作为网络模型的输入进行训练，并以所述训练集中的无云图像作为训练目标，通过损失函数对所述网络模型进行网络参数训练，得到目标网络模型，所述目标网络模型中包含生成器与鉴别器，所述生成器至少包括注意力循环网络、负残差网络、标准残差块；
获取待处理图像，基于注意力循环网络获取所述待处理图像的注意力图；
根据所述注意力图结合负残差网络对所述待处理图像进行去云处理，得到目标特征图；
基于标准残差块对所述目标特征图进行图像重建，得到无云背景图像；
对所述无云背景图像进行鉴别，得到鉴别结果，以根据所述鉴别结果确定是否对所述待处理图像完成去云处理。
优选地，所述注意力循环网络包括ResNet、LSTM、卷积层，所述基于注意力循环网络获取所述待处理图像的注意力图的步骤包括：
基于所述注意力循环网络中的ResNet对所述待处理图像进行处理，得到第一特征图；
根据所述注意力循环网络中的LSTM对所述第一特征图进行处理，得到第二特征图；
根据所述注意力循环网络中的卷积层对所述第二特征图进行处理，得到所述待处理图像的注意力图。
优选地，所述根据所述注意力循环网络中的LSTM对所述第一特征图进行处理，得到第二特征图的步骤包括：
基于所述注意力循环网络中的LSTM接收所述第一特征图；
获取激活函数，基于所述第一特征图结合所述激活函数对所述LSTM的门进行激活，得到激活数据；
根据所述激活数据对所述LSTM的存储单元与隐藏状态进行更新，得到第二特征图。
优选地，所述根据所述注意力循环网络中的卷积层对所述第二特征图进行处理，得到所述待处理图像的注意力图的步骤包括：
根据所述注意力循环网络中的卷积层对所述第二特征图进行处理，得到初始注意力图；
将所述初始注意力图确定为新的待处理图像，并执行基于所述注意力循环网络中的ResNet对所述待处理图像进行处理，得到第一特征图的步骤，直至执行次数达到预设次数，得到所述待处理图像的注意力图。
优选地，所述根据所述注意力图结合负残差网络对所述待处理图像进行去云处理，得到目标特征图的步骤包括：
根据负残差网络对所述待处理图像进行处理，得到第三特征图；
根据所述注意力图对所述第三特征图进行去云处理，得到目标特征图。
优选地，所述根据所述注意力图对所述第三特征图进行去云处理，得到目标特征图的步骤包括：
将所述第三特征图与所述注意力图进行第一预设运算，得到第四特征图；
获取对所述待处理图像进行标准残差处理的第五特征图；
将所述第四特征图与所述第五特征图进行第二预设运算，得到目标特征图。
优选地，所述对所述无云背景图像进行鉴别，得到鉴别结果的步骤包括：
将所述无云背景图像输入由卷积层和CBR组成的鉴别器，通过所述鉴别器对所述无云背景图像进行鉴别，得到鉴别结果。
为实现上述目的，本发明还提供一种基于AM-GAN的遥感图像去云装置，所述基于AM-GAN的遥感图像去云装置包括：
训练模块，用于获取有云图像组与无云图像组，通过预设方式对所述有云图像组与无云图像组形成的数据对进行配准，并将配准得到的第一图像组裁切为预设格式的第二图像组，根据所述第二图像组形成训练集，将所述训练集中的有云图像作为网络模型的输入进行训练，并以所述训练集中的无云图像作为训练目标，通过损失函数对所述网络模型进行网络参数训练，得到目标网络模型，所述目标网络模型中包含生成器与鉴别器，所述生成器至少包括注意力循环网络、负残差网络、标准残差块；
获取模块，用于获取待处理图像，基于注意力循环网络获取所述待处理图像的注意力图；
去云模块，用于根据所述注意力图结合负残差网络对所述待处理图像进行去云处理，得到目标特征图；
重建模块，用于基于标准残差块对所述目标特征图进行图像重建，得到无云背景图像；
鉴别模块，用于对所述无云背景图像进行鉴别，得到鉴别结果，以根据所述鉴别结果确定是否对所述待处理图像完成去云处理。
进一步地，为实现上述目的，本发明还提供一种基于AM-GAN的遥感图像去云设备，所述基于AM-GAN的遥感图像去云设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的基于AM-GAN的遥感图像去云程序，所述基于AM-GAN的遥感图像去云程序被所述处理器执行时实现上述的基于AM-GAN的遥感图像去云方法的步骤。
进一步地，为实现上述目的，本发明还提供一种存储介质，所述存储介质上存储有基于AM-GAN的遥感图像去云程序，所述基于AM-GAN的遥感图像去云程序被处理器执行时实现上述的基于AM-GAN的遥感图像去云方法的步骤。
本发明实施例提供一种基于AM-GAN的遥感图像去云方法、装置、设备及存储介质，本发明先根据有云图像组与无云图像组形成的数据对结合损失函数对网络模型进行训练，再通过训练得到的目标网络模型中的注意力循环网络获取待处理图像的注意力图，在注意力图的指导下通过目标网络模型中的负残差网络对待识别图像去云得到目标特征图，通过目标网络模型中的标准残差块对目标特征图重建得到无云背景图像，还通过目标网络模型中的鉴别器对无云背景图像进行鉴别，得到鉴别结果，以根据鉴别结果确定无云背景图像与真实无云图像的相似度，避免云层对遥感图像的干扰，提高对遥感图像进行处理得到的结果准确度。
附图说明
图1为本发明基于AM-GAN的遥感图像去云方法实施例方案涉及的硬件运行环境的结构示意图；
图2为本发明基于AM-GAN的遥感图像去云方法第一实施例的流程示意图；
图3为本发明基于AM-GAN的遥感图像去云方法第二实施例的流程示意图；
图4为本发明基于AM-GAN的遥感图像去云方法第三实施例的流程示意图；
图5为本发明基于AM-GAN的遥感图像去云方法的应用场景流程图；
图6为本发明基于AM-GAN的遥感图像去云装置较佳实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例提供一种基于AM-GAN的遥感图像去云方法、装置、设备及存储介质，本发明先根据有云图像组与无云图像组形成的数据对结合损失函数对网络模型进行训练，再通过训练得到的目标网络模型中的注意力循环网络获取待处理图像的注意力图，在注意力图的指导下通过目标网络模型中的负残差网络对待识别图像去云得到目标特征图，通过目标网络模型中的标准残差块对目标特征图重建得到无云背景图像，还通过目标网络模型中的鉴别器对无云背景图像进行鉴别，得到鉴别结果，以根据鉴别结果确定无云背景图像与真实无云图像的相似度，避免云层对遥感图像的干扰，提高对遥感图像进行处理得到的结果准确度。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的基于AM-GAN的遥感图像去云设备结构示意图。
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。
本发明实施例基于AM-GAN的遥感图像去云设备可以是PC，也可以是平板电脑、便携计算机等可移动式终端设备。
如图1所示，该基于AM-GAN的遥感图像去云设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的基于AM-GAN的遥感图像去云设备结构并不构成对基于AM-GAN的遥感图像去云设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及基于AM-GAN的遥感图像去云程序。
在图1所示的设备中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的基于AM-GAN的遥感图像去云程序，并执行以下操作：
获取有云图像组与无云图像组，通过预设方式对所述有云图像组与无云图像组形成的数据对进行配准，并将配准得到的第一图像组裁切为预设格式的第二图像组，根据所述第二图像组形成训练集，将所述训练集中的有云图像作为网络模型的输入进行训练，并以所述训练集中的无云图像作为训练目标，通过损失函数对所述网络模型进行网络参数训练，得到目标网络模型，所述目标网络模型中包含生成器与鉴别器，所述生成器至少包括注意力循环网络、负残差网络、标准残差块；
获取待处理图像，基于注意力循环网络获取所述待处理图像的注意力图；
根据所述注意力图结合负残差网络对所述待处理图像进行去云处理，得到目标特征图；
基于标准残差块对所述目标特征图进行图像重建，得到无云背景图像；
对所述无云背景图像进行鉴别，得到鉴别结果，以根据所述鉴别结果确定是否对所述待处理图像完成去云处理。
进一步地，所述注意力循环网络包括ResNet、LSTM、卷积层，所述基于注意力循环网络获取所述待处理图像的注意力图的步骤包括：
基于所述注意力循环网络中的ResNet对所述待处理图像进行处理，得到第一特征图；
根据所述注意力循环网络中的LSTM对所述第一特征图进行处理，得到第二特征图；
根据所述注意力循环网络中的卷积层对所述第二特征图进行处理，得到所述待处理图像的注意力图。
进一步地，所述根据所述注意力循环网络中的LSTM对所述第一特征图进行处理，得到第二特征图的步骤包括：
基于所述注意力循环网络中的LSTM接收所述第一特征图；
获取激活函数，基于所述第一特征图结合所述激活函数对所述LSTM的门进行激活，得到激活数据；
根据所述激活数据对所述LSTM的存储单元与隐藏状态进行更新，得到第二特征图。
进一步地，所述根据所述注意力循环网络中的卷积层对所述第二特征图进行处理，得到所述待处理图像的注意力图的步骤包括：
根据所述注意力循环网络中的卷积层对所述第二特征图进行处理，得到初始注意力图；
将所述初始注意力图确定为新的待处理图像，并执行基于所述注意力循环网络中的ResNet对所述待处理图像进行处理，得到第一特征图的步骤，直至执行次数达到预设次数，得到所述待处理图像的注意力图。
进一步地，所述根据所述注意力图结合负残差网络对所述待处理图像进行去云处理，得到目标特征图的步骤包括：
根据负残差网络对所述待处理图像进行处理，得到第三特征图；
根据所述注意力图对所述第三特征图进行去云处理，得到目标特征图。
进一步地，所述根据所述注意力图对所述第三特征图进行去云处理，得到目标特征图的步骤包括：
将所述第三特征图与所述注意力图进行第一预设运算，得到第四特征图；
获取对所述待处理图像进行标准残差处理的第五特征图；
将所述第四特征图与所述第五特征图进行第二预设运算，得到目标特征图。
进一步地，所述对所述无云背景图像进行鉴别，得到鉴别结果的步骤包括：
将所述无云背景图像输入由卷积层和CBR组成的鉴别器，通过所述鉴别器对所述无云背景图像进行鉴别，得到鉴别结果。
为了更好的理解上述技术方案，下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
参照图2，本发明第一实施例提供一种基于AM-GAN的遥感图像去云方法的流程示意图。该实施例中，所述基于AM-GAN的遥感图像去云方法包括以下步骤：
步骤S10，获取有云图像组与无云图像组，通过预设方式对所述有云图像组与无云图像组形成的数据对进行配准，并将配准得到的第一图像组裁切为预设格式的第二图像组，根据所述第二图像组形成训练集，将所述训练集中的有云图像作为网络模型的输入进行训练，并以所述训练集中的无云图像作为训练目标，通过损失函数对所述网络模型进行网络参数训练，得到目标网络模型，所述目标网络模型中包含生成器与鉴别器，所述生成器至少包括注意力循环网络、负残差网络、标准残差块；
本实施例中基于AM-GAN的遥感图像去云方法应用于基于AM-GAN的遥感图像去云***，本申请中将基于AM-GAN的遥感图像去云***简称为***，***中配置有由网络模型训练与优化得到的目标网络模型，其中目标网络模型可以包含生成器与鉴别器，其中生成器用于对输入图像进行处理，得到输入图像的无云背景图像，生成器中设置有注意力循环网络、负残差网络、标准残差块，注意力循环网络用于获取输入图像的注意力图，负残差网络用于对输入图像进行负残差处理，标准残差块用于对输入数据进行标准残差处理，鉴别器用于对输入图像进行鉴别，确定输入图像为生成器的生成的无云图像还是原始的无云图像，注意力图是一个介于0到1之间的矩阵，矩阵值越大代表注意力越大，与二进制mask(掩膜)不同，注意力图是一个非二元图，表示从无云区域到有云区域的注意力增加，并显示云的空间分布。可以理解地，本申请中输入图像优选为遥感图像，遥感图像是指记录各种地物电磁波大小的胶片或照片，遥感图像容易受到云层的干扰，导致部分信息丢失，大大降低了遥感图像的质量，将对后续图像处理造成不利影响，因此本申请提出一种基于AM-GAN的遥感图像去云方法，可以避免云层对遥感图像的干扰，提高对遥感图像进行处理得到的结果准确度。
可以理解地，在通过目标网络模型进行图像去云处理之前，需要对初始的网络模型进行训练，形成目标网络模型，具体地，本实施例中可以通过无线网络从美国地质勘探局(United States Geological Survey，USGS)官网获取遥感卫星Landsat 8的多时相数据。为了减少地物变化对多时相数据的影响，本实施例中获取多时相数据时采用的时间间隔为一个周期，多时相数据为一组无云图像组，一组含云低于30％的有云图像组形成的数据对，然后使用ENVI(The Environment for Visualizing Images)对有云图像组和无云图像组形成的数据对进行配准，再将配准得到的第一图像组剪切为预设格式的第二图像组，其中预设格式为256*256像素大小，并将第二图像组中有云图像与对应位置的无云图像组成训练集。进一步地，将训练集中的有云图像作为网络模型的输入进行训练，并以无云图像作为训练目标，进行网络模型的网络参数训练，不断学习有云图像和无云图像的映射关系，直至网络模型收敛，得到表征当前最优模型的目标网络模型，其中损失函数由以下三部分组成：
Figure BDA0002830062160000091
其中，G代表生成器，D代表鉴别器。
Figure BDA0002830062160000092
其中，第一部分是条件GAN的损失函数，x代表有云图像，pdata(x)代表x的分布，y代表真实的无云图像，z代表随机的噪声数据，pz(z)是噪声分布，G(x,z)代表x在z的辅助下生成的无云图像，D(x,y)是鉴别器的输出，并代表是接近真实无云图像的概率。
Figure BDA0002830062160000101
第二部分是标准的L1损失，用于测量每个重建像素的精度，N代表所用遥感图像的波段数，H*W代表图像的尺寸，λc代表的第c个波段的权重，Iinput代表来自训练网络的输入图像，Ioutput代表输出结果，(u,v,c)代表第c个波段的一个像素点。
Figure BDA0002830062160000102
第三部分是注意力损失，矩阵A是注意循环网络模块生成的注意力图，矩阵M是有云区域的二值掩膜图像。
步骤S20，获取待处理图像，基于注意力循环网络获取所述待处理图像的注意力图；
进一步地，在用户具有图像去云需求时，可以通过***从互联网或本地存储器中获取待处理图像，其中待处理图像在本实施例中为遥感图像。在获取待处理图像后，***将待处理图像输入至生成器的注意力循环网络中，通过注意力循环网络对待处理图像进行处理，具体地，注意力循环网络包括ResNet、LSTM、卷积层，注意力循环网络通过ResNet、LSTM、卷积层对待处理图像进行处理，得到待处理图像的注意力图，其中ResNet为残差网络，可以由多个RB(resisual block,标准残差块)组成，用于对输入图像进行残差处理，LSTM(LongShort-Term Memory,长短期记忆)由一个存储单元，一个隐藏状态和三种类型的门组成，三种类型的门包括输入门、忘记门、输出门，本申请中存储单元、隐藏状态、输入门、忘记门、输出门分别用字母c、h、i、f、o表示，输入门、忘记门、输出门用于控制读写存储单元，卷积层用于生成2D注意图。
步骤S30，根据所述注意力图结合负残差网络对所述待处理图像进行去云处理，得到目标特征图；
进一步地，在获取待处理图像的注意力图的同时，***通过负残差网络对待处理图像进行处理，得到第三特征图。在得到第三特征图后，在注意力图的指导下对第三特征图进行去云处理，得到目标特征图，具体地，将第一三特征图与注意力图进行第一预设运算，得到第四特征图，同时获取对待处理图像进行标准残差处理的第五特征图，最后将第四特征图与第五特征图进行第二预设运算，得到目标特征图，其中第一预设运算在本实施例中为乘积运算，第二预设运算在本实施例中为加和运算。
步骤S40，基于标准残差块对所述目标特征图进行图像重建，得到无云背景图像；
进一步地，***将得到的目标特征图输入至由标准残差块中，通过标准残差块对目标特征图进行标准残差处理，具体地，本实施例中设置有两个标准残差块，将目标特征图输入至第一个标准残差块，由第一个标准残差块对目标特征图进行处理，得到第一残差结果；将第一残差结果输入至第二标准残差块，由第二个标准残差块对第一残差结果进行处理，得到第二残差结果。可以理解地，在得到第二残差结果后，将第二残差结果输入卷积层中，通过卷积层对第二残差结果进行图像重建，在完成图像重建后得到无云背景图像。
步骤S50，对所述无云背景图像进行鉴别，得到鉴别结果，以根据所述鉴别结果确定是否对所述待处理图像完成去云处理。
进一步地，将无云背景图像输入至由卷积层和CBR组成的鉴别器，通过鉴别器对无云背景图像进行鉴别，得到鉴别结果，在得到鉴别结果后，可以根据鉴别结果确定输入的无云背景图像是经过去云处理后才无云的，还是遥感图像本身就不含云，以此确定是否有对待处理图像进行去云处理，其中C代表Convolution，B代表Batch Normalization，R代表ReLU(Rectified Linear Unit,线性整流函数)。可以理解地，在将无云背景图像输入至鉴别器之前，还需要通过鉴别器对去云图像与无云图像进行训练学习，便于通过完成学习后的鉴别器对无云背景图像进行鉴别。
进一步地，所述对所述无云背景图像进行鉴别，得到鉴别结果的步骤包括：
步骤S51，将所述无云背景图像输入由卷积层和CBR组成的鉴别器，通过所述鉴别器对所述无云背景图像进行鉴别，得到鉴别结果。
进一步地，在根据注意力循环网络处理得到无云背景图像后，为了确定无云背景图像与真实无云图像的相似度，***需要通过鉴别器对无云背景图像进行鉴别，具体地，***将无云背景图像输入至由5个CBR以及一个卷积层构成的鉴别器中，将无云背景图像依次通过5个CBR进行处理，并在5个CBR处理完成后，将处理得到的数据输入至卷积层中，通过卷积层对处理得到的数据进行卷积处理，在卷积处理完成后，由鉴别器输出鉴别结果，其中鉴别结果在本实施例中为概率值，可以根据概率值确定无云背景图像与真实无云图像的相似度，并且概率值越高则说明无云背景图像与真实无云图像的相似度越高。
本实施例提供一种基于AM-GAN的遥感图像去云方法、装置、设备及存储介质，本发明先根据有云图像组与无云图像组形成的数据对结合损失函数对网络模型进行训练，再通过训练得到的目标网络模型中的注意力循环网络获取待处理图像的注意力图，在注意力图的指导下通过目标网络模型中的负残差网络对待识别图像去云得到目标特征图，通过目标网络模型中的标准残差块对目标特征图重建得到无云背景图像，还通过目标网络模型中的鉴别器对无云背景图像进行鉴别，得到鉴别结果，以根据鉴别结果确定无云背景图像与真实无云图像的相似度，避免云层对遥感图像的干扰，提高对遥感图像进行处理得到的结果准确度。
进一步地，参照图3，基于本发明基于AM-GAN的遥感图像去云方法的第一实施例，提出本发明基于AM-GAN的遥感图像去云方法的第二实施例，在第二实施例中，所述基于注意力循环网络获取所述待处理图像的注意力图的步骤包括：
步骤S21，基于所述注意力循环网络中的ResNet对所述待处理图像进行处理，得到第一特征图；
步骤S22，根据所述注意力循环网络中的LSTM对所述第一特征图进行处理，得到第二特征图；
步骤S23，根据所述注意力循环网络中的卷积层对所述第二特征图进行处理，得到所述待处理图像的注意力图。
进一步地，在将待处理图像输入至注意力循环网络后，注意力循环网络中的ResNet对待处理图像进行接收，并对接收的待处理图像进行残差处理，提取出待处理图像中的第一特征图。进一步地，注意力循环网络中的ResNet将提取的第一特征图通过输出端输入至与其连接的LSTM中；LSTM在接收到第一特征图后，并接收前一LSTM的隐藏状态，通过第一特征图与前一LSTM的隐藏状态激活LSTM的门，并根据激活LSTM的门得到的激活数据对存储单元与本级LSTM的隐藏状态进行更新，得到第二特征图，可以理解地，若LSTM位于第一注意力循环网络块，则不需要获取前一LSTM的隐藏状态。进一步地，注意力循环网络中的LSTM将更新得到的第二特征图输入至与其输出端连接的卷积层中，卷积层在接收到第二特征图后，对第二特征图进行处理，将生成的初始注意力图通过多个注意力循环网络块继续进行处理，在多个注意力循环网络块均完成处理后生成待处理图像以2D注意图形式存在的注意力图，通过多个注意力循环网络块生成注意力图，可以提高注意力图的准确性，便于后续处理。
进一步地，所述根据所述注意力循环网络中的LSTM对所述第一特征图进行处理，得到第二特征图的步骤包括：
步骤S221，基于所述注意力循环网络中的LSTM接收所述第一特征图；
步骤S222，获取激活函数，基于所述第一特征图结合所述激活函数对所述LSTM的门进行激活，得到激活数据；
步骤S223，根据所述激活数据对所述LSTM的存储单元与隐藏状态进行更新，得到第二特征图。
进一步地，当注意力循环网络中LSTM检测到与其连接的ResNet输入的第一特征图时，通过数据输入端对第一特征图进行接收。进一步地，LSTM获取用于对LSTM的门进行激活的激活函数，通过激活函数与第一特征图共同对LSTM中三种类型的门进行激活，得到激活数据，在得到激活函数后，根据激活函数对LSTM的存储单元与隐藏状态进行更新，得到第二特征图。具体地，对于每个时间步骤t，LSTM单元首先接收输入xt和前一LSTM的隐藏状态ht-1，对三种类型的门进行激活，计算三种类型的门的激活数据并更新存储单元ct和本级LSTM的隐藏状态ht，更具体地，LSTM通过预设公式计算三种类型的门的激活数据.更新ct和ht.并得到第二特征图.预设公式如下：
it＝σ(Wxt*xt+Whi*ht-1+Wci⊙ct-1+bi)
ft＝σ(Wxt*xt+Whf*ht-1+Wcf⊙ct-1+bf)
ct＝ft⊙ct-1+it+tanh⊙(Wxt*xt+Whc*ht-1+bc)
ot＝σ(Wxo*xt+Whf*ht-1+Wco⊙ct+bo)
ht＝ot⊙tanh(ct)
其中，c、h、i、f、o分别代表存储单元、隐藏状态、输入门、忘记门、输出门，⊙代表阿达玛积，σ代表激活函数，*代表卷积运算，xt是残差块提取的特征图，Wxt代表特征图的权重，bi代表输入门的偏差。ct充当状态信息的累加器，该状态信息将传播到下一个LSTM单元。ht表示LSTM单元的输出特征，该特征将被馈送到卷积层以生成注意力图。
进一步地，所述根据所述注意力循环网络中的卷积层对所述第二特征图进行处理，得到所述待处理图像的注意力图的步骤包括：
步骤S231，根据所述注意力循环网络中的卷积层对所述第二特征图进行处理，得到初始注意力图；
步骤S232，将所述初始注意力图确定为新的待处理图像，并执行基于所述注意力循环网络中的ResNet对所述待处理图像进行处理，得到第一特征图的步骤，直至执行次数达到预设次数，得到所述待处理图像的注意力图。
可以理解地，若只通过一个注意力循环网络块对待处理图像进行处理，其得到的注意力图的准确度较低，若通过太多注意力循环网络块对待处理图像进行处理，虽然准确度提高，但是需要耗费大量的时间，导致效率降低，例如：本实施例中可以将多个注意力循环网络块优选为4个，通过4个注意力循环网络块对待处理图像进行处理，既可以获得较高的准确度，同时也保证了较高的处理效率。具体地，在注意力循环网络中的卷积层接收到LSTM输入的第二特征图时，注意力循环网络中的卷积层对第二特征图进行卷积处理，生成准确度相对降低的初始注意力图，为了提高初始注意力图的准确度，需要将初始注意力图确定为新的待处理图像，并将新的待处理图像输入至下一注意力循环网络块的ResNet中，并执行“基于所述注意力循环网络中的ResNet对所述待处理图像进行处理，得到第一特征图；根据所述注意力循环网络中的LSTM对所述第一特征图进行处理，得到第二特征图；根据所述注意力循环网络中的卷积层对所述第二特征图进行处理”的步骤，直到执行该步骤的次数达到预设次数，由于循环执行前已经完成了一次处理，因此本实施例中预设次数为3次，在循环执行3次(加上原本的一次共4次)后，可以得到待处理图像的注意力图。
本实施例基于注意力循环网络获取所述待处理图像的注意力图，由于在注意力循环网络中通过多个注意力循环网络块对待处理图像进行处理，可以提高生产注意力图的准确度并同时确保数据处理的效率。
进一步地，参照图4，基于本发明基于AM-GAN的遥感图像去云方法的第一实施例，提出本发明基于AM-GAN的遥感图像去云方法的第三实施例，在第三实施例中，所述根据所述注意力图结合负残差网络对所述待处理图像进行去云处理，得到目标特征图的步骤包括：
步骤S31，根据负残差网络对所述待处理图像进行处理，得到第三特征图；
步骤S32，根据所述注意力图对所述第三特征图进行去云处理，得到目标特征图。
进一步地，***先根据负残差网络中的标准残差块对待处理图像进行标准残差处理，将处理得到的特征数据输入至第一个卷积层，由第一个卷积层结合ReLU函数进行处理，并将处理后的特征数据输入至第二个卷积层，由第二个卷积层结合ReLU函数进行处理，并将处理后的特征数据输入至第三个卷积层，第三个卷积层对接收的特征数据进行卷积处理后，得到第三特征图。进一步地，将第三特征图与注意力图进行第一预设运算，得到第四特征图，其中第一预设运算在本实施例中为乘法运算；进一步地，***还需要获取对所述待处理图像进行标准残差处理的第五特征图，并将第四特征图与第五特征图进行第二预设运算，得到目标特征图，其中第二预设运算在本实施例中为加和运算。
进一步地，所述根据所述注意力图对所述第三特征图进行去云处理，得到目标特征图的步骤包括：
步骤S321，将所述第三特征图与所述注意力图进行第一预设运算，得到第四特征图；
步骤S322，获取对所述待处理图像进行标准残差处理的第五特征图；
步骤S323，将所述第四特征图与所述第五特征图进行第二预设运算，得到目标特征图。
进一步地，***将第三特征图与注意力图进行第一预设运算，得到第四特征图；具体地，***将第三特征图与注意力图进行相乘运算，并在相乘运算完成后得到第四特征图。同时，***调用负残差网络中的标准残差块，通过标准残差块对作为输入的待处理图像进行标准残差处理，得到第五特征图；进一步地，在得到第四特征图与第五特征图后，***将第四特征图与第五特征图进行第二预设运算，得到目标特征图，具体地，***将第四特征图与第五特征图进行加和运算，并在加和运算完成后得到去云后的目标特征图。
本实施例根据所述注意力图结合由标准残差网络改进得到的负残差网络对所述待处理图像进行去云处理，得到对待处理图像去云后的目标特征图，使得目标特征图不受拍摄待处理图像时存在的云层的干扰，有利于提高对遥感图像进行处理得到的结果准确度。
进一步地，参照图5，图5为本实施例中基于AM-GAN的遥感图像去云方法的应用场景流程图，本实施例中将待处理图像作为输入input，并将待处理图像输入至生成器generator中，首先经过由残差网络ResNet、长短期记忆单元LSTM以及卷积层convs构成的注意力循环网络中，并且注意力循环网络在本实施例中包含k组由ResNet、LSTM以及convs构成的注意力循环网络块，通过k组注意力循环网络块对待处理图像进行循环处理，在完成处理后得到待处理图像的注意力图Ak，可以理解地，在第一个注意力循环网络块完成对待处理图像的处理后，可以得到初始注意力图A1，将初始注意力图A1输入第二个注意力循环网络块进行处理，得到初始注意力图A2，以此类推，直到完成k个注意力循环网络块的循环处理，得到注意力图Ak。进一步地，将注意力图Ak输入结合负残差网络对待处理图像进行去云处理，具体地，在获取待处理图像注意力图的同时，通过由一个标准残差块RB与3个卷积层conv以及一个相乘操作、一个相加操作组成的负残差网络对待处理图像进行去云处理，具体地，首先通过标准残差块RB对待处理图像进行标准残差处理，并将处理得到的特征数据输入至第一个卷积层，由第一个卷积层结合ReLU函数进行处理，并将处理后的特征数据输入至第二个卷积层，由第二个卷积层结合ReLU函数进行处理，并将处理后的特征数据输入至第三个卷积层，第三个卷积层对接收的特征数据进行卷积处理后，得到第三特征图，并将第三特征图与注意力图进行相乘操作，得到第四特征图，再获取由标准残差块RB对输入的待处理图像进行标准残差处理的第五特征图，将第四特征图与第五特征图进行相加操作，得到去云后的目标特征图。将去云后的目标特征图输入至由两个标准残差块RB与一个卷积层conv并结合ReLU函数形成的标准残差网络中进行处理，对目标特征图进行图像重建，形成无云背景图像作为输出output。进一步地，将无云背景图像输入至由5个CBR与一个卷积层组成的鉴别器discriminator中，由鉴别器对无云背景图像进行鉴别，并得到鉴别结果，其中鉴别结果为scalar(概率值)，可以根据概率值确定无云背景图像与真实无云图像的相似度，若概率值越高，则说明无云背景图像与真实无云图像的相似度越高，若概率值越低，则说明无云背景图像与真实无云图像的相似度越低。可以理解地，除了可以对进行无云处理得到的无云背景图像进行鉴别外，还可以将真实无云图像(ground truth)输入至鉴别器中进行鉴别，通过鉴别结果确定真实无云图像是否含云。
进一步地，本发明还提供一种基于AM-GAN的遥感图像去云装置。
参照图6，图6为本发明基于AM-GAN的遥感图像去云装置第一实施例的功能模块示意图。
所述基于AM-GAN的遥感图像去云装置包括：
训练模块10，用于获取有云图像组与无云图像组，通过预设方式对所述有云图像组与无云图像组形成的数据对进行配准，并将配准得到的第一图像组裁切为预设格式的第二图像组，根据所述第二图像组形成训练集，将所述训练集中的有云图像作为网络模型的输入进行训练，并以所述训练集中的无云图像作为训练目标，通过损失函数对所述网络模型进行网络参数训练，得到目标网络模型，所述目标网络模型中包含生成器与鉴别器，所述生成器至少包括注意力循环网络、负残差网络、标准残差块；
获取模块20，用于获取待处理图像，基于注意力循环网络获取所述待处理图像的注意力图；
去云模块30，用于根据所述注意力图结合负残差网络对所述待处理图像进行去云处理，得到目标特征图；
重建模块40，用于基于标准残差块对所述目标特征图进行图像重建，得到无云背景图像；
鉴别模块50，用于对所述无云背景图像进行鉴别，得到鉴别结果，以根据所述鉴别结果确定是否对所述待处理图像完成去云处理。
进一步地，所述获取模块20包括：
第一处理单元，用于基于所述注意力循环网络中的ResNet对所述待处理图像进行处理，得到第一特征图；
第二处理单元，用于根据所述注意力循环网络中的LSTM对所述第一特征图进行处理，得到第二特征图；
第三处理单元，用于根据所述注意力循环网络中的卷积层对所述第二特征图进行处理，得到所述待处理图像的注意力图。
进一步地，所述获取模块20还包括：
接收单元，用于基于所述注意力循环网络中的LSTM接收所述第一特征图；
激活单元，用于获取激活函数，基于所述第一特征图结合所述激活函数对所述LSTM的门进行激活，得到激活数据；
更新单元，用于根据所述激活数据对所述LSTM的存储单元与隐藏状态进行更新，得到第二特征图。
进一步地，所述获取模块20还包括：
第四处理单元，用于根据所述注意力循环网络中的卷积层对所述第二特征图进行处理，得到初始注意力图；
执行单元，用于将所述初始注意力图确定为新的待处理图像，并执行基于所述注意力循环网络中的ResNet对所述待处理图像进行处理，得到第一特征图的步骤，直至执行次数达到预设次数，得到所述待处理图像的注意力图。
进一步地，所述去云模块30包括：
第五处理单元，用于根据负残差网络对所述待处理图像进行处理，得到第三特征图；
第六处理单元，用于根据所述注意力图对所述第三特征图进行去云处理，得到目标特征图。
进一步地，所述去云模块30还包括：
第一运算单元，用于将所述第三特征图与所述注意力图进行第一预设运算，得到第四特征图；
获取单元，用于获取对所述待处理图像进行标准残差处理的第五特征图；
第二运算单元，用于将所述第四特征图与所述第五特征图进行第二预设运算，得到目标特征图。
进一步地，所述鉴别模块50包括：
鉴别单元，用于将所述无云背景图像输入由卷积层和CBR组成的鉴别器，通过所述鉴别器对所述无云背景图像进行鉴别，得到鉴别结果。
此外，本发明还提供一种存储介质，所述存储介质优选为计算机可读存储介质，其上存储有基于AM-GAN的遥感图像去云程序，所述基于AM-GAN的遥感图像去云程序被处理器执行时实现上述基于AM-GAN的遥感图像去云方法各实施例的步骤。
在本发明基于AM-GAN的遥感图像去云装置和计算机可读介质的实施例中，包含了上述基于AM-GAN的遥感图像去云方法各实施例的全部技术特征，说明和解释内容与上述基于AM-GAN的遥感图像去云方法各实施例基本相同，在此不做赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是固定终端，如物联网智能设备，包括智能空调、智能电灯、智能电源、智能路由器等智能家居；也可以是移动终端，包括智能手机、可穿戴的联网AR/VR装置、智能音箱、自动驾驶汽车等诸多联网设备)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种基于AM-GAN的遥感图像去云方法，其特征在于，所述基于AM-GAN的遥感图像去云方法包括：
获取有云图像组与无云图像组，通过预设方式对所述有云图像组与无云图像组形成的数据对进行配准，并将配准得到的第一图像组裁切为预设格式的第二图像组，根据所述第二图像组形成训练集，将所述训练集中的有云图像作为网络模型的输入进行训练，并以所述训练集中的无云图像作为训练目标，通过损失函数对所述网络模型进行网络参数训练，得到目标网络模型，所述目标网络模型中包含生成器与鉴别器，所述生成器至少包括注意力循环网络、负残差网络、标准残差块；
获取待处理图像，基于所述注意力循环网络中的ResNet对所述待处理图像进行处理，得到第一特征图；
根据所述注意力循环网络中的LSTM对所述第一特征图进行处理，得到第二特征图；
根据所述注意力循环网络中的卷积层对所述第二特征图进行处理，得到所述待处理图像的注意力图；
根据所述注意力图结合负残差网络对所述待处理图像进行去云处理，得到目标特征图；
基于标准残差块对所述目标特征图进行图像重建，得到无云背景图像；
对所述无云背景图像进行鉴别，得到鉴别结果，以根据所述鉴别结果确定是否对所述待处理图像完成去云处理。
2.如权利要求1所述的基于AM-GAN的遥感图像去云方法，其特征在于，所述根据所述注意力循环网络中的LSTM对所述第一特征图进行处理，得到第二特征图的步骤包括：
基于所述注意力循环网络中的LSTM接收所述第一特征图；
获取激活函数，基于所述第一特征图结合所述激活函数对所述LSTM的门进行激活，得到激活数据；
根据所述激活数据对所述LSTM的存储单元与隐藏状态进行更新，得到第二特征图。
3.如权利要求1所述的基于AM-GAN的遥感图像去云方法，其特征在于，所述根据所述注意力循环网络中的卷积层对所述第二特征图进行处理，得到所述待处理图像的注意力图的步骤包括：
根据所述注意力循环网络中的卷积层对所述第二特征图进行处理，得到初始注意力图；
将所述初始注意力图确定为新的待处理图像，并执行基于所述注意力循环网络中的ResNet对所述待处理图像进行处理，得到第一特征图的步骤，直至执行次数达到预设次数，得到所述待处理图像的注意力图。
4.如权利要求1所述的基于AM-GAN的遥感图像去云方法，其特征在于，所述根据所述注意力图结合负残差网络对所述待处理图像进行去云处理，得到目标特征图的步骤包括：
根据负残差网络对所述待处理图像进行处理，得到第三特征图；
根据所述注意力图对所述第三特征图进行去云处理，得到目标特征图。
5.如权利要求4所述的基于AM-GAN的遥感图像去云方法，其特征在于，所述根据所述注意力图对所述第三特征图进行去云处理，得到目标特征图的步骤包括：
将所述第三特征图与所述注意力图进行第一预设运算，得到第四特征图；
获取对所述待处理图像进行标准残差处理的第五特征图；
将所述第四特征图与所述第五特征图进行第二预设运算，得到目标特征图。
6.如权利要求1所述的基于AM-GAN的遥感图像去云方法，其特征在于，所述对所述无云背景图像进行鉴别，得到鉴别结果的步骤包括：
将所述无云背景图像输入由卷积层和CBR组成的鉴别器，通过所述鉴别器对所述无云背景图像进行鉴别，得到鉴别结果。
7.一种基于AM-GAN的遥感图像去云装置，其特征在于，所述基于AM-GAN的遥感图像去云装置包括：
训练模块，用于获取有云图像组与无云图像组，通过预设方式对所述有云图像组与无云图像组形成的数据对进行配准，并将配准得到的第一图像组裁切为预设格式的第二图像组，根据所述第二图像组形成训练集，将所述训练集中的有云图像作为网络模型的输入进行训练，并以所述训练集中的无云图像作为训练目标，通过损失函数对所述网络模型进行网络参数训练，得到目标网络模型，所述目标网络模型中包含生成器与鉴别器，所述生成器至少包括注意力循环网络、负残差网络、标准残差块；
获取模块，用于获取待处理图像，基于所述注意力循环网络中的ResNet对所述待处理图像进行处理，得到第一特征图；
处理模块，用于根据所述注意力循环网络中的LSTM对所述第一特征图进行处理，得到第二特征图；
处理模块，还用于根据所述注意力循环网络中的卷积层对所述第二特征图进行处理，得到所述待处理图像的注意力图；
去云模块，用于根据所述注意力图结合负残差网络对所述待处理图像进行去云处理，得到目标特征图；
重建模块，用于基于标准残差块对所述目标特征图进行图像重建，得到无云背景图像；
鉴别模块，用于对所述无云背景图像进行鉴别，得到鉴别结果，以根据所述鉴别结果确定是否对所述待处理图像完成去云处理。
8.一种基于AM-GAN的遥感图像去云设备，其特征在于，所述基于AM-GAN的遥感图像去云设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的基于AM-GAN的遥感图像去云程序，所述基于AM-GAN的遥感图像去云程序被所述处理器执行时实现如权利要求1-6中任一项所述的基于AM-GAN的遥感图像去云方法的步骤。
9.一种存储介质，其特征在于，所述存储介质上存储有基于AM-GAN的遥感图像去云程序，所述基于AM-GAN的遥感图像去云程序被处理器执行时实现如权利要求1-6中任一项所述的基于AM-GAN的遥感图像去云方法的步骤。
CN202011463223.3A 2020-12-10 2020-12-10 基于am-gan的遥感图像去云方法、装置、设备及存储介质 Active CN112561817B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011463223.3A CN112561817B (zh) 2020-12-10 2020-12-10 基于am-gan的遥感图像去云方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011463223.3A CN112561817B (zh) 2020-12-10 2020-12-10 基于am-gan的遥感图像去云方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112561817A CN112561817A (zh) 2021-03-26
CN112561817B true CN112561817B (zh) 2023-05-12

Family

ID=75062936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011463223.3A Active CN112561817B (zh) 2020-12-10 2020-12-10 基于am-gan的遥感图像去云方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112561817B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113838064B (zh) * 2021-09-23 2023-12-22 哈尔滨工程大学 一种基于分支gan使用多时相遥感数据的云去除方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108022222A (zh) * 2017-12-15 2018-05-11 西北工业大学 一种基于卷积-反卷积网络的遥感图像薄云去除方法
CN109300090A (zh) * 2018-08-28 2019-02-01 哈尔滨工业大学（威海） 一种基于亚像素和条件对抗生成网络的单幅图像去雾方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11514325B2 (en) * 2018-03-21 2022-11-29 The Regents Of The University Of California Method and system for phase recovery and holographic image reconstruction using a neural network
CN108921799B (zh) * 2018-06-22 2021-07-23 西北工业大学 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法
CN110033410B (zh) * 2019-03-28 2020-08-04 华中科技大学 图像重建模型训练方法、图像超分辨率重建方法及装置
CN111145112B (zh) * 2019-12-18 2023-05-12 华东师范大学 一种基于残差对抗细化网络的两阶段图像去雨方法及***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108022222A (zh) * 2017-12-15 2018-05-11 西北工业大学 一种基于卷积-反卷积网络的遥感图像薄云去除方法
CN109300090A (zh) * 2018-08-28 2019-02-01 哈尔滨工业大学（威海） 一种基于亚像素和条件对抗生成网络的单幅图像去雾方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于生成式对抗网络的遥感影像云检测方法;朱清;侯恩兵;;地理空间信息(第05期);第1-2页 *

Also Published As

Publication number Publication date
CN112561817A (zh) 2021-03-26

Similar Documents

Publication Publication Date Title
US20230177343A1 (en) Scene understanding and generation using neural networks
US11328401B2 (en) Stationary object detecting method, apparatus and electronic device
CN110659582A (zh) 图像转换模型训练方法、异质人脸识别方法、装置及设备
CN110766038B (zh) 无监督式的地貌分类模型训练和地貌图构建方法
CN110728295B (zh) 半监督式的地貌分类模型训练和地貌图构建方法
CN112418292B (zh) 一种图像质量评价的方法、装置、计算机设备及存储介质
CN110929564B (zh) 基于对抗网络的指纹模型生成方法以及相关装置
CN112668608B (zh) 一种图像识别方法、装置、电子设备及存储介质
CN111291695B (zh) 人员违章行为识别模型训练方法、识别方法及计算机设备
CN112561817B (zh) 基于am-gan的遥感图像去云方法、装置、设备及存储介质
CN109978058B (zh) 确定图像分类的方法、装置、终端及存储介质
CN114882307A (zh) 分类模型训练和图像特征提取方法及装置
CN111242183A (zh) 基于注意力机制的图像识别分类方法及装置
CN113469111A (zh) 图像关键点检测方法及***、电子设备、存储介质
CN113609097A (zh) 指纹库的生成方法、装置、计算机设备和存储介质
CN111126617B (zh) 一种选择融合模型权重参数的方法、装置及设备
CN115311550B (zh) 遥感影像语义变化检测方法、装置、电子设备及存储介质
CN116468761A (zh) 基于概率分布距离特征描述的配准方法、设备及存储介质
CN116363175A (zh) 基于注意力机制的极化sar图像配准方法
CN116246161A (zh) 领域知识引导下的遥感图像目标精细类型识别方法及装置
US11748943B2 (en) Cleaning dataset for neural network training
CN115205738A (zh) 应用于城市内涝的应急排水方法和***
CN114445716A (zh) 关键点检测方法、装置、计算机设备、介质及程序产品
CN114549857A (zh) 图像信息识别方法、装置、计算机设备和存储介质
CN112101330B (zh) 图像处理方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant