CN114742733A - 云去除方法、装置、计算机设备和存储介质 - Google Patents

云去除方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN114742733A
CN114742733A CN202210410940.2A CN202210410940A CN114742733A CN 114742733 A CN114742733 A CN 114742733A CN 202210410940 A CN202210410940 A CN 202210410940A CN 114742733 A CN114742733 A CN 114742733A
Authority
CN
China
Prior art keywords
image
cloud
calculation
feature map
residual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210410940.2A
Other languages
English (en)
Inventor
张佳颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202210410940.2A priority Critical patent/CN114742733A/zh
Publication of CN114742733A publication Critical patent/CN114742733A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种云去除方法、装置、计算机设备、存储介质和计算机程序产品，涉及人工智能技术领域，可用于金融科技领域或其他相关领域。方法包括：基于预先训练的云去除模型，对采集到的待处理图像进行卷积计算，得到多个类型特征图；根据预设混合注意力算法，处理第一类型特征图，得到增强特征图，根据预设的密集残差算法，对第二类型特征图进行处理确定密集残差；对增强特征图及密集残差进行融合处理，得到第一融合特征，并对第一融合特征进行图像重建，得到目标无云图像。通过采用该方法中的多尺度特征提取网络，能有效提取图像的局部和全局特征，避免图像复原过程中的颜色失真及模糊，提高图像重建的合理性，生成清晰且真实的无云图像。

Description

云去除方法、装置、计算机设备和存储介质
技术领域
本申请涉及人工智能领域，特别是涉及一种云去除方法、装置、计算机设备和存储介质。
背景技术
随着遥感采集技术的不断成熟，高分辨率的遥感图像已广泛应用于各类对地观测活动，如气候变化评估、土地覆盖识别、农作物检测等。然而，从遥感图像中提取地表信息时，极易受自然环境中的云层等影响。为提高遥感数据的有效性和可用性，需要对遥感数据中的云层覆盖进行准确识别以及去除。
相关技术中，一般对遥感图像进行去云处理的方法是，利用深度学习生成对抗网络，通过该对抗网络构建有云图像与无云图像之间的非线性映射，以此实现对有云图像的除云目的。但是，基于深度学习模型进行云去除处理的方法会使生成的无云图像变得模糊，去云效果较差。
发明内容
基于此，有必要针对上述技术问题，提供一种能够保证去云图像的清晰度的云去除方法、装置、计算机设备和存储介质。
第一方面，本申请提供了一种云去除方法。所述方法包括：
获取待处理图像，所述待处理图像是存在云层覆盖的遥感图像；
基于所述预先训练的云去除模型，对所述待处理图像进行第一类型卷积计算，得到第一类型特征图，以及对所述待处理图像进行第二类型卷积计算，得到第二类型特征图；
根据预设的混合注意力算法，对所述第一类型特征图进行处理，得到增强特征图，根据预设的密集残差算法，对所述第二类型特征图进行密集残差计算，得到密集残差；
对所述增强特征图以及所述密集残差进行融合处理，得到第一融合特征；
根据所述第一融合特征进行图像重建，得到所述待处理图像对应的目标无云图像。
在其中一个实施例中，所述获取待处理图像，包括：
采集初始图像，识别所述初始图像中的云层区域，得到所述初始图像对应的第一有云区域图像以及第一无云区域图像，并将所述第一有云区域图像作为所述待处理图像；
所述方法还包括：
将所述第一无云区域图像以及所述目标无云图像进行叠加，得到所述初始图像对应的无云图像。
在其中一个实施例中，所述对所述待处理图像进行第一类型卷积计算，得到第一类型特征图，包括：
根据多个不同的预设尺度，分别对所述待处理图像进行卷积计算，得到所述待处理图像对应的多个不同维度的初始特征图，所述维度与所述预设尺度一一对应；
对两两初始特征图进行融合拼接处理，得到所述待处理图像更新后的初始特征图；
在所述更新后的初始特征图不满足预设单一条件的情况下，重新执行所述对两两初始特征图进行融合拼接处理，得到所述待处理图像更新后的初始特征图的步骤，直至所述更新后的初始特征图满足预设单一条件，并将满足所述预设单一条件的初始特征图作为第一类型特征图。
在其中一个实施例中，所述根据预设的混合注意力算法，对所述第一类型特征图进行处理，得到增强特征图，包括：
对所述第一类型特征图进行残差计算，得到目标残差特征；
根据预设的混合注意力算法，对所述目标残差特征进行增强处理，得到增强特征图。
在其中一个实施例中，所述根据所述第一融合特征进行图像重建，得到所述待处理图像对应的目标无云图像，包括：
对所述第一融合特征进行目标次数的上采样处理，得到恢复像素数据；
对所述恢复像素数据进行所述第二类型卷积计算，得到所述待处理图像对应的目标无云图像。
在其中一个实施例中，所述云去除模型包括残差计算模块，所述残差计算模块包括融合单元以及多个残差计算单元；
所述对所述第一类型特征图进行残差计算，得到目标残差特征，包括：
通过所述残差计算模块中包括的所述融合单元以及多个残差计算单元，对所述第一类型特征图进行残差计算，得到目标残差特征，其中，各个所述残差计算单元的输入端与输出端依次相接，且第一个所述残差计算单元的输出端与所述多个残差计算单元中的目标残差计算单元的输出端进行融合后，与所述目标残差计算单元的下一个所述残差计算单元的输入端连接，第一个所述残差计算单元的输出端与最后一个所述残差计算单元的输出端进行融合后，与所述融合单元的输入端连接。
在其中一个实施例中，所述预设的混合注意力算法包括预设池化算法以及预设通道算法；所述根据预设的混合注意力算法，对所述目标残差特征进行增强处理，得到增强特征图，包括：
根据预设池化算法，对所述目标残差进行池化计算，得到初始空间特征；
根据预设通道算法，对所述目标残差进行通道计算，得到初始通道特征；
根据所述初始空间特征以及所述初始通道特征，确定增强特征图。
在其中一个实施例中，所述方法还包括：
获取训练数据，所述训练数据包括多组图像对，所述图像对包括样本有云图像以及样本无云图像；
将所述样本有云图像输入至待训练的云去除模型，得到预测无云图像；
根据所述样本无云图像以及所述预测无云图像，通过损失函数计算目标损失值；
根据所述目标损失值更新所述待训练的云去除模型的网络参数，并返回执行所述获取训练数据的步骤，直至所述目标损失值满足训练完成条件，得到训练完成的云去除模型。
在其中一个实施例中，所述根据所述样本无云图像以及所述预测无云图像，通过损失函数计算目标损失值，包括：
根据所述样本无云图像以及所述预测无云图像，分别通过前向去云损失函数、反向云化损失函数、循环一致性损失函数以及感知损失函数，计算前向去云损失值、反向云化损失值、循环一致性损失值以及感知损失值；
对所述前向去云损失值、所述反向云化损失值、所述循环一致性损失值以及所述感知损失值进行叠加处理，得到目标损失值。
第二方面，本申请还提供了一种云去除装置。所述装置包括：
采集模块，用于获取待处理图像，所述待处理图像是存在云层覆盖的遥感图像；
卷积计算模块，用于基于所述预先训练的云去除模型，对所述待处理图像进行第一类型卷积计算，得到第一类型特征图，以及对所述待处理图像进行第二类型卷积计算，得到第二类型特征图；
增强模块，用于根据预设的混合注意力算法，对所述第一类型特征图进行处理，得到增强特征图，根据预设的密集残差算法，对所述第二类型特征图进行密集残差计算，得到密集残差；
融合模块，用于对所述增强特征图以及所述密集残差进行融合处理，得到第一融合特征；
重建模块，用于根据所述第一融合特征进行图像重建，得到所述待处理图像对应的目标无云图像。
在其中一个实施例中，所述采集模块具体用于：
采集初始图像，识别所述初始图像中的云层区域，得到所述初始图像对应的第一有云区域图像以及第一无云区域图像，并将所述第一有云区域图像作为所述待处理图像；
所述装置还包括：
叠加模块，用于将所述第一无云区域图像以及所述目标无云图像进行叠加，得到所述初始图像对应的无云图像。
在其中一个实施例中，卷积计算模块具体用于：
根据多个不同的预设尺度，分别对所述待处理图像进行卷积计算，得到所述待处理图像对应的多个不同维度的初始特征图，所述维度与所述预设尺度一一对应；
对两两初始特征图进行融合拼接处理，得到所述待处理图像更新后的初始特征图；
在所述更新后的初始特征图不满足预设单一条件的情况下，重新执行所述对两两初始特征图进行融合拼接处理，得到所述待处理图像更新后的初始特征图的步骤，直至所述更新后的初始特征图满足预设单一条件，并将满足所述预设单一条件的初始特征图作为第一类型特征图。
在其中一个实施例中，增强模块具体用于：
对所述第一类型特征图进行残差计算，得到目标残差特征；
根据预设的混合注意力算法，对所述目标残差特征进行增强处理，得到增强特征图。
在其中一个实施例中，重建模块，具体用于：
对所述第一融合特征进行目标次数的上采样处理，得到恢复像素数据；
对所述恢复像素数据进行所述第二类型卷积计算，得到所述待处理图像对应的目标无云图像。
在其中一个实施例中，所述云去除模型包括残差计算模块，所述残差计算模块包括融合单元以及多个残差计算单元；
所述增强模块具体用于：
通过所述残差计算模块中包括的所述融合单元以及多个残差计算单元，对所述第一类型特征图进行残差计算，得到目标残差特征，其中，各个所述残差计算单元的输入端与输出端依次相接，且第一个所述残差计算单元的输出端与所述多个残差计算单元中的目标残差计算单元的输出端进行融合后，与所述目标残差计算单元的下一个所述残差计算单元的输入端连接，第一个所述残差计算单元的输出端与最后一个所述残差计算单元的输出端进行融合后，与所述融合单元的输入端连接。
在其中一个实施例中，所述预设的混合注意力算法包括预设池化算法以及预设通道算法；所述增强模块具体用于：
根据预设池化算法，对所述目标残差进行池化计算，得到初始空间特征；
根据预设通道算法，对所述目标残差进行通道计算，得到初始通道特征；
根据所述初始空间特征以及所述初始通道特征，确定增强特征图。
在其中一个实施例中，所述装置还包括：训练模块，用于获取训练数据，所述训练数据包括多组图像对，所述图像对包括样本有云图像以及样本无云图像；将所述样本有云图像输入至待训练的云去除模型，得到预测无云图像；根据所述样本无云图像以及所述预测无云图像，通过损失函数计算目标损失值；根据所述目标损失值更新所述待训练的云去除模型的网络参数，并返回执行所述获取训练数据的步骤，直至所述目标损失值满足训练完成条件，得到训练完成的云去除模型。
在其中一个实施例中，所述训练模块，具体用于：
根据所述样本无云图像以及所述预测无云图像，分别通过前向去云损失函数、反向云化损失函数、循环一致性损失函数以及感知损失函数，计算前向去云损失值、反向云化损失值、循环一致性损失值以及感知损失值；
对所述前向去云损失值、所述反向云化损失值、所述循环一致性损失值以及所述感知损失值进行叠加处理，得到目标损失值。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待处理图像，所述待处理图像是存在云层覆盖的遥感图像；
基于所述预先训练的云去除模型，对所述待处理图像进行第一类型卷积计算，得到第一类型特征图，以及对所述待处理图像进行第二类型卷积计算，得到第二类型特征图；
根据预设的混合注意力算法，对所述第一类型特征图进行处理，得到增强特征图，根据预设的密集残差算法，对所述第二类型特征图进行密集残差计算，得到密集残差；
对所述增强特征图以及所述密集残差进行融合处理，得到第一融合特征；
根据所述第一融合特征进行图像重建，得到所述待处理图像对应的目标无云图像。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待处理图像，所述待处理图像是存在云层覆盖的遥感图像；
基于所述预先训练的云去除模型，对所述待处理图像进行第一类型卷积计算，得到第一类型特征图，以及对所述待处理图像进行第二类型卷积计算，得到第二类型特征图；
根据预设的混合注意力算法，对所述第一类型特征图进行处理，得到增强特征图，根据预设的密集残差算法，对所述第二类型特征图进行密集残差计算，得到密集残差；
对所述增强特征图以及所述密集残差进行融合处理，得到第一融合特征；
根据所述第一融合特征进行图像重建，得到所述待处理图像对应的目标无云图像。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取待处理图像，所述待处理图像是存在云层覆盖的遥感图像；
基于所述预先训练的云去除模型，对所述待处理图像进行第一类型卷积计算，得到第一类型特征图，以及对所述待处理图像进行第二类型卷积计算，得到第二类型特征图；
根据预设的混合注意力算法，对所述第一类型特征图进行处理，得到增强特征图，根据预设的密集残差算法，对所述第二类型特征图进行密集残差计算，得到密集残差；
对所述增强特征图以及所述密集残差进行融合处理，得到第一融合特征；
根据所述第一融合特征进行图像重建，得到所述待处理图像对应的目标无云图像。
上述云去除方法、装置、计算机设备和存储介质，该云去除方法包括，采集存在云层覆盖的遥感图像(待处理图像)；基于预先训练的云去除模型，对待处理图像进行第一类型卷积计算，得到第一类型特征图，以及对待处理图像进行第二类型卷积计算，得到第二类型特征图；根据预设的混合注意力算法，对第一类型特征图进行处理，得到增强特征图，根据预设的密集残差算法，对第二类型特征图进行密集残差计算，得到密集残差；对增强特征图以及密集残差进行融合处理，得到第一融合特征；根据第一融合特征进行图像重建，得到待处理图像对应的目标无云图像。通过采用该方法中的多尺度特征提取网络，能有效提取图像的局部和全局特征，避免图像复原过程中的颜色失真及模糊，以及通过混合注意力模块增强网络对图像主体特征的学习能力，以提高图像重建的合理性及真实性，可以生成清晰且真实的无云图像。
附图说明
图1为一个实施例中云去除方法的流程示意图；
图2为一个实施例中计算第一类型特征图步骤的流程示意图；
图3为一个实施例中进行第一类型的卷积计算的结构示意图；
图4为一个实施例中增强步骤的流程示意图；
图5为一个实施例中残差计算模块的结构示意图；
图6为一个实施例中残差计算单元的结构示意图；
图7为一个实施例中计算增强特征图步骤的流程示意图；
图8为一个实施例中计算增强特征图的结构示意图；
图9为一个实施例中密集残差计算单元的结构示意图；
图10为一个实施例中进行上采样步骤的流程示意图；
图11为一个实施例中进行训练步骤的流程示意图；
图12为一个实施例中云去除模型的训练结构示意图；
图13为另一个实施例中云去除模型的训练结构示意图；
图14为一个实施例中计算目标损失值步骤的流程示意图；
图15为一个实施例中云去除装置的结构框图；
图16为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
随着遥感采集技术的不断成熟，高分辨率遥感图像已广泛应用于各类对地观测活动，如气候变化评估、土地覆盖识别、农作物检测等。然而，从遥感图像中提取地表信息时，极易受自然环境(如：云层遮挡等)的影响。为提高遥感数据的有效性和可用性，准确识别和去除遥感数据图像上的云层覆盖是遥感数据使用的关键。目前，遥感图像去云处理方法大致分为四类，每类方法在其应用中各有各的不足，具体分析如下：
1、基于空间的云去除方法：此方法主要基于云污染图像本身的局部或非局部区域之间的空间自相关性，进而合成云区域，达到消云的效果。基于空间的方法，因无参考图像，在云区域较大或纹理复杂的情况下表现不佳。
2、基于光谱的云去除方法：此方法严重依赖于光谱域的互补信息，其基础是不同波长具有的透云能力不同。但随着云层厚度的增加，几乎所有的光学波段都将受信息缺失的影响，导致去云效果变差，故仅适用于薄云的去除。
3、基于时间的云去除方法：利用同一场景不同时间段采集的遥感图像，提取其中的互补信息。此方法在有云图像和无云图像之间无明显建筑物变化时表现优异，但其计算复杂度较大，计算资源的消耗较大。
4、基于深度学习的方法：利用生成对抗网络，构建有云图像与无云图像之间的非线性映射，进而达到有效除云目的。但深度学习模型对设备性能及数据集要求极高，且易引入图像模糊、风格变换等问题。
本发明实施例所提供的云去除方法，是基于深度学习方法做去云处理后易引入图像模糊的技术问题，提供了一种基于GAN(Generative Adversarial Networks，生成式对抗网络)的混合注意力和循环一致性的融合算法。通过采用本发明，可以有效去除遥感图像中的云层覆盖区域，生成清晰且准确的无云图像。在银行机构的应用场景中，银行机构可以采集目标场景的遥感图像数据，进行去云处理，将得到的无云图像应用于银行业务的贷后风险评估场景中，可以使风险评估更为准确。
本发明实施例所提供的方法中的学习网络将小尺度卷积提取的局部特征与大尺度卷积提取的全局特征进行融合，可以提高学习网络对应的模型提取深度特征的能力。同时，为使提取的特征更加完整，还可以利用混合注意力模块对时空特征进行加权处理。最后，通过上采样操作重构出进行去除处理后的清晰图像。本发明实施例所提供的方法将多尺度特征、注意力机制及循环一致性充分融合，有效去除遥感影像中云层的干扰，显著提高了图像重建的合理性及清晰度。
在一个实施例中，如图1所示，提供了一种云去除方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的***，并通过终端和服务器的交互实现，上述终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和物联网设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。本实施例中，该云去除方法包括以下步骤：
步骤102，获取待处理图像。
其中，待处理图像是存在云层覆盖的遥感图像。
具体地，终端可以采集任意场景中的存在云层覆盖的高光谱遥感图像，将该高光谱遥感图像作为待处理图像。
步骤104，基于所述预先训练的云去除模型，对所述待处理图像进行第一类型卷积计算，得到第一类型特征图，以及对所述待处理图像进行第二类型卷积计算，得到第二类型特征图。
具体地，将待处理图像输入至预先训练的云去除模型。预先训练的云去除模型用于去除存在云层覆盖的遥感图像中的云层，对有云图像进行去云处理，得到无云图像。预先训练的云去除模型可以包括特征提取模块、增强模块、密集残差计算模块、图像重建模块，该增强模块可以包括残差计算模块以及混合注意力模块。
具体地，在预先训练的云去除模型中，第一类型卷积计算与第二类型卷积计算的不同之处在于可以采用不同尺度的卷积大小进行计算。终端通过该特征提取模块，对该待处理图像进行第一类型卷积计算，得到第一类型特征图；同样地，对该待处理图像进行第二类型卷积计算，得到第二类型特征图。这样，终端可以根据不同尺度的卷积计算，提取不同维度的待处理图像的特征，包括全局特征以及局部特征等等。
可选地，卷积的尺度表征卷积核的大小，卷积核较小(例如卷积核为1*1、3*3)的卷积计算，提取到的待处理图像的特征是局部特征；卷积核较大(例如卷积核为7*7)的卷积计算，提取到的待处理图像的特征是全局特征。终端分别根据不同尺度进行特征提取，将提取到的多种特征进行融合后得到的特征是融合特征，该融合特征包含该待处理图像的细节信息以及整体信息。
步骤106，根据预设的混合注意力算法，对第一类型特征图进行处理，得到增强特征图，根据预设的密集残差算法，对第二类型特征图进行密集残差计算，得到密集残差。
具体地，终端通过增强模块中的残差计算模块，对第一类型特征图进行残差计算，得到目标残差特征，这样，终端可以通过混合注意力模块，根据预设的混合注意力算法，对目标残差特征进行增强处理，得到增强特征图；终端还可以通过密集残差计算模块，对第二类型特征图进行密集残差计算，得到密集残差。
步骤118，对增强特征图以及密集残差进行融合处理，得到第一融合特征。
具体地，增强特征图可以是特征向量，密集残差也可以是特征向量，增强特征图的特征维度与密集残差的特征维度不同。终端进行融合处理的过程将增强特征图以及密集残差进行拼接处理，将拼接后的特征图作为第一融合特征。
例如，增强特征图可以是a维的特征向量，密集残差可以是b维的特征向量，终端进行融合的过程可以是将a维的特征向量与b维的特征向量直接进行拼接，得到(a+b)维的特征向量。
步骤110，根据第一融合特征进行图像重建，得到待处理图像对应的目标无云图像。
具体地，终端可以通过该图像重建模块，对该第一融合特征进行上采样处理，对第一融合特征对应的图像进行像素数据的恢复，得到该待处理图像对应的目标无云图像。
上述云去除方法中，获取存在云层覆盖的遥感图像(待处理图像)；基于预先训练的云去除模型，对待处理图像进行第一类型卷积计算，得到第一类型特征图，以及对待处理图像进行第二类型卷积计算，得到第二类型特征图；根据预设的混合注意力算法，对第一类型特征图进行处理，得到增强特征图，根据预设的密集残差算法，对第二类型特征图进行密集残差计算，得到密集残差；对增强特征图以及密集残差进行融合处理，得到第一融合特征；根据第一融合特征进行图像重建，得到待处理图像对应的目标无云图像。通过采用该方法中的多尺度特征提取网络，能有效提取图像的局部和全局特征，避免图像复原过程中的颜色失真及模糊，以及通过混合注意力模块增强网络对图像主体特征的学习能力，以提高图像重建的合理性及真实性，可以生成清晰且真实的无云图像。
在一个实施例中，步骤102“获取待处理图像”的具体执行过程，包括：
采集初始图像，识别初始图像中的云层区域，得到初始图像对应的第一有云区域图像以及第一无云区域图像，并将第一有云区域图像作为待处理图像。
其中，终端通过图片采集装置，获取实际场景的初始图像，该实际场景可以是包含建筑物的土地、农田等等，该初始图像可以是实际场景的包含云层覆盖的高光谱遥感图像。
具体地，终端可以通过预设的云识别模型，识别该初始图像中的云层区域，并通过候选框将云层区域进行标记，得到第一有云区域图像，作为待处理图像，以及将未被候选框标记的区域的图像作为第一无云区域图像。
相应地，该云去除方法还包括：
将第一无云区域图像以及目标无云图像进行叠加，得到初始图像对应的无云图像。
具体地，终端通过上述是实施例所述的云去除方法，消除该待处理图像中的云层区域，得到该待处理图像对应的无云图像(目标无云图像)，那么，将目标无云图像与第一无云区域图像进行拼接，得到该初始图像对应的云层区域消除后的图像。
在一个实施例中，如图2所示，步骤106“对待处理图像进行第一类型卷积计算，得到第一类型特征图”的具体处理过程，包括：
步骤202，根据多个不同的预设尺度，分别对待处理图像进行卷积计算，得到待处理图像对应的多个不同维度的初始特征图。
其中，维度与预设尺度一一对应。
具体地，预设尺度表示卷积计算的卷积核大小。终端可以根据实际场景确定多个大小不同的预设尺度。根据多个不同的预设尺度，分别对待处理图像进行卷积计算。具体计算过程可以是，分别对该待处理图像进行不同卷积核大小的卷积计算，得到多个维度的该处理图像的初始特征图。
步骤204，对两两初始特征图进行融合拼接处理，得到所述待处理图像更新后的初始特征图。
具体地，终端根据初始特征图的数量确定进行融合拼接处理的方式。终端对初始特征图进行融合拼接处理(Concat)是按照通道维度，直接将初始特征图进行拼接(通道级联)使更新后的初始特征图本身的特征数增加。
可选地，通道级联指将两个具有宽(w)、高(h)、通道(c)3个维度的图像按照通道维度进行拼接。
在一个示例中，如果该初始特征图的数量是偶数，则终端对每两个初始特征图进行融合拼接处理，得到至少一个更新后的初始特征图。
在另一个示例中，如果该初始特征图的数量是奇数，则终端可以按照排列次序，依次将第i个初始特征图与第i+1个初始特征图进行融合拼接处理(通道级联)，得到至少一个更新后的初始特征图，i大于0，且i小于预设尺度的数量值。
步骤206，在更新后的初始特征图不满足预设单一条件的情况下，重新执行对两两初始特征图进行融合拼接处理，得到待处理图像更新后的初始特征图的步骤，直至更新后的初始特征图满足预设单一条件，并将满足预设单一条件的初始特征图作为第一类型特征图。
具体地，终端根据该更新后的初始特征图的数量进行判断，如果该更新后的初始特征图的数量不满足预设单一条件，即存在多个更新后的初始特征图，则终端重复执行步骤204的过程，对多个更新后的初始特征图重新进行融合拼接处理。如果终端确定该更新后的初始特征图的数量满足预设单一条件，即更新后，只存在一个初始特征图，则终端可以将满足预设单一条件的初始特征图作为第一类型特征图。
在一种可能的实现方式中，多个不同的预设尺度可以包括第一尺度、第二尺度以及第三尺度，第一尺度小于第二尺度，且该第二尺度小于第三尺度。
具体地，终端可以对待处理图像进行第一尺度的卷积计算，确定该待处理图像的第一维度的初始特征图；对待处理图像进行第二尺度的卷积计算，确定待处理图像的第二维度的初始特征图。对待处理图像进行第三尺度的卷积计算，确定待处理图像的第三维度的初始特征图。
这样，终端确定初始特征图的数量是奇数，则终端对多个初始特征图进行融合拼接处理，具体融合过程可以是：终端按照排列次序，依次将第i个初始特征图与第i+1个初始特征图进行融合拼接处理(通道级联)，得到至少一个初始特征图，i大于0，且i小于预设尺度的数量值。例如，对第一维度的初始特征图以及第二维度的初始特征图进行融合拼接处理，得到第四维度的初始特征图。终端对第二维度的初始特征图以及第三维度的初始特征图进行融合拼接处理，得到第五维度的初始特征图。这样，终端确定该待处理图像更新后的初始特征图包括：第四维度的初始特征图以及第五维度的初始特征图。
这样，终端确定第四维度的初始特征图以及第五维度的初始特征图的数量是2个，不满足预设单一条件，此时重新执行步骤204，对第四维度的初始特征图以及第五维度的初始特征图进行融合拼接处理，由于此时初始特征图的数量为偶数，终端直接将第四维度的初始特征图以及第五维度的初始特征图进行融合拼接处理，得到第六维度的初始特征图。这样，终端确定该待处理图像更新后的初始特征图包括：第六维度的初始特征图。此时更新后的初始特征图的数量满足预设设单一条件，则终端可以将第六维度的初始特征图作为第一类型特征图。
可选地，如图3所示，第一尺度可以表示1*1卷积核的卷积计算，第二尺度可以表示3*3卷积核的卷积计算，第三尺度可以表示7*7卷积核的卷积计算。终端可以通过1*1卷积核以及3*3卷积核，分别对该待处理图像进行卷积计算，以提取待处理图像的细节特征；这样，终端可以同时通过7*7卷积核对该待处理图像进行卷积计算，提取该待处理图像的整体特征。在终端通过卷积核进行就卷积计算时，为了保证待处理图像的特征的完整性，可以将卷积计算的步长设置为1。
这样，在结构上，终端可以将1*1卷积和3*3卷积获得的初始特征图进行融合，得到融合特征，使特征数增加，以及将3*3卷积和7*7卷积获得的特征进行融合，得到融合特征；最后将两融合特征相结合，得到第一类型特征图。
本实施例中，通过对待处理图像进行多尺度的特征提取，可以虑了局部和全局特征，更有助于提取图像的细节和整体信息。
在一个实施例中，如图4所示，步骤108“根据预设的混合注意力算法，对第一类型特征图进行处理，得到增强特征图”的具体处理过程，包括：
步骤302，对第一类型特征图进行残差计算，得到目标残差特征。
具体地，终端可以通过预设的残差算法，对第一类型特征图进行残差计算，得到该第一类型特征图对应的目标残差特征。
步骤304，根据预设的混合注意力算法，对目标残差特征进行增强处理，得到增强特征图。
本实施例中，通过对第一类型特征图进行残差计算，可以更深入地获取待处理图像的特征，且不会增加计算资源的消耗；通过对目标残差特征进行增强处理，可以增加模型对于图像的主体特征的学习能力，避免图像模糊以及图像混叠问题的出现。
在一个实施例中，该云去除模型包括残差计算模块，该残差计算模块包括融合单元以及多个残差计算单元。
相应地，步骤302“对第一类型特征图进行残差计算，得到目标残差特征”的具体处理过程，包括：
通过残差计算模块中包括的融合单元以及多个残差计算单元，对第一类型特征图进行残差计算，得到目标残差特征。其中，各个残差计算单元的输入端与输出端依次相接，且第一个残差计算单元的输出端与多个残差计算单元中的目标残差计算单元的输出端进行融合后，与目标残差计算单元的下一个残差计算单元的输入端连接，第一个残差计算单元的输出端与最后一个残差计算单元的输出端进行融合后，与融合单元的输入端连接。
在一个示例中，如图5所示，残差计算模块中可以包括七个残差计算单元，各个残差计算单元的输入端与输出端依次相接，第四个残差计算单元可以是目标残差计算单元。这样，第一个残差计算单元的输出端与第四个残差计算单元的输出端融合后，与第五个残差计算单元的输入端相连接，第一个残差计算单元的输出端与第七个残差计算单元的输出端融合后，与融合单元的输入端连接。
具体地，终端将第一类型特征图输入至残差计算模块中，在该残差计算模块中，第一类型特征图依次通过上述残差计算单元进行运算，以及通过融合单元进行计算，得到目标残差特征。
在一种可能的实现方式中，针对于每一个残差计算单元，终端对每一个残差计算单元的输入数据进行残差计算，该残差计算包括预设尺度的卷积计算以及根据预设激活函数进行的激活运算。
可选地，预设尺度的卷积计算可以是3*3卷积核的卷积计算，预设激活函数可以是ReLU函数。
在另一种可能的实现方式中，如图6所示，该残差计算单元包括多个残差计算子单元以及融合子单元，各个残差计算子单元的输入端与下一个残差计算子单元的输出端依次相接，最后一个残差计算子单元的输出端与第一个残差计算子单元的输入端进行融合后，与融合子单元的输入端连接，其中，每一个残差计算子单元中进行的计算包括预设尺度的卷积计算以及根据预设激活函数进行的激活运算。
可选地，残差计算单元可以包括3个残差计算子单元，预设尺度的卷积计算可以是3*3卷积核的卷积计算，预设激活函数可以是ReLU函数。
以第一个残差计算单元为例进行说明：终端将第一类型特征图输入至第一个残差计算单元，在其中，通过3个残差计算子单元，终端对第一类型特征图进行预设尺度的卷积计算，得到第一卷积计算结果，并对该卷积计算结果进行激活运算，得到第一激活结果；这样，终端通过第二个残差计算子单元，对第一激活结果进行预设尺度的卷积计算，得到第二卷积计算结果，并对该第二卷积计算结果进行激活运算，得到第二激活结果；这样，终端通过第三个残差计算子单元，对第二激活结果进行预设尺度的卷积计算，得到第三卷积计算结果，并对该第三卷积计算结果进行激活运算，得到第三激活结果。这样，终端可以通过融合子单元，将第三激活结果与第一类型特征图进行融合拼接处理，得到第一个残差计算单元的输出数据。
这样，终端可以将第一个残差计算单元的输出数据输入至第二个残差计算单元，以及终端将第一个残差计算单元的输出数据与第四个残差计算单元的输出数据进行融合后，输入至第五个残差计算单元；终端还将第一个残差计算单元的输出数据与最后一个残差计算单元的输出数据进行融合后输入至融合单元中。
在一个实施例中，预设的混合注意力算法包括预设池化算法以及预设通道算法。相应地，如图7所示，步骤304“根据预设的混合注意力算法，对目标残差特征进行增强处理，得到增强特征图”的具体处理过程，包括：
步骤502，根据预设池化算法，对目标残差特征进行池化计算，得到初始空间特征。
具体地，预设池化算法包括最大池化算法以及平均池化算法。终端分别通过最大池化算法以及平均池化算法，对目标残差特征进行最大池化计算以及平均池化计算，得到最大池化特征以及平均池化特征。这样，终端可以对最大池化特征以及平均池化特征进行卷积计算以及融合处理，得到初始空间特征。
步骤504，根据预设通道算法，对初始空间特征进行通道计算，得到初始通道特征。
具体地，预设通道算法包括最大通道算法以及平均通道算法。终端分别通过最大通道算法以及平均通道算法，对初始空间特征进行最大通道计算以及平均通道计算，得到最大通道特征以及平均通道特征。这样，终端可以对最大通道特征以及平均通道特征进行融合处理以及卷积计算，得到初始通道特征。
步骤506，根据初始空间特征以及初始通道特征，确定增强特征图。
具体地，终端对初始空间特征以及初始通道特征进行乘积运算，得到待处理图像对应的增强特征图。
在一个示例中，预设的混合注意力算法包括预设池化算法以及预设通道算法。相应地，步骤304“根据预设的混合注意力算法，对目标残差特征进行增强处理，得到增强特征图”的具体处理过程，包括：
根据预设最大池化算法，对目标残差特征进行最大池化计算以及卷积计算，得到第一空间特征。根据预设平均池化算法，对目标残差特征进行平均池化计算以及卷积计算，得到第二空间特征。对目标残差特征、第一空间特征以及第二空间特征进行处理，得到初始空间特征。
根据预设最大通道算法，对目标空间特征进行最大通道计算，得到第一通道特征。根据预设平均通道算法，对目标空间特征进行平均通道计算，得到第二通道特征。对第一通道特征、第二通道特征进行处理，得到初始通道特征。
根据初始空间特征以及初始通道特征，确定增强特征图。
在一个具体示例中，如图8所示，步骤502“根据预设池化算法，对目标残差特征进行池化计算，得到初始空间特征”的具体处理过程，包括：
具体地，预设池化算法包括最大池化算法以及平均池化算法。终端分别通过最大池化算法以及平均池化算法，对目标残差特征进行最大池化计算以及平均池化计算，得到最大池化特征以及平均池化特征。
这样，终端对最大池化特征以及平均池化特征分别进行两层卷积核为1*1的卷积计算，具体为，对该最大池化特征进行卷积核为1*1的卷积计算，得到第一池化卷积结果，终端对第一池化卷积结果进行卷积核为1*1的卷积计算，得到第二池化卷积结果；对该平均池化特征进行卷积核为1*1的卷积计算，得到第三池化卷积结果，终端对第三池化卷积结果进行卷积核为1*1的卷积计算，得到第四池化卷积结果。终端对第二池化卷积结果以及第四池化卷积结果进行融合拼接处理，得到第五池化卷积结果。终端对第五池化卷积结果以及目标残差特征进行乘积运算，得到初始空间特征。
步骤504“根据预设通道算法，对初始空间特征进行通道计算，得到初始通道特征”的具体处理过程可以是：预设通道算法包括最大通道算法以及平均通道算法。终端分别通过最大通道算法以及平均通道算法，对初始空间特征分别进行最大通道计算以及平均通道计算，得到最大通道特征以及平均通道特征。
这样，终端对最大通道特征以及平均通道特征进行融合拼接处理，得到通道融合结果，这样，终端对通道融合结果进行卷积核为1*1的卷积计算，得到通道卷积结果，终端将该通道卷积结果作为初始通道特征。
终端对初始空间特征以及初始通道特征进行乘积运算，得到待处理图像对应的增强特征图。
在一个实施例中，步骤108“根据预设的密集残差算法，对第二类型特征图进行密集残差计算，得到密集残差”的具体执行过程，包括：
该预设的密集残差算法通过密集残差模块进行计算，该密集残差模块包括串联的多个密集残差计算单元，其中，各个密集残差计算单元的输入端与输出端依次相连接，即，终端会将第i个密集残差计算单元的计算结果输出至与其相连接的下一个密集残差计算单元。
可选地，密集残差模块可以包括三个密集残差计算单元，第一个密集残差计算单元的输出端与第二个密集残差计算单元的输入端相连接，第二个密集残差计算单元的输出端与第三个密集残差计算单元的输入端相连接，第一个密集残差计算单元的输入是第二类型特征图，该第二类型特征图可以是对待处理图像进行3*3的卷积计算后得到的，第三个密集残差计算单元的输出是密集残差。
在一个具体示例中，密集残差计算单元包括密集残差融合子单元以及多个密集残差计算子单元，例如图9所示，是一个密集残差计算单元的结构示意图，该密集残差计算单元中包括四个密集残差计算子单元以及一个密集残差融合子单元。
这样，以第一个密集残差计算单元进行举例说明，第一个密集残差计算单元的输入是第二类型特征图，终端将第二类型特征图分别输入至每一个密集残差计算子单元中。终端通过第一个密集残差计算子单元，对第二类型特征进行3*3卷积计算，得到第一密集残差计算结果。终端将第一密集残差计算结果输入至第二个密集残差计算子单元、第三个密集残差计算子单元、第四个密集残差计算子单元中。终端通过第二个密集残差计算子单元，对第一密集残差计算结果以及第二类型特征图进行融合处理后，进行3*3卷积计算，得到第二密集残差计算结果。终端将第二密集残差计算结果输入至第三个密集残差计算子单元、第四个密集残差计算子单元中。终端通过第三个密集残差计算子单元，对第一密集残差计算结果、第二密集残差计算结果以及第二类型特征图进行融合处理后，进行3*3卷积计算，得到第三密集残差计算结果。终端通过第四个密集残差计算子单元，对第一密集残差计算结果、第二密集残差计算结果、第三密集残差计算结果以及第二类型特征图进行融合处理后，进行3*3卷积计算，得到第四密集残差计算结果。终端对第四密集残差计算结果以及第二类型特征图进行融合拼接处理，得到第一个密集残差计算单元的输出。
在一个实施例中，如图10所示，步骤112“根据第一融合特征进行图像重建，得到待处理图像对应的目标无云图像”的具体处理过程，包括：
步骤402，对第一融合特征进行目标次数的上采样处理，得到恢复像素数据。
具体地，目标次数可以是2次，上采样处理可以是通过upsampling模块进行的。
步骤404，对恢复像素数据进行第二类型卷积计算，得到待处理图像对应的目标无云图像。
本实施例中，通过两次上采样实现图像重建以及像素恢复，保证图像回复的清晰度。
在一个实施例中，如图11所示，该云去除方法还包括：
步骤602，获取训练数据。
其中，训练数据包括多组图像对，图像对包括样本有云图像以及样本无云图像。
具体地，终端采集同一场景下的多张有云高光谱遥感图像以及无云高光谱遥感图像，并且对上述多张有云高光谱遥感图像以及无云高光谱遥感图像进行随机旋转处理以及裁剪处理，实现对上述图像的数据扩充。
可选地，终端确定随机旋转角度，然后将有云高光谱遥感图像旋转上述随机旋转角度，得到旋转后的图像，将旋转后的图像作为样本有云图像；相应地，对无云高光谱遥感图像进行类似处理，得到样本无云图像。
可选地，终端将多张有云高光谱遥感图像以及无云高光谱遥感图像裁剪为相同尺寸的子图片，将该子图片作为样本有云图像以及样本无云图像。
步骤604，将样本有云图像输入至待训练的云去除模型，得到预测无云图像。
步骤606，根据样本无云图像以及预测无云图像，通过损失函数计算目标损失值。
步骤608，根据目标损失值更新待训练的云去除模型的网络参数，并返回执行获取训练数据的步骤，直至目标损失值满足训练完成条件，得到训练完成的云去除模型。
具体地，训练完成条件可以是目标损失值对应的损失函数已经收敛，也可以是训练数据的迭代次数已经达到目标次数等。例如，目标次数可以是100次、300次等等，本发明实施例对目标次数并不做具体限定。
在一个示例中，如图12所示，是云去除模型的训练结构示意图，其中，终端将样本有云图像X输入至云去除模型G(生成网络)，得到预测无云图像G(X)，终端可以将预测无云图像G(X)以及样本无云图像X’输入至判别网络D，判别网络D可以根据预测无云图像G(X)以及样本无云图像X’进行判断，输出预测无云图像G(X)的判断结果，可以包括真实(TRUE)非真实(FALSE)。
在一个示例中，如图13所示，终端可以将样本有云图像X输入至云去除模型，检测云覆盖的最大区域S，这样，可以得到云区域部分模型恢复G以及非云区域原图替换G(S)。这样，终端将上述两张图片进行拼接，可以得到预测图像X’(样本无云图像)。
具体地，终端对实际场景中获取的遥感图像先进行裁剪(适用于网络的尺寸)，并将裁剪后的有云图像输入网络；训练完毕后的网络能够自动识别出云层覆盖区域，并用候选框框选出云层区域；通过生成网络，候选框中的云区会根据生成网络所学习到的知识完成云区域的自动填充，无云区域则保持原来的状态不变；最终输出没有云层覆盖的清晰图像，以解决银行业务的贷后风险评估，评估贷款者的资产情况。
在一个实施例中，如图14所示，步骤606“根据样本无云图像以及预测无云图像，通过损失函数计算目标损失值”的具体执行过程，包括：
步骤702，根据样本无云图像以及预测无云图像，分别通过前向去云损失函数、反向云化损失函数、循环一致性损失函数以及感知损失函数，计算前向去云损失值、反向云化损失值、循环一致性损失值以及感知损失值。
步骤704，对前向去云损失值、反向云化损失值、循环一致性损失值以及感知损失值进行叠加处理，得到目标损失值。
具体地，终端可以通过以下公式计算目标损失值L(G，F)：
L(G，F)＝LG+LF+λcycLcyc+λpLP
其中，G()表示前向去云生成器，即生成该样本有云图像对应的预测无云图像，F()表示反向云化生成器，LG表示前向去云损失值，LF表示反向云化损失值，λcyc表示循环一致性损失值对应的权重，Lcyc表示循环一致性损失值，λp表示感知损失值的权重，Lp表示感知损失值。
终端可以通过以下公式计算前向去云损失值LG：
Figure BDA0003604091820000221
其中，x表示样本有云图像，y表示样本无云图像，DY()表示是无云图像的判别结果，log()表示取对数运算，使判别结果更凸显，Pdata表示数据的分布。
终端可以通过以下公式计算反向云化损失值LF：
Figure BDA0003604091820000222
其中，DX()表示有云图像的判别结果；F()表示生成有云图像；
终端可以通过以下公式计算循环一致性损失值Lcyc：
Figure BDA0003604091820000223
其中，|| ||1表示1-范数，向量元素绝对值之和；
终端可以通过以下公式计算感知损失值Lp：
Figure BDA0003604091820000224
其中，Ci是长度权重，Hi是高度权重，Wi是通道权重，
Figure BDA0003604091820000225
Figure BDA0003604091820000226
表示去云图像的风格损失；
Figure BDA0003604091820000227
表示云化图像的风格损失。
在一个实施例中，将样本有云图像输入至待训练的云去除模型，得到预测无云图像，包括：
对样本有云图像分别进行第一类型卷积计算以及第二类型卷积计算，得到第一类型样本特征图以及第二类型样本特征图。
对第一类型样本特征图进行残差计算，得到样本目标残差特征。
根据预设的混合注意力算法对样本目标残差特征进行加权处理，得到样本增强特征图。
根据预设的密集残差算法对第二类型样本特征图进行密集残差计算，得到样本密集残差。
对样本增强特征图以及样本密集残差进行融合处理，得到第一样本融合特征。
对第一样本融合特征进行目标次数的上采样处理，得到样本恢复像素数据。
对样本恢复像素数据进行第二类型卷积计算，得到样本有云图像对应的预测无云图像。
应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的云去除方法的云去除装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个云去除装置实施例中的具体限定可以参见上文中对于云去除方法的限定，在此不再赘述。
在一个实施例中，如图15所示，提供了一种云去除装置，该云去除装置800包括：
采集模块801，用于获取待处理图像，待处理图像是存在云层覆盖的遥感图像。
卷积计算模块802，用于对待处理图像分别进行第一类型卷积计算以及第二类型卷积计算，得到第一类型特征图以及第二类型特征图。
增强模块803，用于根据预设的混合注意力算法，对第一类型特征图进行处理，得到增强特征图；
密集残差计算模块804，用于根据预设的密集残差算法，对第二类型特征图进行密集残差计算，得到密集残差。
融合模块805，用于对增强特征图以及密集残差进行融合处理，得到第一融合特征。
重建模块806，用于根据第一融合特征进行图像重建，得到待处理图像对应的目标无云图像。
在其中一个实施例中，所述采集模块具体用于：
采集初始图像，识别所述初始图像中的云层区域，得到所述初始图像对应的第一有云区域图像以及第一无云区域图像，并将所述第一有云区域图像作为所述待处理图像；
所述装置还包括：
叠加模块，用于将所述第一无云区域图像以及所述目标无云图像进行叠加，得到所述初始图像对应的无云图像。
在其中一个实施例中，卷积计算模块具体用于：
根据多个不同的预设尺度，分别对所述待处理图像进行卷积计算，得到所述待处理图像对应的多个不同维度的初始特征图，所述维度与所述预设尺度一一对应；
对两两初始特征图进行融合拼接处理，得到所述待处理图像更新后的初始特征图；
在所述更新后的初始特征图不满足预设单一条件的情况下，重新执行所述对两两初始特征图进行融合拼接处理，得到所述待处理图像更新后的初始特征图的步骤，直至所述更新后的初始特征图满足预设单一条件，并将满足所述预设单一条件的初始特征图作为第一类型特征图。
在其中一个实施例中，增强模块具体用于：
对所述第一类型特征图进行残差计算，得到目标残差特征；
根据预设的混合注意力算法，对所述目标残差特征进行增强处理，得到增强特征图。
在其中一个实施例中，重建模块，具体用于：
对所述第一融合特征进行目标次数的上采样处理，得到恢复像素数据；
对所述恢复像素数据进行所述第二类型卷积计算，得到所述待处理图像对应的目标无云图像。
在其中一个实施例中，所述云去除模型包括残差计算模块，所述残差计算模块包括融合单元以及多个残差计算单元；
所述增强模块具体用于：
通过所述残差计算模块中包括的所述融合单元以及多个残差计算单元，对所述第一类型特征图进行残差计算，得到目标残差特征，其中，各个所述残差计算单元的输入端与输出端依次相接，且第一个所述残差计算单元的输出端与所述多个残差计算单元中的目标残差计算单元的输出端进行融合后，与所述目标残差计算单元的下一个所述残差计算单元的输入端连接，第一个所述残差计算单元的输出端与最后一个所述残差计算单元的输出端进行融合后，与所述融合单元的输入端连接。
在其中一个实施例中，所述预设的混合注意力算法包括预设池化算法以及预设通道算法；所述增强模块具体用于：
根据预设池化算法，对所述目标残差进行池化计算，得到初始空间特征；
根据预设通道算法，对所述目标残差进行通道计算，得到初始通道特征；
根据所述初始空间特征以及所述初始通道特征，确定增强特征图。
在其中一个实施例中，所述装置还包括：训练模块，用于获取训练数据，所述训练数据包括多组图像对，所述图像对包括样本有云图像以及样本无云图像；将所述样本有云图像输入至待训练的云去除模型，得到预测无云图像；根据所述样本无云图像以及所述预测无云图像，通过损失函数计算目标损失值；根据所述目标损失值更新所述待训练的云去除模型的网络参数，并返回执行所述获取训练数据的步骤，直至所述目标损失值满足训练完成条件，得到训练完成的云去除模型。
在其中一个实施例中，所述训练模块，具体用于：
根据所述样本无云图像以及所述预测无云图像，分别通过前向去云损失函数、反向云化损失函数、循环一致性损失函数以及感知损失函数，计算前向去云损失值、反向云化损失值、循环一致性损失值以及感知损失值；
对所述前向去云损失值、所述反向云化损失值、所述循环一致性损失值以及所述感知损失值进行叠加处理，得到目标损失值。
上述云去除装置800中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图16所示。该计算机设备包括通过***总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储云去除相关数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种云去除方法。
本领域技术人员可以理解，图16中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
需要说明的是，本公开实施例的方法和装置可用于人工智能技术领域，可用于金融科技领域或其他相关领域，本公开实施例的方法和装置对所应用领域不做限定。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (13)

1.一种云去除方法，其特征在于，所述方法包括：
获取待处理图像，所述待处理图像是存在云层覆盖的遥感图像；
基于所述预先训练的云去除模型，对所述待处理图像进行第一类型卷积计算，得到第一类型特征图，以及对所述待处理图像进行第二类型卷积计算，得到第二类型特征图；
根据预设的混合注意力算法，对所述第一类型特征图进行处理，得到增强特征图，根据预设的密集残差算法，对所述第二类型特征图进行密集残差计算，得到密集残差；
对所述增强特征图以及所述密集残差进行融合处理，得到第一融合特征；
根据所述第一融合特征进行图像重建，得到所述待处理图像对应的目标无云图像。
2.根据权利要求1所述的方法，其特征在于，所述获取待处理图像，包括：
采集初始图像，识别所述初始图像中的云层区域，得到所述初始图像对应的第一有云区域图像以及第一无云区域图像，并将所述第一有云区域图像作为所述待处理图像；
所述方法还包括：
将所述第一无云区域图像以及所述目标无云图像进行叠加，得到所述初始图像对应的无云图像。
3.根据权利要求1所述的方法，其特征在于，所述对所述待处理图像进行第一类型卷积计算，得到第一类型特征图，包括：
根据多个不同的预设尺度，分别对所述待处理图像进行卷积计算，得到所述待处理图像对应的多个不同维度的初始特征图，所述维度与所述预设尺度一一对应；
对两两初始特征图进行融合拼接处理，得到所述待处理图像更新后的初始特征图；
在所述更新后的初始特征图不满足预设单一条件的情况下，重新执行所述对两两初始特征图进行融合拼接处理，得到所述待处理图像更新后的初始特征图的步骤，直至所述更新后的初始特征图满足预设单一条件，并将满足所述预设单一条件的初始特征图作为第一类型特征图。
4.根据权利要求1所述的方法，其特征在于，所述根据预设的混合注意力算法，对所述第一类型特征图进行处理，得到增强特征图，包括：
对所述第一类型特征图进行残差计算，得到目标残差特征；
根据预设的混合注意力算法，对所述目标残差特征进行增强处理，得到增强特征图。
5.根据权利要求1所述的方法，其特征在于，所述根据所述第一融合特征进行图像重建，得到所述待处理图像对应的目标无云图像，包括：
对所述第一融合特征进行目标次数的上采样处理，得到恢复像素数据；
对所述恢复像素数据进行所述第二类型卷积计算，得到所述待处理图像对应的目标无云图像。
6.根据权利要求4所述的方法，其特征在于，所述云去除模型包括残差计算模块，所述残差计算模块包括融合单元以及多个残差计算单元；
所述对所述第一类型特征图进行残差计算，得到目标残差特征，包括：
通过所述残差计算模块中包括的所述融合单元以及多个残差计算单元，对所述第一类型特征图进行残差计算，得到目标残差特征；
其中，各个所述残差计算单元的输入端与输出端依次相接，且第一个所述残差计算单元的输出端与所述多个残差计算单元中的目标残差计算单元的输出端进行融合后，与所述目标残差计算单元的下一个所述残差计算单元的输入端连接，第一个所述残差计算单元的输出端与最后一个所述残差计算单元的输出端进行融合后，与所述融合单元的输入端连接。
7.根据权利要求4所述的方法，其特征在于，所述预设的混合注意力算法包括预设池化算法以及预设通道算法；所述根据预设的混合注意力算法，对所述目标残差特征进行增强处理，得到增强特征图，包括：
根据预设池化算法，对所述目标残差进行池化计算，得到初始空间特征；
根据预设通道算法，对所述目标残差进行通道计算，得到初始通道特征；
根据所述初始空间特征以及所述初始通道特征，确定增强特征图。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取训练数据，所述训练数据包括多组图像对，所述图像对包括样本有云图像以及样本无云图像；
将所述样本有云图像输入至待训练的云去除模型，得到预测无云图像；
根据所述样本无云图像以及所述预测无云图像，通过损失函数计算目标损失值；
根据所述目标损失值更新所述待训练的云去除模型的网络参数，并返回执行所述获取训练数据的步骤，直至所述目标损失值满足训练完成条件，得到训练完成的云去除模型。
9.根据权利要求8所述的方法，其特征在于，所述根据所述样本无云图像以及所述预测无云图像，通过损失函数计算目标损失值，包括：
根据所述样本无云图像以及所述预测无云图像，分别通过前向去云损失函数、反向云化损失函数、循环一致性损失函数以及感知损失函数，计算前向去云损失值、反向云化损失值、循环一致性损失值以及感知损失值；
对所述前向去云损失值、所述反向云化损失值、所述循环一致性损失值以及所述感知损失值进行叠加处理，得到目标损失值。
10.一种云去除装置，其特征在于，所述装置包括：
采集模块，用于获取待处理图像，所述待处理图像是存在云层覆盖的遥感图像；
卷积计算模块，用于基于所述预先训练的云去除模型，对所述待处理图像进行第一类型卷积计算，得到第一类型特征图，以及对所述待处理图像进行第二类型卷积计算，得到第二类型特征图；
增强模块，用于根据预设的混合注意力算法，对所述第一类型特征图进行处理，得到增强特征图；
密集残差计算模块，用于根据预设的密集残差算法，对所述第二类型特征图进行密集残差计算，得到密集残差；
融合模块，用于对所述增强特征图以及所述密集残差进行融合处理，得到第一融合特征；
重建模块，用于根据所述第一融合特征进行图像重建，得到所述待处理图像对应的目标无云图像。
11.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述的方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。
13.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。
CN202210410940.2A 2022-04-19 2022-04-19 云去除方法、装置、计算机设备和存储介质 Pending CN114742733A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210410940.2A CN114742733A (zh) 2022-04-19 2022-04-19 云去除方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210410940.2A CN114742733A (zh) 2022-04-19 2022-04-19 云去除方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN114742733A true CN114742733A (zh) 2022-07-12

Family

ID=82282347

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210410940.2A Pending CN114742733A (zh) 2022-04-19 2022-04-19 云去除方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN114742733A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115222629A (zh) * 2022-08-08 2022-10-21 西南交通大学 基于云厚度估计与深度学习的单幅遥感影像云去除方法
CN116416469A (zh) * 2023-04-10 2023-07-11 中国气象局人工影响天气中心 基于目标区域的冰晶图像识别方法、装置、计算机设备和存储介质
CN116563147A (zh) * 2023-05-04 2023-08-08 北京联合大学 一种水下图像增强***及方法
CN117649358A (zh) * 2024-01-30 2024-03-05 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及存储介质
WO2024131707A1 (zh) * 2022-12-22 2024-06-27 虹软科技股份有限公司 毛发增强方法、神经网络、电子装置和存储介质

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115222629A (zh) * 2022-08-08 2022-10-21 西南交通大学 基于云厚度估计与深度学习的单幅遥感影像云去除方法
CN115222629B (zh) * 2022-08-08 2023-05-05 西南交通大学 基于云厚度估计与深度学习的单幅遥感影像云去除方法
WO2024131707A1 (zh) * 2022-12-22 2024-06-27 虹软科技股份有限公司 毛发增强方法、神经网络、电子装置和存储介质
CN116416469A (zh) * 2023-04-10 2023-07-11 中国气象局人工影响天气中心 基于目标区域的冰晶图像识别方法、装置、计算机设备和存储介质
CN116416469B (zh) * 2023-04-10 2023-10-24 中国气象局人工影响天气中心 基于目标区域的冰晶图像识别方法、装置、计算机设备和存储介质
CN116563147A (zh) * 2023-05-04 2023-08-08 北京联合大学 一种水下图像增强***及方法
CN116563147B (zh) * 2023-05-04 2024-03-26 北京联合大学 一种水下图像增强***及方法
CN117649358A (zh) * 2024-01-30 2024-03-05 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及存储介质
CN117649358B (zh) * 2024-01-30 2024-04-16 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN114742733A (zh) 云去除方法、装置、计算机设备和存储介质
CN111369440B (zh) 模型训练、图像超分辨处理方法、装置、终端及存储介质
CN111723732B (zh) 一种光学遥感图像变化检测方法、存储介质及计算设备
Wang et al. Laplacian pyramid adversarial network for face completion
Zhang et al. LR-Net: Low-rank spatial-spectral network for hyperspectral image denoising
Liu et al. Effective image super resolution via hierarchical convolutional neural network
Molina et al. Variational posterior distribution approximation in Bayesian super resolution reconstruction of multispectral images
Xiao et al. Physics-based GAN with iterative refinement unit for hyperspectral and multispectral image fusion
CN113744136A (zh) 基于通道约束多特征融合的图像超分辨率重建方法和***
CN115439325A (zh) 低分辨率高光谱图像处理方法、装置、计算机程序产品
Wang et al. Convolutional LSTM-based hierarchical feature fusion for multispectral pan-sharpening
Du et al. Blind image denoising via dynamic dual learning
CN115375548A (zh) 一种超分辨率的遥感图像生成方法、***、设备和介质
Ran et al. RGAN: Rethinking generative adversarial networks for cloud removal
Zhou et al. A superior image inpainting scheme using Transformer-based self-supervised attention GAN model
Chen et al. Fusion of Hyperspectral-Multispectral images joining Spatial-Spectral Dual-Dictionary and structured sparse Low-rank representation
Guo et al. Blind single-image-based thin cloud removal using a cloud perception integrated fast Fourier convolutional network
Ye et al. Bayesian nonlocal patch tensor factorization for hyperspectral image super-resolution
Fang et al. Learning explicit smoothing kernels for joint image filtering
CN117422619A (zh) 图像重建模型的训练方法、图像重建方法、装置及设备
CN115630660B (zh) 基于卷积神经网络的条码定位方法和装置
Zhang et al. Local-aware coupled network for hyperspectral image super-resolution
CN115311550B (zh) 遥感影像语义变化检测方法、装置、电子设备及存储介质
CN113327221B (zh) 融合roi区域的图像合成方法、装置、电子设备及介质
CN115496654A (zh) 基于自注意力机制的图像超分辨率重建方法、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination