CN113379618A - 一种基于残差密集连接和特征融合的光学遥感图像去云方法 - Google Patents

一种基于残差密集连接和特征融合的光学遥感图像去云方法 Download PDF

Info

Publication number
CN113379618A
CN113379618A CN202110491313.1A CN202110491313A CN113379618A CN 113379618 A CN113379618 A CN 113379618A CN 202110491313 A CN202110491313 A CN 202110491313A CN 113379618 A CN113379618 A CN 113379618A
Authority
CN
China
Prior art keywords
cloud
network model
remote sensing
sensing image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110491313.1A
Other languages
English (en)
Other versions
CN113379618B (zh
Inventor
刘宇航
佘玉成
杨志
王晓宇
王丹丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Dongfanghong Satellite Co Ltd
Original Assignee
Aerospace Dongfanghong Satellite Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Dongfanghong Satellite Co Ltd filed Critical Aerospace Dongfanghong Satellite Co Ltd
Priority to CN202110491313.1A priority Critical patent/CN113379618B/zh
Publication of CN113379618A publication Critical patent/CN113379618A/zh
Application granted granted Critical
Publication of CN113379618B publication Critical patent/CN113379618B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明一种基于残差密集连接和特征融合的光学遥感图像去云方法，所述方法包括：采用生成网络模型和判别网络模型设计光学遥感图像去云方法，其中，生成网络模型负责生成清晰无云图像，判别网络模型负责与生成网络进行博弈，提高生成网络去云性能；生成网络模型基于特征提取部分和特征重建部分实现遥感图像去云，特征提取部分采用残差密集连接单元搭建，特征重建部分采用残差密集连接单元和特征融合单元搭建；判别网络模型负责区分去云图和真实无云图，为生成网络提供梯度进行对抗训练；采用平均绝对误差损失函数、感知损失函数和对抗损失函数的线性组合训练生成网络，采用交叉熵损失函数训练判别网络；采用训练好的模型参数，仅由一张有云遥感图像就可恢复无云遥感图像。

Description

一种基于残差密集连接和特征融合的光学遥感图像去云方法
技术领域
本发明涉及图像处理技术与深度学习技术领域，尤其涉及一种基于残差密集连接和特征融合的光学遥感图像去云方法。
背景技术
近年来，遥感技术发展迅速，已经被运用到生态监控、气象预测、灾害预报和交通监测等诸多领域。遥感卫星拍摄的光学遥感图像会被空中的云雾等遮挡，导致遥感图像的质量下降、颜色失真和关键信息丢失等一系列问题，严重影响对遥感图像内容的分析与处理。
传统的遥感图像去云技术主要有物理模型法、同态滤波和小波变换等。物理模型法主要是分析云层形成的物理模型，根据一些假设先验知识对模型参数进行分析，最终通过物理模型反推出无云图像，然而这类算法具有明显的局限性，无法适用于所有情况，当假设先验失效的情况下，算法结果不理想；同态滤波算法假设云雾分布于遥感图像的低频信息，通过增强高频信息去除云雾影响；小波变换法利用云雾和地面信息的频率不同，通过小波分解得到不同分辨率的小波系数，在不同分辨率下对细节和近似系数进行处理，进而恢复图像。然而，此类滤波方法在处理图像的过程中可能会模糊地表信息，带来不良影响。
随着卷积神经网络(Convolutional Neural Networks,CNN)的发展，越来越多的深度学习算法在计算机视觉技术领域取得了非常好的效果，例如目标检测、目标识别和图像处理等领域。深度学习算法为遥感图像去云技术提供了广阔的思路，遥感图像去云技术主要目的是去除云雾的影响，尽可能地恢复遥感图像内的细节信息，提高图像质量和清晰度，这项技术具有十分重要的意义。
综上所述，采用深度学习方法设计遥感图像去云技术可以避免物理模型的局限性，具有简便易行和适用性强等特点，通过学习有云遥感图像和无云遥感图像之间的映射关系，利用单张有云遥感图像就可得到清晰无云遥感图像，无需额外的假设信息。因此，提出一种不依赖物理模型的光学遥感图像去云方法具有非常强的实用价值和应用前景。
发明内容
本发明提供了一种基于残差密集连接和特征融合的光学遥感图像去云方法，本发明采用生成网络模型和判别网络模型设计光学遥感图像去云方法，生成网络模型采用残差密集连接单元和特征融合单元实现遥感图像去云，判别网络模型通过对抗训练提高去云性能，本发明可以自适应地学习有云遥感图和无云遥感图之间的映射函数，可直接从一张有云遥感图像恢复无云图像，详见下文描述：
本发明的技术方案是：一种基于残差密集连接和特征融合的光学遥感图像去云方法，所述方法包括：
采用生成网络模型和判别网络模型设计光学遥感图像去云方法，其中，生成网络模型负责生成清晰无云图像，判别网络模型负责与生成网络进行博弈，提高生成网络去云性能；
生成网络模型基于特征提取部分和特征重建部分实现遥感图像去云，特征提取部分采用残差密集连接单元搭建，特征重建部分采用残差密集连接单元和特征融合单元搭建；
判别网络模型负责区分去云图和真实无云图，为生成网络提供梯度进行对抗训练；
采用平均绝对误差损失函数、感知损失函数和对抗损失函数的线性组合训练生成网络，采用交叉熵损失函数训练判别网络；
采用训练好的模型参数，仅由一张有云遥感图像就可恢复无云遥感图像。
其中，所述生成网络模型具体为：
所述生成网络模型基于卷积、反卷积、LReLU激活函数、ReLU激活函数和Tanh激活函数搭建；
所述生成网络模型包括图像特征提取和图像特征重建两部分；
所述图像特征提取部分由m个残差密集连接单元组成，包括卷积和LReLU激活函数；
所述图像特征重建部分由n个残差密集连接和n个特征融合单元组成，包括反卷积、ReLU激活函数和Tanh激活函数；
所述残差密集连接单元由f个卷积的密集连接和g个残差学习组成，通过f个卷积的密集连接实现特征复用，最大化各层之间的特征信息流，采用残差学习防止梯度消失问题；
所述特征融合单元采用尺寸为a×a和b×b的感受野完成多尺度特征提取及融合任务。
其中，所述判别网络模型具体为：
所述判别网络模型基于卷积、批量归一化、LReLU激活函数和Sigmoid激活函数搭建，由q个卷积层组成；
所述判别网络模型分别将真实无云图和去云图作为正、负样本，采用有云图作为参考信息，通过训练区分二者；
所述判别网络模型与生成网络模型交替训练，不断地为生成网络提供梯度，二者始终处于对抗博弈之中。
所述平均绝对误差损失函数具体为：
LossM＝||E-G(F)||1
式中，G(·)代表生成网络的输出，E代表无云图，F代表有云图，G(F)代表去云图；
所述感知损失函数具体为：
Figure BDA0003052276580000031
式中，β(·)代表VGG16的卷积层2_2输出的特征图；
所述对抗损失函数具体为：
LossA＝∑[-logD(F,G(F))]
式中，D(·)代表判别网络的输出，D(F,G(F))代表有云图F作为参考信息时，去云图G(F)经过判别网络的输出；
所述交叉熵损失函数具体为：
LossD＝∑[-logD(F,E)+log(1-D(F,G(F)))]
式中，D(F,E)代表有云图F作为参考信息时，无云图E经过判别网络的输出。
本发明提供的技术方案的有益效果是：
1、本发明不依赖物理模型的假设和推导，避免了物理模型的局限性，通过深度卷积神经网络学习有云遥感图像和无云遥感图像的映射函数，适用性较强；
2、本发明不需要提供额外信息，只需一张有云遥感图像就可得到去云遥感图像，方法简单易行，易于操作；
3、本发明去云效果自然，效率较高。
附图说明
图1为一种基于残差密集连接和特征融合的光学遥感图像去云方法的流程图；
图2为生成网络模型结构示意图；
图3为残差密集连接单元结构示意图；
图4为特征融合单元结构示意图；
图5为判别网络模型结构示意图；
图6为实验结果中有云遥感图像和去云遥感图像；
图7为实验结果中另一有云遥感图像和去云遥感图像。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面根据图1-7对本发明实施方式作进一步地详细描述。
实施例1
为了实现高质量的光学遥感图像去云，本发明实施例提出了一种基于残差密集连接和特征融合的光学遥感图像去云方法，参见图1，详见下文描述：
101：采用生成网络模型和判别网络模型设计光学遥感图像去云方法，其中，生成网络模型负责生成清晰无云图像，判别网络模型负责与生成网络进行博弈，提高生成网络去云性能；
102：生成网络模型基于特征提取部分和特征重建部分实现遥感图像去云，特征提取部分采用残差密集连接单元搭建，特征重建部分采用残差密集连接单元和特征融合单元搭建；
103：判别网络模型负责区分去云图和真实无云图，为生成网络提供梯度进行对抗训练；
104：采用平均绝对误差损失函数、感知损失函数和对抗损失函数的线性组合训练生成网络，采用交叉熵损失函数训练判别网络；
105：采用训练好的模型参数，仅由一张有云遥感图像就可恢复无云遥感图像；
其中，步骤101中的具体步骤为：
1)采用对抗学习策略，通过生成网络模型和判别网络模型实现光学遥感图像去云方法；
2)生成网络模型负责生成清晰无云图，输入为有云图F，输出为去云图G(F)；
3)判别网络模型负责区分无云图E和去云图G(F)，与生成网络进行博弈，提高生成网络去云性能，输入为无云图E或去云图G(F)，输出为该图像是无云图E的概率。
其中，步骤102中生成网络模型搭建的具体步骤为：
1)生成网络模型基于卷积、反卷积、LReLU激活函数(斜率为α)、ReLU激活函数和Tanh激活函数搭建，包括图像特征提取(Feature Extraction)和图像特征重建(FeatureReconstruction)两部分，结构如图2所示；
2)图像特征提取部分由m个残差密集连接单元(Residual Densely ConnectedUnit,RDCU)组成，包括卷积和LReLU激活函数；图像特征重建部分由n个残差密集连接和n个特征融合单元(Feature Fusion Unit,FFU)组成，包括反卷积、ReLU激活函数和Tanh激活函数；其中，特征提取部分采用步幅为2的卷积减小特征图尺寸，特征重建部分采用步幅为
Figure BDA0003052276580000061
的反卷积扩大尺寸，图像特征提取部分采用LReLU激活函数，图像特征重建部分最后一层采用Tanh激活函数，其余层使用ReLU激活函数；
3)残差密集连接单元基于f个卷积的密集连接和g个残差学习组成，结构如图3所示。进一步地，通过f个卷积的密集连接实现特征复用，最大化各层之间的特征信息流，之后通过一个1×1卷积减少特征通道数量，最后采用残差学习防止梯度消失问题。该单元中卷积步幅均为1，除最后一个卷积核尺寸为1×1外，其余卷积核尺寸均为4×4。对残差密集连接单元的结构不做限制；
4)特征融合单元采用尺寸为a×a和b×b的感受野提取特征并融合，结构如图4所示。进一步地，该单元先采用a×a和b×b的感受野完成多尺度特征提取及融合，随后采用1×1卷积减少特征数量，卷积步幅均为1。对特征融合单元的结构不做限制；
5)除特殊说明外，其余卷积的卷积核尺寸均为d×d。
其中，步骤103中判别网络模型的具体步骤为：
1)判别网络模型基于卷积、批量归一化(Batch Normalization,BN)、LReLU激活函数(斜率为α)和Sigmoid激活函数搭建，由q个卷积层组成，最后两个卷积步幅为1，其余步幅为2，最后一层激活函数为Sigmoid激活函数，其余均为LReLU激活函数，结构如图5所示；
2)判别网络模型将真实无云图E作为正样本、去云图G(F)作为负样本进行训练，采用有云图F作为参考信息，输出取值范围为[0,1]的概率。具体地，输入为真实无云图E时，输出高概率，反之为低概率；
3)判别网络模型与生成网络模型交替训练，不断地为生成网络提供梯度，二者始终处于对抗博弈之中。
其中，步骤104中构建损失函数的具体步骤为：
1)采用平均绝对误差损失函数、感知损失函数和对抗损失函数的线性组合训练生成网络，采用交叉熵损失函数训练判别网络，具体如下所述；
2)平均绝对误差损失函数如式(1)所示：
LossM＝||E-G(F)||1 (1)
式中，G(·)代表生成网络的输出，E代表无云图，F代表有云图，G(F)代表去云图；
3)感知损失函数如式(2)所示：
Figure BDA0003052276580000071
式中，β(·)代表VGG16的卷积层2_2输出的特征图；
4)对抗损失函数如式(3)所示：
LossA＝∑[-logD(F,G(F))] (3)
式中，D(·)代表判别网络的输出，D(F,G(F))代表有云图F作为参考信息时，去云图G(F)经过判别网络的输出；
5)训练生成网络的总体损失函数为上述三种函数的线性组合，如式(4)所示：
LossG＝λLossM+βLossP+αLA (4)
式中，λ、β和α分别为LossM、LossP和LA的权重；
6)训练判别网络使用交叉熵损失函数，如式(5)所示：
LossD＝∑[-logD(F,E)+log(1-D(F,G(F)))] (5)
式中，D(F,E)代表有云图F作为参考信息时，无云图E经过判别网络的输出。
其中，步骤105的具体步骤为：采用训练好的模型参数，由一张有云遥感图像即可生成无云遥感图像。
实施例2
下面结合具体的附图以及计算公式对实施例1中的方案进行详细介绍，详见下文描述：
201：采用生成网络模型和判别网络模型设计光学遥感图像去云方法，其中，生成网络模型负责生成清晰无云图像，判别网络模型负责与生成网络进行博弈，提高生成网络去云性能；
202：生成网络模型基于特征提取部分和特征重建部分实现遥感图像去云，特征提取部分采用残差密集连接单元搭建，特征重建部分采用残差密集连接单元和特征融合单元搭建；
203：判别网络模型负责区分去云图和真实无云图，为生成网络提供梯度进行对抗训练；
204：采用平均绝对误差损失函数、感知损失函数和对抗损失函数的线性组合训练生成网络，采用交叉熵损失函数训练判别网络；
205：采用训练好的模型参数，仅由一张有云遥感图像就可恢复无云遥感图像；
其中，步骤201中的具体步骤为：
1)采用对抗学习策略，通过生成网络模型和判别网络模型实现光学遥感图像去云方法；
2)生成网络模型负责生成清晰无云图，输入为有云图F，输出为去云图G(F)；
3)判别网络模型负责区分无云图E和去云图G(F)，与生成网络进行博弈，提高生成网络去云性能，输入为无云图E或去云图G(F)，输出为该图像是无云图E的概率。
其中，步骤202中生成网络模型搭建的具体步骤为：
1)生成网络模型基于卷积、反卷积、LReLU激活函数(斜率为0.2)、ReLU激活函数和Tanh激活函数搭建，包括图像特征提取(Feature Extraction)和图像特征重建(FeatureReconstruction)两部分，结构如图2所示；
2)图像特征提取部分由3个残差密集连接单元(Residual Densely ConnectedUnit,RDCU)组成，包括卷积和LReLU激活函数；图像特征重建部分由3个残差密集连接和3个特征融合单元(Feature Fusion Unit,FFU)组成，包括反卷积、ReLU激活函数和Tanh激活函数；其中，特征提取部分采用步幅为2的卷积减小特征图尺寸，特征重建部分采用步幅为
Figure BDA0003052276580000091
的反卷积扩大尺寸，图像特征提取部分采用LReLU激活函数，图像特征重建部分最后一层采用Tanh激活函数，其余层使用ReLU激活函数；
3)残差密集连接单元基于3个卷积的密集连接和1个残差学习组成，结构如图3所示。进一步地，通过3个卷积的密集连接实现特征复用，最大化各层之间的特征信息流，之后通过一个1×1卷积减少特征通道数量，最后采用残差学习防止梯度消失问题。该单元中卷积步幅均为1，除最后一个卷积核尺寸为1×1外，其余卷积核尺寸均为4×4。对残差密集连接单元的结构不做限制；
4)特征融合单元采用尺寸为3×3和5×5的感受野提取特征并融合，结构如图4所示。进一步地，该单元先采用3×3和5×5的感受野完成多尺度特征提取及融合，随后采用1×1卷积减少特征数量，卷积步幅均为1。对特征融合单元的结构不做限制；
5)除特殊说明外，其余卷积的卷积核尺寸均为4×4。
其中，步骤203中判别网络模型的具体步骤为：
1)判别网络模型基于卷积、批量归一化(Batch Normalization,BN)、LReLU激活函数(斜率为0.2)和Sigmoid激活函数搭建，由5个卷积层组成，最后两个卷积步幅为1，其余步幅为2，最后一层激活函数为Sigmoid激活函数，其余均为LReLU激活函数，结构如图5所示；
2)判别网络模型将真实无云图E作为正样本、去云图G(F)作为负样本进行训练，采用有云图F作为参考信息，输出取值范围为[0,1]的概率。具体地，输入为真实无云图E时，输出高概率，反之为低概率；
3)判别网络模型与生成网络模型交替训练，不断地为生成网络提供梯度，二者始终处于对抗博弈之中。
其中，步骤204中构建损失函数的具体步骤为：
1)采用平均绝对误差损失函数、感知损失函数和对抗损失函数的线性组合训练生成网络，采用交叉熵损失函数训练判别网络，具体如下所述；
2)平均绝对误差损失函数如式(1)所示，感知损失函数如式(2)所示，对抗损失函数如式(3)所示，训练生成网络的总体损失函数为上述三种函数的线性组合，如式(4)所示，训练判别网络使用的交叉熵损失函数如式(5)所示，此处不再赘述。
3)优选地，权重设置具体为λ＝100.0，β＝1.0，α＝0.5。
其中，步骤205的具体步骤为：采用训练好的模型参数，仅由一张有云遥感图像就可恢复无云遥感图像。
实施例3
下面通过实验数据对实施例1和2中的方案进行可行性验证，详见下文描述：
从公开的遥感图像RICE数据集中选择两张有云遥感图像，使用本发明的去云方法进行实验，结果如图6和图7所示。由此可见，本方法的去云效果自然，并且较为彻底，能够很好地实现光学遥感图像去云任务。
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于残差密集连接和特征融合的光学遥感图像去云方法，其特征在于，所述方法包括：
采用生成网络模型和判别网络模型设计光学遥感图像去云方法，其中，生成网络模型负责生成清晰无云图像，判别网络模型负责与生成网络进行博弈，提高生成网络去云性能；
生成网络模型基于特征提取部分和特征重建部分实现遥感图像去云，特征提取部分采用残差密集连接单元搭建，特征重建部分采用残差密集连接单元和特征融合单元搭建；
判别网络模型负责区分去云图和真实无云图，为生成网络提供梯度进行对抗训练；
采用平均绝对误差损失函数、感知损失函数和对抗损失函数的线性组合训练生成网络，采用交叉熵损失函数训练判别网络；
采用训练好的模型参数，仅由一张有云遥感图像恢复无云遥感图像。
2.根据权利要求1所述的一种基于残差密集连接和特征融合的光学遥感图像去云方法，其特征在于，所述生成网络模型具体为：
所述生成网络模型基于卷积、反卷积、LReLU激活函数、ReLU激活函数和Tanh激活函数搭建；
所述生成网络模型包括图像特征提取和图像特征重建两部分。
3.根据权利要求2所述的一种基于残差密集连接和特征融合的光学遥感图像去云方法，其特征在于，图像特征提取部分和重建部分具体为：
所述图像特征提取部分由m个残差密集连接单元组成，包括卷积和LReLU激活函数；
所述图像特征重建部分由n个残差密集连接和n个特征融合单元组成，包括反卷积、ReLU激活函数和Tanh激活函数。
4.根据权利要求3所述的一种基于残差密集连接和特征融合的光学遥感图像去云方法，其特征在于，残差密集连接单元和特征融合单元具体为：
所述残差密集连接单元由f个卷积的密集连接和g个残差学习组成，通过f个卷积的密集连接实现特征复用，最大化各层之间的特征信息流，采用残差学习防止梯度消失问题；
所述特征融合单元采用尺寸为a×a和b×b的感受野完成多尺度特征提取及融合任务。
5.根据权利要求1所述的一种基于残差密集连接和特征融合的光学遥感图像去云方法，其特征在于，所述判别网络模型具体为：
所述判别网络模型基于卷积、批量归一化、LReLU激活函数和Sigmoid激活函数搭建，由q个卷积层组成；
所述判别网络模型分别将真实无云图和去云图作为正、负样本，采用有云图作为参考信息，通过训练区分二者；
所述判别网络模型与生成网络模型交替训练，不断地为生成网络提供梯度，二者始终处于对抗博弈之中。
6.根据权利要求2所述的一种基于残差密集连接和特征融合的光学遥感图像去云方法，其特征在于，生成网络模型采用的平均绝对误差损失函数具体为：
LossM＝||E-G(F)||1
式中，G(·)代表生成网络的输出，E代表无云图，F代表有云图，G(F)代表去云图。
7.根据权利要求2所述的一种基于残差密集连接和特征融合的光学遥感图像去云方法，其特征在于，生成网络模型采用的感知损失函数具体为：
Figure FDA0003052276570000021
式中，β(·)代表VGG16的卷积层2_2输出的特征图。
8.根据权利要求2所述的一种基于残差密集连接和特征融合的光学遥感图像去云方法，其特征在于，生成网络模型采用的对抗损失函数具体为：
LossA＝∑[-logD(F,G(F))]
式中，D(·)代表判别网络的输出，D(F,G(F))代表有云图F作为参考信息时，去云图G(F)经过判别网络的输出。
9.根据权利要求5所述的一种基于残差密集连接和特征融合的光学遥感图像去云方法，其特征在于，判别网络模型采用的交叉熵损失函数具体为：
LossD＝∑[-logD(F,E)+log(1-D(F,G(F)))]
式中，D(F,E)代表有云图F作为参考信息时，无云图E经过判别网络的输出。
CN202110491313.1A 2021-05-06 2021-05-06 基于残差密集连接和特征融合的光学遥感图像去云方法 Active CN113379618B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110491313.1A CN113379618B (zh) 2021-05-06 2021-05-06 基于残差密集连接和特征融合的光学遥感图像去云方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110491313.1A CN113379618B (zh) 2021-05-06 2021-05-06 基于残差密集连接和特征融合的光学遥感图像去云方法

Publications (2)

Publication Number Publication Date
CN113379618A true CN113379618A (zh) 2021-09-10
CN113379618B CN113379618B (zh) 2024-04-12

Family

ID=77570395

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110491313.1A Active CN113379618B (zh) 2021-05-06 2021-05-06 基于残差密集连接和特征融合的光学遥感图像去云方法

Country Status (1)

Country Link
CN (1) CN113379618B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113935917A (zh) * 2021-10-14 2022-01-14 中国石油大学(华东) 一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄云去除方法
CN114140357A (zh) * 2021-12-02 2022-03-04 哈尔滨工程大学 一种基于协同注意力机制的多时相遥感图像云区重建方法
CN115294392A (zh) * 2022-08-09 2022-11-04 安徽理工大学 基于生成网络模型的可见光遥感图像云去除方法及***
CN116168302A (zh) * 2023-04-25 2023-05-26 耕宇牧星(北京)空间科技有限公司 一种基于多尺度残差融合网络的遥感图像岩脉提取方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472818A (zh) * 2018-10-17 2019-03-15 天津大学 一种基于深度神经网络的图像去雾方法
CN110570371A (zh) * 2019-08-28 2019-12-13 天津大学 一种基于多尺度残差学习的图像去雾方法
CN110599401A (zh) * 2019-08-19 2019-12-20 中国科学院电子学研究所 遥感图像超分辨率重建方法、处理装置及可读存储介质
KR102095443B1 (ko) * 2019-10-17 2020-05-26 엘아이지넥스원 주식회사 구조텐서를 이용한 딥러닝 기반의 영상 개선 방법 및 장치
CN111383192A (zh) * 2020-02-18 2020-07-07 清华大学 一种融合sar的可见光遥感图像去雾方法
CN112150395A (zh) * 2020-10-15 2020-12-29 山东工商学院 结合残差块和密集块的编码器-解码器网络图像去雾方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472818A (zh) * 2018-10-17 2019-03-15 天津大学 一种基于深度神经网络的图像去雾方法
CN110599401A (zh) * 2019-08-19 2019-12-20 中国科学院电子学研究所 遥感图像超分辨率重建方法、处理装置及可读存储介质
CN110570371A (zh) * 2019-08-28 2019-12-13 天津大学 一种基于多尺度残差学习的图像去雾方法
KR102095443B1 (ko) * 2019-10-17 2020-05-26 엘아이지넥스원 주식회사 구조텐서를 이용한 딥러닝 기반의 영상 개선 방법 및 장치
CN111383192A (zh) * 2020-02-18 2020-07-07 清华大学 一种融合sar的可见光遥感图像去雾方法
CN112150395A (zh) * 2020-10-15 2020-12-29 山东工商学院 结合残差块和密集块的编码器-解码器网络图像去雾方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘宇航: "基于生成式对抗网络的图像去雾算法研究", 《万方学位论文库》, pages 1 - 75 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113935917A (zh) * 2021-10-14 2022-01-14 中国石油大学(华东) 一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄云去除方法
CN114140357A (zh) * 2021-12-02 2022-03-04 哈尔滨工程大学 一种基于协同注意力机制的多时相遥感图像云区重建方法
CN114140357B (zh) * 2021-12-02 2024-04-19 哈尔滨工程大学 一种基于协同注意力机制的多时相遥感图像云区重建方法
CN115294392A (zh) * 2022-08-09 2022-11-04 安徽理工大学 基于生成网络模型的可见光遥感图像云去除方法及***
CN115294392B (zh) * 2022-08-09 2023-05-09 安徽理工大学 基于生成网络模型的可见光遥感图像云去除方法及***
CN116168302A (zh) * 2023-04-25 2023-05-26 耕宇牧星(北京)空间科技有限公司 一种基于多尺度残差融合网络的遥感图像岩脉提取方法
CN116168302B (zh) * 2023-04-25 2023-07-14 耕宇牧星(北京)空间科技有限公司 一种基于多尺度残差融合网络的遥感图像岩脉提取方法

Also Published As

Publication number Publication date
CN113379618B (zh) 2024-04-12

Similar Documents

Publication Publication Date Title
Liang et al. ResWCAE: Biometric Pattern Image Denoising Using Residual Wavelet-Conditioned Autoencoder
Tian et al. Deep learning on image denoising: An overview
CN113379618A (zh) 一种基于残差密集连接和特征融合的光学遥感图像去云方法
CN107506712B (zh) 一种基于3d深度卷积网络的人类行为识别的方法
CN112507997B (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨***
CN111915530B (zh) 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法
CN110796625B (zh) 一种基于组稀疏表示和加权全变分的图像压缩感知重构方法
Zhang et al. Efficient feature learning and multi-size image steganalysis based on CNN
CN111275637A (zh) 一种基于注意力模型的非均匀运动模糊图像自适应复原方法
CN110443761B (zh) 一种基于多尺度聚合特征的单幅图像去雨方法
CN111915592A (zh) 基于深度学习的遥感图像云检测方法
CN112270654A (zh) 基于多通道gan的图像去噪方法
CN111783890B (zh) 一种针对图像识别过程中的小像素对抗样本防御方法
CN112365414A (zh) 一种基于双路残差卷积神经网络的图像去雾方法
Sungheetha et al. A novel CapsNet based image reconstruction and regression analysis
CN116051408B (zh) 一种基于残差自编码的图像深度去噪方法
CN112418041A (zh) 一种基于人脸正面化的多姿态人脸识别方法
Tseng et al. An interpretable compression and classification system: Theory and applications
CN108710836B (zh) 一种基于级联特征提取的唇部检测及读取方法
CN111738939B (zh) 一种基于半训练生成器的复杂场景图像去雾方法
Alsayyh et al. A Novel Fused Image Compression Technique Using DFT, DWT, and DCT.
CN111047537A (zh) 一种图像去噪中恢复细节的***
Meena et al. A novel method to distinguish photorealistic computer generated images from photographic images
CN114926348A (zh) 一种去除低照度视频噪声的装置和方法
Li et al. Distribution-transformed network for impulse noise removal

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant