CN114936972A - 一种基于多路感知梯度的遥感图像薄云移除方法 - Google Patents

一种基于多路感知梯度的遥感图像薄云移除方法 Download PDF

Info

Publication number
CN114936972A
CN114936972A CN202210357921.8A CN202210357921A CN114936972A CN 114936972 A CN114936972 A CN 114936972A CN 202210357921 A CN202210357921 A CN 202210357921A CN 114936972 A CN114936972 A CN 114936972A
Authority
CN
China
Prior art keywords
remote sensing
sensing image
thin cloud
cloud
gradient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210357921.8A
Other languages
English (en)
Other versions
CN114936972B (zh
Inventor
王晓宇
刘宇航
张严
佘玉成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Dongfanghong Satellite Co Ltd
Original Assignee
Aerospace Dongfanghong Satellite Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Dongfanghong Satellite Co Ltd filed Critical Aerospace Dongfanghong Satellite Co Ltd
Priority to CN202210357921.8A priority Critical patent/CN114936972B/zh
Publication of CN114936972A publication Critical patent/CN114936972A/zh
Application granted granted Critical
Publication of CN114936972B publication Critical patent/CN114936972B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明一种基于多路感知梯度的遥感图像薄云移除方法，所述方法包括：建立遥感图像薄云移除数据集，按一定比例组成训练集、验证集和测试集；搭建感知梯度提取模块，用于提取图像薄云特征；搭建云层厚度估计模块，用于自适应估计云层厚度；搭建遥感图像薄云移除网络，用于从单张薄云遥感图像到清晰遥感图像的转换；采用遥感图像薄云移除数据集训练遥感图像薄云移除网络，使用的损失函数包括特征损失函数、梯度损失函数和云层厚度损失函数；将训练结束得到的模型参数导入遥感图像薄云移除网络，输入单张薄云遥感图像实现薄云移除。

Description

一种基于多路感知梯度的遥感图像薄云移除方法
技术领域
本发明涉及图像处理技术与深度学习技术领域，尤其涉及一种基于多路感知梯度的遥感图像薄云移除方法。
背景技术
遥感卫星拍摄的光学遥感图像经常受到环境中云层的影响，导致图像中的关键内容被遮挡、细节信息丢失和颜色失真等一系列问题，大大降低光学遥感图像的利用效率，严重影响对遥感图像的判读，致使很多遥感应用无法顺利进行。被厚云影响的光学遥感图像没有利用价值，薄云遥感图像通过适当的技术手段处理后移除薄云的影响，便于后续图像的处理与运用。
传统的遥感图像薄云移除方法采用图像滤波法和统计先验法等，此类方法通过滤波去除图像中的云层影响，或者通过统计分析有云和无云图像之间的差异，提出统计先验信息进而完成薄云移除任务。此类方法局限性比较明显，无法适应复杂多变的情况。
随着深度神经网络的飞速发展，采用深度卷积神经网络设计遥感图像云雾去除方法得到了广泛的关注。卷积神经网络能够提取图像特征并重建图像内容，实现遥感图像的云雾去除，难点在于如何设计网络和模块提取适合云雾去除的特征，并保持恢复的图像真实、自然。通过提出的神经网络结构自适应地学习薄云遥感图像与清晰遥感图像之间的转换关系，实现薄云遥感图像的薄云移除。
发明内容
本发明解决的技术问题是：克服现有技术的不足，提供了一种基于多路感知梯度的遥感图像薄云移除方法，不需要复杂的假设和先验，可以直接从一张有雾图像恢复出无雾图像，简单易行。
本发明的技术方案是：一种基于多路感知梯度的遥感图像薄云移除方法，步骤如下：
1)建立遥感图像薄云移除数据集，包括薄云遥感图像、清晰遥感图像和云层厚度图像，按比例组成训练集、验证集和测试集；
2)搭建感知梯度提取模块，用于提取图像薄云特征；
3)搭建云层厚度估计模块，用于自适应估计云层厚度；
4)基于步骤2)中得到的感知梯度提取模块和步骤3)中得到的云层厚度估计模块，搭建遥感图像薄云移除网络，用于从单张薄云遥感图像到清晰遥感图像的转换；
5)利用步骤1)得到的数据集训练遥感图像薄云移除网络，使用的损失函数包括特征损失函数、梯度损失函数和云层厚度损失函数；
6)将训练结束得到的模型参数导入遥感图像薄云移除网络，输入单张薄云遥感图像实现薄云移除。
所述步骤1)中，遥感图像薄云移除数据集具体为：
11)选取n张清晰遥感图像R，通过生成仿真薄云得到薄云遥感图像C和云层厚度图像T；将遥感图裁剪成尺寸为N×N的图像，将具有对应关系的清晰遥感图像R、薄云遥感图像C和云层厚度图像T组成遥感图像薄云移除数据集，记为{Ri,Ci,Ti|i∈(1,…,m)}，其中i为图像的序号，m为图像的数量，i和m为正整数；
12)将遥感图像薄云移除数据集按照p1:p2:p3的比例划分为训练集、验证集和测试集，其中，p1、p2和p3为正整数，且p1>p2,p1>p3。
所述步骤2)中，所述搭建感知梯度提取模块具体包括感知特征提取单元、梯度信息提取单元、残差特征提取单元和残差连接。
所述感知特征提取单元具体采用VGG19网络提取图像特征，模拟人类视觉***提取图像感知层面的特征，采用VGG19网络第n1层第n2个输出结果作为感知特征信息，用于后续薄云移除任务，其中，n1和n2为正整数。
所述梯度信息提取单元具体采用Sobel算子滤波器在特征图上做步幅为d1的卷积操作，用于提取图像梯度信息，梯度信息中包含云层相关特征；其中，d1为正整数。
所述残差特征提取单元由e个残差单元组成，每个残差单元包括s1个卷积+ReLU激活函数、1个特征校准单元和1个残差学习，卷积核尺寸均为f×f，步幅为d2，其中e、s1、f和d2均为正整数。
所述特征校准单元由3条支路组成，进行图像特征校准任务，该单元输入为αin，输出为αout；
支路1为特征图的每个像素赋予一个权重，实现像素级特征校准，由g个卷积+ReLU激活函数组合和1个卷积+Sigmoid激活函数组合组成，支路1的输出结果为αs，卷积核尺寸为z×z，步幅为x，支路1不改变特征图尺寸和通道数量，其中，g、z和x均为正整数；
支路2不做任何操作，输出仍为特征校准单元的输入αin；
支路3为特征图的每个通道内的像素赋予一个相同权重，实现通道级特征校准，由平均值池化、v个卷积+ReLU激活函数组合、1个卷积+Sigmoid激活函数组合和1个特征尺寸扩充单元组成；平均值池化将特征图每个通道的像素值取平均值作为结果，特征图尺寸由W×H×C变为1×1×C；特征尺寸扩充单元将特征图由尺寸为1×1×C复制扩充为W×H×C，即由1×1个值复制为W×H个相同的值，保持支路3的输入和输出特征图尺寸和通道数量不变；支路3输出结果为αc，卷积核尺寸为a×a，步幅为k，其中，v、a和k均为正整数；
特征校准单元的输出αout为3条支路输出特征图在对应像素进行乘积操作的结果，如下所述：
Figure BDA0003582624000000031
式中，αout为特征校准单元的输出，αs为支路1的输出结果，αin为支路2的输出结果，αc为支路3的输出结果。
所述步骤3)中，所述搭建云层厚度估计模块，包括边缘特征提取部分和特征校准部分，用于自适应估计云层厚度，云层厚度估计模块输入为薄云遥感图像C，输出为预测云层厚度
Figure BDA0003582624000000041
和特征图φout；
边缘特征提取部分包括w条支路，每条支路结构相同，均由步骤2)中梯度信息提取部分和残差单元组成，支路采用的卷积核尺寸逐渐增大；对于第r条支路，输入经过梯度信息提取部分和残差单元的结果记为φr，卷积核尺寸为(2r+1)×(2r+1)，其中，r∈(1,…,w)，r和w为正整数；相邻两条支路的输出对应像素求和，求和后的支路共计w-1条，求和后的第j条支路的结果记为δj，如下所述：
Figure BDA0003582624000000042
式中，j∈(1,…,w-1)，j和w为正整数，
Figure BDA0003582624000000043
表示特征图对应位置元素求和；
特征校准部分由w-1个特征校准单元组成，对于特征校准部分的第i条支路，特征校准单元的输出记为πi，如下所述：
πi＝FC(δi)；
式中，i∈(1,…,w-1)，FC(·)表示特征校准单元的输出；
将特征校准部分FC的输出在通道上连接起来，结果记为φout，作为云层厚度估计模块的第1个输出，如下所述：
φout＝concat(π1,…,πw-1)；
式中，concat(·)表示将特征图在通道上级联；
将特征图φout送进卷积和ReLU激活函数得到预测云层厚度
Figure BDA0003582624000000044
作为云层厚度估计模块第2个输出，如下所述：
Figure BDA0003582624000000045
式中，conv(·)表示卷积核尺寸为l×l的卷积，步幅为d3，ReLU(·)表示ReLU激活函数，l和d3为正整数。
所述步骤4)中，所述搭建遥感图像薄云移除网络具体为：
采用步骤2)中感知梯度提取模块、步骤3)中云层厚度估计模块、残差特征提取单元和Tanh激活函数搭建基于多路感知梯度的遥感图像薄云移除网络，用于从单张薄云遥感图像到清晰遥感图像的转换；基于多路感知梯度的遥感图像薄云移除网络的输入为薄云遥感图像C，输出为预测清晰遥感图像
Figure BDA0003582624000000051
和预测云层厚度图像
Figure BDA0003582624000000052
所述步骤5)中，特征损失函数LF具体为：
Figure BDA0003582624000000053
式中，θ(·)表示VGG19网络的输出特征图，u表示VGG19网络的卷积层序号，q、t和y表示特征图长、宽和通道的序号，O表示使用的VGG19的层数，W、H和C表示特征图长、宽和通道的大小，R表示清晰遥感图像，
Figure BDA0003582624000000054
表示预测清晰遥感图像，u∈(1,…,O)，q∈(1,…,W)，t∈(1,…,H)，y∈(1,…,C)，u，q，t，y，O，W，H和C均为正整数。
所述步骤5)中，梯度损失函数LG具体为：
Figure BDA0003582624000000055
式中，▽(·)表示使用Prewitt算子提取的图像梯度，q、t和y表示特征图长、宽和通道的序号，W、H和C表示特征图长、宽和通道的大小，q∈(1,…,W)，t∈(1,…,H)，y∈(1,…,C)，q，t，y，W，H和C均为正整数。
所述步骤5)中，云层厚度损失函数LR具体为：
Figure BDA0003582624000000056
其中，R表示清晰遥感图像，
Figure BDA0003582624000000061
表示预测清晰遥感图像。
所述步骤6)中，薄云移除方法具体为：采用权利要求2中遥感图像薄云移除数据集训练遥感图像薄云移除网络，训练使用的损失函数包括特征损失函数、梯度损失函数和云层厚度损失函数，训练共计b代，将训练结束得到的模型参数导入遥感图像薄云移除网络，输入单张薄云遥感图像完成遥感图像薄云移除。
本发明提供的技术方案的有益效果是：
1、传统的遥感图像薄云移除方法基于滤波或假设先验等，进行物理模型推导，局限性较为明显，本发明提出一种基于多路感知梯度的遥感图像薄云移除方法，搭建感知梯度提取模块和云层厚度估计模块，用于提取图像薄云特征和自适应估计云层厚度，进行清晰遥感图像的重构，薄云移除更加彻底，无需特定的物理模型及先验知识；
2、本发明能够实现单张遥感图像的薄云移除，无需其他图像作为参考，使用特征损失函数、梯度损失函数和云层厚度损失函数训练遥感图像薄云移除网络，完成高质量的单张遥感图像薄云移除，方法简单易行，效率高；
3、本发明鲁棒性强，能够作为图像预处理应用部署在在嵌入式设备中，实现实时的遥感图像薄云移除，适应范围广，薄云移除效果真实、自然。
附图说明
图1为一种基于多路感知梯度的遥感图像薄云移除方法流程图；
图2为感知梯度提取模块结构示意图；
图3为残差特征提取单元结构示意图；
图4为特征校准单元结构示意图；
图5为云层厚度估计模块结构示意图；
图6为基于多路感知梯度的遥感图像薄云移除网络结构示意图。
具体实施方式
本发明方法步骤如下：
1)建立遥感图像薄云移除数据集，数据集包括薄云遥感图像、清晰遥感图像和云层厚度图像，按一定比例组成训练集、验证集和测试集；
2)搭建感知梯度提取模块，包括感知特征提取单元、梯度信息提取单元和残差特征提取单元三部分，用于提取图像薄云特征；
3)搭建云层厚度估计模块，包括边缘特征提取部分和特征校准部分，用于自适应估计云层厚度；
4)基于步骤2)中感知梯度提取模块和步骤3)中云层厚度估计模块搭建遥感图像薄云移除网络，用于从单张薄云遥感图像到清晰遥感图像的转换；
5)采用步骤1)中遥感图像薄云移除数据集训练遥感图像薄云移除网络，使用的损失函数包括特征损失函数、梯度损失函数和云层厚度损失函数；
6)将训练结束得到的模型参数导入遥感图像薄云移除网络，输入单张薄云遥感图像实现薄云移除。
其中，步骤1)中所述图像薄云移除数据集具体为：
11)选取n张清晰遥感图像R，通过生成仿真薄云得到薄云遥感图像C和云层厚度图像T。由于遥感图像尺寸较大，因此将遥感图裁剪成尺寸为N×N的图像，将具有对应关系的清晰遥感图像R、薄云遥感图像C和云层厚度图像T组成遥感图像薄云移除数据集，记为{Ri,Ci,Ti|i∈(1,…,m)}，其中i为图像的序号，m为图像的数量，i和m为正整数；
12)将遥感图像薄云移除数据集按照p1:p2:p3的比例划分为训练集、验证集和测试集，用于本发明方法的训练、验证和测试，其中，p1、p2和p3为正整数，p1>p2,p1>p3。
其中，步骤2)中所述感知梯度提取模块具体为：
如图2所示，搭建感知梯度提取模块，包括感知特征提取单元(PerceptualFeature Extraction unit，PFE)、梯度信息提取单元(Gradient Information Extractionunit，GIE)、残差特征提取单元(Residual Feature Extraction unit，RFE)和残差连接，用于提取图像薄云特征。
其中，所述感知特征提取单元具体为：
感知特征提取单元PFE采用VGG19网络提取图像特征，模拟人类视觉***提取图像感知层面的特征，采用VGG19网络第n1层第n2个输出结果作为感知特征信息，用于后续薄云移除任务，其中，n1和n2为正整数。
其中，所述梯度信息提取单元具体为：
梯度信息提取单元GIE采用Sobel算子滤波器在特征图上做步幅为d1的卷积操作，用于提取图像梯度信息，梯度信息中包含更多云层相关的特征，有益于薄云的移除，其中，d1为正整数。
其中，所述残差特征提取单元具体为：
如图3所示，残差特征提取单元RFE由e个残差单元(Residual Unit，RU)组成，每个残差单元RU包括s1个卷积+ReLU激活函数、1个特征校准单元(Feature Calibration unit，FC)和1个残差学习，卷积核尺寸均为f×f，步幅为d2，其中e、s1、f和d2均为正整数。
其中，所述特征校准单元具体为：
21)如图4所示，特征校准单元由3条支路组成，进行图像特征校准任务，该单元输入为αin，输出为αout；
22)支路1为特征图的每个像素赋予一个权重，实现像素级特征校准，具体由g个卷积+ReLU激活函数组合和1个卷积+Sigmoid激活函数组合组成，支路1的输出结果为αs，卷积核尺寸为z×z，步幅为x，支路1不改变特征图尺寸和通道数量，其中，g、z和x均为正整数；
23)支路2不做任何操作，输出仍为特征校准单元FC的输入αin；
24)支路3为特征图的每个通道内的像素赋予一个相同权重，实现通道级特征校准，具体由平均值池化、v个卷积+ReLU激活函数组合、1个卷积+Sigmoid激活函数组合和1个特征尺寸扩充单元组成。平均值池化将特征图每个通道的像素值取平均值作为结果，特征图尺寸由W×H×C变为1×1×C；特征尺寸扩充单元将特征图由尺寸为1×1×C复制扩充为W×H×C，即由1×1个值复制为W×H个相同的值，保持支路3的输入和输出特征图尺寸和通道数量不变；支路3输出结果为αc，卷积核尺寸为a×a，步幅为k，其中，v、a和k均为正整数；特征校准单元FC的输出为3条支路输出特征图在对应像素进行乘积操作的结果，具体如下所述：
Figure BDA0003582624000000091
式中，αout为特征校准单元FC的输出，αs为支路1的输出结果，αin为支路2的输出结果，αc为支路3的输出结果。
其中，步骤3)中，所述云层厚度估计模块具体为：
31)如图5所示，搭建云层厚度估计模块，包括边缘特征提取部分和特征校准部分，用于自适应估计云层厚度，云层厚度估计模块输入为薄云遥感图像C，输出为预测云层厚度
Figure BDA0003582624000000093
和特征图φout；
32)边缘特征提取部分包括w条支路，每条支路结构相同，均由步骤2)中梯度信息提取部分GIE和残差单元RU组成，支路采用的卷积核尺寸逐渐增大。对于第r条支路，输入经过GIE和RU的结果记为φr，卷积核尺寸为(2r+1)×(2r+1)，其中，r∈(1,…,w)，r和w为正整数。相邻两条支路的输出对应像素求和，因此求和后的支路共计w-1条，求和后的第j条支路的结果记为δj，具体如下所述：
Figure BDA0003582624000000092
式中，j∈(1,…,w-1)，j和w为正整数，
Figure BDA0003582624000000094
表示特征图对应位置元素求和；
33)特征校准部分由w-1个特征校准单元FC组成，对于特征校准部分的第i条支路，特征校准单元FC的输出记为πi，具体如下所述：
πi＝FC(δi)
式中，i∈(1,…,w-1)，FC(·)表示特征校准单元FC的输出；
34)将特征校准部分FC的输出在通道上连接起来，结果记为φout，作为云层厚度估计模块的第1个输出，具体如下所述：
φout＝concat(π1,…,πw-1)
式中，concat(·)表示将特征图在通道上级联；
将特征图φout送进卷积和ReLU激活函数得到预测云层厚度
Figure BDA0003582624000000103
作为云层厚度估计模块第2个输出，具体如下所述：
Figure BDA0003582624000000101
式中，conv(·)表示卷积核尺寸为l×l的卷积，步幅为d3，ReLU(·)表示ReLU激活函数，l和d3为正整数。
其中，步骤4)中，所述遥感图像薄云移除网络具体为：
41)如图6所示，采用步骤2)中感知梯度提取模块、步骤3)中云层厚度估计模块、残差特征提取单元RFE和Tanh激活函数搭建基于多路感知梯度的遥感图像薄云移除网络，用于从单张薄云遥感图像到清晰遥感图像的转换；
42)基于多路感知梯度的遥感图像薄云移除网络的输入为薄云遥感图像C，输出为预测清晰遥感图像
Figure BDA0003582624000000104
和预测云层厚度图像
Figure BDA0003582624000000105
其中，步骤5)中，特征损失函数LF具体为：
Figure BDA0003582624000000102
式中，θ(·)表示VGG19网络的输出特征图，u表示VGG19网络的卷积层序号，q、t和y表示特征图长、宽和通道的序号，O表示使用的VGG19的层数，W、H和C表示特征图长、宽和通道的大小，R表示清晰遥感图像，
Figure BDA0003582624000000106
表示预测清晰遥感图像，u∈(1,…,O)，q∈(1,…,W)，t∈(1,…,H)，y∈(1,…,C)，u，q，t，y，O，W，H和C均为正整数。
其中，步骤5)中，梯度损失函数LG具体为：
Figure BDA0003582624000000111
式中，▽(·)表示使用Prewitt算子提取的图像梯度，q、t和y表示特征图长、宽和通道的序号，W、H和C表示特征图长、宽和通道的大小，q∈(1,…,W)，t∈(1,…,H)，y∈(1,…,C)，q，t，y，W，H和C均为正整数。
其中，步骤5)中，云层厚度损失函数LR具体为：
Figure BDA0003582624000000112
其中，步骤6)中，薄云移除方法具体为：
将训练b代得到的模型参数导入遥感图像薄云移除网络，输入单张薄云遥感图像实现薄云移除。为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
实施例1
本发明实施例提出了一种基于多路感知梯度的遥感图像薄云移除方法，参见图1，详见下文描述：
101：建立遥感图像薄云移除数据集，数据集包括薄云遥感图像、清晰遥感图像和云层厚度图像，按一定比例组成训练集、验证集和测试集；
102：搭建感知梯度提取模块，包括感知特征提取单元、梯度信息提取单元和残差特征提取单元三部分，用于提取图像薄云特征；
103：搭建云层厚度估计模块，包括边缘特征提取部分和特征校准部分，用于自适应估计云层厚度；
104：基于步骤102中感知梯度提取模块和步骤103中云层厚度估计模块搭建遥感图像薄云移除网络，用于从单张薄云遥感图像到清晰遥感图像的转换；
105：采用步骤101中遥感图像薄云移除数据集训练遥感图像薄云移除网络，使用的损失函数包括特征损失函数、梯度损失函数和云层厚度损失函数；
106：将训练结束得到的模型参数导入遥感图像薄云移除网络，输入单张薄云遥感图像实现薄云移除。
其中，步骤101中的具体步骤为：
1)选取n张清晰遥感图像R，通过生成仿真薄云得到薄云遥感图像C和云层厚度图像T。由于遥感图像尺寸较大，因此将遥感图裁剪成尺寸为N×N的图像，将具有对应关系的清晰遥感图像R、薄云遥感图像C和云层厚度图像T组成遥感图像薄云移除数据集，记为{Ri,Ci,Ti|i∈(1,…,m)}，其中i为图像的序号，m为图像的数量，i和m为正整数；
2)将遥感图像薄云移除数据集按照p1:p2:p3的比例划分为训练集、验证集和测试集，用于本发明方法的训练、验证和测试，其中，p1、p2和p3为正整数，p1>p2,p1>p3。
其中，步骤102中的具体步骤为：
1)如图2所示，搭建感知梯度提取模块，包括感知特征提取单元(PerceptualFeature Extraction unit，PFE)、梯度信息提取单元(Gradient Information Extractionunit，GIE)、残差特征提取单元(Residual Feature Extraction unit，RFE)和残差连接，用于提取图像薄云特征；
2)感知特征提取单元PFE采用VGG19网络提取图像特征，模拟人类视觉***提取图像感知层面的特征，采用VGG19网络第n1层第n2个输出结果作为感知特征信息，用于后续薄云移除任务，其中，n1和n2为正整数；
3)梯度信息提取单元GIE采用Sobel算子滤波器在特征图上做步幅为d1的卷积操作，用于提取图像梯度信息，梯度信息中包含更多云层相关的特征，有益于薄云的移除，其中，d1为正整数；
4)如图3所示，残差特征提取单元RFE由e个残差单元(Residual Unit，RU)组成，每个残差单元RU包括s1个卷积+ReLU激活函数、1个特征校准单元(Feature Calibrationunit，FC)和1个残差学习，卷积核尺寸均为f×f，步幅为d2，其中e、s1、f和d2均为正整数；
5)如图4所示，特征校准单元由3条支路组成，进行图像特征校准任务，该单元输入为αin，输出为αout；
支路1为特征图的每个像素赋予一个权重，实现像素级特征校准，具体由g个卷积+ReLU激活函数组合和1个卷积+Sigmoid激活函数组合组成，支路1的输出结果为αs，卷积核尺寸为z×z，步幅为x，支路1不改变特征图尺寸和通道数量，其中，g、z和x均为正整数；
支路2不做任何操作，输出仍为特征校准单元FC的输入αin；
支路3为特征图的每个通道内的像素赋予一个相同权重，实现通道级特征校准，具体由平均值池化、v个卷积+ReLU激活函数组合、1个卷积+Sigmoid激活函数组合和1个特征尺寸扩充单元组成。平均值池化将特征图每个通道的像素值取平均值作为结果，特征图尺寸由W×H×C变为1×1×C；特征尺寸扩充单元将特征图由尺寸为1×1×C复制扩充为W×H×C，即由1×1个值复制为W×H个相同的值，保持支路3的输入和输出特征图尺寸和通道数量不变；支路3输出结果为αc，卷积核尺寸为a×a，步幅为k，其中，v、a和k均为正整数；
特征校准单元FC的输出为3条支路输出特征图在对应像素进行乘积操作的结果，具体如下所述：
Figure BDA0003582624000000131
式中，αout为特征校准单元FC的输出，αs为支路1的输出结果，αin为支路2的输出结果，αc为支路3的输出结果。
其中，步骤103中的具体步骤为：
1)如图5所示，搭建云层厚度估计模块，包括边缘特征提取部分和特征校准部分，用于自适应估计云层厚度，云层厚度估计模块输入为薄云遥感图像C，输出为预测云层厚度
Figure BDA0003582624000000143
和特征图φout；
2)如图5所示，边缘特征提取部分包括w条支路，每条支路结构相同，均由步骤102中梯度信息提取部分GIE和残差单元RU组成，支路采用的卷积核尺寸逐渐增大。对于第r条支路，输入经过GIE和RU的结果记为φr，卷积核尺寸为(2r+1)×(2r+1)，其中，r∈(1,…,w)，r和w为正整数。相邻两条支路的输出对应像素求和，因此求和后的支路共计w-1条，求和后的第j条支路的结果记为δj，具体如下所述：
Figure BDA0003582624000000141
式中，j∈(1,…,w-1)，j和w为正整数，
Figure BDA0003582624000000144
表示特征图对应位置元素求和；
3)如图5所示，特征校准部分由w-1个特征校准单元FC组成，对于特征校准部分的第i条支路，特征校准单元FC的输出记为πi，具体如下所述：
πi＝FC(δi) (3)
式中，i∈(1,…,w-1)，FC(·)表示特征校准单元FC的输出；
4)将特征校准部分FC的输出在通道上连接起来，结果记为φout，作为云层厚度估计模块的第1个输出，具体如下所述：
φout＝concat(π1,…,πw-1) (4)
式中，concat(·)表示将特征图在通道上级联；
将特征图φout送进卷积和ReLU激活函数得到预测云层厚度
Figure BDA0003582624000000145
作为云层厚度估计模块第2个输出，具体如下所述：
Figure BDA0003582624000000142
式中，conv(·)表示卷积核尺寸为l×l的卷积，步幅为d3，ReLU(·)表示ReLU激活函数，l和d3为正整数。
其中，步骤104中的具体步骤为：
1)如图6所示，采用步骤102中感知梯度提取模块、步骤103中云层厚度估计模块、残差特征提取单元RFE和Tanh激活函数搭建基于多路感知梯度的遥感图像薄云移除网络，用于从单张薄云遥感图像到清晰遥感图像的转换；
2)基于多路感知梯度的遥感图像薄云移除网络的输入为薄云遥感图像C，输出为预测清晰遥感图像
Figure BDA0003582624000000153
和预测云层厚度图像
Figure BDA0003582624000000154
其中，步骤105中的具体步骤为：
1)采用步骤101中数据集训练遥感图像薄云移除网络，训练使用的损失函数包括特征损失函数、梯度损失函数和云层厚度损失函数，训练共计b代，具体函数形式如下所述；
2)特征损失函数LF具体为：
Figure BDA0003582624000000151
式中，θ(·)表示VGG19网络的输出特征图，u表示VGG19网络的卷积层序号，q、t和y表示特征图长、宽和通道的序号，O表示使用的VGG19的层数，W、H和C表示特征图长、宽和通道的大小，R表示清晰遥感图像，
Figure BDA0003582624000000155
表示预测清晰遥感图像，u∈(1,…,O)，q∈(1,…,W)，t∈(1,…,H)，y∈(1,…,C)，u，q，t，y，O，W，H和C均为正整数；
3)梯度损失函数LG具体为：
Figure BDA0003582624000000152
式中，▽(·)表示使用Prewitt算子提取的图像梯度，q、t和y表示特征图长、宽和通道的序号，W、H和C表示特征图长、宽和通道的大小，q∈(1,…,W)，t∈(1,…,H)，y∈(1,…,C)，q，t，y，W，H和C均为正整数；
4)云层厚度损失函数LR具体为：
Figure BDA0003582624000000161
5)总体损失函数L为上述损失函数的加权求和，具体为：
L＝LF+σLG+λLR (9)
式中，σ和λ为权重系数。
其中，步骤106中的具体步骤为：将训练b代得到的模型参数导入遥感图像薄云移除网络，输入单张薄云遥感图像实现薄云移除。
实施例2
本发明实施例提出了一种基于多路感知梯度的遥感图像薄云移除方法，参见图1，详见下文描述：
201：建立遥感图像薄云移除数据集，数据集包括薄云遥感图像、清晰遥感图像和云层厚度图像，按一定比例组成训练集、验证集和测试集；
202：搭建感知梯度提取模块，包括感知特征提取单元、梯度信息提取单元和残差特征提取单元三部分，用于提取图像薄云特征；
203：搭建云层厚度估计模块，包括边缘特征提取部分和特征校准部分，用于自适应估计云层厚度；
204：基于步骤202中感知梯度提取模块和步骤203中云层厚度估计模块搭建遥感图像薄云移除网络，用于从单张薄云遥感图像到清晰遥感图像的转换；
205：采用步骤201中遥感图像薄云移除数据集训练遥感图像薄云移除网络，使用的损失函数包括特征损失函数、梯度损失函数和云层厚度损失函数；
206：将训练结束得到的模型参数导入遥感图像薄云移除网络，输入单张薄云遥感图像实现薄云移除。
其中，步骤201中的具体步骤为：
1)选取200张清晰遥感图像R，通过生成仿真薄云得到薄云遥感图像C和云层厚度图像T。由于遥感图像尺寸较大，因此将遥感图裁剪成尺寸为256×256的图像，将具有对应关系的清晰遥感图像R、薄云遥感图像C和云层厚度图像T组成遥感图像薄云移除数据集，记为{Ri,Ci,Ti|i∈(1,…,m)}，其中i为图像的序号，图像的数量m＝4000，i为正整数；
2)将遥感图像薄云移除数据集按照p1:p2:p3的比例划分为训练集、验证集和测试集，用于本发明方法的训练、验证和测试，其中，p1:p2:p3设置为6:2:2。
其中，步骤202中的具体步骤为：
1)如图2所示，搭建感知梯度提取模块，包括感知特征提取单元(PerceptualFeature Extraction unit，PFE)、梯度信息提取单元(Gradient Information Extractionunit，GIE)、残差特征提取单元(Residual Feature Extraction unit，RFE)和残差连接，用于提取图像薄云特征；
2)感知特征提取单元PFE采用VGG19网络提取图像特征，模拟人类视觉***提取图像感知层面的特征，采用VGG19网络第3层第2个输出结果作为感知特征信息，用于后续薄云移除任务；
3)梯度信息提取单元GIE采用Sobel算子滤波器在特征图上做步幅为1的卷积操作，用于提取图像梯度信息，梯度信息中包含更多云层相关的特征，有益于薄云的移除；
4)如图3所示，残差特征提取单元RFE由6个残差单元(Residual Unit，RU)组成，每个残差单元RU包括6个卷积+ReLU激活函数、1个特征校准单元(Feature Calibrationunit，FC)和1个残差学习，卷积核尺寸均为3×3，步幅为1；
5)如图4所示，特征校准单元由3条支路组成，进行图像特征校准任务，该单元输入为αin，输出为αout；
支路1为特征图的每个像素赋予一个权重，实现像素级特征校准，具体由5个卷积+ReLU激活函数组合和1个卷积+Sigmoid激活函数组合组成，支路1的输出结果为αs，卷积核尺寸为3×3，步幅为1，支路1不改变特征图尺寸和通道数量；
支路2不做任何操作，输出仍为特征校准单元FC的输入αin；
支路3为特征图的每个通道内的像素赋予一个相同权重，实现通道级特征校准，具体由平均值池化、5个卷积+ReLU激活函数组合、1个卷积+Sigmoid激活函数组合和1个特征尺寸扩充单元组成。平均值池化将特征图每个通道的像素值取平均值作为结果，特征图尺寸由W×H×C变为1×1×C；特征尺寸扩充单元将特征图由尺寸为1×1×C复制扩充为W×H×C，即由1×1个值复制为W×H个相同的值，保持支路3的输入和输出特征图尺寸和通道数量不变；支路3输出结果为αc，卷积核尺寸为3×3，步幅为1；
特征校准单元FC的输出为3条支路输出特征图在对应像素进行乘积操作的结果，具体如下所述：
Figure BDA0003582624000000181
式中，αout为特征校准单元FC的输出，αs为支路1的输出结果，αin为支路2的输出结果，αc为支路3的输出结果。
其中，步骤203中的具体步骤为：
1)如图5所示，搭建云层厚度估计模块，包括边缘特征提取部分和特征校准部分，用于自适应估计云层厚度，云层厚度估计模块输入为薄云遥感图像C，输出为预测云层厚度
Figure BDA0003582624000000182
和特征图φout；
2)如图5所示，边缘特征提取部分包括6条支路，每条支路结构相同，均由步骤102中梯度信息提取部分GIE和残差单元RU组成，支路采用的卷积核尺寸逐渐增大。对于第r条支路，输入经过GIE和RU的结果记为φr，卷积核尺寸为(2r+1)×(2r+1)，其中，r∈(1,…,6)，r为正整数。相邻两条支路的输出对应像素求和，因此求和后的支路共计5条，求和后的第j条支路的结果记为δj，具体如下所述：
Figure BDA0003582624000000191
式中，j∈(1,…,5)，j为正整数，
Figure BDA0003582624000000193
表示特征图对应位置元素求和；
3)如图5所示，特征校准部分由5个特征校准单元FC组成，对于特征校准部分的第i条支路，特征校准单元FC的输出记为πi，具体如下所述：
πi＝FC(δi) (3)
式中，i∈(1,…,5)，FC(·)表示特征校准单元FC的输出；
4)将特征校准部分FC的输出在通道上连接起来，结果记为φout，作为云层厚度估计模块的第1个输出，具体如下所述：
φout＝concat(π1,…,π5) (4)
式中，concat(·)表示将特征图在通道上级联；
将特征图φout送进卷积和ReLU激活函数得到预测云层厚度
Figure BDA0003582624000000194
作为云层厚度估计模块第2个输出，具体如下所述：
Figure BDA0003582624000000192
式中，conv(·)表示卷积核尺寸为3×3的卷积，步幅为1，ReLU(·)表示ReLU激活函数。
其中，步骤204中的具体步骤为：
1)如图6所示，采用步骤202中感知梯度提取模块、步骤203中云层厚度估计模块、残差特征提取单元RFE和Tanh激活函数搭建基于多路感知梯度的遥感图像薄云移除网络，用于从单张薄云遥感图像到清晰遥感图像的转换；
2)基于多路感知梯度的遥感图像薄云移除网络的输入为薄云遥感图像C，输出为预测清晰遥感图像
Figure BDA0003582624000000195
和预测云层厚度图像
Figure BDA0003582624000000196
其中，步骤205中的具体步骤为：
1)采用步骤201中数据集训练遥感图像薄云移除网络，训练使用的损失函数包括特征损失函数、梯度损失函数和云层厚度损失函数，训练共计200代，具体函数形式如下所述；
2)特征损失函数LF具体如式(6)所述，式(6)中，θ(·)表示VGG19网络的输出特征图，u表示VGG19网络的卷积层序号，q、t和y表示特征图长、宽和通道的序号，使用的VGG19的前10层卷积特征图，特征图长、宽和通道的大小均为128，R表示清晰遥感图像，
Figure BDA0003582624000000201
表示预测清晰遥感图像，u∈(1,…,10)，q∈(1,…,128)，t∈(1,…,128)，y∈(1,…,128)；梯度损失函数LG具体如式(7)所述，式(7)中，▽(·)表示使用Prewitt算子提取的图像梯度，q、t和y表示特征图长、宽和通道的序号，特征图长、宽和通道的大小均为128，u∈(1,…,10)，q∈(1,…,128)，t∈(1,…,128)，y∈(1,…,128)；云层厚度损失函数LR具体如式(8)所述；总体损失函数L为上述损失函数的加权求和，具体如式(9)所述，式(9)中，σ＝10.0和λ＝5.0。
其中，步骤206中的具体步骤为：将训练200代的得到的模型参数导入遥感图像薄云移除网络，输入单张薄云遥感图像实现薄云移除。
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种基于多路感知梯度的遥感图像薄云移除方法，其特征在于步骤如下：
1)建立遥感图像薄云移除数据集，包括薄云遥感图像、清晰遥感图像和云层厚度图像，按比例组成训练集、验证集和测试集；
2)搭建感知梯度提取模块，用于提取图像薄云特征；
3)搭建云层厚度估计模块，用于自适应估计云层厚度；
4)基于步骤2)中得到的感知梯度提取模块和步骤3)中得到的云层厚度估计模块，搭建遥感图像薄云移除网络，用于从单张薄云遥感图像到清晰遥感图像的转换；
5)利用步骤1)得到的数据集训练遥感图像薄云移除网络，使用的损失函数包括特征损失函数、梯度损失函数和云层厚度损失函数；
6)将训练结束得到的模型参数导入遥感图像薄云移除网络，输入单张薄云遥感图像实现薄云移除。
2.根据权利要求1所述的一种基于多路感知梯度的遥感图像薄云移除方法，其特征在于，所述步骤1)中，遥感图像薄云移除数据集具体为：
11)选取n张清晰遥感图像R，通过生成仿真薄云得到薄云遥感图像C和云层厚度图像T；将遥感图裁剪成尺寸为N×N的图像，将具有对应关系的清晰遥感图像R、薄云遥感图像C和云层厚度图像T组成遥感图像薄云移除数据集，记为{Ri,Ci,Ti|i∈(1,…,m)}，其中i为图像的序号，m为图像的数量，i和m为正整数；
12)将遥感图像薄云移除数据集按照p1:p2:p3的比例划分为训练集、验证集和测试集，其中，p1、p2和p3为正整数，且p1>p2,p1>p3。
3.根据权利要求1所述的一种基于多路感知梯度的遥感图像薄云移除方法，其特征在于，所述步骤2)中，所述搭建感知梯度提取模块具体包括感知特征提取单元、梯度信息提取单元、残差特征提取单元和残差连接。
4.根据权利要求3所述的一种基于多路感知梯度的遥感图像薄云移除方法，其特征在于，所述感知特征提取单元具体采用VGG19网络提取图像特征，模拟人类视觉***提取图像感知层面的特征，采用VGG19网络第n1层第n2个输出结果作为感知特征信息，用于后续薄云移除任务，其中，n1和n2为正整数。
5.根据权利要求3所述的一种基于多路感知梯度的遥感图像薄云移除方法，其特征在于，所述梯度信息提取单元具体采用Sobel算子滤波器在特征图上做步幅为d1的卷积操作，用于提取图像梯度信息，梯度信息中包含云层相关特征；其中，d1为正整数。
6.根据权利要求3所述的一种基于多路感知梯度的遥感图像薄云移除方法，其特征在于，所述残差特征提取单元由e个残差单元组成，每个残差单元包括s1个卷积+ReLU激活函数、1个特征校准单元和1个残差学习，卷积核尺寸均为f×f，步幅为d2，其中e、s1、f和d2均为正整数。
7.根据权利要求6所述的一种基于多路感知梯度的遥感图像薄云移除方法，其特征在于，所述特征校准单元由3条支路组成，进行图像特征校准任务，该单元输入为αin，输出为αout；
支路1为特征图的每个像素赋予一个权重，实现像素级特征校准，由g个卷积+ReLU激活函数组合和1个卷积+Sigmoid激活函数组合组成，支路1的输出结果为αs，卷积核尺寸为z×z，步幅为x，支路1不改变特征图尺寸和通道数量，其中，g、z和x均为正整数；
支路2不做任何操作，输出仍为特征校准单元的输入αin；
支路3为特征图的每个通道内的像素赋予一个相同权重，实现通道级特征校准，由平均值池化、v个卷积+ReLU激活函数组合、1个卷积+Sigmoid激活函数组合和1个特征尺寸扩充单元组成；平均值池化将特征图每个通道的像素值取平均值作为结果，特征图尺寸由W×H×C变为1×1×C；特征尺寸扩充单元将特征图由尺寸为1×1×C复制扩充为W×H×C，即由1×1个值复制为W×H个相同的值，保持支路3的输入和输出特征图尺寸和通道数量不变；支路3输出结果为αc，卷积核尺寸为a×a，步幅为k，其中，v、a和k均为正整数；
特征校准单元的输出αout为3条支路输出特征图在对应像素进行乘积操作的结果，如下所述：
Figure FDA0003582623990000031
式中，αout为特征校准单元的输出，αs为支路1的输出结果，αin为支路2的输出结果，αc为支路3的输出结果。
8.根据权利要求7所述的一种基于多路感知梯度的遥感图像薄云移除方法，其特征在于，所述步骤3)中，所述搭建云层厚度估计模块，包括边缘特征提取部分和特征校准部分，用于自适应估计云层厚度，云层厚度估计模块输入为薄云遥感图像C，输出为预测云层厚度
Figure FDA0003582623990000032
和特征图φout；
边缘特征提取部分包括w条支路，每条支路结构相同，均由步骤2)中梯度信息提取部分和残差单元组成，支路采用的卷积核尺寸逐渐增大；对于第r条支路，输入经过梯度信息提取部分和残差单元的结果记为φr，卷积核尺寸为(2r+1)×(2r+1)，其中，r∈(1,…,w)，r和w为正整数；相邻两条支路的输出对应像素求和，求和后的支路共计w-1条，求和后的第j条支路的结果记为δj，如下所述：
Figure FDA0003582623990000033
式中，j∈(1,…,w-1)，j和w为正整数，
Figure FDA0003582623990000034
表示特征图对应位置元素求和；
特征校准部分由w-1个特征校准单元组成，对于特征校准部分的第i条支路，特征校准单元的输出记为πi，如下所述：
πi＝FC(δi)；
式中，i∈(1,…,w-1)，FC(·)表示特征校准单元的输出；
将特征校准部分FC的输出在通道上连接起来，结果记为φout，作为云层厚度估计模块的第1个输出，如下所述：
φout＝concat(π1,…,πw-1)；
式中，concat(·)表示将特征图在通道上级联；
将特征图φout送进卷积和ReLU激活函数得到预测云层厚度
Figure FDA0003582623990000046
作为云层厚度估计模块第2个输出，如下所述：
Figure FDA0003582623990000041
式中，conv(·)表示卷积核尺寸为l×l的卷积，步幅为d3，ReLU(·)表示ReLU激活函数，l和d3为正整数。
9.根据权利要求8所述的一种基于多路感知梯度的遥感图像薄云移除方法，其特征在于，所述步骤4)中，所述搭建遥感图像薄云移除网络具体为：
采用步骤2)中感知梯度提取模块、步骤3)中云层厚度估计模块、残差特征提取单元和Tanh激活函数搭建基于多路感知梯度的遥感图像薄云移除网络，用于从单张薄云遥感图像到清晰遥感图像的转换；基于多路感知梯度的遥感图像薄云移除网络的输入为薄云遥感图像C，输出为预测清晰遥感图像
Figure FDA0003582623990000045
和预测云层厚度图像
Figure FDA0003582623990000042
10.根据权利要求9所述的一种基于多路感知梯度的遥感图像薄云移除方法，其特征在于，所述步骤5)中，特征损失函数LF具体为：
Figure FDA0003582623990000043
式中，θ(·)表示VGG19网络的输出特征图，u表示VGG19网络的卷积层序号，q、t和y表示特征图长、宽和通道的序号，O表示使用的VGG19的层数，W、H和C表示特征图长、宽和通道的大小，R表示清晰遥感图像，
Figure FDA0003582623990000044
表示预测清晰遥感图像，u∈(1,…,O)，q∈(1,…,W)，t∈(1,…,H)，y∈(1,…,C)，u，q，t，y，O，W，H和C均为正整数。
11.根据权利要求10所述的一种基于多路感知梯度的遥感图像薄云移除方法，其特征在于，所述步骤5)中，梯度损失函数LG具体为：
Figure FDA0003582623990000051
式中，
Figure FDA0003582623990000052
表示使用Prewitt算子提取的图像梯度，q、t和y表示特征图长、宽和通道的序号，W、H和C表示特征图长、宽和通道的大小，q∈(1,…,W)，t∈(1,…,H)，y∈(1,…,C)，q，t，y，W，H和C均为正整数。
12.根据权利要求11所述的一种基于多路感知梯度的遥感图像薄云移除方法，其特征在于，所述步骤5)中，云层厚度损失函数LR具体为：
Figure FDA0003582623990000053
其中，R表示清晰遥感图像，
Figure FDA0003582623990000054
表示预测清晰遥感图像。
13.根据权利要求12所述的一种基于多路感知梯度的遥感图像薄云移除方法，其特征在于，所述步骤6)中，薄云移除方法具体为：采用权利要求2中遥感图像薄云移除数据集训练遥感图像薄云移除网络，训练使用的损失函数包括特征损失函数、梯度损失函数和云层厚度损失函数，训练共计b代，将训练结束得到的模型参数导入遥感图像薄云移除网络，输入单张薄云遥感图像完成遥感图像薄云移除。
CN202210357921.8A 2022-04-06 2022-04-06 一种基于多路感知梯度的遥感图像薄云移除方法 Active CN114936972B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210357921.8A CN114936972B (zh) 2022-04-06 2022-04-06 一种基于多路感知梯度的遥感图像薄云移除方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210357921.8A CN114936972B (zh) 2022-04-06 2022-04-06 一种基于多路感知梯度的遥感图像薄云移除方法

Publications (2)

Publication Number Publication Date
CN114936972A true CN114936972A (zh) 2022-08-23
CN114936972B CN114936972B (zh) 2024-07-02

Family

ID=82861747

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210357921.8A Active CN114936972B (zh) 2022-04-06 2022-04-06 一种基于多路感知梯度的遥感图像薄云移除方法

Country Status (1)

Country Link
CN (1) CN114936972B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108460739A (zh) * 2018-03-02 2018-08-28 北京航空航天大学 一种基于生成对抗网络的遥感图像薄云去除方法
CN108931825A (zh) * 2018-05-18 2018-12-04 北京航空航天大学 一种基于地物清晰度的遥感图像云厚度检测方法
CN109191400A (zh) * 2018-08-30 2019-01-11 中国科学院遥感与数字地球研究所 一种使用对抗式生成网络去除遥感图像薄云的方法
US20210174149A1 (en) * 2018-11-20 2021-06-10 Xidian University Feature fusion and dense connection-based method for infrared plane object detection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108460739A (zh) * 2018-03-02 2018-08-28 北京航空航天大学 一种基于生成对抗网络的遥感图像薄云去除方法
CN108931825A (zh) * 2018-05-18 2018-12-04 北京航空航天大学 一种基于地物清晰度的遥感图像云厚度检测方法
CN109191400A (zh) * 2018-08-30 2019-01-11 中国科学院遥感与数字地球研究所 一种使用对抗式生成网络去除遥感图像薄云的方法
US20210174149A1 (en) * 2018-11-20 2021-06-10 Xidian University Feature fusion and dense connection-based method for infrared plane object detection

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
裴傲;陈桂芬;李昊玥;王兵;: "改进CGAN网络的光学遥感图像云去除方法", 农业工程学报, no. 14, 23 July 2020 (2020-07-23) *

Also Published As

Publication number Publication date
CN114936972B (zh) 2024-07-02

Similar Documents

Publication Publication Date Title
Tian et al. Deep learning on image denoising: An overview
CN108171701B (zh) 基于u网络和对抗学习的显著性检测方法
CN108475415B (zh) 用于图像处理的方法和***
CN113344806A (zh) 一种基于全局特征融合注意力网络的图像去雾方法与***
CN110969124A (zh) 基于轻量级多分支网络的二维人体姿态估计方法及***
CN105701508A (zh) 基于多级卷积神经网络的全局-局部优化模型及显著性检测算法
CN110443761B (zh) 一种基于多尺度聚合特征的单幅图像去雨方法
CN112365414B (zh) 一种基于双路残差卷积神经网络的图像去雾方法
CN111815516B (zh) 一种弱监督红外遥感图像超分辨率重建方法
Kim et al. Deeply aggregated alternating minimization for image restoration
CN109559315B (zh) 一种基于多路径深度神经网络的水面分割方法
CN112465801B (zh) 一种分尺度提取掩码特征的实例分割方法
Chen et al. Densely connected convolutional neural network for multi-purpose image forensics under anti-forensic attacks
CN114746895A (zh) 用于图像去噪的噪声重构
CN116052016A (zh) 基于深度学习的遥感图像云和云影的精细分割检测方法
CN110503613A (zh) 基于级联空洞卷积神经网络的面向单幅图像去雨方法
CN113379618B (zh) 基于残差密集连接和特征融合的光学遥感图像去云方法
CN106952317A (zh) 基于结构稀疏的高光谱图像重建方法
CN113628261B (zh) 一种电力巡检场景下的红外与可见光图像配准方法
CN115861833A (zh) 一种基于双分支结构的实时遥感图像云检测方法
CN115660979A (zh) 一种基于注意力机制的双判别器图像修复方法
CN112257741A (zh) 一种基于复数神经网络的生成性对抗虚假图片的检测方法
CN110503608B (zh) 基于多视角的卷积神经网络的图像去噪方法
CN114663303A (zh) 一种基于神经网络的遥感图像云层判别及去除方法
CN105957025A (zh) 基于稀疏表示的非一致图像盲复原方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant