CN114936972B - 一种基于多路感知梯度的遥感图像薄云移除方法 - Google Patents

一种基于多路感知梯度的遥感图像薄云移除方法 Download PDF

Info

Publication number
CN114936972B
CN114936972B CN202210357921.8A CN202210357921A CN114936972B CN 114936972 B CN114936972 B CN 114936972B CN 202210357921 A CN202210357921 A CN 202210357921A CN 114936972 B CN114936972 B CN 114936972B
Authority
CN
China
Prior art keywords
remote sensing
sensing image
cloud
thin cloud
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210357921.8A
Other languages
English (en)
Other versions
CN114936972A (zh
Inventor
王晓宇
刘宇航
张严
佘玉成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Dongfanghong Satellite Co Ltd
Original Assignee
Aerospace Dongfanghong Satellite Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Dongfanghong Satellite Co Ltd filed Critical Aerospace Dongfanghong Satellite Co Ltd
Priority to CN202210357921.8A priority Critical patent/CN114936972B/zh
Publication of CN114936972A publication Critical patent/CN114936972A/zh
Application granted granted Critical
Publication of CN114936972B publication Critical patent/CN114936972B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明一种基于多路感知梯度的遥感图像薄云移除方法，所述方法包括：建立遥感图像薄云移除数据集，按一定比例组成训练集、验证集和测试集；搭建感知梯度提取模块，用于提取图像薄云特征；搭建云层厚度估计模块，用于自适应估计云层厚度；搭建遥感图像薄云移除网络，用于从单张薄云遥感图像到清晰遥感图像的转换；采用遥感图像薄云移除数据集训练遥感图像薄云移除网络，使用的损失函数包括特征损失函数、梯度损失函数和云层厚度损失函数；将训练结束得到的模型参数导入遥感图像薄云移除网络，输入单张薄云遥感图像实现薄云移除。

Description

一种基于多路感知梯度的遥感图像薄云移除方法
技术领域
本发明涉及图像处理技术与深度学习技术领域，尤其涉及一种基于多路感知梯度的遥感图像薄云移除方法。
背景技术
遥感卫星拍摄的光学遥感图像经常受到环境中云层的影响，导致图像中的关键内容被遮挡、细节信息丢失和颜色失真等一系列问题，大大降低光学遥感图像的利用效率，严重影响对遥感图像的判读，致使很多遥感应用无法顺利进行。被厚云影响的光学遥感图像没有利用价值，薄云遥感图像通过适当的技术手段处理后移除薄云的影响，便于后续图像的处理与运用。
传统的遥感图像薄云移除方法采用图像滤波法和统计先验法等，此类方法通过滤波去除图像中的云层影响，或者通过统计分析有云和无云图像之间的差异，提出统计先验信息进而完成薄云移除任务。此类方法局限性比较明显，无法适应复杂多变的情况。
随着深度神经网络的飞速发展，采用深度卷积神经网络设计遥感图像云雾去除方法得到了广泛的关注。卷积神经网络能够提取图像特征并重建图像内容，实现遥感图像的云雾去除，难点在于如何设计网络和模块提取适合云雾去除的特征，并保持恢复的图像真实、自然。通过提出的神经网络结构自适应地学习薄云遥感图像与清晰遥感图像之间的转换关系，实现薄云遥感图像的薄云移除。
发明内容
本发明解决的技术问题是：克服现有技术的不足，提供了一种基于多路感知梯度的遥感图像薄云移除方法，不需要复杂的假设和先验，可以直接从一张有雾图像恢复出无雾图像，简单易行。
本发明的技术方案是：一种基于多路感知梯度的遥感图像薄云移除方法，步骤如下：
1)建立遥感图像薄云移除数据集，包括薄云遥感图像、清晰遥感图像和云层厚度图像，按比例组成训练集、验证集和测试集；
2)搭建感知梯度提取模块，用于提取图像薄云特征；
3)搭建云层厚度估计模块，用于自适应估计云层厚度；
4)基于步骤2)中得到的感知梯度提取模块和步骤3)中得到的云层厚度估计模块，搭建遥感图像薄云移除网络，用于从单张薄云遥感图像到清晰遥感图像的转换；
5)利用步骤1)得到的数据集训练遥感图像薄云移除网络，使用的损失函数包括特征损失函数、梯度损失函数和云层厚度损失函数；
6)将训练结束得到的模型参数导入遥感图像薄云移除网络，输入单张薄云遥感图像实现薄云移除。
所述步骤1)中，遥感图像薄云移除数据集具体为：
11)选取n张清晰遥感图像R，通过生成仿真薄云得到薄云遥感图像C和云层厚度图像T；将遥感图裁剪成尺寸为N×N的图像，将具有对应关系的清晰遥感图像R、薄云遥感图像C和云层厚度图像T组成遥感图像薄云移除数据集，记为{Ri,Ci,Ti|i∈(1,…,m)}，其中i为图像的序号，m为图像的数量，i和m为正整数；
12)将遥感图像薄云移除数据集按照p1:p2:p3的比例划分为训练集、验证集和测试集，其中，p1、p2和p3为正整数，且p1>p2,p1>p3。
所述步骤2)中，所述搭建感知梯度提取模块具体包括感知特征提取单元、梯度信息提取单元、残差特征提取单元和残差连接。
所述感知特征提取单元具体采用VGG19网络提取图像特征，模拟人类视觉***提取图像感知层面的特征，采用VGG19网络第n1层第n2个输出结果作为感知特征信息，用于后续薄云移除任务，其中，n1和n2为正整数。
所述梯度信息提取单元具体采用Sobel算子滤波器在特征图上做步幅为d1的卷积操作，用于提取图像梯度信息，梯度信息中包含云层相关特征；其中，d1为正整数。
所述残差特征提取单元由e个残差单元组成，每个残差单元包括s1个卷积+ReLU激活函数、1个特征校准单元和1个残差学习，卷积核尺寸均为f×f，步幅为d2，其中e、s1、f和d2均为正整数。
所述特征校准单元由3条支路组成，进行图像特征校准任务，该单元输入为αin，输出为αout；
支路1为特征图的每个像素赋予一个权重，实现像素级特征校准，由g个卷积+ReLU激活函数组合和1个卷积+Sigmoid激活函数组合组成，支路1的输出结果为αs，卷积核尺寸为z×z，步幅为x，支路1不改变特征图尺寸和通道数量，其中，g、z和x均为正整数；
支路2不做任何操作，输出仍为特征校准单元的输入αin；
支路3为特征图的每个通道内的像素赋予一个相同权重，实现通道级特征校准，由平均值池化、v个卷积+ReLU激活函数组合、1个卷积+Sigmoid激活函数组合和1个特征尺寸扩充单元组成；平均值池化将特征图每个通道的像素值取平均值作为结果，特征图尺寸由W×H×C变为1×1×C；特征尺寸扩充单元将特征图由尺寸为1×1×C复制扩充为W×H×C，即由1×1个值复制为W×H个相同的值，保持支路3的输入和输出特征图尺寸和通道数量不变；支路3输出结果为αc，卷积核尺寸为a×a，步幅为k，其中，v、a和k均为正整数；
特征校准单元的输出αout为3条支路输出特征图在对应像素进行乘积操作的结果，如下所述：
式中，αout为特征校准单元的输出，αs为支路1的输出结果，αin为支路2的输出结果，αc为支路3的输出结果。
所述步骤3)中，所述搭建云层厚度估计模块，包括边缘特征提取部分和特征校准部分，用于自适应估计云层厚度，云层厚度估计模块输入为薄云遥感图像C，输出为预测云层厚度和特征图φout；
边缘特征提取部分包括w条支路，每条支路结构相同，均由步骤2)中梯度信息提取部分和残差单元组成，支路采用的卷积核尺寸逐渐增大；对于第r条支路，输入经过梯度信息提取部分和残差单元的结果记为φr，卷积核尺寸为(2r+1)×(2r+1)，其中，r∈(1,…,w)，r和w为正整数；相邻两条支路的输出对应像素求和，求和后的支路共计w-1条，求和后的第j条支路的结果记为δj，如下所述：
式中，j∈(1,…,w-1)，j和w为正整数，表示特征图对应位置元素求和；
特征校准部分由w-1个特征校准单元组成，对于特征校准部分的第i条支路，特征校准单元的输出记为πi，如下所述：
πi＝FC(δi)；
式中，i∈(1,…,w-1)，FC(·)表示特征校准单元的输出；
将特征校准部分FC的输出在通道上连接起来，结果记为φout，作为云层厚度估计模块的第1个输出，如下所述：
φout＝concat(π1,…,πw-1)；
式中，concat(·)表示将特征图在通道上级联；
将特征图φout送进卷积和ReLU激活函数得到预测云层厚度作为云层厚度估计模块第2个输出，如下所述：
式中，conv(·)表示卷积核尺寸为l×l的卷积，步幅为d3，ReLU(·)表示ReLU激活函数，l和d3为正整数。
所述步骤4)中，所述搭建遥感图像薄云移除网络具体为：
采用步骤2)中感知梯度提取模块、步骤3)中云层厚度估计模块、残差特征提取单元和Tanh激活函数搭建基于多路感知梯度的遥感图像薄云移除网络，用于从单张薄云遥感图像到清晰遥感图像的转换；基于多路感知梯度的遥感图像薄云移除网络的输入为薄云遥感图像C，输出为预测清晰遥感图像和预测云层厚度图像
所述步骤5)中，特征损失函数LF具体为：
式中，θ(·)表示VGG19网络的输出特征图，u表示VGG19网络的卷积层序号，q、t和y表示特征图长、宽和通道的序号，O表示使用的VGG19的层数，W、H和C表示特征图长、宽和通道的大小，R表示清晰遥感图像，表示预测清晰遥感图像，u∈(1,…,O)，q∈(1,…,W)，t∈(1,…,H)，y∈(1,…,C)，u，q，t，y，O，W，H和C均为正整数。
所述步骤5)中，梯度损失函数LG具体为：
式中，▽(·)表示使用Prewitt算子提取的图像梯度，q、t和y表示特征图长、宽和通道的序号，W、H和C表示特征图长、宽和通道的大小，q∈(1,…,W)，t∈(1,…,H)，y∈(1,…,C)，q，t，y，W，H和C均为正整数。
所述步骤5)中，云层厚度损失函数LR具体为：
其中，R表示清晰遥感图像，表示预测清晰遥感图像。
所述步骤6)中，薄云移除方法具体为：采用上述遥感图像薄云移除数据集训练遥感图像薄云移除网络，训练使用的损失函数包括特征损失函数、梯度损失函数和云层厚度损失函数，训练共计b代，将训练结束得到的模型参数导入遥感图像薄云移除网络，输入单张薄云遥感图像完成遥感图像薄云移除。
本发明提供的技术方案的有益效果是：
1、传统的遥感图像薄云移除方法基于滤波或假设先验等，进行物理模型推导，局限性较为明显，本发明提出一种基于多路感知梯度的遥感图像薄云移除方法，搭建感知梯度提取模块和云层厚度估计模块，用于提取图像薄云特征和自适应估计云层厚度，进行清晰遥感图像的重构，薄云移除更加彻底，无需特定的物理模型及先验知识；
2、本发明能够实现单张遥感图像的薄云移除，无需其他图像作为参考，使用特征损失函数、梯度损失函数和云层厚度损失函数训练遥感图像薄云移除网络，完成高质量的单张遥感图像薄云移除，方法简单易行，效率高；
3、本发明鲁棒性强，能够作为图像预处理应用部署在在嵌入式设备中，实现实时的遥感图像薄云移除，适应范围广，薄云移除效果真实、自然。
附图说明
图1为一种基于多路感知梯度的遥感图像薄云移除方法流程图；
图2为感知梯度提取模块结构示意图；
图3为残差特征提取单元结构示意图；
图4为特征校准单元结构示意图；
图5为云层厚度估计模块结构示意图；
图6为基于多路感知梯度的遥感图像薄云移除网络结构示意图。
具体实施方式
本发明方法步骤如下：
1)建立遥感图像薄云移除数据集，数据集包括薄云遥感图像、清晰遥感图像和云层厚度图像，按一定比例组成训练集、验证集和测试集；
2)搭建感知梯度提取模块，包括感知特征提取单元、梯度信息提取单元和残差特征提取单元三部分，用于提取图像薄云特征；
3)搭建云层厚度估计模块，包括边缘特征提取部分和特征校准部分，用于自适应估计云层厚度；
4)基于步骤2)中感知梯度提取模块和步骤3)中云层厚度估计模块搭建遥感图像薄云移除网络，用于从单张薄云遥感图像到清晰遥感图像的转换；
5)采用步骤1)中遥感图像薄云移除数据集训练遥感图像薄云移除网络，使用的损失函数包括特征损失函数、梯度损失函数和云层厚度损失函数；
6)将训练结束得到的模型参数导入遥感图像薄云移除网络，输入单张薄云遥感图像实现薄云移除。
其中，步骤1)中所述图像薄云移除数据集具体为：
11)选取n张清晰遥感图像R，通过生成仿真薄云得到薄云遥感图像C和云层厚度图像T。由于遥感图像尺寸较大，因此将遥感图裁剪成尺寸为N×N的图像，将具有对应关系的清晰遥感图像R、薄云遥感图像C和云层厚度图像T组成遥感图像薄云移除数据集，记为{Ri,Ci,Ti|i∈(1,…,m)}，其中i为图像的序号，m为图像的数量，i和m为正整数；
12)将遥感图像薄云移除数据集按照p1:p2:p3的比例划分为训练集、验证集和测试集，用于本发明方法的训练、验证和测试，其中，p1、p2和p3为正整数，p1>p2,p1>p3。
其中，步骤2)中所述感知梯度提取模块具体为：
如图2所示，搭建感知梯度提取模块，包括感知特征提取单元(PerceptualFeature Extraction unit，PFE)、梯度信息提取单元(Gradient Information Extractionunit，GIE)、残差特征提取单元(Residual Feature Extraction unit，RFE)和残差连接，用于提取图像薄云特征。
其中，所述感知特征提取单元具体为：
感知特征提取单元PFE采用VGG19网络提取图像特征，模拟人类视觉***提取图像感知层面的特征，采用VGG19网络第n1层第n2个输出结果作为感知特征信息，用于后续薄云移除任务，其中，n1和n2为正整数。
其中，所述梯度信息提取单元具体为：
梯度信息提取单元GIE采用Sobel算子滤波器在特征图上做步幅为d1的卷积操作，用于提取图像梯度信息，梯度信息中包含更多云层相关的特征，有益于薄云的移除，其中，d1为正整数。
其中，所述残差特征提取单元具体为：
如图3所示，残差特征提取单元RFE由e个残差单元(Residual Unit，RU)组成，每个残差单元RU包括s1个卷积+ReLU激活函数、1个特征校准单元(Feature Calibration unit，FC)和1个残差学习，卷积核尺寸均为f×f，步幅为d2，其中e、s1、f和d2均为正整数。
其中，所述特征校准单元具体为：
21)如图4所示，特征校准单元由3条支路组成，进行图像特征校准任务，该单元输入为αin，输出为αout；
22)支路1为特征图的每个像素赋予一个权重，实现像素级特征校准，具体由g个卷积+ReLU激活函数组合和1个卷积+Sigmoid激活函数组合组成，支路1的输出结果为αs，卷积核尺寸为z×z，步幅为x，支路1不改变特征图尺寸和通道数量，其中，g、z和x均为正整数；
23)支路2不做任何操作，输出仍为特征校准单元FC的输入αin；
24)支路3为特征图的每个通道内的像素赋予一个相同权重，实现通道级特征校准，具体由平均值池化、v个卷积+ReLU激活函数组合、1个卷积+Sigmoid激活函数组合和1个特征尺寸扩充单元组成。平均值池化将特征图每个通道的像素值取平均值作为结果，特征图尺寸由W×H×C变为1×1×C；特征尺寸扩充单元将特征图由尺寸为1×1×C复制扩充为W×H×C，即由1×1个值复制为W×H个相同的值，保持支路3的输入和输出特征图尺寸和通道数量不变；支路3输出结果为αc，卷积核尺寸为a×a，步幅为k，其中，v、a和k均为正整数；特征校准单元FC的输出为3条支路输出特征图在对应像素进行乘积操作的结果，具体如下所述：
式中，αout为特征校准单元FC的输出，αs为支路1的输出结果，αin为支路2的输出结果，αc为支路3的输出结果。
其中，步骤3)中，所述云层厚度估计模块具体为：
31)如图5所示，搭建云层厚度估计模块，包括边缘特征提取部分和特征校准部分，用于自适应估计云层厚度，云层厚度估计模块输入为薄云遥感图像C，输出为预测云层厚度和特征图φout；
32)边缘特征提取部分包括w条支路，每条支路结构相同，均由步骤2)中梯度信息提取部分GIE和残差单元RU组成，支路采用的卷积核尺寸逐渐增大。对于第r条支路，输入经过GIE和RU的结果记为φr，卷积核尺寸为(2r+1)×(2r+1)，其中，r∈(1,…,w)，r和w为正整数。相邻两条支路的输出对应像素求和，因此求和后的支路共计w-1条，求和后的第j条支路的结果记为δj，具体如下所述：
式中，j∈(1,…,w-1)，j和w为正整数，表示特征图对应位置元素求和；
33)特征校准部分由w-1个特征校准单元FC组成，对于特征校准部分的第i条支路，特征校准单元FC的输出记为πi，具体如下所述：
πi＝FC(δi)
式中，i∈(1,…,w-1)，FC(·)表示特征校准单元FC的输出；
34)将特征校准部分FC的输出在通道上连接起来，结果记为φout，作为云层厚度估计模块的第1个输出，具体如下所述：
φout＝concat(π1,…,πw-1)
式中，concat(·)表示将特征图在通道上级联；
将特征图φout送进卷积和ReLU激活函数得到预测云层厚度作为云层厚度估计模块第2个输出，具体如下所述：
式中，conv(·)表示卷积核尺寸为l×l的卷积，步幅为d3，ReLU(·)表示ReLU激活函数，l和d3为正整数。
其中，步骤4)中，所述遥感图像薄云移除网络具体为：
41)如图6所示，采用步骤2)中感知梯度提取模块、步骤3)中云层厚度估计模块、残差特征提取单元RFE和Tanh激活函数搭建基于多路感知梯度的遥感图像薄云移除网络，用于从单张薄云遥感图像到清晰遥感图像的转换；
42)基于多路感知梯度的遥感图像薄云移除网络的输入为薄云遥感图像C，输出为预测清晰遥感图像和预测云层厚度图像
其中，步骤5)中，特征损失函数LF具体为：
式中，θ(·)表示VGG19网络的输出特征图，u表示VGG19网络的卷积层序号，q、t和y表示特征图长、宽和通道的序号，O表示使用的VGG19的层数，W、H和C表示特征图长、宽和通道的大小，R表示清晰遥感图像，表示预测清晰遥感图像，u∈(1,…,O)，q∈(1,…,W)，t∈(1,…,H)，y∈(1,…,C)，u，q，t，y，O，W，H和C均为正整数。
其中，步骤5)中，梯度损失函数LG具体为：
式中，▽(·)表示使用Prewitt算子提取的图像梯度，q、t和y表示特征图长、宽和通道的序号，W、H和C表示特征图长、宽和通道的大小，q∈(1,…,W)，t∈(1,…,H)，y∈(1,…,C)，q，t，y，W，H和C均为正整数。
其中，步骤5)中，云层厚度损失函数LR具体为：
其中，步骤6)中，薄云移除方法具体为：
将训练b代得到的模型参数导入遥感图像薄云移除网络，输入单张薄云遥感图像实现薄云移除。为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
实施例1
本发明实施例提出了一种基于多路感知梯度的遥感图像薄云移除方法，参见图1，详见下文描述：
101：建立遥感图像薄云移除数据集，数据集包括薄云遥感图像、清晰遥感图像和云层厚度图像，按一定比例组成训练集、验证集和测试集；
102：搭建感知梯度提取模块，包括感知特征提取单元、梯度信息提取单元和残差特征提取单元三部分，用于提取图像薄云特征；
103：搭建云层厚度估计模块，包括边缘特征提取部分和特征校准部分，用于自适应估计云层厚度；
104：基于步骤102中感知梯度提取模块和步骤103中云层厚度估计模块搭建遥感图像薄云移除网络，用于从单张薄云遥感图像到清晰遥感图像的转换；
105：采用步骤101中遥感图像薄云移除数据集训练遥感图像薄云移除网络，使用的损失函数包括特征损失函数、梯度损失函数和云层厚度损失函数；
106：将训练结束得到的模型参数导入遥感图像薄云移除网络，输入单张薄云遥感图像实现薄云移除。
其中，步骤101中的具体步骤为：
1)选取n张清晰遥感图像R，通过生成仿真薄云得到薄云遥感图像C和云层厚度图像T。由于遥感图像尺寸较大，因此将遥感图裁剪成尺寸为N×N的图像，将具有对应关系的清晰遥感图像R、薄云遥感图像C和云层厚度图像T组成遥感图像薄云移除数据集，记为{Ri,Ci,Ti|i∈(1,…,m)}，其中i为图像的序号，m为图像的数量，i和m为正整数；
2)将遥感图像薄云移除数据集按照p1:p2:p3的比例划分为训练集、验证集和测试集，用于本发明方法的训练、验证和测试，其中，p1、p2和p3为正整数，p1>p2,p1>p3。
其中，步骤102中的具体步骤为：
1)如图2所示，搭建感知梯度提取模块，包括感知特征提取单元(PerceptualFeature Extraction unit，PFE)、梯度信息提取单元(Gradient Information Extractionunit，GIE)、残差特征提取单元(Residual Feature Extraction unit，RFE)和残差连接，用于提取图像薄云特征；
2)感知特征提取单元PFE采用VGG19网络提取图像特征，模拟人类视觉***提取图像感知层面的特征，采用VGG19网络第n1层第n2个输出结果作为感知特征信息，用于后续薄云移除任务，其中，n1和n2为正整数；
3)梯度信息提取单元GIE采用Sobel算子滤波器在特征图上做步幅为d1的卷积操作，用于提取图像梯度信息，梯度信息中包含更多云层相关的特征，有益于薄云的移除，其中，d1为正整数；
4)如图3所示，残差特征提取单元RFE由e个残差单元(Residual Unit，RU)组成，每个残差单元RU包括s1个卷积+ReLU激活函数、1个特征校准单元(Feature Calibrationunit，FC)和1个残差学习，卷积核尺寸均为f×f，步幅为d2，其中e、s1、f和d2均为正整数；
5)如图4所示，特征校准单元由3条支路组成，进行图像特征校准任务，该单元输入为αin，输出为αout；
支路1为特征图的每个像素赋予一个权重，实现像素级特征校准，具体由g个卷积+ReLU激活函数组合和1个卷积+Sigmoid激活函数组合组成，支路1的输出结果为αs，卷积核尺寸为z×z，步幅为x，支路1不改变特征图尺寸和通道数量，其中，g、z和x均为正整数；
支路2不做任何操作，输出仍为特征校准单元FC的输入αin；
支路3为特征图的每个通道内的像素赋予一个相同权重，实现通道级特征校准，具体由平均值池化、v个卷积+ReLU激活函数组合、1个卷积+Sigmoid激活函数组合和1个特征尺寸扩充单元组成。平均值池化将特征图每个通道的像素值取平均值作为结果，特征图尺寸由W×H×C变为1×1×C；特征尺寸扩充单元将特征图由尺寸为1×1×C复制扩充为W×H×C，即由1×1个值复制为W×H个相同的值，保持支路3的输入和输出特征图尺寸和通道数量不变；支路3输出结果为αc，卷积核尺寸为a×a，步幅为k，其中，v、a和k均为正整数；
特征校准单元FC的输出为3条支路输出特征图在对应像素进行乘积操作的结果，具体如下所述：
式中，αout为特征校准单元FC的输出，αs为支路1的输出结果，αin为支路2的输出结果，αc为支路3的输出结果。
其中，步骤103中的具体步骤为：
1)如图5所示，搭建云层厚度估计模块，包括边缘特征提取部分和特征校准部分，用于自适应估计云层厚度，云层厚度估计模块输入为薄云遥感图像C，输出为预测云层厚度和特征图φout；
2)如图5所示，边缘特征提取部分包括w条支路，每条支路结构相同，均由步骤102中梯度信息提取部分GIE和残差单元RU组成，支路采用的卷积核尺寸逐渐增大。对于第r条支路，输入经过GIE和RU的结果记为φr，卷积核尺寸为(2r+1)×(2r+1)，其中，r∈(1,…,w)，r和w为正整数。相邻两条支路的输出对应像素求和，因此求和后的支路共计w-1条，求和后的第j条支路的结果记为δj，具体如下所述：
式中，j∈(1,…,w-1)，j和w为正整数，表示特征图对应位置元素求和；
3)如图5所示，特征校准部分由w-1个特征校准单元FC组成，对于特征校准部分的第i条支路，特征校准单元FC的输出记为πi，具体如下所述：
πi＝FC(δi) (3)
式中，i∈(1,…,w-1)，FC(·)表示特征校准单元FC的输出；
4)将特征校准部分FC的输出在通道上连接起来，结果记为φout，作为云层厚度估计模块的第1个输出，具体如下所述：
φout＝concat(π1,…,πw-1) (4)
式中，concat(·)表示将特征图在通道上级联；
将特征图φout送进卷积和ReLU激活函数得到预测云层厚度作为云层厚度估计模块第2个输出，具体如下所述：
式中，conv(·)表示卷积核尺寸为l×l的卷积，步幅为d3，ReLU(·)表示ReLU激活函数，l和d3为正整数。
其中，步骤104中的具体步骤为：
1)如图6所示，采用步骤102中感知梯度提取模块、步骤103中云层厚度估计模块、残差特征提取单元RFE和Tanh激活函数搭建基于多路感知梯度的遥感图像薄云移除网络，用于从单张薄云遥感图像到清晰遥感图像的转换；
2)基于多路感知梯度的遥感图像薄云移除网络的输入为薄云遥感图像C，输出为预测清晰遥感图像和预测云层厚度图像
其中，步骤105中的具体步骤为：
1)采用步骤101中数据集训练遥感图像薄云移除网络，训练使用的损失函数包括特征损失函数、梯度损失函数和云层厚度损失函数，训练共计b代，具体函数形式如下所述；
2)特征损失函数LF具体为：
式中，θ(·)表示VGG19网络的输出特征图，u表示VGG19网络的卷积层序号，q、t和y表示特征图长、宽和通道的序号，O表示使用的VGG19的层数，W、H和C表示特征图长、宽和通道的大小，R表示清晰遥感图像，表示预测清晰遥感图像，u∈(1,…,O)，q∈(1,…,W)，t∈(1,…,H)，y∈(1,…,C)，u，q，t，y，O，W，H和C均为正整数；
3)梯度损失函数LG具体为：
式中，▽(·)表示使用Prewitt算子提取的图像梯度，q、t和y表示特征图长、宽和通道的序号，W、H和C表示特征图长、宽和通道的大小，q∈(1,…,W)，t∈(1,…,H)，y∈(1,…,C)，q，t，y，W，H和C均为正整数；
4)云层厚度损失函数LR具体为：
5)总体损失函数L为上述损失函数的加权求和，具体为：
L＝LF+σLG+λLR (9)
式中，σ和λ为权重系数。
其中，步骤106中的具体步骤为：将训练b代得到的模型参数导入遥感图像薄云移除网络，输入单张薄云遥感图像实现薄云移除。
实施例2
本发明实施例提出了一种基于多路感知梯度的遥感图像薄云移除方法，参见图1，详见下文描述：
201：建立遥感图像薄云移除数据集，数据集包括薄云遥感图像、清晰遥感图像和云层厚度图像，按一定比例组成训练集、验证集和测试集；
202：搭建感知梯度提取模块，包括感知特征提取单元、梯度信息提取单元和残差特征提取单元三部分，用于提取图像薄云特征；
203：搭建云层厚度估计模块，包括边缘特征提取部分和特征校准部分，用于自适应估计云层厚度；
204：基于步骤202中感知梯度提取模块和步骤203中云层厚度估计模块搭建遥感图像薄云移除网络，用于从单张薄云遥感图像到清晰遥感图像的转换；
205：采用步骤201中遥感图像薄云移除数据集训练遥感图像薄云移除网络，使用的损失函数包括特征损失函数、梯度损失函数和云层厚度损失函数；
206：将训练结束得到的模型参数导入遥感图像薄云移除网络，输入单张薄云遥感图像实现薄云移除。
其中，步骤201中的具体步骤为：
1)选取200张清晰遥感图像R，通过生成仿真薄云得到薄云遥感图像C和云层厚度图像T。由于遥感图像尺寸较大，因此将遥感图裁剪成尺寸为256×256的图像，将具有对应关系的清晰遥感图像R、薄云遥感图像C和云层厚度图像T组成遥感图像薄云移除数据集，记为{Ri,Ci,Ti|i∈(1,…,m)}，其中i为图像的序号，图像的数量m＝4000，i为正整数；
2)将遥感图像薄云移除数据集按照p1:p2:p3的比例划分为训练集、验证集和测试集，用于本发明方法的训练、验证和测试，其中，p1:p2:p3设置为6:2:2。
其中，步骤202中的具体步骤为：
1)如图2所示，搭建感知梯度提取模块，包括感知特征提取单元(PerceptualFeature Extraction unit，PFE)、梯度信息提取单元(Gradient Information Extractionunit，GIE)、残差特征提取单元(Residual Feature Extraction unit，RFE)和残差连接，用于提取图像薄云特征；
2)感知特征提取单元PFE采用VGG19网络提取图像特征，模拟人类视觉***提取图像感知层面的特征，采用VGG19网络第3层第2个输出结果作为感知特征信息，用于后续薄云移除任务；
3)梯度信息提取单元GIE采用Sobel算子滤波器在特征图上做步幅为1的卷积操作，用于提取图像梯度信息，梯度信息中包含更多云层相关的特征，有益于薄云的移除；
4)如图3所示，残差特征提取单元RFE由6个残差单元(Residual Unit，RU)组成，每个残差单元RU包括6个卷积+ReLU激活函数、1个特征校准单元(Feature Calibrationunit，FC)和1个残差学习，卷积核尺寸均为3×3，步幅为1；
5)如图4所示，特征校准单元由3条支路组成，进行图像特征校准任务，该单元输入为αin，输出为αout；
支路1为特征图的每个像素赋予一个权重，实现像素级特征校准，具体由5个卷积+ReLU激活函数组合和1个卷积+Sigmoid激活函数组合组成，支路1的输出结果为αs，卷积核尺寸为3×3，步幅为1，支路1不改变特征图尺寸和通道数量；
支路2不做任何操作，输出仍为特征校准单元FC的输入αin；
支路3为特征图的每个通道内的像素赋予一个相同权重，实现通道级特征校准，具体由平均值池化、5个卷积+ReLU激活函数组合、1个卷积+Sigmoid激活函数组合和1个特征尺寸扩充单元组成。平均值池化将特征图每个通道的像素值取平均值作为结果，特征图尺寸由W×H×C变为1×1×C；特征尺寸扩充单元将特征图由尺寸为1×1×C复制扩充为W×H×C，即由1×1个值复制为W×H个相同的值，保持支路3的输入和输出特征图尺寸和通道数量不变；支路3输出结果为αc，卷积核尺寸为3×3，步幅为1；
特征校准单元FC的输出为3条支路输出特征图在对应像素进行乘积操作的结果，具体如下所述：
式中，αout为特征校准单元FC的输出，αs为支路1的输出结果，αin为支路2的输出结果，αc为支路3的输出结果。
其中，步骤203中的具体步骤为：
1)如图5所示，搭建云层厚度估计模块，包括边缘特征提取部分和特征校准部分，用于自适应估计云层厚度，云层厚度估计模块输入为薄云遥感图像C，输出为预测云层厚度和特征图φout；
2)如图5所示，边缘特征提取部分包括6条支路，每条支路结构相同，均由步骤102中梯度信息提取部分GIE和残差单元RU组成，支路采用的卷积核尺寸逐渐增大。对于第r条支路，输入经过GIE和RU的结果记为φr，卷积核尺寸为(2r+1)×(2r+1)，其中，r∈(1,…,6)，r为正整数。相邻两条支路的输出对应像素求和，因此求和后的支路共计5条，求和后的第j条支路的结果记为δj，具体如下所述：
式中，j∈(1,…,5)，j为正整数，表示特征图对应位置元素求和；
3)如图5所示，特征校准部分由5个特征校准单元FC组成，对于特征校准部分的第i条支路，特征校准单元FC的输出记为πi，具体如下所述：
πi＝FC(δi) (3)
式中，i∈(1,…,5)，FC(·)表示特征校准单元FC的输出；
4)将特征校准部分FC的输出在通道上连接起来，结果记为φout，作为云层厚度估计模块的第1个输出，具体如下所述：
φout＝concat(π1,…,π5) (4)
式中，concat(·)表示将特征图在通道上级联；
将特征图φout送进卷积和ReLU激活函数得到预测云层厚度作为云层厚度估计模块第2个输出，具体如下所述：
式中，conv(·)表示卷积核尺寸为3×3的卷积，步幅为1，ReLU(·)表示ReLU激活函数。
其中，步骤204中的具体步骤为：
1)如图6所示，采用步骤202中感知梯度提取模块、步骤203中云层厚度估计模块、残差特征提取单元RFE和Tanh激活函数搭建基于多路感知梯度的遥感图像薄云移除网络，用于从单张薄云遥感图像到清晰遥感图像的转换；
2)基于多路感知梯度的遥感图像薄云移除网络的输入为薄云遥感图像C，输出为预测清晰遥感图像和预测云层厚度图像
其中，步骤205中的具体步骤为：
1)采用步骤201中数据集训练遥感图像薄云移除网络，训练使用的损失函数包括特征损失函数、梯度损失函数和云层厚度损失函数，训练共计200代，具体函数形式如下所述；
2)特征损失函数LF具体如式(6)所述，式(6)中，θ(·)表示VGG19网络的输出特征图，u表示VGG19网络的卷积层序号，q、t和y表示特征图长、宽和通道的序号，使用的VGG19的前10层卷积特征图，特征图长、宽和通道的大小均为128，R表示清晰遥感图像，表示预测清晰遥感图像，u∈(1,…,10)，q∈(1,…,128)，t∈(1,…,128)，y∈(1,…,128)；梯度损失函数LG具体如式(7)所述，式(7)中，▽(·)表示使用Prewitt算子提取的图像梯度，q、t和y表示特征图长、宽和通道的序号，特征图长、宽和通道的大小均为128，u∈(1,…,10)，q∈(1,…,128)，t∈(1,…,128)，y∈(1,…,128)；云层厚度损失函数LR具体如式(8)所述；总体损失函数L为上述损失函数的加权求和，具体如式(9)所述，式(9)中，σ＝10.0和λ＝5.0。
其中，步骤206中的具体步骤为：将训练200代的得到的模型参数导入遥感图像薄云移除网络，输入单张薄云遥感图像实现薄云移除。
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于多路感知梯度的遥感图像薄云移除方法，其特征在于步骤如下：
1)建立遥感图像薄云移除数据集，包括薄云遥感图像、清晰遥感图像和云层厚度图像，按比例组成训练集、验证集和测试集；
2)搭建感知梯度提取模块，用于提取图像薄云特征；
3)搭建云层厚度估计模块，用于自适应估计云层厚度；
4)基于步骤2)中得到的感知梯度提取模块和步骤3)中得到的云层厚度估计模块，搭建遥感图像薄云移除网络，用于从单张薄云遥感图像到清晰遥感图像的转换；
5)利用步骤1)得到的数据集训练遥感图像薄云移除网络，使用的损失函数包括特征损失函数、梯度损失函数和云层厚度损失函数；
6)将训练结束得到的模型参数导入遥感图像薄云移除网络，输入单张薄云遥感图像实现薄云移除；
所述步骤1)中，遥感图像薄云移除数据集具体为：
11)选取n张清晰遥感图像R，通过生成仿真薄云得到薄云遥感图像C和云层厚度图像T；将遥感图裁剪成尺寸为N×N的图像，将具有对应关系的清晰遥感图像R、薄云遥感图像C和云层厚度图像T组成遥感图像薄云移除数据集，记为{Ri,Ci,Ti|i∈(1,…,m)}，其中i为图像的序号，m为图像的数量，i和m为正整数；
12)将遥感图像薄云移除数据集按照p1:p2:p3的比例划分为训练集、验证集和测试集，其中，p1、p2和p3为正整数，且p1>p2,p1>p3；
所述搭建感知梯度提取模块具体包括感知特征提取单元、梯度信息提取单元、残差特征提取单元和残差连接；
所述感知特征提取单元具体采用VGG19网络提取图像特征，模拟人类视觉***提取图像感知层面的特征，采用VGG19网络第n1层第n2个输出结果作为感知特征信息，用于后续薄云移除任务，其中，n1和n2为正整数；
所述梯度信息提取单元具体采用Sobel算子滤波器在特征图上做步幅为d1的卷积操作，用于提取图像梯度信息，梯度信息中包含云层相关特征；其中，d1为正整数；
所述残差特征提取单元由e个残差单元组成，每个残差单元包括s1个卷积+ReLU激活函数、1个特征校准单元和1个残差学习，卷积核尺寸均为f×f，步幅为d2，其中e、s1、f和d2均为正整数；
所述特征校准单元由3条支路组成，进行图像特征校准任务，该单元输入为αin，输出为αout；
支路1为特征图的每个像素赋予一个权重，实现像素级特征校准，由g个卷积+ReLU激活函数组合和1个卷积+Sigmoid激活函数组合组成，支路1的输出结果为αs，卷积核尺寸为z×z，步幅为x，支路1不改变特征图尺寸和通道数量，其中，g、z和x均为正整数；
支路2不做任何操作，输出仍为特征校准单元的输入αin；
支路3为特征图的每个通道内的像素赋予一个相同权重，实现通道级特征校准，由平均值池化、v个卷积+ReLU激活函数组合、1个卷积+Sigmoid激活函数组合和1个特征尺寸扩充单元组成；平均值池化将特征图每个通道的像素值取平均值作为结果，特征图尺寸由W×H×C变为1×1×C；特征尺寸扩充单元将特征图由尺寸为1×1×C复制扩充为W×H×C，即由1×1个值复制为W×H个相同的值，保持支路3的输入和输出特征图尺寸和通道数量不变；支路3输出结果为αc，卷积核尺寸为a×a，步幅为k，其中，v、a和k均为正整数；
特征校准单元的输出αout为3条支路输出特征图在对应像素进行乘积操作的结果，如下所述：
式中，αout为特征校准单元的输出，αs为支路1的输出结果，αin为支路2的输出结果，αc为支路3的输出结果；
所述步骤3)中，所述搭建云层厚度估计模块，包括边缘特征提取部分和特征校准部分，用于自适应估计云层厚度，云层厚度估计模块输入为薄云遥感图像C，输出为预测云层厚度和特征图φout；
边缘特征提取部分包括w条支路，每条支路结构相同，均由步骤2)中梯度信息提取部分和残差单元组成，支路采用的卷积核尺寸逐渐增大；对于第r条支路，输入经过梯度信息提取部分和残差单元的结果记为φr，卷积核尺寸为(2r+1)×(2r+1)，其中，r∈(1,…,w)，r和w为正整数；相邻两条支路的输出对应像素求和，求和后的支路共计w-1条，求和后的第j条支路的结果记为δj，如下所述：
式中，j∈(1,…,w-1)，j和w为正整数，表示特征图对应位置元素求和；
特征校准部分由w-1个特征校准单元组成，对于特征校准部分的第i条支路，特征校准单元的输出记为πi，如下所述：
πi＝FC(δi)；
式中，i∈(1,…,w-1)，FC(·)表示特征校准单元的输出；
将特征校准部分FC的输出在通道上连接起来，结果记为φout，作为云层厚度估计模块的第1个输出，如下所述：
φout＝concat(π1,…,πw-1)；
式中，concat(·)表示将特征图在通道上级联；
将特征图φout送进卷积和ReLU激活函数得到预测云层厚度作为云层厚度估计模块第2个输出，如下所述：
式中，conv(·)表示卷积核尺寸为l×l的卷积，步幅为d3，ReLU(·)表示ReLU激活函数，l和d3为正整数；
所述步骤4)中，所述搭建遥感图像薄云移除网络具体为：
采用步骤2)中感知梯度提取模块、步骤3)中云层厚度估计模块、残差特征提取单元和Tanh激活函数搭建基于多路感知梯度的遥感图像薄云移除网络，用于从单张薄云遥感图像到清晰遥感图像的转换；基于多路感知梯度的遥感图像薄云移除网络的输入为薄云遥感图像C，输出为预测清晰遥感图像和预测云层厚度图像
2.根据权利要求1所述的一种基于多路感知梯度的遥感图像薄云移除方法，其特征在于，所述步骤5)中，特征损失函数LF具体为：
式中，θ(·)表示VGG19网络的输出特征图，u表示VGG19网络的卷积层序号，q、t和y表示特征图长、宽和通道的序号，O表示使用的VGG19的层数，W、H和C表示特征图长、宽和通道的大小，R表示清晰遥感图像，表示预测清晰遥感图像，u∈(1,…,O)，q∈(1,…,W)，t∈(1,…,H)，y∈(1,…,C)，u，q，t，y，O，W，H和C均为正整数。
3.根据权利要求2所述的一种基于多路感知梯度的遥感图像薄云移除方法，其特征在于，所述步骤5)中，梯度损失函数LG具体为：
式中，表示使用Prewitt算子提取的图像梯度，q、t和y表示特征图长、宽和通道的序号，W、H和C表示特征图长、宽和通道的大小，q∈(1,…,W)，t∈(1,…,H)，y∈(1,…,C)，q，t，y，W，H和C均为正整数。
4.根据权利要求3所述的一种基于多路感知梯度的遥感图像薄云移除方法，其特征在于，所述步骤5)中，云层厚度损失函数LR具体为：
其中，R表示清晰遥感图像，表示预测清晰遥感图像。
5.根据权利要求4所述的一种基于多路感知梯度的遥感图像薄云移除方法，其特征在于，所述步骤6)中，薄云移除方法具体为：采用权利要求2中遥感图像薄云移除数据集训练遥感图像薄云移除网络，训练使用的损失函数包括特征损失函数、梯度损失函数和云层厚度损失函数，训练共计b代，将训练结束得到的模型参数导入遥感图像薄云移除网络，输入单张薄云遥感图像完成遥感图像薄云移除。
CN202210357921.8A 2022-04-06 2022-04-06 一种基于多路感知梯度的遥感图像薄云移除方法 Active CN114936972B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210357921.8A CN114936972B (zh) 2022-04-06 2022-04-06 一种基于多路感知梯度的遥感图像薄云移除方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210357921.8A CN114936972B (zh) 2022-04-06 2022-04-06 一种基于多路感知梯度的遥感图像薄云移除方法

Publications (2)

Publication Number Publication Date
CN114936972A CN114936972A (zh) 2022-08-23
CN114936972B true CN114936972B (zh) 2024-07-02

Family

ID=82861747

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210357921.8A Active CN114936972B (zh) 2022-04-06 2022-04-06 一种基于多路感知梯度的遥感图像薄云移除方法

Country Status (1)

Country Link
CN (1) CN114936972B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108460739A (zh) * 2018-03-02 2018-08-28 北京航空航天大学 一种基于生成对抗网络的遥感图像薄云去除方法
CN108931825A (zh) * 2018-05-18 2018-12-04 北京航空航天大学 一种基于地物清晰度的遥感图像云厚度检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109191400A (zh) * 2018-08-30 2019-01-11 中国科学院遥感与数字地球研究所 一种使用对抗式生成网络去除遥感图像薄云的方法
US11055574B2 (en) * 2018-11-20 2021-07-06 Xidian University Feature fusion and dense connection-based method for infrared plane object detection

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108460739A (zh) * 2018-03-02 2018-08-28 北京航空航天大学 一种基于生成对抗网络的遥感图像薄云去除方法
CN108931825A (zh) * 2018-05-18 2018-12-04 北京航空航天大学 一种基于地物清晰度的遥感图像云厚度检测方法

Also Published As

Publication number Publication date
CN114936972A (zh) 2022-08-23

Similar Documents

Publication Publication Date Title
Krull et al. Noise2void-learning denoising from single noisy images
CN111369487B (zh) 一种高光谱和多光谱图像融合方法、***及介质
CN111080567A (zh) 基于多尺度动态卷积神经网络的遥感图像融合方法及***
CN109523482B (zh) 一种基于深度神经网络的对含纹理退化图像的复原方法
CN113344806A (zh) 一种基于全局特征融合注意力网络的图像去雾方法与***
CN111179196B (zh) 一种基于分而治之的多分辨率深度网络图像去高光方法
CN113450288A (zh) 基于深度卷积神经网络单图像去雨方法、***和存储介质
CN112801104B (zh) 基于语义分割的图像像素级伪标签确定方法及***
CN110084181B (zh) 一种基于稀疏MobileNetV2网络的遥感图像舰船目标检测方法
CN112184582B (zh) 一种基于注意力机制的图像补全方法及装置
CN111127354A (zh) 一种基于多尺度字典学习的单图像去雨方法
CN114742733A (zh) 云去除方法、装置、计算机设备和存储介质
CN115660979A (zh) 一种基于注意力机制的双判别器图像修复方法
CN111815526B (zh) 基于图像滤波和cnn的有雨图像雨条纹去除方法及***
Liu et al. Multi-filters guided low-rank tensor coding for image inpainting
Ai et al. Single image super-resolution via residual neuron attention networks
CN109558880B (zh) 一种基于视觉整体和局部特征融合的轮廓检测方法
Chen et al. Remote sensing image super-resolution with residual split attention mechanism
CN117173404A (zh) 一种基于深度学习的遥感目标自动检测及隐藏方法
CN114936972B (zh) 一种基于多路感知梯度的遥感图像薄云移除方法
CN112686822A (zh) 一种基于堆叠生成对抗网络的图像补全方法
CN115760670B (zh) 基于网络隐式先验的无监督高光谱融合方法及装置
CN117036171A (zh) 单幅图像的蓝图可分离残差平衡蒸馏超分辨率重建模型及方法
CN116703750A (zh) 基于边缘注意力和多阶微分损失的图像去雾方法及***
CN113935908B (zh) 一种基于双支路通道和特征强化机制的遥感图像去云方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant