CN113516600A - 一种基于特征自适应校正的遥感图像薄云去除方法 - Google Patents
一种基于特征自适应校正的遥感图像薄云去除方法 Download PDFInfo
- Publication number
- CN113516600A CN113516600A CN202110615563.1A CN202110615563A CN113516600A CN 113516600 A CN113516600 A CN 113516600A CN 202110615563 A CN202110615563 A CN 202110615563A CN 113516600 A CN113516600 A CN 113516600A
- Authority
- CN
- China
- Prior art keywords
- cloud
- feature
- network
- image
- remote sensing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000012937 correction Methods 0.000 title claims abstract description 21
- 230000003044 adaptive effect Effects 0.000 title claims description 28
- 230000006870 function Effects 0.000 claims abstract description 75
- 238000012549 training Methods 0.000 claims abstract description 33
- 238000013507 mapping Methods 0.000 claims abstract description 10
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 9
- 238000000605 extraction Methods 0.000 claims description 44
- 238000011084 recovery Methods 0.000 claims description 41
- 230000003993 interaction Effects 0.000 claims description 30
- 230000004913 activation Effects 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 16
- 230000001965 increasing effect Effects 0.000 claims description 7
- 238000013461 design Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 230000010354 integration Effects 0.000 claims description 4
- 239000000203 mixture Substances 0.000 claims description 4
- 230000017105 transposition Effects 0.000 claims description 4
- 150000001875 compounds Chemical class 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 8
- 238000005516 engineering process Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 239000003595 mist Substances 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30192—Weather; Meteorology
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于特征自适应校正的遥感图像薄云去除方法,采用深度卷积神经网络设计薄云去除网络,实现单张图像薄云去除,薄云去除网络输入为有云图,输出为去云图,利用有云遥感图像和无云遥感图像构造训练数据集,用于网络学习有云图和无云图之间的映射关系;薄云去除网络采用上述训练数据集进行训练,结合均值损失函数、VGG损失函数和最小绝对值偏差损失函数对网络进行优化,训练结束后采用该方法实现单张遥感图像薄云去除。本发明不依赖先验知识和物理模型,仅由单张薄云遥感图像就可完成端到端的薄云去除,适用范围广,实施简单方便,薄云去除效果真实自然。
Description
技术领域
本发明涉及人工智能和图像处理技术领域,尤其涉及一种基于特征自适应校正的遥感图像薄云去除方法。
背景技术
遥感卫星拍摄的光学图像能够捕捉地面信息,为人类掌握信息提供了很大的便利,例如天气预报,灾害预警等领域。然而,光学传感器会被大气环境所影响,尤其是云的影响最为严重,拍摄的遥感图像被云遮挡,限制了后续对遥感图像的利用,例如目标检测,目标定位和数据融合等方面。因此,研究云雾去除技术具有实际意义和现实价值。
传统的光学遥感图像薄云去除技术主要包括滤波法和先验知识法等。滤波方法一般采用同态滤波法等,同态滤波法将图像从空间域变换到频率域,由于云只影响低频信息,用滤波函数抑制低频增强高频,从而进行薄云去除。先验知识法通过分析传感器成像机理,根据经验和分析提出一些假设先验知识,并据此对无云遥感图像进行推理,从而恢复无云遥感图像。例如暗通道先验和暗目标减法等。暗通道先验法假设无云图像在非天空的局部区域的像素有一个通道接近于零,并基于大气散射模型实现图像去雾;暗目标减法假设图像由地表反射和大气散射构成,山体阴影和茂密的植被等暗目标在传感器中辐射值几乎都来自大气散射,假设云雾分布均匀时暗目标的辐射包括大气散射和云雾,因此通过暗目标减法可达到云雾去除的目的。此类方法弊端明显,适用性比较局限,在某些情况下先验知识失效,导致结果不尽人意。
近几年,随着人工智能技术飞速发展,卷积神经网络凭借强大的特征学习能力正成为科研人员的首选技术,深度学习在图像分类、目标检测和人脸识别等方面取得了不错的成绩,许多科研人员尝试采用基于深度学习的方法进行光学遥感图像薄云去除算法,并取得了较好的效果。基于深度学习的薄云去除技术已经成为比较热门的研究方向,此类算法性能较好,可以避免手工设计特征和经验主义的缺点。
通过上述分析可知,传统薄云去除算法具有明显的局限性,而基于深度学习的端到端遥感图像薄云去除算法能够拟合出薄云遥感图像和清晰遥感图像之间的函数映射,薄云去除效果更加自然和真实。
发明内容
本发明解决的技术问题是:克服现有技术的不足,提供了一种基于特征自适应校正的遥感图像薄云去除方法,通过多层特征交互单元完成特征提取与重建工作,采用特征自适应校正机制根据对薄云去除的重要程度进行图像特征重标定,实现图像特征自校准工作。本发明不依赖先验知识和物理模型,通过训练学习薄云遥感图和无云遥感图之间的关系,实现单张遥感图像薄云去除,详见下文描述:
本发明的技术方案是:一种基于特征自适应校正的遥感图像薄云去除方法,所述方法包括:
采用深度卷积神经网络设计薄云去除网络,实现单张图像薄云去除,薄云去除网络输入为有云图,输出为去云图,利用有云遥感图像和无云遥感图像构造训练数据集,用于网络学习有云图和无云图之间的映射关系;
薄云去除网络结构由特征提取子网络F1和特征恢复子网络F2组成,特征提取子网络F1负责提取与薄云有关的特征,特征恢复子网络F2负责完成无云遥感图像的重建,特征提取子网络F1和特征恢复子网络F2结构基于多层特征交互单元MFU搭建,并采用特征自适应校准单元FCU在子网络之间进行信息交换;
所述多层特征交互单元MFU负责提取不同感受野下的薄云特征,设计多条支路对不同层级的图像特征进行整合交互;
所述特征自适应校准单元FCU根据图像特征对薄云去除的重要程度,自适应地赋予相应权值完成图像特征重标定,使特征提取子网络F1将对薄云去除有价值的特征传递给特征恢复子网络F2完成无云图的重构;
薄云去除网络采用上述训练集进行训练,结合均值损失函数、VGG损失函数和最小绝对值偏差损失函数对网络进行优化,训练结束后采用该方法可实现单张遥感图像薄云去除。
其中,所述训练数据集具体为:
采用深度卷积神经网络设计一种端到端遥感图像薄云去除方法,该算法不依赖物理模型。薄云去除网络负责实现单张图像薄云去除,网络输入为有云遥感图像,输出为去云遥感图像;
收集p张无云遥感图像,并对图像进行加云操作,得到p张有云遥感图像,将无云图和有云图在相同位置进行裁剪,得到大小为N×N的图像块,剔除信息含量较少的图像块,从剩余图像块中选取具有对应关系的q张有云遥感图像块和q张无云遥感图像块,构成训练数据集,表示为{Ji,Hi},i∈{1,2,…,q},用于网络学习有云图和无云图之间的映射关系,其中,N、p和q均为正整数。
其中,所述薄云去除网络具体为:
薄云去除网络结构由特征提取子网络F1(Feature Extraction Sub-network,FES)和特征恢复子网络F2(Feature Restoration Sub-network,FRS)组成,两个子网络F1和F2实现图像特征的提取与重建任务;
所述特征提取子网络F1负责提取与薄云有关的特征,通过步幅卷积缩小特征图尺寸并增加特征数量,薄云只影响图像的低频特征,因此网络提取更多低频特征用于后续图像恢复。特征提取子网络F1由r个卷积层组成,每个卷积层的卷积核的个数分别为{20k,21k,…,2r-1k},卷积核尺寸均为e×e,卷积步幅为f,其中,r、k、e、f均为正整数,激活函数采用LReLU函数,斜率为β,β∈(0,1);
所述特征恢复子网络F2负责完成无云遥感图像的重建,通过转置卷积扩大特征图尺寸并整合特征提取子网络F1提取的图像特征进行无云图的重构与恢复。特征恢复子网络F2由r个卷积层组成,每个卷积层的卷积核的个数分别为{2r-1k,…,21k,20k},卷积核尺寸均为e×e,卷积步幅为g,其中,r、k、e、g均为正整数,激活函数采用ReLU函数;
所述特征提取子网络F1和特征恢复子网络F2结构基于多层特征交互单元MFU搭建,并采用特征自适应校准单元FCU在子网络之间进行信息交换。
其中,所述多层特征交互单元具体为:
所述多层特征交互单元(Multi-layer Feature interaction Unit,MFU)在特征提取子网络F1中负责提取多种尺度下的薄云特征,在特征恢复子网络F2中负责整合图像特征,完成无云遥感图像的重构;
所述多层特征交互单元MFU采用m个不同系数的空洞卷积在多种感受野下提取图像特征,系数为{1,3,…,2m-1},m≥1,空洞卷积的卷积核尺寸为d×d,激活函数为ReLU函数,在参数量不变的情况下,增大感受野来获取更大尺度下的特征;
所述多层特征交互单元MFU设计n条支路整合交互不同层级图像特征,从而使网络融合多种尺度的图像特征。
其中,所述特征自适应校准单元具体为:
所述特征自适应校准单元(Feature adaptive Calibration Unit,FCU)考虑到图像特征中每个通道对于薄云去除工作的重要性不同,因此对图像特征进行通道上的优化,自适应地通过学习为每个特征通道赋予权值系数,完成通道特征的重标定任务,尽可能地提高图像特征的表达能力;
所述特征自适应校准单元FCU使用全局平均池化将每个通道特征整合成一个值,使用两层全连接学习每个通道对应权值系数,两个全连接层输出节点数为C为输入特征图通道数量,σ为正整数,激活函数分别为ReLU函数和Sigmoid函数,最终将得到的权值系数与对应通道进行乘积,完成图像特征自适应校准工作;
所述特征提取子网络F1将提取到的有利于薄云去除的特征通过特征自适应校准单元FCU进行自适应重标定,再送给特征恢复子网络F2整合并重构无云图,有利于网络选择对薄云去除最有价值的特征进行图像重建,不断对特征图进行调整,优化网络的薄云去除效果。
所述均值损失函数的具体为:
LM=||ω(H)-ω(R(J))||1
式中,ω(·)表示尺寸为b×b窗口内的平均值,b为正整数,R(·)表示薄云去除网络的输出,H表示无云遥感图,J表示有云遥感图,R(J)表示去云遥感图。
所述VGG损失函数的具体为:
所述最小绝对值偏差损失函数的具体为:
LL=||H-R(J)||1。
本发明提供的技术方案的有益效果是:
1、本发明不依赖先验知识和物理模型,不需要辅助条件即可完成遥感图像薄云去除;
2、本发明实现端到端的遥感图像薄云去除,仅需单张含云图像即可恢复清晰图像;
3、本发明薄云去除方法适用范围广,实施简单方便,薄云去除效果真实自然。
附图说明
图1为一种基于特征自适应校正的遥感图像薄云去除方法的流程图;
图2为薄云去除网络模型结构示意图;
图3为多层特征交互单元结构示意图;
图4为特征自适应校准单元结构示意图;
图5为实验结果中有云遥感图像和去云遥感图像;
图6为实验结果中另一有云遥感图像和去云遥感图像。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面对本发明实施方式作进一步地详细描述。
实施例1
为了实现效果自然的遥感图像薄云去除,本发明实施例提出了一种基于特征自适应校正的遥感图像薄云去除方法,参见图1,详见下文描述:
一种基于特征自适应校正的遥感图像薄云去除方法,所述方法包括:
101:采用深度卷积神经网络设计薄云去除网络,实现单张图像薄云去除,薄云去除网络输入为有云图,输出为去云图,利用有云遥感图像和无云遥感图像构造训练数据集,用于网络学习有云图和无云图之间的映射关系;
102:薄云去除网络结构由特征提取子网络F1和特征恢复子网络F2组成,特征提取子网络F1负责提取与薄云有关的特征,特征恢复子网络F2负责完成无云遥感图像的重建,特征提取子网络F1和特征恢复子网络F2结构基于多层特征交互单元MFU搭建,并采用特征自适应校准单元FCU在子网络之间进行信息交换;
103:所述多层特征交互单元MFU负责提取不同感受野下的薄云特征,设计多条支路对不同层级的图像特征进行整合交互;
104:所述特征自适应校准单元FCU根据图像特征对薄云去除的重要程度,自适应地赋予相应权值完成图像特征重标定,使特征提取子网络F1将对薄云去除有价值的特征传递给特征恢复子网络F2完成无云图的重构;
105:薄云去除网络采用上述训练集进行训练,结合均值损失函数、VGG损失函数和最小绝对值偏差损失函数对网络进行优化,训练结束后采用该方法可实现单张遥感图像薄云去除。
其中,步骤101实施的具体步骤为:
1)采用深度卷积神经网络设计一种端到端遥感图像薄云去除方法,该算法不依赖物理模型,如图1所示。薄云去除网络负责实现单张图像薄云去除,网络输入为有云遥感图像,输出为去云遥感图像;
2)收集p张无云遥感图像,并对图像进行加云操作,得到p张有云遥感图像,将无云图和有云图在相同位置进行裁剪,得到大小为N×N的图像块,剔除信息含量较少的图像块,从剩余图像块中选取具有对应关系的q张有云遥感图像块和q张无云遥感图像块,构成训练数据集,表示为{Ji,Hi},i∈{1,2,…,q},用于网络学习有云图和无云图之间的映射关系,其中,N、p和q均为正整数。
其中,步骤102的具体步骤为:
1)薄云去除网络结构由特征提取子网络F1(Feature Extraction Sub-network,FES)和特征恢复子网络F2(Feature Restoration Sub-network,FRS)组成,两个子网络F1和F2实现图像特征的提取与重建任务,具体结构如图2所示;
2)特征提取子网络F1负责提取与薄云有关的特征,通过步幅卷积缩小特征图尺寸并增加特征数量,薄云只影响图像的低频特征,因此网络提取更多低频特征用于后续图像恢复,如图2所示。特征提取子网络F1由r个卷积层组成,每个卷积层的卷积核的个数分别为{20k,21k,…,2r-1k},卷积核尺寸均为e×e,卷积步幅为f,其中,r、k、e、f均为正整数,激活函数采用LReLU函数,斜率为β,β∈(0,1);
3)特征恢复子网络F2负责完成无云遥感图像的重建,通过转置卷积扩大特征图尺寸并整合特征提取子网络F1提取的图像特征进行无云图的重构与恢复,如图2所示。特征恢复子网络F2由r个卷积层组成,每个卷积层的卷积核的个数分别为{2r-1k,…,21k,20k},卷积核尺寸均为e×e,卷积步幅为g,其中,r、k、e、g均为正整数,激活函数采用ReLU函数;
4)特征提取子网络F1和特征恢复子网络F2结构基于多层特征交互单元MFU搭建,并采用特征自适应校准单元FCU在子网络之间进行信息交换。
其中,步骤103的具体步骤为:
1)多层特征交互单元(Multi-layer Feature interaction Unit,MFU)在特征提取子网络F1中负责提取多种尺度下的薄云特征,在特征恢复子网络F2中负责整合图像特征,完成无云遥感图像的重构,具体结构如图3所示;
2)多层特征交互单元MFU采用m个不同系数的空洞卷积在多种感受野下提取图像特征,系数为{1,3,…,2m-1},m≥1,空洞卷积的卷积核尺寸为d×d,激活函数为ReLU函数,在参数量不变的情况下,增大感受野来获取更大尺度下的特征;
3)多层特征交互单元MFU设计n条支路整合交互不同层级图像特征,从而使网络融合多种尺度的图像特征。
其中,步骤104的具体步骤为:
1)特征自适应校准单元(Feature adaptive Calibration Unit,FCU)考虑到图像特征中每个通道对于薄云去除工作的重要性不同,因此对图像特征进行通道上的优化,自适应地通过学习为每个特征通道赋予权值系数,完成通道特征的重标定任务,尽可能地提高图像特征的表达能力;
2)特征自适应校准单元FCU使用全局平均池化将每个通道特征整合成一个值,使用两层全连接学习每个通道对应权值系数,两个全连接层输出节点数为C为输入特征图通道数量,σ为正整数,激活函数分别为ReLU函数和Sigmoid函数,最终将得到的权值系数与对应通道进行乘积,完成图像特征自适应校准工作,具体结构如图4所示;
3)特征提取子网络F1将提取到的有利于薄云去除的特征通过特征自适应校准单元FCU进行自适应重标定,再送给特征恢复子网络F2整合并重构无云图,有利于网络选择对薄云去除最有价值的特征进行图像重建,不断对特征图进行调整,优化网络的薄云去除效果。
其中,步骤105的具体步骤为:
1)薄云去除网络采用步骤101中所述训练数据集进行训练,结合均值损失函数、VGG损失函数和最小绝对值偏差损失函数对薄云去除网络进行优化,具体函数形式如下所述;
2)均值损失函数的具体形式,如式(1)所示:
LM=||ω(H)-ω(R(J))||1 (1)
式中,ω(·)表示尺寸为b×b窗口内的平均值,b为正整数,R(·)表示薄云去除网络的输出,H表示无云遥感图,J表示有云遥感图,R(J)表示去云遥感图;
3)VGG损失函数的具体形式,如式(2)所示:
4)最小绝对值偏差损失函数的具体形式,如式(3)所示:
LL=||H-R(J)||1 (3)
5)采用损失函数(1)、(2)和(3)的组合训练薄云去除网络,如式(4)所示:
LTotal=ηLM+αLV+μLL (4)
式中,η、α和μ分别为LM、LV和LL的权重;
6)训练结束后采用该方法可实现单张遥感图像薄云去除。
实施例2
下面结合具体的附图以及计算公式对实施例1中的方案进行详细介绍,详见下文描述:
一种基于特征自适应校正的遥感图像薄云去除方法,所述方法包括:
201:采用深度卷积神经网络设计薄云去除网络,实现单张图像薄云去除,薄云去除网络输入为有云图,输出为去云图,利用有云遥感图像和无云遥感图像构造训练数据集,用于网络学习有云图和无云图之间的映射关系;
202:薄云去除网络结构由特征提取子网络F1和特征恢复子网络F2组成,特征提取子网络F1负责提取与薄云有关的特征,特征恢复子网络F2负责完成无云遥感图像的重建,特征提取子网络F1和特征恢复子网络F2结构基于多层特征交互单元MFU搭建,并采用特征自适应校准单元FCU在子网络之间进行信息交换;
203:所述多层特征交互单元MFU负责提取不同感受野下的薄云特征,设计多条支路对不同层级的图像特征进行整合交互;
204:所述特征自适应校准单元FCU根据图像特征对薄云去除的重要程度,自适应地赋予相应权值完成图像特征重标定,使特征提取子网络F1将对薄云去除有价值的特征传递给特征恢复子网络F2完成无云图的重构;
205:薄云去除网络采用上述训练集进行训练,结合均值损失函数、VGG损失函数和最小绝对值偏差损失函数对网络进行优化,训练结束后采用该方法可实现单张遥感图像薄云去除。
其中,步骤201实施的具体步骤为:
1)采用深度卷积神经网络设计一种端到端遥感图像薄云去除方法,该算法不依赖物理模型,如图1所示。薄云去除网络负责实现单张图像薄云去除,网络输入为有云遥感图像,输出为去云遥感图像;
2)收集20张无云遥感图像,并对图像进行加云操作,得到20张有云遥感图像,将无云图和有云图在相同位置进行裁剪,得到大小为256×256的图像块,剔除信息含量较少的图像块,从剩余图像块中选取具有对应关系的1000张有云遥感图像块和1000张无云遥感图像块,构成训练数据集,表示为{Ji,Hi},i∈{1,2,…,1000},用于网络学习有云图和无云图之间的映射关系。
其中,步骤202的具体步骤为:
1)薄云去除网络结构由特征提取子网络F1(Feature Extraction Sub-network,FES)和特征恢复子网络F2(Feature Restoration Sub-network,FRS)组成,两个子网络F1和F2实现图像特征的提取与重建任务,具体结构如图2所示;
2)特征提取子网络F1负责提取与薄云有关的特征,通过步幅卷积缩小特征图尺寸并增加特征数量,薄云只影响图像的低频特征,因此网络提取更多低频特征用于后续图像恢复,如图2所示。特征提取子网络F1由3个卷积层组成,每个卷积层的卷积核的个数分别为{64,128,256},卷积核尺寸均为4×4,卷积步幅为2,激活函数采用LReLU函数,斜率为β=0.2;
3)特征恢复子网络F2负责完成无云遥感图像的重建,通过转置卷积扩大特征图尺寸并整合特征提取子网络F1提取的图像特征进行无云图的重构与恢复,如图2所示。特征恢复子网络F2由3个卷积层组成,每个卷积层的卷积核的个数分别为{256,128,64},卷积核尺寸均为4×4,卷积步幅为0.5,激活函数采用ReLU函数;
4)特征提取子网络F1和特征恢复子网络F2结构基于多层特征交互单元搭建,并采用特征自适应校准单元在子网络之间进行信息交换。
其中,步骤203的具体步骤为:
1)多层特征交互单元(Multi-layer Feature interaction Unit,MFU)在特征提取子网络F1中负责提取多种尺度下的薄云特征,在特征恢复子网络F2中负责整合图像特征,完成无云遥感图像的重构,具体结构如图3所示;
2)多层特征交互单元MFU采用3个不同系数的空洞卷积在多种感受野下提取图像特征,系数为{1,3,5},空洞卷积的卷积核尺寸为4×4,激活函数为ReLU函数,在参数量不变的情况下,增大感受野来获取更大尺度下的特征;
3)多层特征交互单元MFU设计2条支路整合交互不同层级图像特征,从而使网络融合多种尺度的图像特征。
其中,步骤204的具体步骤为:
1)特征自适应校准单元(Feature adaptive Calibration Unit,FCU)考虑到图像特征中每个通道对于薄云去除工作的重要性不同,因此对图像特征进行通道上的优化,自适应地通过学习为每个特征通道赋予权值系数,完成通道特征的重标定任务,尽可能地提高图像特征的表达能力;
2)特征自适应校准单元FCU使用全局平均池化将每个通道特征整合成一个值,使用两层全连接学习每个通道对应权值系数,两个全连接层输出节点数为C为输入特征图通道数量,激活函数分别为ReLU函数和Sigmoid函数,最终将得到的权值系数与对应通道进行乘积,完成图像特征自适应校准工作,本发明中σ=16,具体结构如图4所示;
3)特征提取子网络F1将提取到的有利于薄云去除的特征通过特征自适应校准单元FCU进行自适应重标定,再送给特征恢复子网络F2整合并重构无云图,有利于网络选择对薄云去除最有价值的特征进行图像重建,不断对特征图进行调整,优化网络的薄云去除效果。
其中,步骤205的具体步骤为:
1)薄云去除网络采用步骤201中所述训练数据集进行训练,结合均值损失函数、VGG损失函数和最小绝对值偏差损失函数对薄云去除网络进行优化,具体函数形式如下所述;
2)均值损失函数的具体形式,如式(1)所示,式中,ω(·)表示尺寸为11×11窗口内的平均值;VGG损失函数的具体形式,如式(2)所示;最小绝对值偏差损失函数的具体形式,如式(3)所示;采用损失函数(1)、(2)和(3)的组合训练薄云去除网络,如式(4)所示,式中,η、α和μ分别为LM、LV和LL的权重,具体设置为η=5.0,α=1.0,μ=100.0;
3)训练结束后采用该方法可实现单张遥感图像薄云去除。
实施例3
下面通过实验数据对实施例1和2中的方案进行可行性验证,详见下文描述:
选取两张光学薄云遥感图像,利用本发明进行薄云去除,结果如图5和图6所示。通过结果可知,本发明能够实现效果自然、逼真的遥感图像薄云去除。
本领域技术人员可以理解附图只是一个优选实施例的示意图,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于特征自适应校正的遥感图像薄云去除方法,其特征在于:
采用深度卷积神经网络设计薄云去除网络,实现单张图像薄云去除,薄云去除网络输入为有云图,输出为去云图,利用有云遥感图像和无云遥感图像构造训练数据集,用于网络学习有云图和无云图之间的映射关系;薄云去除网络采用上述训练数据集进行训练,结合均值损失函数、VGG损失函数和最小绝对值偏差损失函数对网络进行优化,训练结束后采用该方法实现单张遥感图像薄云去除。
2.根据权利要求1所述的一种基于特征自适应校正的遥感图像薄云去除方法,其特征在于,所述薄云去除网络由特征提取子网络F1和特征恢复子网络F2组成,其中特征提取子网络F1负责提取与薄云有关的特征,特征恢复子网络F2负责完成无云遥感图像的重建。
3.根据权利要求1所述的一种基于特征自适应校正的遥感图像薄云去除方法,其特征在于,所述特征提取子网络F1和特征恢复子网络F2具体为:
特征提取子网络F1由r个卷积层组成,每个卷积层的卷积核的个数分别为{20k,21k,…,2r-1k},卷积核尺寸均为e×e,卷积步幅为f,其中,r、k、e、f均为正整数,激活函数采用LReLU函数,斜率为β,β∈(0,1);
所述特征恢复子网络F2负责完成无云遥感图像的重建,通过转置卷积扩大特征图尺寸并整合特征提取子网络F1提取的图像特征进行无云图的重构与恢复;特征恢复子网络F2由r个卷积层组成,每个卷积层的卷积核的个数分别为{2r-1k,…,21k,20k},卷积核尺寸均为e×e,卷积步幅为g,其中,r、k、e、g均为正整数,激活函数采用ReLU函数。
4.根据权利要求2所述的一种基于特征自适应校正的遥感图像薄云去除方法,其特征在于,所述特征提取子网络F1和特征恢复子网络F2基于多层特征交互单元MFU搭建,并采用特征自适应校准单元FCU在子网络之间进行信息交换;
所述多层特征交互单元MFU负责提取不同感受野下的薄云特征,设计多条支路对不同层级的图像特征进行整合交互;
所述特征自适应校准单元FCU根据图像特征对薄云去除的重要程度,自适应地赋予相应权值完成图像特征重标定,使特征提取子网络F1将对薄云去除有价值的特征传递给特征恢复子网络F2完成无云图的重构。
5.根据权利要求4所述的一种基于特征自适应校正的遥感图像薄云去除方法,其特征在于,所述多层特征交互单元具体为:
所述多层特征交互单元在特征提取子网络F1中负责提取多种尺度下的薄云特征,在特征恢复子网络F2中负责整合图像特征,完成无云遥感图像的重构;
所述多层特征交互单元MFU采用m个不同系数的空洞卷积在多种感受野下提取图像特征,系数为{1,3,…,2m-1},m≥1,空洞卷积的卷积核尺寸为d×d,激活函数为ReLU函数,在参数量不变的情况下,增大感受野来获取更大尺度下的特征;所述多层特征交互单元MFU设计n条支路整合交互不同层级图像特征,从而使网络融合多种尺度的图像特征。
7.根据权利要求1所述的一种基于特征自适应校正的遥感图像薄云去除方法,其特征在于,所述均值损失函数的具体为:
LM=||ω(H)-ω(R(J))||1
式中,ω(·)表示尺寸为b×b窗口内的平均值,b为正整数,R(·)表示薄云去除网络的输出,H表示无云遥感图,J表示有云遥感图,R(J)表示去云遥感图。
9.根据权利要求1所述的一种基于特征自适应校正的遥感图像薄云去除方法,其特征在于,所述最小绝对值偏差损失函数的具体为:
LL=||H-R(J)||1。
10.根据权利要求1-9任一所述的一种基于特征自适应校正的遥感图像薄云去除方法,其特征在于,所述训练数据集具体为:
收集p张无云遥感图像,并对图像进行加云操作,得到p张有云遥感图像,将无云图和有云图在相同位置进行裁剪,得到大小为N×N的图像块,剔除信息含量较少的图像块,从剩余图像块中选取具有对应关系的q张有云遥感图像块和q张无云遥感图像块,构成训练数据集,表示为{Ji,Hi},i∈{1,2,…,q},用于网络学习有云图和无云图之间的映射关系,其中,N、p和q均为正整数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110615563.1A CN113516600B (zh) | 2021-06-02 | 2021-06-02 | 一种基于特征自适应校正的遥感图像薄云去除方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110615563.1A CN113516600B (zh) | 2021-06-02 | 2021-06-02 | 一种基于特征自适应校正的遥感图像薄云去除方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113516600A true CN113516600A (zh) | 2021-10-19 |
CN113516600B CN113516600B (zh) | 2024-03-19 |
Family
ID=78065455
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110615563.1A Active CN113516600B (zh) | 2021-06-02 | 2021-06-02 | 一种基于特征自适应校正的遥感图像薄云去除方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113516600B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108022222A (zh) * | 2017-12-15 | 2018-05-11 | 西北工业大学 | 一种基于卷积-反卷积网络的遥感图像薄云去除方法 |
CN108921799A (zh) * | 2018-06-22 | 2018-11-30 | 西北工业大学 | 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法 |
CN109934200A (zh) * | 2019-03-22 | 2019-06-25 | 南京信息工程大学 | 一种基于改进M-Net的RGB彩色遥感图像云检测方法及*** |
WO2020244261A1 (zh) * | 2019-06-05 | 2020-12-10 | 中国科学院长春光学精密机械与物理研究所 | 高分辨率遥感图像的场景识别***及模型生成方法 |
-
2021
- 2021-06-02 CN CN202110615563.1A patent/CN113516600B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108022222A (zh) * | 2017-12-15 | 2018-05-11 | 西北工业大学 | 一种基于卷积-反卷积网络的遥感图像薄云去除方法 |
CN108921799A (zh) * | 2018-06-22 | 2018-11-30 | 西北工业大学 | 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法 |
CN109934200A (zh) * | 2019-03-22 | 2019-06-25 | 南京信息工程大学 | 一种基于改进M-Net的RGB彩色遥感图像云检测方法及*** |
WO2020244261A1 (zh) * | 2019-06-05 | 2020-12-10 | 中国科学院长春光学精密机械与物理研究所 | 高分辨率遥感图像的场景识别***及模型生成方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113516600B (zh) | 2024-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108921799B (zh) | 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法 | |
CN110188685B (zh) | 一种基于双注意力多尺度级联网络的目标计数方法及*** | |
CN108573276B (zh) | 一种基于高分辨率遥感影像的变化检测方法 | |
CN107123089B (zh) | 基于深度卷积网络的遥感图像超分辨重建方法及*** | |
CN109101975B (zh) | 基于全卷积神经网络的图像语义分割方法 | |
CN108230264B (zh) | 一种基于ResNet神经网络的单幅图像去雾方法 | |
CN105678284B (zh) | 一种固定位人体行为分析方法 | |
CN112184577B (zh) | 基于多尺度自注意生成对抗网络的单幅图像去雾方法 | |
CN114119444B (zh) | 一种基于深度神经网络的多源遥感图像融合方法 | |
CN107145846A (zh) | 一种基于深度学习的绝缘子识别方法 | |
CN110598600A (zh) | 一种基于unet神经网络的遥感图像云检测方法 | |
CN110223234A (zh) | 基于级联收缩扩张的深度残差网络图像超分辨率重建方法 | |
CN113344806A (zh) | 一种基于全局特征融合注意力网络的图像去雾方法与*** | |
CN110020693B (zh) | 基于特征注意和特征改善网络的极化sar图像分类方法 | |
CN115170979B (zh) | 一种多源数据融合的矿区精细用地分类方法 | |
CN109741340B (zh) | 基于fcn-aspp网络的冰盖雷达图像冰层精细化分割方法 | |
CN109801218B (zh) | 基于多层耦合卷积神经网络的多光谱遥感图像Pan-sharpening方法 | |
CN112419171A (zh) | 一种多残差块条件生成对抗网络的图像复原方法 | |
CN113312993B (zh) | 一种基于PSPNet的遥感数据土地覆盖分类方法 | |
CN108734675A (zh) | 基于混合稀疏先验模型的图像复原方法 | |
CN111738954B (zh) | 一种基于双层空洞U-Net模型的单帧湍流退化图像去畸变方法 | |
CN112967327A (zh) | 基于联合自注意力机制的单目深度方法 | |
CN113379618A (zh) | 一种基于残差密集连接和特征融合的光学遥感图像去云方法 | |
CN115578280A (zh) | 一种双分支遥感图像去雾网络的构建方法 | |
CN114120036A (zh) | 一种轻量化的遥感图像云检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |