CN114612315A - 一种基于多任务学习的高分辨率影像缺失区域重建方法 - Google Patents
一种基于多任务学习的高分辨率影像缺失区域重建方法 Download PDFInfo
- Publication number
- CN114612315A CN114612315A CN202210008040.5A CN202210008040A CN114612315A CN 114612315 A CN114612315 A CN 114612315A CN 202210008040 A CN202210008040 A CN 202210008040A CN 114612315 A CN114612315 A CN 114612315A
- Authority
- CN
- China
- Prior art keywords
- image
- convolution
- missing
- conv2d
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000000605 extraction Methods 0.000 claims abstract description 12
- 238000005457 optimization Methods 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 7
- 238000003708 edge detection Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000003595 spectral effect Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 3
- 230000003321 amplification Effects 0.000 claims description 2
- 238000001514 detection method Methods 0.000 claims description 2
- 230000004927 fusion Effects 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 2
- 239000000284 extract Substances 0.000 abstract description 2
- 230000008859 change Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种基于多任务学习的高分辨率影像缺失区域重建方法，该方法将高空间分辨率影像上的缺失区域填充看成一个条件式的图像生成问题，采用基于门控卷积的条件式对抗生成网络模型结构进行实现。其中，生成器通过编码和解码的结构进行特征提取，并使用同一特征进行地物类别、边界提取和缺失区域填充完成三个相关的任务，引导特征提取模块关注地物类型、边界等信息，从而获得细节丰富、真实的无缺失影像。判别器判别各个影像是生成的，还是真实的，并据此指导生成器进行优化。本发明通过引导生成器关注地物边界和地物类别信息，可以获得细节与纹理丰富的无缝重建结果。
Description
技术领域
本发明提出了一种基于多任务学习的高分辨率影像缺失区域重建方法，解决了高分辨率遥感影像重建中的细节丢失问题，获得真实度高的无缺失影像。
背景技术
云及云阴影等多种因素会导致遥感影像上部分区域缺失。搭载高空间分辨率传感器的卫星由于重访周期长、传感器幅宽小等因素影响，获取无云遥感影像尤其困难。缺失区域填充根据一定规则对影像上的缺失部分进行恢复，获得覆盖整个研究区的无缺失影像，为各种应用提供有效数据。根据缺失区域填充所依据信息的不同，缺失区域填充方法分为空间维和光谱维两种类型。
基于空间维的缺失区域重建利用有效区域对缺失区域进行预测，获得无缺失的影像。根据是否使用参考影像，可以分为单期影像填充和多期影像填充，单期影像填充从影像上的有效部分提取梯度等结构信息，并将其推广到缺失区域，实现缺失区域重建；多期影像方法将参考影像相应区域按照一定方式映射到缺失区域，从而填充缺失区域。另外一种方法是参考影像只是作为相似区域选取的基准，将同期影像上的相似区域复制粘贴到缺失区域(Maalouf A,Carre P,Augerau Bet al,2009.A bandelet-based inpaintingtechnique for clouds removal from remotely sensed images[J].IEEE Transactionson Geoscience and Remote Sensing,47(7): 2363–2371.DOI:10.1109/TGRS.2008.2010454.)。
基于时间维的缺失特征重建是将各个像素看成随时间变化的一种特征，如反射率、DN值或NDVI等，根据时间维度的变化规律对缺失特征进行重建。常用方法如均值填充，前一个像素值填充、后一个像素值填充，这些方法对平稳时间序列取得了较好的效果，由于缺少对地物周期性变化的考虑，使其对植被等周期性地物的效果一般。另一种方法是以时间序列特征作为相似像素选取的条件，即根据时序特征选取具有相同或相似的变化曲线，并利用参考时序曲线对缺失区域进行重建，该方法能够考虑各个观测尺度像素随时间的变化，但忽略了各个像素空间上的邻近关系(Wu Wei,Ge Luoqi,Luo Jiancheng,HuanRuohong,Yang Yingpin.A Spectral–Temporal Patch-Based Missing AreaReconstruction for Time-Series Images[J].Remote Sensing,2018,10(10):1560.)。
遥感影像不仅在空间上表现出相关性，其时序观测也表现时间上的相关性，即反映了地表的发生和发展规律。这要求重建结果不仅能够反映局部区域的纹理细节，与无缺失区域融为一体；也要反映影像的时间变化特征。时间域与空间域融合的方法同时利用以上两种信息，实现缺失区域的重建。一种方法先将影像通过多尺度分割划分为均质的影像块，由于这些影像块是相似像素聚合而成，从而描述了影像像素的空间相似性。典型方法如通过像素聚类形成超像素，再以超像素为基础，获取相似的光谱块，再通过一定指标衡量影像块之间的时间变化相似程度，利用相似曲线对缺失区域整体的重建(C.H.Lin,K.H.Lai,Z.Bin Chen,and J.Y.Chen,“Patch-based information reconstruction of cloud-contaminated multitemporal images,”IEEE Trans.Geosci.Remote Sens.,vol.52,no.1,pp. 163–174,2014,doi:10.1109/TGRS.2012.2237408.Zhou Ya’nan,YangXianzeng, Feng Li,Wu Wei,Wu Tianjun,Luo Jiancheng,Zhou Xiaocheng,Zhang Xin.Superpixel-based time-series reconstruction for optical images incorporatingSAR data using autoencoder networks[J].GIScience&Remote Sensing.2020,57(8):1005-1025.)。
近年来，由于卷积操作能以学习的方式调整不同空间分辨率影像之间的映射关系，并描述复杂的非线性响应关系，以卷积神经网络为基础的深度学习在遥感影像处理和信息提取中得到了广泛应用。生成对抗网络(GAN)通过生成器和判别器两个部分的对抗训练，实现协同优化，在多种任务取得了良好的效果。其中，生成器生成一幅以假乱真的影像，而判别器判断输入影像是生成器生成的，还是真实的影像。生成对抗神经网络在影像重建等任务中取得优于传统方法的重建效果。
然而，与普通图像重建任务去除不需要的背景地物，获得看上去真实的无缝图像不同，遥感影像重建在于恢复真实的地表状态。由于高空间分辨率卫星影像具有丰富的纹理信息，缺失区域重建需要恢复区域内部的细节信息，如地物的纹理、边缘等。直接将传统方法应用于重建高空间分辨率遥感影像时，无法恢复其细节，针对此问题，本发明将缺失区域重建视为多任务学习过程，将遥感影像的边缘、类别等信息作为模型的一个输出，使得特征提取器在训练过程能够针对性关注地物边缘和类别特征，从而获得更好的重建结果。
发明内容
原始影像I上存在部分区域缺失，使用掩膜M标识影像上各个像素的有效情况，1表示缺失值，0表示有效值。缺失区域重建问题就是掩膜上标识为1的区域进行估计并填充，获得无缺失的影像IOUT的过程。本发明将缺失区域填充可以看成一个条件式的图像生成问题，采用基于门控卷积的条件GAN，其网络结构如附图1所示，该网络主要分为两个部分，生成器通过编码和解码的结构进行特征提取，并使用同一特征进行地物类别识别、边界提取和缺失区域填充三个相关的任务，引导特征提取模块关注地物类型、边界等信息，从而获得细节丰富、真实的无缺失影像。判别器判别各个影像是生成的，还是真实的，并据此指导生成器进行优化。以下分别介绍生成器和判别器的结构。
1、生成器
生成器输入遥感影像I及其缺失区域掩膜M，得到地物类别T、边界B、缺失区域重建的结果IOUT。该结构由一个基于卷积自动编码-解码器网络构成，以下按照编码器、解码器和影像重建三个部分介绍其具体结构：
1)编码器
编码器实现多个尺度的特征提取，包括以下几个步骤：
首先，对原始影像I和掩膜M进行通道串联(Concat)处理，然后进行二维卷积(Conv2D)进行处理，得到特征F1：
F1＝Conv2D(Concat(I*(1-M)+M,M)),k＝32,s＝1 (1)
其中，k表示卷积核数量，s表示卷积步长，+表示逐像素的矩阵相加。
其次，使用门控卷积GatedConv2D对输出特征F1进行编码，得到F2：
F2＝GatedConv2D(F1),k＝64,s＝2 (2)
再次，使用Conv2D对F2进行编码，得到F3：
F3＝Conv2D(F2),k＝64,s＝1 (3)
然后，将F3通过卷积核数量k＝128、s＝2的GatedConv2D操作编码后获得 F4，再将F4经过卷积核数量k＝128、s＝1的Conv2D操作继续对编码的特征进行组合获得F5。
最后，我们使用GatedConv2D对F5进行多尺度的空洞卷积，得到。
F6＝MultiDilatedGatedConv2D(F5),k＝128,s＝1 (4)
其中，MultiDilatedGatedConv2D包含四层GatedConv2D，卷积核数量k＝128，其中每层都做不同膨胀率的空洞卷积，分别为2、4、8和16。空洞卷积可以让网络得到多尺度特征和更大的感受域，为缺失区域重建提供跨尺度、跨区域的信息。
2)解码器
解码器将编码器得到特征图输入到门控卷积中实现特征图的放大，获得与原始影像相同大小的特征，实现缺失区域重建，实现步骤如下。
首先，将编码器输出的特征F5与F6按通道维度串联Concat，输入 GatedConv2D卷积层中进行融合并解码，得到特征F7和F8：
F7＝GatedConv2D(Concat(F6,F5)),k＝128,s＝1 (5)
F8＝Conv2D(F7),k＝128,s＝1 (6)
使用TransposeGatedConv2D对输入特征F8进行放大，得到F9：
F9＝TransposeGatedConv2D(F8),k＝64,s＝1 (7)
其中，TransposeGatedConv2D为上采样函数和GatedConv2D的组合，本发明使用的上采样函数为邻近采样插值。
类似地，将F6与编码器输出的F9按通道维度串联Concat，输入卷积核数量 k＝64、s＝1的GatedConv2D后得到F10，经过一个k＝64、s＝1的Conv2D得到F11。将F11输入卷积核数量k＝32、s＝1的TransposeGatedConv2D放大得到F12，再将 F12和F1串联输入卷积核数量k＝32、s＝1的GatedConv2D得到F13。
3)影像重建
影像重建是对缺失区域重建，获得无缺失的影像的过程。本发明的多任务学习同时包含地物类别识别和边缘检测两个附加任务，从而引导特征提取模块能够同时关注地物类别和边界两种信息。
在得到特征F13之后，经过一层Conv2D操作处理，获得重建影像IOUT：
IOUT＝Conv2D(F13),k＝3,s＝1 (8)
地物类别识别子任务中，将F7，F10采用三次插值函数U放大至F13的长宽，并按照通道数维度串联Concat，再经过一层二维卷积Conv2D，得到地物类别识别结果TOUT，该过程可以表示为如下：
TOUT＝Conv2D(Concat(U(F7),U(F10),F13)),k＝C,s＝1 (9)
其中，k表示分类类别数量C相等。
边缘检测子任务依赖于地物类别识别的结果，通过地物分类结果一层卷积得到，边缘强度图BOUT看可以表示为：
BOUT＝Conv2D(TOUT),k＝1,s＝1 (10)
使用边缘检测能够引导影像重建时关注地物的边界细节，优化生成结果的锐化程度；使用地物类别信息能够引导生成器关注地物的类别信息，增加纹理的识别能力。
2、判别器
判别器采用一种光谱局部判别器，由6个卷积核为5×5、步长为2×2的 Conv2D组成。判别器的每个卷积层都使用了光谱归一化，来稳定训练。
在判别器训练过程，本发明使用LSGAN作为损失函数进行训练，该损失主要判别器损失LossD和GAN的损失LossGAN两个部分组成，其形式如下：
其中，X表示输入真实数据I；Y是输入的生成数据，即IOUT。D(X)和D(Y) 分别表示输入真实数据X和输入生成数据Y的判别结果。由于使用的是全卷积判别器，获得的判别高维矩阵小于原始图像大小，表示图像子区域是否生成还是真实的判别概率，使用1表示生成，0标识真实，a和b表示与判别器输出大小相同的高维矩阵，a的值全为1；b的值全为0。
GAN的损失LossGAN是为了计算生成器生成数据判别器判别的结果和正确结果之间的差距，从而优化生成器的生成，具体公式如下：
通过上述两个函数判别输入图片是真实影像还是生成影像，实现二者的协同优化。
本发明的优点是在生成器加入地物类别识别和边界检测两个附加任务，使得生成器在进行地物填充时，能够同时关注地物类别和边界信息，获得更加清晰的结果。
附图说明
图1为本发明的网络结构图
图2(a)和(b)分别杭州和番禺两个试验区的样本的空间分布图
图3(a)到(c)为本发明的输入数据示例图，(a)为原始影像，(b)为地物类别标 签，(c)为不同类型地物的边界
图4为本发明的实验结果
具体实施方式
本发明的实施例提供了一种基于多任务学习的遥感影像缺失区域重建方法，其具体实施方式如下：
选取在杭州、番禺两个实验区，随机生成500个点，其空间分布如图2所示。以这些点为中心裁取1000*1000大小的影像块。其中，50张影像块来自于2006 年获取GeoEye数据，50张是2016年的worlde view影像，400张是从*** earth 上截取的瓦片数据，***earth瓦片数据的获取时间不能精确确定。该批500 张样本包含不同天气条件获取的影像，既存在条件良好，也存在阴影、雾霾等条件的影像，具有较好的代表性。
数据覆盖了典型的城乡场景，模型训练需要两种标签：1)地物类型，主要标识地物类型，根据研究内容的需求，将其划分为8种类型，即草地、道路、耕地、建筑物、森林、裸地、水体、其他，设置8种类型主要是根据影像上能够辨别的地物类型及其纹理特征差异；2)边界：我们在标识地物类型时，精准地标注每个地块的边界。但在模型训练时，我们使用BDCN训练模型，再进行边界提取，然后将线进行缓冲，并按照高斯赋予权重。3)真实影像：本发明采用模拟缺失区域，即将遥感影像上的有效区域视为缺失区域，采用算法的估计结果进行填充，并将填充结果与真实结果进行比较，评价方法的精度。原始影像、数据类别及其边界结果如图3所示。
我们将上述500张样本随机分成三组，第一组400张，是训练集，主要用于训练模型；第二组50张，主要用于验证模型的稳定性；第三组50张，主要用于评价方法的精度。后面的精度测试与模型训练都是基于测试集的50张样本进行。
由于本文是模拟实验，每次训练时在影像上随机生成不同大小和不同形状的缺失区域，然后按照本文方法进行重建，获得无缺失的重建影像。
在上述配置的基础上，按照本发明所叙述构建网络模型，将上述影像数据集输入模型进行训练。然后将上述数据进行训练，以得到稳定的模型。本发明训练共500代，迭代大小为2，生成器和判别器使用两个初始学习率为0.0001的Adam 优化器优化，每100代生成器和判别器的学习率衰减为原来的一半。
在得到稳定的网络的模型之后，将存在模拟缺失区域的影像输入到到模型进行缺失区域生成，部分缺失区域重建结果如图4所示，可以看出本发明方法的结果能够有效恢复缺失区域的信息，与原始影像影像融为一体。同时与原始影像相比，数据结果真实，纹理及其边缘等细节信息丰富，从而可以看出本文方法是一种有效的数据重建方法。
以上仅是对本发明实施例的描述，但本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。
Claims (2)
1.一种基于多任务学习的高分辨率影像缺失区域重建方法，其特征在于，输入的原始影像I上存在部分区域缺失，使用掩膜M标识影像上各个像素的有效情况，1表示缺失值，0表示有效值，本方法所采用网络包括如下部分：
1、生成器
生成器输入遥感影像I及其缺失区域掩膜M，得到地物类别T、边界B、缺失区域重建的结果IOUT，该结构由一个基于卷积自动编码-解码器网络构成，以下按照编码器、解码器和影像重建三个部分介绍其具体结构：
1)编码器
编码器实现多个尺度的特征提取，包括以下几个步骤：
首先，对原始影像I和掩膜M进行通道串联(Concat)处理，然后进行二维卷积(Conv2D)进行处理，得到特征F1：
F1＝Conv2D(Concat(I*(1-M)+M,M)),k＝32,s＝1 (1)
其中，k表示卷积核数量，s表示卷积步长，+表示逐像素的矩阵相加。
其次，使用门控卷积GatedConv2D对输出特征F1进行编码，得到F2：
F2＝GatedConv2D(F1),k＝64,s＝2 (2)
再次，使用Conv2D对F2进行编码，得到F3：
F3＝Conv2D(F2),k＝64,s＝1 (3)
然后，将F3通过卷积核数量k＝128、s＝2的GatedConv2D操作编码后获得F4，再将F4经过卷积核数量k＝128、s＝1的Conv2D操作继续对编码的特征进行组合获得F5。
最后，我们使用GatedConv2D对F5进行多尺度的空洞卷积，得到。
F6＝MultiDilatedGatedConv2D(F5),k＝128,s＝1 (4)
其中，MultiDilatedGatedConv2D包含四层GatedConv2D，卷积核数量k＝128，其中每层都做不同膨胀率的空洞卷积，分别为2、4、8和16。空洞卷积可以让网络得到多尺度特征和更大的感受域，为缺失区域重建提供跨尺度、跨区域的信息；
2)解码器
解码器将编码器得到特征图输入到门控卷积中实现特征图的放大，获得与原始影像相同大小的特征，实现缺失区域重建，实现步骤如下：
首先，将编码器输出的特征F5与F6按通道维度串联Concat，输入GatedConv2D卷积层中进行融合并解码，得到特征F7和F8：
F7＝GatedConv2D(Concat(F6,F5)),k＝128,s＝1 (5)
F8＝Conv2D(F7),k＝128,s＝1 (6)
使用TransposeGatedConv2D对输入特征F8进行放大，得到F9：
F9＝TransposeGatedConv2D(F8),k＝64,s＝1 (7)
其中，TransposeGatedConv2D为上采样函数和GatedConv2D的组合，本发明使用的上采样函数为邻近采样插值，
类似地，将F6与编码器输出的F9按通道维度串联Concat，输入卷积核数量k＝64、s＝1的GatedConv2D后得到F10，经过一个k＝64、s＝1的Conv2D得到F11。将F11输入卷积核数量k＝32、s＝1的TransposeGatedConv2D放大得到F12，再将F12和F1串联输入卷积核数量k＝32、s＝1的GatedConv2D得到F13；
3)影像重建
影像重建是对缺失区域重建，获得无缺失的影像的过程，所述的多任务学习同时包含地物类别识别和边缘检测两个附加任务，从而引导特征提取模块能够同时关注地物类别和边界两种信息，
在得到特征F13之后，经过一层Conv2D操作处理，获得重建影像IOUT：
IOUT＝Conv2D(F13),k＝3,s＝1 (8)
地物类别识别子任务中，将F7，F10采用三次插值函数U放大至F13的长宽，并按照通道数维度串联Concat，再经过一层二维卷积Conv2D，得到地物类别识别结果TOUT，该过程可以表示为如下：
TOUT＝Conv2D(Concat(U(F7),U(F10),F13)),k＝C,s＝1 (9)
其中，k表示分类类别数量C相等，
边缘检测子任务依赖于地物类别识别的结果，通过地物分类结果一层卷积得到，边缘强度图BOUT看可以表示为：
BOUT＝Conv2D(TOUT),k＝1,s＝1 (10)
使用边缘检测能够引导影像重建时关注地物的边界细节，优化生成结果的锐化程度；使用地物类别信息能够引导生成器关注地物的类别信息，增加纹理的识别能力；
2、判别器
判别器采用一种光谱局部判别器，由6个卷积核为5×5、步长为2×2的Conv2D组成。判别器的每个卷积层都使用了光谱归一化，来稳定训练，
在判别器训练过程，本发明使用LSGAN作为损失函数进行训练，该损失主要判别器损失LossD和GAN的损失LossGAN两个部分组成，其形式如下：
其中，X表示输入真实数据I；Y是输入的生成数据，即IOUT。D(X)和D(Y)分别表示输入真实数据X和输入生成数据Y的判别结果。由于使用的是全卷积判别器，获得的判别高维矩阵小于原始图像大小，表示图像子区域是否生成还是真实的判别概率，使用1表示生成，0标识真实，a和b表示与判别器输出大小相同的高维矩阵，a的值全为1；b的值全为0，
GAN的损失LossGAN是为了计算生成器生成数据判别器判别的结果和正确结果之间的差距，从而优化生成器的生成，具体公式如下：
通过上述两个函数判别输入图片是真实影像还是生成影像，实现二者的协同优化。
2.根据权利要求1生成器部分的结构，同时进行边界检测、影像类别识别和缺失区域重建三个任务，使得特征提取时能够同时关注影像上的地物边界、影像类别和缺失区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210008040.5A CN114612315A (zh) | 2022-01-06 | 2022-01-06 | 一种基于多任务学习的高分辨率影像缺失区域重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210008040.5A CN114612315A (zh) | 2022-01-06 | 2022-01-06 | 一种基于多任务学习的高分辨率影像缺失区域重建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114612315A true CN114612315A (zh) | 2022-06-10 |
Family
ID=81857487
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210008040.5A Pending CN114612315A (zh) | 2022-01-06 | 2022-01-06 | 一种基于多任务学习的高分辨率影像缺失区域重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114612315A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117253155A (zh) * | 2023-11-17 | 2023-12-19 | 山东大学 | 一种基于深度学习的人类活动检测方法及*** |
| CN117994172A (zh) * | 2024-04-03 | 2024-05-07 | 中国海洋大学 | 基于时序依赖和边缘细化的海温图像鲁棒补全方法及*** |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110599411A (zh) * | 2019-08-08 | 2019-12-20 | 中国地质大学（武汉） | 一种基于条件生成对抗网络的图像修复方法及*** |
| CN112288647A (zh) * | 2020-10-13 | 2021-01-29 | 武汉大学 | 一种基于门控卷积的遥感影像云和阴影修复的方法 |
| CN112541864A (zh) * | 2020-09-25 | 2021-03-23 | 中国石油大学(华东) | 一种基于多尺度生成式对抗网络模型的图像修复方法 |
| WO2021139120A1 (zh) * | 2020-01-09 | 2021-07-15 | 北京市商汤科技开发有限公司 | 网络训练方法及装置、图像生成方法及装置 |
| CN113409413A (zh) * | 2021-06-03 | 2021-09-17 | 东南数字经济发展研究院 | 一种基于门控卷积-长短记忆网络的时间序列影像重建方法 |
| WO2021184891A1 (zh) * | 2020-03-20 | 2021-09-23 | 中国科学院深圳先进技术研究院 | 遥感影像地物分类方法及*** |
-
2022
- 2022-01-06 CN CN202210008040.5A patent/CN114612315A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110599411A (zh) * | 2019-08-08 | 2019-12-20 | 中国地质大学（武汉） | 一种基于条件生成对抗网络的图像修复方法及*** |
| WO2021139120A1 (zh) * | 2020-01-09 | 2021-07-15 | 北京市商汤科技开发有限公司 | 网络训练方法及装置、图像生成方法及装置 |
| WO2021184891A1 (zh) * | 2020-03-20 | 2021-09-23 | 中国科学院深圳先进技术研究院 | 遥感影像地物分类方法及*** |
| CN112541864A (zh) * | 2020-09-25 | 2021-03-23 | 中国石油大学(华东) | 一种基于多尺度生成式对抗网络模型的图像修复方法 |
| CN112288647A (zh) * | 2020-10-13 | 2021-01-29 | 武汉大学 | 一种基于门控卷积的遥感影像云和阴影修复的方法 |
| CN113409413A (zh) * | 2021-06-03 | 2021-09-17 | 东南数字经济发展研究院 | 一种基于门控卷积-长短记忆网络的时间序列影像重建方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117253155A (zh) * | 2023-11-17 | 2023-12-19 | 山东大学 | 一种基于深度学习的人类活动检测方法及*** |
| CN117253155B (zh) * | 2023-11-17 | 2024-03-15 | 山东大学 | 一种基于深度学习的人类活动检测方法及*** |
| CN117994172A (zh) * | 2024-04-03 | 2024-05-07 | 中国海洋大学 | 基于时序依赖和边缘细化的海温图像鲁棒补全方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110363215B (zh) | 基于生成式对抗网络的sar图像转化为光学图像的方法 | |
| CN107239751B (zh) | 基于非下采样轮廓波全卷积网络的高分辨sar图像分类方法 | |
| CN110728658A (zh) | 一种基于深度学习的高分辨率遥感影像弱目标检测方法 | |
| CN112668494A (zh) | 基于多尺度特征提取的小样本变化检测方法 | |
| CN107067405B (zh) | 基于尺度优选的遥感影像分割方法 | |
| Aytekın et al. | Unsupervised building detection in complex urban environments from multispectral satellite imagery | |
| CN112836610A (zh) | 一种基于遥感数据的土地利用变化与碳储量定量估算方法 | |
| CN107808138B (zh) | 一种基于FasterR-CNN的通信信号识别方法 | |
| CN111008664B (zh) | 一种基于空谱联合特征的高光谱海冰检测方法 | |
| CN110598613B (zh) | 一种高速公路团雾监测方法 | |
| CN114612315A (zh) | 一种基于多任务学习的高分辨率影像缺失区域重建方法 | |
| CN109344818B (zh) | 一种基于深度卷积网络的光场显著目标检测方法 | |
| CN103871039A (zh) | 一种sar图像变化检测差异图生成方法 | |
| CN112836614B (zh) | 一种基于残差网络和迁移学习的高分遥感图像分类方法 | |
| Song et al. | Extraction and reconstruction of curved surface buildings by contour clustering using airborne LiDAR data | |
| CN113988147B (zh) | 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置 | |
| CN106529472B (zh) | 基于大尺度高分辨率高光谱图像的目标探测方法及装置 | |
| CN113033432A (zh) | 一种基于渐进监督的遥感影像居民区提取方法 | |
| Xu et al. | Feature-based constraint deep CNN method for mapping rainfall-induced landslides in remote regions with mountainous terrain: An application to Brazil | |
| Xie et al. | Trainable spectral difference learning with spatial starting for hyperspectral image denoising | |
| Zhang et al. | Dense haze removal based on dynamic collaborative inference learning for remote sensing images | |
| CN115880586A (zh) | 基于混合特征网络的卫星遥感影像云雪检测方法 | |
| Venkatakrishnamoorthy et al. | Cloud enhancement of NOAA multispectral images by using independent component analysis and principal component analysis for sustainable systems | |
| Babu et al. | An efficient image dahazing using Googlenet based convolution neural networks | |
| Shit et al. | An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |