CN108460739A - 一种基于生成对抗网络的遥感图像薄云去除方法 - Google Patents
一种基于生成对抗网络的遥感图像薄云去除方法 Download PDFInfo
- Publication number
- CN108460739A CN108460739A CN201810174430.3A CN201810174430A CN108460739A CN 108460739 A CN108460739 A CN 108460739A CN 201810174430 A CN201810174430 A CN 201810174430A CN 108460739 A CN108460739 A CN 108460739A
- Authority
- CN
- China
- Prior art keywords
- network
- image
- thin cloud
- cloud
- remote sensing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005516 engineering process Methods 0.000 title claims abstract description 18
- 230000006870 function Effects 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000009826 distribution Methods 0.000 claims abstract description 17
- 238000013461 design Methods 0.000 claims abstract description 15
- 238000013528 artificial neural network Methods 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 46
- 230000004069 differentiation Effects 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 13
- 230000004044 response Effects 0.000 claims description 13
- 230000015572 biosynthetic process Effects 0.000 claims description 11
- 238000003786 synthesis reaction Methods 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 8
- 230000000644 propagated effect Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 6
- 230000005855 radiation Effects 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 4
- VMXUWOKSQNHOCA-UKTHLTGXSA-N ranitidine Chemical compound [O-][N+](=O)\C=C(/NC)NCCSCC1=CC=C(CN(C)C)O1 VMXUWOKSQNHOCA-UKTHLTGXSA-N 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 238000004088 simulation Methods 0.000 claims description 4
- 238000004040 coloring Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000003475 lamination Methods 0.000 claims description 3
- 239000003643 water by type Substances 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 claims description 2
- 238000004880 explosion Methods 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims description 2
- 238000013178 mathematical model Methods 0.000 claims description 2
- 238000003062 neural network model Methods 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- 238000000179 transient infrared spectroscopy Methods 0.000 claims description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims 1
- 230000007423 decrease Effects 0.000 claims 1
- 230000008034 disappearance Effects 0.000 claims 1
- 238000013135 deep learning Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000009897 systematic effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- VAYOSLLFUXYJDT-RDTXWAMCSA-N Lysergic acid diethylamide Chemical compound C1=CC(C=2[C@H](N(C)C[C@@H](C=2)C(=O)N(CC)CC)C2)=C3C2=CNC3=C1 VAYOSLLFUXYJDT-RDTXWAMCSA-N 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006854 communication Effects 0.000 description 1
- 238000009833 condensation Methods 0.000 description 1
- 230000005494 condensation Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于生成对抗网络的遥感图像薄云去除方法，包括如下步骤：步骤1：建立薄云去除***模型；步骤2：网络模型设计；步骤3：辨识准则函数构建；步骤4：薄云去除***辨识；步骤5：遥感图像薄云去除。本发明采用生成对抗式神经网络来建模薄云去除问题，并对其进行***辨识，可实现端到端的薄云去除。所构建的准则函数综合了数据分布和重建精度两方面的误差，使得***能够更好地学习数据的特征，从而实现薄云的去除。本发明提出的方法具有自适应去除不均匀薄云的能力，所恢复的图像具有很好的色彩和纹理一致性。
Description
技术领域：
本发明涉及一种基于生成对抗网络的遥感图像薄云去除方法，属于遥感图像处理的应用技术领域。
背景技术：
遥感图像为地球科学、气象学、环境监测、军事监测等任务提供了丰富的信息，已经成为现代化测控手段中越来越重要的一种工具。然而，大气中存在大量水汽、冰晶及微尘凝结核，它们以云的形式聚集。而电磁波在传播过程中极易受到云的影响，造成信号被反射或散射，使得传感器接收到的信号被削弱，影响成像质量，导致感兴趣区域信息丢失，给后续遥感图像的解译和判读造成了很大困难。
一个有效的薄云去除方法可以在有限的成像条件下改善图像质量，恢复图像信息，有助于后续的解译和应用，提高对遥感图像的利用率。目前，许多遥感图像的薄云去除方法已经被提出。这些方法一类是基于多时相遥感数据，通过检测出云区并利用备选多时相数据进行数据替换。但由于传感器成像有一定时间间隔，大气辐射条件及地貌条件会发生变化，而长时间对于目标地点的定点成像代价高昂，因此同一地区的理想多时相数据不易获得。另一类方法基于已有单时相数据进行直接处理，处理方法多基于简化的成像模型和先验，但由于云的类型多变，对波长的响应特性复杂，一个有效的模型不易建立，算法在各种不均匀的薄云去除上表现欠佳。近年来，随着深度学习的发展，基于学习模型的方法也被提出。现有方法都基于一个端到端的卷积神经网络，直接学习有云图像到无云图像的映射。这种判别式模型是对现有数据的回归，不能很好地学到数据真实分布特性，因此泛化能力不强，在复杂场景及各种薄云情况下表现不佳。
本发明针对单幅遥感图像中存在的薄云，设计了一种基于生成对抗网络的薄云去除方法。生成对抗网络是深度学习中的一种生成式模型，由一个生成网络和一个判别网络组成。传统的判别式深度学习方法通过深度卷积网络学习输入到输出的映射关系；而生成对抗网络使用一个二元极大极小博弈函数作为目标函数，其实质度量了Jason-Shannon散度，是对分布相似性的度量，使得网络能够学习数据的分布而不是简单的映射关系。本发明将图像薄云去除看作非参数模型***的辨识问题，设计条件生成式对抗网络建立正向模型，以衡量分布相似性的目标函数作为准则函数，学习无云数据在有云数据下的条件分布，从而获得了满意的薄云去除结果。该***能够对对不均匀薄云进行自适应去除，所恢复的图像具有很好的色彩一致性和结构一致性。
发明内容：
1、目的：
本发明的目的在于提供一种基于生成对抗网络的遥感图像薄云去除方法，用来实现单时相遥感图像的薄云去除，提升图像质量。该方法通过使用一定量遥感图像样本训练生成对抗网络进行***辨识，得到的网络模型适用于多种卫星传感器图像，能够对单时相遥感图像实现良好的薄云去除。
2、技术方案：本发明通过以下技术方案实现。
本发明首先对薄云去除问题进行***建模，然后设计一个端到端的生成对抗网络作为辨识***来进行***辨识。由于被云遮挡图像所对应的真值图，即同一地点的无云真值不易获得，故使用仿真手段，获取足量带真值标签的样本对生成网络和判别网络进行训练，使得生成网络自发提取特征学习数据分布，根据设计的准则函数进行***的辨识。网络训练完成后，得到的生成模型可实现对输入图像的去云处理。该发明包括5个步骤：建立薄云去除***总体模型、网络模型设计、辨识准则函数构建、薄云去除***辨识、遥感图像薄云去除。具体如下：
步骤1：建立薄云去除***总体模型
本发明针对Landsat-8 OLI陆地成像仪所采集的遥感图像进行薄云去除。Landsat-8为美国在2013年2月11日发射的卫星，携带有OLI陆地成像仪和TIRS热红外传感器，Landsat-8的OLI陆地成像仪包括9个波段，其中第4、3、2波段对应了红、绿、蓝三个可见光波段。我们选用第4、3、2波段得到真彩色合成图像，进行薄云去除。
薄云成像失真模型可以描述为：
s(i,j)＝aLr(i,j)t(i,j)+L(1-t(i,j)) (1)
其中，s(i,j)为传感器在点(i,j)处接收到的信号，L是大气光辐射，r(i,j)是地面真实反射，也即我们所期望的无云图像，t(i,j)是透射图，a是大气光衰减系数，介于0～1范围内。
根据该成像失真模型，当透射图已知时，可以建立无云清晰图像和有云图像之间的线性关系。令y表示作为条件输入的有云图像，z代表引入的噪声，表示恢复的无云图像，g代表生成模型，即薄云去除操作，那么薄云去除***可以用下面的简化数学模型来表示：
根据公式(2)建立的薄云去除***模型，我们只要通过设计的网络辨识得到参数化的生成模型g，则通过函数关系便可以从输入的有云图像预测出无云清晰图像，以实现对遥感图像的薄云去除。
步骤2：网络模型设计
本发明采用一组生成对抗神经网络对薄云去除***模型进行辨识。辨识***所用网络由两个子网络组成：生成网络G和判别网络D。生成网络G利用输入信息预测无云图像，即接收有云图像和噪声，以准则函数驱动训练，使得生成的无云图像能够让判别网络D判别为真。判别网络D的作用是对生成的无云图像和真实的无云图像进行判别，辅助生成网络G的训练。两个子网络以二元极大极小博弈损失进行抗衡，在此过程中，生成网络G学习真实数据的条件分布。通过两个子网络的对抗学习，获得辨识参数。辨识完成后，生成网络G即可作为与薄云去除***生成模型g具有相同输入输出特性的替代模型。在对遥感图像进行薄云去除操作时，生成网络G进行一次前向传播，通过辨识出的参数即可计算恢复出无云图像，不需再次通过判别网络D。
1)生成网络G的设计：
本发明设计的生成网络G为一个由若干残差学习模块组成的深度卷积神经网络，通过若干卷积-规范化-非线性激活操作能够实现对非线性模型的很好拟合，通过恒等映射构成残差结构的学习。该局部模块可描述为：
其中，表示由第(n-1)层第j张特征图得到第n层第i张特征图所使用的卷积核，表示网络第n层的第i张特征图，表示网络第(n-1)层的第j张特征图，为第n层的第i张特征图的偏置向量。Nn为对第n层输出响应的规范化操作，Φn为对第n层输出响应的非线性激活操作。为第(n-1)层第i张特征图到第n层第i张特征图的恒等映射，此结构使得卷积层主要对输入与期望输出之间的残差进行学习，使得拟合更为容易，从而降低生成网络的训练难度。所设计的生成网络结构为：
DownsampleBlock×3→ResBlock×6→UpsampleBlock×3
DownsampleBlock:Conv(4×4,stride＝2)→BN→LeakyRelu
UpsampleBlock:TransposedConv(4×4,stride＝2)→BN→LeakyRelu
其中，Conv代表卷积层，TransposedConv为反卷积层，括号内数值为所使用卷积核的尺寸及步长，此处采用4×4大小的卷积核，且步长为2；DownsampleBlock为降采样模块，降低图像的维度，减少网络所需要学习的参数量；ResBlock由公式(3)所示的带恒等映射的卷积-规范化-非线性激活层组成，也采用4×4大小的卷积核，且本发明中使用了6个残差块。UpsampleBlock是上采样模块，对应DownsampleBlock模块，用来恢复图像原始尺寸。采用较小的卷积核一方面降低了训练参数量，另一方面使得图像的重建过程加强对局部信息的利用。每个卷积层后都跟有一个规范化层(BN)对响应输出做规范化，使其均值和方差一致，避免训练中局部的梯度***或消失。规范化层后是一个非线性激活层，非线性激活函数采用LeakyRelu函数。
2)判别网络D的设计：
在对生成图像和真实图像进行判别时，判别网络D需要同时从生成图像的真实感以及是否对薄云进行了有效去除两个方面进行判别。这就需要判别网络D不仅关注局部的纹理特征，对边缘和纹理的连贯性、纹理的锐利程度作出判断，同时也要对图像整体的特征，如亮度、对比度和颜色信息等整体视觉质量是否下降进行判断。因此，本发明设计了一个结合多尺度特征进行判别的判别网络，其结构如下：
DownsampleBlock×3→MultiscaleBlock×3
其中，降采样模块的结构和作用与生成网络G是相同的；每个MultiscaleBlock为一个多尺度特征提取模块，由三个分支组成，每个分支采用不同尺寸的卷积核，以得到不同大小的感受野，从不同的尺度上获取图像的特征，即：
MultiscaleBlock＝[conv(1×1),conv(3×3),conv(5×5)]
每个卷积层都采用步长为1的卷积操作，并进行适当的边缘填充，以使得输出特征图尺寸保持一致。然后，对每个分支得到的激活输出进行串联，得到不同尺度的特征。与生成网络G相同，每个卷积层后都连接有一个输出规范化层和一个非线性激活层。
步骤3：辨识准则函数构建
为使生成网络G与薄云去除***生成模型g具有相同的输入输出特性，还需要两者的误差作为网络的训练监督信号。本发明中，这个信号由判别网络D的输出和监督样本对给出。相应地，准则函数也由两部分构成。
第一部分，数据分布准则函数。这部分是对判别网络D的输出结果计算真假二分类交叉熵作为准则函数。对于判别网络来说，需要最大化准则函数，以将无云真值图和生成网络恢复的无云图像严格区别开；对于生成网络G来说，需要最小化这一准则函数，以“欺骗”判别网络，使判别网络对其恢复图像进行错误的分类。理想情况下，判别网络对输入的真实图像和生成图像判别为真的概率均为0.5。因此，这一准则函数可以写作：
J1＝E[log D(x)]+E[log(1-D(G(y,z)))] (4)
其中，x为真实的无云图像，y代表作为条件输入的有云图像，z代表引入的噪声，D(.)和G(.)分别代表判别网络和生成网络的输出，E(.)表示对训练时输入的每个批次样本相应的输出求数学期望。通过二者极大极小交替优化，使得生成网络能够间接通过判别网络提取高频细节特征和全局特征。
第二部分，响应误差函数。针对输入样本，构建二次型误差函数如下：
即生成预测图与无云真值图之间的欧式距离。式中下标k表示在对网络进行小批量随机梯度下降训练时所取每一个小批量样本中样本的序号。xk，yk和zk分别代表第k组无云样本、有云样本和对该组输入样本引入的噪声。生成网络通过最小化这一损失函数来获取平均颜色信息等平滑低频特征，对图像做回归预测。
因此，本发明最终设计的准则函数为：
J＝J1+J2 (6)
步骤4：薄云去除***辨识
1)训练样本获取
使用生成对抗式神经网络模型进行薄云去除***生成模型g的辨识，是一个监督学习的过程，需要带标签的数据对生成网络和判别网络进行训练。然而遥感卫星对同一地点的回访具有一定周期间隔，在此时间段内大气辐射、地貌特征会发生很大变化，而长时间定点拍摄的花费又十分高昂，所以较为理想的成对有云图像及其无云真值图(标签)很难获得。因此，基于监督学习的薄云去除方法通常采用仿真的手段获得足够多的训练样本。同样，本发明采用在清晰图像上生成仿真薄云的方法，以清晰图像作为无云真值图，获得带标签数据。
①清晰无云真值图获取
从遥感卫星图像中选取无云清晰图像，选取图像应尽可能多地覆盖农田、森林、植被、山区、水域、城市等各种地貌，以建立一个特征尽量完备的遥感图像训练数据库，使得最终得到的薄云去除***能够广泛适用于各种卫星传感器所获取的真彩色图像。由于一般的遥感图像画幅都比较大，还需要对图像进行裁切筛选等操作。对原始多光谱遥感图像，我们在ENVI软件中将其打开，选用第4、3、2波段得到真彩色合成图像，并人工以256×256固定大小对图像进行裁切并保存。
②薄云图像仿真合成
本发明采用的薄云图像仿真方法，利用Landsat-8卫星波段9(卷云波段)进行云仿真。Landsat-8卫星OLI传感器卷云波段的波长在1.36～1.38μm，高空水汽对其有较强反射特性，低空地物及干燥环境反射很弱，因此该波段中云层响应非常显著，呈现半透明白色，地物响应微弱，在图像中呈现大片黑色，常被用于云检测等任务。利用该波段，提取云层反射灰度图，作为透射图t，带入公式(1)的成像失真模型中，并结合不同水平的大气光，即可得到合成薄云遥感图像。
2)辨识***网络训练
本发明使用梯度下降思想来对辨识***进行参数求解，具体优化采用Adam优化算法。使用仿真得到的成对的样本作为辨识***的输入和理想输出，对生成网络G和判别网络D进行迭代训练，并不断更新两个子网络的参数，当准则函数损失趋于稳定时，两个网络训练完毕。
得到的生成网络G即为与公式(2)所述的遥感图像薄云去除***生成模型g具有相同输入输出特性的替代模型，辨识***模型训练完毕也即确定了生成网络G的参数，至此，薄云去除***辨识完成。
步骤5：遥感图像薄云去除
步骤4的辨识训练过程完成后，网络模型即具有了与实际薄云去除***相同的输入输出特性。对于一幅带有薄云的遥感图像，将其输入生成网络G进行一次前向传播，利用训练好的参数进行运算，即可输出被恢复的无云图像。
3、优点及功效
本发明设计了一个基于生成对抗网络的遥感图像薄云去除***，通过一个生成网络对***进行正向建模，并用一个对抗网络(判别网络)辅助***的辨识，从而得到具有薄云去除能力的网络。该方法将有云图像作为模型输入，并依据数据分布准则函数和二次型响应误差准则函数计算误差信号，通过反向传播来训练生成和判别两个子网络，使得最终的模型具有和实际***一致的输入输出响应特性，完成***辨识。辨识完成后，得到的模型即可对有云遥感图像进行薄云去除。本发明具有以下优点：
①本发明以一个端到端的模型，简化了人工进行数学推导建模带来的复杂计算，大大降低了薄云去除问题的复杂非线性***的辨识难度；
②本发明所设计的薄云去除模型为一个生成式模型。传统判别式的深度学习方法简单学习端到端的映射，不能学习数据的真实分布情况，模型的可解释性差，泛化能力相对较弱。而本发明采用生成式模型对薄云进行去除，所设计的准则函数综合了数据分布和重建精度两方面的误差，使用一个判别网络辅助***辨识过程，使得辨识***能够更好地学习图像的特征和数据的分布。
③对薄云的去除效果好，在均匀和不均匀的薄云图像上表现均较为出色，远胜于传统基于简化模型或先验的方法；与传统深度学习方法，即判别式的方法相比，能够处理更多复杂场景下的均匀和不均匀薄云，具有自适应去除薄云的能力，恢复图像具有很好的色彩和纹理一致性；
④***具有很好的鲁棒性及普适性。本发明所使用训练集虽基于Landsat-8遥感影像数据建立，但经过验证表明，同样适用于高分一号、Google Earth等多种卫星遥感、航拍类图像；本发明的方法还可以推广到多光谱遥感图像薄云去除任务中，只需按照步骤4重新准备训练数据集，并且将网络输入的通道数改为所选择的波段数，重新对模型进行训练，即可实现更多波段的薄云去除操作。
附图说明
图1为本发明所述薄云去除***原理图。
图2a、图2b为本发明所设计网络模型结构示意图。
图3a、图3b为本发明仿真薄云遥感图像示例。
图4a-1、图4a-2、图4b-1、图4b-2、图4c-1、图4c-2为在不同遥感卫星图像上的薄云去除结果展示。
具体实施方式
为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步描述：
本发明的***原理图如图1所示，所设计的网络结构如图2a、图2b所示。计算机配置采用：Intel Core i7-4709k处理器，Nvidia GeForce GTX1080Ti图形处理器，主频4.0GHz，内存16GB，操作***为ubuntu 14.04。网络模型的训练基于Pytorch框架。本发明是一种基于生成对抗网络的遥感图像薄云去除方法，具体包括以下步骤：
步骤1：建立薄云去除***模型
本发明采用Landsat-8 OLI陆地成像仪所采集的遥感图像进行薄云去除。Landsat-8的OLI陆地成像仪包括9个波段，选用其中的第4,3,2波段(红波段、绿波段、蓝波段)合成得到真彩色图像，进行后续薄云去除操作。
令y代表输入***的有云图像，z代表***噪声和引入的测量噪声，g代表生成模型，即去云操作，代表恢复的清晰无云图像，那么薄云去除问题可以被建模为如下形式：
根据上式所建立的***模型，通过生成对抗网络辨识得到模型g的等效替代模型G后，使用该函数关系，对输入图像作变换，便可以从输入的有云图像预测出清晰无云图像，实现对单时相遥感图像的薄云去除。
步骤2：网络模型设计
图1给出了本发明薄云去除方法的总体框图。根据图1所示***，编写整个项目的所有文件。主要分为以下几个功能模块文件：数据加载器、模型文件、优化模块、训练日志记录及一些可视化工具等。
①数据加载器：从数据集中随机采样一批成对数据，进行均值方差规范化的预处理，作为模型的输入和期望输出。对整个数据集进行新一轮的采样前重新打乱数据，保证采样具有随机性。
②模型文件：模型文件即网络模型，分为正向生成网络模型和辅助辨识的判别网络。根据图2a、图2b所示网络结构建立整个网络的计算图，并定义正向传播时数据流的流动方式。
③优化模块：定义了准则函数的损失计算、优化器优化策略、训练方式。
④工具模块：包含训练日志记录、网络模型和参数保存、网络重载工具(用于断点训练或参数微调)、数据类型转换工具以及数据可视化工具等。
步骤3：辨识准则函数构建
所设计的准则函数为两部分的加和：数据分布差异函数和二次型重构误差函数。对于一次前向运算，准则函数损失通过下式计算得出：
对于一组输入训练图像样本，由生成网络进行运算输出预测的清晰图像，判别网络对预测图像和期望图像进行一组判别，计算分布差异损失；同时计算预测图像和期望输出的欧式距离，即重构误差损失，二者之和即为当前网络参数下根据准则函数计算出的损失值。
步骤4：薄云去除***辨识
1)训练样本获取
本方法在构建训练数据集时，采用仿真的方式获取成对的薄云图像和真值图像。具体操作为：
①获取清晰的无云遥感图像作为真值图。从USGS官网(美国地质勘探局，UnitedStates Geological Survey,https://earthexplorer.usgs.gov/)下载免费的Landsat-8遥感影像数据。选取多景无云清晰图像，在ENVI 5.1软件中对其进行辐射定标和大气校正。取第4,3,2(蓝，绿，红)波段进行真彩色合成，得到全景清晰图像。再对其进行裁剪及筛选，使得数据集尽量包括植被、农田、水域、沙漠、山区、城市等多种地貌。这一步共得到256×256大小的原始图像2000张。
②薄云图像仿真合成。再次在USGS官网寻找合适影像，本次目的为提取波段9(卷云波段)合成仿真的带有薄云的图像，故在地物较为单一、纹理干扰较少的地区，如草原、海洋，选取带有大片薄云、云量适中的多景图像。将下载的图像用ENVI软件载入，将波段9独立保存为灰度图像，同样进行256×256大小的裁剪，得到2000张仿真透射图。将仿真透射图和清晰图像带入公式(1)，调整不同的大气光衰减系数，总共得到8000张仿真薄云遥感图像，与真值图形成对应，共8000对带真值标签图像对。
图3a、图3b展示了两例利用本发明所述仿真方法得到的薄云遥感图像。可以看出，仿真出的云真实感强。
数据集被分成三部分：6000对图像用于对网络的训练，1500张图像用于进行参数微调，500张图像作为仿真集上的验证，检验模型是否过拟合。
2)辨识***网络
对辨识***两个网络的训练采用交替迭代更新的方式完成。数据加载器从训练集成对的仿真图像中进行取样，首先输入到生成网络中，进行一次前向传播，生成去云图像；然后输入到判别网络中进行一次前向传播，计算分布损失和重建误差损失；最后计算梯度，对生成网络完成一次迭代更新。生成网络预测无云图像及真值图输入判别网络，分别进行前向传播，计算分布损失及梯度，回传完成对判别网络的一次迭代更新。全部数据完成一轮迭代后，对训练集重新打乱，开始下一轮迭代。实际训练时，共进行了100轮迭代，损失函数即基本收敛。
卷积核的初始化采用均值为0、方差为0.01的高斯分布，偏置的初始化采用固定值0.01。采用Adam优化算法，初始学习率设为0.001，迭代50轮后减小为一半。一阶矩估计的指数衰减率设为0.9，二阶矩估计的指数衰减率设为0.999。Adam优化算法通过计算梯度的一阶和二阶矩估计为不同的参数设计独立的自适应学习率，使得网络能够高效收敛。
步骤5：遥感图像薄云去除
由步骤4训练好的生成网络具有与实际薄云去除***一致的输入输出特性。***辨识完成后，判别网络便不再需要。在进行遥感图像薄云去除时，只需将带有薄云的遥感图像输入生成网络，进行一次前向传播，网络输出即为恢复的无云图像。
辨识所得模型为适用于遥感卫星可见光波段图像云去除任务的模型，对于其他卫星传感器影像，只需选取对应可见光波段进行合成，作为模型输入，即可得到去除薄云后的影响。图4a-1、图4a-2、图4b-1、图4b-2、图4c-1、图4c-2展示了对Landsat-8卫星影像、Google Earth影像、高分一号卫星影像进行薄云去除的结果。
该***同样可以推广到多光谱遥感影像的薄云去除任务，只需选取感兴趣波段，按照步骤4建立真值图和有云图像对的训练数据，对模型重新进行训练，即可得到适用于多光谱遥感图像的薄云去除***。
Claims (7)
1.一种基于生成对抗网络的遥感图像薄云去除方法，其特征在于，步骤如下：
步骤1：建立薄云去除***总体模型
针对Landsat-8OLI陆地成像仪所采集的遥感图像进行薄云去除；Landsat-8为美国在2013年2月11日发射的卫星，携带有OLI陆地成像仪和TIRS热红外传感器，Landsat-8的OLI陆地成像仪包括9个波段，其中第4、3、2波段对应了红、绿、蓝三个可见光波段；选用第4、3、2波段得到真彩色合成图像，进行薄云去除；
薄云成像失真模型描述为：
s(i,j)＝aLr(i,j)t(i,j)+L(1-t(i,j)) (1)
其中，s(i,j)为传感器在点(i,j)处接收到的信号，L是大气光辐射，r(i,j)是地面真实反射，即所期望的无云图像，t(i,j)是透射图，a是大气光衰减系数，介于0～1范围内；
根据该成像失真模型，当透射图已知时，建立无云清晰图像和有云图像之间的线性关系；令y表示作为条件输入的有云图像，z代表引入的噪声，表示恢复的无云图像，g代表生成模型，即薄云去除操作，那么薄云去除***可以用下面的简化数学模型来表示：
根据公式(2)建立的薄云去除***模型，只要通过设计的网络辨识得到参数化的生成模型g，则通过函数关系便从输入的有云图像预测出无云清晰图像，以实现对遥感图像的薄云去除；
步骤2：网络模型设计
采用一组生成对抗神经网络对薄云去除***模型进行辨识；辨识***所用网络由两个子网络组成：生成网络G和判别网络D；生成网络G利用输入信息预测无云图像，即接收有云图像和噪声，以准则函数驱动训练，使得生成的无云图像能够让判别网络D判别为真；判别网络D的作用是对生成的无云图像和真实的无云图像进行判别，辅助生成网络G的训练；两个子网络以二元极大极小博弈损失进行抗衡，在此过程中，生成网络G学习真实数据的条件分布；通过两个子网络的对抗学习，获得辨识参数；辨识完成后，生成网络G即作为与薄云去除***生成模型g具有相同输入输出特性的替代模型；在对遥感图像进行薄云去除操作时，生成网络G进行一次前向传播，通过辨识出的参数即计算恢复出无云图像，不需再次通过判别网络D；
步骤3：辨识准则函数构建
为使生成网络G与薄云去除***生成模型g具有相同的输入输出特性，还需要两者的误差作为网络的训练监督信号；这个信号由判别网络D的输出和监督样本对给出；相应地，准则函数也由两部分构成；
步骤4：薄云去除***辨识
4.1训练样本获取
使用生成对抗式神经网络模型进行薄云去除***生成模型g的辨识，是一个监督学习的过程，需要带标签的数据对生成网络和判别网络进行训练；然而遥感卫星对同一地点的回访具有周期间隔，在此时间段内大气辐射、地貌特征会发生很大变化，而长时间定点拍摄的花费又十分高昂，所以理想的成对有云图像及其无云真值图很难获得；因此，基于监督学习的薄云去除方法通常采用仿真的手段获得足够多的训练样本；同样，采用在清晰图像上生成仿真薄云的方法，以清晰图像作为无云真值图，获得带标签数据；
4.2辨识***网络训练
使用梯度下降思想来对辨识***进行参数求解，具体优化采用Adam优化算法；使用仿真得到的成对的样本作为辨识***的输入和理想输出，对生成网络G和判别网络D进行迭代训练，并不断更新两个子网络的参数，当准则函数损失趋于稳定时，两个网络训练完毕；
得到的生成网络G即为与公式(2)所述的遥感图像薄云去除***生成模型g具有相同输入输出特性的替代模型，辨识***模型训练完毕也即确定了生成网络G的参数，至此，薄云去除***辨识完成；
步骤5：遥感图像薄云去除
步骤4的辨识训练过程完成后，网络模型即具有了与实际薄云去除***相同的输入输出特性；对于一幅带有薄云的遥感图像，将其输入生成网络G进行一次前向传播，利用训练好的参数进行运算，即输出被恢复的无云图像。
2.根据权利要求1所述的一种基于生成对抗网络的遥感图像薄云去除方法，其特征在于：生成网络G为一个由若干残差学习模块组成的深度卷积神经网络，通过若干卷积-规范化-非线性激活操作能够实现对非线性模型的很好拟合，通过恒等映射构成残差结构的学习；该局部模块描述为：
其中，表示由第(n-1)层第j张特征图得到第n层第i张特征图所使用的卷积核，表示网络第n层的第i张特征图，表示网络第(n-1)层的第j张特征图，为第n层的第i张特征图的偏置向量；Nn为对第n层输出响应的规范化操作，Φn为对第n层输出响应的非线性激活操作；为第(n-1)层第i张特征图到第n层第i张特征图的恒等映射，此结构使得卷积层对输入与期望输出之间的残差进行学习，使得拟合更为容易，从而降低生成网络的训练难度；所设计的生成网络结构为：
DownsampleBlock×3→ResBlock×6→UpsampleBlock×3
DownsampleBlock:Conv(4×4,stride＝2)→BN→LeakyRelu
UpsampleBlock:TransposedConv(4×4,stride＝2)→BN→LeakyRelu
其中，Conv代表卷积层，TransposedConv为反卷积层，括号内数值为所使用卷积核的尺寸及步长，此处采用4×4大小的卷积核，且步长为2；DownsampleBlock为降采样模块，降低图像的维度，减少网络所需要学习的参数量；ResBlock由公式(3)所示的带恒等映射的卷积-规范化-非线性激活层组成，也采用4×4大小的卷积核，使用了6个残差块；UpsampleBlock是上采样模块，对应DownsampleBlock模块，用来恢复图像原始尺寸；采用较小的卷积核一方面降低了训练参数量，另一方面使得图像的重建过程加强对局部信息的利用；每个卷积层后都跟有一个规范化层BN对响应输出做规范化，使其均值和方差一致，避免训练中局部的梯度***或消失；规范化层后是一个非线性激活层，非线性激活函数采用LeakyRelu函数。
3.根据权利要求1所述的一种基于生成对抗网络的遥感图像薄云去除方法，其特征在于：在对生成图像和真实图像进行判别时，判别网络D需要同时从生成图像的真实感以及是否对薄云进行了有效去除两个方面进行判别；这就需要判别网络D不仅关注局部的纹理特征，对边缘和纹理的连贯性、纹理的锐利程度作出判断，同时也要对图像整体的特征降进行判断；其结构如下，为一个结合多尺度特征进行判别的判别网络；
DownsampleBlock×3→MultiscaleBlock×3
其中，降采样模块的结构和作用与生成网络G是相同的；每个MultiscaleBlock为一个多尺度特征提取模块，由三个分支组成，每个分支采用不同尺寸的卷积核，以得到不同大小的感受野，从不同的尺度上获取图像的特征，即：
MultiscaleBlock＝[conv(1×1),conv(3×3),conv(5×5)]
每个卷积层都采用步长为1的卷积操作，并进行边缘填充，以使得输出特征图尺寸保持一致；然后，对每个分支得到的激活输出进行串联，得到不同尺度的特征；与生成网络G相同，每个卷积层后都连接有一个输出规范化层和一个非线性激活层。
4.根据权利要求1所述的一种基于生成对抗网络的遥感图像薄云去除方法，其特征在于：
第一部分，数据分布准则函数；这部分是对判别网络D的输出结果计算真假二分类交叉熵作为准则函数；对于判别网络来说，需要最大化准则函数，以将无云真值图和生成网络恢复的无云图像严格区别开；对于生成网络G来说，需要最小化这一准则函数，以“欺骗”判别网络，使判别网络对其恢复图像进行错误的分类；理想情况下，判别网络对输入的真实图像和生成图像判别为真的概率均为0.5；因此，这一准则函数写作：
J1＝E[logD(x)]+E[log(1-D(G(y,z)))] (4)
其中，x为真实的无云图像，y代表作为条件输入的有云图像，z代表引入的噪声，D(.)和G(.)分别代表判别网络和生成网络的输出，E(.)表示对训练时输入的每个批次样本相应的输出求数学期望；通过二者极大极小交替优化，使得生成网络能够间接通过判别网络提取高频细节特征和全局特征。
5.根据权利要求1所述的一种基于生成对抗网络的遥感图像薄云去除方法，其特征在于：
第二部分，响应误差函数；针对输入样本，构建二次型误差函数如下：
即生成预测图与无云真值图之间的欧式距离；式中下标k表示在对网络进行小批量随机梯度下降训练时所取每一个小批量样本中样本的序号；xk，yk和zk分别代表第k组无云样本、有云样本和对该组输入样本引入的噪声；生成网络通过最小化这一损失函数来获取平均颜色信息平滑低频特征，对图像做回归预测；
因此，最终设计的准则函数为：
J＝J1+J2 (6)。
6.根据权利要求1所述的一种基于生成对抗网络的遥感图像薄云去除方法，其特征在于：
清晰无云真值图获取：从遥感卫星图像中选取无云清晰图像，选取图像应尽可能多地覆盖农田、森林、植被、山区、水域、城市的各种地貌，以建立一个特征尽量完备的遥感图像训练数据库，使得最终得到的薄云去除***能够广泛适用于各种卫星传感器所获取的真彩色图像；由于遥感图像画幅都比较大，还需要对图像进行裁切筛选操作；对原始多光谱遥感图像，在ENVI软件中将其打开，选用第4、3、2波段得到真彩色合成图像，并人工以256×256固定大小对图像进行裁切并保存。
7.根据权利要求1所述的一种基于生成对抗网络的遥感图像薄云去除方法，其特征在于：
薄云图像仿真合成：采用的薄云图像仿真方法，利用Landsat-8卫星波段9进行云仿真；Landsat-8卫星OLI传感器卷云波段的波长在1.36～1.38μm，高空水汽对其有较强反射特性，低空地物及干燥环境反射很弱，因此该波段中云层响应非常显著，呈现半透明白色，地物响应微弱，在图像中呈现大片黑色，被用于云检测任务；利用该波段，提取云层反射灰度图，作为透射图t，带入公式(1)的成像失真模型中，并结合不同水平的大气光，即得到合成薄云遥感图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810174430.3A CN108460739A (zh) | 2018-03-02 | 2018-03-02 | 一种基于生成对抗网络的遥感图像薄云去除方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810174430.3A CN108460739A (zh) | 2018-03-02 | 2018-03-02 | 一种基于生成对抗网络的遥感图像薄云去除方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108460739A true CN108460739A (zh) | 2018-08-28 |
Family
ID=63217577
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810174430.3A Pending CN108460739A (zh) | 2018-03-02 | 2018-03-02 | 一种基于生成对抗网络的遥感图像薄云去除方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108460739A (zh) |
Cited By (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109191400A (zh) * | 2018-08-30 | 2019-01-11 | 中国科学院遥感与数字地球研究所 | 一种使用对抗式生成网络去除遥感图像薄云的方法 |
| CN109215123A (zh) * | 2018-09-20 | 2019-01-15 | 电子科技大学 | 基于cGAN的无限地形生成方法、***、存储介质和终端 |
| CN109685863A (zh) * | 2018-12-11 | 2019-04-26 | 帝工(杭州)科技产业有限公司 | 一种重建医学***图像的方法 |
| CN109859147A (zh) * | 2019-03-01 | 2019-06-07 | 武汉大学 | 一种基于生成对抗网络噪声建模的真实图像去噪方法 |
| CN109872278A (zh) * | 2018-12-18 | 2019-06-11 | 深圳先进技术研究院 | 基于u形网络和生成对抗网络的图像云层移除方法 |
| CN109949242A (zh) * | 2019-03-19 | 2019-06-28 | 内蒙古工业大学 | 图像去雾模型的生成方法、装置及图像去雾方法、装置 |
| CN110211045A (zh) * | 2019-05-29 | 2019-09-06 | 电子科技大学 | 基于srgan网络的超分辨率人脸图像重建方法 |
| CN110599401A (zh) * | 2019-08-19 | 2019-12-20 | 中国科学院电子学研究所 | 遥感图像超分辨率重建方法、处理装置及可读存储介质 |
| WO2020093792A1 (en) * | 2018-11-08 | 2020-05-14 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method, system, and computer-readable medium for improving color quality of images |
| CN111210483A (zh) * | 2019-12-23 | 2020-05-29 | 中国人民解放军空军研究院战场环境研究所 | 基于生成对抗网络和数值模式产品的仿真卫星云图生成方法 |
| CN111337929A (zh) * | 2020-03-26 | 2020-06-26 | 上海眼控科技股份有限公司 | 气象云图预测方法、装置、计算机设备和存储介质 |
| CN111351502A (zh) * | 2018-12-21 | 2020-06-30 | 赫尔环球有限公司 | 用于从透视图生成环境的俯视图的方法，装置和计算机程序产品 |
| CN111667431A (zh) * | 2020-06-09 | 2020-09-15 | 云南电网有限责任公司电力科学研究院 | 一种基于图像转换制作去云雾训练集的方法及装置 |
| CN111784787A (zh) * | 2019-07-17 | 2020-10-16 | 北京沃东天骏信息技术有限公司 | 图像生成方法和装置 |
| CN111951284A (zh) * | 2020-08-12 | 2020-11-17 | 湖南神帆科技有限公司 | 一种基于深度学习的光学遥感卫星图像精细化云检测方法 |
| CN112529788A (zh) * | 2020-11-13 | 2021-03-19 | 北京航空航天大学 | 一种基于薄云厚度图估计的多光谱遥感图像薄云去除方法 |
| CN112565756A (zh) * | 2020-11-26 | 2021-03-26 | 西安电子科技大学 | 基于量化策略的含云遥感图像压缩方法 |
| CN112634169A (zh) * | 2020-12-30 | 2021-04-09 | 成都星时代宇航科技有限公司 | 一种遥感图像的匀色方法和装置 |
| CN112862670A (zh) * | 2021-02-08 | 2021-05-28 | 中国科学院信息工程研究所 | 一种基于多视角融合的360°图像对抗样本生成方法 |
| CN113240208A (zh) * | 2021-06-25 | 2021-08-10 | 国网浙江省电力有限公司双创中心 | 光伏发电输出功率预测方法、装置及计算机可读存储介质 |
| CN113298836A (zh) * | 2021-06-29 | 2021-08-24 | 天津市测绘院有限公司 | 一种顾及要素轮廓强度的遥感图像薄云去除方法及*** |
| CN113628098A (zh) * | 2021-07-28 | 2021-11-09 | 北京航空航天大学 | 一种多时相无云卫星影像重构方法 |
| CN113724149A (zh) * | 2021-07-20 | 2021-11-30 | 北京航空航天大学 | 一种弱监督的可见光遥感图像薄云去除方法 |
| CN113935917A (zh) * | 2021-10-14 | 2022-01-14 | 中国石油大学(华东) | 一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄云去除方法 |
| CN114066755A (zh) * | 2021-11-11 | 2022-02-18 | 南京航空航天大学 | 一种基于全波段特征融合的遥感影像薄云去除方法及*** |
| CN114936972A (zh) * | 2022-04-06 | 2022-08-23 | 航天东方红卫星有限公司 | 一种基于多路感知梯度的遥感图像薄云移除方法 |
| CN115661002A (zh) * | 2022-12-14 | 2023-01-31 | 北京数慧时空信息技术有限公司 | 基于gan的多时相遥感数据修复方法 |
| CN116823664A (zh) * | 2023-06-30 | 2023-09-29 | 中国地质大学（武汉） | 一种遥感图像云去除方法及*** |
| CN117152622A (zh) * | 2023-10-30 | 2023-12-01 | 中国科学院空天信息创新研究院 | 边界优化模型训练、边界优化方法、装置、设备及介质 |
| CN117611494A (zh) * | 2024-01-24 | 2024-02-27 | 北京理工大学 | 一种全色遥感图像薄云去除方法 |
| CN117851927A (zh) * | 2024-03-07 | 2024-04-09 | 南京大学 | 一种基于随机森林与气象数据的云预测方法 |
| CN114936972B (zh) * | 2022-04-06 | 2024-07-02 | 航天东方红卫星有限公司 | 一种基于多路感知梯度的遥感图像薄云移除方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106127702A (zh) * | 2016-06-17 | 2016-11-16 | 兰州理工大学 | 一种基于深度学习的图像去雾算法 |
-
2018
- 2018-03-02 CN CN201810174430.3A patent/CN108460739A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106127702A (zh) * | 2016-06-17 | 2016-11-16 | 兰州理工大学 | 一种基于深度学习的图像去雾算法 |
Non-Patent Citations (4)
| Title |
|---|
| OREST KUPYN: "DeblurGAN: Blind Motion Deblurring Using Conditional Adversarial Networks", 《ARXIV:1711.07064V3》 * |
| QIAOBO CHEN: "Rain Removal via Residual Generation Cascading", 《IEEE》 * |
| 李策: "生成对抗映射网络下的图像多层感知去雾算法", 《计算机辅助设计与图形学学报》 * |
| 阿布: "《电子工业出版社》", 31 August 2017 * |
Cited By (49)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109191400A (zh) * | 2018-08-30 | 2019-01-11 | 中国科学院遥感与数字地球研究所 | 一种使用对抗式生成网络去除遥感图像薄云的方法 |
| CN109215123A (zh) * | 2018-09-20 | 2019-01-15 | 电子科技大学 | 基于cGAN的无限地形生成方法、***、存储介质和终端 |
| CN109215123B (zh) * | 2018-09-20 | 2022-07-29 | 电子科技大学 | 基于cGAN的无限地形生成方法、***、存储介质和终端 |
| WO2020093792A1 (en) * | 2018-11-08 | 2020-05-14 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method, system, and computer-readable medium for improving color quality of images |
| US11972543B2 (en) | 2018-11-08 | 2024-04-30 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method and terminal for improving color quality of images |
| CN109685863A (zh) * | 2018-12-11 | 2019-04-26 | 帝工(杭州)科技产业有限公司 | 一种重建医学***图像的方法 |
| CN109872278B (zh) * | 2018-12-18 | 2020-11-10 | 深圳先进技术研究院 | 基于u形网络和生成对抗网络的图像云层移除方法 |
| CN109872278A (zh) * | 2018-12-18 | 2019-06-11 | 深圳先进技术研究院 | 基于u形网络和生成对抗网络的图像云层移除方法 |
| US11720992B2 (en) | 2018-12-21 | 2023-08-08 | Here Global B.V. | Method, apparatus, and computer program product for generating an overhead view of an environment from a perspective image |
| CN111351502A (zh) * | 2018-12-21 | 2020-06-30 | 赫尔环球有限公司 | 用于从透视图生成环境的俯视图的方法，装置和计算机程序产品 |
| CN109859147A (zh) * | 2019-03-01 | 2019-06-07 | 武汉大学 | 一种基于生成对抗网络噪声建模的真实图像去噪方法 |
| CN109949242A (zh) * | 2019-03-19 | 2019-06-28 | 内蒙古工业大学 | 图像去雾模型的生成方法、装置及图像去雾方法、装置 |
| CN110211045A (zh) * | 2019-05-29 | 2019-09-06 | 电子科技大学 | 基于srgan网络的超分辨率人脸图像重建方法 |
| CN110211045B (zh) * | 2019-05-29 | 2022-09-06 | 电子科技大学 | 基于srgan网络的超分辨率人脸图像重建方法 |
| CN111784787B (zh) * | 2019-07-17 | 2024-04-09 | 北京沃东天骏信息技术有限公司 | 图像生成方法和装置 |
| CN111784787A (zh) * | 2019-07-17 | 2020-10-16 | 北京沃东天骏信息技术有限公司 | 图像生成方法和装置 |
| CN110599401A (zh) * | 2019-08-19 | 2019-12-20 | 中国科学院电子学研究所 | 遥感图像超分辨率重建方法、处理装置及可读存储介质 |
| CN111210483A (zh) * | 2019-12-23 | 2020-05-29 | 中国人民解放军空军研究院战场环境研究所 | 基于生成对抗网络和数值模式产品的仿真卫星云图生成方法 |
| CN111337929A (zh) * | 2020-03-26 | 2020-06-26 | 上海眼控科技股份有限公司 | 气象云图预测方法、装置、计算机设备和存储介质 |
| CN111667431A (zh) * | 2020-06-09 | 2020-09-15 | 云南电网有限责任公司电力科学研究院 | 一种基于图像转换制作去云雾训练集的方法及装置 |
| CN111667431B (zh) * | 2020-06-09 | 2023-04-14 | 云南电网有限责任公司电力科学研究院 | 一种基于图像转换制作去云雾训练集的方法及装置 |
| CN111951284A (zh) * | 2020-08-12 | 2020-11-17 | 湖南神帆科技有限公司 | 一种基于深度学习的光学遥感卫星图像精细化云检测方法 |
| CN111951284B (zh) * | 2020-08-12 | 2022-04-22 | 湖南神帆科技有限公司 | 一种基于深度学习的光学遥感卫星图像精细化云检测方法 |
| CN112529788B (zh) * | 2020-11-13 | 2022-08-19 | 北京航空航天大学 | 一种基于薄云厚度图估计的多光谱遥感图像薄云去除方法 |
| CN112529788A (zh) * | 2020-11-13 | 2021-03-19 | 北京航空航天大学 | 一种基于薄云厚度图估计的多光谱遥感图像薄云去除方法 |
| CN112565756B (zh) * | 2020-11-26 | 2021-09-03 | 西安电子科技大学 | 基于量化策略的含云遥感图像压缩方法 |
| CN112565756A (zh) * | 2020-11-26 | 2021-03-26 | 西安电子科技大学 | 基于量化策略的含云遥感图像压缩方法 |
| CN112634169B (zh) * | 2020-12-30 | 2024-02-27 | 成都星时代宇航科技有限公司 | 一种遥感图像的匀色方法和装置 |
| CN112634169A (zh) * | 2020-12-30 | 2021-04-09 | 成都星时代宇航科技有限公司 | 一种遥感图像的匀色方法和装置 |
| CN112862670A (zh) * | 2021-02-08 | 2021-05-28 | 中国科学院信息工程研究所 | 一种基于多视角融合的360°图像对抗样本生成方法 |
| CN112862670B (zh) * | 2021-02-08 | 2023-12-05 | 中国科学院信息工程研究所 | 一种基于多视角融合的360°图像对抗样本生成方法 |
| CN113240208A (zh) * | 2021-06-25 | 2021-08-10 | 国网浙江省电力有限公司双创中心 | 光伏发电输出功率预测方法、装置及计算机可读存储介质 |
| CN113298836B (zh) * | 2021-06-29 | 2023-03-14 | 天津市测绘院有限公司 | 一种顾及要素轮廓强度的遥感图像薄云去除方法及*** |
| CN113298836A (zh) * | 2021-06-29 | 2021-08-24 | 天津市测绘院有限公司 | 一种顾及要素轮廓强度的遥感图像薄云去除方法及*** |
| CN113724149A (zh) * | 2021-07-20 | 2021-11-30 | 北京航空航天大学 | 一种弱监督的可见光遥感图像薄云去除方法 |
| CN113724149B (zh) * | 2021-07-20 | 2023-09-12 | 北京航空航天大学 | 一种弱监督的可见光遥感图像薄云去除方法 |
| CN113628098A (zh) * | 2021-07-28 | 2021-11-09 | 北京航空航天大学 | 一种多时相无云卫星影像重构方法 |
| CN113935917A (zh) * | 2021-10-14 | 2022-01-14 | 中国石油大学(华东) | 一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄云去除方法 |
| CN114066755A (zh) * | 2021-11-11 | 2022-02-18 | 南京航空航天大学 | 一种基于全波段特征融合的遥感影像薄云去除方法及*** |
| CN114936972A (zh) * | 2022-04-06 | 2022-08-23 | 航天东方红卫星有限公司 | 一种基于多路感知梯度的遥感图像薄云移除方法 |
| CN114936972B (zh) * | 2022-04-06 | 2024-07-02 | 航天东方红卫星有限公司 | 一种基于多路感知梯度的遥感图像薄云移除方法 |
| CN115661002A (zh) * | 2022-12-14 | 2023-01-31 | 北京数慧时空信息技术有限公司 | 基于gan的多时相遥感数据修复方法 |
| CN116823664A (zh) * | 2023-06-30 | 2023-09-29 | 中国地质大学（武汉） | 一种遥感图像云去除方法及*** |
| CN116823664B (zh) * | 2023-06-30 | 2024-03-01 | 中国地质大学（武汉） | 一种遥感图像云去除方法及*** |
| CN117152622A (zh) * | 2023-10-30 | 2023-12-01 | 中国科学院空天信息创新研究院 | 边界优化模型训练、边界优化方法、装置、设备及介质 |
| CN117152622B (zh) * | 2023-10-30 | 2024-02-23 | 中国科学院空天信息创新研究院 | 边界优化模型训练、边界优化方法、装置、设备及介质 |
| CN117611494A (zh) * | 2024-01-24 | 2024-02-27 | 北京理工大学 | 一种全色遥感图像薄云去除方法 |
| CN117611494B (zh) * | 2024-01-24 | 2024-04-30 | 北京理工大学 | 一种全色遥感图像薄云去除方法 |
| CN117851927A (zh) * | 2024-03-07 | 2024-04-09 | 南京大学 | 一种基于随机森林与气象数据的云预测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108460739A (zh) | 一种基于生成对抗网络的遥感图像薄云去除方法 | |
| Karra et al. | Global land use/land cover with Sentinel 2 and deep learning | |
| Hsu et al. | Precipitation estimation from remotely sensed information using artificial neural networks | |
| US9760805B2 (en) | Identifying visual storm signatures from satellite images | |
| Zhuo et al. | Physics-augmented deep learning to improve tropical cyclone intensity and size estimation from satellite imagery | |
| CN109063569A (zh) | 一种基于遥感影像的语义级变化检测方法 | |
| CN110046415A (zh) | 一种时空精细化的土壤有机质含量遥感动态反演方法 | |
| CN114564982B (zh) | 雷达信号调制类型的自动识别方法 | |
| CN106605225A (zh) | 仿真设备、仿真方法和存储器介质 | |
| CN103268607B (zh) | 一种弱监督条件下的共同对象检测方法 | |
| CN111160268A (zh) | 一种基于多任务学习的多角度sar目标识别方法 | |
| Hagen et al. | Identifying major drivers of daily streamflow from large-scale atmospheric circulation with machine learning | |
| Otsuka et al. | Nowcasting with data assimilation: A case of global satellite mapping of precipitation | |
| CN114399073A (zh) | 一种基于深度学习的海洋表面温度场预测方法 | |
| CN116403048B (zh) | 一种基于多模态数据融合的农作物生长估计模型构建方法 | |
| CN114529097A (zh) | 多尺度农作物物候期遥感降维预测方法 | |
| Bai et al. | Optimal window size selection for spectral information extraction of sampling points from UAV multispectral images for soil moisture content inversion | |
| Lou et al. | An effective method for canopy chlorophyll content estimation of marsh vegetation based on multiscale remote sensing data | |
| Moschos et al. | Computer Vision for Ocean Eddy Detection in Infrared Imagery | |
| Vietinghoff et al. | Visual analysis of spatio-temporal trends in time-dependent ensemble data sets on the example of the North Atlantic Oscillation | |
| Lou et al. | Recognition of thaw slumps based on machine learning and UAVs: A case study in the Qilian Mountains, northeastern Qinghai-Tibet Plateau | |
| CN116863341B (zh) | 基于时间序列卫星遥感影像的作物分类和识别方法和*** | |
| Zhang et al. | Atmospheric Environment Data Generation Method Based on Stacked LSTM-GRU | |
| CN114971041A (zh) | 一种基于残差网络的海冰面积预测方法及*** | |
| Astola et al. | Highforest-forest parameter estimation from high resolution remote sensing data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180828 |
|
| WD01 | Invention patent application deemed withdrawn after publication |