CN111798461B - 粗粒度标签引导深度学习的像素级遥感影像云区检测方法 - Google Patents

Abstract

本发明立足于基于深度学习的云区检测方法需要花费很大标注代价这一现实问题，公开了一种粗粒度标签引导深度学习的像素级遥感影像云区检测方法，首先通过利用较易获得的影像块级标签，在粗粒度影像块级标签的遥感影像块数据集约束下，结合局部池化层剪枝策略与全局卷积池化层，训练出鲁棒性好的深度网络模型并生成云激活图，再通过阈值分割得到最终的云掩模图。本发明可以大大减少标注工作，同时实现遥感影像的像素级精确云区检测，可有效提高遥感影像云区检测的效率与性能。

Description

粗粒度标签引导深度学习的像素级遥感影像云区检测方法

技术领域

本发明属于遥感和人工智能技术领域，涉及一种深度学习的遥感影像云区检测方法，尤其是涉及一种粗粒度标签引导深度学习的像素级遥感影像云区检测方法。

背景技术

云区检测是遥感影像解译与应用中的一个关键问题，大量的云层覆盖会影响遥感影像数据的可用性，增大遥感影像解译的难度。云区检测通过遥感、计算机视觉领域的多种方法检测出遥感影像中的含云区域，在星上应用的层面，通过不下发含云较多的影像，节约传输带宽与存储空间，减少资源的浪费；在地面应用的层面，为云去除与影像恢复，以及后续大范围连续性制图和基于遥感影像的动态监测等应用提供数据准备。

近年来，学术界提出了大量基于人工构造特征的云区检测方法。随着相关领域技术的不断发展，基于深度学习的方法也被大量用于解决云区检测问题。总的来说，基于深度学习的方法能够显著提升遥感影像云区检测任务的性能。然而，深度学习的优越表现依赖于大量精确的像素级标签，而标签的标注工作相当耗时耗力。考虑到不同种类卫星往往在光谱与空间分辨率上存在很大差异，对于每种遥感卫星影像来说，基于深度学习的方法都需要相应的像素级标注数据集来运作，进而需要花费大量的人力去进行标注工作。因此，探索可以减少标注工作量的先进云区检测方法具有重要的意义。

发明内容

本发明立足于基于深度学习的云区检测方法需要花费很大标注代价这一现实问题，提出了一种粗粒度标签引导深度学习的像素级遥感影像云区检测方法，通过利用较易获得的影像块级标签，在粗粒度影像块级标签的遥感影像块数据集约束下，结合局部池化层剪枝策略与全局卷积池化层，训练出鲁棒性好的深度网络模型，在减少标注工作的条件下，实现遥感影像的像素级精确云区检测。

本发明所采用的技术方案是：一种粗粒度标签引导深度学习的像素级遥感影像云区检测方法，包括以下步骤：

步骤1：输入带有粗粒度标签的遥感影像数据集D＝{(b_n，y_n)|n＝1，2，…，N}，其中b_n表示数据集D中第n个遥感影像块，y_n表示第n个遥感影像块对应的粗粒度遥感影像块级标签，N表示数据集D中遥感影像块的总数目；

步骤2：在步骤1中的数据集D上学习深度卷积网络模型超参数，包括卷积权重C、全局卷积池化权重G、云激活权重W；

步骤3：输入需要进行云区检测的影像I，使用I与步骤2中的卷积权重C、全局卷积池化权重G、云激活权重W计算影像I的云激活图MI；

步骤4：对步骤3中影像I的云激活图M^I进行阈值分割，计算影像I的云掩膜图S^I；

进一步的，步骤1中的y_n具有两种形式，y_n＝[1，0]代表数据集D中第n个遥感影像块b_n的标签为含云，y_n＝[0，1]代表数据集D中第n个遥感影像块b_n的标签为不含云；

进一步的，步骤2的具体实现包括以下子步骤：

步骤2.1：将步骤1中的数据集D的某一个遥感影像块b_n输入到深度卷积网络模型中输出特征图，公式如下：

其中，f_n表示深度卷积网络模型中最后一个卷积层的输出特征图。

代表深度卷积网络模型中的卷积、激活运算等操作的整体表示，C代表深度卷积网络模型中的卷积权重；

步骤2.2：对步骤2.1中f_n的各通道进行全局卷积池化，计算出各通道的激活值，公式如下：

其中，

表示f_n的第k个通道，

代表

经过全局卷积池化后在第k个通道的激活值，G^K∈G代表全局卷积池化权重G在第k个通道的权值，

代表f_n与G各通道之间的空间卷积运算；

步骤2.3：使用基于softmax的交叉熵损失函数学习深度卷积网络模型的超参数C、G、W。公式如下：

其中，

代表云激活权值在第k个通道，对于类别c的权值；类别c对应b_n的标签，y_n＝[0，1]时c＝1，y_n＝[1，0]时c＝0；d代表总通道数。

步骤2.4：对于数据集D中的每个遥感影像块，重复步骤2.1至步骤2.3，直到全部数据参与深度卷积网络模型训练，重复迭代10次至网络收敛，获取深度卷积网络模型及其超参数：卷积权重C、全局卷积池化权重G、云激活权重W；

进一步的，步骤3的具体实现包括以下子步骤：

步骤3.1：输入需要进行云区检测的影像I，使用滑动窗算法将其切分成重叠的影像块{a₁，a₂，…，a_m}；

步骤3.2：对于步骤3.1中的某一个影像块a，将其输入到步骤2.4中的深度卷积网络模型中输出特征图f，公式如下：

其中，f表示深度卷积网络模型中最后一个卷积层的输出特征图。

代表深度卷积网络模型中的卷积、激活运算等操作的整体表示；

步骤3.3：对于步骤3.2中输出特征图f的第k个波段f^k，计算调整后的特征图T^k，公式如下：

其中，T^k是第k个波段的f^k经调整后的特征图。

是使用步骤2.1中式贰计算的f^k在第k个通道的激活值，G^K∈G代表步骤2.4中所得全局卷积池化权重G在第k个通道的权值，τ(f^k)是f^k的一种统计值，包括平均值或中值；

步骤3.4：对于步骤3.2中影像块a的每一个通道，重复步骤3.2、3.3，计算云激活图M^a，公式如下：

其中，

k＝1，2，…，d代表云激活权值在第k个通道的值；

步骤3.5：对于步骤3.1中的所有影像块{a₁，a₂，…，a_m}，重复步骤3.2、3.3、3.4，计算出每个影像块对应的云激活图

将所有云激活图拼接后即可得到影像I的云激活图M^I。

进一步的，步骤4的具体实现包括以下子步骤：

步骤4.1：对于步骤1中数据集D中所有不含云的影像块{b₁ ^-，b₂ ^-，…，b_t ^-}，计算出每个影像块对应的云激活图

计算出

的均值μ和标准差σ；

步骤4.2：使用步骤4.1中云激活图的均值μ和标准差σ计算出分割阈值h，公式如下：

h＝μ+k×σ (式柒)；

其中，k为系数；

步骤4.3：使用步骤4.2中计算出的分割阈值h对影像I的云激活图M^I进行阈值分割，计算影像I的云掩膜图S^I，公式如下：

其中，(i，j)为云激活图M^I或云掩膜图S^I的横纵坐标；

进一步的，所述深度卷积网络模型的网络结构含有10个卷积层，1个全局卷积池化层，1个全连接层和1个softmax分类层。

进一步的，所述卷积层中卷积核的大小为3×3，卷积的滑动步长为1×1，卷积层后连接一个ReLU非线性激活层。

进一步的，全局卷积池化层的窗口大小为230×230。

进一步的，步骤4.2中k＝0.7。

本发明具有如下优点：本发明方法中使用的局部池化层剪枝策略可以大大提高网络输出特征图的分辨率，并可以被应用于其他对特征图分辨率要求高的任务，如小目标检测等；本发明方法中使用的全局池化卷积层可以较好地提取特征图中的空间变化信息，从而提高输出特征图的质量。相较于现有云检测方法而言，本方法仅需要影像块级的标签即可完成对深度网络的训练，在实现精确像素级云检测的同时，大大减少了所需的标注代价。

附图说明

图1为本发明实施例的深度卷积网络结构示意图；

图2为本发明实施例的全局卷积池化运算示意图；其中(a)为前向传播过程，(b)为后向传播过程。

图3为本发明实施例的云激活图生成过程示意图；

图4为本发明实施例的为测试影像生成云激活图的过程示意图；

图5为本发明实施例的云检测结果产生过程示意图；其中(a)为原图，(b)为参考云区图，(c)为云激活图，(d)为云掩模图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

本发明提供的一种基于容错性深度学习的遥感影像场景分类方法，包括以下步骤：

步骤1：输入带有粗粒度标签的遥感影像数据集D＝{(b_n，y_n)|n＝1，2，…，N}，其中b_n表示数据集D中第n个遥感影像块；y_n表示第n个遥感影像块对应的粗粒度遥感影像块级标签，y_n具有两种形式，y_n＝[1，0]代表数据集D中第n个遥感影像块b_n的标签为含云，y_n＝[0，1]代表数据集D中第n个遥感影像块b_n的标签为不含云；N表示数据集D中遥感影像块的总数目。

步骤2：在步骤1中的数据集D上学习深度卷积网络模型超参数，包括卷积权重C、全局卷积池化权重G、云激活权重W。具体包括以下子步骤：

请见图1，步骤2.1：将步骤1中的数据集D的某一个遥感影像块b_n输入到深度卷积网络模型中输出特征图，公式如下：

其中，f_n表示深度卷积网络模型中最后一个卷积层的输出特征图。

代表深度卷积网络模型中的卷积、激活运算等操作的整体表示，C代表深度卷积网络模型中的卷积权重。

请见图2，步骤2.2：对步骤2.1中f_n的各通道进行全局卷积池化，计算出各通道的激活值，公式如下：

其中，

表示f_n的第k个通道，

代表

经过全局卷积池化后在第k个通道的激活值，G^K∈G代表全局卷积池化权重G在第k个通道的权值，

代表f_n与G各通道之间的空间卷积运算。

步骤2.3：使用基于softmax的交叉熵损失函数学习深度卷积网络模型的超参数C、G、W。公式如下：

其中，

代表云激活权值在第k个通道，对于类别c的权值；类别c对应b_n的标签，y_n＝[0，1]时c＝1，y_n＝[1，0]时c＝0；d代表总通道数。

步骤2.4：对于数据集D中的每个遥感影像块，重复步骤2.1至步骤2.3，直到全部数据参与深度卷积网络模型训练，重复迭代10次至网络收敛，获取深度卷积网络模型及其超参数：卷积权重C、全局卷积池化权重G、云激活权重W。

步骤3：输入需要进行云区检测的影像I，使用I与步骤2中的卷积权重C、全局卷积池化权重G、云激活权重W计算影像I的云激活图M^I。具体包括以下子步骤：

步骤3.1：输入需要进行云区检测的影像I，使用滑动窗算法将其切分成重叠的影像块{a₁，a₂，…，a_m}。

请见图3，步骤3.2：对于步骤3.1中的某一个影像块a，将其输入到步骤2.4中的深度卷积网络模型中输出特征图f，公式如下：

其中，f表示深度卷积网络模型中最后一个卷积层的输出特征图。

代表深度卷积网络模型中的卷积、激活运算等操作的整体表示。

步骤3.3：对于步骤3.2中输出特征图f的第k个波段f^k，计算调整后的特征图T^k，公式如下：

其中，T^k是第k个波段的f^k经调整后的特征图。

是使用步骤2.1中式贰计算的f^k在第k个通道的激活值，G^K∈G代表步骤2.4中所得全局卷积池化权重G在第k个通道的权值，τ(f^k)是f^k的一种统计值，如平均值或中值。

步骤3.4：对于步骤3.2中影像块a的每一个通道，重复步骤3.2、3.3，计算云激活图M^a，公式如下：

其中，

k＝1，2，…，d代表云激活权值在第k个通道的值，d代表总通道数

请见图4，步骤3.5：对于步骤3.1中的所有影像块{a₁，a₂，…，a_m}，重复步骤3.2、3.3、3.4，计算出每个影像块对应的云激活图

将所有云激活图拼接后即可得到影像I的云激活图M^I。

请见图5，步骤4：对步骤3中影像I的云激活图M^I进行阈值分割，计算影像I的云掩膜图S^I。具体包括以下子步骤：

步骤4.1：对于步骤1中数据集D中所有不含云的影像块{b₁ ^-，b₂ ^-，…，b_t ^-}，重复步骤3.2、3.3、3.4，计算出每个影像块对应的云激活图

计算出

的均值μ和标准差σ。

步骤4.2：使用步骤4.1中云激活图的均值μ和标准差σ计算出分割阈值h，公式如下：

h＝μ+k×σ (式柒)；

其中，k为实验得出的经验系数。

步骤4.3：使用步骤4.2中计算出的分割阈值h对步骤3.5中得到的影像I的云激活图M^I进行阈值分割，计算影像I的云掩膜图S^I，公式如下：

其中，(i，j)为云激活图M^I或云掩膜图S^I的横纵坐标。

表1本方法所使用深度卷积网络模型的网络结构配置

表1展示了本方法所使用深度卷积网络模型的网络结构，该网络结构所处理的输入影像大小为500×500×4。在表1中，“卷积核”具体规定了卷积核感受野的大小size，输入数据的维度dim，卷积核的数目num，用公式表示为size×size×dim×num；“步长”表示卷积的滑动步长；“ReLU非线性激活”代表卷积层后连接一个ReLU非线性激活层；“窗口大小”代表全局卷积池化层的窗口大小。如表1所示，该网络结构含有10个卷积层，1个全局卷积池化层，1个全连接层和1个softmax分类层。

为了分析步骤4.2中的式柒中经验系数k对深度学习的影响，表2给出了不同系数k的设定下，本方法的各项性能指标。在k＝0.7时，方法达到最好的性能。

表2不同系数k下方法的几项性能指标

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (7)

1.一种粗粒度标签引导深度学习的像素级遥感影像云区检测方法，其特征在于，包括以下步骤：

步骤1：输入带有粗粒度标签的遥感影像数据集D＝{(b_n,y_n)|n＝1,2,…,N}，其中b_n表示数据集D中第n个遥感影像块，y_n表示第n个遥感影像块对应的粗粒度遥感影像块级标签，N表示数据集D中遥感影像块的总数目；

步骤2：在步骤1中的数据集D上学习深度卷积网络模型超参数，包括卷积权重C、全局卷积池化权重G、云激活权重W；

步骤2的具体实现包括以下子步骤：

步骤2.1：将步骤1中的数据集D的某一个遥感影像块b_n输入到深度卷积网络模型中输出特征图，公式如下：

其中，f_n表示深度卷积网络模型中最后一个卷积层的输出特征图；

代表深度卷积网络模型中的卷积、激活运算操作的整体表示，C代表深度卷积网络模型中的卷积权重；

步骤2.2：对步骤2.1中f_n的各通道进行全局卷积池化，计算出各通道的激活值，公式如下：

其中，

表示f_n的第k个通道，

代表

经过全局卷积池化后在第k个通道的激活值，G^K∈G代表全局卷积池化权重G在第k个通道的权值，

代表f_n与G各通道之间的空间卷积运算；

步骤2.3：使用基于softmax的交叉熵损失函数学习深度卷积网络模型的超参数C、G、W，公式如下：

其中，

代表云激活权值在第k个通道，对于类别c的权值；类别c对应b_n的标签，y_n＝[0,1]时c＝1，y_n＝[1,0]时c＝0；d代表总通道数；

步骤2.4：对于数据集D中的每个遥感影像块，重复步骤2.1至步骤2.3，直到全部数据参与深度卷积网络模型训练，重复迭代若干次至网络收敛，获取深度卷积网络模型及其超参数：卷积权重C、全局卷积池化权重G、云激活权重W；

步骤3：输入需要进行云区检测的影像I，使用I与步骤2中的卷积权重C、全局卷积池化权重G、云激活权重W计算影像I的云激活图M^I；

步骤3的具体实现包括以下子步骤：

步骤3.1：输入需要进行云区检测的影像I，使用滑动窗算法将其切分成重叠的影像块{a₁,a₂,…,a_m}；

步骤3.2：对于步骤3.1中的某一个影像块a，将其输入到深度卷积网络模型中输出特征图f，公式如下：

其中，f表示深度卷积网络模型中最后一个卷积层的输出特征图，

代表深度卷积网络模型中的卷积、激活运算操作的整体表示；

步骤3.3：对于步骤3.2中输出特征图f的第k个波段f^k，计算调整后的特征图T^k，公式如下：

其中，T^k是第k个波段的f^k经调整后的特征图，

是使用步骤2.1中式贰计算的f^k在第k个通道的激活值，G^K∈G代表步骤2.4中所得全局卷积池化权重G在第k个通道的权值，τ(f^k)是f^k的一种统计值，包括平均值或中值；

步骤3.4：对于步骤3.2中影像块a的每一个通道，重复步骤3.2、3.3，计算云激活图M^a，公式如下：

其中，

代表云激活权值在第k个通道的值；

步骤3.5：对于步骤3.1中的所有影像块{a₁,a₂,…,a_m}，重复步骤3.2、3.3、3.4，计算出每个影像块对应的云激活图

将所有云激活图拼接后即得到影像I的云激活图M^I；

步骤4：对步骤3中影像I的云激活图M^I进行阈值分割，计算影像I的云掩膜图S^I。

2.根据权利要求1所述的粗粒度标签引导深度学习的像素级遥感影像云区检测方法，其特征在于：步骤1中的y_n具有两种形式，y_n＝[1,0]代表数据集D中第n个遥感影像块b_n的标签为含云，y_n＝[0,1]代表数据集D中第n个遥感影像块b_n的标签为不含云。

3.根据权利要求1所述的粗粒度标签引导深度学习的像素级遥感影像云区检测方法，其特征在于：步骤4的具体实现包括以下子步骤：

步骤4.1：记步骤1中数据集D中所有不含云的影像块为{b₁ ^-,b₂ ^-,…,b_t ^-}，计算出每个影像块对应的云激活图

计算出

的均值μ和标准差σ；

步骤4.2：使用步骤4.1中云激活图的均值μ和标准差σ计算出分割阈值h，公式如下：

h＝μ+k×σ (式柒)；

其中，k为系数；

步骤4.3：使用步骤4.2中计算出的分割阈值h对影像I的云激活图M^I进行阈值分割，计算影像I的云掩膜图S^I，公式如下：

其中，(i,j)为云激活图M^I或云掩膜图S^I的横纵坐标。

4.根据权利要求1所述的粗粒度标签引导深度学习的像素级遥感影像云区检测方法，其特征在于：所述深度卷积网络模型的网络结构含有10个卷积层，1个全局卷积池化层，1个全连接层和1个softmax分类层。

5.根据权利要求4所述的粗粒度标签引导深度学习的像素级遥感影像云区检测方法，其特征在于：所述卷积层中卷积核的大小为3×3，卷积的滑动步长为1×1，卷积层后连接一个ReLU非线性激活层。

6.根据权利要求4所述的粗粒度标签引导深度学习的像素级遥感影像云区检测方法，其特征在于：全局卷积池化层的窗口大小为230×230。

7.根据权利要求3所述的粗粒度标签引导深度学习的像素级遥感影像云区检测方法，其特征在于：步骤4.2中k＝0.7。

Images