CN114022408A - 基于多尺度卷积神经网络的遥感图像云检测方法 - Google Patents

Abstract

本发明涉及基于多尺度卷积神经网络的遥感图像云检测方法，步骤一、建立多尺度U‑net神经网络；所述多尺度U‑net神经网络包括编码器、解码器和SPP U‑net网络结构；步骤二、收集若干张含云遥感图像，进行裁剪、通道选择、云标注和数据增广工作，获得多尺度U‑net神经网络训练所需的训练数据集和测试数据集；步骤三、利用所述训练数据集，使用BCELoss损失函数和SGD优化器对多尺度U‑net神经网络进行训练和参数更新；步骤四、将待检测含云遥感图像输入至训练好的多尺度U‑net神经网络中进行云检测，输出结果即为云检测二值图像。本发明对普通的U‑Net网络结构进行特征多尺度改进，采用空间金字塔池化提高云检测精度，能够大幅提升小块云层区域及云分割边缘的检测效果。

Description

基于多尺度卷积神经网络的遥感图像云检测方法

技术领域

本发明属于遥感卫星星载图像处理技术领域，涉及基于多尺度卷积神经网络的遥感图像云检测方法。

背景技术

近年来，遥感技术快速发展，能够提供高分辨率、高精度的图像数据，在自然资源、环境、农业和国防等各个领域都发挥着越来越重要的作用。但是光学遥感图像一般会受到天气的影响，如果拍摄区域上空有大量厚云覆盖，卫星获取的图像数据中的有效信息量将显著减小。这类数据储存和下传会大量占用星上的存储、处理和传输资源，造成星载资源的浪费。使用在轨实时云判技术剔除掉这些“无效区域”，可以提升卫星星上资源的有效利用率，但这对于在轨云检测的精度提出了更高的要求。

传统的云检测方法包括物理方法、基于云纹理和空间特性的检测方法、模式识别方法以及综合优化方法四大类。其中物理方法和基于云纹理和空间特性的方法都属于阈值法；模式识别的方法需要进行云特性的提取和检测器的设计；综合优化方法多算法综合使用的优化监测方法，但是耗时长，效率低。阈值法算法性能跟阈值的设置密切相关，而由于遥感图像自身数据量大和复杂性的特点，阈值法越来越不能满足实际的需求。模式识别方法中的深度学习方法近几年在目标检测方面有优异的表现，U-Net网络是FCN的一种改进模型，能够很好地提取遥感图像中的各种内部和外部特征，相较于全连接神经网络，能获取更好的分割效果的同时使用更少的运算时间。但普通的U-Net网络对于小块云层区域或者云区域分割边缘效果有待提升。

发明内容

本发明解决的技术问题是：克服现有技术的不足，提出一种基于多尺度卷积神经网络的遥感图像云检测方法。

本发明解决技术的方案是：

一种基于多尺度卷积神经网络的遥感图像云检测方法，该方法的步骤包括：

步骤一、建立多尺度U-net神经网络；所述多尺度U-net神经网络包括编码器、解码器和SPP U-net网络结构，编码器通过下采样获取图像的高级语义，解码器通过上采样获得图像像素级别的分类，SPP U-net网络结构实现图像的多尺度变换和信息的提取；

步骤二、收集若干张含云遥感图像，进行裁剪、通道选择、云标注和数据增广工作，获得多尺度U-net神经网络训练所需的训练数据集和测试数据集；

步骤三、利用所述训练数据集和测试数据集，使用BCELoss损失函数和SGD优化器对多尺度U-net神经网络进行训练和参数更新；

步骤四、将待检测含云遥感图像输入至训练好的多尺度U-net神经网络中进行云检测，输出结果即为云检测二值图像。

编码器的结构为输入层后跟随3个下采样层，每个下采样层为一个双卷积层后跟随最大池化层，第三个下采样层的输出结果作为后续SPP U-Net网络的输入；

双卷积层描述为：Conv1-Bn1-ReLU1-Conv2-Bn2-ReLU2；其中

Conv1表示第一卷积层，Bn1表示batch块的第一归一化层，ReLU 1为第一线性整流函数激活函数，Conv2表示第二卷积层，Bn2表示batch块的第二归一化层，ReLU 2为第二线性整流函数激活函数。

解码器的输入为SPP U-Net网络的输出，解码器的结构为3个上采样层后跟随一个输出层；每个上采样层为一个上卷积层后跟随一个联合层和一个双卷积层。

解码器的输出层包括一个1×1卷积核和一个Sigmoid激活函数，对输入先进行卷积，然后使用Sigmoid激活函数输出结果。

SPP U-net网络首先将编码器输入的结果进行一次多尺度下采样，多尺度下采样为一个双卷积层后面跟随一个多尺度池化层，将图像尺寸从单一尺度变换为3个不同的尺度，分别为原尺度的1/2、1/4和1/8，并将每个尺度的池化输出的通道数减少为输入的1/2；

随后进行重采样，使用最近邻插值方式将1/4尺度的图像重采样至2倍大小，将1/8尺度的图像重采样至4倍大小；

然后将3个影像进行堆叠，输入到上采样层，所述上采样层为一个上卷积层后跟随一个联合层和一个双卷积层；

得到的结果作为后续解码器的输入。

所述最近邻插值方式，是在待求像素的四邻像素中，将距离待求像素最近的邻接像素值赋给待求像素。

编码器的第一个下采样层的双卷积层的输出特征值与解码器的第三个上采样层的上卷积层的输出特征值相连接；编码器的第二个下采样层的双卷积层的输出特征值与解码器的第二个上采样层的上卷积层的输出特征值相连接；编码器的第三个下采样层的输出特征值作为SPP U-Net的输入；SPP U-Net的输出作为解码器第一个上采样层的输入。

所述步骤二中，获得训练数据集和测试数据集的方式如下：

1)首先收集遥感卫星含云的遥感图像，对原始影像进行裁剪和通道选择，将遥感图像大小统一裁剪为H×W大小，通道选择相应的RGB颜色通道，将获得的图像保存为tif格式图像images，一共收集T张，；

2)利用ENVI5.3的云/云影自动检测工具自动从这T张图像中检测云区域，人工纠正云区域中错检或漏检的部分，获得正确的云区域，并生成云+云影的掩膜文件，作为云检测的标记数据集labels；

3)利用OpenCV对T张图像进行数据增广，数据增广方法如下：

先对每张tif格式图像images进行左右镜像处理，即以Y方向的中轴线为轴进行左右反转，获得2T张图像；

然后再以每张图像的中心点为旋转中心，每30度旋转获得新的图像，共旋转一周，共得到24(2×12)T张tif格式图像images作为输入数据集；

4)从输入数据集中选取70％的图像、从标记数据集labels中选取对应的70％的图像作为训练数据集，剩余的输入数据集和标记数据集labels形成测试数据集。

所述步骤三的实现方法如下：

首先对多尺度U-net神经网络的权值进行初始化，训练数据集中的输入数据经过网络结构前向传输得到输出值，利用BCELoss损失函数计算输出值与标记数据集labels中相应的标记数据之间的误差，再利用链式法则将这个误差反向传播到多尺度U-net神经网络中，利用SGD优化器对多尺度U-net神经网络权重和偏置参数进行更新，完成一轮学习。

多尺度U-net神经网络权重和偏置参数更新后，利用测试数据集对其进行检验，检验合格后进行步骤四，检验不合格则重复步骤三，直至检验合格。

本发明与现有技术相比的有益效果是：

本发明利用多尺度卷积神经网络，采用空间金字塔池化提取遥感影像多尺度特征信息，且利用编码器下采样层结果与解码器上采样结果之间的连接考虑各个层次的特征信息，可以同时对各种尺寸的云进行检测，与传统方法相比有更高的检测精度，且对于小块云层区域及云分割边缘有更好的检测结果。

附图说明

图1为多尺度卷积神经网络U-net主结构；

图2为SPP U-Net结构；

图3(a)为遥感图像数据(Landsat)；

图3(b)为云标记数据；

图4(a)为被检测遥感图像数据(Landsat)，1-遥感图像中的薄云，2-遥感图像中的细小碎云；

图4(b)为云检测结果，11-薄云检测结果，22-细小碎云检测结果。

具体实施方式

下面结合实施例对本发明作进一步阐述。

本发明解决现有云检测技术不足，提供一种基于多尺度卷积神经网络的遥感图像云检测方法。本发明针对小块云层区域和云分割边缘效果提升的需求，对普通的U-Net网络结构进行特征多尺度改进，采用空间金字塔池化提高云检测精度，尤其是大幅提升小块云层区域及云分割边缘的检测效果。

本发明的多尺度卷积神经网络的遥感图像云检测方法，实现输入一张遥感图像，输出为遥感图像的云掩模。具体技术方案包括：

1)建立多尺度U-net神经网络，包括编码器、解码器和SPP U-net网络结构。其中编码器包括3个下采样层，解码器包括3个上采样层；

编码器的结构为输入层后跟随3个下采样层，每个下采样层为一个双卷积层后跟随最大池化层，第三个下采样层的输出结果作为后续SPP U-Net网络的输入。双卷积层可以描述为：Conv1-Bn1-ReLU1-Conv2-Bn2-ReLU2。其中Conv#表示卷积层，ReLU#为线性整流函数激活函数。Bn#表示batch块的归一化层。

解码器的结构为3个上采样层，每个上采样层为一个上卷积层后跟随一个联合层和一个双卷积层，最后1个上采样层后跟随输出层；输出层为使用1×1卷积核，后使用Sigmoid作为激活函数输出结果。

本发明中，上采样层和下采样层的每个卷积模块采用两个卷积层进行加深处理，进一步提取遥感图像的深层次特征信息。

SPP U-net在进行一次下采样层后，将尺寸从单一尺度池化变换为3个不同尺度，再利用最近邻插值方式对每一个尺度下的特征图进行重采样到相同大小，再堆叠在一起，输入到上采样层。

SPP U-Net网络结果可以得到多个空间尺度上的融合特征，有利于对不同尺寸大小目标的检测精度的提升。

编码器的第一个下采样层的双卷积层的输出特征值与解码器的第三个上采样层的上卷积层的输出特征值相连接；编码器的第二个下采样层的双卷积层的输出特征值与解码器的第二个上采样层的上卷积层的输出特征值相连接；编码器的第三个下采样层的输出特征值作为SPP U-Net的输入；SPP U-Net的输出作为解码器第一个上采样层的输入。

2)收集含云遥感影像，进行裁剪、通道选择、云标注和数据增广工作，获得神经网络训练所需训练和测试数据集。

数据增广的手段包括：左右镜像处理，即以Y方向的中轴线为轴进行左右反转；然后再以图片的中心点为旋转中心，每30度旋转获得新的图片，共旋转一周。

3)使用BCELoss损失函数和SGD(随机梯度下降)优化器对多尺度全卷积神经网络(多尺度U-net神经网络)进行训练和参数更新。利用测试数据集对检测结果进行检验。)利用训练后多尺度全卷积神经网络对遥感图像进行云检测工作，得到检测结果。

实施例：

1、建立多尺度U-net神经网络模型

1)多尺度U-Net神经网络模型基本架构分为编码器与解码器两部分，编码器经由下采样获取图像的高级语义，解码器则通过上采样获得像素级别的分类。编码器与解码器两个部分的结构是完全对称，网络架构如图1所示。

以256×256的N通道输入为例。图中的灰色方块代表特征映射图，每个特征映射图都是“深度×高×宽”的三维数组，其中高度和宽度是图像的空间维度，标记于映射图左下角，由于所采用的卷积操作并不改变输入映射图的尺寸，所以结构图中处于同一横向的特征映射图的空间维度不变。深度则是通道维度，标记于对应特征映射图上方。

2)编码器(Encode)，即下采样模块，如图1左半部分，该模块可视为输入层后跟随一个双卷积层，剩余部分为每一个最大池化层紧跟双卷积层。双卷积部分可描述为：Conv1-Bn1-ReLU1-Conv2-Bn2-ReLU2。其中Conv#表示卷积层，Bn#表示batch块的归一化，ReLU#为线性整流函数激活函数。使用线性整流函数(ReLU，Rectified Linear Unit)作为每一个卷积层后的激活函数，并在激活函数前添加批归一化层(Batch Normalization)来加快训练的收敛速度。

用Conv**#表示上述双卷积结构，则整个编码器模块可简洁地描述为：Input(3×256×256)–Conv**1(64×256×256)–Maxpool–Conv**2(128×128×128)–Maxpool–Conv**3(256×64×64)–Maxpool–SPP U-net，Maxpool#表示最大池化层。

3)解码器(Decode)，即上采样模块，如图1右半部分。该部分先对高级语义特征图上采样至该特征图的两倍尺寸大小，并将上采样后的特征图与对称的低级语义特征图联合来拓展输入通道，获得两倍的深度，再进行后续的双卷积加深。特别的，输出层使用的是1×1卷积核，用Conv_out表示，并且该卷积层后使用Sigmoid作为激活函数。用Concat#表示联合层，Up-Conv#表示上卷积层，用Up-Samping#表示上采样层，则Up-Samping#可以表示为：Up-Conv#–Concat#–Conv**#。

解码器模块可描述为：SPP U-net–Up-Conv1–Concat1(512×64×64)–Conv**1(256×64×64)–Up-Conv2–Concat2(256×128×128)–Conv**2(128×128×128)–Up-Conv3–Concat3(128×256×256)–Conv**3(64×256×256)–Conv_out(1×256×256)–Sigmoid–Output(1×256×256)。

4)SPP U-Net为多尺度的关键，SPP(Spatial Pyramid Pooling)，空间金字塔池化增加了特征融合后保留的特征信息量，同时因为不同水平级尺度下感受野大小的不同，能够更好地保持不变性。利用SPP结构，可以得到多个空间尺度上的融合特征，如图2所示，为SPP叠加后的U-Net结构。

SPP U-net网络首先将编码器输入的结果进行一次多尺度下采样，多尺度下采样为一个双卷积层后面跟随一个多尺度池化层，将图像尺寸从单一尺度变换为3个不同的尺度，输入的32×32特征图分别被池化至16×16，8×8，4×4，为了不过多增加通道数，每个尺度的池化输出通道数从512减少至256，3个尺度的数据堆叠后通道数总计为768。由于不同尺度下池化后得到的特征图尺寸不同，所以需要对特征图进行尺寸修正(Resize)后，才能在通道维度上堆叠。Resize的方式是最近邻插值方式，使用最近邻插值方式对每一个尺度下的池化输出Resize至16×16大小。最近邻插值不需要计算，在待求像素的四邻像素中，将距离待求像素最近的邻接像素值赋给待求像素即可。再将重采样后的数据堆叠在一起，输入到上采样层；上采样层定义同上，上采样层为一个上卷积层后跟随一个联合层和一个双卷积层；得到的结果作为后续解码器的输入。

2、云检测数据集制作

1)首先收集Landsat、GF-1卫星含云的遥感影像，利用ENVI5.3对原始影像进行裁剪和通道选择，将影像大小统一裁剪为6144×6144大小，通道选择相应的RGB(红绿蓝)颜色通道，并获得的影像保存为tif格式图像images，一共收集96张；

2)利用ENVI5.3的云/云影自动检测工具(Calculate Cloud Mask Using FmaskAlgorithm)自动从这96张多光谱影像中检测云区域。获得的云区域存在一定的错检或漏检的部分，人工进行纠正，获得正确的云区域，并生成云+云影的掩膜文件。作为云检测数据集的标记数据集labels；如图3所示，给出了其中一张Landsat遥感影像数据及其标记数据；

3)利用OpenCV对96张影像的进行数据增广，采用以下手段：先对其左右镜像处理，即以Y方向的中轴线为轴进行左右反转；然后再以图片的中心点为旋转中心，每30度旋转获得新的图片，共旋转一周。如此一来，将每张影像进行旋转、形变、增强等手段，增广扩充后的正样本数据就是原来的24(2×12)倍，一共获得2304张遥感影像及对应的标记数据；

4)将images图像数据集和标记数据集labels均按照7:3的比例划分为训练集和测试集；

3、多尺度全卷积神经网络模型的训练和参数更新

1)网络的训练使用SGD(随机梯度下降)优化器，学习速率设置为0.0001，动量设置为0.9，权值衰减设置为0.0005。为搭配输出层的Sigmoid激活函数，损失函数采用BCELoss函数，一种常用于二分类的交叉熵，该函数具体表达式为：

其中，y′为网络的预测输出值，y为标签真值。N表示总的样本数量，这里的样本即图像的像素。y_i和y_i′分别每个样本的标签真值和预测输出值。若用z代表Sigmoid函数的输入，其中z＝w×x+b，w为权重，x为输入特征值，b为偏置。则y′为Sigmoid激活函数的输出：

将损失函数L对权重w求导，可得梯度：

对偏置求导可得：

可以看到在使用BCELoss函数后，输出层的反向传播不再与Sigmoid函数的倒数相关，这就从一定程度上避免了Sigmoid饱和区导致的梯度变小。

2)首先对网络的权值进行初始化，输入数据经过网络结构前向传输得到输出值，利用损失函数计算输出值与标注数据之间的误差，再利用链式法则将这个误差反向传播到网络中，利用优化器对网络权重和偏置等参数进行更新，完成一轮学习。本发明实例将2304张图片作为训练样本，训练一轮作为一个周期，本发明实例训练了30个周期。

4、云检测实施

利用训练得到的网络模型及参数对含云遥感图像进行云检测。将待检测遥感图像输入至多尺度卷积神经网络中，输出结果即为云检测二值图像。

对某一Landsat多光谱影像的检测结果见图4所示。在图4(b)中分别以数字11和数字22标识出了检测算法对薄云和碎云的检测结果，可以看出本算法对薄云和碎云都有很好的检测效果。

本发明针对小块云层区域和云分割边缘效果提升的需求，对普通的U-Net网络结构进行特征多尺度改进，采用空间金字塔池化提高云检测精度，尤其是可以大幅提升小块云层区域及云分割边缘的检测效果。

本发明说明书中未作详细描述的内容属于本领域专业技术人员的公知技术。

Claims (10)

1.一种基于多尺度卷积神经网络的遥感图像云检测方法，其特征在于该方法的步骤包括：

步骤一、建立多尺度U-net神经网络；所述多尺度U-net神经网络包括编码器、解码器和SPP U-net网络结构，编码器通过下采样获取图像的高级语义，解码器通过上采样获得图像像素级别的分类，SPP U-net网络结构实现图像的多尺度变换和信息的提取；

步骤二、收集若干张含云遥感图像，进行裁剪、通道选择、云标注和数据增广工作，获得多尺度U-net神经网络训练所需的训练数据集和测试数据集；

步骤三、利用所述训练数据集和测试数据集，使用BCELoss损失函数和SGD优化器对多尺度U-net神经网络进行训练和参数更新；

步骤四、将待检测含云遥感图像输入至训练好的多尺度U-net神经网络中进行云检测，输出结果即为云检测二值图像。

2.根据权利要求1所述的一种基于多尺度卷积神经网络的遥感图像云检测方法，其特征在于，编码器的结构为输入层后跟随3个下采样层，每个下采样层为一个双卷积层后跟随最大池化层，第三个下采样层的输出结果作为后续SPP U-Net网络的输入；

双卷积层描述为：Conv1-Bn1-ReLU1-Conv2-Bn2-ReLU2；其中

Conv1表示第一卷积层，Bn1表示batch块的第一归一化层，ReLU 1为第一线性整流函数激活函数，Conv2表示第二卷积层，Bn2表示batch块的第二归一化层，ReLU 2为第二线性整流函数激活函数。

3.根据权利要求2所述的一种基于多尺度卷积神经网络的遥感图像云检测方法，其特征在于，解码器的输入为SPP U-Net网络的输出，解码器的结构为3个上采样层后跟随一个输出层；每个上采样层为一个上卷积层后跟随一个联合层和一个双卷积层。

4.根据权利要求3所述的一种基于多尺度卷积神经网络的遥感图像云检测方法，其特征在于，解码器的输出层包括一个1×1卷积核和一个Sigmoid激活函数，对输入先进行卷积，然后使用Sigmoid激活函数输出结果。

5.根据权利要求4所述的一种基于多尺度卷积神经网络的遥感图像云检测方法，其特征在于，SPP U-net网络首先将编码器输入的结果进行一次多尺度下采样，多尺度下采样为一个双卷积层后面跟随一个多尺度池化层，将图像尺寸从单一尺度变换为3个不同的尺度，分别为原尺度的1/2、1/4和1/8，并将每个尺度的池化输出的通道数减少为输入的1/2；

随后进行重采样，使用最近邻插值方式将1/4尺度的图像重采样至2倍大小，将1/8尺度的图像重采样至4倍大小；

然后将3个影像进行堆叠，输入到上采样层，所述上采样层为一个上卷积层后跟随一个联合层和一个双卷积层；

得到的结果作为后续解码器的输入。

6.根据权利要求5所述的一种基于多尺度卷积神经网络的遥感图像云检测方法，其特征在于：所述最近邻插值方式，是在待求像素的四邻像素中，将距离待求像素最近的邻接像素值赋给待求像素。

7.根据权利要求6所述的一种基于多尺度卷积神经网络的遥感图像云检测方法，其特征在于，编码器的第一个下采样层的双卷积层的输出特征值与解码器的第三个上采样层的上卷积层的输出特征值相连接；编码器的第二个下采样层的双卷积层的输出特征值与解码器的第二个上采样层的上卷积层的输出特征值相连接；编码器的第三个下采样层的输出特征值作为SPP U-Net的输入；SPP U-Net的输出作为解码器第一个上采样层的输入。

8.根据权利要求1所述的一种基于多尺度卷积神经网络的遥感图像云检测方法，其特征在于，所述步骤二中，获得训练数据集和测试数据集的方式如下：

1)首先收集遥感卫星含云的遥感图像，对原始影像进行裁剪和通道选择，将遥感图像大小统一裁剪为H×W大小，通道选择相应的RGB颜色通道，将获得的图像保存为tif格式图像images，一共收集T张，；

2)利用ENVI5.3的云/云影自动检测工具自动从这T张图像中检测云区域，人工纠正云区域中错检或漏检的部分，获得正确的云区域，并生成云+云影的掩膜文件，作为云检测的标记数据集labels；

3)利用OpenCV对T张图像进行数据增广，数据增广方法如下：

先对每张tif格式图像images进行左右镜像处理，即以Y方向的中轴线为轴进行左右反转，获得2T张图像；

然后再以每张图像的中心点为旋转中心，每30度旋转获得新的图像，共旋转一周，共得到24(2×12)T张tif格式图像images作为输入数据集；

4)从输入数据集中选取70％的图像、从标记数据集labels中选取对应的70％的图像作为训练数据集，剩余的输入数据集和标记数据集labels形成测试数据集。

9.根据权利要求1所述的一种基于多尺度卷积神经网络的遥感图像云检测方法，其特征在于，所述步骤三的实现方法如下：

首先对多尺度U-net神经网络的权值进行初始化，训练数据集中的输入数据经过网络结构前向传输得到输出值，利用BCELoss损失函数计算输出值与标记数据集labels中相应的标记数据之间的误差，再利用链式法则将这个误差反向传播到多尺度U-net神经网络中，利用SGD优化器对多尺度U-net神经网络权重和偏置参数进行更新，完成一轮学习。

10.根据权利要求9所述的一种基于多尺度卷积神经网络的遥感图像云检测方法，其特征在于，多尺度U-net神经网络权重和偏置参数更新后，利用测试数据集对其进行检验，检验合格后进行步骤四，检验不合格则重复步骤三，直至检验合格。

Images