CN113408398A - 基于通道注意力及概率上采样的遥感图像云检测方法 - Google Patents

Abstract

本发明提出了一种基于通道注意力及概率上采样的遥感图像云检测方法，实现步骤为：获取训练样本集和测试样本集；构建基于通道注意力及概率上采样的遥感图像云检测网络；对遥感图像云检测网络进行迭代训练；获取遥感图像云检测结果。本发明利用通道注意力模块提取浅层特征的空间纹理信息，并拼接至深层特征；同时采用概率上采样模块使得特征边缘信息更加连续，解决了薄云区域及云边界区域检测不准确的问题，提高了云检测精度。

Description

基于通道注意力及概率上采样的遥感图像云检测方法

技术领域

本发明属于图像处理技术领域，涉及一种遥感图像云检测方法，具体涉及一种基于注意力机制以及概率上采样的深度学习遥感图像云检测方法，可用于对遥感图像进行云的分类、剔除。

背景技术

遥感图像通常指代记录各种地物电磁波大小的胶片或照片，相比于普通图像，其具有较好的空间分辨率，包含的细节信息更多，因此遥感图像已经广泛应用于多个领域，比如：军事、农业监测、水文、城市规划管理和环境保护等等方面，然而遥感图像存在着一些待解决问题，在诸多的问题中，由云遮挡造成的传输图像的不准确性尤为突出。根据国际卫星云气候计划ISCCP(International Satellite Cloud Climatology Project)提供的全球云量数据显示，全球有超过60％以上的区域常常被云覆盖。所以在遥感卫星获取的卫星图像中，因为云的存在导致很难获取到准确的下垫面。从而影响到遥感图像在诸多领域，如目标识别，农业检测等的应用，在很大程度上阻碍了遥感事业的进一步发展。所以，通过一些技术检测到云遮挡对于改善遥感图像质量具有重要的意义。

传统上，云检测的研究方法主要是多波段阈值和纹理分析等方法。多波段阈值法通常是利用云在不同波段与地物表现出来的差异性，进行云与地物的区分，例如通过近红外通道利用云的高反射和低温性进行云与地物的区分；而纹理分析通常是将云图像转换至不同的颜色空间进行纹理特征的提取，进而实现有效的云与地物分离；这些传统方法通常会花费大量时间去调参以及选取阈值，并且检测精度较低；同时，在特定区域，如薄云区或云的边界区域，由于与地物有较大相似度，同样多波段阈值法与纹理分析法很难做出有效的云与地物分离。

近年来，深度卷积神经网络在计算机视觉领域取得了巨大的成功。通过其强大的特征表达能力，使其成为图像处理多领域的主要研究方法，相较于传统云检测方法，现有的卷积神经网络云检测算法性能虽大幅提升，但在一些关键区域，如薄云、云边界区域，仍然表现出较差的检测性能。这些区域由于特征不太明显集中或云与地物相似度太高，导致算法难以有效的进行云与地物的区分。例如，申请公布号为CN110598600A，名称为“一种基于UNET神经网络的遥感图像云检测方法”的专利申请，公开了一种用于遥感图像云检测的卷积神经网络算法，利用编解码网络下采样提取云的深层特征，并通过跳跃连接将编码段的浅层特征与解码端进行融合，实现了高效的云检测方法，从而提高了检测精度，加强了算法的普适性。但是该算法并未对薄云区以及云边界区域进行过多的关注，因此，得到的检测结果并不十分准确。

发明内容

本发明的目的在于克服上述现有技术存在的缺陷，提出了一种基于通道注意力及概率上采样的遥感图像云检测方法，用于解决现有技术中存在的云检测精度较低的技术问题。

为实现上述目的，本发明采取的技术方案包括如下步骤：

(1)获取训练样本集和测试样本集：

从数据集中获取K幅带有标签且含有云区域的遥感图像P＝{(P₁,L₁),(P₂,L₂),…,(P_k,L_k),…,(P_K,L_K)}，并将从P中随机选取的M幅遥感图像及其标签组成训练样本集

将其余的N幅遥感图像及其标签组成测试样本集

其中，K≥10000，P_k表示第k幅遥感图像，L_k表示P_k的标签，

表示第m幅训练图像，

表示

的标签，

表示第k幅测试图像，

表示

的标签，

K＝M+N；

(2)构建基于通道注意力及概率上采样的遥感图像云检测网络H：

(2a)构建包括编解码模块和概率上采样模块的遥感图像云检测网络H，其中编解码模块包括二维卷积层和与其级联的四个下采样模块，第四下采样模块的输出端级联有四个上采样模块和一个二维卷积层；概率上采样模块加载在最后一个上采样模块与二维卷积层之间；第一下采样模块与第四上采样模块之间、第二下采样模块与第三上采样模块之间、第三下采样模块与第二上采样模块之间和第四下采样模块与第一上采样模块之间各加载有一个通道注意力模块；下采样模块包含多个卷积层、批量标准化层、Relu激活函数以及最大池化层；上采样模块包含多个卷积层、批量标准化层，Relu激活函数以及上采样层；通道注意力模块包括依次级联的通道拼接层、全连接层和sigmoid激活函数，通道拼接层的输入端并行连接有二维卷积和多路三维膨胀卷积，通道拼接层与全连接层之间加载有并行连接的全局最大池化层和全局平均池化层；概率上采样模块包含最大池化层和上采样层；

(2b)定义遥感图像云检测网络H的损失函数：

其中y^(m)为输入第m幅训练图像

所对应的标签

y'^(m)为网络H的对第m幅训练图像的预测结果；

(3)对遥感图像云检测网络H进行迭代训练：

(3a)初始化迭代次数为t，最大迭代次数为T,T≥30,当前云检测网络为H^t，并令t＝1，H^t＝H；

(3b)将训练样本集P^a作为遥感图像云检测网络H的输入进行前向传播，得到H的预测结果图像集合

其中

表示第m幅训练图像

的预测结果；

(3c)采用反向传播算法，通过L损失函数计算预测结果集合

与训练图像对应的标签样本集L^a的分类误差θ，然后用随机梯度下降法，通过降低分类误差θ，对H的卷积核权值参数ω^t和全连接层的连接参数υ^t进行更新，得到第t次迭代后的遥感图像云检测网络H^t；

(3d)判断t＝T是否成立，若是，得到训练好的遥感图像云检测网络H^*，否则，令t＝t+1，并执行步骤(3b)；

(4)获取遥感图像云检测结果：

将遥感图像测试集P^b作为训练好的遥感图像云检测网络H^*的输入进行预测，得到遥感图像预测的结果集合

本发明与现有技术相比，具有以下优点：

1.本发明所构建的遥感图像云检测网络包含有加载在下采样模块与上采样模块之间的通道注意力模块，以及加载在最后一个上采样模块输出端的概率上采样模块，在对遥感图像云检测网络进行训练以及获取遥感图像云检测结果的过程中，注意力模块使用不同尺寸的卷积核得到不同大小感受野的图像特征，同时采用多路三维膨胀卷积层获得网络在通道维长距离的信息，将编码端的信息做引导之后跳跃连接至解码端，能够实现编码端浅层的云细节信息与解码端网络深层云语义信息的融合，使得网络更加关注了云边缘信息，长距离的信息，与现有技术相比，有效提高了云检测的精度。

2.本发明所构建的概率上采样模块，首先进行下采样，然后在进行上采样后，与输入特征进行点乘，保持了各像素之间的特征大小的比例，避免了由于下采样特征变小导致的空间信息的损失，使得云边界区域以及薄云区域细节信息得以优化，有效提高了云检测的精度。

附图说明

图1是本发明的实现流程图。

图2是本发明构建的遥感图像云检测网络示意图。

图3是本发明构建的下采样模块的结构示意图。

图4是本发明构建的上采样模块的结构示意图。

图5是本发明构建的通道注意力模块的结构示意图。

图6是本发明构建的概率上采样模块结构示意图。

具体实施方式

以下结合附图和具体实施例，对本发明作进一步详细描述。

参照图1，本发明包括如下步骤：

步骤1)获取训练样本集和测试样本集：

从数据集中获取52272幅带有标签且含有云区域的遥感图像P＝{(P₁,L₁),(P₂,L₂),…,(P_k,L_k),...,(P₅₂₂₇₂,L₅₂₂₇₂)}。选取了高分一号遥感卫星图像以及其人工标注的标签作为总体的样本集。高分一号图像和图像所对应的标签大小相同，标签为二值化图像，如果该像素为普通地物，标签对应位置的像素值为0，如果该像素为云，则标签像素值为255。高分一号遥感卫星同时实现了高分辨率和大幅宽，2m高分辨率实现大于60km成像幅宽，16m分辨率实现大于800km成像幅宽，适应多种时间分辨率、多种光谱分辨率、多源遥感数据综合需求。高分一号的遥感图像具有四个通道，分别为R、G、B和近红外通道。对样本集进行训练集和测试集的划分，随机选取41624张遥感图像以及对应的景张遥感图像标签组成训练数据集

其余的10648幅遥感图像及其标签组成测试样本集

P_k表示第k幅遥感图像，L_k表示P_k的标签，

表示第m幅训练图像，

表示

的标签，

表示第n幅测试图像，

表示

的标签；

步骤2)构建基于通道注意力及概率上采样的遥感图像云检测网络H：

(2a)构建编解码模块和概率上采样模块的遥感图像云检测网络H，如图2所示，其中编解码模块包括二维卷积层和与其级联的四个下采样模块，第四下采样模块的输出端级联有四个上采样模块和一个二维卷积层；概率上采样模块加载在最后一个上采样模块与二维卷积层之间；第一下采样模块与第四上采样模块之间、第二下采样模块与第三上采样模块之间、第三下采样模块与第二上采样模块之间和第四下采样模块与第一上采样模块之间各加载有一个通道注意力模块；

下采样模块的结构如图3所示，包括两个卷积层、批量标准化层、Relu激活函数和最大池化层依次级联，卷积层对特征进行提取，卷积核大小为3×3，卷积核移动步长为1，批量标准化层减少了网络层之间的耦合性，并加速了网络的学习，Relu激活函数的加入避免了梯度***和梯度消失问题，而最大池化层的池化窗口大小为2×2，最大池化层能够减小对卷积层参数误差造成估计均值的偏移，保留了更多的纹理信息；

上采样模块的结构如图4所示，上采样模块包括两个卷积层、批量标准化层、Relu激活函数和上采样层依次层叠，其中卷积层、批量标准化层、Relu激活函数与下采样层一致，而上采样层窗口大小也为2×2，与下采样模块对称，卷积神经网络中，对称的结构能够便利的融合对称两端的特征；

通道注意力模块的结构如图5所示，通道注意力模块首先由一个并联的一路二维卷积和三路膨胀卷积拟合输入信息，其中二维卷积核大小为3×3，三维卷积核大小为3×3×3，膨胀率依次为2，5，7，膨胀卷积通常在不增加参数量的同时，扩大了感受野；多路的不同尺寸的卷积可以获得不同大小感受野的信息，由于是三维的膨胀卷积，同时也获得了通道维的信息，将4路卷积层的特征相加之后分别输入到全局最大池化层和全局平均池化层，进行空间的信息聚合，生成大小为1×1×C大小的上下文信息，其中C为输入特征的通道数，将生成的上下文信息相加经过一个全连接层，然后做Sigmoid激活，使得特征大小归一化到0到1之间，把注意力特征图与需要加强空间位置信息的特征进行相乘，就会得到浅层特征空间信息加强后的特征图，将特征图加到深层相同大小的特征中，加强了深层特征的细节信息；

概率上采样模块的结构如图6所示，先进行最大池化下采样，接着首先进行上采样，然后与输入特征进行相乘，得到最终的输出结果，相比于普通的上采样层直接使用最大位置的特征进行映射，概率上采样模块通过运用输入特征之间的关系对上采样层进行引导，这样的结构在优化了上采丢失边界的问题的同时，也在一定程度上保留空间连续性。

(2b)定义遥感图像云检测网络H的损失函数：

其中y^(m)为输入第m幅训练图像

所对应的标签

y'^(m)为网络H的对第m幅训练图像的预测结果；

步骤3)对遥感图像云检测网络H进行迭代训练：

(3a)初始化迭代次数为t，最大迭代次数为T＝30,当前云检测网络为H^t，并令t＝1，H^t＝H；

(3b)将训练样本集P^a作为遥感图像云检测网络H的输入进行前向传播，级联的下采样层获得了丰富的细节信息，并通过通道注意力模块将每一个下采样层的细节信息加到特征大小相同的上采样层，在最后一个上采样层后加载的概率上采样模块优化了，通过得到H的预测结果图像集合

其中

表示第m幅训练图像

的预测结果；

(3c)采用反向传播算法，通过L损失函数计算预测结果集合

与训练图像对应的标签样本集L^a的分类误差θ，采用随机梯度下降法降低分类误差θ，通过降低分类误差θ对H^t的卷积核权值参数ω^t和全连接层的连接参数υ^t进行更新，更新公式分别为：

其中η表示学习步长，η＝0.01，ω^t+1和υ^t+1分别表示ω^t和υ^t的更新结果，

表示偏导运算。

(3d)判断t＝T是否成立，若是，得到训练好的遥感图像云检测网络H^*，否则，令t＝t+1，并执行步骤(3b)；

步骤4)获取遥感图像云检测结果：

将遥感图像测试集P^b作为训练好的遥感图像云检测网络H的输入进行预测，得到遥感图像云检测的结果集合

其中

表示

中每个像素为云的概率的云检测结果图像，云检测结果图像中的每个像素代表了输入图像的对应像素的检测结果，如果该像素检测为云像素，则云检测结果中的对应位置像素为255，否则为0。

Claims (3)

1.一种基于通道注意力及概率上采样的遥感图像云检测方法，其特征在于，包括如下步骤：

(1)获取训练样本集和测试样本集：

从数据集中获取K幅带有标签且含有云区域的遥感图像P＝{(P₁,L₁),(P₂,L₂),…,(P_k,L_k),…,(P_K,L_K)}，并将从P中随机选取的M幅遥感图像及其标签组成训练样本集

将其余的N幅遥感图像及其标签组成测试样本集

其中，K≥10000，P_k表示第k幅遥感图像，L_k表示P_k的标签，

表示第m幅训练图像，

表示

的标签，

表示第n幅测试图像，

表示

的标签，

K＝M+N；

(2)构建基于通道注意力及概率上采样的遥感图像云检测网络H：

(2a)构建包括编解码模块和概率上采样模块的遥感图像云检测网络H，其中编解码模块包括二维卷积层和与其级联的四个下采样模块，第四下采样模块的输出端级联有四个上采样模块和一个二维卷积层；概率上采样模块加载在最后一个上采样模块与二维卷积层之间；第一下采样模块与第四上采样模块之间、第二下采样模块与第三上采样模块之间、第三下采样模块与第二上采样模块之间和第四下采样模块与第一上采样模块之间各加载有一个通道注意力模块；下采样模块包含多个卷积层、批量标准化层、Relu激活函数以及最大池化层；上采样模块包含多个卷积层、批量标准化层，Relu激活函数以及上采样层；通道注意力模块包括依次级联的通道拼接层、全连接层和sigmoid激活函数，通道拼接层的输入端并行连接有二维卷积层和多路三维膨胀卷积层，通道拼接层与全连接层之间加载有并行连接的全局最大池化层和全局平均池化层；概率上采样模块包含最大池化层和上采样层；

(2b)定义遥感图像云检测网络H的损失函数L：

其中y^(m)表示输入第m幅训练图像

所对应的标签

y'^(m)表示

的预测结果；

(3)对遥感图像云检测网络H进行迭代训练：

(3a)初始化迭代次数为t，最大迭代次数为T,T≥30,当前云检测网络为H^t，并令t＝1，H^t＝H；

(3b)将训练样本集P^a作为遥感图像云检测网络H^t的输入进行前向传播，得到H的预测结果图像集合

其中

表示第m幅训练图像

的预测结果；

(3c)采用反向传播算法，通过L损失函数计算预测结果集合

与训练图像对应的标签样本集L^a的分类误差θ，然后用随机梯度下降法，通过降低分类误差θ对H^t的卷积核权值参数ω^t和全连接层的连接参数υ^t进行更新，得到第t次迭代后的遥感图像云检测网络H^t；

(3d)判断t＝T是否成立，若是，得到训练好的遥感图像云检测网络H^*，否则，令t＝t+1，并执行步骤(3b)；

(4)获取遥感图像云检测结果：

将遥感图像测试样本集P^b作为训练好的遥感图像云检测网络H^*的输入进行预测，得到P^b对应的遥感图像预测结果集合

2.根据权利要求1所述的基于通道注意力及概率上采样的遥感图像云检测方法，其特征在于，步骤(2a)中所述的遥感图像云检测网络H，其中：

编解码模块的具体连接方式为：第一二维卷积层→第一下采样模块→第二下采样模块→第三下采样模块→第四下采样模块→第一上采样模块→第二上采样模块→第三上采样模块→第四上采样模块→概率上采样模块→第二二维卷积层；

第一二维卷积层的卷积核大小为3×3，步长均为1，输出通道数为32；

四个下采样模块均包括两个2维卷积层，该两个2维卷积层的卷积核大小均为3×3，步长均为1；该四个下采样模块所包含的最大池化层的池化窗口大小均为2×2；第一、第二、第三、第四下采样模块的输出通道数分别为64，128，256，512；

四个上采样模块均包括两个2维卷积层，该两个2维卷积层的卷积核大小均为3×3，步长均为1；该四个上采样模块的采样窗口大小均为2×2；第一、第二、第三、第四下采样模块的输出通道数分别为512，256，128，64；

第二二维卷积层的卷积核大小为3×3，步长均为1，输出通道数为1；

通道注意力模块的加载方式为：第一个下采样模块→第一个通道注意力模块→第四个下采样模块，第二个下采样模块→第二个通道注意力模块→第三个下采样模块，第三个下采样模块→第三个通道注意力模块→第二个下采样模块，第四个下采样模块→第四个通道注意力模块→第一个下采样模块；

通道注意力模块，其中通道拼接层的输入端并行连接的二维卷积层的卷积核大小为3×3，采取三路三维膨胀卷积层，三维膨胀卷积层卷积核大小均为3×3×3，膨胀率分别设置为2，5，7。

3.根据权利要求1所述的基于通道注意力和概率上采样的遥感图像云检测方法，其特征在于，步骤(3c)中所述的通过降低分类误差θ对H^t的卷积核权值参数ω^t和全连接层的连接参数υ^t进行更新，更新公式分别为：

其中η表示学习步长，0.001≤η≤0.02，ω^t+1和υ^t+1分别表示ω^t和υ^t的更新结果，

表示偏导运算。

Images