CN114120036A - 一种轻量化的遥感图像云检测方法 - Google Patents

Abstract

本发明提出一种轻量化的遥感图像云检测方法，属于图像处理技术领域，具体包括如下步骤：步骤一，从地理空间数据云网站下载样本集；步骤二，搭建基于深度轻量化卷积及SE注意力机制的遥感图像云检测网络框架；步骤三，对遥感图像云检测网络进行迭代训练；步骤四，获取遥感图像云检测预测结果。本方法通过设置加载SE注意力机制融入深度可分离卷积的过程中，使模型的参数量大幅度降低达到轻量化的效果，同时能够使网络在特征学习过程中更加关注重要特征，然后将每一层的解译码模块采用短连接的方式连接起来，来得到不同尺寸的特征层信息，这样就能使得网络模型在学习遥感图像云层边缘特征时，对云层的尺度特征更加关注，从而提高了云检测的精度。

Description

一种轻量化的遥感图像云检测方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种轻量化的遥感图像云检测方法。

背景技术

现代遥感卫星图像在人们的生产、生活中得到了广泛的应用，然而，一旦卫星与地面之间有云层阻隔，卫星遥感图像包含的地物可用信息会大大减少，甚至无法有效使用。目前卫星下行的图像主要依靠地面接收站进行剔除处理，费时费力，更浪费了卫星宝贵的存储空间。因此如果能在卫星中对图像进行云检测，将云层覆盖较多的图片进行自动剔除，只传输有效图片，将极大地节约卫星图像存储空间，提高地面处理图片的效率，对遥感卫星在轨应用意义重大。

在过去的几十年间，研究学者提出了许多遥感图像云检测技术，包括阈值法、纹理分析方法等等。阈值法作为一种传统而有效的云检测算法，通常用于多光谱和高光谱图像的云检测。这种方法的基本原理是利用云和下垫面在可见光一短波红外光谱上表现出的不同特征，设置单阈值或组合阈值检测图像中的云层。而纹理分析法则是将云层图像转化为不同的颜色区域，然后进行纹理特征的提取，最后根据结果，分离出云层和地物。但这两种方法仍存在一些不足。第一，它不适用于一些只有四个光谱波段的高分辨率卫星数据，例如中国的紫苑三号和高分二号卫星图像。第二，计算过程主要基于像素，这很容易导致椒盐效应(Salt-and-pepper,SAP)，即在一个小区域内，同种地物在像素级层面被分成不同的类别。第三，基于阈值的方法依赖于专家知识，因此很难确定合适的阈值和判别规则。第四，人工设置阈值的方法通常是针对特定的有效载荷设计的，算法的适用性受到限制。第五,当薄云区或云的周围存在相似像素的地物时，通过这两种方法很难得到好的分离效果。

近些年来，深度学习算法在遥感图像云检测技术上取得了新的进展，通过其强大的特征泛化和表达能力，使其成为当前图像处理多领域的主要研究方法，相较于传统的云检测技术，现有的深度学习云检测算法性能虽然大幅度提升，但是依然满足不了对遥感目标进行实时检测的需求，当前基于深度学习的云检测算法趋于通过增加网络模型的复杂度和深度来提高检测精度，这给卫星的信息存储空间和处理速度带来巨大的负荷。因此轻量化网络技术是解决神经网络在计算，存储空间有限的遥感卫星的关键。

发明内容

基于现有的深度学习云检测算法性能虽然大幅度提升，但是依然满足不了对遥感目标进行实时检测需求，当前基于深度学习的云检测算法趋于通过增加网络模型的复杂度和深度来提高检测精度，这给卫星的信息存储空间和处理速度带来巨大的负荷的技术问题，本发明提出了一种轻量化的遥感图像云检测方法。

本发明提出的一种轻量化的遥感图像云检测方法，所述方法包括如下步骤：

步骤一，从地理空间数据云网站下载样本集，其中所述样本集具体分为由从数据集选取带有标签且含有云区域遥感图像组成的训练样本集和由其余M幅遥感图像以及标签组成的测试样本集；

步骤二，搭建基于深度轻量化卷积及SE注意力机制的遥感图像云检测网络框架，所述框架由编码模块、译码模块和短连接组成；

步骤三，对遥感图像云检测网络进行迭代训练；

步骤四，获取遥感图像云检测预测结果。

优选地，所述步骤一中的训练样本集是先从数据集中选取n幅带有标签且含有云区域的遥感图像：

W＝{(G₁,L₁),(G₂,L₂),···,(G_n,L_n)

并将从W中随机选取O幅遥感图像标签组成的，

将由其余M幅遥感图像以及标签组成测试样本集：

其中K≥3000,G_n表示第n幅图像，L_n表示第n幅图像的标签，

表示第O幅训练图像，

表示第O幅图像的标签，

表示第m幅测试图像，

表示第m幅测试图像的标签，O>>m,n＝O+m；

通过上述技术方案，数据集由高分一号的52272幅遥感图像中组成，从中抽取3068幅带有标签且含有云区域的遥感图像以及其人工标注的标签作为训练的样本集，剩下1100幅遥感图像及其标签作为测试所用的样本集，遥感图像的尺寸及相对应的标签大小相同，标签为二值化图像，如果该像素点为地物，那么标签分类对应的像素值为0，如果该像素点为云，那么该标签分类对应的像素值为255。高分一号数据集实现了高分辨率和大幅宽，实现无地面控制点50m图像定位精度，满足用户精细化应用需求达到国内同类卫星最高水平，在小卫星实现2×450Mbp数据传输能力，满足大数据量应用需求，达到同类卫星规模最高水平，在国内民用小卫星上首次具备中继测控能力，可实现境外时段的测控与管理。

优选地，所述步骤二中的编码模块包含4层，第一层到第四层每一层都包含三次深度轻量化卷积模块和一次下采样模块，并且下采样的结果将会输入下一层的输入。

优选地，所述步骤二中的译码模块也包含四层，每一层级联了三次的传统卷积模块和上采样模块，并且上采样的输出会成为下一层的输入；经过编码的第一，二，三，四层深度轻量化卷积模块的特征层会分别和经过译码的第四，三，二，一层上采样模块的特征层会拼接组成一个新的特征层进入译码模块中的传统卷积模块；最后一层的译码模块之后级联了一个分类卷积层。

优选地，所述下采样模块包含多个卷积层、批量标准化层、ReLu激活函数以及最大池化层。

优选地，所述上采样模块包含多个卷积层、批量标准化层，ReLu激活函数以及上采样层；

深度轻量化模块包括深度可分离卷积层，ReLu激活函数，Ghost模块，批量标准化层以及SE注意力机制，SE注意力机制包括全局平均池化层，全连接层，ReLu激活函数，Sigmoid激活函数。

优选地，所述Ghost模块将传统的1×1卷积分解为两个部分，第一部分对一半通道的卷积层采取1×1的卷积操作后，再进行3×3的卷积操作，第二部分将两次卷积操作得到的特征图拼接在一起实现替换传统1×1卷积的结果，实现轻量化。

优选地，所述步骤二中遥感图像云检测出现的损失进行定义，其中遥感图像云检测损失函数：

L＝L₁+L₂

其中L为总的损失函数，L1为CE_LOSS函数，L2为DICE_LOSS函数，x为预测值，cls为真实类别，大括号里面计算了样本在真实类别上的概率，X，Y分别为训练遥感图像的预测结果和遥感图像相对应的标签。

优选地，所述步骤三中迭代训练的具体训练步骤为：

S1,设置初始化迭代次数为t,最大迭代次数为T，t＝1,T≥100；

S2,将训练样本集作为遥感图像云检测网络的输入进行前向传播，经过隐藏层后得到预测结果X；

S3,采用后向传播算法,通过L损失函数计算预测结果与训练图像相对应的标签的分类误差θ，然后用Adam优化器降低分类误差θ，对模型的卷积核权重参数ω^t和全连接层的连接参数v^t进行更新，最终得到经过迭代t次后的模型权重参数；

S4,判断t＝T是否成立，成立则中断训练，否则进行迭代训练。

优选地，所述步骤四中获取遥感图像云检测预测结果的获取方式为，在步骤一中的测试样本集m输入训练好的遥感图像云检测网络中进行预测，得到最后模型预测的结果；

通过上述技术方案，其中预测结果集表示每个像素为云的概率的云检测结果图像，云检测结果图像中的每个像素代表了输入图像的对应像素的检测结果，如果该像素检测为云像素，则云检测结果中的对应位置像素为255，否则为0。

本发明中的有益效果为：

1、本发明所构建的遥感图像云检测网络使用深度轻量化卷积替代传统卷积的卷积方式，极大的减少了模型所占用的内存和缩短模型的检测时间。同时经过对比实验发现，只在译码阶段采用深度轻量化卷积替代传统卷积不仅也能够极大的减少内存，也能保持和未采用轻量化结构的网络模型相近的精度。

2、通过设置加载SE注意力机制融入深度可分离卷积的过程中，这种操作不但能够使模型的参数量大幅度降低，同时能够使网络在特征学习过程中更加关注重要特征，然后将每一层的解译码模块采用短连接的方式连接起来，来得到不同尺寸的特征层信息，这样就能使得网络模型在学习遥感图像云层边缘特征时，对尺度特征更加关注，从而提高了云检测的精度。

附图说明

图1为一种轻量化的遥感图像云检测方法的示意图；

图2为一种轻量化的遥感图像云检测方法的基于轻量化结构的遥感图像云检测网络示意图；

图3为一种轻量化的遥感图像云检测方法的下采样模块结构示意图；

图4为一种轻量化的遥感图像云检测方法的上采样模块结构示意图；

图5为一种轻量化的遥感图像云检测方法的深度轻量化模块结构示意图；

图6为一种轻量化的遥感图像云检测方法的通道分离卷积过程的结构示意图；

图7为一种轻量化的遥感图像云检测方法的SE注意力机制结构示意图；

图8为一种轻量化的遥感图像云检测方法的ghost模块结构示意图；

图9为一种轻量化的遥感图像云检测方法的三卷积层模块结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

参照图1-9，一种轻量化的遥感图像云检测方法，所述方法包括如下步骤：

步骤一，从地理空间数据云网站下载样本集，其中所述样本集具体分为由从数据集选取带有标签且含有云区域遥感图像组成的训练样本集和由其余M幅遥感图像以及标签组成的测试样本集；

进一步地，所述步骤一中的训练样本集是先从数据集中选取n幅带有标签且含有云区域的遥感图像：

W＝{(G₁,L₁),(G₂,L₂),···,(G_n,L_n)

并将从W中随机选取O幅遥感图像标签组成的，数据集由高分一号的52272幅遥感图像中组成，从中抽取3068幅带有标签且含有云区域的遥感图像以及其人工标注的标签作为训练的训练样本集，

将由其余M幅遥感图像以及标签组成测试样本集：

其中K≥3000,G_n表示第n幅图像，L_n表示第n幅图像的标签，

表示第O幅训练图像，

表示第O幅图像的标签，

表示第m幅测试图像，

表示第m幅测试图像的标签，O>>m,n＝O+m；

剩下1100幅遥感图像及其标签作为测试所用的测试样本集，遥感图像的尺寸及相对应的标签大小相同，标签为二值化图像，如果该像素点为地物，那么标签分类对应的像素值为0，如果该像素点为云，那么该标签分类对应的像素值为255，高分一号数据集实现了高分辨率和大幅宽，实现无地面控制点50m图像定位精度，满足用户精细化应用需求达到国内同类卫星最高水平，在小卫星实现2×450Mbp数据传输能力，满足大数据量应用需求，达到同类卫星规模最高水平，在国内民用小卫星上首次具备中继测控能力，可实现境外时段的测控与管理。

步骤二，搭建基于深度轻量化卷积及SE注意力机制的遥感图像云检测网络框架，所述框架由编码模块、译码模块和短连接组成；

进一步地，如图2所示，所述步骤二中的编码模块包含4层，第一层到第四层每一层都包含三次深度轻量化卷积模块和一次下采样模块，并且下采样的结果将会输入下一层的输入，所述步骤二中的译码模块也包含四层，每一层级联了三次的常规卷积和上采样模块，并且上采样的输出会成为下一层的输入；经过编码的第一，二，三，四层深度轻量化卷积模块的特征层会分别和经过译码的第四，三，二，一层上采样模块的特征层会拼接组成一个新的特征层进入译码模块中的传统卷积模块，最后一层的译码模块之后级联了一个分类卷积层。

进一步地，如图3所示，所述下采样模块包含多个卷积层、批量标准化层、ReLu激活函数以及最大池化层，其中最大池化层能够降维、去除冗余信息、对特征进行压缩、简化网络复杂度、减小计算量，卷积层用于提取特征，批归一化层的加入能够避免训练过程中梯度弥散和梯度***的现象，ReLu激活函数的引入可以增加模型的泛化能力，同时也能解决梯度消失的问题。

进一步地，如图4所示，所述上采样模块包含多个卷积层、批量标准化层，ReLu激活函数以及上采样层，上采样层将特征层转换为原来的尺寸；

深度轻量化卷积模块的总体结构如图5所示，深度轻量化模块包括深度可分离卷积层，ReLu激活函数，Ghost模块，批量标准化层以及SE注意力机制，如图6所示深度轻量化卷积首先采用一个3*3卷积层将图像RGB通道分离然后分别进行卷积运算生成特征图层，这种操作能够极大的减少在卷积过程中的参数量和计算量；

本发明所构建的遥感图像云检测网络使用深度轻量化卷积替代传统卷积的卷积方式，极大的减少了模型所占用的内存和缩短模型的检测时间，同时经过对比实验发现，只在译码阶段采用深度轻量化卷积替代传统卷积不仅也能够极大的减少内存，也能保持和未采用轻量化结构的网络模型相近的精度。

下一层SE注意力机制如图7所示，SE注意力机制包括全局平均池化层，全连接层，ReLu激活函数，Sigmoid激活函数，SE注意力机制首先通过全局平均池化层将特征图先挤压成1×1×C的形状，其中C为输入特征层的通道数，然后经过第一层全连接层将通道联结在一起，这一步是为了降维减少计算参数量，再经过第二个全连接层升维到原来的维度，这种操作可以增加更多的非线性处理过程，可以拟合通道之间复杂的相关性，再接一个Sigmoid层，得到使得特征大小归一化到0到1之间，把注意力特征图与需要加强空间位置信息的特征进行相乘，从而得到不同通道之间重要性不同的特征图。

通过设置加载SE注意力机制融入深度可分离卷积的过程中，这种操作不但能够使模型的参数量大幅度降低，同时能够使网络在特征学习过程中更加关注重要特征，然后将每一层的解译码模块采用短连接的方式连接起来，来得到不同尺寸的特征层信息，这样就能使得网络模型在学习遥感图像云层边缘特征时，对尺度特征更加关注，从而提高了云检测的精度。

进一步地，如图8所示，所述Ghost模块将传统的1×1卷积操作分解为两个部分实施，1×1卷积和3×3的深度可分离卷积。首先用一半特征通道实施1×1的卷积操作得到相应特征图，然后再对特征图做3×3深度可分离卷积得到另一部分特征图，最后将两次卷积操作得到的特征拼接在一起。通过这种操作能够使传统1×1的卷积操作的参数量大幅度降低，并且将传统卷积操作中固有的冗余特征图也运用了起来，实现特征资源的合理运用，达成了轻量化的结果。

深度轻量化参数卷积计算公式变化如下：

D_K×D_K×M×N

D_K×D_K×M+M×N

深度轻量化卷积总计算量计算公式变化如下：

D_F·D_F·D_K·D_K·M·N

D_K·D_K·M·D_F·D_F+M·N·D_F·D_F

减少的总计算量如下：

D_K×D_K×M×N为传统卷积的参数量计算公式，D_K×D_K×M+M×N为深度轻量化卷积的参数量计算公式，D_F·D_F·D_K·D_K·M·N+D_K·D_K·M·D_F·D_F+M·N·D_F·D_F为深度轻量化的总计算量的计算公式；其中D_K表示卷积核尺寸,D_F为特征层尺寸，M为输入通道的数量，N为输出通道的数量。

如图9所示，卷积模块采用连续三次的卷积层，批归一化层，ReLu激活层能够使网络在编码阶段提取到足够多的特征，避免在译码阶段出现特征消失或者特征量不足导致的精度降低现象。

进一步地，所述步骤二中遥感图像云检测出现的损失进行定义，其中遥感图像云检测损失函数：

L＝L₁+L₂

其中L为总的损失函数，L1为CE_LOSS函数，L2为DICE_LOSS函数，x为预测值，cls为真实类别，大括号里面计算了样本在真实类别上的概率，X，Y分别为训练遥感图像的预测结果和遥感图像相对应的标签。

步骤三，对遥感图像云检测网络进行迭代训练；

进一步地，所述步骤三中迭代训练的具体训练步骤为：

S1,设置初始化迭代次数为t,最大迭代次数为T，t＝1,T≥100；

S2,将训练样本集作为遥感图像云检测网络的输入进行前向传播，经过隐藏层后得到预测结果X，将训练样本集作为遥感图像云检测网络的输入进行前向传播的过程，在编码模块阶段通过每一层级联的卷积层能够提取大量的特征信息，然后每一层级联的下采样层能够丰富多尺寸的特征图信息，并且上一层下采样的输出，作为下一层卷积层的输入，再通过短连接的方式将编码阶段提取的特征信息拼接在译码阶段的卷积层，通过深度轻量化卷积层能够大幅度的减少计算所占用的内存的同时能够保证提取到了足够的特征信息，在通过最后一个深度轻量化卷积层之后级联一个分类卷积层得到了预测结果集；

S3,采用后向传播算法,通过L损失函数计算预测结果与训练图像相对应的标签的分类误差θ，然后用Adam优化器降低分类误差θ，对模型的卷积核权重参数ω^t和全连接层的连接参数v^t进行更新，最终得到经过迭代t次后的模型权重参数，更新公式分别为：

其中η为步长,通常η＝1×10^-5,ω^t+1,v^t+1分别表示ω^t,v^t的更新结果，

表示偏导结果。

S4,判断t＝T是否成立，成立则中断训练，否则进行迭代训练。

步骤四，获取遥感图像云检测预测结果。

进一步地，所述步骤四中获取遥感图像云检测预测结果的获取方式为，在步骤一中的测试样本集m输入训练好的遥感图像云检测网络中进行预测，得到最后模型预测的结果，其中预测结果集表示每个像素为云的概率的云检测结果图像，云检测结果图像中的每个像素代表了输入图像的对应像素的检测结果，如果该像素检测为云像素，则云检测结果中的对应位置像素为255，否则为0。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种轻量化的遥感图像云检测方法，其特征在于：所述方法包括如下步骤：

步骤一，从地理空间数据云网站下载样本集，其中所述样本集具体分为由从数据集选取带有标签且含有云区域遥感图像组成的训练样本集和由其余M幅遥感图像以及标签组成的测试样本集；

步骤二，搭建基于深度轻量化卷积及SE注意力机制的遥感图像云检测网络框架，所述框架由编码模块、译码模块和短连接组成；

步骤三，对遥感图像云检测网络进行迭代训练；

步骤四，获取遥感图像云检测预测结果。

2.根据权利要求1所述的一种轻量化的遥感图像云检测方法，其特征在于：所述步骤一中的训练样本集是先从数据集中选取n幅带有标签且含有云区域的遥感图像：

W＝{(G₁,L₁),(G₂,L₂),···,(G_n,L_n)

并将从W中随机选取O幅遥感图像标签组成的，

将由其余M幅遥感图像以及标签组成测试样本集：

其中K≥3000,G_n表示第n幅图像，L_n表示第n幅图像的标签，

表示第O幅训练图像，

表示第O幅图像的标签，

表示第m幅测试图像，

表示第m幅测试图像的标签，O>>m,n＝O+m。

3.根据权利要求1所述的一种轻量化的遥感图像云检测方法，其特征在于：所述步骤二中的编码模块包含4层，第一层到第四层每一层都包含三次深度轻量化卷积模块和一次下采样模块，并且下采样的结果将会输入下一层的输入。

4.根据权利要求3所述的一种轻量化的遥感图像云检测方法，其特征在于：所述步骤二中的译码模块也包含四层，每一层级联了三次的常规卷积和上采样模块，并且上采样的输出会成为下一层的输入；经过编码的第一，二，三，四层深度轻量化卷积模块的特征层会分别和经过译码的第四，三，二，一层上采样模块的特征层会拼接组成一个新的特征层进入译码模块中的传统卷积模块；最后一层的译码模块之后级联了一个分类卷积层。

5.根据权利要求4所述的一种轻量化的遥感图像云检测方法，其特征在于：所述下采样模块包含多个卷积层、批量标准化层、ReLu激活函数以及最大池化层。

6.根据权利要求5所述的一种轻量化的遥感图像云检测方法，其特征在于：所述上采样模块包含多个卷积层、批量标准化层，ReLu激活函数以及上采样层；

深度轻量化模块包括深度可分离卷积层，relu激活函数，Ghost模块，批量标准化层以及SE注意力机制，SE注意力机制包括全局平均池化层，全连接层，ReLu激活函数，Sigmoid激活函数。

7.根据权利要求6所述的一种轻量化的遥感图像云检测方法，其特征在于：所述Ghost模块将传统的1×1卷积分解为两个部分，第一部分对一半通道的卷积层采取1×1的卷积操作后，再进行3×3的卷积操作，第二部分将两次卷积得到的特征图拼接在一起实现替换传统1×1卷积操作的结果，实现轻量化。

8.根据权利要求1所述的一种轻量化的遥感图像云检测方法，其特征在于：所述步骤二中遥感图像云检测出现的损失进行定义，其中遥感图像云检测损失函数：

L＝L₁+L₂

其中L为总的损失函数，L1为CE_LOSS函数，L2为DICE_LOSS函数，x为预测值，cls为真实类别，大括号里面计算了样本在真实类别上的概率，X，Y分别为训练遥感图像的预测结果和遥感图像相对应的标签。

9.根据权利要求1所述的一种轻量化的遥感图像云检测方法，其特征在于：所述步骤三中迭代训练的具体训练步骤为：

S1,设置初始化迭代次数为t,最大迭代次数为T，t＝1,T≥100；

S2,将训练样本集作为遥感图像云检测网络的输入进行前向传播，经过隐藏层后得到预测结果X；

S3,采用后向传播算法,通过L损失函数计算预测结果与训练图像相对应的标签的分类误差θ，然后用Adam优化器降低分类误差θ，对模型的卷积核权重参数ω^t和全连接层的连接参数v^t进行更新，最终得到经过迭代t次后的模型权重参数；

S4,判断t＝T是否成立，成立则中断训练，否则进行迭代训练。

10.根据权利要求1所述的一种轻量化的遥感图像云检测方法，其特征在于：所述步骤四中获取遥感图像云检测预测结果的获取方式为，在步骤一中的测试样本集m输入训练好的遥感图像云检测网络中进行预测，得到最后模型预测的结果。

Images