CN116030346A

CN116030346A - 基于马尔可夫判别器的非成对弱监督云检测方法及***

Info

Publication number: CN116030346A
Application number: CN202310005815.8A
Authority: CN
Inventors: 杨秀红; 苟田坤; 许�鹏; 金海燕; 吕志勇
Original assignee: Xian University of Technology
Current assignee: Xian University of Technology
Priority date: 2023-01-04
Filing date: 2023-01-04
Publication date: 2023-04-28

Abstract

本发明涉及遥感图像处理领域，具体公开了一种基于马尔可夫判别器的非成对弱监督云检测方法及***，包括：通过获取有云遥感图像和无云遥感图像，并将其作为训练集，构建云检测网络，从有云遥感图像中选取第一样本输入云检测网络，进行不准确监督，生成粗略置信图；从无云遥感图像中选取第二样本输入云检测网络，进行不准确监督，并通过学习第二样本的先验特征来修正粗略置信图，然后进行反向传播，更新云检测网络的网络参数，得到训练好的云检测网络，根据训练好的云检测网络，确定最终置信图，基于最终置信图确定二值云检测结果。本发明中的上述方案解决了成对监督必须使用成对标签和因像素级标签不足导致分割精度不高的问题。

Description

基于马尔可夫判别器的非成对弱监督云检测方法及***

技术领域

本发明涉及遥感图像处理领域，特别是涉及一种基于马尔可夫判别器的非成对弱监督云检测方法及***。

背景技术

随着遥感技术的快速发展，利用遥感图像获取地球空间信息颇有研究意义和应用价值。但是，遥感图像极易受到云层覆盖的影响，导致部分信息丢失，影响后续目标识别或检测等任务的效果。为了解决这个问题，近年来提出了许多云检测方法，大致可以分为两类：一类是基于传统的数学及统计学分析的图形学方法，另外一类是基于数据驱动的深度学习算法。其中，基于传统的数学及统计学分析的图形学方法大致又可以分为三类：基于高光谱信息的方法、基于阈值的方法和基于机器学习分类的方法。基于高光谱信息的方法利用高光谱遥感图像的多波段信息来检测云区域，从而高度依赖传感器模型，不能使用类似的假设推广到不同的传感器上，并且此方法不适合处理RGB遥感图像；基于阈值的方法有单一阈值、自动云层覆盖评估(Automated Cloud Cover Assessment，ACCA)、双通道动态阈值、通道综合运算、Fmask云检测算法等。这些方法有一个共同存在的问题即易受地理环境的影响。基于机器学习分类的方法不需要确定图像的阈值，近年来越来越多地被应用于云区域检测。然而，基于机器学习的方法须手动选择有利的特征，使得基于经典机器学习的方法难以更加高效地提取遥感图像更高级别的语义信息。随着场景的复杂化，基于机器学习的方法的精度也会随之降低。

使用基于数据驱动的深度学习算法检测云区域不需要人工选择云特征，而是利用卷积神经网络(Convolutional Neural Networks,CNN)对云特征进行自动提取。很多基于深度学习的遥感云检测方法将遥感图像切分为多个遥感图像块，并将云检测任务建模为图像分类问题，然后利用CNN进行图像特征提取，从而实现云检测。这类方法精度比基于传统的数学及统计学分析的图形学方法高，但是当遥感图像同时包含云和无云的情况下会造成较大误差。

除此之外，大部分深度学习模型都使用监督学习来训练，这类模型对云遥感图像及其对应的标签值依赖性很强，需要花费大量的人力资源才能获得像素级精细的标签值。而成对的、像素级人工标记的标签图像的获取代价非常昂贵，几乎成为制约这类方法发展的瓶颈问题。

为了缓解因像素级标签不足导致分割精度不高的问题，许多基于弱监督学习的云检测方法不断被提出。通过生成对抗网络(Generative Adversarial Network,_GAN)就可以生成大量用来训练的含云遥感图像，从而避免了大量的人工标注。交错感知自编码器可以整合异构信息，不依赖标签数据来提高两类数据的联合分割性能。上述方法在一定程度上缓解了过度依赖标签值的问题，但仍不能满足目前通过云检测获取地球空间信息的需求。

发明内容

本发明的目的是提供一种基于马尔可夫判别器的非成对弱监督云检测方法及***，可以摆脱成对监督必须使用成对标签和因像素级标签不足导致图像分割精度不高的问题，得到更精准的云检测结果。

为实现上述目的，本发明提供了如下方案：

一种基于马尔可夫判别器的非成对弱监督云检测方法，所述云检测方法包括：

步骤1：获取有云遥感图像和无云遥感图像，并将所述有云遥感图像和无云遥感图像作为训练集；

步骤2：设置云检测网络参数；

步骤3：基于所述云检测网络参数构建云检测网络；

步骤4：将所述有云遥感图像的标签预定义为全0，所述无云遥感图像的标签预定义为全1；

步骤5：从所述有云遥感图像中选取m个有云图作为第一样本输入所述云检测网络，以标签均为0进行不准确监督，计算第一交叉熵损失，并生成粗略置信图；

步骤6：从所述无云遥感图像中选取m个无云图作为第二样本输入所述云检测网络，以标签均为1进行不准确监督，计算第二交叉熵损失，并通过学习所述第二样本的先验特征来修正所述粗略置信图；

步骤7：基于所述第一交叉熵损失和所述第二交叉熵损失进行反向传播更新所述云检测网络的网络参数；

步骤8：重复步骤2-步骤7，直到所述云检测网络训练完毕，得到训练好的云检测网络；

步骤9：将待检测的有云遥感图像输入到所述训练好的云检测网络，得到最终置信图；

步骤10：基于所述最终置信图确定二值云检测结果。

优选地，所述云检测网络为光谱归一化马尔可夫判别器，所述马尔可夫判别器具体包括：第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一光谱归一化层、第二光谱归一化层、第三光谱归一化层、第四光谱归一化层以及第五光谱归一化层；所述第一卷积层、第一光谱归一化层、第二卷积层、第二光谱归一化层、第三卷积层、第三光谱归一化层、第四卷积层、第四光谱归一化层、第五卷积层以及第五光谱归一化层依次连接。

优选地，所述第一光谱归一化层、第二光谱归一化层、第三光谱归一化层、第四光谱归一化层、第五光谱归一化层均采用以下公式：

其中，W为当前层网络的权重参数矩阵，σ_(W)为权值参数矩阵的最大奇异值。

优选地，所述第一交叉熵损失的损失函数为：

其中，D^sn代表光谱归一化马尔可夫判别器，C代表小批量样本的有云遥感图,

表示所述第一样本采样自有云遥感图像概率。

优选地，所述第二交叉熵损失的损失函数为：

其中，D^sn代表光谱归一化马尔可夫判别器，N代表小批量样本的无云遥感图，

表示所述第二样本采样自无云遥感图像概率。

优选地，所述训练集为未标记云区域且非成对的有云遥感图像和无云遥感图像。

优选地，所述基于所述最终置信图确定二值云检测结果具体包括以下步骤：

获取前景图像与背景图像最佳阈值；

根据所述最佳阈值对置信图进行二值化得到云检测结果。

优选地，所述获取前景图像与背景图像最佳阈值具体包括以下步骤：

计算前景图像和背景图像的方差：g＝w₀×w₁×(u₀-u₁)²；其中，前景点数占图像比例为w₀，平均灰度为u₀；背景点数占图像比例为w₁，平均灰度为u₁；

将所述前景图像和背景图像的方差最大时对应的灰度值作为前景图像与背景图像最佳阈值。

优选地，所述根据所述最佳阈值对置信图进行二值化得到云检测结果具体采用以下公式：

其中，f(x,y)为置信图，T为前景图像与背景图像的最佳阈值。

基于本发明中的上述方法，本发明还提供了一种基于马尔可夫判别器的非成对弱监督云检测***，所述云检测***包括：

图像获取及划分模块，用于获取有云遥感图像和无云遥感图像，并将所述有云遥感图像和无云遥感图像作为训练集；

云检测网络参数确定模块，用于设置云检测网络参数；

云检测网络构建模块，用于基于所述云检测网络参数构建云检测网络；

标签定义模块，用于将所述有云遥感图像的标签预定义为全0，所述无云遥感图像的标签预定义为全1；

第一交叉熵损失计算及粗略置信图生成模块，用于从所述有云遥感图像中选取m个有云图作为第一样本输入所述云检测网络，以标签均为0进行不准确监督，计算第一交叉熵损失，并生成粗略置信图；

第二交叉熵损失计算及粗略置信图修正模块，用于从所述无云遥感图像中选取m个无云图作为第二样本输入所述云检测网络，以标签均为1进行不准确监督，计算第二交叉熵损失，并通过学习所述第二样本的先验特征来修正所述粗略置信图；

云检测网络参数更新模块，用于基于所述第一交叉熵损失和所述第二交叉熵损失进行反向传播更新所述云检测网络的网络参数；

循环训练模块，用于重复云检测网络参数确定模块、云检测网络构建模块、标签定义模块、第一交叉熵损失计算及粗略置信图生成模块、第二交叉熵损失计算及粗略置信图修正模块以及云检测网络参数更新模块，直到所述云检测网络训练完毕，得到训练好的云检测网络；

测试模块，用于将待检测的有云遥感图像输入到所述训练好的云检测网络，得到最终置信图；

云检测结果获取模块，用于基于所述最终置信图确定二值云检测结果。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明提供了一种基于马尔可夫判别器的非成对弱监督云检测方法及***。通过获取有云遥感图像和无云遥感图像，并将有云遥感图像和无云遥感图像作为训练集，设置云检测网络参数并构建云检测网络，将有云遥感图像的标签预定义为全0，无云遥感图像的标签预定义为全1，从有云遥感图像中选取m个有云图作为第一样本输入所述云检测网络，以标签均为0进行不准确监督，计算第一交叉熵损失，并生成粗略置信图，从所述无云遥感图像中选取m个无云图作为第二样本输入所述云检测网络，以标签均为1进行不准确监督，计算第二交叉熵损失，并通过学习所述第二样本的先验特征来修正所述粗略置信图，基于所述第一交叉熵损失和所述第二交叉熵损失进行反向传播更新所述云检测网络的网络参数，重复训练过程，直到云检测网络训练完毕，得到训练好的云检测网络，并将待检测的有云遥感图像输入到训练好的云检测网络，得到最终置信图，基于最终置信图确定二值云检测结果。本申请不需要大量的逐像素标记是否为云的标签数据，仅通过有云遥感图像及无云遥感图像完成训练，解决了成对监督必须使用成对标签和因像素级标签不足导致分割精度不高的问题，得到了更精确的云检测结果。

此外，本申请基于马尔可夫判别器，分别输入有云遥感图像和无云遥感图像进行分类，得到置信图，再使用阈值分割将概率分布图转化为由0和1组成的掩码，得到精细检测结果，并采用弱监督训练的方式能够降低构建云检测的网络成本，并得到更精确的云检测网络模型。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所提供的一种基于马尔可夫判别器的非成对弱监督云检测方法流程图；

图2为本发明所提供的一种基于马尔可夫判别器的非成对弱监督云检测***结构示意图；

图3为本实施例云检测网络训练及测试示意图；

图4为本实施例云检测结果示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于马尔可夫判别器的非成对弱监督云检测方法及***，可以解决现有技术中图像分割精度不高，遥感图像中云检测方法缺乏像素级标签和过度依赖像素级标签，使云遥感图像检测不准确的问题。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参见附图图1，本发明提供了一种基于马尔可夫判别器的非成对弱监督云检测方法，所述云检测方法包括：

步骤1：获取有云遥感图像和无云遥感图像，并将所述有云遥感图像和无云遥感图像作为训练集。本实施例中所述训练集中有云遥感图像和无云遥感图像的数量分别占数据总数的20％。

具体地，所述训练集为未标记云区域且非成对的的有云遥感图像和无云遥感图像。所述非成对的遥感图像为随机选择的且没有被成对标记的有云遥感图像和无云遥感图像。

具体地，为了便于网络训练，可以对云遥感图像通过滑动窗口进行分割，得到多个遥感图像。

步骤2：设置云检测网络参数。本实施例中，所述云检测网络参数如表1所示。

表1云检测网络参数

Layer	Kernel	Input	Output	Stride	Padding
						Conv_1	4×4	3	64	2	1
Conv_2	4×4	64	128	2	1
						Conv_3	4×4	128	256	2	1
Conv_4	4×4	256	512	2	1
						Conv_5	4×4	512	1	2	1

步骤3：基于所述云检测网络参数构建云检测网络。

具体地，参见附图图3，所述附图图3为本实施例云检测网络训练及测试示意图，所述云检测网络为光谱归一化马尔可夫判别器，所述马尔可夫判别器具体包括：

第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一光谱归一化层、第二光谱归一化层、第三光谱归一化层、第四光谱归一化层以及第五光谱归一化层；所述第一卷积层、第一光谱归一化层、第二卷积层、第二光谱归一化层、第三卷积层、第三光谱归一化层、第四卷积层、第四光谱归一化层、第五卷积层以及第五光谱归一化层依次连接。在本实施例中，所述第一卷积层、第二卷积层、第三卷积层、第四卷积层的激活函数为LeakyRelu，第五卷积层为s型激活函数，优化算法为Adam。迭代次数为200次，学习率为0.0001。

参见附图图3，所述马尔可夫判别器将遥感图像映射到N×N矩阵中，矩阵的每个位置表示图像对应位置真假的概率，其中，马尔可夫判别器与待测图像的维度相同。

本实施例中所述云检测网络的数据集为预设标签，并非成对的逐像素标注云区域的标签，因此网络的训练可能不稳定，采用SN-GAN网络中的谱范数归一化策略来提高判别器的训练稳定性，即通过在每一个卷积层后面加一个光谱归一化层，使判别器满足Lipschitz连续性。

具体地，所述第一光谱归一化层、第二光谱归一化层、第三光谱归一化层、第四光谱归一化层、第五光谱归一化层均采用以下公式，来提高网络训练稳定性：

步骤4：将所述有云遥感图像的标签预定义为全0，所述无云遥感图像的标签预定义为全1。

具体地，所述云检测网络为有云遥感图像提供不准确的监督信息，即将有云遥感图像的整张标签都设置为0，实质上是假设整幅图像都被云覆盖，将无云遥感图像整张标签都设置为1，实际上指定无云区域的先验信息。

步骤5：从所述有云遥感图像中选取m个有云图作为第一样本{c⁽¹⁾,………c^(m)}输入至所述云检测网络，以标签均为0进行不准确监督，计算第一交叉熵损失，并生成粗略置信图。

其中，所述第一交叉熵损失的损失函数为：

表示所述第一样本采样自有云遥感图像概率。

步骤6：从所述无云遥感图像中选取m个无云图作为第二样本{f⁽¹⁾,………f^(m)}输入所述云检测网络，以标签均为1进行不准确监督，计算第二交叉熵损失，并通过学习所述第二样本的先验特征来修正所述粗略置信图，使粗略置信图中无云区域的值偏向于1。

其中，所述第二交叉熵损失的损失函数为：

表示所述第二样本采样自无云遥感图像概率。

通过第一交叉损失函数和第二交叉损失函数确定马尔可夫判别器的总损失函数，具体表达式如下：

其中，λ₁，λ₂为权重系数。

本实施例中，设置m＝1，λ₁＝1，λ₂＝2，所述有云图和无云图的大小均为512px*512px。

步骤7：基于所述第一交叉熵损失和所述第二交叉熵损失进行反向传播更新所述云检测网络的网络参数。

具体地，通过降低其随机梯度来更新云检测网络参数θ。

步骤8：重复步骤2-步骤7，直到所述云检测网络训练完毕，得到训练好的云检测网络。

具体地，令迭代次数为E_max，当第一次迭代的训练次数为T_max时，训练集训练完毕，当第E_max次迭代的训练次数为T_max时，云检测网络训练完毕，在本实施例中设置E_max＝20，T_max＝20。

本实施例中云检测网络采用弱监督训练的方式，每次迭代所采用的训练集相同。

具体地，参见附图图3中的训练部分，将尺寸为512px*512px的有云图和无云图输入至云检测网络中进行训练，每训练一次均先将尺寸下采样至225px*225px，再上采样至512px*512px与待训练的图像尺寸一致。

步骤9：将待检测的有云遥感图像输入到所述训练好的云检测网络，得到最终置信图。

具体地，参见附图图3中的测试部分，将待检测的有云遥感图像即图3中的侧视图，尺寸为512px*512px，输入至训练好的云检测网络中进行检测，检测过程中均先将检测图像尺寸下采样至225px*225px，再上采样至512px*512px得到最终置信图，便于观察。

步骤10：基于所述最终置信图确定二值云检测结果。

具体步骤如下：

步骤10.1：获取前景图像与背景图像最佳阈值。

步骤10.2：根据所述最佳阈值对置信图进行二值化得到云检测结果。

其中，步骤10.1中获取前景图像与背景图像最佳阈值具体包括以下步骤：

具体地，上述前景图像和背景图像的方差公式，由如下公式联立获得：

u＝w₀×u₀+w₁×u₁

g＝w₀×(u₀-u)²+w₁×(u₁-u)²

其中，前景点数占图像比例为w₀，平均灰度为u₀，背景点数占图像比例为w₁，平均灰度为u₁，图像的总平均灰度为u。

当前景图像和背景图像的方差g最大时，前景图像和背景图像的差异最大，此时整幅图像的灰度值为前景图像与背景图像最佳阈值，将所述前景图像与背景图像最佳阈值定义为T。

其中，步骤10.2中，具体使用OTSU阈值方法对置信图进行分割得到云检测结果，其中，OTSU阈值方法是一种使用最大类间方差自动确定阈值的方法，是一种基于全局的二值化算法，步骤10.2具体采用以下公式：

其中，g(x,y)表示云检测结果，f(x,y)为置信图，T为前景图像与背景图像的最佳阈值。

具体的云检测结果参见附图图4，左半部分为待测图像，右半部分为本申请最终获得的云检测结果。

具体地，所述最终置信图上每一个位置上的数值代表待测图像同位置点是否为云的概率。

参见附图图2，基于上述提到的方法，本申请还提供了一种基于马尔可夫判别器的非成对弱监督云检测***，所述云检测***包括：图像获取及划分模块、云检测网络参数确定模块、云检测网络构建模块、标签定义模块、第一交叉熵损失计算及粗略置信图生成模块、第二交叉熵损失计算及粗略置信图修正模块、云检测网络参数更新模块、循环训练模块、测试模块、云检测结果获取模块。

其中，图像获取及划分模块11用于获取有云遥感图像和无云遥感图像，并将所述有云遥感图像和无云遥感图像作为训练集。

云检测网络参数确定模块12用于设置云检测网络参数。

云检测网络构建模块13用于基于所述云检测网络参数构建云检测网络；

标签定义模块14用于将所述有云遥感图像的标签预定义为全0，所述无云遥感图像的标签预定义为全1。

第一交叉熵损失计算及粗略置信图生成模块15用于从所述有云遥感图像中选取m个有云图作为第一样本输入所述云检测网络，以标签均为0进行不准确监督，计算第一交叉熵损失，并生成粗略置信图。

第二交叉熵损失计算及粗略置信图修正模块16用于从所述无云遥感图像中选取m个无云图作为第二样本输入所述云检测网络，以标签均为1进行不准确监督，计算第二交叉熵损失，并通过学习所述第二样本的先验特征来修正所述粗略置信图。

云检测网络参数更新模块17用于基于所述第一交叉熵损失和所述第二交叉熵损失进行反向传播更新所述云检测网络的网络参数。

循环训练模块18用于重复云检测网络参数确定模块、云检测网络构建模块、标签定义模块、第一交叉熵损失计算及粗略置信图生成模块、第二交叉熵损失计算及粗略置信图修正模块以及云检测网络参数更新模块，直到所述云检测网络训练完毕，得到训练好的云检测网络。

测试模块19用于将待检测的有云遥感图像输入到所述训练好的云检测网络，得到最终置信图。

云检测结果获取模块20用于基于所述最终置信图确定二值云检测结果。

综上所述，本发明中的基于马尔可夫判别器的非成对弱监督云检测方法及***具有以下有益效果：

1、本申请将有云遥感图像和无云遥感图像作为训练集，不需要像素级标签数据，解决了成对监督必须使用成对标签和因像素级标签不足导致分割精度不高的问题，得到了更精确的云检测结果，且操作成本较低。

2、本申请基于马尔可夫判别器，分别输入有云遥感图像和无云遥感图像进行分类，得到置信图，再使用阈值分割将概率分布图转化为由0和1组成的掩码，得到更精确的云检测网络模型。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种基于马尔可夫判别器的非成对弱监督云检测方法，其特征在于，所述云检测方法包括：

步骤2：设置云检测网络参数；

步骤3：基于所述云检测网络参数构建云检测网络；

步骤10：基于所述最终置信图确定二值云检测结果。

2.根据权利要求1所述的基于马尔可夫判别器的非成对弱监督云检测方法，其特征在于，所述云检测网络为光谱归一化马尔可夫判别器，所述马尔可夫判别器具体包括：

第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一光谱归一化层、第二光谱归一化层、第三光谱归一化层、第四光谱归一化层以及第五光谱归一化层；所述第一卷积层、第一光谱归一化层、第二卷积层、第二光谱归一化层、第三卷积层、第三光谱归一化层、第四卷积层、第四光谱归一化层、第五卷积层以及第五光谱归一化层依次连接。

3.根据权利要求2所述的基于马尔可夫判别器的非成对弱监督云检测方法，其特征在于，所述第一光谱归一化层、第二光谱归一化层、第三光谱归一化层、第四光谱归一化层、第五光谱归一化层均采用以下公式：