CN112149492A - 一种基于强化遗传学习的遥感图像精确云检测方法 - Google Patents

Abstract

本发明涉及遥感图像处理领域，提出了一种基于强化遗传学习的遥感图像精确云检测方法。该本发明提供的方法主要为：输入RGB遥感图像，对遥感图像预处理，这里主要是滤除遥感图像中的噪点。通过对像素环境状态分析，提取模型需要的像素环境状态信息，创建“状态‑动作”策略数据，引入奖惩策略，对种群初始化后计算种群中每个个体的适应度得分。再下面是遗传进化部分，通过迭代轮盘赌、交叉、变异来不断学习“状态‑动作”策略数据，直到满足迭代结束条件，然后进行形态学改善，最后输出检测结果。本发明将强化学习和遗传算法深度结合，将强化学习的环境模拟、奖惩规则以及遗传算法的寻优策略引入云检测任务，开辟像素级云检测任务的新途径。

Description

一种基于强化遗传学习的遥感图像精确云检测方法

技术领域

本发明属于卫星遥感图像技术领域，尤其涉及一种基于强化遗传学习的遥感图像精确云检测方法。

背景技术

随着遥感和太空技术的快速发展，卫星遥感图像以其覆盖面积大、时间有效性强、数据地理综合性好等优点，越来越多地应用到关系国计民生的各个领域。根据国际卫星云气候计划流量数据(ISCCP-FD)提供的全球云量数据显示，地球表面66％以上区域经常被云覆盖。由于光学遥感数据中大量云的存在，影响了遥感图像的质量，从而降低了图像的数据利用率，使得我们获得的地物信息衰减甚至损失，对遥感影像产品的后续识别、分类、解译以及生产时空无缝产品造成巨大挑战，因此，精确云检测已成为光学遥感图像处理过程中的一个重要环节，是首需解决的问题之一。

尽管云检测技术经过了长足的改进和发展，但在一些诸如变化检测、地面目标识别等需要精确检测云区域的领域仍有一些问题有待解决。虽然多时相算法在大部分情况下可能拥有比单日期云检测算法更高的精度，但必要的晴空参考图像或者高密度时间序列数据限制了其应用，而单日期云检测算法以其简单的图像要求应用范围更广，所以在这里我们只针对单日期云检测算法。一般来说，针对光学遥感图像，单日期云检测方法主要集中在利用光谱反射特性的物理法，从遥感图像本身出发的纹理统计法，以及机器学习这几个方面。

物理法主要利用云和地物的光谱反射特性不同来实现云检测。在可见光通道上，云的反射率高于植被、水体、土壤等下垫面地物的反射率，物理法通常使用阈值来区分云像素和其他像素。物理法具有模型简单、计算速度快的优点，但是遥感图像中存在大量和云易混的地物类型，例如沙漠戈壁、冰雪、海洋镜面反射等，这些地物的反射率和云相近，而且薄云区域是半透明的，只是遮挡了一部分地物信息，存在光谱混合现象，这些都会使以光谱反射特点为基础的物理法的检测精度降低，特别是ACCA和Fmask方法更是需要足够多的谱段信息来支撑，谱段不够的遥感数据无法使用。

纹理统计法通过纹理的模式和空间分布，确定纹理的类别，从而实现云和地物的分类。纹理统计法在一定程度上弥补了物理法的不足，提高了云检测精度，但是其往往计算复杂，运行时间长，且由于对比度、分形维数等特征主要是由人工设计，而薄云区域的这些特征往往介于厚云特征和地物特征之间，很容易判别错误，使算法泛化能力得不到保证。

为了避免人为手工设计特征，提高云检测算法的泛化能力，能够自动学习特征的机器学习技术被广泛的应用到云检测任务中，包括人工神经网络、支持向量机、聚类、随机森林、深度学习等等。随着计算机技术的发展，基于深度学习的云检测算法逐渐成为研究热点。虽然深度学习方法可以自动提取特征，通过模型的自我学习将人为干预降到最低，但是深度学习需要一个庞大的数据集去学习，这在遥感领域目前还难以实现。由于云区域形状不固定，大小随机且云区边缘复杂，而深度学习框架中又不可避免的多次使用池化操作，所以深度学习方法对于云区域特别是薄云区域复杂的边沿检测不够精细。

不管是物理法、纹理统计法还是深度学习等现有的云检测方法，在薄云区域的精确检测方面都还存在各自难以解决的问题。厚云区域的特征明显，大多数云检测算法都能对厚云区域准确检测。薄云区域和厚云区域不同，薄云衰减了光学传感器采集的信号，并没有完全阻挡，被薄云污染的像素仍然保留了一些地物信息，这就导致薄云区域中掺杂了地物光谱信息，使薄云区域裹挟了地物的特征，大大增加了检测的难度。由于在几乎所有的有云图像中广泛的随机分布着半透明的薄云，所以薄云区域检测的困难性和分布的广泛性使其成为影响云检测精度的最主要的因素。

发明内容

为解决上述问题，本发明提出一种将强化学习和遗传算法相结合的云检测算法。本方法引入奖惩规则，通过像素的环境状态信息和算法动作的不断交互，使算法不断的适应环境状态，并利用遗传算法朝着累积回报最大的方向进化。像素环境状态描述是算法能够和环境交互的前提，奖惩规则是算法的策略学习依据，进化过程是算法进行全局寻优的有力手段。

本发明提供了一种基于强化遗传学习的遥感图像精确云检测方法，包括如下步骤：

S1：图像预处理，采用中值滤波法将遥感图像中存在的噪声点过滤掉；

S2：像素环境状态因素选择，选取灰度、色调和空间三个因素；

S3：颜色空间变换，将RGB模型转换为HSV模型，得到像素的灰度和色调信息，再在灰度层或色调层上，通过对当前像素和其邻域像素关系的描述得到空间信息；

S4：像素环境状态信息融合；先得到灰度、色调和空间信息的每个状态信息向量，然后根据灰度、色调和空间信息的每个状态信息向量得到像素环境状态信息；

S5：创建“状态-动作”策略数据；

通过“状态-动作”策略获得数据集合D，数据集合D的计算根据式(1)所示，

D＝{(e₁,a₁),(e₂,a₂),…,(e_m,a_m)} (1)

其中，e为像素环境状态信息矩阵E中的元素，a表示强化遗传学习算法的执行动作，m＝pⁱ×q^j×r^k；其中，强化遗传学习算法的执行动作通过判定当前像素是云像素或非云像素，若是云像素，用1表示，若是非云像素，用0来表示；

S6：根据奖惩策略计算每个个体适应度得分，强化遗传学习算法根据当前像素环境状态做出相应执行动作，并将执行动作结果与真值图中同位置像素对比，如果执行动作结果正确，给该“状态-动作”策略加u分，u为奖励权重；如果执行动作结果错误，给该“状态-动作”策略减v分，v为惩罚权重；如果个体最终得分为负数，则将得分置为0；

S7：初始化设置，种群规模设置，使用随机数生成器来初始化种群中“状态-动作”策略数据中的动作值，使初始的状态和动作随机配对；

S8：遗传进化过程，遗传进化过程依次包括选择、交叉和变异；其中选择方法为轮盘赌，通过迭代轮盘赌、交叉、变异来不断学习“状态-动作”策略数据，直到满足迭代结束条件，然后进行形态学改善，最后输出最终的云检测结果。

优选地，设V、H、T分别表示灰度、色调和空间信息的特征向量，都属于自然数空间N，则像素环境状态信息可用这三种特征向量的直积表示为：

其中，灰度、色调和空间信息的每个状态信息向量由多个子状态信息向量的直积生成，如下：

其中，V_i为p维向量，H_j为q维向量，T_k为r维向量，则将(3)、(4)、(5)三个子式带入公式(2)，可得到像素环境状态信息的表达式：

其中i,j,k∈N，将灰度、色调和空间状态信息融合进E中，E中的每个元素都包含了灰度、色调和空间三种状态信息。

优选地，步骤S6中奖惩权重w可由公式(7)计算，环境适应度得分由公式(8)表示，

假设检测正确的像素数量为n，则公式(8)可表示为公式(9)：

其中，n为检测正确的像素数，N为总的像素数，u为奖励权重，v为惩罚权重。

优选地，步骤S8中轮盘赌包括以下几个步骤：

S81：计算出种群中每个个体的适应度得分S_i，其中i取遍种群中的每个个体；

S82：计算出每个个体被保留到下一代群体中的概率P_i；

S83：计算出每个个体的累计概率Q_i，如公式(10)所示；

S84：生成一个在[0,1]区间均匀分布的随机数r；

S85：若r＜Q₁，则选择出个体1，否则选择个体i，使得Q_i-1＜r＜Q_i成立；

S86：重复步骤S84、S85共G次，G为种群规模。

优选地，步骤S82中的概率P_i根据公式(10)计算；

其中S_i为适应度得分，i为种群中的每个个体，G为种群规模。

优选地，步骤S3中RGB模型转换为HSV模型中的转化公式如下：

C_max＝max(r,g,b) (12)

C_min＝min(r,g,b) (13)

V＝C_max (16)

其中，H表示色调；S表示颜色饱和度；V表示明度，其中,C_max为r、g、b三个通道中的灰度最大值，C_min为r、g、b三个通道中的灰度最小值，r为红色，g为绿色，b为蓝色。

优选地，步骤S1中图像预处理为对输入的RGB遥感图像进行预处理。

优选地，步骤S7中种群规模设置为90，交叉率设置为0.9，变异率设置为0.001，最大循环次数为1000，当连续10次的正确率差异值小于0.0001或者达到最大循环次数训练结束。

优选地，还包括如下步骤：S9：根据步骤S8中的选择、交叉和变异结果计算适应度得分，并计算准确率；S10：若正确率不满足结束条件，则重复步骤S8-S9；若正确率满足结束条件，则进行形态学改善，得到最终的云检测结果。

优选地，步骤S6中将执行动作结果与真值图中同位置像素对比具体为：将相同位置像素的执行动作结果和真值图对比，如果和真值图相同则执行动作正确，不同则执行动作结果错误。

与现有技术相比，本发明的有益效果是：

(1)将强化学习和遗传算法深度结合，将强化学习的环境模拟、奖惩规则以及遗传算法的寻优策略引入云检测任务，开辟像素级云检测任务的新途径。

(2)将影响像素分类的信息融合进像素环境状态中，避免手工设计具体的特征，提高本发明的检测准确性和泛化能力。

(3)学习到最优“状态-动作”策略数据后，可以快速判定当前像素是否为云像素，为实现快速像素级云检测提供保障。

(4)本发明运行模型简洁，可移植性强。适用于并行计算。

附图说明

图1为RGB模型到HSV模型转换示意图。(a)RGB模型；(b)HSV模型。

图2为轮盘赌示意图

图3为交叉示意图。(a)父代个体；(b)交叉后生成的子代个体；e_ib_i此列基因位置是随机的交叉点，交换交叉点及其后面的基因序列；

图4为变异示意图。(a)变异前个体；(b)变异后个体；e₂b₂、e_i+1b_i+1、e_m-1b_m-1列位置是随机突变的基因位。

图5为本发明检测示意图；

图6为本发明提供的基于强化遗传学习的遥感图像精确云检测方法流程图；

图7为本发明原图1的云检测结果。(a)原图1；(b)检测结果；

图8为本发明原图2的云检测结果。(a)原图2；(b)检测结果；

图9为本发明原图3的云检测结果。(a)原图3；(b)检测结果。

具体实施方式

下面结合附图针对本发明作进一步实例描述：

本发明提供了一种基于强化遗传学习的遥感图像精确云检测方法，具体包括如下步骤：

S1：图像预处理；

遥感图像中可能存在噪声点，本发明使用中值滤波将噪声点过滤掉。中值滤波是基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术，其基本原理是把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代替，让周围的像素值接近的真实值，从而消除孤立的噪声点。中值滤波对脉冲噪声有良好的滤除作用，特别是在滤除噪声的同时，能够保护信号的边缘，使之不被模糊。此外，中值滤波算法简洁，易于用工程实现。

S2：像素环境状态因素选择

像素环境状态和灰度、色调以及空间相关性密切相关。首先，遥感图像的灰度信息是最重要的信息，我们从视觉上能够区分遥感图像中的不同区域，主要就是因为遥感图像中灰度信息。其次，在RGB图像中，色调是另外一个非常重要的信息，不同的物质对不同波段的光谱反射率不同，因此遥感图像中不同的物质会呈现出不同的色调。最后，像素之间的空间信息表现了物体表面的结构属性、图像的空间信息和元素关联性，更符合人眼视觉宏观观察结果。由于遥感图像中信息复杂，单独的灰度、色调、空间信息不足以表示像素的环境状态，所以我们要将这三种因素进行融合使用。

S3：颜色空间变换

本发明提供的方法输入的是RGB遥感图像，为了得到灰度、色调和空间信息，首先要进行颜色空间变换。按照色调、饱和度和明度值建立的HSV彩色模型是其中的一种方法，其优点在于各个分量之间相关性小，其中一个分量的变化，不会影响到其他分量。通过颜色模型变换可以得到像素的灰度和色调信息，如图1所示；在灰度层或色调层上，通过对当前像素和其邻域像素关系的描述可以得到空间信息。

如图1所示，RGB模型转换到HSV模型后，H表示色调，用角度衡量；S表示颜色饱和度，颜色越饱和表示越接近光谱色，即颜色越纯；V表示明度，是颜色明亮程度的度量，即从黑到白。转换公式如下所示。

C_max＝max(r,g,b)

C_min＝min(r,g,b)

V＝C_max

S4：像素环境状态信息融合

设V、H、T分别表示灰度、色调和空间信息的特征向量，它们都属于自然数空间N。则像素环境状态信息可用这三种特征向量的直积表示为：

其中，每个状态信息向量可以由多个子状态信息向量的直积生成：

其中，V_i为p维向量，H_j为q维向量，T_k为r维向量。则将上述三个子式带入下式中，可得到像素环境状态信息的表达式：

其中i,j,k∈N。这样，我们就将状态信息融合进E中，E中的每个元素都包含了三种状态信息。

S5：创建“状态-动作”策略数据

为了将像素环境状态信息和算法建立联系。我们通过创建“状态-动作”策略数据将像素状态信息和算法执行动作联系起来。算法的执行动作只有两种情况，即判定当前像素是云像素或者非云像素，分别用1和0来表示。则所有的“状态-动作”策略可构成一个新的数据集合D，如下公式所示：

D＝{(e₁,a₁),(e₂,a₂),…,(e_m,a_m)}

其中，e为像素环境状态信息矩阵E中的元素，a表示算法的动作，m＝pⁱ×q^j×r^k。则算法可以通过“状态-动作”策略数据对不同环境状态下的像素采取与之相应的决策动作，从而建立像素环境状态信息和算法之间的联系。遗传算法的作用就是让模型自己找出一组最优的“状态-动作”策略数据。

S6：根据奖惩策略计算适应度得分

奖惩策略可以概括为：模型根据当前像素环境状态做出相应检测动作，并将检测动作结果与真值图中同位置像素对比，如果检测结果正确，给该“状态-动作”策略加u分，u为奖励权重；如果检测结果错误，给该“状态-动作”策略减v分，v为惩罚权重；如果个体最终得分为负数，则将得分置为0。步骤S6中奖惩权重w可由公式(7)计算，环境适应度得分由公式(8)表示，

假设检测正确的像素数量为n，则公式(8)可表示为公式(9)：

其中，n为检测正确的像素数，N为总的像素数，u为奖励权重，v为惩罚权重。

S7：初始化

在算法训练之初首先要进行初始化设置。在种群规模大于90时，本方法的准确度对该过程不敏感，因此，我们的种群规模设置为90。然后使用随机数生成器来初始化种群中“状态-动作”策略数据中的动作值，使初始的状态和动作随机配对。根据对不同参数设置的反复实验，我们找到适合本方法的参数组合，最终将交叉率设置为0.9，变异率设置为0.001，最大循环次数为1000。当连续10次的正确率差异值小于0.0001或者达到最大循环次数训练结束。

S8：遗传进化过程

遗传进化过程包含三部分：选择、交叉、变异。选择的目的就是从群体中选择优良个体并淘汰掉劣质个体。为了保证种群中每个个体都有被保留的机会，从而保证种群的多样化，防止算法过早收敛，我们用轮盘赌作为选择的方法，如图2所示。

步骤S8中轮盘赌包括以下几个步骤：

S81：计算出种群中每个个体的适应度得分S_i，其中i取遍种群中的每个个体；

S82：计算出每个个体被保留到下一代群体中的概率P_i；

S83：计算出每个个体的累计概率Q_i，如公式(10)所示；

S84：生成一个在[0,1]区间均匀分布的随机数r；

S85：若r＜Q₁，则选择出个体1，否则选择个体i，使得Q_i-1＜r＜Q_i成立；

S86：重复步骤S84、S85共G次，G为种群规模。

优选地，步骤S82中的概率P_i根据公式(10)计算；

交叉是为了提高算法全局搜索的能力；变异是为了避免算法陷入局部极值，防止算法出现早熟现象。在交叉和变异过程中，只对“状态-动作”策略中的动作值进行交叉和变异即可，由上述可知“状态-动作”策略长度为m＝pⁱ×q^j×r^k，如图3和图4所示。

S9：根据步骤S8中的选择、交叉和变异结果计算适应度得分，并计算准确率；

S10：形态学改善

在识别出所有的类云像素后，本发明对其进行形态学处理，以有效地消除具有大周长与面积比特征的明亮地物。形态学中的基本算子是腐蚀和膨胀，它们与物体形状直接相关。由于城市/建筑和山地冰雪通常由孤立的像素、像素线和像素矩形组成，因此它们将通过矩形或圆盘状结构元素的侵蚀去除。这种类型的侵蚀通常不能清除整个云区域，因为它们的周长与面积之比较低，形状相对较大。为了恢复云的形状，我们使用相同的结构元素放大剩余的像素来尽可能保持原始云的形状。经过形态学改善后，我们得到最终的云检测结果。

如图5所示，本发明输入原图后进行像素环境状态分析，提取出三种影响环境状态的因素，然后生成“状态-动作”策略集合，通过进化寻优学习到最佳策略，取得初步检测结果后对其形态学改善可得到最终云检测结果。

如图6所示，本发明流程可概括为：输入RGB遥感图像，对遥感图像预处理，这里主要是滤除遥感图像中的噪点。通过对像素环境状态分析，提取模型需要的像素环境状态信息，创建“状态-动作”策略数据，引入奖惩策略，对种群初始化后计算种群中每个个体的适应度得分。再下面是遗传进化部分，通过迭代轮盘赌、交叉、变异来不断学习“状态-动作”策略数据，直到满足迭代结束条件，然后进行形态学改善，最后输出检测结果。

图7至图9是本发明的云检测结果展示，其中原图和检测结果并列放置，并且在原图和结果图的相同位置我们给出细节展示。图7至图9中有将地物完全遮挡的厚云，也有模糊地物信息的半透明的薄云，通过细节部分的展示可以看出，本发明提供的遥感图像精确云检测方法在薄云区域的检测取得了良好的效果。

以上所述仅为本发明的实施例子，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于强化遗传学习的遥感图像精确云检测方法，其特征在于，包括如下步骤：

S1：图像预处理，采用中值滤波法将遥感图像中存在的噪声点过滤掉；

S2：像素环境状态因素选择，选取灰度、色调和空间三个因素；

S3：颜色空间变换，将RGB模型转换为HSV模型，得到像素的灰度和色调信息，再在灰度层或色调层上，通过对当前像素和其邻域像素关系的描述得到空间信息；

S4：像素环境状态信息融合；先得到灰度、色调和空间信息的每个状态信息向量，然后根据灰度、色调和空间信息的每个状态信息向量得到像素环境状态信息；

S5：创建“状态-动作”策略数据；

通过“状态-动作”策略获得数据集合D，数据集合D的计算根据式(1)所示，

D＝{(e₁,a₁),(e₂,a₂),…,(e_m,a_m)} (1)

其中，e为像素环境状态信息矩阵E中的元素，a表示强化遗传学习算法的执行动作，m＝pⁱ×q^j×r^k；其中，强化遗传学习算法的执行动作通过判定当前像素是云像素或非云像素，若是云像素，用1表示，若是非云像素，用0来表示；

S6：根据奖惩策略计算每个个体适应度得分，强化遗传学习算法根据当前像素环境状态做出相应执行动作，并将执行动作结果与真值图中同位置像素对比，如果执行动作结果正确，给该“状态-动作”策略加u分，u为奖励权重；如果执行动作结果错误，给该“状态-动作”策略减v分，v为惩罚权重；如果个体最终得分为负数，则将得分置为0；

S7：初始化设置，种群规模设置，使用随机数生成器来初始化种群中“状态-动作”策略数据中的动作值，使初始的状态和动作随机配对；

S8：遗传进化过程，遗传进化过程依次包括选择、交叉和变异；其中选择方法为轮盘赌，通过迭代轮盘赌、交叉、变异来不断学习“状态-动作”策略数据，直到满足迭代结束条件，然后进行形态学改善，最后输出最终的云检测结果。

2.如权利要求1所述的遥感图像精确云检测方法，其特征在于，设V、H、T分别表示灰度、色调和空间信息的特征向量，都属于自然数空间N，则像素环境状态信息可用这三种特征向量的直积表示为：

其中，灰度、色调和空间信息的每个状态信息向量由多个子状态信息向量的直积生成，如下：

其中，V_i为p维向量，H_j为q维向量，T_k为r维向量，则将(3)、(4)、(5)三个子式带入公式(2)，可得到像素环境状态信息的表达式：

其中i,j,k∈N，将灰度、色调和空间状态信息融合进E中，E中的每个元素都包含了灰度、色调和空间三种状态信息。

3.如权利要求1所述的遥感图像精确云检测方法，其特征在于，步骤S6中奖惩权重w可由公式(7)计算，环境适应度得分由公式(8)表示，

假设检测正确的像素数量为n，则公式(8)可表示为公式(9)：

其中，n为检测正确的像素数，N为总的像素数，u为奖励权重，v为惩罚权重。

4.如权利要求1所述的遥感图像精确云检测方法，其特征在于，步骤S8中轮盘赌包括以下几个步骤：

S81：计算出种群中每个个体的适应度得分S_i，其中i取遍种群中的每个个体；

S82：计算出每个个体被保留到下一代群体中的概率P_i；

S83：计算出每个个体的累计概率Q_i，如公式(10)所示；

S84：生成一个在[0,1]区间均匀分布的随机数r；

S85：若r＜Q₁，则选择出个体1，否则选择个体i，使得Q_i-1＜r＜Q_i成立；

S86：重复步骤S84、S85共G次，G为种群规模。

5.如权利要求4所述的遥感图像精确云检测方法，其特征在于，步骤S82中的概率P_i根据公式(10)计算；

其中S_i为适应度得分，i为种群中的每个个体，G为种群规模。

6.如权利要求1所述的遥感图像精确云检测方法，其特征在于，步骤S3中RGB模型转换为HSV模型中的转化公式如下：

C_max＝max(r,g,b) (12)

C_min＝min(r,g,b) (13)

V＝C_max (16)

其中，H表示色调；S表示颜色饱和度；V表示明度，其中,C_max为r、g、b三个通道中的灰度最大值，C_min为r、g、b三个通道中的灰度最小值，r为红色，g为绿色，b为蓝色。

7.如权利要求1所述的遥感图像精确云检测方法，其特征在于，步骤S1中图像预处理为对输入的RGB遥感图像进行预处理。

8.如权利要求1所述的遥感图像精确云检测方法，其特征在于，步骤S7中种群规模设置为90，交叉率设置为0.9，变异率设置为0.001，最大循环次数为1000，当连续10次的正确率差异值小于0.0001或者达到最大循环次数训练结束。

9.如权利要求1所述的遥感图像精确云检测方法，其特征在于，还包括如下步骤：S9：根据步骤S8中的选择、交叉和变异结果计算适应度得分，并计算准确率；S10：若正确率不满足结束条件，则重复步骤S8-S9；若正确率满足结束条件，则进行形态学改善，得到最终的云检测结果。

10.如权利要求1所述的遥感图像精确云检测方法，其特征在于，步骤S6中将执行动作结果与真值图中同位置像素对比具体为：将相同位置像素的执行动作结果和真值图对比，如果和真值图相同则执行动作正确，不同则执行动作结果错误。

Images