CN114782821B - 一种联合多种迁移学习策略的滨海湿地植被遥感识别方法 - Google Patents

Abstract

本发明公开了一种联合多种迁移学习策略的滨海湿地植被遥感识别方法。该方法通过整合递归特征消除和主成分分析对无人机数据进行降维，降低了模型训练的时间成本，并提高了模型对红树林群落的识别能力；通过改进卷积神经网络的结构，提高了卷积神经网络的分割性能，进而提高了深度学习模型对红树林群落的边界的判别能力；通过运用不同的迁移学习策略，使得深度学习模型能低成本的应用于不同的红树林湿地，并提高了模型对红树林群落的分类精度和效率。

Description

一种联合多种迁移学习策略的滨海湿地植被遥感识别方法

技术领域

本发明属于土地监测的技术领域，特别涉及滨海湿地的分类算法，基于改进的深度学习模型和迁移学习方法实现滨海湿地的高精度分类与高效监测。

背景技术

红树林湿地作为生产力最高、生物意义最重大的生态***之一，近几十年以来，由于人为因素(农业活动、城市化、管理不善等)和自然灾害的影响，红树林面积锐减，且面临着污染、过度采集、外来物种入侵等威胁，因此，红树林群落的高精度分类和快速监测对其保护和合理利用至关重要。

由于红树林生态***的复杂性，进入其中进行实地调查既昂贵又耗时，而无人机遥感技术具有空间分辨率高、灵活、低成本且能按需获取的特点，且已有研究证明了无人机多光谱数据在植被群落分类上的有效性。但红树林中物种繁多，光谱可分离性低，仅靠有限的光谱特征难以实现红树林群落分类，已有研究证明通过增加数据的维度能提高浅层机器学习算法对红树林群落的分类精度，而相较于浅层机器学习，深度学习算法中的卷积神经网络已被证明在植被分类上具有更好的性能，但随着数据维度的扩展，高维数据中的数据冗余会提高训练成本，甚至无法达到预期的精度。

在现有的卷积神经网络中，DeepLabV3+算法已被证明可应用于陆地植被分类中，但滨海湿地的空间结构相较于陆地植被更为错综复杂，且该算法还存在边界分割不清和小区域误判问题。此外，卷积神经网络需要大量的训练数据才能体现其性能，迁移学习是必要的，其原因在于针对某一任务进行模型的开发和训练后，迁移学习能够在另一相关任务中再次使用该模型，通过该方式可极大提高模型训练性能，并降低标记成本。但现有的关于滨海湿地的相关的迁移学习能力的研究较少，且未考虑不同迁移学习方法的适用性和分类性能。

发明内容

为了解决上述问题，本发明的首要目的在于提供一种联合多种迁移学习策略的滨海湿地植被遥感识别方法，该方法选取无人机多光谱影像作为数据源，计算了多种纹理特征和植被指数，构建了多维度无人机遥感数据，再联合递归特征消除(Recursive FeatureElimination，RFE)和主成分分析(Principal Component Analysis，PCA)方法对多维度遥感数据进行降维，降低了深度学习模型的训练时间的成本，并提高了深度学习模型对滨海湿地植被的识别能力和效率。

本发明的另一个目的在于提供一种联合多种迁移学习策略的滨海湿地植被遥感识别方法，该方法提出了一种基于混合深度卷积改进的编码-解码器语义分割网络M-IEDNet，在编码器部分加入大尺寸的卷积核，以获得更大的感受野来获取多尺度的信息，再在解码器部分加入更多的低级位置特征与高级语义信息融合后进行级联上采样，从而获得更详细的边界信息，进而实现了更好的分类性能，解决了DeepLabV3+算法所存在的边界模糊和部分区域错分的问题，以实现对滨海湿地植被的高精度分类。

本发明的再一个目的在于提供一种联合多种迁移学习策略的滨海湿地植被遥感识别方法，该方法通过对模型中不同结构中的权重参数的学习率进行调整，再结合不同的遥感数据组合方案，提出了三种迁移学习策略，即冻结参数的迁移学习、微调参数的迁移学习和不同时相和传感器间的迁移学习，降低深度学习模型在新方案的训练成本，并提高了深度学习模型对不同区域的滨海湿地的分类精度，实现了不同时相和传感器间的滨海湿地遥感影像的高精度的迁移学习。

为实现上述目的，本发明提供如下技术方案：

一种联合多种迁移学习策略的滨海湿地植被遥感识别方法，该方法包括如下步骤：

步骤(1)：选取无人机多光谱影像，并对无人机多光谱影像进行预处理；

步骤(2)：制作深度学习语义标签；

步骤(3)：计算纹理特征和植被指数；

步骤(4)：利用RFE-PCA方法进行数据降维；

其中，通过联合递归特征消除(Recursive Feature Elimination，RFE)和主成分分析(Principal Component Analysis，PCA)，对多维度遥感数进行降维，以避免“维度灾难”，进而降低深度学习模型的训练时间，并提高模型的分类性能。其中RFE算法通过迭代构建模型，再根据重要性排名去掉排名末尾的特征，然后在剩余特征中重复该过程，直至遍历所有特征；PCA算法通过某种线性投影将高维数据映射至低维，以最大程度保留原始数据的信息并降低数据的维度。

步骤(5)：构建训练样本集；

步骤(6)：设计多维遥感数据组合方案；

步骤(7)：扩展训练样本集；

步骤(8)：设计一种基于混合深度卷积改进的编码-解码器语义分割网络M-IEDNet；

M-IEDNet由编码器和解码器两部分构成，其中编码器由基于混合深度卷积改进的Aligned Xception网络和基于深度可分离空洞卷积的空间金字塔池化(DSASPP)组成，而解码器由级联上采样卷积模块组成；

在编码器部分，设置5×5、7×7、9×9卷积核替换了Aligned Xception网络中用于下采样的三个3×3的深度可分离卷积为混合深度可分离卷积，通过增加大感受野的卷积核来提升模型的性能，同时将原空洞空间金字塔池化(ASPP)中的卷积均替换为深度可分离卷积，即为DSASPP；

在解码器部分，由四个2倍上采样卷积模块组成，采用级联上采样的方式将四种不同的低级位置特征与高级语义信息进行融合，以足够的低级位置特征来保证算法对地物边界的识别能力；

步骤(9)：结合M-IEDNet算法与多种数据组合方案以构成多种分类模型，并对模型进行训练；

步骤(10)：将步骤(8)的训练模型的参数作为其他方案的基准，采用不同的迁移学习策略进行迁移学习训练；

步骤(11)：对每种方案对应的数据进行滨海湿地物种分布图的预测。

进一步包括有步骤(12)：采用评价指标对步骤(10)中的预测结果进行精度评估。

所述步骤(8)中，编码器部分，128通道采样的是3×3、5×5卷积核，256通道采样的是3×3、5×5、7×7卷积核，728通道采样的是3×3、5×5、7×7、9×9卷积核；

此外，在进行卷积后均使用批标准化(Batch Normalization)和ReLU激活函数来组成一个卷积模块，其中卷积过程的公式如下：

其中*为有效的二维互相关算子，N为批次大小，C为通道数，H为图像的高度，W为图像宽度,k为对应的不同维度；

批标准化(Batch Normalization)的公式如下：

其中γ的初始值为1，β的初始值为0，且二者均为可学习的超参数，Var为标准差的计算，∈为大于0的极小数(防止分母为零)；

ReLU激活函数的公式如下：

Output＝ReLU(Input)＝(Input)⁺＝max(0,Input)

所述步骤(10)中，提出了三种迁移学习策略来对模型进行迁移学习。其一为冻结参数的迁移学习，即把模型的骨干网络的参数的学习率降低至零，其余的参数的学习率降低至原来的十分之一；其二为微调参数的迁移学习，即把模型的骨干网络的参数降低至原来的百分之一，其他的参数的学习率降低至原来的十分之一；其三为不同时相和传感器间的迁移学习，即把模型的所有参数的学习率降低至原来的十分之一。

三种迁移学习的流程如下所示：

101、定义FTL、FtTL模型，及预训练权重、初始模型和数据集；

其中，学习率的初始值定义为lr为10^-3；

102、判断FTL是否为真，为真，则把lr/10赋予model.lr，把0赋予model.backbone.lr，

103、判断FtTL是否为真，为真，把lr/10赋予model.lr，把lr/100赋予model.backbone.lr，

104、否，则把lr/10赋予model.lr，把w赋予model.weight，

105、从t＝1开始进行循环，并把Data_t输入model；

106、返回model(Data_t)。

与现有技术相比，本发明有益的是：

本发明综合利用了递归特征消除和主成分分析方法，对多维遥感数据进行数据降维，解决了“数据灾难”问题，降低了深度学习模型训练所需的时间成本，并提高了深度学习模型对滨海湿地的分类性能。

同时，设计了一种基于混合深度卷积改进的编码-解码器语义分割网络(M-IEDNet)，通过替换Aligned Xception网络中的下采样的3×3的深度可分离卷积为混合多尺度的深度可分离卷积，再在解码器部分使用更多的低级位置特征并与高级语义信息进行融合，以此来达到更好的分割性能，进而较好的实现滨海湿地的高精度分类。

最后，该方法中提出了不同的迁移学习策略，通过对算法中参数的学习率进行调整，结合不同的遥感数据组合方案，提出了三种迁移学习策略，即冻结参数的迁移学习、微调参数的迁移学习和不同时相和传感器间的迁移学习，降低了深度学习模型在新方案的训练成本，并提高了深度学习模型对不同区域的滨海湿地的分类精度，实现了不同时相和传感器间的滨海湿地遥感影像的高精度的迁移学习。

附图说明

图1为本发明实施例提供的联合多种迁移学习策略的滨海湿地植被遥感识别方法的流程图。

图2为本发明实施例提供的M-IEDNet算法与DeepLabV3+算法的分类结果对比图。

图3为本发明实施例提供的迁移学习后的分类结果图。

图4为本发明实施例提供的部分解码器和编码器示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

以下分别说明本发明的实现步骤。

步骤(1)：无人机影像预处理；

利用Pix4D Mapper、ArcGIS 10.8、ENVI 5.6软件对无人机进行预处理，以生成数字正射影像(Digital Orthophoto Map，DOM)和数字地表模型(Digital Surface Model，DSM)；

步骤(2)：制作深度学习语义标签；

根据实测数据和处理生成的DOM，结合目视解译来制作滨海湿地深度学习语义标签数据；

步骤(3)：计算纹理特征和植被指数；

利用ENVI 5.3软件计算多种植被指数和纹理特征；

步骤(4)：利用RFE-PCA方法进行数据降维；

利用递归特征消除(Recursive Feature Elimination，RFE)分别去除植被指数和纹理特征中高度相关的特征，以优选出低相关性的特征集，再采用主成分分析(PrincipalComponent Analysis，PCA)分别对优选后的植被指数和纹理特征降维，各选取贡献率大于90％的前三个主成分；

步骤(5)：构建训练样本集；

以数字正射影像(Digital Orthophoto Map，DOM)、数字地表模型(DigitalSurface Model，DSM)和降维后的植被指数和纹理特征，结合对应的深度学习语义标签以构建多维遥感数据集。

步骤(6)：设计多维遥感数据分类方案；

将四种影像特征进行排列组合，构建不同的影像特征组合数据集。

步骤(7)：扩展训练样本集；

为增加样本的数量，将影像和对应的标签以256×256的像素尺寸进行分割，并在分割后进行增强处理(水平或垂直翻转、随机旋转、通道交换等)。

步骤(8)：设计一种基于混合深度卷积改进的编码-解码器语义分割网络(M-IEDNet)；

M-IEDNet由编码器和解码器组成。在编码器部分，设置5×5、7×7、9×9卷积核替换了Aligned Xception网络中用于下采样的三个3×3的深度可分离卷积为混合深度可分离卷积，通过增加大感受野的卷积核来提升模型的性能；其中，128通道采样的是3×3、5×5卷积核，256通道采样的是3×3、5×5、7×7卷积核，728通道采样的是3×3、5×5、7×7、9×9卷积核，如图4中(a)所示；此外将原空洞空间金字塔池化(ASPP)中的卷积均替换为深度可分离卷积，如图4中(b)所示。

在解码器部分，以四个2倍上采样卷积层组成，采用级联上采样的方式将低级位置特征与高级语义信息进行融合，通过足够的低级位置特征来增强对地物边界的识别能力，如图4中(c)所示。

此外，在进行卷积后均使用批标准化(Batch Normalization)和ReLU激活函数来组成一个卷积模块，其中卷积过程的公式如下：

其中*为有效的二维互相关算子，N为批次大小，C为通道数，H为图像的高度，W为图像宽度,k为对应的不同维度；

批标准化(Batch Normalization)的计算公式如下：

其中γ的初始值为1，β的初始值为0，且二者均为可学习的超参数，Var为标准差的计算，∈为大于0的极小数(防止分母为零)；

ReLU激活函数的计算公式如下：

Output＝ReLU(Input)＝(Input)⁺＝max(0,Input)

步骤(9)：结合M-IEDNet算法与多种数据组合方案以构成多种分类模型，并对模型进行训练；

对每种方案进行10个周期的迭代训练。其中，损失函数选择cross entropy loss，公式如下：

其中x为输入值，y为目标值，w为权重，C为类别数量，N为小批次维度。而优化器算法选择Adam，初始学习率为10^-3，权重衰减为0，betas为(0.9,0.999)，优化器Adam算法实现如下表所示：

步骤(10)：将步骤(8)的训练模型的参数作为其他方案的基准，采用不同的迁移学习策略进行迁移学习训练；

提出了三种迁移学习策略来对模型进行迁移学习。其一为冻结参数的迁移学习，即把模型的骨干网络的参数的学习率降低至零，其余的参数的学习率降低至原来的十分之一；其二为微调参数的迁移学习，即把模型的骨干网络的参数降低至原来的百分之一，其他的参数的学习率降低至原来的十分之一；其三为不同时相和传感器间的迁移学习，即把模型的所有参数的学习率降低至原来的十分之一。

三种迁移学习的流程如下所示：

步骤(11)：对每种方案对应的数据进行滨海湿地物种分布图的预测；

步骤(12)：采用不同的评价指标对步骤(10)中的预测结果进行精度评估。

评价指标是指采用用户精度(UA)、制图精度(PA)、平均精度(AA，PA与UA的均值)、Kappa值与总体分类精度(OA)5种精度指标、混淆矩阵和麦克尼马尔卡方检验来验证模型对湿地植被的分类情况。

DeepLabV3+算法改进前和改进后的滨海湿地分类结果与迁移学习后的湿地分类植被结果如图2、3所示。

本发明联合递归特征消除和主成分分析算法来实现对高维度无人机遥感数据的降维，以解决数据冗余问题，在降低训练成本的同时提高算法的精度。同时，设计了一种基于混合深度卷积改进的编码-解码器语义分割网络(M-IEDNet)，通过替换编码器中的Aligned Xception网络中用于下采样的深度可分离卷积为混合尺寸深度可分离卷积的方式来增加感受野从而提升模型性能，同时将原空洞空间金字塔池化(ASPP)中的卷积均替换为深度可分离卷积，再以更多的低级位置特征和高级语义特征的融合级联上采样来增强算法对地物边界的识别能力。最后，该***提出了三种迁移学习策略，即冻结参数的迁移学习、微调参数的迁移学习和不同时相和传感器间的迁移学习，降低了深度学习模型在新方案的训练成本，并提高了深度学习模型对不同区域的滨海湿地的分类精度，实现了不同时相和传感器间的滨海湿地遥感影像的高精度的迁移学习。

总之，本发明的优点如下：

1.通过联合RFE-PCA降维和深度学习模型提高了对滨海湿地植被群落的分类精度与效率；

2.通过设计了一种基于混合深度卷积改进的编码-解码器语义分割网络(M-IEDNet)，解决了原算法中存在的边界模糊和小区域误判问题，提高了对滨海湿地植被群落的分类性能；

3.通过提出的三种迁移学习策略，实现了不同区域的滨海湿地植被群落的迁移学习的高精度分类，还实现了不同时相和传感器间的滨海湿地植被群落的迁移学习的高精度分类，并降低了训练的时间成本。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种联合多种迁移学习策略的滨海湿地植被遥感识别方法，其特征在于包括如下步骤：

步骤(1)：选取无人机多光谱影像，并对无人机多光谱影像进行预处理；

步骤(2)：制作深度学习语义标签；

步骤(3)：计算纹理特征和植被指数；

步骤(4)：利用RFE-PCA方法进行数据降维；

其中，通过联合递归特征消除和主成分分析，对多维度遥感数进行降维，进而降低深度学习模型的训练时间，并提高模型的分类性能；

步骤(5)：构建训练样本集；

步骤(6)：设计多维遥感数据组合方案；

步骤(7)：扩展训练样本集；

步骤(8)：设计一种基于混合深度卷积改进的编码-解码器语义分割网络M-IEDNet；

M-IEDNet由编码器和解码器两部分构成，其中编码器由基于混合深度卷积改进的Aligned Xception网络和基于深度可分离空洞卷积的空间金字塔池化(DSASPP)组成，而解码器由级联上采样卷积模块组成；

在编码器部分，设置5×5、7×7、9×9卷积核，通过增加大感受野的卷积核来提升模型的性能，同时将原空洞空间金字塔池化ASPP中的卷积均替换为深度可分离卷积，即为DSASPP；

在解码器部分，由四个2倍上采样卷积模块组成，采用级联上采样的方式将四种不同的低级位置特征与高级语义信息进行融合；

步骤(9)：结合M-IEDNet算法与多种数据组合方案以构成多种分类模型，并对模型进行训练；

步骤(10)：将步骤(8)的训练模型的参数作为其他方案的基准，采用不同的迁移学习策略进行迁移学习训练；

步骤(11)：对每种方案对应的数据进行滨海湿地物种分布图的预测。

2.根据权利要求1所述联合多种迁移学习策略的滨海湿地植被遥感识别方法，其特征在于所述步骤(1)中，对无人机进行预处理，生成数字正射影像和数字地表模型。

3.根据权利要求2所述联合多种迁移学习策略的滨海湿地植被遥感识别方法，其特征在于所述步骤(2)中，根据实测数据和处理生成的数字正射影像，结合目视解译来制作滨海湿地深度学习语义标签数据。

4.根据权利要求1所述的联合多种迁移学习策略的滨海湿地植被遥感识别方法，其特征在于所述步骤(4)中，其中RFE算法通过迭代构建模型，再根据重要性排名去掉排名末尾的特征，然后在剩余特征中重复该过程，直至遍历所有特征；PCA算法通过某种线性投影将高维数据映射至低维，以最大程度保留原始数据的信息并降低数据的维度。

5.根据权利要求1所述联合多种迁移学习策略的滨海湿地植被遥感识别方法，其特征在于所述步骤(8)中，编码器部分，128通道采样的是3×3、5×5卷积核，256通道采样的是3×3、5×5、7×7卷积核，728通道采样的是3×3、5×5、7×7、9×9卷积核；此外，在进行卷积后均使用批归一化和ReLU激活函数来组成一个卷积模块，其中卷积过程的公式如下：

其中*为有效的二维互相关算子，N为批次大小，C为通道数，H为图像的高度，W为图像宽度,k为对应的不同维度；

批标准化(Batch Normalization)的公式如下：

其中γ的初始值为1，β的初始值为0，且二者均为可学习的超参数，Var为标准差的计算，∈为大于0的极小数(防止分母为零)；

ReLU激活函数的公式如下：

Output＝ReLU(Input)＝(Input)⁺＝max(0,Input)。

6.根据权利要求1所述联合多种迁移学习策略的滨海湿地植被遥感识别方法，其特征在于所述步骤(10)中，提出了三种迁移学习策略来对模型进行迁移学习；其一为冻结参数的迁移学习，即把模型的骨干网络的参数的学习率降低至零，其余的参数的学习率降低至原来的十分之一；其二为微调参数的迁移学习，即把模型的骨干网络的参数降低至原来的百分之一，其他的参数的学习率降低至原来的十分之一；其三为不同时相和传感器间的迁移学习，即把模型的所有参数的学习率降低至原来的十分之一；三种迁移学习的流程如下：

101、定义FTL、FtTL模型，及预训练权重、初始模型和数据集；

其中，学习率的初始值定义为lr为10^-3；

102、判断FTL是否为真，为真，则把lr/10赋予model.lr，把0赋予model.backbone.lr，

103、判断FtTL是否为真，为真，把lr/10赋予model.lr，把lr/100赋予model.backbone.lr，

104、否，则把lr/10赋予model.lr，把w赋予model.weight，

105、从t＝1开始进行循环，并把Data_t输入model；

106、返回model(Data_t)。

7.根据权利要求1所述联合多种迁移学习策略的滨海湿地植被遥感识别方法，其特征在于进一步包括有步骤(12)：采用评价指标对步骤(10)中的预测结果进行精度评估；

评价指标是指采用用户精度(UA)、制图精度(PA)、平均精度(AA，PA与UA的均值)、Kappa值与总体分类精度(OA)5种精度指标、混淆矩阵和麦克尼马尔卡方检验来验证模型对湿地植被的分类情况。