CN109754017B - 基于可分离的三维残差网络和迁移学习高光谱图像分类方法 - Google Patents

Abstract

本发明涉及一种基于可分离的三维残差网络和迁移学习高光谱图像分类方法，首先，设计参数量较少的且适于高光谱图像特点的三维卷积网络。其次，设计不同传感器获取的高光谱图像间的迁移技术和三维卷积网络模型相结合，实现小样本条件下的高光谱图像高精度分类。实现了小样本条件下，高光谱图像深度特征的自主提取，高精度的分类。本发明与现有的基于深度学习的高光谱图像分类方法相比，网络模型更深，精度更高，且参数量更少。

Description

基于可分离的三维残差网络和迁移学习高光谱图像分类方法

技术领域

本发明涉及一种基于可分离的三维残差网络和迁移学习高光谱图像分类方法，属遥感图像处理领域。

背景技术

高光谱图像同时包含光谱信息和空间信息，在军事及民用领域都有着重要的应用。然而，高光谱图像的高维特性、波段间高度相关性、光谱混合等使得高光谱图像分类面临巨大挑战。近年来，随着深度学习新技术的出现，基于深度学习的高光谱图像分类方法得到了突破性的进展。但是，深度学习模型通常含有大量参数，需要大量的训练样本。而高光谱图像有标注的样本相对较少，难以完全满足深层次深度学习模型的训练，容易出现过拟合问题。且同源的高光谱图像数据集非常少，利用同源数据间的迁移学习来解决高光谱图像中的小样本问题也会受到诸多限制。因此，研究在小样本条件下实现高光谱图像高精度分类的深度模型一直是一项具有挑战性的任务。

高光谱图像分类问题旨在给定一副具有部分标注像素的图像，通过相关算法，预测出图像中所有像素对应的具体地物类别。传统的高光谱图像分类方法一般利用人工预设特征，例如SIFT，HOG，PHOG等，从高光谱图像中提取特征，然后借由多层感知器，支持向量机等模型来分类。但是这些人工预设特征的设计及选取依赖专业性知识，且很难选取一种有通用性的特征。

近年来，随着深度学习的兴起，完全数据驱动和不需要先验知识的深度神经网络在图像处理和计算机视觉等领域展现出了突出的优势，其应用范围涵盖了高级图像识别、中低级图像处理等诸多方面，例如目标识别、检测、分类和图像去噪、动态去模糊、重建等等。高光谱图像分类领域也引入了深度学习的相关技术，且取得了明显优于传统方法的分类效果。但是，受高光谱图像训练样本数量的限制，应用在高光谱图像分类中的深度学习模型相对较浅，尽管计算机视觉方面大量实验已经表明有效的增加深度对于提升分类表现非常有益。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于可分离的三维残差网络和迁移学习高光谱图像分类方法。首先，设计参数量较少的且适于高光谱图像特点的三维卷积网络。其次，设计不同传感器获取的高光谱图像间的迁移技术和三维卷积网络模型相结合，实现小样本条件下的高光谱图像高精度分类。

技术方案

一种基于可分离的三维残差网络和迁移学习高光谱图像分类方法，其特征在于步骤如下：

步骤1：数据预处理：对待处理的高光谱图像数据进行最大最小归一化，最大最小归一化公式如下：

步骤2：数据划分：对于预训练数据集，抽取所有有标注的样本作为预训练数据集；对于目标数据集，每个类别抽取10-20个样本作为训练集，剩余的部分作为测试集；抽取样本的具体做法：对于一个尺寸为M×N×L的三维高光谱图像数据，M，N分别表示高光谱图像的高和宽，L表示数据的波段数，抽取样本时，以待处理像素为中心，抽取S×S×L的数据块作为中心像素的样本数据，S表示邻域大小；

步骤3：构建可分离的三维残差网络模型，包括特征提取和分类两部分：

1)特征提取部分，输入数据先依次通过一个不对称的三维卷积层，归一化层batchnormalization，激励函数ReLU及池化层；再依次经过宽度为32，64，128，256的四个可分离三维残差网络模块进一步提取深度特征；所述的不对称三维卷积层采用结构不对称的三维卷积核，该卷积核在光谱维尺寸大于空间维尺寸；所述的池化层采用了三维最大池化操作；

2)分类部分，该部分由一个三维的自适应平均池化层和宽度为256的全连接层构成；三维自适应评价池化层会根据输入数据调整池化操作的核的尺寸及步长，能够将任何纬度的输入数据处理成固定尺寸的输出数据；

步骤4：训练网络模型：

1)预训练：利用预训练集对模型进行预训练，将训练数据批量地输入到构建好的可分离的三维残差网络中，以标注的类别为指导信息，利用梯度下降算法对网络参数进行训练，直至网络收敛得到预训练模型；训练过程中，每次随机不重复的从训练集里抽取10-20样本为一批训练数据，将该数据输入到网络，抽取特征并计算预测结果，以预测结果与实际结果之间的交叉熵为损失函数，计算网络权值的偏导数，并利用梯度下降算法，更新网络参数；训练过程便利整个训练集一次为一轮训练，整个训练过程进行60轮，前50轮学习率设为0.01，最后10轮，学习率衰减到0.001；整个训练过程中，动量项设为0.9；

2)模型迁移：保留预训练模型的特征提取部分，并根据目标数据集的类别数重新初始化分类部分，得到迁移模型；

3)微调：从目标数据集中提取的训练集对迁移模型进行微调，微调过程同样训练60轮，前50轮特征提取部分学习率设为0.001，分类器部分学习率设为0.01，最后10轮，特征提取部分学习率衰减到0.0001，分类器部分学习率衰减为0.001；整个训练过程中，动量项设为0.9；

步骤5：生成分类结果。利用最终模型，对目标高光谱图像数据集中所有像素进行类别预测，得到分类结果图。

步骤2中的S取27。

步骤3中的可分离的三维残差模块的具体结构：从输入端到输出端，右侧主干部分依次包含一个point-wise卷积层，卷积核大小分别为1×3×3和3×1×1的卷积层，以及另一个point-wise卷积层；第一个point-wise卷积层及卷积核大小分别为1×3×3和3×1×1的卷积层后均接着一个batch normaliaztion层和ReLU激励层；第二个point-wise卷积层后边仅有一个batch normalization层，在主干和左侧的分枝结构通过按元素逐元素相加合并后会经过一个ReLU激励层得到模块的输出；左侧分枝结构依次包含一个窗口宽度为3，步长为2的平均池化层和一个point-wise卷积层。

有益效果

本发明针对高光谱图像数据特点，构建了可分离的三维残差网络，设计了异源高光谱图像数据间的迁移策略，结合构建的可分离的三维残差网络和迁移策略，实现了小样本条件下，高光谱图像深度特征的自主提取，高精度的分类。本发明与现有的基于深度学习的高光谱图像分类方法相比，网络模型更深，精度更高，且参数量更少。

附图说明

图1基于可分离的三维残差网络及迁移学习的小样本高光谱图像分类方法流程图

图2可分离的三维残差网络模块

图3可分离的三维残差网络结构图

具体实施方式

现结合实施例、附图对本发明作进一步描述：

本发明方法主要包含相同传感器获取的数据集(这里称为同源)或不同传感器获取的数据(这里称为异源)数据集上的预训练，目标数据集上的微调，及对目标数据集进行分类三部分内容。该方法中涉及两个不同的高光谱图像数据集，1)待处理的目标数据集，简称目标数据集。2)与目标数据集同源或异源的另一个数据集，简称预训练数据集。该方法利用预训练数据集对模型进行预训练，之后再将模型迁移到目标高光谱数据集上，再从目标数据集上提取极少量的样本对模型进行微调，最终利用经过微调的网络对整幅目标高光谱数据集进行分类。

本技术方案的具体措施如下：

步骤1：数据预处理。对目标数据集和预训练数据集进行最大最小归一化

步骤2：数据划分。对于预训练数据集，抽取所有有标注的样本作为预训练数据集。对于目标数据集，每个类别抽取10-20个样本作为训练集，剩余的部分作为测试集。

步骤3：构建网络模型。本发明所构建的网络结构依次包含两部分，1)特征提取部分，由四个不同宽度可分离的三维残差网络模块构成。2)三维自适应平均池化层及全连接层构成的分类部分。

步骤4：训练网络模型。

1)预训练。在预训练数据集上训练构建的网络模型达到收敛，得到预训练模型。

2)模型迁移。保留预训练模型的特征提取部分，并根据目标数据集的类别数重新初始化分类部分，得到迁移模型。

3)微调。在目标数据集上对迁移模型进行微调，得到最终模型。

预训练及微调过程中，以标注的类别为指导信息，利用梯度下降算法对网络参数进行训练，直至网络收敛。

步骤5：生成分类结果。利用最终模型，对目标高光谱图像数据集中所有像素进行类别预测，得到分类结果图。

具体实施例

步骤1：数据预处理。待处理的高光谱图像数据进行最大最小归一化，归一化公式如下：

步骤2：数据划分。数据划分。对于预训练数据集，抽取所有有标注的样本作为预训练数据集。对于目标数据集，每个类别抽取10-20个样本作为训练集，剩余的部分作为测试集。抽取样本的具体做法如下，对于一个尺寸为M×N×L的三维高光谱图像数据，M，N分别表示高光谱图像的高和宽，L表示数据的波段数。抽取样本时，以待处理像素为中心，抽取S×S×L的数据块作为中心像素的样本数据，S表示邻域大小，一般取27。

步骤3：构建网络模型。本发明设计的网络依次包含了两部分结构：

1)特征提取部分。输入数据先依次通过一个不对称的三维卷积层，归一化层，激励函数及池化层。其中不对称三维卷积层采用结构不对称的三维卷积核，该卷积核在光谱维尺寸大于空间维尺寸，从而起到在该处理模块处理数据过程中更注重光谱维信息的作用，例如，卷积层可采用光谱维尺度为8，空间维尺度为3×3的卷积核，并将卷积层宽度设为32。该模块中，归一化采用了batch normalization，激励函数采用了ReLU，池化层采用了三维最大池化操作。数据经池化层处理之后，再依次经过宽度为32，64，128，256的四个可分离三维残差网络模块进一步提取深度特征。具体结构如图3所示。可分离的三维残差模块具体结构如图2所示，从输入端到输出端，右侧主干部分依次包含一个point-wise卷积层，卷积核大小分别为1×3×3和3×1×1的卷积层，以及另一个point-wise卷积层。第一个point-wise卷积层及卷积核大小分别为1×3×3和3×1×1的卷积层后均接着一个batchnormaliaztion层和ReLU激励层。第二个point-wise卷积层后边仅有一个batchnormalization层，在主干和左侧的分枝结构通过按元素逐元素相加合并后会经过一个ReLU激励层得到模块的输出。左侧分枝结构依次包含一个窗口宽度为3，步长为2的平均池化层和一个point-wise卷积层。

2)分类部分。该部分由一个三维的自适应平均池化层和宽度为256的全连接层构成。三维自适应评价池化层会根据输入数据调整池化操作的核的尺寸及步长，能够将任何纬度的输入数据处理成固定尺寸的输出数据。因此，在处理光谱纬度不同的高光谱图像数据时，全连接层的宽度无需针对数据进行调整变化。网络整体结构请参照图3。

步骤4：训练网络模型。

1)预训练。利用预训练集对模型进行预训练，将训练数据批量地输入到构建好的可分离的三维残差网络中，以标注的类别为指导信息，利用梯度下降算法对网络参数进行训练，直至网络收敛。训练过程中，每次随机不重复的从训练集里抽取10-20样本为一批训练数据，将该数据输入到网络，抽取特征并计算预测结果，以预测结果与实际结果之间的交叉熵为损失函数，计算网络权值的偏导数，并利用梯度下降算法，更新网络参数。训练过程便利整个训练集一次为一轮训练。整个训练过程进行60轮，前50轮学习率设为0.01，最后10轮，学习率衰减到0.001。整个训练过程中，动量项设为0.9。本文中，简称经过预训练阶段修正参数的模型为预训练模型。

2)模型迁移。保留预训练模型的特征提取部分，并根据目标数据集的类别数重新初始化分类部分，得到迁移模型。本发明中的分类部分包含了一个三维的自适应平均池化层，对于任意尺寸的三维高光谱输入数据，输出都是固定尺寸的。分类部分的重新初始化只需要调整分类器末端全链接层的节点数，使得改节点数与目标数据集类别数保持一致。本文中，简称经过模型迁移得到的模型为迁移模型。

3)微调。利用从目标数据集中提取的训练集对迁移模型进行微调。微调过程同样训练60轮。前50轮特征提取部分学习率设为0.001，分类器部分学习率设为0.01，最后10轮，特征提取部分学习率衰减到0.0001，分类器部分学习率衰减为0.001。整个训练过程中，动量项设为0.9。

经过预训练，模型迁移，微调三步后，得到最终模型。具体流程参照图1。

步骤5：生成分类结果。利用最终模型，对目标高光谱图像数据集中所有像素进行类别预测，得到分类结果图。

Claims (2)

1.一种基于可分离的三维残差网络和迁移学习高光谱图像分类方法，其特征在于步骤如下：

步骤1：数据预处理：对待处理的高光谱图像数据进行最大最小归一化，最大最小归一化公式如下：

步骤2：数据划分：对于预训练数据集，抽取所有有标注的样本作为预训练数据集；对于目标数据集，每个类别抽取10-20个样本作为训练集，剩余的部分作为测试集；抽取样本的具体做法：对于一个尺寸为M×N×L的三维高光谱图像数据，M，N分别表示高光谱图像的高和宽，L表示数据的波段数，抽取样本时，以待处理像素为中心，抽取S×S×L的数据块作为中心像素的样本数据，S表示邻域大小；

步骤3：构建可分离的三维残差网络模型，包括特征提取和分类两部分：

1)特征提取部分，输入数据先依次通过一个不对称的三维卷积层，归一化层batchnormalization，激励函数ReLU及池化层；再依次经过宽度为32，64，128，256的四个可分离三维残差网络模块进一步提取深度特征；所述的不对称的三维卷积层采用结构不对称的三维卷积核，该卷积核在光谱维尺寸大于空间维尺寸；所述的池化层采用了三维最大池化操作；

2)分类部分，该部分由一个三维的自适应平均池化层和宽度为256的全连接层构成；三维自适应评价池化层会根据输入数据调整池化操作的核的尺寸及步长，能够将任何纬度的输入数据处理成固定尺寸的输出数据；

所述的可分离的三维残差模块的具体结构：从输入端到输出端，右侧主干部分依次包含一个point-wise卷积层，卷积核大小分别为1×3×3和3×1×1的卷积层，以及另一个point-wise卷积层；第一个point-wise卷积层及卷积核大小分别为1×3×3和3×1×1的卷积层后均接着一个batch normaliaztion层和ReLU激励层；第二个point-wise卷积层后边仅有一个batch normalization层，在主干和左侧的分枝结构通过按元素逐元素相加合并后会经过一个ReLU激励层得到模块的输出；左侧分枝结构依次包含一个窗口宽度为3，步长为2的平均池化层和一个point-wise卷积层；

步骤4：训练网络模型：

1)预训练：利用预训练集对模型进行预训练，将训练数据批量地输入到构建好的可分离的三维残差网络中，以标注的类别为指导信息，利用梯度下降算法对网络参数进行训练，直至网络收敛得到预训练模型；训练过程中，每次随机不重复的从训练集里抽取10-20样本为一批训练数据，将该数据输入到网络，抽取特征并计算预测结果，以预测结果与实际结果之间的交叉熵为损失函数，计算网络权值的偏导数，并利用梯度下降算法，更新网络参数；训练过程便利整个训练集一次为一轮训练，整个训练过程进行60轮，前50轮学习率设为0.01，最后10轮，学习率衰减到0.001；整个训练过程中，动量项设为0.9；

2)模型迁移：保留预训练模型的特征提取部分，并根据目标数据集的类别数重新初始化分类部分，得到迁移模型；

3)微调：从目标数据集中提取的训练集对迁移模型进行微调，微调过程同样训练60轮，前50轮特征提取部分学习率设为0.001，分类器部分学习率设为0.01，最后10轮，特征提取部分学习率衰减到0.0001，分类器部分学习率衰减为0.001；整个训练过程中，动量项设为0.9；

步骤5：生成分类结果：利用最终模型，对目标高光谱图像数据集中所有像素进行类别预测，得到分类结果图。

2.根据权利要求1所述的一种基于可分离的三维残差网络和迁移学习高光谱图像分类方法，其特征在于步骤2中的S取27。

Images