CN111639587B

CN111639587B - 基于多尺度谱空卷积神经网络的高光谱图像分类方法

Info

Publication number: CN111639587B
Application number: CN202010461596.0A
Authority: CN
Inventors: 高大化; 张中强; 刘丹华; 石光明; 张学聪; 姜嵩; 秦健瑞; 牛毅
Original assignee: Xidian University
Current assignee: Xidian University
Priority date: 2020-05-27
Filing date: 2020-05-27
Publication date: 2023-03-24
Anticipated expiration: 2040-05-27
Also published as: CN111639587A

Abstract

本发明公开了一种多尺度谱空卷积神经网络的高光谱图像分类方法，主要解决现有技术在谱间特征提取和空间特征提取时仅提取单一尺度特征的缺点和对于样本分布不集中或样本量很少的地物类别分类效果差的问题。其实现方案是：1)输入高光谱图像，生成样本数不同的训练样本集和测试样本集；2)构建多尺度谱空卷积神经网络；3)将训练集输入到多尺度谱空卷积神经网络获得预测类别，用预测类别和真实标签计算铰链交叉熵损失，利用随机梯度下降法对该网络进行训练，直到铰链交叉熵损失收敛；4)将测试样本输入到训练好的多尺度谱空卷积神经网络得到分类结果。本发明能在少训练样本下获得高准确率的分类，可用于对高光谱图像的地物种类探测。

Description

基于多尺度谱空卷积神经网络的高光谱图像分类方法

技术领域

本发明属于遥感信息处理技术领域，更进一步涉及一种高光谱图像分类方法，可用于对高光谱图像的地物种类探测。

背景技术

高光谱以其丰富的波段信息记录了地物目标的连续光谱特征，具备了能够进行更多种类地物目标识别和更高精度地目标分类可能性。高光谱图像分类技术的关键在于利用高光谱图像的空间特征和谱间特征对样本类别进行分类。在土地资源评估、灾害监测方面具有重要意义。然而现有的分类方法还是主要依赖大量的训练样本，由于样本标注难以获取，因此在少样本情况下很容易导致过拟合问题，进而影响了样本分类准确率。

Zilong Zhong等人在其发表的论文“Spectral-Spatial Residual Network forHyperspectral Image Classification:A3-D Deep Learning Framework”(IEEETransactions on Geoscience and Remote Sensing,2017:1-12)中提出一种利用端到端的光谱-空间残差方法SSRN对高光谱图像进行分类的方法。该方法以原始三维立方体作为输入数据，在端到端的光谱-空间残差网络中，谱间残差块和空间残差块连续从高光谱图像丰富的光谱和空间信息中学习识别特征，谱间残差块得到的光谱特征和空间残差块得到的空间特征以级联方式融合，最后将融合后的高级谱空特征输入分类层进行高光谱图像分类。该方法由于在谱间和空间残差块中采用单一尺度的卷积操作，且仅提取了单一尺度的特征，导致整个网络在高光谱图像分类上效果不佳。

西北工业大学在其授权的专利文献“基于深度卷积神经网络的空谱联合的高光谱图像分类方法”(授权公告号：CN 105320965 B)中公开了一种基于深度卷积神经网络的空谱联合的高光谱图像分类方法。该方法的具体步骤是：首先利用少量标签数据，训练卷积神经网络，并利用该网络自主提取高光谱图像的空谱特征，不需要任何压缩降维的处理；然后，利用提取到的空谱特征训练支持向量机SVM分类器，对图像进行分类；最后，结合已训练好的深度卷积神经网络和训练好的分类器，得到一个能够自主提取高光谱图像的空谱特征并对其进行分类的深度卷积神经网络结构DCNN-SVM。该方法由于深度卷积神经网络对高光谱图像中空谱特征提取依然是单一尺度的，使得支持向量机SVM分类器在高光谱图像分类上效果不佳。

除此上述列举的高光谱图像分类方法之外，目前基于深度卷积神经网络的高光谱图像分类方法都与上述两个方法类似，这些方法的共性就是在特征提取模块中均采用单一尺度的卷积操作，而没有在特征层面上提取多尺度空间和谱间特征，从而导致在少样本训练时这些方法对高光谱图像分类效果不佳。

发明内容

本发明的目的在于针对上述现有技术的不足，提出了一种基于多尺度谱空卷积神经网络的高光谱图像分类方法，以提高高光谱图像中在少样本训练的情况下地物目标分类的精度。

实现本发明目的的思路是，先构建多尺度谱间特征提取模块和多尺度空间特征提取模块，然后生成多尺度谱空卷积神经网络，将高光谱三维数据输入到多尺度谱间特征模块提取多尺度谱间特征，将多尺度谱间特征输入到多尺度空间特征提取模块，提取多尺度谱空联合特征并进行分类，利用铰链交叉熵损失函数对网络进行训练，最后将测试样本输入到训练好的多尺度谱空卷积神经网络中，对高光谱图像进行分类。该模型可以解决在少样本情况下高光谱图像分类的问题。

为实现上述目的，本发明的具体步骤包括如下：

1.一种基于多尺度谱空卷积神经网络的高光谱图像分类方法，其特征在于，包括如下：

(1)输入原始三维高光谱图像，并对其进行0边缘填充操作；在填充操作后的高光谱图像中，以每个像素点为中心，选取高光谱图像块；

(2)将高光谱图像块生成样本数不同的训练样本集和测试样本集；

(3)构建多尺度谱空卷积神经网络：

(3a)搭建一个由两个谱间残差模块串联组成的多尺度谱间特征提取模块；

(3b)搭建一个由两个空间残差模块串联组成的多尺度空间特征提取模块；

(3c)将多尺度谱间特征提取模块、多尺度空间特征提取模块和softmax分类器依次串联，组成多尺度谱空卷积神经网络；

(4)训练多尺度谱空卷积神经网络：

(4a)构建铰链交叉熵损失函数，其公式如下：

其中，L表示预测标签向量与真实标签向量之间的铰链交叉熵损失值，argmax(·)表示取最大值所在的位置，y表示预测标签向量，y^*表示真实标签向量，θ表示设定的阈值，

表示真实标签向量中的第i个元素，y_i表示预测标签向量中的第i个元素，M表示训练集的类别总数；

(4b)将训练样本集与训练样本标签输入到多尺度谱空卷积神经网络中，得到训练样本的预测标签y_i；采用随机梯度下降算法进行训练多尺度谱空卷积神经网络，直到铰链交叉熵损失函数收敛，得到训练好的多尺度谱空卷积神经网络；

(5)将测试样本输入到训练好的多尺度谱空卷积神经网络，得到测试样本的类别标签，完成高光谱图像的分类。

本发明与现有的技术相比具有以下优点：

第一，由于本发明构建了多尺度空间特征提取块和多尺度谱间特征提取块，对高光谱图像中更具有分辨性和标示性的多尺度谱空特征进行提取，因而在少样本训练时，克服了现有技术在谱间特征提取和空间特征提取时仅提取单一尺度特征的缺点，提高了对高光谱图像中地物的分类精度。

第二，由于本发明构建了一种新型的铰链交叉熵损失函数，使得多尺度谱空卷积神经网络能更加关注到难以分类的样本，克服了现有技术中损失函数对于样本分布不集中或样本量很少的地物类别分类效果不好的缺点，提高了在少样本训练时多尺度谱空卷积神经网络的分类能力。

附图说明

图1是本发明的实现流程图；

图2是本发明中多尺度谱空卷积神经网络的模型结构示意图。

图3是本发明多尺度谱空卷积神经网络中的谱间残差块结构示意图。

图4是本发明与现有技术在两个不同数据集上的分类结果仿真图。

具体实施方式

下面结合附图对本发明的实施例和效果做进一步的描述。

参照附图1，对本实例的实现步骤包括如下。

步骤1,输入高光谱图像。

高光谱图像是一个三维数据S∈R^a×b×c，该高光谱图像中每个波段对应三维数据中的一个二维矩阵S_i∈R^a×b，其中，∈表示属于符号，R表示实数域符号，a表示高光谱图像的长，b表示高光谱图像的宽，c表示高光谱图像的光谱波段数，i表示高光谱图像中光谱波段的序号，i＝1,2,…,c。

步骤2,获得高光谱图像块集合。

对原始三维高光谱图像数据进行0边缘填充操作，边缘填充0像素的尺寸为k。在填充处理后的高光谱图像中，以每个像素点为中心，选取空间大小为(2k+1)×(2k+1)，通道数d的图像块，得到高光谱图像块集合，这里通道数d与高光谱图像的光谱波段数相同,本实例取但不限于k＝4。

步骤3,从高光谱图像块集合生成样本数不同的训练样本集和测试样本集。

首先，将高光谱图像块按其中心像素点类别分配到该类别所属的集合中；

然后，在每个类别集合中按照0.01的比例选图像块作为训练集，训练集中每个图像块的中心像素点标签作为该图像块的标签；

最后，将每个类别集合中剩余的图像块作为测试集。

本实例针对Kennedy Space Center和Salinas scene两个不同的高光谱数据集中，对每一类目标取0.01的比例为训练集，剩下0.99为测试集。

步骤4,构建多尺度谱空卷积神经网络。

参照附图2，本实施例的具体实现步骤包括如下。

4.1)搭建一个由两个谱间残差模块串联组成的多尺度谱间特征提取模块，其中：

谱间残差模块结构依次为：第一卷积层→第一激活函数层→第一均分层→第二卷积层→第二激活函数层→第一融合层→第三卷积层→第三激活函数层→第二融合层→第四卷积层→第四激活函数层→第一concatenate拼接层→第五卷积层→第五激活函数层→第二均分层→第六卷积层→第六激活函数层→第三融合层→第七卷积层→第七激活函数层→第四融合层→第八卷积层→第八激活函数层→第二concatenate拼接层；其结构如图3所示。

所述第一均分层，用于将第一激活函数层输出的特征图均分成四份；

所述第一融合层，用于将第二激活函数层与第一激活函数层的第三份进行相加；

所述第二融合层，用于将第三激活函数层与第一激活函数层的第四份进行相加；

所述第一concatenate拼接层，用于将第二激活函数层、第三激活函数层、第四激活函数层和第一激活函数层的第一份拼接在一起；

所述第二均分层，用于将第五激活函数层输出的特征图均分成四份；

所述第三融合层，用于将第六激活函数层与第五激活函数层的第三份进行相加；

所述第四融合层，用于将第七激活函数层与第五激活函数层的第四份进行相加；

所述第二concatenate拼接层，用于将第六激活函数层、第七激活函数层、第八激活函数层和第五激活函数层的第一份拼接在一起；

各层参数设置如下：

所述谱间残差模块中所有的三维卷积层的卷积核大小均设置为1*1*7，个数均设置为15；谱间残差模块中每个激活函数层的激活函数均设置为ReLU激活函数；

4.2)搭建一个由两个空间残差模块串联组成的多尺度空间特征提取模块，其中：

空间残差模块的结构依次为：第1卷积层→第1激活函数层→第1均分层→第2卷积层→第2激活函数层→第1融合层→第3卷积层→第3激活函数层→第2融合层→第4卷积层→第4激活函数层→第1concatenate拼接层→第5卷积层→第5激活函数层→第2均分层→第6卷积层→第6激活函数层→第3融合层→第7卷积层→第7激活函数层→第4融合层→第8卷积层→第8激活函数层→第2concatenate拼接层；其结构与图3相同。

所述第1均分层，用于将第1激活函数层输出的特征图均分成四份；

所述第1融合层，用于将第2激活函数层与第1激活函数层的第三份进行相加；

所述第2融合层，用于将第3激活函数层与第1激活函数层的第四份进行相加；

所述第1concatenate拼接层，用于将第2激活函数层、第3激活函数层、第4激活函数层和第1激活函数层的第一份拼接在一起；

所述第2均分层，用于将第5激活函数层输出的特征图均分成四份；

所述第3融合层，用于将第6激活函数层与第5激活函数层的第三份进行相加；

所述第4融合层，用于将第7激活函数层与第5激活函数层的第四份进行相加；

所述第1concatenate拼接层，用于将第6激活函数层、第7激活函数层、第8激活函数层和第5激活函数层的第一份拼接在一起；

各层参数如下：

所述空间残差模块中所有卷积层的卷积核大小设置为3*3*128，个数设置为15；

所述空间残差模块中每个激活函数层的激活函数均设置为ReLU激活函数。

4.3)将多尺度谱间特征提取模块、多尺度空间特征提取模块和softmax分类器依次串联，组成多尺度谱空卷积神经网络。

步骤5,构建铰链交叉熵损失函数。

在高光谱图像分类任务中，由于有些地物目标样本分布不集中或这类目标样本量很少，常用的交叉熵损失函数不能很好地区分这类困难样本，为了使得网络更加关注到困难样本，本实施例设计了一种新型的铰链交叉熵损失函数，其公式如下：

表示真实标签向量中的第i个元素，y_i表示预测标签向量中的第i个元素，M表示训练集的类别总数。

步骤6,训练多尺度谱空卷积神经网络。

将训练样本集与训练样本标签输入到多尺度谱空卷积神经网络中；

采用随机梯度下降算法对多尺度谱空卷积神经网络进行训练，得到训练样本的预测标签y，该预测标签与真实标签y^*通过步骤5中的公式计算铰链交叉熵损失，直到铰链交叉熵损失收敛，得到训练好的多尺度谱空卷积神经网络。

步骤7,对测试样本集进行分类。

将测试样本输入到训练好的多尺度谱空卷积神经网络，得到测试样本的类别，完成高光谱图像的分类。

下面结合仿真实验对本发明的效果做进一步说明。

1.仿真实验条件：

本发明的仿真实验的硬件平台为：Inter core i7-6700,频率为3.4GHz,NvidiaGeForce GTX1080Ti。本发明的仿真实验的软件使用pytorch。

本发明的仿真实验是采用本发明和两个现有3D-Densenet和SSRN方法分别对Kennedy Space Center和Salinas scene高光谱数据集中地物目标进行分类。

所述3D-Densenet方法是指：Chunjn Zhang等人在“Three-dimensional denselyconnected convolutional network for hyperspectral remote sensing imageclassification”(Journal of Applied Remote Sensing,2019)中提出的一种利用3D稠密连接网络对高光谱图像进行分类的方法，简称3D-DenseNet方法。

所述SSRN分类方法是指：Zilong Zhong等人在“Spectral-Spatial ResidualNetwork for Hyperspectral Image Classification:A3-D Deep Learning Framework”(IEEE Transactions on Geoscience and Remote Sensing,2017:1-12)中提出的一种利用端到端的谱-空残差网络对高光谱图像进行分类的方法，简称SSRN方法。

本发明中使用Kennedy Space Center和Salinas scene高光谱数据集分别是由AVIRIS sensor在加利福利亚州的Kennedy Space Center和Salinas Valley收集的数据。本发明仿真实验所使用的数据集采自网站：

http://www.ehu.eus/ccwintco/index.php？title＝Hyperspectral_Remote_Sensing_Scenes。其中，Kennedy Space Center高光谱数据集图像的大小为512×614，具有176个波段，包含13类地物，每类地物的类别与数量如表1所示。

表1 Kennedy Space Center样本类别与数量

Salinas scene高光谱数据集图像的大小为512×217，具有204个波段，包含16类地物，每类地物的类别与数量如表2所示。

表2 Salinas scene样本类别与数量

类标	地物类别	数量
			1	Brocoli_green_weeds_1	2009
2	Brocoli_green_weeds_2	3726
			3	Fallow	1976
4	Fallow_rough_plow	1394
			5	Fallow_smooth	2678
6	Stubble	3959
			7	Celery	3579
8	Graps_untrained	11271
			9	Soil_vinyard_develop	6203
10	Corn_senesced_green_weeds	3278
			11	Lettuce_romaine_4wk	1068
12	Lettuce_romaine_5wk	1927
			13	Lettuce_romaine_6wk	916
14	Lettuce_romaine_7wk	1070
			15	Vinyard_untrained	7268
16	Vinyard_vertical_trellis	1807

2.仿真实验内容及结果分析：

2.1)为了验证本发明的高效性和良好的分类性能，采用整体分类精度OA,平均精度AA,Kappa系数三种评价指标。

所述整体分类精度OA，指的是测试集上正确分类的像素点的个数除以总的像素个数的比例，其值在0～100％之间，此值越大说明分类效果越好。

所述平均精度AA，指的是将测试集上每类正确分类的像素点个数除以该类所有像素总数，得到该类的正确分类精度，并将所有类别的精度取平均值，其值在0～100％之间，此值越大说明分类效果越好。

所述Kappa系数，是定义在混淆矩阵上的一个评价指标，其综合考虑混淆矩阵对角线上的元素和偏离对角线的元素，更客观地反映了算法的分类性能，Kappa系数的值在-1～1之间，此值越大说明分类效果越好。

将本发明和两个现有技术在Kennedy Space Center和Salinas scene高光谱数据集的分类精度进行比较，结果如表3。

表3三种网络在不同数据集下的分类精度对比

由表3可以看出，本发明方法在Kennedy Space Center和Salinas scene数据集下，获得较高的分类准确率，说明本发明能更加准确的预测出高光谱图像样本的类别。

2.2)用本发明方法与上述两个现有技术在Kennedy Space Center和Salinasscene两个不同数据集上进行仿真分类，其结果图如图4所示。其中：

图4a表示用现有3D-DenseNet在Kennedy Space Center高光谱数据集上的分类结果图；

图4b表示用现有SSRN在Kennedy Space Center高光谱数据集上的分类结果图；

图4c表示用本发明方法在Kennedy Space Center高光谱数据集上的分类结果图；

图4d表示用现有3D-DenseNet在Salinas scene高光谱数据集上的分类结果图；

图4e表示用现有SSRN在Salinas scene高光谱数据集上的分类结果图；

图4f表示用本发明方法在Salinas scene高光谱数据集上的分类结果图；

从图4c可以看出，本发明在Kennedy Space Center数据集上的分类结果图明显比图4a，4b更加光滑，边缘更加清晰。

从图4f可以看出，本发明在Salinas scene数据集上的分类结果图明显的比图4d，4e更加光滑，边缘更加清晰且区域目标一致性更好。这直接说明了本发明所提出的方法相比于现有两个技术可以生成更高质量的高光谱图像分类结果图。

以上仿真实验表明：本发明的方法利用构造的多尺度空间和谱间特征提取模块，能够获取多尺度的谱空特征，利用搭建多尺度谱空卷积神经网络，能够获得高光谱图像分类结果，同时采用铰链交叉熵损失函数来训练神经网络，使得多尺度谱空卷积神经网络更关注样本分布不集中或样本量很少的地物类别。解决了现有技术方法中存在的光谱和空间特征中采用单一尺度的卷积操作，而导致在少训练样本的情况下分类准确率不高的情况，是一种非常实用的针对少训练样本下的高光谱图像分类方法。

Claims

(3)构建多尺度谱空卷积神经网络：

(4)训练多尺度谱空卷积神经网络：

(4a)构建铰链交叉熵损失函数，其公式如下：

2.根据权利要求1所述的方法，其特征在于，(1)中的原始三维高光谱图像，是一个三维数据S∈R^a×b×c，该高光谱图像中每个波段对应三维数据中的一个二维矩阵S_i∈R^a×b，其中，∈表示属于符号，R表示实数域符号，a表示高光谱图像的长，b表示高光谱图像的宽，c表示高光谱图像的光谱波段数，i表示高光谱图像中光谱波段的序号，i＝1,2,…,c。

3.根据权利要求1所述的方法，其特征在于，(1)中的0边缘填充操作，是在高光谱图像边缘填充0像素的尺寸k。

4.根据权利要求1所述的方法，其特征在于，(1)中的高光谱图像块，其空间大小为(2k+1)×(2k+1)，通道数d与高光谱图像的光谱波段数相同，k为在高光谱图像边缘填充0像素的尺寸。

5.根据权利要求1所述的方法，其特征在于，(2)中生成样本数不同的训练样本集和测试样本集，先将高光谱图像块按其中心像素点类别分配到该类别所属的集合中；再分别在每类集合中按照0.01的比例选图像块作为训练集，并将每个图像块的中心像素点标签作为该图像块的标签；再分别将每类集合中剩余的图像块作为测试集。

6.根据权利要求1所述的方法，其特征在于，(3a)中的每个多尺度谱间残差模块结构依次为：第一卷积层→第一激活函数层→第一均分层→第二卷积层→第二激活函数层→第一融合层→第三卷积层→第三激活函数层→第二融合层→第四卷积层→第四激活函数层→第一concatenate拼接层→第五卷积层→第五激活函数层→第二均分层→第六卷积层→第六激活函数层→第三融合层→第七卷积层→第七激活函数层→第四融合层→第八卷积层→第八激活函数层→第二concatenate拼接层；

所述多尺度谱间模块中所有的卷积层的卷积核大小设置为1*1*7，个数设置为15；

所述多尺度谱间模块中每个激活函数层的激活函数均设置为ReLU激活函数。

7.根据权利要求1所述的方法，其特征在于，(3b)中的每个多尺度空间模块的结构依次为：第1卷积层→第1激活函数层→第1均分层→第2卷积层→第2激活函数层→第1融合层→第3卷积层→第3激活函数层→第2融合层→第4卷积层→第4激活函数层→第1concatenate拼接层→第5卷积层→第5激活函数层→第2均分层→第6卷积层→第6激活函数层→第3融合层→第7卷积层→第7激活函数层→第4融合层→第8卷积层→第8激活函数层→第2concatenate拼接层；

所述多尺度空间模块中所有卷积层的卷积核大小设置为3*3*128，个数设置为15；

所述多尺度空间模块中每个激活函数层的激活函数均设置为ReLU激活函数。