CN110084159B - 基于联合多级空谱信息cnn的高光谱图像分类方法 - Google Patents

Abstract

本发明提出了一种基于联合多级空谱信息CNN的高光谱图像分类方法，主要解决高光谱图像分类性能不佳、分类区域一致性不好的问题。实现步骤为：输入高光谱数据集；构建卷积神经网络和多级空谱信息提取网络；生成联合多级空谱信息卷积神经网络CNN；输入训练样本集，利用损失函数对网络进行训练；输入测试数据集，利用训练好的联合多级空谱信息卷积神经网络CNN对高光谱图像进行分类。本发明利用搭建的联合多级空谱信息卷积神经网络CNN，能够提取、融合高光谱图像的多级空间信息和全局谱间信息，解决了现有技术方法中存在的空间特征信息利用不充分、卷积核不能提取光谱全局信息，导致分类区域一致性不好、精度不高的问题，提高了高光谱图像分类的准确性。

Description

基于联合多级空谱信息CNN的高光谱图像分类方法

技术领域

本发明属于图像处理技术领域，更进一步涉及图像分类技术领域中的一种基于多级空谱信息联合卷积神经网络CNN(convolutional neural network)的高光谱图像分类方法。本发明通过对高光谱图像中地物的种类分析，可以应用到地质勘探、土地利用等领域，为地质研究提供必要的信息支撑。

背景技术

随着遥感科学技术和成像技术的发展，高光谱遥感技术的应用领域越来越广泛。高光谱图像可获取目标地物在紫外、可见光、近红外和中红外等大量波段内近似连续的光谱信息，并以图像的形式描述地物的空间分布关系。因此，高光谱数据可视为三维数据立方体，其结合了丰富的空间域信息和光谱域信息，具有“图谱合一”的特点。由于高光谱图像独有的特点，为地物精确识别提供了更高的辨别力，使其在地质勘探、城市规划、土地利用等领域有着广泛的应用。

哈尔滨工业大学在其申请的专利文献“基于三维卷积神经网络的高光谱图像分类方法”(专利申请号：201710952839.9，公开号：107657285A)中提出了一种可以实现空谱联合下的高光谱图像分类方法。该方法搭建了一个三维卷积神经网络同时提取高光谱图像的空间特征和光谱特征，将得到的特征输入分类器得到分类结果。该方法虽然同时考虑了高光谱图像的空间域信息和光谱域信息，但是，该方法仍然存在的不足之处是，三维卷积神经网络中设计的三维卷积核在光谱域上具有固定的大小，不能提取光谱域的全局信息，导致分类结果不好。

西安电子科技大学在其申请的专利文献“基于长短时记忆网络的高光谱图像分类方法”(专利申请号：201710781812.8，公开号：107657271A)中提出了一种高光谱图像分类方法。该方法首先利用主成分分析法对高光谱图像降维，获得了高光谱图像的主成分灰度图，然后对主成分灰度图进行形态学滤波，获得局部空间序列特征。使用该特征训练长短时记忆网络，最后使用训练好的长短时记忆网络实现高光谱图像分类。该方法虽然考虑了高光谱图像局部空间内像素之间的相关性，但是，该方法仍然存在的不足之处是，该方法构建的网络对于网络浅层、中间层的输出没有做任何处理，忽略了浅层、中间层提取的中、低级信息，导致分类结果区域一致性不好。

发明内容

本发明的目的在于针对上述现有技术的不足，提出了一种基于联合多级空谱信息CNN的高光谱图像分类方法，用于解决现有高光谱图像分类方法中存在的分类精度低、区域一致性不好的技术问题。

实现本发明目的的思路是，先构建卷积神经网络和多级空谱信息提取网络，然后生成联合多级空谱信息卷积神经网络CNN，将训练样本按批次输入联合多级空谱信息卷积神经网络CNN，提取多级空谱联合特征并进行分类，利用损失函数对网络进行训练，最后将测试样本输入到训练好的联合多级空谱信息卷积神经网络CNN中，对高光谱图像进行分类。

本发明采取的技术方案包括如下步骤：

(1)输入一幅高光谱图像；

(2)生成样本集：

(2a)以高光谱图像中的每个像素为中心，划定一个27×27像素大小的空间窗；

(2b)将每个空间窗内所有的像素组成一个数据立方体；

(2c)将所有的数据立方体，组成高光谱图像的样本集；

(3)产生训练样本集与测试样本集：

(3a)在高光谱图像的样本集中，随机选取5％的样本，组成高光谱图像的训练样本集；

(3b)将剩余95％的样本组成高光谱图像的测试样本集；

(4)构建卷积神经网络：

(4a)搭建一个10层的卷积神经网络，其结构依次为：第一卷积层→第一池化层→第二卷积层→第二池化层→第三卷积层→第三池化层→第四卷积层→第五卷积层→全连接层→soft-max多分类层；

(4b)设置每层参数：

将第一卷积层的卷积核大小设置为4×4，个数设置为64，卷积步长设置为1；

将第二至第五卷积层的卷积核大小均设置为3×3，卷积步长均设置为1，依次设置卷积核的个数为64，128，256，256；

每个池化层均采用最大池化方式，将每个池化层的池化卷积核大小均设置为2×2，步长均设置为2；

将全连接层的输入和输出节点个数分别设置为4096和16；

(5)构建多级空谱信息提取网络：

(5a)搭建三个并行的子网络，每个子网络串联8个卷积长短期记忆单元，每个子网络连接一个全局平均池化层，将三个全局平均池化层的输出级联后再连接一个全连接层和soft-max多分类层，得到多级空谱信息提取网络结构；

(5b)设置多级空谱信息提取网络的参数：

将第一、第二、第三子网络中每个卷积长短期记忆单元的卷积核大小依次设置为5×5，4×4，3×3，卷积核的个数依次设置为32，64，128；

(6)生成联合多级空谱信息卷积神经网络CNN：

将三个子网络分别连接到卷积神经网络的第一、第三、第五卷积层上，将卷积神经网络和多级空谱信息提取网络中的soft-max层的交叉熵相加，作为联合多级空谱信息卷积神经网络CNN的损失函数，得到联合多级空谱信息卷积神经网络CNN；

(7)训练联合多级空谱信息卷积神经网络CNN：

(7a)将训练样本输入到联合多级空谱信息卷积神经网络CNN中，输出训练样本的预测标签向量；

(7b)利用交叉熵公式，计算预测标签向量与真实标签向量之间的交叉熵；

(7c)采用梯度下降法，用联合多级空谱信息卷积神经网络CNN的损失函数优化网络参数，直到网络参数收敛为止，得到训练好的联合多级空谱信息卷积神经网络CNN；

(8)高光谱图像进行分类：

将高光谱图像的测试样本集逐个输入到训练好的联合多级空谱信息卷积神经网络CNN，将多级空谱信息提取网络的输出作为测试样本的预测标签，获得分类结果。

本发明与现有技术相比较，具有以下优点：

第一，由于本发明利用构建的卷积神经网络和多级空谱信息提取网络，提取了高光谱图像多级全局光谱信息，克服了现有技术中三维卷积神经网络中设计的三维卷积核在光谱域上具有固定的大小，不能提取光谱域的全局信息，导致分类结果不好问题，使得本发明充分利用了高光谱图像的全局谱间信息，提高了高光谱图像分类的准确性。

第二，由于本发明生成了联合多级空谱信息卷积神经网络CNN，可以提取多级高光谱图像的空间和谱间特征，克服了现有技术中对于卷积神经网络浅层、中间层的输出没有做任何处理，忽略了图像中、低级信息，导致分类结果区域一致性不好的问题，使得本发明充分利用了高光谱图像的多级空谱联合特征，缓解了分类结果区域一致性不好的问题，提高了高光谱图像分类的鲁棒性。

附图说明

图1是本发明的流程图；

图2是本发明的仿真图。

具体实施方式

下面结合附图对本发明做进一步的描述。

参照附图1，对本发明的具体步骤做进一步的描述。

步骤1.输入一幅高光谱图像。

步骤2.生成样本集。

以高光谱图像中的每个像素为中心，划定一个27×27像素大小的空间窗。

将每个空间窗内所有的像素组成一个数据立方体。

将所有的数据立方体，组成高光谱图像的样本集。

步骤3.产生训练样本集与测试样本集。

在高光谱图像的样本集中，随机选取5％的样本，组成高光谱图像的训练样本集。

将剩余95％的样本组成高光谱图像的测试样本集。

步骤4.构建卷积神经网络。

搭建一个10层的卷积神经网络，其结构依次为：第一卷积层→第一池化层→第二卷积层→第二池化层→第三卷积层→第三池化层→第四卷积层→第五卷积层→全连接层→soft-max多分类层。

设置每层参数。

将第一卷积层的卷积核大小设置为4×4，个数设置为64，卷积步长设置为1。

将第二至第五卷积层的卷积核大小均设置为3×3，卷积步长均设置为1，依次设置卷积核的个数为64，128，256，256。

每个池化层均采用最大池化方式，将每个池化层的池化卷积核大小均设置为2×2，步长均设置为2。

将全连接层的输入和输出节点个数分别设置为4096和16。

步骤5.构建多级空谱信息提取网络。

搭建三个并行的子网络，每个子网络串联8个卷积长短期记忆单元，每个子网络连接一个全局平均池化层，将三个全局平均池化层的输出级联后再连接一个全连接层和soft-max多分类层，得到多级空谱信息提取网络结构。

设置多级空谱信息提取网络的参数。

将第一、第二、第三子网络中每个卷积长短期记忆单元的卷积核大小依次设置为5×5，4×4，3×3，卷积核的个数依次设置为32，64，128。

步骤6.生成联合多级空谱信息卷积神经网络CNN。

将三个子网络分别连接到卷积神经网络的第一、第三、第五卷积层上，将卷积神经网络和多级空谱信息提取网络中的soft-max层的交叉熵相加，作为联合多级空谱信息卷积神经网络CNN的损失函数，得到联合多级空谱信息卷积神经网络CNN。

由于三个子网络分别连接到卷积神经网络的第一、第三、第五卷积层上，由于卷积长短期记忆单元可以对序列数据建模，因此，卷积长短期记忆单元可以用于对全局谱间信息的提取。由于多级空谱信息提取网络的三个子网络包含卷积长短期记忆单元，且将卷积神经网络的输出作为其输入，因此它们可以对卷积神经网络提取的低、中、高级空间特征进行空谱联合，可以实现联合多层空谱特征。

步骤7.训练联合多级空谱信息卷积神经网络CNN。

将训练样本输入到联合多级空谱信息卷积神经网络CNN中，输出训练样本的预测标签向量。假设获取的高光谱图像数据包含103个波段。

所述的将训练样本输入到网络，输出训练样本的预测标签向量的步骤如下：

第1步，将27×27×103像素大小的高光谱图像生成样本输入到卷积神经网络的第一卷积层，依次进行卷积操作、非线性Relu变换、批标准化，得到27×27×64像素大小的第一卷积层的输出特征图。

第2步，将第一卷积层的输出特征图4个一组，分为8组作为多级空谱信息提取网络第一个子网络的输入，得到27×27×32像素大小的多级空谱信息提取网络中第一个子网络的输出特征图。

第3步，将第一卷积层的输出特征图输入到第一池化层，经过最大池化操作，得到14×14×64像素大小的第一池化层的输出特征图。

第4步，将第一个池化层的输出特征图输入到卷积神经网络的第二卷积层，依次进行卷积操作、非线性Relu变换、批标准化，得到14×14×128像素大小的卷积神经网络第二卷积层的输出特征图。

第5步，将第二卷积层的输出特征图输入到第二池化层，经过最大池化操作，得到7×7×128像素大小的第二池化层的输出特征图。

第6步，将第二池化层的输出特征图输入到卷积神经网络的第三卷积层，依次进行卷积操作、非线性Relu变换、批标准化，得到7×7×128像素大小的卷积神经网络第三卷积层的输出特征图。

第7步，将第三卷积层的输出特征图16个一组，分为8组作为多级空谱信息提取网络第二个子网络的输入，得到7×7×128像素大小的第二个子网络的输出特征图。

第8步，将第三卷积层的输出特征图输入到第三池化层，经过最大池化操作，得到4×4×128像素大小的第三池化层的输出特征图。

第9步，将第三池化层的输出特征图输入到卷积神经网络的第四卷积层，依次进行卷积操作、非线性Relu变换、批标准化，输出4×4×256像素大小的第四卷积层的输出特征图。

第10步，将第四个卷积层的输出特征图输入到卷积神经网络的第五卷积层，依次进行卷积操作、非线性Relu变换、批标准化，输出4×4×256像素大小的第五卷积层的输出特征图。

第11步，将第五个卷积层的输出特征图32个一组，分为8组作为多级空谱信息提取网络第三个子网络的输入，得到4×4×256像素大小的的第三个子网络的输出特征图。

第12步，将第五卷积层的输出特征图输入到卷积神经网络中的全连接层，再由soft-max层输出预测标签向量。

第13步，将多级空谱信息提取网络三个子网络的输出特征图输入到各自的全局平均池化层，得到三个维数依次为32，64，128的向量，将三个向量级联，输入到多级空谱信息提取网络的全连接层，再由soft-max层输出预测标签向量。

第14步，计算卷积神经网络输出的预测标签向量与真实标签向量之间的交叉熵，计算多级空谱信息提取网络输出的预测标签向量与真实标签向量之间的交叉熵，将两者相加得到联合多级空谱信息卷积神经网络CNN的损失。

使用交叉熵公式，计算预测标签向量与真实标签向量之间的交叉熵。

所述交叉熵公式如下：

其中，L表示预测标签向量与真实标签向量之间的交叉熵，Σ表示求和操作，y_i表示真实标签向量中的第i个元素，ln表示以自然常数e为底的对数操作，

表示预测标签向量中的第m个元素。

第15步，利用梯度下降法，用联合多级空谱信息卷积神经网络CNN的损失函数优化网络参数，直到网络参数收敛为止，得到训练好的联合多级空谱信息卷积神经网络CNN。

步骤8.高光谱图像进行分类。

将高光谱图像的测试样本集逐个输入到训练好的联合多级空谱信息卷积神经网络CNN，将多级空谱信息提取网络的输出标签作为测试样本的预测标签，获得分类结果。

下面结合仿真实验对本发明的效果做进一步的说明：

1.仿真实验条件：

本发明的仿真实验的硬件平台为：处理器为Intel i7 5930k CPU，主频为3.5GHz，内存16GB。

本发明的仿真实验的软件平台为：Windows 10操作***和python 3.6。

本发明仿真实验所使用的输入图像为印第安松树Indian Pines高光谱图像，该高光谱数据采集自美国印第安纳州西北部印第安遥感试验区，成像时间为1992年6月，图像大小为145×145×200个像素，图像共包含200个波段和16类地物，图像格式为mat。

2.仿真内容及其结果分析：

本发明仿真实验是采用本发明和三个现有技术(支撑向量机SVM分类方法、卷积循环神经网络CRNN分类方法、双通道卷积神经网络DC-CNN分类方法)分别对输入的印第安松树Indian Pines高光谱图像进行分类，获得分类结果图。

在仿真实验中，采用的三个现有技术是指：

现有技术支撑向量机SVM分类方法是指，Melgani等人在“Classification ofhyperspectral remote sensing images with support vector machines,IEEETrans.Geosci.Remote Sens.,vol.42,no.8,pp.1778–1790,Aug.2004”中提出的高光谱图像分类方法，简称支撑向量机SVM分类方法。

现有技术卷积循环神经网络CRNN分类方法是指，Wu H等人在“Convolutionalrecurrent neural networks forhyperspectral data classification,RemoteSensing,pp.9(3):298,2017”中提出的高光谱图像分类方法，简称卷积循环神经网络CRNN分类方法。

现有技术双通道卷积神经网络DC-CNN分类方法是指，Zhang H等人在“Spectral-spatial classification of hyperspectral imagery using a dual-channelconvolutional neural network,Remote Sensing Letters,8(5):10,2017”中提出的高光谱图像分类方法，简称双通道卷积神经网络DC-CNN分类方法。

下面结合图2的仿真图对本发明的效果做进一步的描述。

图2(a)为由高光谱图像波段中第50个，第27个和第17个波段构成的伪彩色图像。图2(b)为输入的高光谱图像印第安松树Indian Pines的真实地物分布图，其大小为145×145个像素。图2(c)为采用现有技术的支撑向量机SVM分类方法，对印第安松树IndianPines高光谱图像进行分类的结果图。图2(d)为采用现有技术的卷积循环神经网络CRNN分类方法，对印第安松树Indian Pines高光谱图像进行分类的结果图。图2(e)为采用现有技术的双通道卷积神经网络DC-CNN分类方法，对印第安松树Indian Pines高光谱图像进行分类的结果图。图2(f)为利用本发明的方法，对印第安松树Indian Pines高光谱图像进行分类的结果图。

由图2(c)可以看出，现有技术的支撑向量机SVM分类结果与卷积循环神经网络CRNN分类方法分类结果相比，噪点较多且边缘平滑性不好，主要因为该方法只提取了高光谱图像像元的光谱特征，没有提取空间特征，导致分类准确性不高。

由图2(d)可以看出，现有技术的卷积循环神经网络CRNN分类方法分类结果，相比于支撑向量机SVM分类结果，其噪点较少，但是卷积循环神经网络CRNN方法分类只是有效提取了光谱特征，没有利用图像空间特征，导致分类结果空间区域一致性不好。

由图2(e)可以看出，现有技术的双通道卷积神经网络DC-CNN分类方法分类结果，相比于支撑向量机SVM方法和卷积循环神经网络CRNN分类方法分类结果，其噪点较少，改善了分类结果的区域一致性。

由图2(e)可以看出，本发明的分类结果相比于三个现有技术的分类结果，其噪点更少，且具有较好的区域一致性和边缘平滑性，证明本发明的分类效果优于前三种现有技术分类方法，分类效果较理想。

利用三个评价指标(每类分类精度、总精度OA、平均精度AA)分别对四种方法的分类结果进行评价。利用下面公式，计算总精度OA，平均精度AA，16类地物的分类精度，将所有计算结果绘制成表1：

表1.仿真实验中本发明和各现有技术分类结果的定量分析表

结合表1可以看出，本发明的总体分类精度OA为97.0％，平均分类精度AA为95.3％，这两个指标均高于3种现有技术方法，证明本发明可以得到更高的高光谱图像分类精度。

以上仿真实验表明：本发明方法利用搭建的卷积神经网络，能够提取高光谱图像的多级空间特征，利用搭建的多级空谱信息提取网络，能够提取高光谱图像全局光谱特征并联合空谱信息，利用了搭建的联合多级空谱信息卷积神经网络CNN，能够提取、融合高光谱图像的多级空间信息和全局谱间信息，解决了现有技术方法中存在的只用到某一级别的空间特征信息、卷积核在光谱维度上不能提取光谱全局信息，导致分类区域一致性不好、精度不高的问题，是一种非常实用的高光谱图像分类方法。

Claims (2)

1.一种基于联合多级空谱信息卷积神经网络CNN的高光谱图像分类方法，其特征在于，构建卷积神经网络，构建多级空谱信息提取网络，生成联合多级空谱信息卷积神经网络CNN；该方法具体步骤包括如下：

(1)输入一幅高光谱图像；

(2)生成样本集：

(2a)以高光谱图像中的每个像素为中心，划定一个27×27像素大小的空间窗；

(2b)将每个空间窗内所有的像素组成一个数据立方体；

(2c)将所有的数据立方体，组成高光谱图像的样本集；

(3)产生训练样本集与测试样本集：

(3a)在高光谱图像的样本集中，随机选取5％的样本，组成高光谱图像的训练样本集；

(3b)将剩余95％的样本组成高光谱图像的测试样本集；

(4)构建卷积神经网络：

(4a)搭建一个10层的卷积神经网络，其结构依次为：第一卷积层→第一池化层→第二卷积层→第二池化层→第三卷积层→第三池化层→第四卷积层→第五卷积层→全连接层→soft-max多分类层；

(4b)设置每层参数：

将第一卷积层的卷积核大小设置为4×4，个数设置为64，卷积步长设置为1；

将第二至第五卷积层的卷积核大小均设置为3×3，卷积步长均设置为1，依次设置卷积核的个数为64，128，256，256；

每个池化层均采用最大池化方式，将每个池化层的池化卷积核大小均设置为2×2，步长均设置为2；

将全连接层的输入和输出节点个数分别设置为4096和16；

(5)构建多级空谱信息提取网络：

(5a)搭建三个并行的子网络，每个子网络串联8个卷积长短期记忆单元，每个子网络连接一个全局平均池化层，将三个全局平均池化层的输出级联后再连接一个全连接层和soft-max多分类层，得到多级空谱信息提取网络结构；

(5b)设置多级空谱信息提取网络的参数：

将第一、第二、第三子网络中每个卷积长短期记忆单元的卷积核大小依次设置为5×5，4×4，3×3，卷积核的个数依次设置为32，64，128；

(6)生成联合多级空谱信息卷积神经网络CNN：

将三个子网络分别连接到卷积神经网络的第一、第三、第五卷积层上，将卷积神经网络和多级空谱信息提取网络中的soft-max层的交叉熵相加，作为联合多级空谱信息卷积神经网络CNN的损失函数，得到联合多级空谱信息卷积神经网络CNN；

(7)训练联合多级空谱信息卷积神经网络CNN：

(7a)将训练样本输入到联合多级空谱信息卷积神经网络CNN中，输出训练样本的预测标签向量；

(7b)利用交叉熵公式，计算预测标签向量与真实标签向量之间的交叉熵；

(7c)采用梯度下降法，用联合多级空谱信息卷积神经网络CNN的损失函数优化网络参数，直到网络参数收敛为止，得到训练好的联合多级空谱信息卷积神经网络CNN；

(8)对高光谱图像进行分类：

将高光谱图像的测试样本集逐个输入到训练好的联合多级空谱信息卷积神经网络CNN中，将多级空谱信息提取网络的输出作为测试样本的预测标签，获得分类结果。

2.根据权利要求1所述的基于联合多级空谱信息卷积神经网络CNN的高光谱图像分类方法，其特征在于，步骤(7b)中所述交叉熵公式如下：

其中，L表示预测标签向量与真实标签向量之间的交叉熵，Σ表示求和操作，y_i表示真实标签向量中的第i个元素，ln表示以自然常数e为底的对数操作，

表示预测标签向量中的第m个元素。

Images