CN112052758B - 基于注意力机制和循环神经网络的高光谱图像分类方法 - Google Patents

Abstract

本发明公开了一种基于注意力机制和循环神经网络的高光谱图像分类方法，主要解决现有技术中对高光谱图像特征提取不充分导致的分类精度偏低的问题。实现步骤为：(1)构造循环神经网络；(2)生成训练集；(3)训练循环神经网络；(4)对待分类的高光谱图像进行分类。本发明利用注意力提议模块和处理模块得到输入高光谱图像空间像素块需要重点关注的局部区域，利用循环神经网络提取待分类高光谱图像的空间‑光谱联合特征，得到分类结果，具有高光谱图像分类精度高的优点，可用于资源勘探、森林覆盖和灾害监测等领域的地物目标识别。

Description

基于注意力机制和循环神经网络的高光谱图像分类方法

技术领域

本发明属于图像处理技术领域，更进一步涉及高光谱图像分类技术领域中的一种基于注意力机制和循环神经网络的高光谱图像分类方法。本发明可用于对高光谱图像中的地物目标进行分类和资源勘探、森林覆盖、灾害监测等领域的地物目标识别。

背景技术

随着遥感科学技术和成像技术的发展，高光谱遥感技术的应用领域越来越广泛。高光谱数据在普通二维图像数据的基础上又增加了一维的光谱信息，可视为三维数据立方体。高光谱遥感图像可获取目标地物在紫外、可见光、近红外和中红外等大量波段内近似连续的光谱信息，对地物精确识别具有重要价值。高光谱遥感图像已经被广泛用于城市环境监测、地表土壤监测、地质勘探、灾害评估、农业产量估计和农作物分析等方面。近年来，高光谱图像分类方法相继被提出，基于K-近邻和支撑矢量机等传统分类方法和基于循环神经网络和卷积神经网络等深度学习方法均取得了不错的结果。然而，高光谱图像分类领域依然存在以下一些问题，如高光谱图像“同物异谱、同谱异物”的特性，即同类像素光谱差异性大而不同类像素特性差异小，导致传统分类器难以正确判别；除此，高光谱图像拥有丰富的空间信息和光谱信息，传统的分类方法难以充分提取这两类信息中的高辨识性特征并进行两种特征的融合分类，导致分类精度不高。

Lichao Mou等人在其发表的论文“Deep Recurrent Neural Networks forHyperspectral Image Classification”(《IEEE Transactions on Geoscience&RemoteSensing》，2017，55(7):3639-3655)中提出了一种基于深度循环神经网络的高光谱图像分类方法。该方法将高光谱图像看成是一个包含时序信息的图像，认为不同波段之间的图像具有时序性，接着构造基于单个像素点的特征向量，然后将特征向量的每个波段值依次输入对应的循环网络模块，最终通过一个全连接层和softmax层得到网络将单个像素点分为各类的类别概率，实现对高光谱图像逐像素点分类。循环卷积网络不同于传统的前馈神经网络，可以记忆前面几层网络的信息并应用于当前层的计算中，擅长处理具有时序关系的序列信号，使用循环神经网络对高光谱图像进行分类得到了不错的效果。但是，该方法仍然存在的不足之处是，设计的循环神经网络更深，训练参数更多，忽略了每个像素点与它邻域像素点的空间相关性和相似性，没有有效利用空间信息，致使光谱和空间信息的融合不足，可辨别特征提取不充分，分类精度不高。

北京航空航天大学在其申请专利文献“一种基于深度学习的高光谱图像分类方法”(专利申请号：201710052345.5，申请公布号：CN106845418A)中提出了一种高光谱图像分类方法。该方法首先采用非线性的自编码网络对高光谱图像进行降维。在降维后的图像中，将有标签像元邻域的数据立方体作为样本输入卷积神经网络，然后将像元对应的标签作为卷积神经网络的期望输出，训练卷积神经网络，最后将训练好的卷积神经网络作用于高光谱图像中的每个像元，得到分类结果。该方法虽然保留了样本的非线性信息，但是，该方法仍然存在的不足之处是，网络训练参数太多，样本数目相对于网络参数数目过少，训练时间长，分类速度慢的问题。

发明内容

本发明的目的是针对上述现有技术的不足，提出了一种基于注意力机制和循环神经网络的高光谱图像分类方法，用于解决现有技术中高光谱图像光谱信息和空间信息融合不足，可辨别特征提取不充分，网络训练参数太多，分类精度不高和分类速度慢的问题。

实现本发明目的的思路是：由于现有技术中过于依赖循环神经网络用于高光谱图像的分类模型，没有考虑到高光谱图像的固有特征，用连续波段的光谱向量模拟具有时序信息的循环神经网络的输入，且仅以高光谱图像中单个像素的光谱向量作为循环神经网络的输入，存在光谱信息冗余现象的发生，导致搭建的循环神经网络层数更多，此外，现有技术忽略了单个像素邻近区域的空间信息，对空间信息和光谱信息的融合不够，导致对高光谱图像的分类精度不高、分类速度慢。本发明使用注意力提议模块捕捉输入空间像素块需要重点关注的局部区域，满足了循环神经网络的输入所需要的时序性，有助于更好的挖掘易于分类的高级语义信息，减少训练网络所需的样本数据量，网络可以更快收敛，提升高光谱图像分类的精度和速度。

实现本发明的具体步骤如下：

(1)构造循环神经网络：

(1a)搭建一个由三个结构不同的子网络级联而成的循环神经网络：

循环神经网络中的第一个子网络和第二个子网络的结构相同，依次为：第1卷积层→第1池化层→第2卷积层→第2池化层→注意力提议模块→处理模块，其中注意力提议模块由两个全连接层串联组成，处理模块由掩膜计算、像素级乘法函数和双线性插值函数实现；设置每层的参数为：将第1和第2卷积层卷积核个数分别设置为16和32，卷积核大小均设置为3×3，步长均设置为1，填充像素均设置为1；将第1和第2池化层滤波器尺寸均设置为2×2，步长均设置为2；将注意力提议模块两个全连接层的节点个数分别设置为128和3；

循环神经网络中的第三个子网络的结构依次为：第1卷积层→第1池化层→第2卷积层→第2池化层→第3卷积层→第3池化层→第4卷积层→第4池化层→第1全连接层；设置每层的参数为：将第1、第2、第3和第4卷积层卷积核个数分别设置为64、128、256和512，卷积核大小均设置为3×3，步长均设置为1，填充像素均设置为1；将第1、第2、第3和第4池化层滤波器尺寸均设置为2×2，步长均设置为2；将第1全连接层节点个数设置为待分类高光谱图像的类别数；

(2)生成训练集：

(2a)输入一幅高光谱图像和对应的标签图像；

(2b)利用主成分分析方法，从高光谱图像中选取包含99％信息量的5个波段，组成一幅5个波段的高光谱图像，再将该高光谱图像归一化到[0，1]之间，得到归一化的高光谱图像；

(2c)在归一化的高光谱图像上，以每个有标签像素为中心，取其邻域大小为61×61像素的空间像素块，将所有空间像素块组成空间像素块集合；

(2d)从空间像素块集合中随机选取5％的空间像素块，组成训练集；

(3)训练循环神经网络：

将训练集中所有的空间像素块输入到循环神经网络的第一个子网络中，利用注意力提议模块得到需要重点关注的感兴趣方形区域，再利用处理模块得到循环神经网络第二个子网络的输入空间像素块集合，将循环神经网络第二个子网络的输入空间像素块集合输入注意力提议模块和处理模块，得到循环神经网络第三个子网络的输入空间像素块集合，输出每个空间像素块的预测标签，利用交叉熵损失函数，计算所有空间像素块的预测标签和真实标签之间的损失值，再利用梯度下降算法，更新循环神经网络中的所有参数，直至循环神经网络收敛，得到训练好的循环神经网络；

(4)对待分类的高光谱图像进行分类：

采用与步骤(2)相同的方法，对待分类的高光谱图像进行处理，得到所有空间像素块集合，再将所有空间像素块输入到训练好的循环神经网络中，输出每个空间像素块集合的预测标签。

本发明与现有技术相比较，具有以下优点：

第一，由于本发明所构建的基于注意力机制的循环神经网络，利用注意力提议模块能有效捕捉输入空间像素块需要重点关注的局部区域，满足了循环神经网络的时序性，有助于更好的挖掘易于分类的高级语义信息，利用循环神经网络提取待分类高光谱图像的空间-光谱联合特征，克服了现有技术过于依赖循环神经网络用于高光谱图像的分类模型，用单个像素的光谱向量模拟具有时序的信息，没有考虑到高光谱图像的固有特征，用连续波段的光谱向量模拟具有时序信息的循环神经网络的输入，没有有效利用空间信息，导致光谱和空间信息的融合不足，可辨别特征提取不充分，分类精度不高的问题。使得本发明充分利用了高光谱图像的空间-光谱联合特征和时序信息，提升了分类精度。

第二，由于本发明所构建的基于注意力机制的循环神经网络，网络层数和训练参数更少，减少了训练网络所需的样本数据量，网络可以更快收敛，提高了分类速度，克服了现有技术中因循环神经网络层数和训练参数多，导致网络训练需要的样本数量多，训练时间长，分类速度慢的问题。使得本发明环神经网络层数和训练参数更少，减少了训练网络所需的样本数量，网络可以更快收敛，提高了分类速度。

附图说明

图1是本发明的流程图；

图2是本发明的仿真图，其中，图2(a)是本发明仿真实验中使用的待分类高光谱图像的伪彩图，图2(b)是待分类高光谱图像的人工标记图，图2(c)是现有技术的仿真图，图2(d)是本发明的仿真图。

具体实施方式

下面结合附图对本发明做进一步的详细描述。

参照附图1，对本发明的具体步骤做进一步的详细描述。

步骤1.构造循环神经网络。

搭建一个由三个结构不同的子网络级联而成的循环神经网络。

循环神经网络中的第一个子网络和第二个子网络的结构相同，依次为：第1卷积层→第1池化层→第2卷积层→第2池化层→注意力提议模块→处理模块，其中注意力提议模块由两个全连接层串联组成，处理模块由掩膜计算、像素级乘法函数和双线性插值函数实现；设置每层的参数为：将第1和第2卷积层卷积核个数分别设置为16和32，卷积核大小均设置为3×3，步长均设置为1，填充像素均设置为1；将第1和第2池化层滤波器尺寸均设置为2×2，步长均设置为2；将注意力提议模块两个全连接层的节点个数分别设置为128和3；

循环神经网络中的第三个子网络的结构依次为：第1卷积层→第1池化层→第2卷积层→第2池化层→第3卷积层→第3池化层→第4卷积层→第4池化层→第1全连接层；设置每层的参数为：将第1、第2、第3和第4卷积层卷积核个数分别设置为64、128、256和512，卷积核大小均设置为3×3，步长均设置为1，填充像素均设置为1；将第1、第2、第3和第4池化层滤波器尺寸均设置为2×2，步长均设置为2；将第1全连接层节点个数设置为待分类高光谱图像的类别数；

处理模块中的掩膜计算是由下式实现的：

其中，M_i表示循环神经网络第i个子网络的掩膜，i＝1,2，x,y分别表示第i个子网络的掩膜M_i的宽和高，x,y的取值等于0到待分类高光谱图像的宽和高，

分别表示第i个子网络感兴趣方形区域左上角点的横坐标和纵坐标，/>

分别表示第i个子网络感兴趣方形区域右下角点的横坐标和纵坐标，

分别表示循环神经网络第i个子网络的注意力提议模块输出的感兴趣方形区域的中心点坐标和宽度值的一半。

处理模块中的像素级乘法函数如下：

其中，

表示循环神经网络第i个子网络得到的感兴趣方形区域块，X_i表示循环神经网络第i个子网络的输入空间像素块。

处理模块中的双线性插值函数如下：

其中，X_j(p,q)表示循环神经网络第j个子网络的输入空间像素块在坐标(p,q)处的像素值，j＝2,3，p,q的取值范围等于0到待分类高光谱图像的宽和高，∑表示求和操作，α,β＝0,1，λ表示上采样因子，大小等于X_i宽值与

宽值的商的两倍，/>

表示/>

在坐标(m,n)处的像素值，/>

{·}和[·]分别表示取分数部分和整数部分操作。

步骤2.生成训练集。

(2a)输入一幅高光谱图像和对应的标签图像，本实例中，输入的高光谱图像为Indian Pines高光谱图像，其中，高和宽的大小均为145，波段数为200，类别数为16；

(2b)利用主成分分析方法，从高光谱图像中选取包含99％信息量的5个波段，组成一幅5个波段的高光谱图像，再将该高光谱图像归一化到[0，1]之间，得到归一化的高光谱图像；

归一化公式如下：

其中，R表示归一化处理后的高光谱图像，I表示归一化处理前的高光谱图像，max(·)和min(·)分别表示取最大值和最小值操作。

(2c)在归一化的高光谱图像上，以每个有标签像素为中心，取其邻域大小为61×61像素的空间像素块，将所有空间像素块组成空间像素块集合；

(2d)从空间像素块集合中随机选取5％的空间像素块，组成训练集，本实例中，训练集中的空间像素块个数为512；

步骤3.训练循环神经网络。

将训练集中所有的空间像素块输入到循环神经网络中，利用注意力提议模块和处理模块得到循环神经网络第二个子网络的输入空间像素块，再将第二个子网络的输入空间像素块输入注意力提议模块和处理模块得到循环神经网络第三个子网络的输入空间像素块，输出每个空间像素块的预测标签，利用交叉熵损失函数，计算所有空间像素块的预测标签和真实标签之间的损失值，再利用梯度下降算法，更新循环神经网络中的所有参数，直至循环神经网络收敛，得到训练好的循环神经网络；

交叉熵损失是由下式计算得到的：

其中：L表示交叉熵损失，h表示训练集中空间像素块的总数，∑表示求和操作，g＝1,...,h，y_g表示第g个空间像素块的真实标签向量，ln表示以自然常数e为底的对数操作，f_g表示循环神经网络对第g个空间像素块输出的预测标签向量。

步骤4.对待分类的高光谱图像进行分类。

采用与步骤2相同的方法，对待分类的高光谱图像进行处理，得到所有空间像素块集合，再将所有空间像素块输入到训练好的循环神经网络中，输出每个空间像素块集合的预测标签。

下面结合仿真实验对本发明的效果做进一步的说明：

1.仿真实验条件：

本发明的仿真实验的硬件平台为：处理器为Intel i7 7820x CPU，主频为3.6GHz，内存为64GB。

本发明的仿真实验的软件平台为：Windows 10操作***和python 3.6。

本发明仿真实验所使用的输入图像为印第安松树Indian Pines高光谱图像，该高光谱数据采集自美国印第安纳州西北部印第安遥感试验区，成像时间为1992年6月，图像大小为145×145×200个像素，图像共包含200个波段和16类地物，图像格式为mat。

2.仿真内容及其结果分析：

本发明仿真实验是采用本发明和现有技术深度循环神经网络DRNN分类方法，分别对输入的印第安松树Indian Pines高光谱图像进行分类，获得分类结果图。

在仿真实验中，采用的现有技术是指：

现有技术深度循环神经网络DRNN分类方法是指，Mou Lichao等人在“DeepRecurrent Neural Networks for Hyperspectral Image Classification，IEEETransactions on Geoscience&Remote Sensing，55(7):3639-3655，2017”中提出的高光谱图像分类方法，简称深度循环神经网络DRNN分类方法。

下面结合图2的仿真图对本发明的效果做进一步的描述。

图2(a)为由印第安松树Indian Pines高光谱图像波段中第50个，第27个和第17个波段构成的伪彩色图像。图2(b)为输入的高光谱图像印第安松树Indian Pines的人工标记图。图2(c)为采用现有技术的深度循环神经网络DRNN分类方法，对印第安松树IndianPines高光谱图像进行分类的仿真图。图2(d)为利用本发明的方法，对印第安松树IndianPines高光谱图像进行分类的仿真图。

由图2(c)可以看出，现有技术的深度循环神经网络DRNN分类结果与本发明分类结果相比，噪点较多且边缘平滑性不好，主要因为该方法只提取了高光谱图像像素的光谱特征，没有提取空间特征，导致分类准确性不高。

由图2(d)可以看出，本发明的分类结果相比现有技术的深度循环神经网络DRNN分类结果，其噪点更少，且具有较好的区域一致性和边缘平滑性，证明本发明的分类效果优于现有技术的深度循环神经网络DRNN分类方法，分类效果较理想。

利用以下三个评价指标(每类分类精度、总精度OA、平均精度AA)分别对两种方法的分类结果进行评价。

表1.仿真实验中本发明和现有技术分类结果的定量分析表

利用下述公式，分别计算总精度OA，平均精度AA，16类地物的分类精度，将所有计算结果绘制成表1：

结合表1可以看出，本发明的总体分类精度OA为96.5％，平均分类精度AA为95.2％，这两个指标均高于现有技术方法，证明本发明可以得到更高的高光谱图像分类精度。

以上仿真实验表明：本发明方法利用搭建的带有注意力机制的循环神经网络，利用注意力提议模块能有效捕捉到输入空间像素块需要重点关注的局部区域，有助于更好的挖掘易于分类的高级语义信息，利用循环神经网络能够充分提取待分类高光谱图像的空间-光谱联合特征，提高了高光谱图像的分类精度，网络可以更快收敛，提高了分类速度，解决了现有技术方法中存在的光谱和空间信息的融合不足，可辨别特征提取不充分，分类精度不高和网络训练参数太多，网络训练需要大量样本，训练时间长和分类速度慢的问题，是一种非常实用的高光谱图像分类方法。

Claims (6)

1.一种基于注意力机制和循环神经网络的高光谱图像分类方法，其特征在于，构建并训练循环神经网络，利用注意力提议模块和处理模块得到输入空间像素块感兴趣的局部区域，利用循环神经网络提取待分类高光谱图像的空间-光谱联合特征，该方法具体步骤包括如下：

(1)构造循环神经网络：

(1a)搭建一个由三个结构不同的子网络级联而成的循环神经网络：

循环神经网络中的第一个子网络和第二个子网络的结构相同，依次为：第1卷积层→第1池化层→第2卷积层→第2池化层→注意力提议模块→处理模块，其中注意力提议模块由两个全连接层串联组成，处理模块由掩膜处理、像素级乘法函数和双线性插值函数实现；设置每层的参数为：将第1和第2卷积层卷积核个数分别设置为16和32，卷积核大小均设置为3×3，步长均设置为1，填充像素均设置为1；将第1和第2池化层滤波器尺寸均设置为2×2，步长均设置为2；将注意力提议模块两个全连接层的节点个数分别设置为128和3；

循环神经网络中的第三个子网络的结构依次为：第1卷积层→第1池化层→第2卷积层→第2池化层→第3卷积层→第3池化层→第4卷积层→第4池化层→第1全连接层；设置每层的参数为：将第1、第2、第3和第4卷积层卷积核个数分别设置为64、128、256和512，卷积核大小均设置为3×3，步长均设置为1，填充像素均设置为1；将第1、第2、第3和第4池化层滤波器尺寸均设置为2×2，步长均设置为2；将第1全连接层节点个数设置为待分类高光谱图像的类别数；

(2)生成训练集：

(2a)输入一幅高光谱图像和对应的标签图像；

(2b)利用主成分分析方法，从高光谱图像中选取包含99％信息量的5个波段，组成一幅5个波段的高光谱图像，再将该高光谱图像归一化到[0，1]之间，得到归一化的高光谱图像；

(2c)在归一化的高光谱图像上，以每个有标签像素为中心，取其邻域大小为61×61像素的空间像素块，将所有空间像素块组成空间像素块集合；

(2d)从空间像素块集合中随机选取5％的空间像素块，组成训练集；

(3)训练循环神经网络：

将训练集中所有的空间像素块输入到循环神经网络中，利用注意力提议模块和处理模块得到循环神经网络第二个子网络的输入空间像素块，再将第二个子网络的输入空间像素块输入注意力提议模块和处理模块得到循环神经网络第三个子网络的输入空间像素块，输出每个空间像素块的预测标签，利用交叉熵损失函数，计算所有空间像素块的预测标签和真实标签之间的损失值，再利用梯度下降算法，更新循环神经网络中的所有参数，直至循环神经网络收敛，得到训练好的循环神经网络；

(4)对待分类的高光谱图像进行分类：

采用与步骤(2)相同的方法，对待分类的高光谱图像进行处理，得到所有空间像素块集合，再将所有空间像素块输入到训练好的循环神经网络中，输出每个空间像素块集合的预测标签。

2.根据权利要求1所述的基于注意力机制和循环神经网络的高光谱图像分类方法，其特征在于，步骤(1a)中所述的掩膜处理是由下式实现的：

其中，M_i表示循环神经网络第i个子网络的掩膜，i＝1,2，x,y分别表示第i个子网络的掩膜M_i的宽和高，x,y的取值等于0到待分类高光谱图像的宽和高，

分别表示第i个子网络感兴趣方形区域左上角点的横坐标和纵坐标，/>

分别表示第i个子网络感兴趣方形区域右下角点的横坐标和纵坐标，/>

分别表示循环神经网络第i个子网络的注意力模块输出的感兴趣方形区域的中心点坐标和宽度值的一半。

3.根据权利要求1所述的基于注意力机制和循环神经网络的高光谱图像分类方法，其特征在于，步骤(1a)中所述的像素级乘法函数如下：

其中，

表示循环神经网络第i个子网络得到的感兴趣方形区域块，X_i表示循环神经网络第i个子网络的输入空间像素块。

4.根据权利要求1所述的基于注意力机制和循环神经网络的高光谱图像分类方法，其特征在于，步骤(1a)中所述的双线性插值函数如下：

其中，X_j(p,q)表示循环神经网络第j个子网络的输入空间像素块在坐标(p,q)处的像素值，j＝2,3，p,q的取值范围等于0到待分类高光谱图像的宽和高，∑表示求和操作，α,β＝0,1，λ表示上采样因子，大小等于X_i宽值与

宽值的商的两倍，/>

表示/>

在坐标(m,n)处的像素值，/>

{·}和[·]分别表示取分数部分和整数部分操作。

5.根据权利要求1所述的基于注意力机制和循环神经网络的高光谱图像分类方法，其特征在于，步骤(2b)中所述的归一化公式如下：

其中，R表示归一化处理后的高光谱图像，I表示归一化处理前的高光谱图像，max(·)和min(·)分别表示取最大值和最小值操作。

6.根据权利要求1所述的基于注意力机制和循环神经网络的高光谱图像分类方法，其特征在于：步骤(3)中所述的交叉熵损失是由下式计算得到的：

其中：L表示交叉熵损失，h表示训练集中空间像素块的总数，∑表示求和操作，g＝1,...,h，y_g表示第g个空间像素块的真实标签向量，ln表示以自然常数e为底的对数操作，f_g表示循环神经网络对第g个空间像素块输出的预测标签向量。

Images