CN112464891A - 一种高光谱图像分类方法 - Google Patents

Abstract

本发明公开了一种高光谱图像分类方法，其结合了3D Octave卷积和Bi‑RNN注意力网络的优点，首先利用3D Octave卷积获取用于高光谱图像的空间特征的同时减少空间冗余信息，然后利用Bi‑RNN光谱注意力网络提取高光谱图像的光谱信息，将空间和光谱特征图经全连接层实现特征融合，最后再经过softmax输出分类结果。本发明实现了在低训练样本下对高光谱遥感图像的准确分类，采用并行数据处理方式，加快了模型的运行速度。

Description

一种高光谱图像分类方法

技术领域

本发明属于遥感领域中的高光谱图像处理领域，具体涉及一种高光谱图像分类方法。

背景技术

高光谱遥感技术是计算机科学以及地理学等多门学科交叉的技术，它通过高光谱成像仪，在不同的电磁波范围内利用狭窄的光谱间隔成像，以获得能反向地物光谱特征的光谱曲线。在相同的空间分辨率下，记录数百个光谱带的数据，以形成具有大量空间和光谱信息的三维高光谱图像。高光谱图像使用二维空间成像来表示单个波段中表面物体的反射效果，将多个波段的反射效果按照顺序依次组合，形成具有多层面，近似连续的光谱向量维。每个高光谱像素点特性由这些光谱向量构成，并且每个像素数据是一个连续的光谱曲线，详细的记录了所观察的地物信息。由于高光谱图像可以详尽地描述地面物体的光谱信息和空间信息，因此，随着高光谱图像分类技术的发展，高光谱图像分类被广泛应用于环境监测，城乡规划，矿物开采，国防建设和精准农业等领域。

高光谱图像分类方法大致可以分为基于光谱信息的分类方法、基于空间-光谱特征联合的分类方法和深度学习分类方法三类。第一类方法仅利用高光谱图像中的光谱维度信息，忽略了空间上像素之间的相关性；第二类方法在一定程度上提高了高光谱图像的分类性能，但它们很大程度上是取决于手工制作特征。即分类图效果主要由低级特征决定，然而这并不能表示高光谱图像中复杂的内容，使得分类性能受到限制；第三类方法相较于前两类传统浅层分类方法，它具有更强的表征和泛化能力，可以提取到更深层的图像特征，获得更多的判别特征以获得良好的分类结果。但尽管这些方法获得了较好的分类效果，但基于卷积神经网络的模型都伴随着大量空间维度信息的冗余，在某种程度上会严重影响模型性能。同时，在深度学习中，高光谱遥感图像进行人工标记需要耗费大量的人力物力，导致现成的标记样本较少。因此，如何在减少空间信息冗余的情况下，在低训练样本下，学习高光谱遥感图像的空间和光谱特征，提高高光谱图像的分类精度，具有重要意义。

针对当前所有利用Octave卷积来进行高光谱图像分类的模型方法，它们只解决了减少空间特征信息冗余的问题。但是在高光谱图像的光谱信息的提取方法方面，他们不是利用Octave卷积本身来提取光谱信息，就是利用基于卷积神经网络的方法来提取光谱信息。这两类提取光谱信息的方法都是将高光谱数据的光谱信息视为一个无序高维向量进行数据处理，这不符合光谱数据的特性，会破坏光谱间的相关性，以致会造成影响到光谱信息的提取，无法准确的提取光谱特征信息的问题。

针对当前所有利用Bi-RNN(双向循环神经网络)进行高光谱分类的方法，都无法避免存在大量空间特征信息冗余的问题，以致会产生无法准确提取图像空间维度的信息，影响分类精度的问题。而针对现有利用Octave卷积方法来进行光谱图像分类，其数据流是串行的，存在无法并行运行处理的问题。

例如专利申请CN 202010066659.2公开了一种基于3维和2维混合卷积的高光谱遥感图像分类方法，包括获取待分类的高光谱遥感图像；利用主成分分析法进行光谱降维；根据光谱信息量将降维后的高光谱遥感图像中的光谱带沿通道中间向通道两侧由高到低排列；根据光谱带含有的光谱信息量对光谱带赋予对应的权重；对光谱带中每个像素点取一个固定空间大小的立方体数据，利用3维卷积根据立方体数据提取光谱-空间特征，再利用2维卷积进行光谱信息的融合，得到最终的特征图；采用协方差池化方法，从特征图中提取二阶信息，输出特征向量；将特征向量输入至三层全连接网络得到预测分类结果。该发明结合了3维和2维卷积的优点，实现了在低训练样本下对高光谱遥感图像的准确分类。但是，该发明的步骤S2中需要先对光谱进行降维预处理，导致该方法和模型相对复杂。此外，该方法中无法避免空间信息冗余的问题，该方法对光谱信息的提取能力也不够高。

因此，本领域需要一种新的高光谱图像分类方法来解决上述问题。

发明内容

本发明提供了一种基于3D Octave卷积和Bi-RNN注意力网络的高光谱图像分类方法，结合了3D Octave卷积和Bi-RNN注意力网络的优点，实现了在低训练样本下对高光谱图像的准确分类。

因此，本发明提供一种高光谱图像分类方法，所述高光谱图像属于航拍器拍摄获取的遥感图像，其特征在于，所述高光谱图像分类方法基于3D Octave卷积和Bi-RNN注意力网络，所述Bi-RNN即双向循环神经网络，所述高光谱图像分类方法包括以下步骤：

步骤S1、获取待分类的高光谱遥感图像；

步骤S2、利用连续4个或以上的3D Octave卷积获取用于高光谱图像的空间特征信息Z^O；优选3D Octave卷积的数量为4个；

步骤S3、将执行完步骤S1后输出的高光谱数据视为一个有序光谱向量，跟步骤S2并行的，将光谱序列一一输入的双向隐藏层，并将正向隐藏层输出的状态和反向隐藏层输出的状态通过串联函数连接起来，得到向量g_n；

步骤S4、将双向隐藏层连接后的输出向量g_n，作为注意力模块的输入；通过注意力机制随机初始化得到的概率权重W_i与向量g_n的乘积，加上一个偏置参量b_i，经过tanh激活函数后，再经softmax函数计算得到注意力权重参数β；

步骤S5、将注意力权重参数β与由步骤S3得到的向量gn对应值相乘，然后对其进行求和，以得到新的光谱信息向量标签y；

步骤S6、将步骤S2中3D Octave卷积网络最后一层全连接层提取的空间特征信息Z^O，与步骤S5中Bi-RNN注意力网络的最后一层全连接层得到的新的光谱信息向量标签y结合起来，形成一个新的全连接层，输出特征向量；

步骤S7、将特征向量输入两层以上的全连接层网络，所述全连接层网络的层数优选为2～5层，更优选为3层，再经softmax层来预测分类结果。

在一种具体的实施方式中，步骤S2包括：

令用于高光谱图像分类的图像的大小为W×H×L；

重塑高光谱图像分类数据为X，大小为L×N，其中N＝W×H；

将高光谱数据X作为3D Octave卷积网络的输入，假设Octave卷积网络的输入和输出数据分别为X＝{X^H，X^L}，Z＝{Z^H，Z^L}，其中，H和L分别表示为高频信息和低频信息；即输入的高光谱数据X和经3D Octave卷积网络数据处理后输出的数据Z分别都可表示为对应的高频信息和低频信息之和；

建立Octave卷积模型如下：

Z^H＝Z^H→H+Z^L→H和Z^L＝Z^L→L+Z^H→L；

其中，Z^H→H，Z^L→L分别表示高频频率内和低频频率内的高光谱图像数据信息的更新，Z^L→H，Z^H→L分别表示低频到高频频率间和高频到低频频率间的高光谱图像数据信息的转换；

为完成高光谱图像的高频特征信息和低频特征信息的更新和转换，假设Octave卷积模型对应的权重参数为W＝[W^H，W^L]；同样，权重参数W^H和W^L分别定义为W^L＝[W^L→L,W^H→L],W^H＝[W^H→H,W^L→H]，其中，W^H→H，W^L→L表示对应频率内的信息更新权重，W^H→L，W^L→H表示对应频率间的信息转换权重；

由上获得Z^H和Z^L的表达式分别为：

其中，式(1)和式(2)中T表示矩阵转置，up表示上采样操作，pool表示平均池化操作；

计算Octave卷积网络输出Z，Z的表达式如下：

Z＝[Z^L，Z^H]

＝[(Z^L→L+Z^H→L)，(Z^H→H+Z^L→H)]

＝[∑(W^L)^TX，∑(W^H)^TX]

＝[∑(W^L→L)^TX^L+∑(W^H→L)^Tpool(X^H)，∑(W^H→H)^TX^H+up(∑(W^L→H)^TX^L)]。

在一种具体的实施方式中，所述步骤S3包括：

令高光谱输入数据X为一个有序光谱向量，X＝(X₁，X₂，X₃，...，X_n)，计算Bi-RNN网络的双向隐藏层输出h_n如下：

式(3)和式(4)中，n表示光谱带的范围1～m，系数矩阵

和

来自当前隐藏层的输入，

表示上一个隐藏状态h_n-1，

在后续隐藏状态中从h_n+1开始，f是隐藏层的非线性激活函数，并且该编码器的输出作为向量g_n的输入，计算g_n如下：

式中，concat()是正向隐藏状态函数和反向隐藏状态函数之间的串联函数。

在一种具体的实施方式中，所述步骤S4包括：

获取不同的光谱信息的权重值，注意力层的权重计算如下：

e_in＝tanh(W_ig_n+b_i) (6)

β_in＝softmax(W_i'e_in+b_i') (7)

式(6)和式(7)中，W_i和W_i’是变换矩阵，b_i和b_i’是偏差项，而softmax()是将非标准化输出值映射到概率分布，且输出值约束在(0，1)区间内；式(6)是一层神经网络，该层重新排列了Bi-RNN的状态向量空间，然后tanh激活将其转换为e_in作为hn的一个新的隐藏表示；式(7)通过softmax层产生注意力权重β，所述β_in为注意力权重参数β中一个的组成部分，即第i个权重参数，其中，我们根据e_in与另一个通道矢量的相关性来衡量输入的重要性，所述e_in为一个中间参数。

在一种具体的实施方式中，所述步骤S5包括：

计算出像素X的预测标签y_n：

y_n＝U[g_n,β] (8)

式中，U()是对所有在对应的注意力权重加权下的状态向量求和函数；所述像素X的预测标签y_n为光谱信息向量标签y的一个组成部分。

在一种具体的实施方式中，所述步骤S7包括：将特征向量输入3层全连接层网络，其中包括三个全连接层，三个全连接层中的前两个全连接层使用Batch_normal进行归一化后，再经relu函数激活，然后使用正则化Dropout方法，最后一个全连接层使用Softmax输出预测分类结果。

在一种具体的实施方式中，所述高光谱图像分类方法使用一种高光谱图像分类***完成，所述高光谱图像分类***包括高光谱图像模块(1)、卷积网络模块(2)、Bi-RNN注意力网络模块(3)、空间-光谱特征融合网络模块(4)和分类图像模块(5)，所述步骤S1在高光谱图像模块(1)中完成，步骤S2在3D Octave卷积网络模块(2)中完成，步骤S3～S5在Bi-RNN注意力网络模块(3)中完成，步骤S6在空间-光谱特征融合网络模块(4)中完成，而步骤S7在分类图像模块(5)中完成。

本发明至少具备如下有益效果：本申请提供的基于3D Octave卷积和Bi-RNN注意力网络的高光谱图像分类方法，利用4个3D Octave卷积获取用于高光谱图像的空间特征的同时减少空间冗余信息，然后利用Bi-RNN光谱注意力网络提取高光谱图像的光谱信息，增强了具有更高光谱系量的光谱带的重要系，提高了在低训练样本的情况下的分类精度，充分利用了3D Octave卷积和Bi-RNN注意力网络的优点，显著提高了分类的准确性，采用并行数据处理方式，加快了模型的运行速度。

附图说明

图1为本发明基于3D Octave卷积和Bi-RNN注意力网络的高光谱图像分类方法的模块图。

图2为本申请的3D Octave卷积的流程图。

图3为本申请的Bi-RNN注意力网络的流程图。

图4为不同方法在Pavia University数据集上的分类图。其中，(a)伪彩色图、(b)真实地物图、(c)SVM、(d)2D-CNN、(e)ARNN、(f)SSAN、(g)3DOC-SSAN和(h)本发明的方法。

图5为不同方法在Botswana数据集上的分类图。其中，(a)伪彩色图、(b)真实地物图、(c)SVM、(d)2D-CNN、(e)ARNN、(f)SSAN、(g)3DOC-SSAN和(h)本发明的方法。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本申请。

其中一个实施例中，提供了一种3D Octave卷积和Bi-RNN注意力网络的高光谱图像分类方法，该方法充分利用了3D Octave卷积和Bi-RNN注意力网络的优点，实现低训练样本下得到准确度高的分类结果。

具体的，如图1所示，本实施例中的3D Octave卷积和Bi-RNN注意力网络的高光谱遥感图像分类方法，包括以下步骤：

步骤S1、获取待分类的高光谱遥感图像。

利用Z₁、Z₂、Z₃和Z₄这4个3D Octave卷积获取用于高光谱图像的空间特征的同时减少空间冗余信息，如图2所示。本实例中提供通过每一个3D Octave卷积获取空间特征信息，具体步骤如下参见步骤S2。

在实施例中，提供的3D Octave卷积获取用于高光谱图像的空间特征的过程如下：

第1个3D Octave卷积的输入数据X中的低频信号X^L设为0；

计算第1个3D Octave卷积网络输出Z₁，Z₁的表达式如下：

Z₁＝[Z₁ ^L，Z₁ ^H]

＝[(0+Z₁ ^H→L)，(Z₁ ^H→H+0)]

＝[∑(W₁ ^H→L)^Tpool(X^H)，∑(W₁ ^H→H)^TX^H]

第2个3D Octave卷积的输入数据X₂为Z₁，其中Z₁ ^H→H表示高频部分，Z₁ ^H→L表示低频部分。

计算第2个3D Octave卷积网络输出Z₂，Z₂的表达式如下：

Z₂＝[Z₂ ^L，Z₂ ^H]

＝[(Z₂ ^L→L+Z₂ ^H→L)，(Z^H→H+Z^L→H)]

＝[∑(W₂ ^L)^TZ₁，∑(W₂ ^H)^TZ₁]

＝[∑(W₂ ^L→L)^TZ₁ ^L+∑(W₂ ^H→L)^Tpool(Z₁ ^H)，∑(W₂ ^H→H)^TZ₁ ^H+up(∑(W₂ ^L→H)^TZ₁ ^L)]

降低高光谱图像的特征图的冗余信息，而且保留了重要的特征。

采用池化操作对高频特征图Z₂ ^H进行下采样，再将下采样的结果和低频特征图Z₂ ^L融合为新的特征图Z^pool。

第3个3D Octave卷积的输入数据X₃为Z^pool，低频部分设为0。

计算第3个3D Octave卷积网络输出Z₃，Z₃的表达式如下：

Z₃＝[Z₃ ^L，Z₃ ^H]

＝[(0+Z₃ ^H→L)，(Z₃ ^H→H+0)]

＝[∑(W₃ ^L)^TZ_pool，∑(W₃ ^H)^TZ_pool]

＝[∑(W₃ ^H→L)^Tpool(Z_pool ^H)，∑(W₃ ^H→H)^TZ_pool ^H]

第4个3D Octave卷积的输入数据X₄为Z₃，其中Z₃ ^H→H表示高频部分，Z₁ ^H→L表示低频部分。

计算第4个3D Octave卷积网络输出Z₄，Z₄的表达式如下：

Z₄＝[Z₄ ^L，Z₄ ^H]

＝[(Z₄ ^L→L+Z₄ ^H→L)，(Z₄ ^H→H+Z₄ ^L→H)]

＝[∑(W₄ ^L)^TZ₃，∑(W₄ ^H)^TZ₃]

＝[∑(W₄ ^L→L)^TZ₃ ^L+∑(W₄ ^H→L)^Tpool(Z₃ ^H)，∑(W₄ ^H→H)^TZ₃ ^H+up(∑(W₄ ^L→H)^TZ₃ ^L)]

确保信息的完整性，将低频特征图Z₄ ^L经上采样操作后融合到Z₄ ^H中，得到Z^O。

其中，所述的3D Octave卷积结构设置为4层卷积结构，四层卷积结构的卷积核大小均设置为5×3×3，卷积核个数分别设置为24、48、24和1。

3D Octave卷积方法旨在保留高光谱图像固有的光谱维度信息的情况下，减少空间冗余信息。实际上3D Octave卷积方法是一种多频特征表示方法，将高频和低频映射存储到不同组中，并且使用低维度向量储存和处理特征图中的低频部分，由于低频分量是冗余的，可以通过降低低频特征的分辨率来降低冗余。因此，可以得出如下推论：在3D Octave卷积之后，高光谱图像的空间冗余信息大大减少，这将对后续的高光谱图像的分类具有重要影响。

步骤S3，将执行完步骤S1后输出高光谱数据视为一个有序光谱向量。跟步骤S2并行的，将光谱序列一一输入Bi-RNN网络的双向隐藏层，并将正向隐藏层输出的状态和反向隐藏层输出的状态通过串联函数连接起来，得到向量gn；

令高光谱输入数据X为一个有序光谱向量，X＝(X1，X2，X3，...，Xn)，计算Bi-RNN网络的双向隐藏层输出hn如下：

其中，n表示光谱带的范围1～m，系数矩阵和来自当前隐藏层的输入，表示上一个隐藏状态hn-1，在后续隐藏状态中从hn+1开始，f是隐藏层的非线性激活函数，并且该编码器的输出作为向量gn的输入，计算gn如下：

其中，concat()是正向隐藏状态函数和反向隐藏状态函数之间的串联函数。

Bi-RNN包含一个双向GRU层的隐藏层，将光谱序列一一输入，它沿相反方向运行的两个隐藏层连接到单个输出，从而可以处理高光谱图像光谱序列中前后的光谱信息。

步骤S4、将双向隐藏层连接后的输出向量g_n，作为注意力模块的输入。通过注意力机制随机初始化得到的概率权重W_i与向量g_n的乘积，加上一个偏置参量b_i，经过tanh激活函数后，再经softmax函数计算得到注意力权重参数β。如图3所示。

获取不同的光谱信息的权重值，光谱注意力层的权重计算如下：

e_in＝tanh(W_ig_n+b_i)

β_in＝softmax(W_i'e_in+b_i')

其中，W_i和W_i’是变换矩阵，b_i和b_i’是偏差项，而softmax()是将非标准化输出值映射到概率分布，且输出值约束在(0，1)区间内。tanh激活将其转换为e_in作为h_n的一个新的隐藏表示。通过softmax层产生注意力权重β。

所述的将注意力权重参数β与由步骤S3得到的向量g_n对应值相乘，然后对其进行求和，以得到新的光谱信息向量标签y；包括：

计算出像素X的预测标签y_n：

y_n＝U[g_n,β]

其中，U()是对所有在对应的注意力权重加权下的状态向量求和函数。

实际中，光谱曲线并不是一个固定常数的直线，而是具有峰谷的连续曲线。因此，光谱中的某些重要的光谱通道应具有较大的权重，而那些次要的光谱段应赋予较小的权重。额外的注意力权重可增强光谱通道之间的光谱相关性，具有在序列中捕获上下文信息的强大功能。

为了给每个光谱通道分配合适的权重参数，突出和区分有效的特征，获取更多相关且值得注意的信息，且削弱不利于分类的信息。引入Bi-RNN注意力网络，使模型能够捕获内部光谱通道之间的相关性并进行更好的分类，并使训练模型更加准确。

步骤S6、将步骤S2中3D Octave卷积网络最后一层全连接层，提取的空间特征信息Z^O与步骤S5中Bi-RNN注意力网络的最后一层全连接层，得到的新的光谱信息向量标签y的结合起来，形成一个新的全连接层，输出特征向量。

步骤S7、所述将特征向量输入3层全连接层网络，其中包括三个全连接层，三个全连接层中的前两个全连接层使用Batch_normal进行归一化后，再经relu函数激活；为了防止过拟合，三个全连接层中的前两个全连接层使用正则化Dropout方法，最后一个全连接层使用Softmax输出预测分类结果。

本实施例利用4个3D Octave卷积进行高光谱图像空间信息的提取，减少空间信息的冗余，同时利用Bi-RNN注意力网络进行高光谱图像光谱信息的提取，利用注意力网络来增强具有更高光谱信息量的光谱带信息的重要性，提高了在低训练样本的情况下的分类的准确性；充分利用了3D Octave卷积和Bi-RNN注意力网络的优点，实现低训练样本下得到准确度高的分类结果，采用并行数据处理方式，加快了模型的运行速度。

实施例1

本实验硬件平台为一台高性能计算机，其配置为：英特尔Core [email protected]八核，32G内存，显卡为Nvidia GeForce RTX 2080Ti(11GB)。软件平台为Windows10***环境下的Python3.6.0和TensorFlow1.14。

一、实验数据与样本划分

为了评价所提方法的分类效果，选择Pavia University数据集和Botswana数据集来验证所提方法的性能。

Pavia University数据集是由反射光学成像光谱仪传感器在意大利北部帕维亚大学获得的遥感图像数据。它的像素大小为610×340，在430～860nm范围有115个原始光谱波段数，除去12个噪声波段，剩余103个光谱波段用于分类。在Pavia University数据集中定义了9个语义类别，每个类别样本的大小，以及实验训练样本和测试集样本数的划分如表1所示。

Botswana数据集是由是2001年5月31日由美国航空局通过EO-1卫星上的Hyperion传感器成像光谱仪所拍摄的。该图像覆盖了博茨瓦纳奥卡万戈三角洲地区长7.7km的带状地带，图像的空间分辨率达到了30m，光谱分辨率达到了10nm。该图像原本包含242个波段，剔除受到噪声影响的波段后，剩余145个波段可用于高光谱图像的分类，图像尺寸为1476×256，总共包含了14个不同的类别。每个类别样本的大小，以及实验训练样本和测试集样本数的划分如表2所示。

高光谱图像的分类精度评价指标采用常用的三个评价指标，总体分类精度(OA)，平均分类精度(AA)和Kappa系数来衡量分类的精度。

表1 Pavia University数据集的训练集和测试集样本数

表2 Botswana数据集的训练集和测试集样本数

二、参数设置

在本实验中，学习率，空间大小，丢弃率三个参数会对实验造成显著的影响。在此我们以Pavia University数据集为例，对实验参数进行了详细的评估。

1)学习率：在实验中，我们测试了不同的学习率的影响。学习率决定着每次更新模型权重时的学习过程和分配错误量。学习率太大可能会导致训练的周期震荡，太小则会导致模型不能收敛。因此我们模型的学习率分别选择[0.01,0.005,0.001,0.0007,0.0005,0.0003，0.0001，0.00007，0.00005，0.00003，0.00001]进行实验，结果表明我们的学习率在0.0001的时候分类效果最好。

2)空间大小：因为图像空间特征的提取，严重依赖空间领域区域的大小。且更大的空间输入将提供更多的机会来学***滑现象的可能。因此，选择合适的空间大小对分类性能的提升非常重要。在光谱通道数固定不变，最优学习率，批量大小为32，训练迭代次数为100次的情况下，不同空间尺寸下的分类精度结果如表3所示。

从表3和表4可知，当输入数据的空间大小为15×15，丢失率为0.6时，分类效果最好。为了使分类性能最佳，故本实验选择最佳丢失率。

同样在Botswana数据集中，为了使分类性能最佳，实验的学习率设置为0.0001，空间大小为13×13，批量大小为16，训练的迭代次数设置为400次。

表3不同空间尺寸下的分类精度

表4不同丢失率下的分类精度

三、实验结果

为了保证实验结果的准确性，实验重复进行了10次，再取平均值。

为了验证所提方法的有效性和优越性，本发明与一些传统的方法及主流的深度学习方法(如SVM，ARNN，SSAN，3DOC-SSAN，2D-CNN)进行实验对比。不同方法在PaviaUniversity数据集上的分类性能对比实验结果如表5所示。

从表5结果可以看出，在Pavia University数据集上本发明所提方法各项性能明显要比传统方法SVM好，本发明所提方法的OA值、AA值和Kappa值均比其他主流深度学习分类方法精度都要高，其中OA值比SVM高9.50％，比2D-CNN高0.70％，比ARNN高1.74％，比SSAN高0.97％，比3DC-SSAN分类方法精度高0.10％。AA值比SVM高6.28％，比2D-CNN高0.55％，比ARNN高0.79％，比SSAN高0.66％，比3DC-SSAN高0.09％。Kappa值比SVM高11.02％，比2D-CNN高1.61％，比ARNN高1.47％，比SSAN高2.37％，比3DC-SSAN高0.02％。这三项指标都体现了本发明方法在分类性能上优于其他方法。

表5不同方法在Pavia University数据集的分类性能

而不同方法在Pavia University数据集上的分类图如图4所示。从图中可以看出，SVM，ARNN，SSAN，2D-CNN的最终分类结果均有大量杂乱的斑点，并且有些区域存在错误分类的现象。3DOC-SSAN方法具有很好的分类效果，但在右下角和左上角也存在较少的斑点。而本发明方法的分类结果图，地物基本上被完全正确分类，几乎看不出斑点，而且在同质区域相对平滑。

不同方法在Botswana数据集上的分类性能对比实验结果如表6所示。同时，在该数据集上的分类图如图5所示。

从表6可以看出，在Botswana数据集上本发明所提方法在OA值、AA值和Kappa值这三项指标上，精度都高于其他方法。其中OA值比SVM高8.88％，比2D-CNN高1.65％，比ARNN高2.77％，比SSAN高1.79％，比3DC-SSAN分类方法精度高0.36％。AA值比SVM高9.67％，比2D-CNN高1.95％，比ARNN高2.71％，比SSAN高1.69％，比3DC-SSAN高0.34％。Kappa值比SVM高7.57％，比2D-CNN高1.81％，比ARNN高3.01％，比SSAN高1.94％，比3DC-SSAN高0.38％。并且在11个类别上分类精度都达到了100％，除了漫滩草地1上的分类精度为97.38％，其余两类的分类精度也都达到了99.88％以上的分类精度。

表6不同方法在Botswana数据集的分类性能

同时从表5和表6可以看出，利用3D Octave卷积的分类方法3DC-SSAN和本发明方法明显比2D-CNN、ARNN和SSAN的分类方法性能要好，这证明了3D Octave卷积在减少空间冗余信息，提高分类性能上具有一定优势。而本发明方法又比不加Bi-RNN注意力网络的3DC-SSAN方法的分类性能好，说明了Bi-RNN注意力网络在增强光谱特征的信息的提取方面具有一定的优势，有利于分类性能的提升。

此外，本发明所提方法与3DOC-SSAN模型相比，本发明方法模型无需额外加入空间注意力网络模块，模型相对简单，且模型训练时前者可以采用并行处理，当采用并行运行计算时，速度更快。因为3DOC-SSAN方法的数据流是串行的，需先将高光谱数据输入Octave卷积模型中进行预处理后，才能将数据再分别加入光谱和空间注意力网络分别进行空间光谱特征提取，然后通过数据融合模块将特征信息融合，最后进行分类。而本发明方法的不同之处在于，本发明所提方法的数据流是并行的。同时，Bi-RNN注意力网络运行一次的运行时间比3D Octave卷积网络快3倍左右。当采用并行运行时，无论是采用基于任务型的并行处理方式还是基于数据型的并行处理方式，本发明方法都适用。本发明方法待3D Octave卷积网络执行完后，就可直接将注入空间光谱特征信息融合网络，无需额外时间开销来运行空间注意力和光谱注意力网络的，相比之下大大降低模型的运行时间。

四、结论

为了减少空间特征信息的冗余，增强光谱信息的获取，提高高光谱图像的分类性能，本发明提出了一种基于3D Octave卷积和Bi-RNN注意力网络新模型。该模型结构简单，无需对高光谱图像数据进行复杂的预处理和后处理，可以实现端到端的训练。实验表明，对比传统方法分类性能有很明显的提升，与当前的一些主流深度学习算法相比，本发明方法能更充分地提取空间和光谱特征信息，具有更佳的分类性能。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (7)

1.一种高光谱图像分类方法，所述高光谱图像属于航拍器拍摄获取的遥感图像，其特征在于，所述高光谱图像分类方法基于3D Octave卷积和Bi-RNN注意力网络，所述Bi-RNN即双向循环神经网络，所述高光谱图像分类方法包括以下步骤：

步骤S1、获取待分类的高光谱遥感图像；

步骤S2、利用连续4个或以上的3D Octave卷积获取用于高光谱图像的空间特征信息Z^O；优选3D Octave卷积的数量为4个；

步骤S3、将执行完步骤S1后输出的高光谱数据视为一个有序光谱向量，跟步骤S2并行的，将光谱序列一一输入的双向隐藏层，并将正向隐藏层输出的状态和反向隐藏层输出的状态通过串联函数连接起来，得到向量g_n；

步骤S4、将双向隐藏层连接后的输出向量g_n，作为注意力模块的输入；通过注意力机制随机初始化得到的概率权重W_i与向量g_n的乘积，加上一个偏置参量b_i，经过tanh激活函数后，再经softmax函数计算得到注意力权重参数β；

步骤S5、将注意力权重参数β与由步骤S3得到的向量gn对应值相乘，然后对其进行求和，以得到新的光谱信息向量标签y；

步骤S6、将步骤S2中3D Octave卷积网络最后一层全连接层提取的空间特征信息Z^O，与步骤S5中Bi-RNN注意力网络的最后一层全连接层得到的新的光谱信息向量标签y结合起来，形成一个新的全连接层，输出特征向量；

步骤S7、将特征向量输入两层以上的全连接层网络，所述全连接层网络的层数优选为2～5层，更优选为3层，再经softmax层来预测分类结果。

2.如权利要求1所述的高光谱图像分类方法，其特征在于，步骤S2包括：

令用于高光谱图像分类的图像的大小为W×H×L；

重塑高光谱图像分类数据为X，大小为L×N，其中N＝W×H；

将高光谱数据X作为3D Octave卷积网络的输入，假设Octave卷积网络的输入和输出数据分别为X＝{X^H，X^L}，Z＝{Z^H，Z^L}，其中，H和L分别表示为高频信息和低频信息；即输入的高光谱数据X和经3D Octave卷积网络数据处理后输出的数据Z分别都可表示为对应的高频信息和低频信息之和；

建立Octave卷积模型如下：

Z^H＝Z^H→H+Z^L→H和Z^L＝Z^L→L+Z^H→L；

其中，Z^H→H，Z^L→L分别表示高频频率内和低频频率内的高光谱图像数据信息的更新，Z^{L →H}，Z^H→L分别表示低频到高频频率间和高频到低频频率间的高光谱图像数据信息的转换；

为完成高光谱图像的高频特征信息和低频特征信息的更新和转换，假设Octave卷积模型对应的权重参数为W＝[W^H，W^L]；同样，权重参数W^H和W^L分别定义为W^L＝[W^L→L,W^H→L],W^H＝[W^{H →H},W^L→H]，其中，W^H→H，W^L→L表示对应频率内的信息更新权重，W^H→L，W^L→H表示对应频率间的信息转换权重；

由上获得Z^H和Z^L的表达式分别为：

其中，式(1)和式(2)中T表示矩阵转置，up表示上采样操作，pool表示平均池化操作；

计算Octave卷积网络输出Z，Z的表达式如下：

Z＝[Z^L，Z^H]

＝[(Z^L→L+Z^H→L)，(Z^H→H+Z^L→H)]

＝[∑(W^L)^TX，∑(W^H)^TX]

＝[∑(W^L→L)^TX^L+∑(W^H→L)^Tpool(X^H)，∑(W^H→H)^TX^H+up(∑(W^L→H)^TXL)]。

3.如权利要求1所述的高光谱图像分类方法，其特征在于，所述步骤S3包括：

令高光谱输入数据X为一个有序光谱向量，X＝(X₁，X₂，X₃，...，X_n)，计算Bi-RNN网络的双向隐藏层输出h_n如下：

式(3)和式(4)中，n表示光谱带的范围1～m，系数矩阵

和

来自当前隐藏层的输入，

表示上一个隐藏状态h_n-1，

在后续隐藏状态中从h_n+1开始，f是隐藏层的非线性激活函数，并且该编码器的输出作为向量g_n的输入，计算g_n如下：

式中，concat()是正向隐藏状态函数和反向隐藏状态函数之间的串联函数。

4.如权利要求1所述的高光谱图像分类方法，其特征在于，所述步骤S4包括：

获取不同的光谱信息的权重值，注意力层的权重计算如下：

e_in＝tanh(W_ig_n+b_i) (6)

β_in＝softmax(W_i'e_in+b′_i) (7)

式(6)和式(7)中，W_i和W_i’是变换矩阵，b_i和b_i’是偏差项，而softmax()是将非标准化输出值映射到概率分布，且输出值约束在(0，1)区间内；式(6)是一层神经网络，该层重新排列了Bi-RNN的状态向量空间，然后tanh激活将其转换为e_in作为hn的一个新的隐藏表示；式(7)通过softmax层产生注意力权重β，所述β_in为注意力权重参数β中一个的组成部分，即第i个权重参数，其中，我们根据e_in与另一个通道矢量的相关性来衡量输入的重要性，所述e_in为一个中间参数。

5.如权利要求1所述的高光谱图像分类方法，其特征在于，所述步骤S5包括：

计算出像素X的预测标签y_n：

y_n＝U[g_n,β] (8)

式中，U()是对所有在对应的注意力权重加权下的状态向量求和函数；所述像素X的预测标签y_n为光谱信息向量标签y的一个组成部分。

6.如权利要求1所述的高光谱图像分类方法，其特征在于，所述步骤S7包括：将特征向量输入3层全连接层网络，其中包括三个全连接层，三个全连接层中的前两个全连接层使用Batch_normal进行归一化后，再经relu函数激活，然后使用正则化Dropout方法，最后一个全连接层使用Softmax输出预测分类结果。

7.如权利要求1～6中任意一项所述的高光谱图像分类方法，其特征在于，所述高光谱图像分类方法使用一种高光谱图像分类***完成，所述高光谱图像分类***包括高光谱图像模块(1)、卷积网络模块(2)、Bi-RNN注意力网络模块(3)、空间-光谱特征融合网络模块(4)和分类图像模块(5)，所述步骤S1在高光谱图像模块(1)中完成，步骤S2在3D Octave卷积网络模块(2)中完成，步骤S3～S5在Bi-RNN注意力网络模块(3)中完成，步骤S6在空间-光谱特征融合网络模块(4)中完成，而步骤S7在分类图像模块(5)中完成。

Images