CN115564996A - 一种基于注意力联合网络的高光谱遥感图像分类方法 - Google Patents

Abstract

本发明涉及一种基于注意力联合网络的高光谱遥感图像分类方法，与现有技术相比解决了训练样本有限的情况下导致分类性能不足的缺陷。本发明包括以下步骤：训练样本的获取和预处理；构建注意力联合网络；注意力联合网络的训练；分类样本的获取和预处理；高光谱遥感图像分类结果的获得。本发明从PCA降维后的高光谱图像中提取空间光谱特征和空间特征，引入了由通道注意和空间注意组成的注意力模块以细化特征，通过连接两个分支的输出，得到增强的空间光谱特征，最后利用Softmax分类器进行分类，在有限的训练样本情况下仍具有较好的分类性能。

Description

一种基于注意力联合网络的高光谱遥感图像分类方法

技术领域

本发明涉及高光谱遥感图像技术领域，具体来说是一种基于注意力联合网络的高光谱遥感图像分类方法。

背景技术

高光谱遥感图像中具有丰富的空间光谱信息，可以显现出中长红外范围内物体的光发射特性，已被广泛应用于目标识别、环境监测等多个领域。然而，实际应用中高光谱图像存在冗余性强、多波段以及训练样本有限等问题，使得高光谱图像分类仍然存在很大的挑战。

为了解决上述问题，利用降维将高维光谱数据转换为低维光谱数据，同时保留潜在的光谱信息。经典的降维方法包括主成分分析(PCA)、独立成分分析ICA)等，Ahmad等人通过比较不同降维方法对高光谱图像分类的影响，证明在高光谱图像分类问题上PCA相对于其它降维方法有着更好的性能。

随着机器学习领域的不断进步，深度学习逐渐应用到高光谱图像分类。二维卷积神经网络(2D-CNN)可以自动从高光谱图像中提取特征实现分类，但同时会损失一部分空间或光谱信息。

为了解决这一问题，将三维卷积神经网络(3D-CNN)引入高光谱图像分类。3D-CNN的计算量相对较大，但可以更好地提取高光谱图像中的空间光谱特征。Ying等人使用内核和窗口大小相对较小的3D-CNN对高光谱图像进行分类，减少了计算时间。然而，这些方法仅提取了高光谱图像的浅层特征，在较少样本的情况下分类效果并不理想。随后，Wang等人利用深层次的残差二维卷积神经网络(Res-2D-CNN)实现小样本情况下的高光谱图像分类，取得了较好的分类结果。Bing等人将残差连接引入3D-CNN，并构建了残差三维卷积神经网络(Res-3D-CNN)，进一步提高了分类性能。Roy等人提出了3D和2D混合神经网络(HybridSN)，3D卷积执行联合空间光谱特征识别，2D卷积以提供更多空间数据，使得分类不仅具有准确性，而且降低了计算复杂度。Feng等人通过合理利用非恒等残差连接提出了残差混合网络(R-HybridSN)，在训练样本较少的情况下也获得了令人满意的分类结果。但是，R-HybridSN对浅层特征并没有很好的利用，因此在网络结构上可以进一步优化。

近年来，注意力机制被广泛应用于网络结构中，这使得有限的资源可以合理分配用于处理更重要的信息。Hu等人提出了挤压和激励网络，并将注意机制引入到图像分类网络中，赢得了2017年图像网络大型视觉识别比赛冠军。Li等人在密集连接模块之后添加了一个注意力模块用于浅层和中间层的特征提取，以细化光谱波段的有效特征和进一步提取深层特征。然而，由于注意力机制的空间注意和通道注意通常是相互分离的。Li等人提出了一种注意力网络(DANet)，可以有效的对高光谱图像进行分类。

虽然现有的方法可以有效提取高光谱图像特征，但在有限的训练样本情况下分类性能不足。Zhao等人基于DensNet和注意力机制，提出了一种具有注意力机制的混合密集网络(HDDA)用于高光谱图像分类，该网络增强了光谱空间特征可分性，在三个数据集上的分类效果良好。然而，通过密集网络提取特征会使得参数量增大，残差注意力模块也可能出现不工作的情况。

发明内容

本发明的目的是为了解决现有技术中训练样本有限的情况下导致分类性能不足的缺陷，提供一种基于注意力联合网络的高光谱遥感图像分类方法来解决上述问题。

为了实现上述目的，本发明的技术方案如下：

一种基于注意力联合网络的高光谱遥感图像分类方法，包括以下步骤：

训练样本的获取和预处理：获取待训练的高光谱影像并进行预处理；

构建注意力联合网络：以三维和二维卷积神经网络模型为基础，引入注意力机制，建立具有两个特征提取分支的注意力联合网络；

注意力联合网络的训练：将预处理后的高光谱影像输入注意力联合网络，使用具有注意力的卷积神经网络提取特征，然后融合特征并进行训练分类；

分类样本的获取和预处理：获取待分类的高光谱影像并进行预处理；

高光谱遥感图像分类结果的获得：将预处理后的待分类高光谱影像输入训练后的注意力联合网络，得到高光谱遥感图像分类结果。

所述训练样本的获取和预处理包括以下步骤：

在高光谱影像的每类地物类别样本中按比例获取样本X作为训练样本，样本X表示为:

X＝[x₁,x₂,x₃,...,x_B]^T∈R^(M×N)×B，

其中，M、N、B分别表示高光谱遥感数据的宽度、高度、光谱维度，x_i＝[x_1,i,x_2,i,x_3,i,...,x_B,i]^T是高光谱数据的第i个样本；

样本X经主成分分析进行降维：对协方差矩阵E使用特征分解法求其特征值及对应的特征向量，其计算公式如下：

E＝AUA^T，

其中，E为协方差矩阵，A为特征向量矩阵，A^T为A转置，U＝diag[λ₁,λ₂,λ₃,...,λ_X]是协方差矩阵的特征值对角矩阵，

则降维后的结果表示为：

X_P＝AX，

其中，X_P为降维后的高光谱数据，A为变换矩阵，X为原始高光谱数据；

将降维后的高光谱图像以中心像素大小w×w领域及其对应的类标签做样本，得到训练样本X_P和其标签Y_P,X_P的尺寸为w×w×d，Y的尺寸为w×w，其中w×w分别表示宽度、高度，d表示光谱维度；

将待训练样本数据X_P转化为二维矩阵X_T，其数据尺寸为(w×w,d)，其每一行代表一个样本所包含的光谱信息，每列代表不同的光谱维度；将标签数据Y_P转化为Y_T，其数据尺寸为(w×w，1)。

所述构建注意力联合网络包括以下步骤：

搭建三维卷积神经网络：

三维卷积神经网络包含4个三维卷积块连接，其中以X_P作为输入的高光谱遥感数据，分别采用通道数为n₁、n₂、n₃、n₄的卷积核：(a×a×b,n₁)、(a×a×c,n₂)、(a×a×a,n₃)、(a×a×a，n₄)输入数据进行空间光谱特征提取；

在三维卷积神经网络中，输入数据与三维核函数进行卷积，随后，通过激活函数来诱导非线性，利用提取的光谱波段与三维核函数卷积生成三维特征图；

在三维卷积过程中，三维卷积的数学表达式表示为：

其中，

表示第i层第j个特征图在(x,y,z)位置得到的结果，

是激活函数，τ表示通道数，η、γ和δ分别代表三维卷积核长度、宽度和通道方向的维数，

代表三维卷积核在第τ个特征图(λ,σ,ρ)处的权重，b_i,j为偏差参数；

搭建二维卷积神经网络：

设定二维卷积神经网络包含4个二维卷积块连接，其中以X_T作为输入的高光谱遥感数据，分别采用通道数为n₁、n₂、n₃、n₄的卷积核：(a×a,n₁)、(a×a,n₂)、(a×a,n₃)、(a×a，n₄)对输入数据进行空间特征提取；

在二维卷积神经网络中，输入数据与二维核函数进行卷积操作得到二维特征图，通过激活函数对卷积特征进行处理；在二维卷积过程中，二维卷积的数学表达式表示为：

其中，

表示第i层第j个特征图在(x,y)位置得到的结果，

是激活函数，τ表示通道数，η和γ分别代表三维卷积核长度和宽度，

代表二维卷积核在第τ个特征图(λ,σ)处的权重，b_i,j为偏差参数；

针对在三维卷积神经网络的四个卷积块中，每两个相邻的卷积块***一个注意力模块；

针对在二维卷积神经网络的四个卷积块中，每两个相邻的卷积块***一个注意力模块；

设定注意力模块包括通道注意力模块和空间注意力模块；

设定注意力模块如下：

在通道注意力模块中，以特征图F∈R^w×w×d×n作为输入，其中w×w为尺寸大小，d为光谱维数，n为通道数；

首先，通过最大池化和平均池化操作生成特征

和

其次，设定共享网络SN由上至下包括上卷积层、激活函数、下卷积层，将这两个特征

和

输入到共享网络SN中；

最后，利用求和的方法合并输出的特征，并通过sigmoid激活函数得到通道注意图M_C；

通道注意力计算方法如下：

其中，θ、θ′分别表示Sigmoid和Relu激活函数，Avgpool、Maxpool分别表示全局平均池化和全局最大池化操作，F为原始输入特征图，SN表示共享网络；W₀、W₁为共享网络SN的权值，利用矩阵相乘得到特征图F′∈R^w×w×d×n，其计算方法如下：

其中，M_C为通道注意特征图，

为矩阵相乘运算，F为输入特征图；

设定空间注意力模块，特征图经通道注意力处理后输入空间注意力模块，空间注意力模块用于提取不同区域的空间信息；

首先，通过全局平均池化和全局最大池化操作生成特征

和

并且这两个特征具有相同的维度；

然后，通过联合运算生成新的特征

最后，通过一层卷积层和Sigmoid函数生成空间注意图M_S；空间注意力的计算方法如下：

其中，θ为Sigmoid激活函数，f^K×K×K表示卷积核为K×K×K的卷积操作，Avgpool、Maxpool分别表示全局平均池化和全局最大池化操作，F′为通道注意力模块输出的特征图，

利用矩阵相乘得到特征图F″∈R^w×w×d×n，其计算方法如下：

其中，M_S为空间注意特征图，

为矩阵相乘运算，F′为经过通道注意力处理后的特征图；

在三维卷积神经网络后使用一个三维卷积层和一个三维全局平均池化层变成一维数组，二维卷积神经网络后使用一个二维卷积层和一个二维全局平均池化层后变成一维数组，然后将三维卷积神经网络输出的一维数组与二维卷积神经网络输出的一维数组相连，接入到Flatten层和全连接层中；

三维卷积神经网络和二维卷积神经网络中每个卷积层后使用Relu激活函数引导非线性和采用padding层填充，ReLU激活函数数学表达式如下：

ReLU为分段线性函数，将输入数据x与数值0相比，输出最大值，即把所有的负值全都变为0，同时正值保持不变。

所述注意力联合网络的训练包括以下步骤：

将预处理后的高光谱遥感影像以每个地物样本为中心的邻域像素组成注意力联合网络训练数据集，其每个样本大小为w×w×d的三维立方体；

将注意力联合网络训练数据集输入具有注意力的三维卷积神经网络模块中，三维卷积层用于提取空间光谱特征，注意力模块用于选择性学***均池化操作得到1×n₄的空谱特征二维向量；

将三维高光谱训练数据集经Reshape重塑转化的二维矩阵并输入具有注意力的二维卷积神经网络模块中，二维卷积层用于提取空间特征，注意力模块用于选择性学***均池化操作得到1×n₄的空谱特征二维向量；

将三维和二维两个路径中提取的空间光谱特征叠加，经过Flatten层展开，并采用两层Dropout层防止过拟合，最后采用带有Softmax函数的全连接层，得到分类结果；

在网络训练过程中，使用分类交叉熵损失函数对网络参数进行更新，其表达式如下：

其中，∑为求和操作，log为取对数操作，

表示为预测值与真实值间的误差损失；Y_i＝{y₁,y₂,...,y_L}表示真实标签向量，

表示预测标签向量；L为样本数，s为分类数；

使用Adam优化算法对网络进行优化，Adam替代传统随机梯度下降过程的一阶优化算法，基于训练数据迭代地更新神经网络权重。

有益效果

本发明的一种基于注意力联合网络的高光谱遥感图像分类方法，与现有技术相比从PCA降维后的高光谱图像中提取空间光谱特征和空间特征，引入了由通道注意和空间注意组成的注意力模块以细化特征，通过连接两个分支的输出，得到增强的空间光谱特征，最后利用Softmax分类器进行分类，在有限的训练样本情况下仍具有较好的分类性能。

附图说明

图1为本发明的方法顺序图；

图2为Indian Pines数据集假彩色图像与真实地物分布图；

图3为Pavia University数据集假彩色图像与真实地物分布图；

图4为Salinas数据集假彩色图像与真实地物分布图；

图5为本发明方法不同维数d对分类精度的影响；

图6为本发明方法与对比方法在Indian Pines数据集的分类结果图；

图7为本发明方法与对比方法在Pavia University数据集的分类结果图；

图8为本发明方法与对比方法在Salinas数据集的分类结果图；

图9为本发明方法在不同样本比例下对分类结果的影响。

具体实施方式

为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：

如图1所示，本发明所述的一种基于注意力联合网络的高光谱遥感图像分类方法，包括以下步骤：

第一步，训练样本的获取和预处理：获取待训练的高光谱影像并进行预处理。训练样本的获取和预处理包括以下步骤：

(1)在高光谱影像的每类地物类别样本中按比例获取样本X作为训练样本，样本X表示为:

X＝[x₁,x₂,x₃,...,x_B]^T∈R^(M×N)×B，

其中，M、N、B分别表示高光谱遥感数据的宽度、高度、光谱维度，x_i＝[x_1,i,x_2,i,x_3,i,...,x_B,i]^T是高光谱数据的第i个样本。

(2)样本X经主成分分析进行降维：对协方差矩阵E使用特征分解法求其特征值及对应的特征向量，其计算公式如下：

E＝AUA^T，

其中，E为协方差矩阵，A为特征向量矩阵，A^T为A转置，U＝diag[λ₁,λ₂,λ₃,...,λ_X]是协方差矩阵的特征值对角矩阵，

则降维后的结果表示为：

X_P＝AX，

其中，X_P为降维后的高光谱数据，A为变换矩阵，X为原始高光谱数据。

(3)将降维后的高光谱图像以中心像素大小w×w领域及其对应的类标签做样本，得到训练样本X_P和其标签Y_P,X_P的尺寸为w×w×d，Y的尺寸为w×w，其中w×w分别表示宽度、高度，d表示光谱维度。

(4)将待训练样本数据X_P转化为二维矩阵X_T，其数据尺寸为(w×w,d)，其每一行代表一个样本所包含的光谱信息，每列代表不同的光谱维度；将标签数据Y_P转化为Y_T，其数据尺寸为(w×w，1)的一维向量。

第二步，构建注意力联合网络：以三维和二维卷积神经网络模型为基础，引入注意力机制，建立具有两个特征提取分支的注意力联合网络。

传统的高光谱图像提取特征及分类方法，仅仅提取高光谱图像的光谱或空间特征，从而导致分类精度并不理想。因此本发明通过采用三维卷积和二维卷积，并引入通道注意力和空间注意力，构建具有两个特征提取分支的注意力联合网络。卷积层可以自适应的学习高光谱图像中的语义特征，并获得大量可识别的空间光谱特征。另外，深层网络结构提取的特征更易于分类。

然而，在网络训练过程中，卷积层输出的像素特征之间被分配的权重相同，不能有效区分特征间的重要程度。由通道注意力和空间注意力组成的注意力模块可以区别性对待不同特征图，选择性学习更有用的特征，同时弱化无用特征，使得分类效果更好。另外，针对高光谱数据结构复杂，以及简化计算、减少训练时间等问题上，本发明引入了池化层和Dropout层，并使用Relu激活函数防止训练过拟合现象的发生，使得分类模型更快收敛。

具体操作步骤如下：

(1)搭建三维卷积神经网络：

三维卷积神经网络包含4个三维卷积块连接，其中以X_P作为输入的高光谱遥感数据，分别采用通道数为n₁、n₂、n₃、n₄的卷积核：(a×a×b,n₁)、(a×a×c,n₂)、(a×a×a,n₃)、(a×a×a，n₄)输入数据进行空间光谱特征提取；

在三维卷积神经网络中，输入数据与三维核函数进行卷积，随后，通过激活函数来诱导非线性，利用提取的光谱波段与三维核函数卷积生成三维特征图；

在三维卷积过程中，三维卷积的数学表达式表示为：

其中，

表示第i层第j个特征图在(x,y,z)位置得到的结果，

是激活函数，τ表示通道数，η、γ和δ分别代表三维卷积核长度、宽度和通道方向的维数，

代表三维卷积核在第τ个特征图(λ,σ,ρ)处的权重，b_i,j为偏差参数。

(2)搭建二维卷积神经网络：

设定二维卷积神经网络包含4个二维卷积块连接，其中以X_T作为输入的高光谱遥感数据，分别采用通道数为n₁、n₂、n₃、n₄的卷积核：(a×a,n₁)、(a×a,n₂)、(a×a,n₃)、(a×a，n₄)对输入数据进行空间特征提取；

在二维卷积神经网络中，输入数据与二维核函数进行卷积操作得到二维特征图，通过激活函数对卷积特征进行处理；在二维卷积过程中，二维卷积的数学表达式表示为：

其中，

表示第i层第j个特征图在(x,y)位置得到的结果，

是激活函数，τ表示通道数，η和γ分别代表三维卷积核长度和宽度，

代表二维卷积核在第τ个特征图(λ,σ)处的权重，b_i,j为偏差参数。

(3)针对在三维卷积神经网络的四个卷积块中，每两个相邻的卷积块***一个注意力模块；

针对在二维卷积神经网络的四个卷积块中，每两个相邻的卷积块***一个注意力模块。

(4)设定注意力模块包括通道注意力模块和空间注意力模块；

A1)设定注意力模块如下：

在通道注意力模块中，以特征图F∈R^w×w×d×n作为输入，其中w×w为尺寸大小，d为光谱维数，n为通道数；

首先，通过最大池化和平均池化操作生成特征

和

其次，设定共享网络SN由上至下包括上卷积层、激活函数、下卷积层，将这两个特征

和

输入到共享网络SN中；

最后，利用求和的方法合并输出的特征，并通过sigmoid激活函数得到通道注意图M_C；

通道注意力计算方法如下：

其中，θ、θ′分别表示Sigmoid和Relu激活函数，Avgpool、Maxpool分别表示全局平均池化和全局最大池化操作，F为原始输入特征图，SN表示共享网络；W₀、W₁为共享网络SN的权值，利用矩阵相乘得到特征图F′∈R^w×w×d×n，其计算方法如下：

其中，M_C为通道注意特征图，

为矩阵相乘运算，F为输入特征图；

A2)设定空间注意力模块，特征图经通道注意力处理后输入空间注意力模块，空间注意力模块用于提取不同区域的空间信息；

首先，通过全局平均池化和全局最大池化操作生成特征

和

并且这两个特征具有相同的维度；

然后，通过联合运算生成新的特征

最后，通过一层卷积层和Sigmoid函数生成空间注意图M_S；空间注意力的计算方法如下：

其中，θ为Sigmoid激活函数，f^K×K×K表示卷积核为K×K×K的卷积操作，Avgpool、Maxpool分别表示全局平均池化和全局最大池化操作，F′为通道注意力模块输出的特征图，

利用矩阵相乘得到特征图F″∈R^w×w×d×n，其计算方法如下：

其中，M_S为空间注意特征图，

为矩阵相乘运算，F′为经过通道注意力处理后的特征图。

(4)在三维卷积神经网络后使用一个三维卷积层和一个三维全局平均池化层变成一维数组，二维卷积神经网络后使用一个二维卷积层和一个二维全局平均池化层后变成一维数组，然后将三维卷积神经网络输出的一维数组与二维卷积神经网络输出的一维数组相连，接入到Flatten层和全连接层中；

三维卷积神经网络和二维卷积神经网络中每个卷积层后使用Relu激活函数引导非线性和采用padding层填充，ReLU激活函数数学表达式如下：

ReLU为分段线性函数，将输入数据x与数值0相比，输出最大值，即把所有的负值全都变为0，同时正值保持不变。

第三步，注意力联合网络的训练：将预处理后的高光谱影像输入注意力联合网络，使用具有注意力的卷积神经网络提取特征，然后融合特征并进行训练分类。

所述注意力联合网络的训练包括以下步骤：

(1)将预处理后的高光谱遥感影像以每个地物样本为中心的邻域像素组成注意力联合网络训练数据集，其每个样本大小为w×w×d的三维立方体。

(2)将注意力联合网络训练数据集输入具有注意力的三维卷积神经网络模块中，三维卷积层用于提取空间光谱特征，注意力模块用于选择性学***均池化操作得到1×n₄的空谱特征二维向量；

将三维高光谱训练数据集经Reshape重塑转化的二维矩阵并输入具有注意力的二维卷积神经网络模块中，二维卷积层用于提取空间特征，注意力模块用于选择性学***均池化操作得到1×n₄的空谱特征二维向量；

将三维和二维两个路径中提取的空间光谱特征叠加，经过Flatten层展开，并采用两层Dropout层防止过拟合，最后采用带有Softmax函数的全连接层，得到分类结果。

(3)在网络训练过程中，使用分类交叉熵损失函数对网络参数进行更新，其表达式如下：

其中，∑为求和操作，log为取对数操作，

表示为预测值与真实值间的误差损失；Y_i＝{y₁,y₂,...,y_L}表示真实标签向量，

表示预测标签向量；L为样本数，s为分类数；

使用Adam优化算法对网络进行优化，Adam替代传统随机梯度下降过程的一阶优化算法，基于训练数据迭代地更新神经网络权重。预处理后的高光谱训练样本输入到基于注意力来联合网络模型中进行训练，在注意力的空间维度与通道维度上赋予相应的权重，选择性学习高光谱图像中的空间光谱特征，对不同特征分配不同的权重，进一步提高网络的特征提取能力,得到训练后的注意力联合网络模型。

第四步，分类样本的获取和预处理：获取待分类的高光谱影像并进行预处理。

第五步，高光谱遥感图像分类结果的获得：将预处理后的待分类高光谱影像输入训练后的注意力联合网络，得到高光谱遥感图像分类结果。

下面结合仿真实验对本发明的效果做进一步的说明：

1.仿真实验条件：本发明实验的计算机硬件环境为AMD Ryzen7-4800H，GTX1650Ti，RAM 16GB，软件环境为Windows10(64)位操作***，编译环境为Spyder，深度学习框架采用Keras。为了验证本发明提出的AUN方法的分类性能，本发明在Indiana Pines(IP)数据集，Pavia University(UP)数据集和Salinas(SA)数据集上进行了验证。三种数据集的详细信息如表1所示，图2a、2b为IP数据集假彩色影像及地物真实分类图，图3a、3b为PU数据集假彩色影像及地物真实分类图,图4a、4b为SA数据集假彩色影像及地物真实分类图。

表1不同数据集的详细信息

另外，本发明采用基于混淆矩阵的总体精度(Overall Accuracy，OA)、平均精度(Average Accuracy，AA)和Kappa系数作为评价指标。

2.仿真实验内容及结果分析：

实施例一：影响本文所提方法分类效果的主要参数包括维数d和空间尺寸大小w。从IP、PU、SA数据集中随机抽取5％、1％、1％的样本对AUN进行训练，剩余样本用做测试。此外，将学习率设为0.001，dropout值为0.4，采用交叉熵损失函数和Adam优化算法训练AUN，批量大小设置为64，训练次数为150次。图5为本发明方法AUN在不同维数d下对分类精度的影响。对于IP数据集，当维数为25时，OA达到最大值；随着d的继续增加，OA略微有些下降，是因为d增加的同时，虽然会增加图像光谱信息，但也会使光谱的冗余性升高。对于PU数据集，当d增加到20时，OA达到最大值，当d大于20时，OA有略微下降；对于SA数据集，维数增加到20后，随着d的不断增加，OA呈现稳定的趋势。因此，对于IP、PU和SA维数分别取21、19和19，使得在降低计算复杂度的同时能够得到理想的分类精度。

表2为不同数据集在不同w下对分类精度的影响。在三个数据集中分别设置w大小为13、15、17、19、21、23、25，观察OA值，分析w对实验结果产生的影响。对于IP数据集，随着w的增加，OA数值缓慢上升，当w＝21时分类效果最好；当w继续增加时，OA没有升高反而有略微下降，表明w值过大时，相近类别可能对分类结果有负面影响。如果w值过小，会使提取的特征代表性不足。因此，对于IP数据集设置w值为21。同理得PU和SA数据集的w值均为19。

表2不同数据集在不同w下对OA的影响

实施例二：为了进一步验证本发明算法的有效性，本实施分别从IP、UP、SA三种数据集每类地物中随机选取5％、1％、1％作为训练样本集，其余作为测试样本集。并且使用Res-2D-CNN、Res-3D-CNN、HybridSN、R-HybridSN四种高光谱图像分类方法作为对比实验对象，分类结果取十次实验结果的均值，并记录下标准差，从而验证AUN方法的分类性能。

表3不同的分类方法在IP数据集上的分类精度

表4不同的分类方法在PU数据集上的分类精度

表5不同的分类方法在PU数据集上的分类精度

表3、4、5显示了不同方法在三种数据集上的分类精度，图6、图7、图8分别显示IP、PU、SA数据集真实地物分布图和Res-2D-CNN、Res-3D-CNN、HybridSN、R-HybridSN、AUN五种方法在三种数据集上的分类结果图。

从数据和分类结果图中可以看出，AUN在IP、PU、SA三种数据集下的分类结果都达到了最高的整体分类精度。在对比模型中，Res-2D-CNN在3个数据集上的OA均低于其他对比模型，说明Res-2D-CNN模型不适合小样本高光谱分类。其次，Res-3D-CNN的分类结果高于Res-2D-CNN，说明有效地探索训练样本的光谱特征可以显著提高分类精度。同时，AUN、R-HybridSN和HybridSN均比Res-3D-CNN分类效果好，是由于这三个模型在提取光谱特征时，也充分利用了高光谱图像中所含的大量空间信息，增强算法的判别能力，提高分类精度。这也在一定程度上证明，相对于单独使用3D或2D卷积层，联合3D和2D卷积层更适合小样本条件下的分类。

此外，AUN方法有效地解决了IP数据集中Alfalfa分类精度低的问题。并且在部分训练样本少、容易错分的类别中，如Grass-pasture-mowed、Oats、Stone-Steel-Towers，OA值仍然达到了95％以上。其中，在三种联合3D和2D卷积层模型中，AUN在三个数据集中的分类精度相对平衡，进一步证明了联合特征提取和注意力模块的必要性。

实施例三：为了进一步验证AUN在训练样本有限时的分类性能，取不同比例的IP、PU、SA数据集进行实验。对于IP数据集，采取的比例分别为：1％、3％、5％、7％、10％，对于PU和SA数据集，采取的比例为：0.1％、0.5％、1％、3％、5％，实验结果如图9所示。图9a为不同IP数据集样本比例下不同方法分类结果图，图9b为不同PU数据集样本比例下不同方法分类结果图，图9c为不同SA数据集样本比例下不同方法分类结果图，从图9a中可以看出，由于IP数据集样本量小，类别比较混乱，CNN算法分类效果不理想。但是AUN的分类精度仍然最高。图9b中可以看出，对于PU数据集，即使在训练样本较少，类别复杂度更高的情况下，AUN通过提取更深层次的特征，仍然能保持最高的分类精度。图9c中可以看出，对于SA数据集，在训练样本量仅为1％时，AUN分类精度最高且最先达到稳定。综合表明，针对高光谱图像分类中当前神经网络分类性能不足和训练样本有限的问题，本发明从网络优化的角度提出了一种基于注意力联合网络的高光谱图像分类方法。该网络由3D-CNN和2D-CNN两个分支组建。并在两个特征提取分支中引入注意力机制，用于选择性学习高光谱图像特征。进一步提高网络的特征提取能力。使用IP、PU和SA三个数据集对该网络进行测试，实验结果表明，与对比方法相比，所提方法具有更好的分类性能。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (4)

1.一种基于注意力联合网络的高光谱遥感图像分类方法，其特征在于，包括以下步骤：

11)训练样本的获取和预处理：获取待训练的高光谱影像并进行预处理；

12)构建注意力联合网络：以三维、二维卷积神经网络模型为基础，引入注意力机制，建立具有两个特征提取分支的注意力联合网络；

13)注意力联合网络的训练：将预处理后的高光谱影像输入注意力联合网络，使用具有注意力的卷积神经网络提取特征，然后融合特征并进行训练分类；

14)分类样本的获取和预处理：获取待分类的高光谱影像并进行预处理；

15)高光谱遥感图像分类结果的获得：将预处理后的待分类高光谱影像输入训练后的注意力联合网络，得到高光谱遥感图像分类结果。

2.根据权利要求1所述的一种基于注意力联合网络的高光谱遥感图像分类方法，其特征在于，所述训练样本的获取和预处理包括以下步骤：

21)在高光谱影像的每类地物类别样本中按比例获取样本X作为训练样本，样本X表示为：

X＝[x₁,x₂,x₃,...,x_B]^T∈R^(M×N)×B，

其中，M、N、B分别表示高光谱遥感数据的宽度、高度、光谱维度，x_i＝[x_1,i,x_2,i,x_3,i,...,x_B,i]^T是高光谱数据的第i个样本；

22)样本X经主成分分析进行降维：对协方差矩阵E使用特征分解法求其特征值及对应的特征向量，其计算公式如下：

E＝AUA^T，

其中，E为协方差矩阵，A为特征向量矩阵，A^T为A转置，U＝diag[λ₁,λ₂,λ₃,...,λ_X]是协方差矩阵的特征值对角矩阵，

则降维后的结果表示为：

X_P＝AX，

其中，X_P为降维后的高光谱数据，A为变换矩阵，X为原始高光谱数据；

23)将降维后的高光谱图像以中心像素大小w×w领域及其对应的类标签做样本，得到训练样本X_P和其标签Y_P,X_P的尺寸为w×w×d，Y的尺寸为w×w，其中w×w分别表示宽度、高度，d表示光谱维度；

24)将待训练样本数据X_P转化为二维矩阵X_T，其数据尺寸为(w×w,d)，其每一行代表一个样本所包含的光谱信息，每列代表不同的光谱维度；将标签数据Y_P转化为Y_T，其数据尺寸为(w×w，1)。

3.根据权利要求1所述的一种基于注意力联合网络的高光谱遥感图像分类方法，其特征在于，所述构建注意力联合网络包括以下步骤：

31)搭建三维卷积神经网络：

三维卷积神经网络包含4个三维卷积块连接，其中以X_P作为输入的高光谱遥感数据，分别采用通道数为n₁、n₂、n₃、n₄的卷积核：(a×a×b,n₁)、(a×a×c,n₂)、(a×a×a,n₃)、(a×a×a，n₄)输入数据进行空间光谱特征提取；

在三维卷积神经网络中，输入数据与三维核函数进行卷积，随后，通过激活函数来诱导非线性，利用提取的光谱波段与三维核函数卷积生成三维特征图；在三维卷积过程中，三维卷积的数学表达式表示为：

其中，

表示第i层第j个特征图在(x,y,z)位置得到的结果，

是激活函数，τ表示通道数，η、γ和δ分别代表三维卷积核长度、宽度和通道方向的维数，

代表三维卷积核在第τ个特征图(λ,σ,ρ)处的权重，b_i,j为偏差参数；

32)搭建二维卷积神经网络：

设定二维卷积神经网络包含4个二维卷积块连接，其中以X_T作为输入的高光谱遥感数据，分别采用通道数为n₁、n₂、n₃、n₄的卷积核：(a×a,n₁)、(a×a,n₂)、(a×a,n₃)、(a×a，n₄)对输入数据进行空间特征提取；

在二维卷积神经网络中，输入数据与二维核函数进行卷积操作得到二维特征图，通过激活函数对卷积特征进行处理；在二维卷积过程中，二维卷积的数学表达式表示为：

其中，

表示第i层第j个特征图在(x,y)位置得到的结果，

是激活函数，τ表示通道数，η和γ分别代表三维卷积核长度和宽度，

代表二维卷积核在第τ个特征图(λ,σ)处的权重，b_i,j为偏差参数；

33)针对在三维卷积神经网络的四个卷积块中，每两个相邻的卷积块***一个注意力模块；

针对在二维卷积神经网络的四个卷积块中，每两个相邻的卷积块***一个注意力模块；

34)设定注意力模块包括通道注意力模块和空间注意力模块；

341)设定注意力模块如下：

在通道注意力模块中，以特征图F∈R^w×w×d×n作为输入，其中w×w为尺寸大小，d为光谱维数，n为通道数；

首先，通过最大池化和平均池化操作生成特征

和

其次，设定共享网络SN由上至下包括上卷积层、激活函数、下卷积层，将这两个特征

和

输入到共享网络SN中；

最后，利用求和的方法合并输出的特征，并通过sigmoid激活函数得到通道注意图M_C；

通道注意力计算方法如下：

其中，θ、θ′分别表示Sigmoid和Relu激活函数，Avgpool、Maxpool分别表示全局平均池化和全局最大池化操作，F为原始输入特征图，SN表示共享网络；W₀、W₁为共享网络SN的权值，利用矩阵相乘得到特征图F′∈R^w×w×d×n，其计算方法如下：

其中，M_C为通道注意特征图，

为矩阵相乘运算，F为输入特征图；

342)设定空间注意力模块，特征图经通道注意力处理后输入空间注意力模块，空间注意力模块用于提取不同区域的空间信息；

首先，通过全局平均池化和全局最大池化操作生成特征

和

并且这两个特征具有相同的维度；

然后，通过联合运算生成新的特征

最后，通过一层卷积层和Sigmoid函数生成空间注意图M_S；空间注意力的计算方法如下：

其中，θ为Sigmoid激活函数，f^K×K×K表示卷积核为K×K×K的卷积操作，Avgpool、Maxpool分别表示全局平均池化和全局最大池化操作，F′为通道注意力模块输出的特征图，

利用矩阵相乘得到特征图F″∈R^w×w×d×n，其计算方法如下：

其中，M_S为空间注意特征图，

为矩阵相乘运算，F′为经过通道注意力处理后的特征图；

35)在三维卷积神经网络后使用一个三维卷积层和一个三维全局平均池化层变成一维数组，二维卷积神经网络后使用一个二维卷积层和一个二维全局平均池化层后变成一维数组，然后将三维卷积神经网络输出的一维数组与二维卷积神经网络输出的一维数组相连，接入到Flatten层和全连接层中；

三维卷积神经网络和二维卷积神经网络中每个卷积层后使用Relu激活函数引导非线性和采用padding层填充，Relu激活函数数学表达式如下：

Relu为分段线性函数，将输入数据x与数值0相比，输出最大值，即把所有的负值全都变为0，同时正值保持不变。

4.根据权利要求1所述的一种基于注意力联合网络的高光谱遥感图像分类方法，其特征在于，所述注意力联合网络的训练包括以下步骤：

41)将预处理后的高光谱遥感影像以每个地物样本为中心的邻域像素组成注意力联合网络训练数据集，其每个样本大小为w×w×d的三维立方体；

42)将注意力联合网络训练数据集输入具有注意力的三维卷积神经网络模块中，三维卷积层用于提取空间光谱特征，注意力模块用于选择性学***均池化操作得到1×n₄的空谱特征二维向量；

将三维高光谱训练数据集经Reshape重塑转化的二维矩阵并输入具有注意力的二维卷积神经网络模块中，二维卷积层用于提取空间特征，注意力模块用于选择性学***均池化操作得到1×n₄的空谱特征二维向量；

将三维和二维两个路径中提取的空间光谱特征叠加，经过Flatten层展开，并采用两层Dropout层防止过拟合，最后采用带有Softmax函数的全连接层，得到分类结果；

43)在网络训练过程中，使用分类交叉熵损失函数对网络参数进行更新，其表达式如下：

其中，∑为求和操作，log为取对数操作，

表示为预测值与真实值间的误差损失；Y_i＝{y₁,y₂,...,y_L}表示真实标签向量，

表示预测标签向量；L为样本数，s为分类数；

使用Adam优化算法对网络进行优化，Adam替代传统随机梯度下降过程的一阶优化算法，基于训练数据迭代地更新神经网络权重。

Images