CN117726939A - 一种基于多特征融合的高光谱图像分类方法 - Google Patents
一种基于多特征融合的高光谱图像分类方法 Download PDFInfo
- Publication number
- CN117726939A CN117726939A CN202311646649.6A CN202311646649A CN117726939A CN 117726939 A CN117726939 A CN 117726939A CN 202311646649 A CN202311646649 A CN 202311646649A CN 117726939 A CN117726939 A CN 117726939A
- Authority
- CN
- China
- Prior art keywords
- layer
- hyperspectral image
- optimized
- feature
- feature matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000004927 fusion Effects 0.000 title claims abstract description 33
- 239000011159 matrix material Substances 0.000 claims abstract description 70
- 238000013145 classification model Methods 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 15
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 239000010410 layer Substances 0.000 claims description 113
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 21
- 238000011176 pooling Methods 0.000 claims description 17
- 230000007246 mechanism Effects 0.000 claims description 13
- 239000000654 additive Substances 0.000 claims description 10
- 230000000996 additive effect Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 8
- 230000002457 bidirectional effect Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 6
- 238000012706 support-vector machine Methods 0.000 claims description 6
- 238000003066 decision tree Methods 0.000 claims description 4
- 238000007637 random forest analysis Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 239000002356 single layer Substances 0.000 claims description 2
- 238000013527 convolutional neural network Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 18
- 238000004364 calculation method Methods 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 10
- 230000003595 spectral effect Effects 0.000 description 7
- 235000008331 Pinus X rigitaeda Nutrition 0.000 description 4
- 235000011613 Pinus brutia Nutrition 0.000 description 4
- 241000018646 Pinus brutia Species 0.000 description 4
- 230000004913 activation Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 244000075850 Avena orientalis Species 0.000 description 1
- 235000007319 Avena orientalis Nutrition 0.000 description 1
- 240000004658 Medicago sativa Species 0.000 description 1
- 235000017587 Medicago sativa ssp. sativa Nutrition 0.000 description 1
- 241000209140 Triticum Species 0.000 description 1
- 235000021307 Triticum Nutrition 0.000 description 1
- 241001532014 Xanthorrhoea Species 0.000 description 1
- 240000008042 Zea mays Species 0.000 description 1
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 description 1
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 235000005822 corn Nutrition 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开一种基于多特征融合的高光谱图像分类方法，获取高光谱图像并进行预处理，获得数据集；构建初始分类模型，包括三个并行的优化后的ResNet网络、3D‑CNN网络、LSTM网络，用于分别提取特征矩阵H1、特征矩阵H2和特征矩阵H3；融合模块，用于将特征矩阵H1、特征矩阵H2、特征矩阵H3进行特征融合，得到融合后特征矩阵H0；分类器，用于将融合后特征矩阵H0作为输入，获得分类结果；将数据集输入至初始分类模型中进行训练，同时计算损失函数以Adam优化器更新模型参数，当损失函数不断下降直至收敛时，得到分类模型；将待识别高光谱图像输入至分类模型，获得分类结果。本发明能够提高高光谱图像分类的准确率。
Description
技术领域
本发明涉及高光谱图像分类技术领域，尤其涉及一种基于多特征融合的高光谱图像分类方法。
背景技术
高光谱图像分类具有重要的实际意义和应用价值。高光谱图像，也称为高光谱遥感图像，是一种具有大量波段信息的遥感数据，其中包含详细的光谱信息。这些数据不仅在地表物种识别、环境监测、城市规划、农林业监测、矿产勘查和生态***研究等领域具有广泛的应用，在海洋科学、海洋资源监测等方面具有重大意义。准确的高光谱图像分类能够帮助分析和解决各种实际问题，改善资源管理和环境保护。传统的遥感图像分类方法常受到受限区域和模糊边界的影响，这使得高光谱图像的精确分类成为一项充满挑战的任务。
目前的高光谱图像分类方法主要包括基于光谱特征的方法、基于空间特征的方法和深度学习方法。基于光谱特征的方法主要利用高光谱图像的光谱信息，以最小距离、支持向量机(SVM)和光谱角映射等分类器进行分类。基于空间特征的方法主要针对地物对象形态特征，利用形态滤波、纹理特征等方法集成光谱信息。深度学习方法则借助卷积神经网络(CNN)、循环神经网络(RNN)和生成对抗网络(GAN)等深度神经网络模型，自动学习高级特征，从而有效提高分类准确性。然而，深度学习方法并不是绝对优越的，这些方法在不同场景和应用中的表现都有优劣之分。
尽管深度神经网络在高光谱图像分类中具有良好的性能，但单一网络结构在特征提取方面仍然存在一定的局限性。对于高光谱图像，其具有空间特征、时间特征、光谱特征等等。不同的网络结构可能会关注不同层次的特征，例如在卷积神经网络(CNN)中，2D-CNN能够很好地提取平面的空间特征，但是对于立体的空间特征提取效率较低，卷积神经网络-长短时记忆网络(CNN-LSTM)能够更高效率的提取空间特征，但是同样对于其他特征的提取效率不足。此外，由于输入数据的分布和复杂性差异，相同的网络结构可能无法适应各种实际场景。同时，单一神经网络在训练过程中面临过拟合的风险，特别是在数据量有限的情况下，模型容易受到噪声和异常值的影响。为了克服这些局限性，需要探索采用集成多种网络结构，提取丰富多样的特征信息，进一步提升高光谱图像分类的准确性和稳定性。
发明内容
为了解决上述技术问题，本发明提出一种基于多特征融合的高光谱图像分类方法。在所述方法中，能够提高高光谱图像分类的准确率。
为了达到上述目的，本发明的技术方案如下：
一种基于多特征融合的高光谱图像分类方法，包括如下步骤：
获取高光谱图像并进行预处理，获得数据集；
构建初始分类模型，所述初始分类模型包括三个并行的优化后的ResNet网络、优化后的3D-CNN网络、优化后的LSTM网络，用于分别提取特征矩阵H1、特征矩阵H2和特征矩阵H3；融合模块，用于将特征矩阵H1、特征矩阵H2、特征矩阵H3进行特征融合，得到融合后特征矩阵H0；分类器，用于将融合后特征矩阵H0作为输入，获得分类结果；
将数据集输入至初始分类模型中进行训练，同时计算损失函数以Adam优化器更新模型参数，当损失函数不断下降直至收敛时，得到分类模型；
将待识别高光谱图像输入至分类模型，获得待识别高光谱图像的分类结果。
优选地，所述预处理包括：
采用PCA技术对高光谱图像进行降维处理；
对降维处理后的数据使用窗口创建批数据，获得数据集并按预设比例将数据集划分为训练集和测试集；
保存预处理好的数据集，并针对优化后的ResNet网络、优化后的3D-CNN网络和优化后的LSTM网络的输入要求，将数据转换为对应格式与形状。
优选地，还包括如下步骤：
对数据集中的少数类标签样本进行过采样获得合成样本，为合成样本生成对应的合成标签集，所述数据集包括多个样本以及样本对应的分类标签集；
随机选择一种数据增强方式对所述数据集进行数据增强，所述数据增强方式包括垂直翻转、水平翻转或旋转。
优选地，所述优化后的ResNet网络包括依次连接的2D卷积层、最大池化层、第一残差块、第二残差块、Transformer层、第三残差块、第四残差块、Transformer层、全局平均池化层，其中，所述第一残差块、第二残差块、第三残差块、第四残差块均包括依次连接的两个2D卷积层、全局平均池化层、两个FC层；所述Transformer层由多头注意力机制、两个Dropout层、一个全连接层以及残差连接组成。
优选地，所述优化后的3D-CNN包括依次连接的3D卷积层、最大池化层、3D卷积层、最大池化层、FC层、注意力层、Flatten层。
优选地，所述优化后的LSTM包括LSTM层、FC层以及在LSTM层和FC层之间加入的双向加性注意力层。
优选地，所述双向加性注意力层的处理过程，包括如下步骤：
将所述LSTM层的输出作为注意力机制的输入，经过Multiply层进行自注意力，通过Dense层进行全连接操作，得到注意力权重向量并使用Flatten层压缩为一维向量；
使用Softmax层对压缩后的注意力权重向量进行归一化后送入Reshape层，得到结果张量；
将结果张量与LSTM层的输出做以元素为单位的乘法，并使用Lambda层沿时间序列长度方向的加权结果进行求和，得到最终的加权和输出结果。
优选地，所述优化后的ResNet网络、优化后的3D-CNN网络、优化后的LSTM网络的损失函数均使用分类交叉熵。
优选地，所述分类器为单层FC层、支持向量机、随机森林、决策树。
优选地，训练过程中采用准确率作为模型的评价指标。
基于上述技术方案，本发明的有益效果是：
1)本发明在数据预处理部分，先使用弱势类别复制法以及数据增强处理数据，解决因存在弱势类别以及数据量不足的而影响分类性能的问题；使用PCA降低数据维度去除特征冗余信息同时缩短计算时间，将数据转换为若干图像块，以便训练神经网络模型；
2)本发明使用三种层数较少的神经网络提取高光谱图像的不同特征，并且在神经网络中均添加了不同的注意力机制以及Transformer层，以保证神经网络的性能以及优化特征表示，再将三种神经网络提取的特征进行融合，输入到新的分类器FC中，得到混淆矩阵与分类报告以及分类后的图像，能够有效提高高光谱图像分类的准确率。
附图说明
图1是一个实施例中一种基于多特征融合的高光谱图像分类方法流程示意图；
图2为优化后的ResNet网络的整体结构示意图；
图3为优化后的ResNet网络中改进的残差块的结构示意图；
图4为优化后的3D-CNN网络的结构示意图；
图5为优化后的LSTM网络的结构示意图；
图6为双向加性注意力层的计算流程图；
图7是印度松地面真实标签图；
图8为采用VGG16网络进行分类后的混淆矩阵热力图及对应的分类后图像；
图9为采用ResNet网络进行分类的分类后的混淆矩阵热力图及对应的分类后图像；
图10为采用LSTM网络进行分类后的混淆矩阵热力图及对应的分类后图像；
图11为采用3D-CNN网络进行分类后的混淆矩阵热力图及对应的分类后图像；
图12为一个实施例中一种基于多特征融合的高光谱图像分类方法进行分类后的混淆矩阵热力图及对应的分类后图像。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
如图1所示，本实施例提供了一种基于多特征融合的高光谱图像分类方法，包括以下步骤：
步骤1，获取高光谱图像并进行预处理，获得数据集；
步骤2，构建初始分类模型，所述初始分类模型包括三个并行的优化后的ResNet网络、优化后的3D-CNN网络、优化后的LSTM网络，用于分别提取特征矩阵H1、特征矩阵H2和特征矩阵H3；融合模块，用于将特征矩阵H1、特征矩阵H2、特征矩阵H3进行特征融合，得到融合后特征矩阵H0；分类器，用于将融合后特征矩阵H0作为输入，获得分类结果；
步骤3，将数据集输入至初始分类模型中进行训练，同时计算损失函数以Adam优化器更新模型参数，当损失函数不断下降直至收敛时，得到分类模型；
步骤4，将待识别高光谱图像输入至分类模型，获得待识别高光谱图像的分类结果。
在一个实施例的一种基于多特征融合的高光谱图像分类方法中还提供预处理的具体过程，包括如下步骤：
采用PCA技术对高光谱图像进行降维处理；
对降维处理后的数据使用窗口创建批数据，获得数据集并按预设比例将数据集划分为训练集和测试集；
对数据集中的少数类标签样本进行过采样获得合成样本，为合成样本生成对应的合成标签集，所述数据集包括多个样本以及样本对应的分类标签集；
随机选择一种数据增强方式对所述数据集进行数据增强，所述数据增强方式包括垂直翻转、水平翻转或旋转；
保存预处理好的数据集，并针对优化后的ResNet网络、优化后的3D-CNN网络和优化后的LSTM网络的输入要求，将数据转换为对应格式与形状。
本实施例中，将数据集进行格式转换以适合优化后的3D-CNN网络，形状为(batch_size，depth，height，width，channels)。其中batch_size表示批量大小，depth、height和width分别表示图像深度、高度和宽度，channels表示输入的波段数量，即通道数。
将数据集进行格式转换以适合优化后的LSTM网络，形状为(batch_size，time_steps，channels)，其中batch_size为批量大小，time_steps为时间序列的长度，即高光谱图像中的像素点数量，num_bands则表示每个像素点的波段数。
在一个实施例的一种基于多特征融合的高光谱图像分类方法中还提供优化后的ResNet网络、优化后的3D-CNN网络、优化后的LSTM网络提取特征的具体过程，包括如下步骤：
1)使用优化后的ResNet网络(ResNet25)提取特征，主要提取光谱特征，同时提取纹理特征及语义特征等。
具体地，修改ResNet中残差块的组成，如图3所示，修改后的ResNet25如图2所示，加入了注意力机制中的压缩与激励模块-SE模块(Squeeze-and-Excitation Module)与Transformer块。SE模块由一个全局平均池化层(GAP)，两个全连接层(FC)组成，并且使用ReLU作为激活函数，Transformer块由多头注意力机制、Dropout以及全连接层组成。
GAP层用于统计特征图中每个通道的全局信息，并生成一个通道权重向量。该权重向量将用于对特征图进行重新加权，以增强有用的特征并抑制无关的特征，其计算公式如下：
其中，U为特征向量，X为输入的特征图，H和W分别表示输入张量的高和宽，i，j分别是H和W的索引。
经过第一个全连接层(称为Squeeze操作)将U映射到特征向量Z，计算公式如下：
Z＝ReLU(W1·U+b1)
其中，W1为第一个全连接层的权重矩阵，b1是第一个全连接层的偏置向量。
第二个全连接层(称为Excitation操作)，将Z映射到特征向量S，通过对特征向量S进行Sigmoid激活函数操作，将其压缩到放到(0，1)的范围内得到通道权重向量Ws，计算公式如下：
S＝W2·Z+b2
其中，W2为第二个全连接层的权重矩阵，b2是第二个全连接层的偏置向量。
Ws＝Sigmoid(S)
最后SE模块通过对输入特征张量的每个通道进行加权求和来产生输出计算公式为：
其中，Xj表示输入特征张量X的第j个通道，Wsj是通道权重向量Ws的第j个元素。
经过倒数第一全局平均池化层后，得到特征矩阵H1。
2)使用添加全局上下文注意力机制的优化后的3D-CNN网络提取特征，主要提取空间特征，同时提取时间特征等特征。
具体地，在3D-CNN的基础之上加入了全局上下文注意力机制，网络结构如图4所示。包括3D卷积层(CONV3D)、最大池化层、全连接层(FC)、Flatten层以及注意力层(Attention)，激活函数均使用ReLU。
全局上下文注意力机制基于输入x和一个Dense层的权重矩阵来计算注意力权重，并对其进行Softmax归一化操作。然后，根据注意力权重将输入进行加权求和，得到加权特征向量(weighted_input)，该向量可继续传入Flatten层得到特征矩阵H2。
初始化权重W，W∈Rd model ×ch，其中W表示该层的权重矩阵，d model表示输入词向量的维度，ch表示该层输出的特征维度。
计算注意力权重向量a的公式如下：
score＝xW∈Rbatch_size×sequence_length×ch
a＝softmax(score)∈Rbatch_size×sequence_length×ch其中，x表示输入向量，score表示注意力分数矩阵，a表示注意力权重向量。
加权求和公式如下：
weighted_input＝ax
其中，weighted_input表示加权结果，output表示最终的加权和输出。
最终输出经过Flatten层后，得到特征矩阵H2。
3)使用添加双向加性注意力机制的优化后的LSTM网络提取特征，主要提取其他更有歧义度的特征。
具体地，在LSTM的基础上加入了双向加性注意力机制，其网络结构如图5所示，包括LSTM层、全连接层(FC)以及双向加性注意力层。双向加性注意力层的计算示意图如图6所示。
双向加性注意力层首先将LSTM层的输出lstm_out作为输入，经过Multiply层进行自注意力计算，得到形状为[batch_size，sequence_length，units]的张量Attention_mul。接下来，通过Dense层进行全连接操作，得到注意力权重向量并使用Flatten层将其压缩为一维。然后，使用Softmax层对注意力权重向量进行归一化，得到形状仍为[batch_size*sequence_length，X_train.shape[1]]的张量。接着，通过Reshape层将其转换为形状为[batch_size，sequence_length，1]的张量Attention_out。最后，将Attention_out与lstm_out做元素乘法，并使用Lambda层沿时间序列长度方向对其进行求和，得到形状为[batch_size，units]的加权和输出attention_out。将输出输入至FC层，得到特征矩阵H3。
自注意力计算公式如下：
Attention_muli，j，k＝lstm_outi，j，k*lstm_outi，j，k
其中，i表示样本的索引，j表示时间序列上的位置，k表示LSTM层输出的特征维度大小。
注意力权重计算公式如下：
Attention_weightsi，j＝Softmax(Attention_muli，j，：)
其中，Softmax函数用于对注意力向量进行归一化处理，得到的结果是一个概率分布，用于表示各个位置的重要性权值。
加权和输出计算公式如下：
其中，seq_len是时间序列的长度，∑函数用于对所有位置上的加权结果进行求和，得到最终的加权和输出结果。
输出的结果传入FC层，得到特征矩阵H3。
在一个实施例一种基于多特征融合的高光谱图像分类方法中还提供将特征矩阵H1、特征矩阵H2、特征矩阵H3进行特征融合，得到融合后特征矩阵H0的具体过程，包括如下步骤：
特征矩阵H1、特征矩阵H2、特征矩阵H3的形状均为[None，Z]，Z为各网络最后一个FC层或者全局平均池化层的神经元个数。融合特征矩阵为新的特征矩阵H0，由于FC分类器简单且具有可解释性故使用单层FC作为分类器得到分类的结果。但分类器也可使用支持向量机(SVM)、随机森林(RF)以及决策树(DT)等等。
本实施例中，神经网络的损失函数均使用分类交叉熵(categorical_crossentropy)，categorical_crossentropy可表示为：
Categorical Cross-Entropy Loss＝-∑(yi*log(pi))
其中，Categorical Cross-Entropy Loss是分类交叉熵损失函数的结果；yi表示真实标签的one-hot编码向量，表示样本的第i个类别的概率；pi表示模型预测该样本属于第i个类别的概率，是通过Softmax函数获得的。
训练网络时均使用Adam优化器使损失函数最小化，Adam的具体优化流程如下：
1.初始化参数：学习率(learning rate)alpha＝0.0002；动量参数(momentumparameter)beta1＝0.5；二阶矩估计参数(initial gradient accumulation)beta2＝0；小数epsilon＝1e-8，用于防止分母为零；动量(momentum)m＝0；二阶矩估计(second moment)v＝0；迭代次数(Iteration Count)t＝0
2.训练迭代，更新参数theta
计算梯度g：g＝dJ(theta)/J(theta)，J(theta)是损失函数，dJ(theta)/J(theta)是损失函数关于参数theta的梯度；
更新动量m：m＝beta1*m+(1-beta1)*g；
更新二阶矩估计v：v＝beta2*v+(1-beta2)*g2；
校正动量偏差：
校正二阶矩偏差：
更新参数theta：
本实施例中，为了更具体的说明本发明分类方法实施的过程以及本发明结果的优越性，将该方法在印度松数据集上进行实验，印度松图像像素为145×145，共包含220个波段，地物类别共有16类。同时采用其他单一神经网络分类方法进行分类实验，将结果与本发明方法进行对比。图7为印度松地面真实标签图。
使用本发明方法时，首先设置PCA中k为25，将数据降至25维。其次使用窗口创建19×19的批数据，然后过采样法增强弱势的数据，平衡数据集中的类别样本数量。最后，选择垂直翻转、水平翻转或旋转其中之一进行数据增强，并保存数据，最终X_train，X_test，y_train，y_test数据形状分别为[27697，19，19，25]，[27697]，[3075，19，19，25]，[3075]。表1为最终使用的训练集及测试集数据情况，总样本30772个，训练集27697个，测试集3075个，各类别具体标签及其对应地物类别数据如表1所示。
表1
| 标签 | 地物类别 | 训练集 | 测试集 |
| 1 | Alfalfa | 1728 | 14 |
| 2 | Corn-notill | 2000 | 428 |
| 3 | Corn-mintill | 1743 | 249 |
| 4 | Corn | 1660 | 71 |
| 5 | Grass-pasture | 1690 | 145 |
| 6 | Grass-trees | 1533 | 219 |
| 7 | Grass-pasture-mowed | 1720 | 8 |
| 8 | Hay-windrowed | 1675 | 143 |
| 9 | Oats | 1722 | 6 |
| 10 | Soybean-notill | 2040 | 292 |
| 11 | Soybean-mintill | 1718 | 737 |
| 12 | Soybean-clean | 1660 | 178 |
| 13 | Wheat | 1728 | 61 |
| 14 | Woods | 1770 | 380 |
| 15 | Buildings-Grass-Trees-Drives | 1620 | 116 |
| 16 | Stone-Steel-Towers | 1690 | 28 |
| 总计 | 27697 | 3075 |
数据形状符合优化后的ResNet网络输入要求，不需要重塑形状。ResNet第一卷积层使用64个大小为3×3的卷积核，步长为2。最大池化层使用3×3的池化窗口，步长为2。在残差块中，卷积层均为大小为3×3的卷积核，步长为1，其中前两个残差块使用64个卷积核，后两个残差块使用128个卷积核。第一个Transformer层使用的head_num为8，中间维度为64，第二个Transformer层使用的head_num为8，中间维度为128，最终经过池化层输出特征矩阵H1的形状为[None，128]。总参数量为881，328个。
为适合优化后的3D-CNN网络的输入要求，转换输入数据的格式，添加一个维度为1，即输入形状为[None，19，19，25，1]。3D-CNN中第一卷积层使用64个大小为3×3×3的卷积核，步长为1。第二卷积层使用128个大小为3×3×3的卷积核，步长为1。第一和第二池化层均使用2×2×2的池化窗口，步长为2。最终经过Flatten层输出特征矩阵H2的形状为[None，4480]。总参数量为311，312个。
为适合优化后的LSTM网络的输入要求，转换输入数据的格式，其中样本的高度与宽度合并在一起，即输入为[None，19，475]。LSTM使用64个神经元，注意力机制中的FC层激活函数使用Softmax，最后一个FC层神经元为64个。输出特征矩阵H3的形状为[None，64]。总参数量为166，563个。
分别定义三个FC分类器，将特征矩阵H1、特征矩阵H2、特征矩阵H3输入FC分类器，再将三个分类器的结果连接在一起形成大小48的向量，再通过一个FC层进行16分类。
特征提取网络以及分类器均使用自适应优化器Adam来最小化损失函数，损失函数设置为类别交叉熵函数(categorical_crossentropy)，学习率alpha为0.0002，batch_size设置为128，epoch为50。
使用准确率评价图像分类的结果，其计算公式如下：
其中，TP为将正类预测为正类的个数，TN为将负类预测为负类的个数，FP为将负类预测为正类的个数，FN为将正类预测为负类的个数。
实验条件：英特尔i7-12700KF，3.6GHz中央处理器，NVIDIA GeForce RTX 3070图形处理器，内存16G。
实验结果：为了更加准确的说明本发明方法的优越性，不同神经网络分类方法及其准确率如表2所示。分类后混淆矩阵热力图如图8至12示。
表2
| 评价指标/方法 | VGG16 | ResNet16 | LSTM | 3D-CNN | 本实施例方法 |
| 准确率 | 99.54 | 99.84 | 99.75 | 99.73 | 99.86 |
表2的结果能说明本实例方法能够有效地提高高光谱图像分类的精度。
参见图8至12，图8至12为不同分类方法分类结果混淆矩阵热力图及对应的分类后图像，其中，图8为采用VGG16网络进行分类后的混淆矩阵热力图及对应的分类后图像；图9为采用ResNet网络进行分类的分类后的混淆矩阵热力图及对应的分类后图像；图10为采用LSTM网络进行分类后的混淆矩阵热力图及对应的分类后图像；图11为采用3D-CNN网络进行分类后的混淆矩阵热力图及对应的分类后图像；图12为采用本实施例方法进行分类后的混淆矩阵热力图及对应的分类后图像，通过分类结果可知，本实施例方法错分个数最少，能提高分类精度。
应该理解的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅为本发明所公开的一种基于多特征融合的高光谱图像分类方法的优选实施方式，并不用于限制本申请实施例，对于本领域的技术人员来说，本申请实施例可以有各种更改和变化。凡在本申请实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请实施例的保护范围之内。
Claims (10)
1.一种基于多特征融合的高光谱图像分类方法，其特征在于，包括如下步骤：
获取高光谱图像并进行预处理，获得数据集；
构建初始分类模型，所述初始分类模型包括三个并行的优化后的ResNet网络、优化后的3D-CNN网络、优化后的LSTM网络，用于分别提取特征矩阵H1、特征矩阵H2和特征矩阵H3；融合模块，用于将特征矩阵H1、特征矩阵H2、特征矩阵H3进行特征融合，得到融合后特征矩阵H0；分类器，用于将融合后特征矩阵H0作为输入，获得分类结果；
将数据集输入至初始分类模型中进行训练，同时计算损失函数以Adam优化器更新模型参数，当损失函数不断下降直至收敛时，得到分类模型；
将待识别高光谱图像输入至分类模型，获得待识别高光谱图像的分类结果。
2.根据权利要求1所述的一种基于多特征融合的高光谱图像分类方法，其特征在于，所述预处理包括：
采用PCA技术对高光谱图像进行降维处理；
对降维处理后的数据使用窗口创建批数据，获得数据集并按预设比例将数据集划分为训练集和测试集；
保存预处理好的数据集，并针对优化后的ResNet网络、优化后的3D-CNN网络和优化后的LSTM网络的输入要求，将数据转换为对应格式与形状。
3.根据权利要求2所述的一种基于多特征融合的高光谱图像分类方法，其特征在于，还包括如下步骤：
对数据集中的少数类标签样本进行过采样获得合成样本，为合成样本生成对应的合成标签集，所述数据集包括多个样本以及样本对应的分类标签集；
随机选择一种数据增强方式对所述数据集进行数据增强，所述数据增强方式包括垂直翻转、水平翻转或旋转。
4.根据权利要求1所述的一种基于多特征融合的高光谱图像分类方法，其特征在于，所述优化后的ResNet网络包括依次连接的2D卷积层、最大池化层、第一残差块、第二残差块、Transformer层、第三残差块、第四残差块、Transformer层、全局平均池化层，其中，所述第一残差块、第二残差块、第三残差块、第四残差块均包括依次连接的两个2D卷积层、全局平均池化层、两个FC层；所述Transformer层由多头注意力机制、两个Dropout层、一个全连接层以及残差连接组成。
5.根据权利要求1所述的一种基于多特征融合的高光谱图像分类方法，其特征在于，所述优化后的3D-CNN包括依次连接的3D卷积层、最大池化层、3D卷积层、最大池化层、FC层、注意力层、Flatten层。
6.根据权利要求1所述的一种基于多特征融合的高光谱图像分类方法，其特征在于，所述优化后的LSTM包括LSTM层、FC层以及在LSTM层和FC层之间加入的双向加性注意力层。
7.根据权利要求6所述的一种基于多特征融合的高光谱图像分类方法，其特征在于，所述双向加性注意力层的处理过程，包括如下步骤：
将所述LSTM层的输出作为注意力机制的输入，经过Multiply层进行自注意力，通过Dense层进行全连接操作，得到注意力权重向量并使用Flatten层压缩为一维向量；
使用Softmax层对压缩后的注意力权重向量进行归一化后送入Reshape层，得到结果张量；
将结果张量与LSTM层的输出做以元素为单位的乘法，并使用Lambda层沿时间序列长度方向的加权结果进行求和，得到最终的加权和输出结果。
8.根据权利要求1所述的一种基于多特征融合的高光谱图像分类方法，其特征在于，所述优化后的ResNet网络、优化后的3D-CNN网络、优化后的LSTM网络的损失函数均使用分类交叉熵。
9.根据权利要求1所述的一种基于多特征融合的高光谱图像分类方法，其特征在于，所述分类器为单层FC层、支持向量机、随机森林、决策树。
10.根据权利要求1所述的一种基于多特征融合的高光谱图像分类方法，其特征在于，训练过程中采用准确率作为模型的评价指标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311646649.6A CN117726939A (zh) | 2023-12-04 | 2023-12-04 | 一种基于多特征融合的高光谱图像分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311646649.6A CN117726939A (zh) | 2023-12-04 | 2023-12-04 | 一种基于多特征融合的高光谱图像分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117726939A true CN117726939A (zh) | 2024-03-19 |
Family
ID=90200779
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311646649.6A Pending CN117726939A (zh) | 2023-12-04 | 2023-12-04 | 一种基于多特征融合的高光谱图像分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117726939A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117934982A (zh) * | 2024-03-25 | 2024-04-26 | 山东第一医科大学第一附属医院(山东省千佛山医院) | 基于高光谱图像的肾移植术后恢复情况预测方法及*** |
-
2023
- 2023-12-04 CN CN202311646649.6A patent/CN117726939A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117934982A (zh) * | 2024-03-25 | 2024-04-26 | 山东第一医科大学第一附属医院(山东省千佛山医院) | 基于高光谱图像的肾移植术后恢复情况预测方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112733749B (zh) | 融合注意力机制的实时行人检测方法 | |
| TWI794414B (zh) | 用於使用深度感測器進行即時物件偵測的系統和方法 | |
| CN102324038B (zh) | 一种基于数字图像的植物种类识别方法 | |
| CN112949673A (zh) | 一种基于全局注意力的特征融合目标检测与识别方法 | |
| CN111861756B (zh) | 一种基于金融交易网络的团伙检测方法及其实现装置 | |
| WO2023019698A1 (zh) | 基于富上下文网络的高光谱图像分类方法 | |
| CN112396587B (zh) | 一种基于协同训练和密度图的公交车厢内拥挤度检测方法 | |
| CN110390952A (zh) | 基于双特征2-DenseNet并联的城市声音事件分类方法 | |
| CN112270345B (zh) | 基于自监督字典学习的聚类算法 | |
| CN113157957A (zh) | 一种基于图卷积神经网络的属性图文献聚类方法 | |
| CN117726939A (zh) | 一种基于多特征融合的高光谱图像分类方法 | |
| CN112966853A (zh) | 基于时空残差混合模型的城市路网短时交通流预测方法 | |
| CN109919921B (zh) | 基于生成对抗网络的环境影响程度建模方法 | |
| CN103136540B (zh) | 一种基于隐结构推理的行为识别方法 | |
| CN112541532A (zh) | 基于密集连接结构的目标检测方法 | |
| CN117315381B (zh) | 一种基于二阶有偏随机游走的高光谱图像分类方法 | |
| CN104268507A (zh) | 一种基于rgb-d图像的手语字母识别方法 | |
| CN116824585A (zh) | 一种基于多级上下文特征融合网络的航空激光点云语义分割方法与装置 | |
| CN113095414A (zh) | 一种基于卷积神经网络和支持向量机的示功图识别方法 | |
| CN116248392A (zh) | 一种基于多头注意力机制的网络恶意流量检测***及方法 | |
| CN115512226A (zh) | 融入注意力机制多尺度CNN的LiDAR点云滤波方法 | |
| CN115272865A (zh) | 一种基于自适应激活函数和注意力机制的目标检测方法 | |
| CN114880538A (zh) | 基于自监督的属性图社团检测方法 | |
| CN112905793B (zh) | 一种基于Bilstm+Attention文本分类的案例推荐方法及*** | |
| CN117590173A (zh) | 一种基于卷积神经网络的电缆局部放电模式识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |