CN113935433B - 基于深度光谱空间倒残差网络的高光谱图像分类方法 - Google Patents
基于深度光谱空间倒残差网络的高光谱图像分类方法 Download PDFInfo
- Publication number
- CN113935433B CN113935433B CN202111290378.6A CN202111290378A CN113935433B CN 113935433 B CN113935433 B CN 113935433B CN 202111290378 A CN202111290378 A CN 202111290378A CN 113935433 B CN113935433 B CN 113935433B
- Authority
- CN
- China
- Prior art keywords
- input
- output
- dir
- module
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 137
- 238000001228 spectrum Methods 0.000 title claims abstract description 42
- 230000003595 spectral effect Effects 0.000 claims abstract description 46
- 238000012549 training Methods 0.000 claims abstract description 39
- 238000000605 extraction Methods 0.000 claims abstract description 38
- 230000008569 process Effects 0.000 claims abstract description 22
- 238000012360 testing method Methods 0.000 claims abstract description 19
- 238000012795 verification Methods 0.000 claims abstract description 7
- 238000010586 diagram Methods 0.000 claims description 43
- 230000006870 function Effects 0.000 claims description 33
- 238000012545 processing Methods 0.000 claims description 31
- 230000004913 activation Effects 0.000 claims description 29
- 230000004927 fusion Effects 0.000 claims description 27
- 230000009977 dual effect Effects 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 7
- 230000003213 activating effect Effects 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000000638 solvent extraction Methods 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 3
- 238000011118 depth filtration Methods 0.000 claims description 2
- 238000013527 convolutional neural network Methods 0.000 description 30
- 238000004422 calculation algorithm Methods 0.000 description 10
- 238000002474 experimental method Methods 0.000 description 8
- 238000010200 validation analysis Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000002679 ablation Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000011426 transformation method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 102100032202 Cornulin Human genes 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 101000920981 Homo sapiens Cornulin Proteins 0.000 description 1
- 241001466077 Salina Species 0.000 description 1
- 241000209140 Triticum Species 0.000 description 1
- 235000021307 Triticum Nutrition 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- ZZUFCTLCJUWOSV-UHFFFAOYSA-N furosemide Chemical compound C1=C(Cl)C(S(=O)(=O)N)=CC(C(O)=O)=C1NCC1=CC=CO1 ZZUFCTLCJUWOSV-UHFFFAOYSA-N 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 241000894007 species Species 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
基于深度光谱空间倒残差网络的高光谱图像分类方法，本发明涉及高光谱图像分类方法。本发明的目的是为了解决现有高光谱图像数据集中标记样本有限，并实现光谱空间特征的有效提取的问题。过程为：步骤一、获取高光谱图像步骤二、建立DSSIR模型；步骤三、将训练集输入DSSIR模型对DSSIR模型进行训练，得到DSSIR模型的初始参数，经过验证集验证不断更新参数，直到获得最优参数；步骤四、将测试集输入最优模型得到最终预测结果。本发明用于高光谱图像分类领域。
Description
技术领域
本发明涉及高光谱图像分类方法。
背景技术
高光谱图像(HSI)可以看作一个具有数百个光谱通道的三维立方体。HSI的每个像元均包含数百种不同波段的反射信息，这使得这类图像适用于许多实际应用，例如军事侦察[1]，环境监测[2]以及地质勘探[3],[4]等领域。近十年来，得益于成像技术的发展与成熟，高光谱图像处理技术变得越来越成熟。然而，在HSI分类领域，仍然面临着一些挑战：1)HSI数据中标记的可用样本较少，模型训练过程中存在过拟合现象；2)由于HSI蕴含丰富的光谱空间信息，因此光谱空间信息不充分提取的问题仍然存在。另外，还存在同一类别地物呈现不同光谱曲线，不同类别地物呈现相同光谱曲线的现象。
传统机器学习的HSI分类方法使用手工制作的特征来训练分类器。显然，特征提取与分类器的训练是分开的。手工制作特征的代表性方法如：局部二值模式(LBPs)[5]、定向梯度直方图(HOG)[6]、全局不变可伸缩变换(GIST)[7]和随机森林[8]等。代表性分类器有logistic回归[9]、极限学习机[10]和支持向量机(SVM)[11]。手工制作特征的方法可以有效地表示图像的各种属性，然而不同数据之间的最佳特征集差异很大，再加上人工参与设计特征，对最终分类效果会有较大的影响。由于手工制作特征存在上述局限性，越来越多的研究者将深度学习模型应用于HSI分类任务中，并取得了很大的成功。
基于深度学习框架的HSI分类方法可分为监督分类方法和非监督分类方法。非监督分类方法仅依靠HSI上不同类地物光谱或纹理信息进行特征提取，再统计特征的差别来达到分类的目的。例如，Chen等人首次提出了一个堆叠式自动编码器(SAE)来获取有用的高级特性[12]。还有一些SAE的变体也被提出[13],[14],[15]。文献[16]提出了另外一种基于深度置信网络(DBN)的HSI数据特征提取和图像分类框架，还结合了主成分分析法(PCA)和logistic回归。然而，尽管以上两种分类器可以达到比大多数传统方法更高的准确率，但是会造成信息的丢失。后来，生成对抗网络(GAN)的提出给非监督分类方法带来更广阔的前景[17]。例如，Zhu等人提出一种基于生成对抗网络(GAN)的HSI分类方法，生成器生成尽可能真实的假输入，判别器对真实输入和假输入进行判别分类，得到了较高的分类精度[18]。监督分类则是用被确认类别的样本像元去识别其他未知类别像元的过程。例如，Mou等人提出了一种循环神经网络(RNN)模型，该模型可以有效地将高光谱像素分析为序列数据，然后通过网络推理确定信息类别[19]。
基于CNN的HSI分类方法也是一种典型的监督分类方法，而且CNN作为一种强大的神经网络，关键就在于其自动提取特征的能力。目前，大多数基于CNN的HSI分类方法研究的是联合光谱空间特征提取用于实现HSI分类。根据特征提取方式，联合光谱空间特征提取方法分为以下两种：1)分别提取光谱和空间特征，融合后进行分类。2)直接提取光谱空间特征进行分类。分别进行特征提取的方法有很多，例如：Zhang等人提出了一种双通道CNN(DCCNN)模型，采用一维CNN和二维CNN分别实现频谱和空间特征提取[20]。文献[21]提出了一种双流架构，其中一个流通过堆叠降噪自动编码器对光谱特征进行编码，另一个流通过深度CNN提取空间特征。在文献[22]中，通过将光谱特征和双尺度空间特征从浅层到深层级联，构建了一个三层结构的CNN来提取光谱-空间特征。然后，融合多层空间光谱特征，提供互补信息。最后，将融合后的特征和分类器集成到一个统一的网络中，以端到端的方式进行优化。Yang等人提出了一种具有双分支结构的深度卷积神经网络来提取HSIs的联合光谱-空间特征[23]。上述提出的方法能够结合空间信息，但忽略了HSI的完整性。在这种情况下，在有效结合光谱空间上下文关系和保留HSI信息的完整性方面，直接提取特征的方法展现了它的优越性。例如，Chen等人提出了一种基于核采样的3D-CNN架构来提取HSI的光谱空间特征[24]。文献[25]引入了一种具有密集连通性的快速光谱空间模型，用于HSI分类。Zhong等人提出了一种光谱空间残差网络，光谱和空间残差块不断地从HSI丰富的光谱特征和空间背景中学习鉴别特征，以提高分类性能[26]。Wang等人提出了一种使用具有循环反馈结构的端到端交替更新光谱空间卷积网络来学习HSI的光谱和空间特征[27]。Fang等人提出了一个密集连接与光谱注意机制相结合的3D-CNN模型，得到了很好的分类结果[28]。深度学习中的注意力思想[29],[30],[31]本质上与人类的选择性视觉注意力机制类似，核心目标是从众多信息中选择出更关键的信息。如今，注意力机制也被广泛应用于HSI分类任务中。例如，Xi等人受SE块[29]的启发，设计了一种3DSERes块来探索丰富的光谱和空间上下文信息。还有在文献[32]中，使用两个具有不同压缩策略的双线性SENet来提升HSI分类的性能。
然而，深度学***衡增强方法，可以解决标记数据有限和类别不平衡的问题。
发明内容
本发明的目的是为了解决现有高光谱图像数据集中标记样本有限，并实现光谱空间特征的有效提取的问题，而提出基于深度光谱空间倒残差网络的高光谱图像分类方法。
基于深度光谱空间倒残差网络的高光谱图像分类方法具体过程为：
步骤一、获取高光谱图像其中/>为高为H，宽为W，光谱通道为B的三维高光谱图像(HSI)立方体，Y是高光谱图像(HSI)数据中的标签向量；具体过程为：
步骤一一、将进行随机分块，分成若干3D立方体块，把3D立方体块作为新的样本集/>其中h，w，B分别代表3D立方体块的高度，宽度和光谱维度，h，w被设置为相同的值；
步骤一二、按照一定的比例从新的样本集P中随机抽样得到训练集Xtrain，再按照相同的比例从其余部分中随机抽样得到验证集Xvalid，剩余比例作为测试集Xtest；
步骤二、建立DSSIR模型；
步骤三、将训练集Xtrain输入DSSIR模型对DSSIR模型进行训练，得到DSSIR模型的初始参数，经过验证集Xvalid验证不断更新参数，直到获得最优参数；
步骤四、将测试集Xtest输入最优模型得到最终预测结果Y'。
本发明的有益效果为：
由于卷积神经网络(Convolutional neural networks，CNNs)具有自动提取图像特征的能力和节省大量人工的特点，近年来被广泛用于高光谱图像分类任务。然而，对于蕴含丰富的光谱和空间信息的高光谱图像来说，仍然面临着标记样本有限以及光谱空间特征难以充分提取的问题。为解决上述问题，提出了一种基于数据分块增强的深度光谱空间倒残差(Deep spectral spatial inverted residuals，DSSIR)网络。在该网络中，引入了一种数据分块随机擦除增强方法，通过对小空间块进行数据增强，缓解了标记样本有限的问题。另外，提出了一种用于光谱空间特征提取的深度倒残差(Deep inverted residuals，DIR)模块，该模块在避免网络退化的同时锁住每层学习的有效特征。此外，还提出了全局3D注意力模块，该模块能在输入输出特征图数量一致的条件下，实现对光谱空间全局上下文信息的精细提取。大量的实验结果表明，在四种常用的高光谱数据集上，所提出的DSSIR优于一些最新的分类方法，能够对高光谱图像进行更准确地分类。
为了克服上述提到的有限标记样本问题和光谱空间特征提取不充分的问题，本发明提出了一种基于数据分块增强的深度光谱空间倒残差(DSSIR)网络。该网络分为三个阶段，第一个阶段使用随机擦除策略对原始输入3D立方体块进行数据增强；第二个阶段的两个组成部分实现有效的联合光谱空间特征提取；第三个阶段对前面学习到的高级语义特征进行分类。本文的主要贡献如下：
1)为了有效利用HSI中丰富的信息，提出了DIR模块。该模块先将输入数据的低维表示扩展到高维，并用深度可分离卷积进行过滤。随后用标准卷积将特征投影回低维表示。这种设计更适用于解决HSI的高维特征提取问题。
2)设计了一个全局3D注意力模块，并将其嵌入DIR模块中，充分考虑了光谱空间全局上下文信息，进一步提升分类性能。
3)由于提出的DSSIR是基于3D-CNN的模型，因此本发明还研究基于小空间块的随机擦除策略，用于实现标记的可用样本的增加。
本发明提出了一种新颖的HSI分类网络—DSSIR。DSSIR分为三个阶段，第一个阶段使用随机擦除策略将原始输入3D立方体块做数据增强操作。第二个阶段的两个组成部分实现有效的联合光谱空间特征提取。第三个阶段将前面学习到的高级语义特征进行分类。三个阶段的充分结合实现HSI的最优分类效果。另外，本发明研究小空间块下的随机擦除策略，在不增加参数的情况下，能够进行更有效地数据增强。在DSSIR中，设计了一种有效特征提取的模块—DIR模块，从细节到抽象实现特征的充分提取。本发明还设计了一个全局3D注意力模块，充分考虑光谱空间全局上下文信息，提升分类性能。在四个数据集上的实验结果进一步证明了DSSIR的有效性。
附图说明
图1为本发明提出方法总体框架图；图2为本发明提出DSSIR网络的总体框架图；图3为本发明DIR模块示意图；图4为本发明全局3D注意力模块框架图；
图5a为地面真实图；图5b为SVM-RBF方法获得的IN数据集的分类图；图5c为DRCNN方法获得的IN数据集的分类图；图5d为ROhsi方法获得的IN数据集的分类图；图5e为SSAN方法获得的IN数据集的分类图；图5f为SSRN方法获得的IN数据集的分类图；图5g为A2S2K-ResNet方法获得的IN数据集的分类图；图5h为DSSIR方法获得的IN数据集的分类图；
图6a为地面真实图；图6b为SVM-RBF方法获得的UP数据集的分类图；图6c为DRCNN方法获得的UP数据集的分类图；图6d为ROhsi方法获得的UP数据集的分类图；图6e为SSAN方法获得的UP数据集的分类图；图6f为SSRN方法获得的UP数据集的分类图；图6g为A2S2K-ResNet方法获得的UP数据集的分类图；图6h为DSSIR方法获得的UP数据集的分类图；
图7a为地面真实图；图7b为SVM-RBF方法获得的SV数据集-分类图；图7c为DRCNN方法获得的SV数据集的分类图；图7d为ROhsi方法获得的SV数据集的分类图；图7e为SSAN方法获得的SV数据集的分类图；图7f为SSRN方法获得的SV数据集的分类图；图7g为A2S2K-ResNet方法获得的SV数据集的分类图；图7h为DSSIR方法获得的SV数据集的分类图；
图8a为地面真实图；图8b为SVM-RBF方法获得的BS数据集的分类图；图8c为DRCNN方法获得的BS数据集的分类图；图8d为ROhsi方法获得的BS数据集的分类图；图8e为SSAN方法获得的BS数据集的分类图；图8f为SSRN方法获得的BS数据集的分类图；图8g为A2S2K-ResNet方法获得的BS数据集的分类图；图8h为DSSIR方法获得的BS数据集的分类图；
图9a为不同擦除概率(参数p)与不同空间块大小(参数patchsize，patchsize为分块大小)在IN数据集上的总体分类精度(OA)曲面图；图9b为不同擦除概率(参数p)与不同空间块大小(参数patchsize)在UP数据集上的总体分类精度(OA)曲面图；图9c为不同擦除概率(参数p)与不同空间块大小(参数patchsize)在SV数据集上的总体分类精度(OA)曲面图；图9d为不同擦除概率(参数p)与不同空间块大小(参数patchsize)在BS数据集上的总体分类精度(OA)曲面图；
图10a为不同训练样本比例下在IN数据集上的分类结果图；图10b为不同训练样本比例下在UP数据集上的分类结果图；图10c为不同训练样本比例下在SV数据集上的分类结果图；图10d为不同训练样本比例下在BS数据集上的分类结果图。
具体实施方式
具体实施方式一：本实施方式基于深度光谱空间倒残差网络的高光谱图像分类方法具体过程为：
提出方法的总体框架如图1所示。
步骤一、获取高光谱图像其中/>为高为H，宽为W，光谱通道为B的三维高光谱图像(HSI)立方体，Y是高光谱图像(HSI)数据中的标签向量；具体过程为：
步骤一一、将进行随机分块，分成若干3D立方体块，把由标记的中心像素及其相邻像素组成的3D立方体块作为新的样本集/>其中h，w，B分别代表3D立方体块的高度，宽度和光谱维度，h，w被设置为相同的值；
高光谱图像分类是基于像素的，每个像素分配一个特定标签。先将整体图像块分成小的立方体块，每个小块都是由目标像素及其邻域像素组成，再将其成批输入三维CNN中，可以有效降低计算量和运行效率。
步骤一二、按照一定的比例从新的样本集P中随机抽样得到训练集Xtrain，再按照相同的比例从其余部分中随机抽样得到验证集Xvalid，剩余比例作为测试集Xtest；(X和Y是一对，这里也包括Y)；
步骤二、建立DSSIR模型；步骤三、将训练集Xtrain输入DSSIR模型对DSSIR模型进行训练，得到DSSIR模型的初始参数，经过验证集Xvalid验证不断更新参数，直到获得最优参数；步骤四、将测试集Xtest输入最优模型得到最终预测结果Y'。
具体实施方式二：本实施方式与具体实施方式一不同的是，所述建立的DSSIR模型；具体过程为：
DSSIR模型分为三个阶段：基于分块随机擦除的数据增强阶段、具有双输入融合和DIR模块的深度特征提取阶段以及分类阶段；
所述具有双输入融合和DIR模块的深度特征提取阶段包括双输入融合部分和DIR密集连接部分；
所述DIR密集连接部分包括第一DIR模块、第二DIR模块和第三DIR模块，三个DIR模块密集连接；
训练集Xtrain输入DSSIR模型的基于分块随机擦除的数据增强阶段，输出结果输入具有双输入融合和DIR模块的深度特征提取阶段中的双输入融合部分；
双输入融合部分的输出作为第一DIR模块的输入，双输入融合部分的输出和第一DIR模块的输出的级联作为第二DIR模块的输入，双输入融合部分的输出、第一DIR模块的输出和第二DIR模块的输出的作为第三DIR模块的输入；
双输入融合部分的输出、第一DIR模块的输出、第二DIR模块的输出、第三DIR模块的输出级联后输入分类阶段进行分类。
图2展示了所提出的DSSIR模型的总体框架。该框架分为三个阶段：基于随机擦除的数据增强阶段、具有双输入融合和DIR模块的深度特征提取阶段，以及分类阶段。第一阶段用来解决高光谱图像的标记样本有限的问题，通过对训练样本进行分块随机擦除，使数据集的空间分布得到充分变化，在无参数增加的前提下能够有效增加可用训练样本的数量。为了使模型鲁棒性增强，需要解决高光谱图像的光谱空间信息提取不足的问题。第二阶段的深度特征提取网络可以解决这个问题。第二阶段主要包括两个部分：1)双输入融合部分；2)DIR密集连接部分。在本阶段第二部分中，将三个DIR模块密集连接，以增强特征表示能力。本发明还在DIR模块中设计了全局3D注意力模块，以实现更精细更充分的全局上下文特征提取。最后将第二阶段充分提取的光谱空间特征输入到第三阶段，实现最终分类。其它步骤及参数与具体实施方式一相同。
具体实施方式三：本实施方式与具体实施方式一或二不同的是，所述基于随机擦除的数据增强阶段的具体处理过程为：
a)、对于训练样本集Xtrain，S为原始输入三维立方体的空间维面积，W为此立方体的宽，H为此立方体的高，擦除概率设置为p，随机初始化擦除区域的面积设置为Se，随机初始化的擦除区域的面积Se与输入三维立方体的空间维面积S的比率设置在pl和ph之间，Se的高宽比re设置在r1和r2之间；其中，pl为比率/>的下界，ph为比率/>的上界，r1为高宽比re的下界，r2为高宽比re的上界；
随机获得概率p1＝Rand(0,1)，如果满足p1＜p，则执行b)；否则结束；
b)、为了得到擦除区域的位置，首先根据随机得到的擦除区域比例计算得到初始擦除区域Se＝rand(pl,ph)*S；其中，rand(pl,ph)为随机得到的擦除区域比例，S为原始输入三维立方体的空间维面积；
c)、再根据随机得到的高宽比计算得到擦除区域的长宽：
其中，He为擦除区域的长，We为擦除区域的宽，*为乘法运算，rand(r1,r2)为随机得到的高宽比；
d)、再根据随机得到的高宽值得到擦除的左上角的坐标(xe,ye)；分别加上公式(1)得到的长宽，得到擦除区域的位置坐标(xe+We,ye+He)，即得到变化的三维立方体；
其中，xe＝rand(0,W)，ye＝rand(0,H)；
e)、若所求擦除区域的位置坐标(xe+We,ye+He)超出了原始输入空间S的边界，则重复上述b)-d)过程(d)得到的变化的三维立方体替换b)中原始输入三维立方体)，继续求擦除区域的位置，否则得到擦除区域的位置坐标(xe+We,ye+He)。
在训练的每个epoch中均执行随机擦除策略，将获得的变化的三维立方体输入到第二阶段，便于模型学习更丰富的空间信息。
分块随机擦除策略用于数据增强
高光谱图像在成像过程中可能会受大气的影响而被云层、阴影或其他物体擦除，造成擦除区域信息的丢失。而其中最大干扰因素就是云层覆盖，因此在第一阶段，本发明设计一种分块随机擦除方法，在模型训练前，先模拟云擦除条件下的图像场景，然后将添加干扰后的空间块输入模型中进行训练，实现了空间信息变化的效果，增加了可用样本，进而提高分类精度。与文献[37]不同的是，本发明提出的特征提取分类模型是三维的，为避免模型的复杂度过高，故研究了较小空间块下(即9×9)的随机擦除问题。
如图1所示，对于训练样本集Xtrain，S为原始输入3D立方体的空间维面积，擦除概率设置为p，随机初始化擦除区域的面积设置为Se，随机擦除区域与输入三维立方体的空间维区域比率设置在pl和ph之间，Se的高宽比re设置在r1和r2之间。为了得到擦除区域的位置，首先根据随机得到的擦除区域比例计算得到初始擦除区域Se＝rand(pl,ph)*S，再根据随机得到的高宽比计算得到擦除区域的长宽：
再根据随机得到的高宽值得到擦除的左上角的坐标(xe,ye)，分别加上公式(1)得到的长宽，即可得到擦除区域的位置坐标(xe+We,ye+He)。若所求坐标超出了原始输入空间的边界，则重复上述过程。在训练的每次迭代中均执行随机擦除来生成变化的输入三维立方体，便于模型学习更丰富的空间信息。其它步骤及参数与具体实施方式一或二相同。
具体实施方式四：本实施方式与具体实施方式一至三之一不同的是，所述双输入融合部分的具体处理过程为：
如图2所示，设x∈Xtrain h×h×l为经过随机擦除处理的数据，将x分别经过谱处理f(·)和空间处理g(·)，得到两个特征图融合后作为DIR密集连接部分的输入；
其中，h为数据的空间大小，l为光谱维数；
谱处理f(·)和空间处理g(·)均为三维卷积、BN和swish激活函数的组合函数，两个组合函数操作的不同之处在于三维卷积的卷积核不同，获得的特征图为
Mspectral＝f(x)＝σ(BNγ,β[(W1*x+b1)]) (2)
Mspatial＝g(x)＝σ(BNγ,β[(W2*x+b2)]) (3)
其中，Mspectral和Mspatial分别为谱处理和空间处理得到的特征图，σ表示swish激活函数运算，*则表示三维卷积运算，W1、b1为谱处理中三维卷积的权重与偏置，W2、b2为空间处理中三维卷积的权重与偏置，而γ和β则分别代表BN操作的可训练参数；
谱处理中三维卷积的卷积核为1×1×9，卷积核的数量为32，卷积步长为(1,1,2)，填充为(0,0,0)；
空间处理中三维卷积的卷积核为3×3×9，卷积核的数量为32，卷积步长为(1,1,2)，填充为(1,1,0)；
因此获得的两个特征图Mspectral和Mspatial大小和数量均一致；
将得到的两个特征图Mspectral和Mspatial直接进行逐元素加法融合操作，定义为，
其中表示为逐元素求加法操作，Msum代表融合后的特征图。
其它步骤及参数与具体实施方式一至三之一相同。
具体实施方式五：本实施方式与具体实施方式一至四之一不同的是，所述第一DIR模块、第二DIR模块或第三DIR模块的具体处理过程为：
本发明设计的DIR模块是受MobilenetV3[39]与Efficientnet[40]的启发，将2维的倒残差模型拓展到三维，并通过大量实验与参数的调整，设计了一个适合高光谱图像分类的3D通用模块，图3即为DIR模块的示意图。在本发明的实验结果与分析部分，将DIR模块作为通用模块进行了实验对比与分析。
第一DIR模块、第二DIR模块和第三DIR模块中每个DIR模块包括第三三维卷积层、第三BN层、第三swish激活函数、第一深度可分离三维卷积层、第四BN层、第四swish激活函数、第五三维卷积层、第五BN层、第一drop_connect层、第五swish激活函数和全局3D注意力模块；
特征图输入DIR模块中的第三三维卷积层，第三三维卷积层的输出输入第三BN层，第三BN层的输出输入第三swish激活函数，第三swish激活函数的输出输入第一深度可分离三维卷积层；
第一深度可分离三维卷积层的输出输入第四BN层，第四BN层的输出输入第四swish激活函数，第四swish激活函数的输出输入全局3D注意力模块；
将全局3D注意力模块的输出特征和第四swish激活函数的输出特征相乘得到乘积后的特征，乘积后的特征输入第五三维卷积层，第五三维卷积层的输出输入第五BN层，第五BN层的输出输入第一drop_connect层；
第一drop_connect层的输出特征和双输入融合部分输出的特征图相加得到相加后的特征，相加后的特征输入第五swish激活函数输出特征图，即为DIR模块的输出特征图。
其它步骤及参数与具体实施方式一至四之一相同。
具体实施方式六：本实施方式与具体实施方式一至五之一不同的是，所述第三三维卷积层的卷积核为1×1×1；第五三维卷积层的卷积核为1×1×1；第一深度可分离三维卷积层的卷积核为3×3×3。其它步骤及参数与具体实施方式一至五之一相同。
具体实施方式七：本实施方式与具体实施方式一至六之一不同的是，所述每个DIR模块的具体计算过程为：
DIR模块中实现光谱空间特征的深度提取主要思想为：先将输入数据的低维表示扩展到高维，并用深度可分离卷积(Depthwise separable convolution，DSC)进行过滤。将过滤得到的特征图传输到全局3D注意力模块进行深度过滤，将两次过滤的特征相乘以增强特征表示，随后用标准卷积将特征投影回低维表示。最后残差分支用来避免网络退化现象。DIR模块的实现细节如算法1所示。
步骤1：特征图数据输入第三三维卷积层进行升维，升维后的特征图数量为6C，然后将得到的特征图依次进行BN与swish激活得到特征图；其中，/>为张量数据类型，h为特征图数据的空间大小，l为特征图数据的光谱维度，C为特征图的数量；步骤2：对步骤1得到的特征图执行DSC操作，DSC操作分两步：Depthwise过程和Pointwise过程，两个卷积过程的卷积核分别设置为3×3×3与1×1×1。DSC操作前后的特征图数量保持一致，同样将得到的特征图依次进行BN与swish激活操作，得到过滤后的特征图Dl+1；步骤3：将Dl+1输入全局3D注意力模块进行深度过滤，得到特征图G3D；步骤4：计算特征的乘积/>步骤5：将相乘后的特征图/>输入第五三维卷积层进行降维，然后依次进行BN与swish激活，得到降维后的特征图/>步骤6：将输入特征图与降维后的特征图相加，并用swish激活得到输出特征图/>输出特征图yl与输入特征图/>大小和数量均相同，/>其中，σ为swish函数激活操作。
其它步骤及参数与具体实施方式一至六之一相同。
具体实施方式八：本实施方式与具体实施方式一至七之一不同的是，所述全局3D注意力模块的具体计算过程为：
受csSE[39]的启发，本文拓展设计了全局3D注意力模块，如图4所示，以充分考虑全局信息，有效提取光谱空间上下文特征，从而增强特征表征能力。
全局3D注意力模块包括3D光谱部分和3D空间部分；
3D光谱部分：首先将输入特征图U＝[U1,U2,...,Us]通过自适应平均池化(AAP)操作，得到第k个元素的张量，
然后依次训练两个c×1×1×1大小的linear层来找到特征与分类的关联，得到s维的张量，接着使用sigmoid函数进行归一化处理，得到光谱注意力图，最后用得到的光谱注意力图与输入特征图相乘。该处理过程表示为：
其中，代表两层linear层、ReLU操作以及sigmoid激活操作的组合函数，Fc(U)为光谱注意力图；
3D空间部分：首先通过1×1×1卷积层来提取图像特征，然后使用sigmoid函数激活得到空间注意力图，最后将得到的空间注意力图与输入特征图相乘。该处理过程表示为：
其中，为一层三维卷积及sigmoid激活操作的组合函数，Fs(U)为空间注意力图；
最后将两个部分得到的特征图逐元素进行比较(Fc(U)中与Fs(U)中/>比较，/>与/>比较，...，/>与/>比较，保留每对中大的元素组成新的特征图)，保留较大的元素组成新的特征图为最终获得的全局3D注意力图。
其它步骤及参数与具体实施方式一至七之一相同。
采用以下实施例验证本发明的有益效果：
实验设置
数据集
为了验证DSSIR的性能，实验使用了四个经典数据集。IN数据集是由印第安纳州西北部的机载可见红外成像光谱仪(AVIRIS)传感器获得的。该数据大小为145×145，共224个波段，其中有效波段200个。空间分辨率为每像素20nm，光谱覆盖范围为0.4～2.5μm。共有16种作物种类；UP数据集由ROSIS传感器获取，常用于高光谱图像分类。该传感器共有115个波段。经过处理，帕维亚大学的大小为610×340×103，共9种地物；SV数据集是由加利福尼亚萨利纳斯山谷的AVIRIS传感器拍摄的。该数据的空间分辨率为3.7米，大小为512×217。原始数据为224个波段，去除噪声后仍保留204个波段，共包含16个作物类别。BS数据集是由美国宇航局EO-1卫星在奥卡万戈三角洲上空获取的。场景大小为1476×256×145，空间分辨率为30m/像素，光谱覆盖范围为0.4～2.5μm。地面真实图可分为14类。
在后续实验中，将IN、UP、SV、BS数据集分为训练集、验证集和测试集，从每个类别中随机抽取的训练、验证、测试的比例相同。在这里，为避免IN数据集的某些类别的训练样本缺失，我们随机选择其中的5％进行训练，5％进行验证，剩余的90％用于测试。分别从UP数据集、SV数据集以及BS数据集中随机抽取的训练集、验证集、测试集的比例均相同，分别为3％、3％、94％。四个数据集的详细划分信息分别列于表Ⅰ-Ⅱ中。
表Ⅰ土地覆盖类别和用于IN和UP的训练、验证和测试的样本数量
表Ⅱ土地覆盖类别和用于SV和BS的训练、验证和测试的样本数量
/>
实验设置及评价指标
实验中每个数据集的批处理大小设置为16，输入空间大小为9×9。本文采用Adam优化器。初始学***台为Intel(R)Core(TM)i9-9900K CPU、NVIDIA GeForce RTX 2080Ti GPU、32G内存的服务器。实验软件平台基于windows10 Vscode操作***，采用CUDA10.0、Pytorch1.2.0和Python3.7.4。实验所有的分类结果均为独立执行20次以上取得的平均分类准确率±标准差。为了提供一个定量的评价，本文使用总体精度(OA)、平均精度(AA)和kappa系数(kappa)作为分类性能的度量。其中，OA表示正确分类的样本数与样本总数的比率。AA表示每个类别的分类精度。Kappa系数衡量的是结果与地面真实图的一致性。
与其他方法比较的分类结果
本发明将提出的DSSIR网络与一些先进的分类方法进行比较，包括SVM_RBF[40]、DRCNN[41]、ROhsi[37]、SSAN[42]、SSRN[26]和A2S2K-ResNet[43]。其中SVM_RBF是基于像素的分类方法，DRCNN和ROhsi是基于2D-CNN的算法，SSAN是基于RNN和2D-CNN的算法，剩余两个方法与提出的DSSIR算法都是基于3D-CNN的算法。表Ⅲ-Ⅵ列出了这七种方法在四个数据集上的平均分类准确率和标准差。前2-17行记录特定类别的分类准确率，后3行记录所有类别的OA、AA和Kappa。
从表Ⅲ可以看出，提出的DSSIR算法在IN数据集上的分类结果明显优于其他先进的方法，获得了最佳的OA值、AA值和kappa值。由于基于深度学习的框架(包括DRCNN、ROhsi、SSRN、SSAN、A2S2K-ResNet和DSSIR)具有出色的非线性表征和自动层次化的特征提取能力，故分类性能均高于SVM_RBF。同样是基于2D-CNN的模型，ROhsi与SSAN的模型结构过于简单，而且对光谱空间特征提取不够充分，因此，上述两种方法的OA值比DRCNN的OA值分别低9.63％、9.08％。对于3D-CNN模型来说，SSRN的光谱空间特征的学习是分开的，没有融合学习到的高级特征，因此，SSRN的OA值均低于A2S2K-ResNet和提出的DSSIR方法。本文提出的DSSIR算法首先对输入3D立方体进行分块数据增强处理，增加了可用样本，然后提出的DIR模块对光谱空间特征进行充分有效提取，其中的全局3D注意力模块还有效实现了全局上下文信息的选择提取，最后的密集连接操作有效融合了DIR模块学习到的联合光谱空间特征，因此提出方法在IN数据集上的OA值比A2S2K-ResNet的高出了0.8％，特别地，提出的DSSIR方法还为小麦类别提供了百分百的预测率。
对于UP数据集和SV数据集来说，如表Ⅳ-Ⅴ所示，所有方法的分类结果均在90％以上。而由于DRCNN使用了多个输入空间窗口，所以在UP和SV数据集上的OA值均高于SVM_RBF、ROhsi和SSAN。A2S2K-ResNet能够自适应的选择3D卷积核来联合提取光谱空间特征，因此其OA值高于SSRN。而与这些方法相比，DSSIR在UP数据集上取得的OA值分别高出了7.82％、3.52％、4.74％、4.96％、1.69％、1.09％；在SV数据集上取得OA值分别高出了8.61％、2.72％、5.07％、4.71％、2.55％、0.99％。特别地，提出的DSSIR方法在UP数据集的草地、彩绘金属板和裸土三个类别上获得了百分百的预测率；在SV数据集上有七个类别取得了百分百的预测率。
如表Ⅵ所示为不同方法在BS数据集上的分类结果，相比于其他三个数据集，BS数据集有最高的空间分辨率，故分类模型对于空间上下文信息的提取也很重要。显然，基于3D-CNN(SSRN、A2S2K-ResNet和DSSIR)方法的分类性能高于其他方法，因为3D-CNN可以实现光谱维和空间维特征的同时提取。而A2S2K-ResNet是直接提取联合光谱空间特征，可能会丢失空间上下文信息，故其OA值低于SSRN。所提出的DSSIR方法利用DIR模块实现光谱空间特征的联合提取，并且利用全局3D注意力模块关注对分类贡献大的光谱空间上下文特征，故取得了最佳分类性能。
表Ⅲ不同方法在IN数据集上的分类结果
/>
表Ⅳ不同方法在UP数据集上的分类结果
/>
表Ⅴ不同方法在SV数据集上的分类结果
表Ⅵ不同方法在BS数据集上的分类结果
/>
图5a、5b、5c、5d、5e、5f、5g、5h、6a、6b、6c、6d、6e、6f、6g、6h、7a、7b、7c、7d、7e、7f、7g、7h、8a、8b、8c、8d、8e、8f、8g、8h展示了七种方法在四种数据集上获得的可视化分类图。可以看出，SVM_RBF、DRCNN、ROhsi、和SSAN的类别之间错误分类的概率较大，其他方法的类间错分率较小，特别是提出的DSSIR方法的类间错分率最小，且类别边界较清晰，与地面真实图最接近，这表明了提出DSSIR方法的有效性。
擦除概率的参数分析
为了验证小空间块下的随机擦除策略的效率，本发明研究了擦除概率p与小于20×20大小的空间块对最终分类精度的影响，并以曲面图的形式展示，如图9a、9b、9c、9d所示。从图中可以看出，在同一patchsize下，OA值随着参数p的增加在0.15时取得最高值，之后p再增加各数据集的OA值反而开始变小。横向观察各图，在参数p相同时，随着patchsize的增加，OA值在patchsize等于9时取得各数据集的最高值。对于图9b、9c、9d来说，当patchsize取15，参数p取最大值时的OA值仅次于patchsize取9，参数p取0.15时的OA值。综上所述，对于HSI数据集来说，取适当大小的空间块(即9×9)和擦除概率(即0.15)，不仅降低计算复杂度，还能提升分类精度。
运行时间比较
除分类精度外，运行时间也是HSI分类任务中的一个重要因素，特别是在实际应用中。表Ⅷ显示了所有算法在四个数据集上的运行时间。与其他的基于深度学习的算法相比，SVM_RBF需要的时间最少。由于DRCNN是使用多个输入空间窗口进行学习，故该方法的运行时间较长。而ROhsi是利用大空间块输入2D-CNN模型进行训练的，因此运行时间比DRCNN长。由于SSAN利用RNN与2D-CNN同时学习光谱空间特征，所以其运行时间仅长于SVM_RBF。对于3D_CNN模型(SSRN、A2S2K-ResNet和DSSIR)来说，虽然由于提出的模型层数较多，DSSIR在IN、SV和BS数据集上比SSRN和A2S2K-ResNet花费的时间略多，但是DSSIR的运行时间均少于DRCNN和ROhsi算法。因此，DSSIR具有适中的计算复杂度，能够用于实际应用场合。
表Ⅷ七种方法在四种数据集上的运行时间(s)
DIR模块密集连接的效率分析
本发明研究了DIR模块的数量在四个数据集上的效率，如表Ⅸ所示。DIR模块作为一个通用模块，将其密集连接起来，模块学习到的联合光谱空间特征能够实现最有效的利用。首先将两个DIR块密集连接，分类精度已经超过了除3D-CNN模型外的其他方法。而在利用三个DIR模块时，提出的DSSIR方法达到了最高分类精度。在此基础上，再添加一个模块后，各数据集的OA值有了明显的下降，此时模型层数最多，复杂度最大，反而会影响特征的有效利用。综上，当使用三个DIR模块时的特征提取最有效，对特征的判别能力最强。
表ⅨDIR模块的数量在四个数据集上的OA(％)
消融实验
为了验证本发明提出的随机擦除策略(Random erasing，RE)与全局3D注意力模块(Global 3D attention，G3D)的性能，表Ⅹ展示了两个模块(策略)在四个数据集上的消融结果。可以看出，RE策略和G3D模块都不使用的情况下，四个数据集的分类精度最低。添加其中任何一种方法，OA值都有提升。由于RE策略增加了可用样本的数量，会比仅添加G3D模块对最终分类性能的影响更大。显然，同时使用两种方法(即提出的DSSIR)获得了最佳OA值，既能够实现数据增强，又考虑了光谱空间全局上下文信息。
表Ⅹ不同模块或策略的消融实验的OA(％)
小样本对比分析
图10a、10b、10c、10d显示了用不同数量的训练样本研究的所有方法。具体来说，从标记样本中随机抽取四个数据集每类中1％、3％、5％、10％的训练样本。从图10a、10b、10c、10d可以看出，所提出的DSSIR方法在所有四个数据集上都获得了最高的分类精度。随着训练比例的增加，所有方法的OA值都有提高，不同模型之间的性能差异也缩小了，但所提方法的OA值仍然是最高的。在1％训练样本时，ROhsi和SVM_RBF与其他基于深度学习的模型相比，没有优势。在5％的训练样本下，ROhsi在UP和SV上的OA值迅速提升超过SVM_RBF。与其他方法相比，提出的DSSIR由于采用了更有效的数据增强策略，以及实现有效特征提取的DIR模块，故在小规模训练样本下表现出更好的分类性能，这也说明了DSSIR在数据集样本数量较小的情况下更有优势。
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
参考文献
[1]J.Pontius,M.Martin,L.Plourde,and R.Hallett,“Ash decline assessmentin emerald ash borer-infested regions:A test of tree-level,hyperspectraltechnologies,”Remote Sens.Environ.,2008,112(5):2665-2676.
[2]R.Ribeiro,G.Cruz,J.Matos,and A.Bernardino,“A data set for airbornemaritime surveillance environments,”IEEE Trans.Circuits Syst.Video Technol.,2019,29(9):2720-2732.
[3]N.Yokoya,J.C.-W.Chan,and K.Segl,“Potential of resolution enhancedhyperspectral data for mineral mapping using simulated EnMAP and Sentinel-2images,”Remote Sens.,2016,8(3):172-189.
[4]E.Honkavaara,M.A.Eskelinen,I.Polonen,H.Saari,H.Ojanen,R.Mannila,C.Holmlund,T.Hakala,P.Litkey,T.Rosnell,N.Viljanen,and M.Pulkkanen,“Remotesensing of 3-d geometry and surface moisture of a peat production area usinghyperspectral frame cameras in visible to short-wave infrared spectral rangesonboard a small unmanned airborne vehicle(UAV),”IEEE Trans.Geosci.RemoteSens.,2016,54(9):5440-5454.
[5]L.Huang,C.Chen,W.Li.and Q.Du,“Remote sensing image sceneclassification using multi-scale completed local binary patterns and fishervectors,”Remote Sensing,vol.8,no.6,p.483,2016.
[6]N.Dalal and B.Triggs,“Histograms of oriented gradients for humandetection,”in 2005 IEEE computer society conference on computer visionandpattern recognition(CVPR),vol.1,pp.886-893,2005.
[7]A.Oliva and A.Torralba,“Modeling the shape of the scene:A holisticrepresentation of the spatial envelope,”International journal of computervision,vol.42,no.3,pp.145-175,2001.
[8]J.Ham,Y.Chen,M.M.Crawford,and J.Ghosh,“Investigation of the randomforest framework for classification of hyperspectral data,”IEEETransactionson Geoscience and Remote Sensing.vol.43，no.3,pp.492-501,2005.
[9]J.Li,J.M.Bioucas-Dias,and A.Plaza,“Semisupervised hyperspectralimage segmentation using multinomial logistic regression withactivelearning,”IEEE Trans.Geosci.Remote Sens.,vol.48,no.11,pp.4085–4098,Nov.2010.
[10]W.Li,C.Chen,H.Su,and Q.Du,“Local binary patterns andextremelearning machine for hyperspectral imagery classification,”IEEETrans.Geosci.Remote Sens.,vol.53,no.7,pp.3681–3693,Jul.2015.
[11]F.Melgani and L.Bruzzone,“Classification of hyperspectralremotesensing images with support vector machines,”IEEE Trans.Geosci.RemoteSens.,vol.42,no.8,pp.1778–1790,Aug.2004.
[12]Y.Chen,Z.Lin,X.Zhao,G.Wang,and Y.Gu,“Deep learning-basedclassificationof hyperspectral data,”IEEE J.Sel.Topics Appl.EarthObserv.Remote Sens.,vol.7,no.6,pp.2094–2107,Jun.2014.
[13]P.Vincent,H.Larochelle,I.Lajoie,Y.Bengio,and P.-A.Manzagol.“Stacked denoisingautoencoders:Learning useful representations in adeepnetwork with a local denoising criterion,”J.Mach.Learn.Res.,vol.11,no.12,pp.3371–3408,Dec.2010.
[14]A.Ng,“Sparse autoencoder,”Lecture Notes CS294A,2011,pp.1–19.
[15]K.Jia,L.Sun,S.Gao,Z.Song,and B.E.Shi,“Laplacian auto-encoders:Anexplicit learning of nonlinear data manifold,”Neurocomputing,vol.160,pp.250–260,Jul.2015.
[16]Y.Chen,X.Zhao,and X.Jia,“Spectral–spatial classification ofhyperspectral data based on deep belief network,”IEEE J.Sel.Topics Appl.EarthObserv.Remote Sens.,vol.8,no.6,pp.2381–2392,Jun.2015.
[17]Y.Zhan et al.,“Semi-supervised classification of hyperspectraldatabased on generative adversarial networks and neighborhood majorityvoting,”in Proc.IEEE Int.Geosci.Remote Sens.Symp.(IGARSS),Jul.2018,pp.5756–5759.
[18]L.Zhu,Y.Chen,P.Ghamisi,and J.A.Benediktsson,“Generativeadversarialnetworks for hyperspectral image classification,”IEEE Trans.Geosci.RemoteSens.,vol.56,no.9,pp.5046–5063,Sep.2018.
[19]L.Mou,P.Ghamisi,and X.X.Zhu,“Deep recurrent neural networksforhyperspectral image classification,”IEEE Trans.Geosci.Remote Sens.,vol.55,no.7,pp.3639–3655,Jul.2017.
[20]H.Zhang,Y.Li,Y.Zhang,and Q.Shen,“Spectral-spatial classificationofhyperspectral imagery using a dual-channel convolutional neuralnetwork,”Remote Sens.Lett.,vol.8,no.5,pp.438–447,May 2017.
[21]S.Hao,W.Wang,Y.Ye,T.Nie,and L.Bruzzone,“Two-stream deeparchitecturefor hyperspectral image classification,”IEEE Trans.Geosci.Remote Sens.,vol.56,no.4,pp.2349–2361,Apr.2018.
[22]J.Feng,J.Chen,L.Liu,X.Cao,X.Zhang,L.Jiao,and T.Yu,“CNN-basedmultilayer spatial-spectral feature fusion and sample augmentation with localand nonlocal constraints for hyperspectral image classification,”IEEEJ.Sel.Topics Appl.Earth Observ.Remote Sens.,vol.12,no.4,pp.1299–1313,Apr.2019.
[23]J.Yang,Y.-Q.Zhao,and J.C.-W.Chan,“Learning and transferring deepjoint spectral-spatial features for hyperspectral classification,”IEEETrans.Geosci.Remote Sens.,vol.55,no.8,pp.4729–4742,Aug.2017.
[24]Y.Chen,H.Jiang,C.Li,X.Jia,and P.Ghamisi,“Deep feature extractionand classification of hyperspectral images based on convolutional neuralnetworks,”IEEE Trans.Geosci.Remote Sens.,vol.54,no.10,pp.6232–6251,Oct.2016.
[25]W.Wang,S.Dou,Z.Jiang,and L.Sun,“A fast dense spectral-spatialconvolutionnetwork framework for hyperspectral images classification,”Remote Sens.,vol.10,no.7,p.1068,2018.
[26]Z.Zhong,J.Li,Z.Luo,and M.Chapman,“Spectral–spatial residualnetworkfor hyperspectral image classification:A 3-D deep learning framework,”IEEETrans.Geosci.Remote Sens.,vol.56,no.2,pp.847–858,Feb.2018.
[27]W.Wang,S.Dou,and S.Wang,“Alternately updated spectral-spatialconvolution network for the classification of hyperspectral images,”Remote Sens.,vol.11,no.15,p.1794,2019.
[28]B.Fang,Y.Li,H.Zhang,and J.Chan,“Hyperspectral images classificationbased on dense convolutional networks with spectral-wise attentionmechanism,”Remote Sens.,vol.11,no.2,p.159,Jan.2019.
[29]J.Hu,L.Shen,and G.Sun,“Squeeze-and-excitation networks,”inProc.IEEE/CVF Conf.Comput.Vis.Pattern Recognit.,Jun.2018,pp.7132–7141.
[30]S.Woo,J.Park,J.-Y.Lee,and I.So Kweon,“CBAM:Convolutionalblockattention module,”in Proc.Eur.Conf.Comput.Vis.(ECCV),2018,pp.3–19.
[31]J.Fu et al.,“Dual attention network for scene segmentation,”inProc.IEEE/CVF Conf.Comput.Vis.Pattern Recognit.(CVPR),Jun.2019,pp.3146–3154.
[32]S.K.Roy,S.R.Dubey,S.Chatterjee,and B.Baran Chaudhuri,“FuSENet:Fused squeeze-and-excitation network for spectral-spatialhyperspectral imageclassification,”IET Image Process.,vol.14,no.8,pp.1653–1661,Jun.2020.
[33]Y.Zhan,D.Hu,Y.Wang,and X.Yu,“Semisupervised hyperspectral imageclassification based on generative adversarial networks,”IEEE Geosci.RemoteSens.Lett.,vol.15,no.2,pp.212–216,Feb.2018.
[34]H.Wu and S.Prasad,“Convolutional recurrent neural networksforhyperspectral data classification,”Remote Sens.,vol.9,no.3,p.298,2017.
[35]W.Li,G.Wu,F.Zhang,and Q.Du,“Hyperspectral image classificationusingdeep pixel-pair features,”IEEE Trans.Geosci.Remote Sens.,vol.55,no.2,pp.844–853,Feb.2017.
[36]W.Li,C.Chen,M.Zhang,H.Li and Q.Du,"Data Augmentation forHyperspectral Image Classification With Deep CNN,"IEEE Geosci.RemoteSens.Lett.,vol.16,no.4,pp.593-597,April 2019.
[37]J.M.Haut,M.E.Paoletti,J.Plaza,A.Plaza,and J.Li,“Hyperspectralimageclassification using random occlusion data augmentation,”IEEEGeosci.RemoteSens.Lett.,vol.16,no.11,pp.1751–1755,Nov.2019.
[38]X.Zhang et al.,"Spectral-Spatial Fractal Residual ConvolutionalNeural Network With Data Balance Augmentation for Hyperspectral Classification,"IEEE Trans.Geosci.Remote Sens.,2021,doi:10.1109/TGRS.2020.3046840.
[39]A.G.Roy,N.Navab,and C.Wachinger,“Concurrent spatial and channel‘squeeze&excitation’in fully convolutional networks,”in MedicalImageComputing and Computer Assisted Intervention.New York,NY,USA:Springer,2018,pp.421–429.
[40]F.Melgani and L.Bruzzone,"Classification of hyperspectral remotesensing images with support vector machines,"IEEE Trans.Geosci.Remote Sens.,vol.42,no.8,pp.1778–1790,Aug.2004.
[41]M.Zhang,W.Li,and Q.Du,“Diverse region-based CNN for hyperspectralimage classification,”IEEE Trans.Image Process.,vol.27,no.6,pp.2623,Jun.2018.
[42]X.Mei et al.,“Spectral-spatial attention networks for hyperspectralimageclassification,”Remote Sens.,vol.11,no.8,p.963,Apr.2019.
[43]S.K.Roy,S.Manna,T.Song and L.Bruzzone,“Attention-Based AdaptiveSpectral-Spatial Kernel ResNet for Hyperspectral Image Classification,”IEEETrans.Geosci.Remote Sens.,2020,doi:10.1109/TGRS.2020.3043267.
Claims (6)
1.基于深度光谱空间倒残差网络的高光谱图像分类方法，其特征在于：所述方法具体过程为：
步骤一、获取高光谱图像其中/>为高为H，宽为W，光谱通道为B的三维高光谱图像立方体，Y是高光谱图像数据中的标签向量；具体过程为：
步骤一一、将进行随机分块，分成若干3D立方体块，把3D立方体块作为新的样本集/>
其中h，w，B分别代表3D立方体块的高度，宽度和光谱维度，h，w被设置为相同的值；
步骤一二、按照一定的比例从新的样本集P中随机抽样得到训练集Xtrain，再按照相同的比例从其余部分中随机抽样得到验证集Xvalid，剩余比例作为测试集Xtest；
步骤二、建立深度光谱空间倒残差DSSIR模型；
步骤三、将训练集Xtrain输入DSSIR模型对DSSIR模型进行训练，得到DSSIR模型的初始参数，经过验证集Xvalid验证不断更新参数，直到获得最优参数；
步骤四、将测试集Xtest输入最优模型得到最终预测结果Y'；
所述建立的深度光谱空间倒残差DSSIR模型；具体过程为：
DSSIR模型分为三个阶段：基于分块随机擦除的数据增强阶段、具有双输入融合和深度倒残差DIR模块的深度特征提取阶段以及分类阶段；
所述具有双输入融合和DIR模块的深度特征提取阶段包括双输入融合部分和DIR密集连接部分；
所述DIR密集连接部分包括第一DIR模块、第二DIR模块和第三DIR模块；
训练集Xtrain输入DSSIR模型的基于分块随机擦除的数据增强阶段，输出结果输入具有双输入融合和DIR模块的深度特征提取阶段中的双输入融合部分；
双输入融合部分的输出作为第一DIR模块的输入，双输入融合部分的输出和第一DIR模块的输出的级联作为第二DIR模块的输入，双输入融合部分的输出、第一DIR模块的输出和第二DIR模块的输出的作为第三DIR模块的输入；
双输入融合部分的输出、第一DIR模块的输出、第二DIR模块的输出、第三DIR模块的输出级联后输入分类阶段进行分类；
所述第一DIR模块、第二DIR模块或第三DIR模块的具体处理过程为：
第一DIR模块、第二DIR模块和第三DIR模块中每个DIR模块包括第三三维卷积层、第三BN层、第三swish激活函数、第一深度可分离三维卷积层、第四BN层、第四swish激活函数、第五三维卷积层、第五BN层、第一drop_connect层、第五swish激活函数和全局3D注意力模块；
特征图输入DIR模块中的第三三维卷积层，第三三维卷积层的输出输入第三BN层，第三BN层的输出输入第三swish激活函数，第三swish激活函数的输出输入第一深度可分离三维卷积层；
第一深度可分离三维卷积层的输出输入第四BN层，第四BN层的输出输入第四swish激活函数，第四swish激活函数的输出输入全局3D注意力模块；
将全局3D注意力模块的输出特征和第四swish激活函数的输出特征相乘得到乘积后的特征，乘积后的特征输入第五三维卷积层，第五三维卷积层的输出输入第五BN层，第五BN层的输出输入第一drop_connect层；
第一drop_connect层的输出特征和双输入融合部分输出的特征图相加得到相加后的特征，相加后的特征输入第五swish激活函数输出特征图，即为DIR模块的输出特征图。
2.根据权利要求1所述基于深度光谱空间倒残差网络的高光谱图像分类方法，其特征在于：所述基于随机擦除的数据增强阶段的具体处理过程为：
a)、对于训练样本集Xtrain，S为原始输入三维立方体的空间维面积，W为此立方体的宽，H为此立方体的高，擦除概率设置为p，随机初始化擦除区域的面积设置为Se，随机初始化的擦除区域的面积Se与输入三维立方体的空间维面积S的比率设置在pl和ph之间，Se的高宽比re设置在r1和r2之间；
其中，pl为比率的下界，ph为比率/>的上界，r1为高宽比re的下界，r2为高宽比re的上界；
随机获得概率p1＝Rand(0,1)，如果满足p1＜p，则执行b)；否则结束；
b)、根据随机得到的擦除区域比例计算得到初始擦除区域Se＝rand(pl,ph)*S；
其中，rand(pl,ph)为随机得到的擦除区域比例，S为原始输入三维立方体的空间维面积；
c)、再根据随机得到的高宽比计算得到擦除区域的长宽：
其中，He为擦除区域的长，We为擦除区域的宽，*为乘法运算，rand(r1,r2)为随机得到的高宽比；
d)、再根据随机得到的高宽值得到擦除的左上角的坐标(xe,ye)；分别加上公式(1)得到的长宽，得到擦除区域的位置坐标(xe+We,ye+He)，即得到变化的三维立方体；
其中，xe＝rand(0,W)，ye＝rand(0,H)；
e)、若所求擦除区域的位置坐标(xe+We,ye+He)超出了原始输入空间S的边界，则重复上述b)-d)过程，继续求擦除区域的位置，否则得到擦除区域的位置坐标(xe+We,ye+He)。
3.根据权利要求2所述基于深度光谱空间倒残差网络的高光谱图像分类方法，其特征在于：所述双输入融合部分的具体处理过程为：
设x∈Xtrain h×h×l为经过随机擦除处理的数据，将x分别经过谱处理f(·)和空间处理g(·)，得到两个特征图融合后作为DIR密集连接部分的输入；
其中，h为数据的空间大小，l为光谱维数；
谱处理f(·)和空间处理g(·)均为三维卷积、BN和swish激活函数的组合函数，获得的特征图为
Mspectral＝f(x)＝σ(BNγ,β[(W1*x+b1)]) (2)
Mspatial＝g(x)＝σ(BNγ,β[(W2*x+b2)]) (3)
其中，Mspectral和Mspatial分别为谱处理和空间处理得到的特征图，σ表示swish激活函数运算，*则表示三维卷积运算，W1、b1为谱处理中三维卷积的权重与偏置，W2、b2为空间处理中三维卷积的权重与偏置，而γ和β则分别代表BN操作的可训练参数；
谱处理中三维卷积的卷积核为1×1×9，卷积核的数量为32，卷积步长为(1,1,2)，填充为(0,0,0)；
空间处理中三维卷积的卷积核为3×3×9，卷积核的数量为32，卷积步长为(1,1,2)，填充为(1,1,0)；
因此获得的两个特征图Mspectral和Mspatial大小和数量均一致；
将得到的两个特征图Mspectral和Mspatial直接进行逐元素加法融合操作，定义为，
其中表示为逐元素求加法操作，Msum代表融合后的特征图。
4.根据权利要求3所述基于深度光谱空间倒残差网络的高光谱图像分类方法，其特征在于：所述第三三维卷积层的卷积核为1×1×1；
第五三维卷积层的卷积核为1×1×1；
第一深度可分离三维卷积层的卷积核为3×3×3。
5.根据权利要求4所述基于深度光谱空间倒残差网络的高光谱图像分类方法，其特征在于：所述每个DIR模块的具体计算过程为：
步骤1：特征图数据输入第三三维卷积层进行升维，升维后的特征图数量为6C，然后将得到的特征图依次进行BN与swish激活得到特征图；
其中，为张量数据类型，h为特征图数据的空间大小，l为特征图数据的光谱维度，C为特征图的数量；
步骤2：对步骤1得到的特征图执行DSC操作，得到的特征图依次进行BN与swish激活操作，得到过滤后的特征图Dl+1；
步骤3：将Dl+1输入全局3D注意力模块进行深度过滤，得到特征图G3D；
步骤4：计算特征的乘积
步骤5：将相乘后的特征图输入第五三维卷积层进行降维，然后依次进行BN与swish激活，得到降维后的特征图/>
步骤6：将输入特征图与降维后的特征图相加，并用swish激活得到输出特征图
输出特征图yl与输入特征图大小和数量均相同，/>
其中，σ为swish函数激活操作。
6.根据权利要求5所述基于深度光谱空间倒残差网络的高光谱图像分类方法，其特征在于：所述全局3D注意力模块的具体计算过程为：
全局3D注意力模块包括3D光谱部分和3D空间部分；
3D光谱部分：
处理过程表示为：
其中，代表两层linear层、ReLU操作以及sigmoid激活操作的组合函数，Fc(U)为光谱注意力图；
3D空间部分：
处理过程表示为：
其中，为一层三维卷积及sigmoid激活操作的组合函数，Fs(U)为空间注意力图；
最后将两个部分得到的特征图逐元素进行比较，保留较大的元素组成新的特征图为最终获得的全局3D注意力图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111290378.6A CN113935433B (zh) | 2021-11-02 | 2021-11-02 | 基于深度光谱空间倒残差网络的高光谱图像分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111290378.6A CN113935433B (zh) | 2021-11-02 | 2021-11-02 | 基于深度光谱空间倒残差网络的高光谱图像分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113935433A CN113935433A (zh) | 2022-01-14 |
| CN113935433B true CN113935433B (zh) | 2024-06-14 |
Family
ID=79285464
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111290378.6A Active CN113935433B (zh) | 2021-11-02 | 2021-11-02 | 基于深度光谱空间倒残差网络的高光谱图像分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113935433B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114758201B (zh) * | 2022-03-24 | 2023-06-23 | 长江三峡技术经济发展有限公司 | 一种高光谱图像分类的视觉转换方法和*** |
| CN116206133B (zh) * | 2023-04-25 | 2023-09-05 | 山东科技大学 | 一种rgb-d显著性目标检测方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110929603A (zh) * | 2019-11-09 | 2020-03-27 | 北京工业大学 | 一种基于轻量级卷积神经网络的天气图像识别方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA3056498A1 (en) * | 2017-03-14 | 2018-09-20 | University Of Manitoba | Structure defect detection using machine learning algorithms |
| WO2021030629A1 (en) * | 2019-08-14 | 2021-02-18 | Genentech, Inc. | Three dimensional object segmentation of medical images localized with object detection |
| CN113486851B (zh) * | 2021-07-28 | 2023-04-18 | 齐齐哈尔大学 | 基于双分支光谱多尺度注意力网络的高光谱图像分类方法 |
-
2021
- 2021-11-02 CN CN202111290378.6A patent/CN113935433B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110929603A (zh) * | 2019-11-09 | 2020-03-27 | 北京工业大学 | 一种基于轻量级卷积神经网络的天气图像识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于三维残差网络和虚拟样本的高光谱图像分类方法研究;刘雪峰;孟月;王浩;付民;;现代电子技术;20200615(第12期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113935433A (zh) | 2022-01-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ding et al. | Semi-supervised locality preserving dense graph neural network with ARMA filters and context-aware learning for hyperspectral image classification | |
| Ahmad et al. | Hyperspectral image classification—Traditional to deep models: A survey for future prospects | |
| Zhang et al. | Spatial sequential recurrent neural network for hyperspectral image classification | |
| Ball et al. | Comprehensive survey of deep learning in remote sensing: theories, tools, and challenges for the community | |
| Othman et al. | Domain adaptation network for cross-scene classification | |
| Wu et al. | ORSIm detector: A novel object detection framework in optical remote sensing imagery using spatial-frequency channel features | |
| Gu et al. | Multiple kernel learning for hyperspectral image classification: A review | |
| Zhang et al. | Change detection based on deep feature representation and mapping transformation for multi-spatial-resolution remote sensing images | |
| Li et al. | Robust capsule network based on maximum correntropy criterion for hyperspectral image classification | |
| Lin et al. | Network in network | |
| Zhou et al. | Image classification using biomimetic pattern recognition with convolutional neural networks features | |
| Shi et al. | 3D multi-resolution wavelet convolutional neural networks for hyperspectral image classification | |
| Yang et al. | Enhanced multiscale feature fusion network for HSI classification | |
| Ortac et al. | Comparative study of hyperspectral image classification by multidimensional Convolutional Neural Network approaches to improve accuracy | |
| CN113935433B (zh) | 基于深度光谱空间倒残差网络的高光谱图像分类方法 | |
| Zhang et al. | Rotation invariant local binary convolution neural networks | |
| Sidike et al. | Progressively Expanded Neural Network (PEN Net) for hyperspectral image classification: A new neural network paradigm for remote sensing image analysis | |
| CN115205590A (zh) | 一种基于互补集成Transformer网络的高光谱图像分类方法 | |
| Lu et al. | RAFnet: Recurrent attention fusion network of hyperspectral and multispectral images | |
| CN115527056A (zh) | 基于双混合卷积生成对抗网络的高光谱图像分类方法 | |
| Qian et al. | Ridgelet-nets with speckle reduction regularization for SAR image scene classification | |
| Fırat et al. | Spatial-spectral classification of hyperspectral remote sensing images using 3D CNN based LeNet-5 architecture | |
| Alhichri et al. | Tile‐Based Semisupervised Classification of Large‐Scale VHR Remote Sensing Images | |
| Uba | Land use and land cover classification using deep learning techniques | |
| Guo et al. | CNN‐combined graph residual network with multilevel feature fusion for hyperspectral image classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |