CN114821164A - 基于孪生网络的高光谱图像分类方法 - Google Patents
基于孪生网络的高光谱图像分类方法 Download PDFInfo
- Publication number
- CN114821164A CN114821164A CN202210385028.6A CN202210385028A CN114821164A CN 114821164 A CN114821164 A CN 114821164A CN 202210385028 A CN202210385028 A CN 202210385028A CN 114821164 A CN114821164 A CN 114821164A
- Authority
- CN
- China
- Prior art keywords
- twin
- network
- convolution
- hyperspectral image
- residual error
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000000605 extraction Methods 0.000 claims abstract description 40
- 238000001228 spectrum Methods 0.000 claims abstract description 24
- 230000004927 fusion Effects 0.000 claims abstract description 21
- 230000007246 mechanism Effects 0.000 claims abstract description 16
- 238000013145 classification model Methods 0.000 claims abstract description 6
- 230000006872 improvement Effects 0.000 claims abstract description 4
- 230000003595 spectral effect Effects 0.000 claims description 30
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 21
- 238000012360 testing method Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 18
- 238000010586 diagram Methods 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000000926 separation method Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000000513 principal component analysis Methods 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000013459 approach Methods 0.000 claims description 2
- 238000005538 encapsulation Methods 0.000 claims description 2
- 238000007477 logistic regression Methods 0.000 claims description 2
- 210000002569 neuron Anatomy 0.000 claims description 2
- 238000004806 packaging method and process Methods 0.000 claims description 2
- 230000009467 reduction Effects 0.000 claims description 2
- 238000013480 data collection Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 15
- 230000001965 increasing effect Effects 0.000 abstract description 4
- 230000002708 enhancing effect Effects 0.000 abstract description 2
- 241001466077 Salina Species 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 239000000126 substance Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012271 agricultural production Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于孪生网络的高光谱图像分类方法，包含三个部分：设计基于空间光谱信息的孪生残差网络分类模型；设计基于多尺度特征融合并行分支的孪生残差特征提取网络；设计基于空间和通道注意力机制的孪生残差特征提取网络；本发明利用多尺度特征融合扩大特征提取网络的感受野，能够捕获像素之间的全局依赖性，同时增加网络的宽度获得更多的非线性特征，进而得到更好的分类效果。利用基于空间和通道注意力的特征提取网络，应用通道注意力、空间注意力模块于高光谱图像光谱、空间信息的特征提取网络上，通过使用注意力机制增强空间或光谱重要特征抑制不必要的特征，在增加少量计算量的情况下获得更明显的性能提升。
Description
技术领域
本发明属于计算机视觉技术领域，具体涉及一种基于孪生网络的高光谱图像分类方法。
背景技术
高光谱图像(Hyperspectral Image，HSI)是由搭载高光谱成像仪的航空航天飞行器采集可见光区域到短红外光区域的光谱而得的三维立体图像，通常图像中的每个像素均含有上百个连续的光谱通道，蕴含丰富的反映地表物体的空间及光谱信息。高光谱遥感与以往遥感技术相比，具有空间和光谱合一的特征，以从可见光到红外甚至热红外的一系列波段，是一种综合性的遥感技术手段。高光谱技术将确定物质或地物物质的光谱与揭示其空间和几何关系的图像结合在了一起，实现了获取地物光谱特征的同时又不失其整体形态及其与周围地物的关系。特别在地面信息较为微弱的情况下，高光谱遥感具有识别微弱信息和定量探测的优势。基于这一特性，高光谱图像可以准确地识别和分类地表物质，多应用于军事目标检测、矿物勘探和农业生产等。
高光谱图像分类(Hyperspectral Image Classification)是利用图像中的影像信息准确识别成像场景中的不同地物，是高光谱数据分析过程中重要的任务之一。不同于自然图像的分类，高光谱图像分类的对象是图像中的每一个像元，依据样本特征为图像中的每个像元赋予类别标签。但高光谱图像数据量大、波段多，波段间相关性强，存在混合像元和样本标注困难等使得图像分类面临较大的挑战，因此高光谱图像分类成为当前遥感领域的研究热点之一。高光谱图像分类有基于数理统计的传统分类方法和基于深度学习的方法。基于深度学习的方法通常需要大量标记样本，而高光谱图像分类可用的标记数据少。
孪生网络(Siamese Network)是一种相似性度量模型，从数据中学习度量，进而利用学习到的度量比较和匹配未知类别的样本。孪生网络的两个孪生分支网络共享一套参数和权重，通过嵌入函数将输入映射到目标空间，使用简单的距离函数进行相似度计算。在训练阶段最小化一对相同类别样本的损失，最大化一对不同类别样本的损失。在测试阶段，使用孪生网络进行计算相似度或距离预测样本类别。因此，可用于类别数多但各类别样本数少的分类任务。孪生卷积神经网络，应用小样本学习的方法，进行高光谱图像分类，能够利用很少的标记样本得到很高的分类精度。
发明内容
本发明为更好地解决光谱数据冗余和小样本下高光谱图像分类问题，提供了一种基于孪生网络的高光谱图像分类方法。孪生网络模型主要包含三个部分：
1)设计基于空间光谱信息的孪生残差网络分类模型
孪生残差网络分类模型以残差网络为主要特征提取网络，构建孪生分支采用空谱分离特征提取进而特征级融合的方式。该模型主要由两个孪生分支组成，每个孪生分支包括一个基于空间信息二维特征提取残差网络和一个基于光谱信息一维特征提取残差网络。将高光谱图像的空间几何信息、光谱信息分别进行处理，先对光谱特征进行提取，再对空间特征进行提取，然后将两种特征进行叠加以形成一个长特征向量，最后将叠加后的特征向量反馈给分类器中，最终得到分类结果。
2)设计基于多尺度特征融合并行分支的孪生残差特征提取网络
根据高光谱图像数据集的数据分布特点合理设计高光谱图像采样像素块尺寸大小，采用多尺度特征融合模块。模块由四个并行分支结构组成，分别是三种不同的卷积核，使用1×1，3×3，5×5这三种卷积核尺寸大小，其中5×5卷积使用两步3×3卷积代替，最后对四个通道进行组合。
3)设计基于空间和通道注意力机制的孪生残差特征提取网络
二维空间信息高层特征提取时使用空间注意力机制，一维光谱信息低层特征提取时使用通道注意力机制。通道注意力模块通过建模各个特征通道的重要程度，然后针对不同的任务增强或者抑制光谱信息的不同的波段。空间注意力模块利用了交替的卷积核相同的卷积层来提取通道内部像素位置之间的注意力信息，获得通道内部不同像素位置之间的相关性与重要程度等信息。
本发明与现有技术相比有益效果如下：构建基于空谱分离的孪生残差网络结构在保留原有光谱特征信息的同时减少空间特征提取的参数量，提高了分类精度。利用多尺度特征融合扩大特征提取网络的感受野，能够捕获像素之间的全局依赖性，同时增加网络的宽度获得更多的非线性特征，进而得到更好的分类效果。利用基于空间和通道注意力的特征提取网络，应用通道注意力、空间注意力模块于高光谱图像光谱、空间信息的特征提取网络上，通过使用注意力机制增强空间或光谱重要特征抑制不必要的特征，在增加少量计算量的情况下获得更明显的性能提升。
附图说明
图1是本发明的孪生残差网络分类模型整体结构图
图2是本发明的多尺度特征融合孪生残差特征提取网络结构图
图3是本发明的多尺度特征融合模块结构图
图4是本发明的注意力机制模块结构图
图5是本发明的基本流程图
图6(a)是Salinas数据集高光谱图像分类效果图
图6(b)是2-DCNN方法Salinas数据集高光谱图像分类效果图
图6(c)是3-DSSRN方法Salinas数据集高光谱图像分类效果图
图6(d)是DSCNN方法Salinas数据集高光谱图像分类效果图
图6(e)是本发明DSSSRN方法下Salinas数据集高光谱图像分类效果图
图7(a)是KSC数据集高光谱图像分类效果图
图7(b)是2-DCNN方法KSC数据集高光谱图像分类效果图
图7(c)是3-DSSRN方法KSC数据集高光谱图像分类效果图
图7(d)是DSCNN方法KSC数据集高光谱图像分类效果图
图7(e)是本发明DSSSRN方法下KSC数据集高光谱图像分类效果图
具体实施方式
如附图5所示，基于孪生网络的高光谱图像分类方法实现可以分为以下四个步骤：高光谱图像数据预处理，构建孪生网络模型，训练孪生网络模型，应用孪生网络模型于高光谱图像分类。为便于理解，结合说明书附图，下面对本发明实施例的具体步骤进行描述。
步骤一、高光谱图像数据预处理
1.数据读取
高光谱图像读取后设置像素邻域图像块大小，比如邻域像素块尺寸PatchSize分别为7×7、27×27。然后，经过PCA主成分分析后再进行EMP扩展形态学剖面，高光谱图像数据降维生成低光谱图像用作空间信息特征提取。
本发明实施例设置PatchSize为27×27，PCA主成分分析设置为4，经EMP扩展形态学剖面后为36。
2.数据采样
对高光谱图像非零像素随机采样，随机选取每类6至8个点作为训练集样本，同时随机选取每类6至8个点作为验证集样本，其余像素点作为测试集样本。
本发明实施例设置数据集每类采样点8个作为训练集样本。
3.样本配对
根据像素点的地物类别标签对训练集样本配对，正负样本对的比例为1：1。同时，对每个样本分别获取中心像素向量和像素邻域图像块，邻域图像块尺寸为超参数，具体设置参照具体数据集。
本发明实施例设置邻域图像块尺寸为27×27。
4.数据封装
对高光谱图像训练集、验证集、测试集分别进行数据集封装和加载。将训练集批处理块尺寸为超参数，具体设置可参照该高光谱数据集地物类别数；验证集和测试集批处理块尺寸则设置为1。
本发明实施例设置训练集批处理块尺寸为16。
步骤二、构建孪生网络模型
1.孪生网络结构
如附图1所示，孪生网络模型由两个相同神经网络结构的孪生分支组成，每个孪生分支包括一个基于空间信息的二维特征提取网络和一个基于光谱信息的一维特征提取网络。该孪生网络模型以残差网络为主要特征提取网络，采用空谱分离特征提取后特征级融合的方式。
2.孪生分支网络结构
如附图2所示，孪生分支网络以轻量卷积神经网络模型为残差网络的基础框架，并引入多尺度特征融合模块和注意力机制模块进行改进。孪生分支网络主要由这几类层构成：输入层(Input)，卷积层(Conv)，池化(Pooling)层和全连接层(FullConnection)，通过将这些层叠加起来构建一个完整的残差网络。如附图3所示，残差网络由第一个卷积层和3个残差块组成，每个残差块均使用多尺度特征融合的方式。如附图4所示，在多尺度特征融合模块之前，使用注意力机制进行权重分配，增强空间光谱重要特征抑制不必要的特征。
3.卷积层
基于空间信息特征提取的二维残差网络高光谱图像输入为27×27×36。第一个卷积层使用4×4大小的卷积核，卷积核个数为32，步长stride＝1，边缘填充padding＝0。即第一个卷积层由32个特征图(FeatureMap)构成，特征图中每个神经元与输入中4×4的邻域相连，输出得到的特征图大小为24×24×32。第一个卷积层有640个可训练参数(每个卷积核4×4＝16个unit参数和一个bias参数，一共32个卷积核，共(4×4+1)×32＝544个参数)，共(27×27)×544＝396576个连接。然后进行批标准化和ReLU激活，加快收敛速度。
第一个卷积层后是连续3个残差块，残差块卷积核个数为32，32，64。每个残差块分别使用1×1，3×3，5×5这三种卷积核尺寸大小，其中5×5卷积使用两步3×3卷积代替以减少参数计算量。设定卷积步长stride＝1之后，只要分别设定padding＝0、1、2，采用边缘填充可以得到相同维度的特征，三种尺度特征提取融合进行批标准化和ReLU激活后拼接在一起。然后将上一个残差块的输入相加，再进行ReLU激活得到新的特征图。第1个残差块卷积层得到32个特征图，再进行下一个多尺度残差块卷积。第2个残差块卷积层得到32个特征图，继续进行下一个多尺度残差块卷积。第3个残差块卷积层得到64个特征图，再进行下一个多尺度残差块卷积得到1×1×64的特征图。
基于光谱信息特征提取的一维残差网络结构与二维残差网络结构类似，其中一维残差网络使用一维卷积，且每层卷积核个数分别为16，16，16，32。一维残差网络的高光谱图像输入为1×bands，其中bands为数据集光谱波段数，例如KSC数据集bands＝176。
4.池化层
池化层使用2×2大小的过滤器，步长stride＝2，边缘填充padding＝0。即池化层特征图中的每个单元与最后一个卷积层中相对应特征图的2×2邻域相连接，有64个2×2的特征图，输出得到的特征图大小为1×1×64，没有需要学习的参数。
5.全连接层
如同全卷积神经网络，本发明未使用全连接层来计算输入向量和权重向量之间的点积，而是全部用卷积层连接。
步骤三、训练孪生网络模型
1.前向传播
本发明构建的孪生网络模型有两个孪生分支，输入为一组样本对，每个样本由一个中心像素向量和一个相应的邻域像素块组成。首先对高光谱图像数据预处理，通过随机采样并样本配对后形成比例均衡的正负输入样本对。训练集样本数为高光谱图像数据集每类6至8个样本。接着，样本对的两个输入分别进入两个孪生分支进行空间、光谱特征提取。孪生分支采用二维卷积神经网络进行空间信息特征提取，一维卷积神经网络进行光谱信息特征提取，在分别特征提取之后再进行空间光谱信息特征级融合。在空间光谱信息特征级融合后，通过L1距离函数逻辑回归计算输出，公式如下。
式中d1是孪生分支网络的输出，I1和I2是输入样本对。
2.损失函数
构建模型后，训练孪生网络时，采用二分类交叉熵损失函数(BCELoss)计算二元分类器的误差，公式如下。
式中N是样本总数，yi是第i个样本所属的类别，pi是第i个样本的类别预测值，在这里它是一个概率值。损失函数能使输出向量足够接近期望分类结果，这是基于实际不相似但网络认为是相当相似的来优化网络。
3.优化器
随机梯度下降算法(StochasticGradientDescent，SGD)每次选择一个mini-batch，而不是全部样本，使用梯度下降来更新模型参数。参数更新步骤如下：计算目标函数关于当前参数的梯度，计算当前时刻的下降梯度，根据下降梯度进行更新参数。设定待优化参数为ω，目标函数为f(x)，初始学习率为α，迭代期数为epoch，其中gt是当前参数的梯度。参数更新公式如下：
Wt+1＝Wt-α·gt 式(3)
孪生网络模型使用梯度下降进行优化，批处理大小BatchSize设为类别数，迭代期数epoch设为200，学习率α初始化为0.001，后续学习率将会随着epoch的变化而自动调整。优化器指引损失函数(目标函数)的各个参数往正确的方向更新合适的大小，使得更新后的各个参数让损失函数值不断逼近全局最小。
步骤四、应用孪生网络模型进行高光谱图像分类
在测试阶段，测试样本与每个可能的已知标签样本构成一组样本对，孪生网络模型通过计算并比较样本对相似度大小来确定预测样本的类别标签，相似度通过距离计算公式得到。
下面简要描述实验配置以及分析，通过实验结果比较分析实际分类效果得到了提高。
1.实验条件
本发明的硬件测试平台为处理器Intel(R)Core(TM)i7-10700FCPU，主频为2.90Hz，内存为16GB，显卡为NvidiaGeForceGTX3060。软件平台为Windows10操作***，开发环境为PyCharm2021。编程语言为Python，深度学习网络架构为Pytorch。
2.实验数据
本发明的性能评价主要用到两个数据集：美国Salinas山谷数据集和美国KSC佛罗里达州肯尼迪数据集。
美国Salinas山谷数据集大小为512217，有204个可用波段，共包含111104个像素点，其中有56975个像素点是背景像素，可应用于分类的像素点有54129个，这些像素点总共分为16类。每类取8个样本点共取128个像素点作为训练集，128个像素点作为验证集，54001个像素点作为测试集。表1是本发明对美国Salinas山谷数据集的训练与测试样本的选取。注：下表所列测试数据包括验证集与测试集。
表1
美国KSC佛罗里达州肯尼迪数据集有176个可用波段，共包含314368个像素点，其中有309157个像素点是背景像素，可应用于分类的像素点有5211个，这些像素点总共分为13类。每类取8个样本点共取104个像素点作为训练集，104个像素点作为验证集，5107个像素点作为测试集。表2是本发明对美国KSC佛罗里达州肯尼迪数据集的训练与测试样本的选取。注：下表所列测试数据包括验证集与测试集。
表2
3.性能比较
本发明用到的三个现有技术对比分类的方法如下：
(1)Camps-Valls等人在“Composite kernels for hyperspectral imageclassification”提出的基于空谱联合的二维卷积神经网络高光谱图像分类方法，简称2-DCNN方法。
(2)Zilong Zhong等人在“Spectral–Spatial Residual Network forHyperspectral Image Classification:A 3-D Deep Learning Framework”提出的基于空谱联合的三维卷积神经网络高光谱图像分类方法，简称3-DSSRN方法。
(3)Lingbo Huang等人在“Dual-Path Siamese CNN for Hyperspectral ImageClassification With Limited Training Samples”提出了基于空谱分离的双路径孪生网络，简称DSCNN方法。
在实验中，采用以下三个指标来评价本发明的性能：
第一个评价指标是总体精度(OA),表示正确分类的样本占所有样本的比例，值越大，说明分类效果越好。第二个评价指标是平均精度(AA)，表示每一类分类精度的平均值，值越大，说明分类效果越好。第三个评价指标是卡方系数(Kappa)，表示混淆矩阵中不同的权值，值越大，说明分类效果越好。
表3是本发明以及另外三种方法对美国Salinas数据集高光谱图像分类的准确率。
表3
表4是本发明对美国KSC佛罗里达州肯尼迪高光谱图像分类的准确率以及对比。
表4
从表3和表4可以看出，对于相同的高光谱图像数据集，本发明提出的分类方法，其分类精度要优于其他分类方法。另外图6、图7展示了各个分类方法的分类图，其可视化的分类效果图与表3和表4所列出的结果相同。从图像可以看出，在小样本学习时，本发明实现的分类图误差较小，更优于2-D CNN、3-D SSRN、DSCNN分类方法。
综上所述，本发明为了更好地解决光谱数据冗余和小样本下高光谱图像分类问题，提出了一种基于孪生网络的高光谱图像分类方法。构建基于空间光谱信息的孪生残差网络结构，空谱分离特征提取网络结构在保留原有光谱特征信息的同时减少空间特征提取的参数量，从而提高了分类精度和速度。采用基于多尺度特征融合并行分支的特征提取网络，通过扩大特征提取网络的感受野和增加网络的宽度。采用基于空间和通道注意机制的特征提取网络，通过使用注意力机制增强空间光谱重要特征抑制不必要的特征，从而提高了分类精度。通过真实实验数据分析，本发明所提出的方法能够有效实现小样本情况下高光谱图像分类，且分类精度更优于同类其他网络。
Claims (2)
1.基于孪生网络的高光谱图像分类方法，其特征在于：分为以下四个步骤：高光谱图像数据预处理，构建孪生网络模型，训练孪生网络模型，应用孪生网络模型于高光谱图像分类。
步骤一、高光谱图像数据预处理；
1)数据读取；
高光谱图像读取后设置像素邻域图像块大小，经过PCA主成分分析后再进行EMP扩展形态学剖面，高光谱图像数据降维生成低光谱图像用作空间信息特征提取。
2)数据采样；
对高光谱图像非零像素随机采样，随机选取每类6至8个点作为训练集样本，同时随机选取每类6至8个点作为验证集样本，其余像素点作为测试集样本。
3)样本配对；
根据像素点的地物类别标签对训练集样本配对，正负样本对的比例为1：1。对每个样本分别获取中心像素向量和像素邻域图像块，邻域图像块尺寸为超参数。
4)数据封装；
对高光谱图像训练集、验证集、测试集分别进行数据集封装和加载。将训练集批处理块尺寸为超参数，具体设置参照该高光谱数据集地物类别数。
步骤二、构建孪生网络模型；
1)孪生网络结构；
孪生网络模型由两个相同神经网络结构的孪生分支组成，每个孪生分支包括一个基于空间信息的二维特征提取网络和一个基于光谱信息的一维特征提取网络。该孪生网络模型以残差网络为特征提取网络，采用空谱分离特征提取后特征级融合的方式。
2)孪生分支网络结构；
孪生分支网络以轻量卷积神经网络模型为残差网络的基础框架，并引入多尺度特征融合模块和注意力机制模块进行改进。孪生分支网络由这几类层构成：输入层(Input)，卷积层(Conv)，池化(Pooling)层和全连接层(Full Connection)，通过将这些层叠加起来构建一个完整的残差网络。残差网络由第一个卷积层和3个残差块组成，每个残差块均使用多尺度特征融合的方式。在多尺度特征融合模块之前，使用注意力机制进行权重分配，增强空间光谱重要特征抑制不必要的特征。
3)卷积层；
基于空间信息特征提取的二维残差网络高光谱图像输入为27×27×36。第一个卷积层使用4×4大小的卷积核，卷积核个数为32，步长stride＝1，边缘填充padding＝0。即第一个卷积层由32个特征图构成，特征图中每个神经元与输入中4×4的邻域相连，输出得到的特征图大小为24×24×32。第一个卷积层有640个可训练参数。然后进行批标准化和ReLU激活，加快收敛速度。
第一个卷积层后是连续3个残差块，残差块卷积核个数为32，32，64。每个残差块分别使用1×1，3×3，5×5这三种卷积核尺寸大小，其中5×5卷积使用两步3×3卷积代替以减少参数计算量。设定卷积步长stride＝1之后，只要分别设定padding＝0、1、2，采用边缘填充得到相同维度的特征，三种尺度特征提取融合进行批标准化和ReLU激活后拼接在一起。然后将上一个残差块的输入相加，再进行ReLU激活得到新的特征图。第1个残差块卷积层得到32个特征图，再进行下一个多尺度残差块卷积。第2个残差块卷积层得到32个特征图，继续进行下一个多尺度残差块卷积。第3个残差块卷积层得到64个特征图，再进行下一个多尺度残差块卷积得到1×1×64的特征图。
基于光谱信息特征提取的一维残差网络结构与二维残差网络结构类似，其中一维残差网络使用一维卷积，且每层卷积核个数分别为16，16，16，32。一维残差网络的高光谱图像输入为1×bands，其中bands为数据集光谱波段数。
4)池化层
池化层使用2×2大小的过滤器，步长stride＝2，边缘填充padding＝0。即池化层特征图中的每个单元与最后一个卷积层中相对应特征图的2×2邻域相连接，有64个2×2的特征图，输出得到的特征图大小为1×1×64，没有需要学习的参数。
5)全连接层；
未使用全连接层来计算输入向量和权重向量之间的点积，而是全部用卷积层连接。
步骤三、训练孪生网络模型；
1)前向传播；
构建的孪生网络模型有两个孪生分支，输入为一组样本对，每个样本由一个中心像素向量和一个相应的邻域像素块组成。首先对高光谱图像数据预处理，通过随机采样并样本配对后形成比例均衡的正负输入样本对。训练集样本数为高光谱图像数据集每类6至8个样本。样本对的两个输入分别进入两个孪生分支进行空间、光谱特征提取。孪生分支采用二维卷积神经网络进行空间信息特征提取，一维卷积神经网络进行光谱信息特征提取，在分别特征提取之后再进行空间光谱信息特征级融合。在空间光谱信息特征级融合后，通过L1距离函数逻辑回归计算输出，公式如下。
式中d1是孪生分支网络的输出，I1和I2是输入样本对。
2.损失函数
构建模型后，训练孪生网络时，采用二分类交叉熵损失函数(BCE Loss)计算二元分类器的误差，公式如下。
式中N是样本总数，yi是第i个样本所属的类别，pi是第i个样本的类别预测值。
3.优化器
使用随机梯度下降算法更新模型参数。参数更新步骤如下：计算目标函数关于当前参数的梯度，计算当前时刻的下降梯度，根据下降梯度进行更新参数。设定待优化参数为ω，目标函数为f(x)，初始学习率为α，迭代期数为epoch，其中gt是当前参数的梯度。参数更新公式如下：
Wt+1＝Wt-α·gt 式(3)
孪生网络模型使用梯度下降进行优化，批处理大小BatchSize设为类别数。优化器指引损失函数的各个参数往正确的方向更新合适的大小，使得更新后的各个参数让损失函数值不断逼近全局最小。
步骤四、应用孪生网络模型进行高光谱图像分类；
在测试阶段，测试样本与每个可能的已知标签样本构成一组样本对，孪生网络模型通过计算并比较样本对相似度大小来确定预测样本的类别标签，相似度通过距离计算公式得到。
2.根据权利要求1所述的基于孪生网络的高光谱图像分类方法，其特征在于：孪生网络模型包含以下三个部分：
1)设计基于空间光谱信息的孪生残差网络分类模型；
孪生残差网络分类模型以残差网络为主要特征提取网络，构建孪生分支采用空谱分离特征提取进而特征级融合的方式。该模型主要由两个孪生分支组成，每个孪生分支包括一个基于空间信息二维特征提取残差网络和一个基于光谱信息一维特征提取残差网络。将高光谱图像的空间几何信息、光谱信息分别进行处理，先对光谱特征进行提取，再对空间特征进行提取，然后将两种特征进行叠加以形成一个长特征向量，最后将叠加后的特征向量反馈给分类器中，最终得到分类结果。
2)设计基于多尺度特征融合并行分支的孪生残差特征提取网络；
根据高光谱图像数据集的数据分布特点合理设计高光谱图像采样像素块尺寸大小，采用多尺度特征融合模块。模块由四个并行分支结构组成，分别是三种不同的卷积核，使用1×1，3×3，5×5这三种卷积核尺寸大小，其中5×5卷积使用两步3×3卷积代替，最后对四个通道进行组合。
3)设计基于空间和通道注意力机制的孪生残差特征提取网络；
二维空间信息高层特征提取时使用空间注意力机制，一维光谱信息低层特征提取时使用通道注意力机制。通道注意力模块通过建模各个特征通道的重要程度，然后针对不同的任务增强或者抑制光谱信息的不同的波段。空间注意力模块利用了交替的卷积核相同的卷积层来提取通道内部像素位置之间的注意力信息，获得通道内部不同像素位置之间的相关性与重要程度信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210385028.6A CN114821164B (zh) | 2022-04-13 | 2022-04-13 | 基于孪生网络的高光谱图像分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210385028.6A CN114821164B (zh) | 2022-04-13 | 2022-04-13 | 基于孪生网络的高光谱图像分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114821164A true CN114821164A (zh) | 2022-07-29 |
| CN114821164B CN114821164B (zh) | 2024-06-14 |
Family
ID=82535611
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210385028.6A Active CN114821164B (zh) | 2022-04-13 | 2022-04-13 | 基于孪生网络的高光谱图像分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114821164B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115272776A (zh) * | 2022-09-26 | 2022-11-01 | 山东锋士信息技术有限公司 | 基于双路卷积与双注意的高光谱图像分类方法及存储介质 |
| CN116595208A (zh) * | 2023-07-17 | 2023-08-15 | 云南大学 | 高光谱图像的分类方法、装置及电子设备 |
| CN116612334A (zh) * | 2023-07-18 | 2023-08-18 | 山东科技大学 | 一种基于空谱联合注意力机制的医学高光谱图像分类方法 |
| CN116662593A (zh) * | 2023-07-21 | 2023-08-29 | 湖南大学 | 一种基于fpga的全流水线医药高光谱图像神经网络分类方法 |
| CN116934796A (zh) * | 2023-07-20 | 2023-10-24 | 河南大学 | 基于孪生残差注意力聚合网络的视觉目标跟踪方法 |
| CN116977747A (zh) * | 2023-08-28 | 2023-10-31 | 中国地质大学（北京） | 基于多路多尺度特征孪生网络的小样本高光谱分类方法 |
| CN117076985A (zh) * | 2023-08-14 | 2023-11-17 | 上海如海光电科技有限公司 | 一种融合自编码器的孪生网络对铁矿石libs数据的分类识别方法 |
| CN117876699A (zh) * | 2024-03-13 | 2024-04-12 | 中国人民解放***箭军工程大学 | 一种基于孪生神经网络的仿真图像逼真度评估方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111353463A (zh) * | 2020-03-12 | 2020-06-30 | 北京工业大学 | 基于随机深度残差网络的高光谱图像分类方法 |
| CN112836773A (zh) * | 2021-04-08 | 2021-05-25 | 河海大学 | 一种基于全局注意力残差网络的高光谱图像分类方法 |
| CN113705526A (zh) * | 2021-09-07 | 2021-11-26 | 安徽大学 | 一种高光谱遥感影像分类方法 |
-
2022
- 2022-04-13 CN CN202210385028.6A patent/CN114821164B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111353463A (zh) * | 2020-03-12 | 2020-06-30 | 北京工业大学 | 基于随机深度残差网络的高光谱图像分类方法 |
| CN112836773A (zh) * | 2021-04-08 | 2021-05-25 | 河海大学 | 一种基于全局注意力残差网络的高光谱图像分类方法 |
| CN113705526A (zh) * | 2021-09-07 | 2021-11-26 | 安徽大学 | 一种高光谱遥感影像分类方法 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115272776A (zh) * | 2022-09-26 | 2022-11-01 | 山东锋士信息技术有限公司 | 基于双路卷积与双注意的高光谱图像分类方法及存储介质 |
| CN116595208A (zh) * | 2023-07-17 | 2023-08-15 | 云南大学 | 高光谱图像的分类方法、装置及电子设备 |
| CN116595208B (zh) * | 2023-07-17 | 2023-10-13 | 云南大学 | 高光谱图像的分类方法、装置及电子设备 |
| CN116612334A (zh) * | 2023-07-18 | 2023-08-18 | 山东科技大学 | 一种基于空谱联合注意力机制的医学高光谱图像分类方法 |
| CN116612334B (zh) * | 2023-07-18 | 2023-10-10 | 山东科技大学 | 一种基于空谱联合注意力机制的医学高光谱图像分类方法 |
| CN116934796A (zh) * | 2023-07-20 | 2023-10-24 | 河南大学 | 基于孪生残差注意力聚合网络的视觉目标跟踪方法 |
| CN116662593A (zh) * | 2023-07-21 | 2023-08-29 | 湖南大学 | 一种基于fpga的全流水线医药高光谱图像神经网络分类方法 |
| CN116662593B (zh) * | 2023-07-21 | 2023-10-27 | 湖南大学 | 一种基于fpga的全流水线医药高光谱图像神经网络分类方法 |
| CN117076985A (zh) * | 2023-08-14 | 2023-11-17 | 上海如海光电科技有限公司 | 一种融合自编码器的孪生网络对铁矿石libs数据的分类识别方法 |
| CN116977747A (zh) * | 2023-08-28 | 2023-10-31 | 中国地质大学（北京） | 基于多路多尺度特征孪生网络的小样本高光谱分类方法 |
| CN116977747B (zh) * | 2023-08-28 | 2024-01-23 | 中国地质大学（北京） | 基于多路多尺度特征孪生网络的小样本高光谱分类方法 |
| CN117876699A (zh) * | 2024-03-13 | 2024-04-12 | 中国人民解放***箭军工程大学 | 一种基于孪生神经网络的仿真图像逼真度评估方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114821164B (zh) | 2024-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ghaderizadeh et al. | Hyperspectral image classification using a hybrid 3D-2D convolutional neural networks | |
| CN114821164B (zh) | 基于孪生网络的高光谱图像分类方法 | |
| Sun et al. | Spectral–spatial feature tokenization transformer for hyperspectral image classification | |
| CN110135267B (zh) | 一种大场景sar图像细微目标检测方法 | |
| Feng et al. | Convolutional neural network based on bandwise-independent convolution and hard thresholding for hyperspectral band selection | |
| CN113486851B (zh) | 基于双分支光谱多尺度注意力网络的高光谱图像分类方法 | |
| CN113221641B (zh) | 基于生成对抗网络和注意力机制的视频行人重识别方法 | |
| Yang et al. | Dual-channel densenet for hyperspectral image classification | |
| CN110084159A (zh) | 基于联合多级空谱信息cnn的高光谱图像分类方法 | |
| CN110717553A (zh) | 一种基于自衰减权重和多局部约束的交通违禁品识别方法 | |
| CN112633386A (zh) | 基于sacvaegan的高光谱图像分类方法 | |
| CN113139512B (zh) | 基于残差和注意力的深度网络高光谱影像分类方法 | |
| CN112580480B (zh) | 一种高光谱遥感影像分类方法及装置 | |
| Ge et al. | Adaptive hash attention and lower triangular network for hyperspectral image classification | |
| Pan et al. | Spectral-spatial classification of hyperspectral image based on a joint attention network | |
| CN117237733A (zh) | 一种结合自监督和弱监督学习的乳腺癌全切片图像分类方法 | |
| Viel et al. | Hyperspectral image classification: An analysis employing CNN, LSTM, transformer, and attention mechanism | |
| Thirumaladevi et al. | Remote sensing image scene classification by transfer learning to augment the accuracy | |
| CN116740418A (zh) | 一种基于图重构网络的目标检测方法 | |
| CN111008652A (zh) | 一种基于gan的高光谱遥感影像分类方法 | |
| CN116977723A (zh) | 基于空间-光谱混合自注意力机制的高光谱图像分类方法 | |
| Yaman et al. | Image processing and machine learning‐based classification method for hyperspectral images | |
| CN114998725B (zh) | 基于自适应空谱注意力核生成网络的高光谱图像分类方法 | |
| CN116580252A (zh) | 基于多尺度密集连接和特征聚合网络的高光谱图像分类方法 | |
| Sari et al. | The Effect of Batch Size and Epoch on Performance of ShuffleNet-CNN Architecture for Vegetation Density Classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |