CN114155443A - 一种基于多感受野图注意力网络的高光谱图像分类方法 - Google Patents

一种基于多感受野图注意力网络的高光谱图像分类方法 Download PDF

Info

Publication number
CN114155443A
CN114155443A CN202111153710.4A CN202111153710A CN114155443A CN 114155443 A CN114155443 A CN 114155443A CN 202111153710 A CN202111153710 A CN 202111153710A CN 114155443 A CN114155443 A CN 114155443A
Authority
CN
China
Prior art keywords
attention
node
features
receptive
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111153710.4A
Other languages
English (en)
Inventor
丁遥
张志利
赵晓枫
蔡伟
阳能军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rocket Force University of Engineering of PLA
Original Assignee
Rocket Force University of Engineering of PLA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rocket Force University of Engineering of PLA filed Critical Rocket Force University of Engineering of PLA
Priority to CN202111153710.4A priority Critical patent/CN114155443A/zh
Publication of CN114155443A publication Critical patent/CN114155443A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种多感受野图注意力网络的高光谱图像分类方法。通过使用无监督主成分分析方法和简单线性迭代聚类，将原始高光谱图像准确地划分为自适应局部区域；采用双层卷积神经网络提取像素的光谱特征减少需要计算的节点数，抑制原始高光谱图像噪声；构造基于超像素立方体的多感受野图；利用多特征注意力模块提取局部节点特征和边特征并采用图形注意网络学习两个特征的重要系数；利用特征融合注意力模块融合各感受野节点‑边特征，给出了分类节点的特征,最后利用交叉熵损失对图像特征进行解释得到每个像素的标签，使高光谱图像正确分类。与现有技术相比，能够自动提取高光谱特征并完成分类，分类正确率达到93％以上。

Description

一种基于多感受野图注意力网络的高光谱图像分类方法
技术领域
本发明涉及地理遥感技术领域，具体是涉及一种多感受野图注意力网络的高光谱图 像分类方法。
背景技术
高光谱图像(HSI)是由配备高光谱成像仪的航天飞行器拍摄的三维图像。图像中的每个像素包含数百个不同波段的反射信息，这使其适用于许多实际应用，例如军事目 标检测、矿产勘探和农业生产。高光谱图像分类的目标是根据样本特征将图像中的每个 像素分类到一个特定的标签中，并且这些像素可以用不同的图像颜色来表示。近年来， 高光谱图像分类日益成为研究热点。然而，标签缺乏、数据维度高、光谱相似性和像素 混合等给高光谱图像分类带来了巨大挑战。
在早期阶段，各种机器学习分类方法被应用于HSI分类，如支持向量机(SVM)、k-最近邻(KNN)、朴素贝叶斯、决策树和极端学习机(ELM)。值得一提的是，SVM是 最具代表性和最有效的机器学习分类方法之一。随着支持向量机方法的发展，采用了一 些核变换技术的支持向量机方法，如多核学习和核支持向量机(KSVM)，得到了广泛应 用。同时，基于稀疏表示的分类器(SRC)也已经引起了越来越多的关注，并提出了大 量基于SRC分类器的算法。然而，上述方法都是基于HSI的光谱特征，没有考虑HSI的 空间信息，分类性能并不理想。为了充分利用空间信息，还研究了一些基于光谱-空间信 息的分类器，如超像素分割、形态学分割和图构造。然而，传统的机器学习分类方法严 重依赖专业知识，无法从HSI中学习深层特征，例如由L.Fang,S.Li,X.Kang,and J.A. Benediktsson发表的“Spectral–spatialclassification of hyperspectral images with a superpixel-based discriminativesparse model,”IEEE Trans.Geosci.Remote Sens.,vol.53,no.8, pp.4186–4201,Aug.2015)一文中所披露的信息。
随着深度学习的发展和人工智能(AI)的进步，深度学习方法已广泛应用于自然语言处理、计算机视觉和智能决策等领域。受深度学习成功应用的启发，许多深度学习分 类器已被开发用于HSI分类，并取得了优异的性能，例如，堆叠式自动编码器(SAEs)、 递归神经网络(RNN)和卷积神经网络(CNN)。与机器学习方法相比，深度学习分类 器能够自动学习HSI的深层复杂特征。在上述深度学习方法中，CNN显示出了光明的前 景并得到了广泛的应用。此外，随着深度学习的发展，各种基于CNN的方法被提出，从 一维CNN到三维CNN，从单一CNN到混合CNN，从浅CNN到深CNN。然而，早期 的CNN方法只能学习局部空间信息，不能提取HSI的深层空间-光谱特征，例如由J. Feng et al发表的“CNN-based multilayerspatial–spectral feature fusion and sample augmentation with local andnonlocal constraints for hyperspectral image classification,”IEEEJ.Sel.Topics Appl.Earth Observ.Remote Sens.,vol.12,no.4,pp.1299–1313,Apr.2019.一文 中，披露了这样的信息。为了克服这些缺陷，不同形式的CNN方法开始涌现。最近，探 索了一些先进的CNN技术，如光谱空间注意网络和动态卷积核，以改进基于CNN的方 法。但是CNN需要大量的训练标签来训练网络，这与HSI中的标签不足相矛盾且这些 先进的CNN深度学习模型是针对欧几里德数据设计的，相邻土地覆盖之间的内在相关性 往往被忽略，使得上述方法无法学习标记和未标记数据之间的关系，例如由Z.Gong,P. Zhong,Y.Yu,W.Hu,and S.Li发表的“A CNN with multiscale convolution and diversifiedmetric for hyperspectral image classification,”IEEE Trans.Geosci.RemoteSens.,vol.57,no.6, pp.3599–3618,Jun.2019.一文中所披露的内容。
因此不管是传统机器学习方法还是深度学习中的卷积神经网络在高光谱分类中都面 临一定的局限性。
发明内容
为了克服传统机器学习方法和深度学习方法中卷积神经网络在高光谱分类中都面临 局限性问题，本发明的目的在于，提供一种新的多尺度感受野图注意神经网络的高光谱 图像分类方法。
现将本发明构思及技术解决方案叙述如下：
本发明基本构思是，在卷积神经网络中，采用超像素分割算法来细化原始HSI的局部空间特征，提供两层一维CNN来提取超像素和可自动学习的光谱特征，在图注意力网 络(GAT)中引入图的边和学习图的局部语义特征，提供多尺度感受野GAT，用于提取 局部-全局相邻节点特征和边特征，最后利用图形注意网络和softMax函数进行多接收特 征融合和像素标签预测。
本发明一种图结构与卷积神经网络相结合的高光谱图像多尺度分类方法的技术解决 方案，具有超像素立方体构造多感受野图和卷积神经网络，其特征在于：通过使用无监 督主成分分析(PCA)方法和简单线性迭代聚类(SLIC)，将原始HSI准确地划分为自 适应局部区域(superpixel)；采用双层1D CNN提取像素的光谱特征减少需要计算的节 点数，抑制原始HSI的噪声；构造基于超像素立方体的多感受野图；利用多特征注意力 模块提取局部节点特征和边特征并采用图形注意网络学习两个特征的重要系数；利用特 征融合注意力模块融合各感受野节点-边特征，给出了分类节点的特征。最后，利用交叉 熵损失对图像特征进行解释，得到每个像素的标签，具体包括如下步骤：
步骤1：构建光谱空间转换模块
给定HSI立方体IB＝{x1,x2,…,xm}，包含
Figure BDA0003287895020000031
个像素，B个波段，其中
Figure BDA0003287895020000032
H分别表示高光谱图像空间宽度和高度；为提高计算效率，利用主成分分析方法(PCA) 进行降维，并选择第一主分量生成降维图像
Figure BDA0003287895020000033
具有m个像素和b个波段， 其中b＜＜B、r表示降维；然后采用SLIC将像素划分为超像素，局部超像素HSI可以用 数学表达式表示为：
Figure BDA0003287895020000034
其中
Figure BDA0003287895020000035
表示包含ni个像素的超像素，
Figure BDA0003287895020000036
K是超像素的总数；超级像素中的像素具有很强的光谱空间相关性；在本发明方法中，将超像素作为图的节点；通 过控制超像素数K，可以控制图的规模，降低算法的计算复杂度；
步骤2：构建频域转换模块：
步骤2.1：为了为所提出的方法提取鉴别性和鲁棒性的光谱特征，提供一种光谱变换 器，其框架如图1所示；采用两层1×1CNN核来提取每个频带中单个像素的光谱值，并 且在所提出的方法中，空间位置p0处像素的光谱特征向量可以写成：
Figure BDA0003287895020000037
其中，p0＝(x,y)是像素在HSI中的空间位置，Xi(p0)表示像素在第i光谱中的空间位置p0处的光谱值；
步骤2.2：在第b频谱段l卷积层的输出特性
Figure BDA0003287895020000038
为
Figure BDA0003287895020000039
其中
Figure BDA00032878950200000310
和
Figure BDA00032878950200000311
分别是可训练权重(1×1卷积核)和偏差，σ(·)为激活功能，即ReLU；
步骤2.3：为了显示像素和超级像素之间的对应关系，构建了关联矩阵
Figure BDA00032878950200000312
具体而言，M可以计算为
Figure BDA0003287895020000041
其中xi是IB的第i个像素，“展平”(HSI)表示高光谱图像在空间维度中的展平操作:， 如等式(4)所述，可以实现空间像素和超级像素之间的映射
步骤2.4：最后，将每个超像素的平均光谱特征作为一个节点特征向量，图形节点特 征可以数学表示为
Figure BDA0003287895020000042
其中Hi是第i个节点特征向量，Ni表示超级像素中包含的像素数量，
Figure BDA0003287895020000043
是如等式(2) 所示的像素的光谱特征向量；
步骤3：构建多特征注意力模块
注意力机制和多重特征对于提取图的特征非常重要，通过多特征注意力模块来提取 邻居节点和边的特征；多特征注意力可以分为三个部分，即邻居节点注意力、边注意注意力和特征融合注意力；这三个部分的具体细节如下：
步骤3.1：邻居节点注意力
为了聚合邻居节点的信息，本模块采用一种多层图注意机制，可以得到分类节点的 邻居节点注意力系数，第l卷积层的输出可计算为
Figure BDA0003287895020000044
经过多层卷积之后，ni可以被转换为以下形式，即
Figure BDA0003287895020000045
其中←表示赋值符号，i是节点n的第i跳邻居，K表示节点n的第i跳邻居中的邻居节点数，
Figure BDA0003287895020000046
表示nik的重要系数；ni是中心节点n的邻居节点特征，根据式(6)，ni可分 解为相邻节点特征的线性和；
步骤3.2：边注意力
边缘包含丰富的语义信息。然而，大多数图注意力网络只关注相邻节点的聚合，缺乏边缘特征的提取；受图卷积中计算边的启发，本步骤引入高斯距离aij来定义节点之间 的关系，即
Figure BDA0003287895020000051
其中hi和hj表示节点i，j的光谱特征(通过等式(4)计算)，两个节点之间的欧氏距离表示为||hi-hj||2,
Figure BDA0003287895020000052
表示hj的t跳邻居节点集，γ表示经验集为0.2；
与式(5)类似，边注意力中第l卷积层的输出可以表示为
Figure BDA0003287895020000053
其中
Figure BDA0003287895020000054
表示边注意力中第l-1卷积层的输出，
Figure BDA0003287895020000055
表示边注意力的学习注意力系数， ai可以转化为
Figure BDA0003287895020000056
其中ai是中心节点n的第i跳边特征，
Figure BDA0003287895020000057
表示aik的重要系数；
步骤3.3：特征融合注意力
为了综合利用边和节点特征，提出了特征融合注意力，对上述注意力模块提取的特 征进行自适应融合，n的数学表达式可表示为
Figure BDA0003287895020000058
其中
Figure BDA0003287895020000059
和
Figure BDA00032878950200000510
分别表示相邻节点和边的重要系数；
如上所述，质心节点n最终可以表示为
Figure BDA00032878950200000511
其中αi和βi分别表示nik和aik的权重系数。
步骤4：构建多感受野模块
为了提取HSI的全局信息，设计了一种多分支感受野聚合机制；多感受野设计机制如图1所示；多感受野模块可以避免低阶跃点的负面影响，并学习HSI的远程特征信息； 在分支s中，节点n的感受野可以形成为
Ri(n)＝Ri-1(n)∪R1 (12)
其中R1(n)是节点n的1跳邻居的集合，R0(n)＝n；分支i中中心节点n的特征最终可以表示为
Figure BDA0003287895020000061
其中i是节点n的第i跳邻居；
步骤5：特征融合注意力和决策模块
最后采用图形注意融合多尺度感受野特征。中心节点n的输出特征O可以计算为
O＝σ(∑i∈Sei·WTni) (14)
其中ei表示分支i中特征的重要系数，S是多尺度数，W是可训练权重，σ是激活函数， 即LeakyReLU；为了确定每个像素的标签，使用softmax分类器对输出特征O进行分类，即
Figure BDA0003287895020000062
步骤6：损失函数和模型训练
采用交叉熵函数来惩罚网络输出与原始标记标签之间的差异，即
Figure BDA0003287895020000063
其中yG是标签集合；C表示类的数量，Yzf是训练标签矩阵；采用端到端的训练，并采用Adam更新发明的网络参数；
在本发明中，设置三个超参数，即超像素K的数量、MFaM的卷积层数量L、迭代次 数T和学习率lr；最优超参数设置如表1所示。
本与现有技术相比有益效果是：提出了一种一维CNN来学习超像素的光谱特征；二是将图边引入到GAT中，研究了一种基于GAT的特征融合机制，通过结合邻居节点 信息和边信息来表示分类节点的特征；三是提出了一种多尺度感受野机制，提取多尺度 局部语义特征，学习局部全局空间上下文信息。本发明能够自动提取高光谱特征并完成 分类。分类正确率达到93％以上。
附图说明
图1：本发明基于多感受野图注意力网络的高光谱图像分类方法发明流程示意图。
本发明实验是用GeForce GTX 1080Ti 11G GPU和3.70G Intel i9-10900K CPU的电 脑上，在pytorch 1.8对本发明进行训练。首先，首先对原始高光谱图像进行超像素分割， 提取每个超像素块光谱特征；随后构建以超像素为节点的多感受野图；然后利用多特征 注意力模块提取图节点和边特征；最后，利用交叉熵损失对图像特征进行解释，得到每个像素的标签，对节点进行预测。
具体实施方式
现结合附图对本发明的具体实施方式作进一步详细说明。
本发明方法由四部分组成：用于HSI预处理的光谱空间变换模块、用于光谱空间特征提取的多感受野图形构造模块、多特征注意力模块、特征融合注意力和决策模块。本 发明方法的流程是这样实现的：首先，通过使用无监督主成分分析(PCA)方法和简单 线性迭代聚类(SLIC)，将原始HSI准确地划分为自适应局部区域(superpixel)；采用双 层1D CNN提取像素的光谱特征减少需要计算的节点数，抑制原始HSI的噪声；构造基 于超像素立方体的多感受野图；利用多特征注意力模块提取局部节点特征和边特征并采 用图形注意网络学***均值。该方 法简单直观，但不能通过网络训练抑制和消除原始HSI的噪声。
表1:不同数据集的超参数设置
Figure BDA0003287895020000071
分类结果：
实验是用GeForce GTX 1080Ti 11G GPU和3.70G Intel i9-10900K CPU的电脑上，在 pytorch 1.8对本发明进行训练。在Pavia University、Salinas和Houston 2013数据集上利 用本发明进行分类，采用整体分类精度(OA)、平均分类精度(AA)和卡帕系数(Kappa)作为衡量指标，每次试验运行10次，取平均值得到结果为(OA：所有被样本 中被正确分类的比例；AA：每一类被正确分类比例的平均值；Kappa：表述被正确分类 的一致性。)
表2:三个标准数据集实验结果
Pavia University Salinas Houston 2013
OA(％) 98.62±0.76 98.65±0.28 94.87±0.76
AA(％) 98.38±0.92 99.05±0.15 95.70±0.52
Kappa 0.98 0.98 0.94
表2三个标准数据集结果表明本发明对各数据集都具有良好的分类效果，对不同数据集都具有较好的适应性，达到了很高的分类精度。

Claims (7)

1.一种基于多感受野图注意力网络的高光谱图像分类方法，具有超像素立方体构造多感受野图和卷积神经网络，其特征在于：通过使用无监督主成分分析(PCA)方法和简单线性迭代聚类(SLIC)，将原始高光谱图像(HSI)准确地划分为自适应局部区域；采用双层1D卷积神经网络(CNN)提取像素的光谱特征减少需要计算的节点数，抑制原始HSI的噪声；构造基于超像素立方体的多感受野图；利用多特征注意力模块提取局部节点特征和边特征并采用图形注意网络学习两个特征的重要系数；利用特征融合注意力模块融合各感受野节点-边特征，给出了分类节点的特征,最后，利用交叉熵损失对图像特征进行解释，得到每个像素的标签，具体包括如下步骤：
步骤1：构建光谱空间转换模块
步骤2：构建频域转换模块：
步骤3：构建多特征注意力模块
步骤4：构建多感受野模块
步骤5：特征融合注意力和决策模块
步骤6：损失函数和模型训练。
2.根据权利要求1所述的一种基于多感受野图注意力网络的高光谱图像分类，其特征在于：步骤1中所述的“构建光谱空间转换模块”具体为：
给定HSI立方体IB＝{x1,x2,…,xm}，包含
Figure FDA0003287895010000011
个像素，B个波段，其中
Figure FDA0003287895010000012
H分别表示高光谱图像空间宽度和高度；为提高计算效率，利用主成分分析方法(PCA)进行降维，并选择第一主分量生成降维图像
Figure FDA0003287895010000013
具有m个像素和b个波段，其中b<<B、r表示降维；然后采用SLIC将像素划分为超像素，局部超像素HSI可以用数学表达式表示为：
Figure FDA0003287895010000014
其中
Figure FDA0003287895010000015
表示包含ni个像素的超像素，
Figure FDA0003287895010000016
K是超像素的总数；超级像素中的像素具有很强的光谱空间相关性；在本发明方法中，将超像素作为图的节点；通过控制超像素数K，可以控制图的规模，降低算法的计算复杂度。
3.根据权利要求1所述的一种基于多感受野图注意力网络的高光谱图像分类，其特征在于：步骤2中所述的“构建频域转换模块”具体为：
步骤2.1：为了为所提出的方法提取鉴别性和鲁棒性的光谱特征，提供一种光谱变换器，采用两层1×1CNN核来提取每个频带中单个像素的光谱值，并且在所提出的方法中，空间位置p0处像素的光谱特征向量可以写成：
Figure RE-FDA0003484350750000029
其中，p0＝(x，y)是像素在HSI中的空间位置，Xi(p0)表示像素在第i光谱中的空间位置p0处的光谱值；
步骤2.2：在第b频谱段l卷积层的输出特性
Figure RE-FDA0003484350750000021
为
Figure RE-FDA0003484350750000022
其中
Figure RE-FDA0003484350750000023
和
Figure RE-FDA0003484350750000024
分别是可训练权重(1×1卷积核)和偏差，σ(·)为激活功能，即ReLU；
步骤2.3：为了显示像素和超级像素之间的对应关系，构建了关联矩阵
Figure RE-FDA0003484350750000025
具体而言，M可以计算为
Figure RE-FDA0003484350750000026
其中xi是IB的第i个像素，″展平”(HSI)表示高光谱图像在空间维度中的展平操作，如等式(4)所述，可以实现空间像素和超级像素之间的映射；
步骤2.4：最后，将每个超像素的平均光谱特征作为一个节点特征向量，图形节点特征可以数学表示为
Figure RE-FDA0003484350750000027
其中Hi是第i个节点特征向量，Ni表示超级像素中包含的像素数量，
Figure RE-FDA0003484350750000028
是如等式(5)所示的像素的光谱特征向量。
4.根据权利要求1所述的一种基于多感受野图注意力网络的高光谱图像分类，其特征在于：步骤3中所述的“构建多特征注意力模块”，多特征注意力可以分为三个部分，即邻居节点注意力、边注意注意力和特征融合注意力；这三个部分的具体细节如下：
步骤3.1：邻居节点注意力
为了聚合邻居节点的信息，本模块采用一种多层图注意机制，可以得到分类节点的邻居节点注意力系数，第l卷积层的输出可计算为
Figure FDA0003287895010000031
经过多层卷积之后，ni可以被转换为以下形式，即
Figure FDA0003287895010000032
其中←表示赋值符号，i是节点n的第i跳邻居，K表示节点n的第i跳邻居中的邻居节点数，
Figure FDA0003287895010000033
表示nik的重要系数；ni是中心节点n的邻居节点特征，根据式(7)，ni可分解为相邻节点特征的线性和；
步骤3.2：边注意力
边缘包含丰富的语义信息。然而，大多数图注意力网络只关注相邻节点的聚合，缺乏边缘特征的提取；受图卷积中计算边的启发，本步骤引入高斯距离aij来定义节点之间的关系，即
Figure FDA0003287895010000034
其中hi和hj表示节点i，j的光谱特征(通过等式(5)计算)，两个节点之间的欧氏距离表示为||hi-hj||2,
Figure FDA0003287895010000035
表示hj的t跳邻居节点集，γ表示经验集为0.2；
与式(6)类似，边注意力中第l卷积层的输出可以表示为
Figure FDA0003287895010000036
其中
Figure FDA0003287895010000037
表示边注意力中第l-1卷积层的输出，
Figure FDA0003287895010000038
表示边注意力的学习注意力系数，ai可以转化为
Figure FDA0003287895010000039
其中ai是中心节点n的第i跳边特征，
Figure FDA00032878950100000310
表示aik的重要系数；
步骤3.3：特征融合注意力
为了综合利用边和节点特征，提出了特征融合注意力，对上述注意力模块提取的特征进行自适应融合，n的数学表达式可表示为
Figure FDA00032878950100000311
其中
Figure FDA0003287895010000041
和
Figure FDA0003287895010000042
分别表示相邻节点和边的重要系数；
如上所述，质心节点n最终可以表示为
Figure FDA0003287895010000043
其中αi和βi分别表示nik和aik的权重系数。
5.根据权利要求1所述的一种基于多感受野图注意力网络的高光谱图像分类，其特征在于：步骤4中所述的“构建多感受野模块”具体步骤如下：
为了提取HSI的全局信息，设计了一种多分支感受野聚合机制；多感受野模块可以避免低阶跃点的负面影响，并学习HSI的远程特征信息；在分支s中，节点n的感受野可以形成为
Ri(n)＝Ri-1(n)∪R1 (13)
其中R1(n)是节点n的1跳邻居的集合，R0(n)＝n；分支i中中心节点n的特征最终可以表示为
Figure FDA0003287895010000044
其中i是节点n的第i跳邻居。
6.根据权利要求1所述的一种基于多感受野图注意力网络的高光谱图像分类，其特征在于：步骤5中所述的“特征融合注意力和决策模块”具体如下：
最后采用图形注意融合多尺度感受野特征。中心节点n的输出特征O可以计算为
O＝σ(∑i∈Sei·WTni) (15)
其中ei表示分支i中特征的重要系数，S是多尺度数，W是可训练权重，σ是激活函数，即LeakyReLU；为了确定每个像素的标签，使用softmax分类器对输出特征O进行分类，即
Figure FDA0003287895010000045
7.根据权利要求1所述的一种基于多感受野图注意力网络的高光谱图像分类，其特征在于：步骤6中所述的“损失函数和模型训练”具体如下：
采用交叉熵函数来惩罚网络输出与原始标记标签之间的差异，即
Figure FDA0003287895010000046
其中yG是标签集合；C表示类的数量，Yzf是训练标签矩阵；采用端到端的训练，并采用Adam更新发明的网络参数。
CN202111153710.4A 2021-09-29 2021-09-29 一种基于多感受野图注意力网络的高光谱图像分类方法 Pending CN114155443A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111153710.4A CN114155443A (zh) 2021-09-29 2021-09-29 一种基于多感受野图注意力网络的高光谱图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111153710.4A CN114155443A (zh) 2021-09-29 2021-09-29 一种基于多感受野图注意力网络的高光谱图像分类方法

Publications (1)

Publication Number Publication Date
CN114155443A true CN114155443A (zh) 2022-03-08

Family

ID=80462272

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111153710.4A Pending CN114155443A (zh) 2021-09-29 2021-09-29 一种基于多感受野图注意力网络的高光谱图像分类方法

Country Status (1)

Country Link
CN (1) CN114155443A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114758203A (zh) * 2022-03-31 2022-07-15 长江三峡技术经济发展有限公司 用于高光谱图像分类的残差密集视觉转换方法和***
CN115908908A (zh) * 2022-11-14 2023-04-04 北京卫星信息工程研究所 基于图注意力网络的遥感图像聚集型目标识别方法及装置
CN116824282A (zh) * 2023-08-31 2023-09-29 中国石油大学(华东) 融合多跳图卷积和注意力的半监督高光谱图像分类方法
CN117422932A (zh) * 2023-11-17 2024-01-19 中国矿业大学 一种基于多模态强化图注意力网络的高光谱图像分类方法
CN117893839A (zh) * 2024-03-15 2024-04-16 华东交通大学 一种基于图注意力机制的多标记分类方法及***

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114758203A (zh) * 2022-03-31 2022-07-15 长江三峡技术经济发展有限公司 用于高光谱图像分类的残差密集视觉转换方法和***
CN114758203B (zh) * 2022-03-31 2023-01-10 长江三峡技术经济发展有限公司 用于高光谱图像分类的残差密集视觉转换方法和***
CN115908908A (zh) * 2022-11-14 2023-04-04 北京卫星信息工程研究所 基于图注意力网络的遥感图像聚集型目标识别方法及装置
CN115908908B (zh) * 2022-11-14 2023-09-15 北京卫星信息工程研究所 基于图注意力网络的遥感图像聚集型目标识别方法及装置
CN116824282A (zh) * 2023-08-31 2023-09-29 中国石油大学(华东) 融合多跳图卷积和注意力的半监督高光谱图像分类方法
CN116824282B (zh) * 2023-08-31 2023-11-10 中国石油大学(华东) 融合多跳图卷积和注意力的半监督高光谱图像分类方法
CN117422932A (zh) * 2023-11-17 2024-01-19 中国矿业大学 一种基于多模态强化图注意力网络的高光谱图像分类方法
CN117422932B (zh) * 2023-11-17 2024-05-28 中国矿业大学 一种基于多模态强化图注意力网络的高光谱图像分类方法
CN117893839A (zh) * 2024-03-15 2024-04-16 华东交通大学 一种基于图注意力机制的多标记分类方法及***
CN117893839B (zh) * 2024-03-15 2024-06-07 华东交通大学 一种基于图注意力机制的多标记分类方法及***

Similar Documents

Publication Publication Date Title
Sellars et al. Superpixel contracted graph-based learning for hyperspectral image classification
Ding et al. Multiscale graph sample and aggregate network with context-aware learning for hyperspectral image classification
Wang et al. Adaptive spectral–spatial multiscale contextual feature extraction for hyperspectral image classification
Ghaderizadeh et al. Hyperspectral image classification using a hybrid 3D-2D convolutional neural networks
Song et al. A survey of remote sensing image classification based on CNNs
Ding et al. AF2GNN: Graph convolution with adaptive filters and aggregator fusion for hyperspectral image classification
Bhatti et al. MFFCG–Multi feature fusion for hyperspectral image classification using graph attention network
Lorenzo et al. Hyperspectral band selection using attention-based convolutional neural networks
CN111695467B (zh) 基于超像素样本扩充的空谱全卷积高光谱图像分类方法
Heydari et al. Meta-analysis of deep neural networks in remote sensing: A comparative study of mono-temporal classification to support vector machines
CN114155443A (zh) 一种基于多感受野图注意力网络的高光谱图像分类方法
Datta et al. Hyperspectral image classification: Potentials, challenges, and future directions
Kong et al. Spectral–spatial feature extraction for HSI classification based on supervised hypergraph and sample expanded CNN
Liu et al. Deep multigrained cascade forest for hyperspectral image classification
Vo et al. Semantic image segmentation using fully convolutional neural networks with multi-scale images and multi-scale dilated convolutions
Amorim et al. Semi-supervised learning with convolutional neural networks for UAV images automatic recognition
Cao et al. Deep convolutional networks with superpixel segmentation for hyperspectral image classification
Zuo et al. FSL-EGNN: Edge-labeling graph neural network for hyperspectral image few-shot classification
Chen et al. Hyperspectral remote sensing image classification based on dense residual three-dimensional convolutional neural network
Mahmoud et al. Pseudoinverse learning autoencoder with DCGAN for plant diseases classification
Fırat et al. Spatial-spectral classification of hyperspectral remote sensing images using 3D CNN based LeNet-5 architecture
CN115527056A (zh) 基于双混合卷积生成对抗网络的高光谱图像分类方法
Aydemir et al. Semisupervised hyperspectral image classification using deep features
Rajendran et al. Hyperspectral image classification model using squeeze and excitation network with deep learning
Jiang et al. Hyperspectral image classification with transfer learning and Markov random fields

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination