CN111563520B - 一种基于空间-光谱联合注意力机制的高光谱图像分类方法 - Google Patents

一种基于空间-光谱联合注意力机制的高光谱图像分类方法 Download PDF

Info

Publication number
CN111563520B
CN111563520B CN202010044989.1A CN202010044989A CN111563520B CN 111563520 B CN111563520 B CN 111563520B CN 202010044989 A CN202010044989 A CN 202010044989A CN 111563520 B CN111563520 B CN 111563520B
Authority
CN
China
Prior art keywords
attention
space
spectral
spectrum
attention score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010044989.1A
Other languages
English (en)
Other versions
CN111563520A (zh
Inventor
尹继豪
李磊
刘雨晨
黄浦
王麒雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202010044989.1A priority Critical patent/CN111563520B/zh
Publication of CN111563520A publication Critical patent/CN111563520A/zh
Application granted granted Critical
Publication of CN111563520B publication Critical patent/CN111563520B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明算法致力于解决传统卷积神经网络对以高光谱图像为代表的细粒度图像分类任务性能不足问题，提出一种基于空间‑光谱联合注意力机制的高光谱图像分类算法，配合卷积神经网络可以有效地捕捉图像全局特征，自适应地聚焦相似图像之间差异性较大空间局域特征；同时评估不同波段对任务贡献，使得神经网络更多地关注贡献大的光谱波段，提取图像光谱局部差异特征，提升高光谱图像分类精度，在以高光谱图像为代表的细粒度图像分类领域具有广泛的应用。

Description

一种基于空间-光谱联合注意力机制的高光谱图像分类方法
技术领域
本发明是一种基于空间-光谱联合注意力机制的高光谱图像分类方法， 通过将该方法提供的空间-光谱联合注意力机制模块嵌入卷积神经网络中， 可有效地捕捉图像全局特征，并自适应地关注图像之间差异性较大的局部区 域，大幅度提升卷积神经网络的特征提取和表达能力，实现对高光谱图像分 类。该方法可用于遥感图像处理领域。
背景技术
高光谱遥感技术是二十世纪末人类在机载观测***和星载观测***领 域最重要的技术突破之一，高光谱图像克服了传统单波段、多光谱遥感在波 段范围、波段数量以及精细地面目标观测、识别等方面局限性，在遥感对地 观测领域有其独特优势。高光谱图像分类在实际中是一项重要且有意义的任 务，具体来说，高光谱图像分类是根据不同光谱特征或空间特征对给定图像 进行识别并标记图像中每个像素点种类的任务。
与普通图像分类任务相比，高光谱图像由于光谱域的“维数灾难”和“同谱 异物”特点，使得分类任务变得更加困难。在这种情况下，传统单纯依靠光谱 信息的高光谱图像分类算法性能有限，基于联合空间-光谱信息的分类算法一 直是近年来的研究热点。
自2012年以来，以卷积神经网络(Convolution Neural Network,CNN) 为代表的深度学习技术异军突起在计算机视觉任务中取得了巨大成就。卷积 神经网络非常适用于处理图像空间域信息，并在普通图像分类任务中取得了 巨大成功，卷积神经网络最早于2016年用于高光谱图像分类任务。随后，各 种用于高光谱图像分类任务的卷积神经网络算法层出不穷，但这些算法由于 卷积网络“感受野”大小有限难以提取到图像全局特征。更糟糕的是，由于 高光谱图像数据的特殊性，在分类之前需要将高光谱数据进行预处理，即以每个像素为中心分割成立方体(一般大小取27*27)，并以中间像素标签为 每个立方体分类标签，使得相近而异类的像素立方体在空间特征非常相似， 通常称这种整体空间特征冗余，局部特征有微小差异的图像为细粒度图像。 而传统卷积神经网络处理这种具有空间冗余特征的细粒度图像能力很弱，严 重制约着卷积神经网络在高光谱等细腻度图像分类任务中性能进一步提高。
另外，不同于普通图像，高光谱图像有着非常丰富的光谱信息，大部分 传统分类算法认为不同光谱波段对算法任务贡献一样，但实际上由于光照、 大气等物理因素影响，导致有些波段趋于噪声化，对当前任务基本没有贡献， 甚至造成干扰。
基于此，设计一种能够有效捕捉图像全局特征，自适应地聚焦相似细腻 度图像之间差异性较大空间局域特征；同时评估不同波段对任务贡献，使得 神经网络更多地关注贡献大的光谱波段，提取图像光谱局部差异特征，提升 高光谱图像分类精度，是一个非常值得研究的问题。
发明内容
本算法致力于解决传统卷积神经网络对以高光谱图像为代表的细腻度 图像分类性能不足问题，我们提出一种基于空间-光谱联合注意力机制的高光 谱图像分类方法，配合卷积神经网络可以有效地捕捉图像全局特征，自适应 地聚焦相似图像之间差异性较大空间局域特征；同时评估不同波段对任务贡 献，使得神经网络更多地关注贡献大的光谱波段，提取图像局部差异特征， 提升高光谱图像分类精度，在高光谱等细腻度图像分类领域具有广泛的应用。
本发明算法提出了空间-光谱联合注意力机制模块，具备以下三个优势：
(1)算法可移植性强，可以随意地嵌入现有各种卷积神经网络中。
(2)算法通用性好，根据任务需求，灵活选择注意力机制模块。例如面 对没有光谱特征的普通细腻度图像分类任务时，灵活选用空间注意力机制模 块即可。
(3)算法性能强大，可以有效提升卷积神经网络性能；
附图说明
图1为空间-光谱联合注意力机制模块图；
图2为嵌入空间-光谱联合注意力机制模块卷积神经网络的三种结构框 图；
图3为不同算法在高光谱数据集实验结果对比。注：实验中将空间-光谱 联合注意力机制模块简称为Joint Spatial-Spectral Attention Module,简称JSSAM，将采用串联嵌入方式的卷积神经网络称为CNN-JSSAM-A，将采用 并联嵌入方式的卷积神经网络称为CNN-JSSAM-B，将采用串并联嵌入方式 的卷积神经网络称为CNN-JSSAM-C。以Indian Pine数据为实验中高光谱数 据集，并取10％为训练集，以上各种CNN的网络参数和层数全部保持一致， 区别在于是否嵌入空间-光谱联合注意力机制模块JSSAM。
具体实施方式
如附图1所示，空间-光谱联合注意力机制模块主要由三个子模块组成： 空间注意力分数提取子模块、光谱注意力分数提取子模块和注意力分数分配 子模块。其中，空间注意力分数提取子模块主要提取空间中任意两个像素间 相似性特征，获取空间注意力分数图；光谱注意力分数提取子模块主要提取 不同光谱波段中相关依赖性，获取光谱波段的注意力分数图；注意力分数分 配分支将分别提取的空间注意力分数和光谱注意力分数分配到原来的特征 空间中，获得包含不同空间域、不同波段注意力特征的注意力分数立方体。
(1)空间注意力分数提取子模块
将输入网络的高光谱立方体用下面X表示：
Figure BDA0002369032810000031
其中，H是输入高光谱立方体的长度；
W是输入高光谱立方体的宽度；
C是输入高光谱立方体的光谱维数；
并且N＝H×W；
步骤一：将根据公式(1)输入图像X分别映射到嵌入光谱特征空间中， 以得到两个新特征图θ(X)和φ(X)；
Figure BDA0002369032810000032
其中，i和j是特征图中像素的编号；
Figure BDA0002369032810000033
和
Figure BDA0002369032810000034
是线性映射矩阵，它们都是神经网络中可以学习的 参数；
D是映射到嵌入光谱空间中新特征图θ(X)和φ(X)的光谱维数；
步骤二：利用嵌入空间内的高斯函数计算任意两个像素相似性sij，获得 空间注意力分数图S，具体计算过程图公式(2)和图1所示：
Figure BDA0002369032810000041
Figure BDA0002369032810000042
其中，sij表示第i个和第j个像素之间的相似性；
程序中，Wθ和Wφ是可学习的网络参数，采用1*1卷积层实现；公式(2) 中先对θ(xi)进行转置得到θ(xi)T，再将θ(xi)T与φ(xj)进行矩阵乘法运算，最后 再利用神经网络softmax层进行归一化操作。
(2)光谱注意力分数提取子模块
将输入网络的高光谱立方体用下面X表示
Figure BDA0002369032810000043
其中，H是输入高光谱立方体的长度；
W是输入高光谱立方体的宽度；
C是输入高光谱立方体的光谱维数；
步骤一：将根据公式(4)输入图像X分别映射到嵌入空间特征空间中， 以得到两个新特征图υ(X)和ω(X)；
Figure BDA0002369032810000044
其中，i和j是特征图对应光谱波段的编号；
Wυ和Wω是线性映射矩阵，它们都是神经网络中可以学习的参数；
步骤二：利用嵌入空间内的高斯函数计算任意两个光谱波段对应特征图 的相似性qij，获得空间注意力分数图Q，具体计算过程图公式(5)和图1 所示：
Figure BDA0002369032810000051
Figure BDA0002369032810000052
其中，qij表示第i个和第j个光谱波段对应特征图之间的相似性；
程序中，Wυ和Wω是可学习的网络参数，采用3*3Depth-wise卷积层实 现；公式(5)中先对υ(xi)进行转置得到υ(xi)T，再将υ(xi)T与ω(xi)进行矩阵 乘法运算，最后再利用神经网络softmax层进行归一化操作。
(3)注意力分数分配子模块
注意力分数分配子模块的主要作用是将注意力分数分配分支将分别提 取的空间注意力分数和光谱注意力分数分配到原来的特征空间中，获得包含 不同空间域、不同波段注意力特征的注意力分数立方体。
输入图像X如下表示：
Figure BDA0002369032810000053
步骤一：为了确保注意力机制模块可以根据任务需求，自适应地聚焦 于特征图的局域空间和局部光谱波段，首先在特征空间内进行映射，得到 一个全新特征图
Figure BDA0002369032810000054
如公式(7)；程序中，公式(7)是利用3*3 卷积层实现，其中Wζ是3*3卷积核参数。
Figure BDA0002369032810000055
A＝S·ζ(X)·Q (8)
步骤二：通过公式(8)将空间注意力分数S和光谱注意力分数Q分配 到原来的特征空间中，获得注意力机制分数立方体A。
另外，算法还设计了一套空间-光谱联合注意力机制模块与卷积神经网络 嵌入方式，主要有以下三种嵌入方式：
(1)串联嵌入方式
(2)并联嵌入方式
(3)串并联嵌入方式
详细见图2为嵌入空间-光谱联合注意力机制模块卷积神经网络的三种 结构框图。

Claims (1)

1.一种基于空间-光谱联合注意力机制的高光谱图像分类方法主要是由空间-光谱联合注意力机制模块和嵌入卷积神经网络方式两部分组成：
1、空间-光谱联合注意力机制模块由三个子模块组成，空间注意力分数提取子模块、光谱注意力分数提取子模块和注意力分数分配子模块；其中，空间注意力分数提取分支提取空间中任意两个像素间相似性特征，获取空间注意力分数图；光谱注意力分数提取分支提取不同光谱波段中相关依赖性，获取光谱波段的注意力分数图；再将注意力分数分配子模块分别提取到的空间注意力分数图和光谱注意力分数图，逐像素逐光谱地分配到原特征空间中，获得包含不同像素点、不同波段注意力特征的注意力分数立方体；具体如下：
(1)空间注意力分数提取子模块
步骤一：将输入图像X分别映射到嵌入光谱特征空间中，以得到两个新特征图θ(X)和φ(X)；
步骤二：利用嵌入空间内的高斯函数计算任意两个像素相似性sij，获得空间注意力分数图S，最后再利用神经网络softmax层进行归一化操作；
(2)光谱注意力分数提取子模块
步骤三：将输入图像X分别映射到嵌入空间特征空间中，以得到两个新特征图u(X)和ω(X)；
步骤四：利用嵌入空间内的高斯函数计算任意两个光谱波段对应特征图的相似性qij，获得光谱注意力分数图Q，实验中，采用3*3分层(Depth-wise)卷积层实现；最后再利用神经网络Softmax层进行归一化操作；
(3)注意力分数分配子模块
注意力分数分配子模块的作用是将提取的空间注意力分数和光谱注意力分数分配到原来的特征空间中，获得包含不同空间域、不同波段注意力特征的注意力分数立方体；
步骤五：为了确保注意力机制模块可以根据任务需求，自适应地聚焦于特征图的局域空间和局部光谱波段，首先在特征空间内进行映射，采用3*3卷积运算得到一个全新特征图
Figure FDA0003968726810000021
步骤六：将空间注意力分数S和光谱注意力分数Q分配到原来的特征空间中，获得注意力机制分数立方体A
2、空间-光谱联合注意力机制模块嵌入卷积神经网络方式有三种：
(1)串联嵌入方式；
(2)并联嵌入方式；
(3)串并联嵌入方式。
CN202010044989.1A 2020-01-16 2020-01-16 一种基于空间-光谱联合注意力机制的高光谱图像分类方法 Active CN111563520B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010044989.1A CN111563520B (zh) 2020-01-16 2020-01-16 一种基于空间-光谱联合注意力机制的高光谱图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010044989.1A CN111563520B (zh) 2020-01-16 2020-01-16 一种基于空间-光谱联合注意力机制的高光谱图像分类方法

Publications (2)

Publication Number Publication Date
CN111563520A CN111563520A (zh) 2020-08-21
CN111563520B true CN111563520B (zh) 2023-01-13

Family

ID=72071383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010044989.1A Active CN111563520B (zh) 2020-01-16 2020-01-16 一种基于空间-光谱联合注意力机制的高光谱图像分类方法

Country Status (1)

Country Link
CN (1) CN111563520B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112052755B (zh) * 2020-08-24 2023-06-02 西安电子科技大学 基于多路注意力机制的语义卷积高光谱图像分类方法
CN112232343B (zh) * 2020-09-03 2023-11-21 国家粮食和物资储备局科学研究院 一种粮食霉变粒识别神经网络和识别方法
CN112287989B (zh) * 2020-10-20 2022-06-07 武汉大学 一种基于自注意力机制的航空影像地物分类方法
CN113537239B (zh) * 2021-07-08 2022-02-18 宁波大学 一种基于全局关系感知注意力的高光谱图像波段选择方法
CN114462596B (zh) * 2022-02-10 2023-04-07 黑龙江省农业科学院 一种工业***生长期的病虫害监测方法及监测***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109376804A (zh) * 2018-12-19 2019-02-22 中国地质大学（武汉） 基于注意力机制和卷积神经网络高光谱遥感图像分类方法
CN109993220A (zh) * 2019-03-23 2019-07-09 西安电子科技大学 基于双路注意力融合神经网络的多源遥感图像分类方法
CN110516596A (zh) * 2019-08-27 2019-11-29 西安电子科技大学 基于Octave卷积的空谱注意力高光谱图像分类方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010071604A1 (en) * 2008-12-19 2010-06-24 Agency For Science, Technology And Research Device and method for generating a representation of a subject's attention level
CN110458192B (zh) * 2019-07-05 2022-06-14 中国地质大学（武汉） 基于视觉显著性的高光谱遥感图像分类方法及***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109376804A (zh) * 2018-12-19 2019-02-22 中国地质大学（武汉） 基于注意力机制和卷积神经网络高光谱遥感图像分类方法
CN109993220A (zh) * 2019-03-23 2019-07-09 西安电子科技大学 基于双路注意力融合神经网络的多源遥感图像分类方法
CN110516596A (zh) * 2019-08-27 2019-11-29 西安电子科技大学 基于Octave卷积的空谱注意力高光谱图像分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Spectral-Spatial Attention Networks for Hyperspectral Image Classification;Xiaoguang Mei 等;《Remote Sensing》;20190423;全文 *

Also Published As

Publication number Publication date
CN111563520A (zh) 2020-08-21

Similar Documents

Publication Publication Date Title
CN111563520B (zh) 一种基于空间-光谱联合注意力机制的高光谱图像分类方法
Lin et al. Multispectral change detection with bilinear convolutional neural networks
CN111160273B (zh) 一种高光谱图像空谱联合分类方法及装置
Zhu et al. Plant identification based on very deep convolutional neural networks
Thoonen et al. Multisource classification of color and hyperspectral images using color attribute profiles and composite decision fusion
CN109961096B (zh) 一种多模高光谱图像迁移分类方法
Chen et al. Convolutional neural network for classification of solar radio spectrum
Ye et al. Hyperspectral image classification using principal components-based smooth ordering and multiple 1-D interpolation
Chen et al. Object-based multi-modal convolution neural networks for building extraction using panchromatic and multispectral imagery
Shi et al. F 3 Net: Fast Fourier filter network for hyperspectral image classification
Rahiche et al. Blind decomposition of multispectral document images using orthogonal nonnegative matrix factorization
Jafarzadeh et al. Wet-GC: a novel multimodel graph convolutional approach for wetland classification using Sentinel-1 and 2 imagery with limited training samples
Su et al. Probabilistic collaborative representation based ensemble learning for classification of wetland hyperspectral imagery
Beirami et al. Spatial-Spectral Random Patches Network for Classification of Hyperspectral Images.
CN116486238B (zh) 联合点集表示与图分类的目标细粒度识别方法
Zhang et al. Spatial proximity feature selection with residual spatial–spectral attention network for hyperspectral image classification
Rigas et al. Low-level visual saliency with application on aerial imagery
CN116824356A (zh) 多源遥感图像空间高程光谱特征提取与分类的方法及***
Chhapariya et al. A Deep Spectral-Spatial Residual Attention Network for Hyperspectral Image Classification
Bajkowski et al. Extending deep convolutional neural networks from 3-color to full multispectral remote sensing imagery
CN113850316A (zh) 联合光谱空间多层感知器的高光谱影像分类方法及装置
CN114037922A (zh) 一种基于层级上下文网络的航拍图像分割方法
Sánchez et al. Robust multiband image segmentation method based on user clues
Ghoshal et al. Improving performance of convolutional neural networks via feature embedding
Aptoula et al. Segmentation networks reinforced with attribute profiles for large scale land-cover map production

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant