CN111191514B - 一种基于深度学习的高光谱图像波段选择方法 - Google Patents

一种基于深度学习的高光谱图像波段选择方法 Download PDF

Info

Publication number
CN111191514B
CN111191514B CN201911232855.6A CN201911232855A CN111191514B CN 111191514 B CN111191514 B CN 111191514B CN 201911232855 A CN201911232855 A CN 201911232855A CN 111191514 B CN111191514 B CN 111191514B
Authority
CN
China
Prior art keywords
band
reconstruction
module
data
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911232855.6A
Other languages
English (en)
Other versions
CN111191514A (zh
Inventor
蔡耀明
张子佳
刘小波
蔡之华
刘哲伟
王梦琪
邓雅雯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN201911232855.6A priority Critical patent/CN111191514B/zh
Publication of CN111191514A publication Critical patent/CN111191514A/zh
Application granted granted Critical
Publication of CN111191514B publication Critical patent/CN111191514B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1793—Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于深度学习的高光谱图像波段选择方法，包括：利用原始的高光谱图像数据训练得到表征各波段重要性的权重向量；根据权重向量对波段数据进行逐波段的加权运算得到波段注意力映射；采用重构网络模块对波段注意力映射进行非线性重构，得到波段的重构输出；利用波段的重构输出、原始的波段数据以及权重向量构建最小化损失函数模型，采用梯度下降优化方法对所述模型中的参数进行逐层优化求解，得到优化后的波段权重，进一步根据权重排序结果选择波段子集。本发明提供一个通用的波段选择框架，充分考虑高光谱图像的非线性特性，并整合了特征提取与波段选择，避免了噪声波段的影响，结构设计灵活，且可以与任意神经网络模型结合。

Description

一种基于深度学习的高光谱图像波段选择方法
技术领域
本发明涉及高光谱遥感影像处理领域，尤其涉及一种基于深度学习的高光谱图像波段选择方法。
背景技术
高光谱遥感(Hyperspectral remote sensing)是一项十分重要的技术，它在地质勘探、海洋监测、精细农业以及军事等领域起着越来越重要的作用。高光谱遥感图像通常包含数百乃至数千个连续的光谱波段，随着高光谱成像技术的日益发展，光谱分辨率越来越高，导致高光谱图像的波段数量不断增加，使得高光谱图像的存储和处理面临巨大的挑战。首先，光谱波段间的相关性会随着波段数量的增加而线性增加，也就是说波段集合中存在大量冗余波段；其次，由于传感器和大气等的影响，波段集合中不可避免地会存在噪声波段，这些噪声波段通常不包含任何有用信息，甚至在在处理中可能导致所谓的“维度灾难”。
波段选择(Band selection)是一种能有效解决上述问题的技术，其目的是在不损失原有高光谱图像物理信息的同时尽可能多的剔除冗余、噪声等无用波段。根据是否使用标记信息，可将波段选择方法划分为有监督和无监督两类，其中，无监督的波段选择因其具有更加普适的应用前景而得到了广泛研究，无监督的波段选择又可以细分为：基于搜索的波段选择(Search based)、基于聚类的波段选择(Clustering based)和基于排序的波段选择(Ranking based)，这三种方法的原理及各自的技术特点归纳如下：
(1)基于搜索的波段选择将高光谱的波段选择视为一个组合优化问题，即给定一个优化目标如最大化选择中波段的信息熵等，然后利用启发式搜索算法优化该目标，典型的算法有粒子群优化算法、演化算法、多目标优化算法等，这类波段选择方法的思想直观有效，但本质上是在优化一个NP难问题，因此优化过程通常十分耗时；
(2)基于聚类的波段选择认为波段集合可以根据彼此之间的内在关系划分为不同的簇，然后再根据某个标准从不同的簇中挑选波段，比如基于子空间聚类、基于非负矩阵聚类等方法，由于聚类方法可以充分对波段间的相互关系进行建模，因此这类方法选出的波段准确度较高，但其将连续的波段视为孤立的点本身忽视了光谱波段的物理特性，且缺乏理论依据；
(3)基于排序的波段选择不是直接选出一个波段子集，而是依据某种评价标准对所有波段进行排序，如基于最大方差主成分分析法、基于稀疏表示模型等，这类波段选择方法具有较强的可解释性，但如何设置能准确反映波段重要性的评价准则十分困难。
总而言之，上述波段选择方式存在以下缺点：1)难以对波段间的关系进行全局且明确的建模；2)缺乏对空间信息的利用；3)难以做到端到端学习且缺乏与后续处理方法整合的考虑。
发明内容
针对高光谱图像波段数量多、波段冗余性大的问题，本发明提供了一种基于深度学习和注意力机制的高光谱图像波段选择网络框架(Band selection network，BS-Net)，所述框架基于光谱的稀疏重建假设，即完整的高光谱波段集合可以由重要的波段重建出来，而在光谱重建过程中，越重要的波段往往为重建提供越高的贡献；本发明提供的波段选择网络框架通过波段注意力模块估计得到波段权重，并由自编码器完成光谱重建。
本发明提供一种基于深度学习的高光谱图像波段选择方法，包括以下步骤：
S1、波段重要性评价：利用原始的高光谱图像数据构造波段数据x，并将所述波段数据x作为训练集输入到波段注意力学习模块中，得到表征各波段重要性的权重向量w＝g(x；θb)，其中，函数g(·)表示波段注意力学习的运算函数，θb表示波段注意力学习模块的待优化参数；
S2、波段重加权：利用所述权重向量w对所述波段数据x进行逐波段的加权运算得到波段注意力映射
S3、光谱波段重建：采用重构网络模块对所述波段注意力映射z进行非线性重构，得到波段的重构输出其中，f(·)表示重构网络的运算函数，θc表示重构网络模块中的待优化参数；
S4、模型优化及代表性波段选择：利用波段的重构输出原始的波段数据x以及权重向量w构建最小化损失函数模型，其中，损失函数为：
式中，λ表示正则系数，为F范数，用于表示波段数据x和重构输出/>之间的相似程度，||·||1表示L1范数，用于约束权重向量w使其具有稀疏性；对所述最小化损失函数模型进行优化求解，根据优化后的波段权重的大小对各波段进行排序，从而选择权重最大的波段子集。
进一步地，所述步骤S1中，所述波段注意力学习模块采用多层神经网络结构，所述神经网络的输入为光谱波段数据，输出层采用Softmax激活函数，保证输出为与原始波段长度一致的归一化向量，所述Softmax激活函数为：
式中，hj表示所述神经网络的输出层中第j个神经元的输出，j＝1，…，b，b表示波段数量，wj表示输出的第j个波段对应的权值。
进一步地，所述步骤S3中，采用自编码器结构实现所述重构网络模块。
进一步地，所述步骤S4中，采用梯度下降优化方法对所述最小化损失函数模型中的参数进行逐层优化求解，其中，θc和θb的优化过程为：
式中，表示求偏导，η表示学习率。
进一步地，对于只有光谱向量可用的高光谱图像数据，还包括：
在所述步骤S1中，所述波段注意力学习模块采用全连接神经网络，所述全连接神经网络包括3个全连接层，其中，前两层中每个神经元均采用ReLu非线性激活函数，输出层为神经元数量与波段数据相同的线性层；
在所述步骤S3中，所述重构网络模块包括5个全连接层，其中，前4层中每个神经元均采用ReLu非线性激活函数，输出层采用Sigmoid激活函数保证输出的归一化特性，所述Sigmoid激活函数为：
式中，hi表示所述重构网络的输出层中第i个神经元的输出，i＝1，…，S，S表示高光谱图像数据的样本数量，由此得到重建后的波段数据
进一步地，对于包含丰富空间信息的三维高光谱图像数据，还包括：
在所述步骤S1中，所述波段注意力学习模型采用卷积神经网络，所述卷积神经网络包括2个卷积层，每个卷积层均采用3×3的卷积核和ReLu激活函数；在所述卷积神经网络后连接有一个全局池化层，所述全局池化层通过对各卷积通道的特征图求均值将三维空间数据转换为一维向量；所述全局池化层后连接有2个全连接层，用于产生波段权重向量w；
在所述步骤S2中，对波段数据进行重加权时，首先将权重向量w扩展为三维形式，然后计算波段注意力映射
在所述步骤S3中，所述重构网络模块包含两个3×3的非线性卷积层、两个3×3的非线性反卷积层，以及一个输出层，其中，所述输出层为一个1×1的线性卷积层，输出重建后的波段数据
本发明还提供一种基于深度学习的高光谱图像波段选择框架，包括波段注意力学习模块、波段重加权模块、重构网络模块、以及波段选择模块，其中，所述注意力学习模块利用原始的波段数据通过神经网络学习得到表征各波段重要性的权重向量；所述波段重加权模块用于将权重向量与波段数据进行逐波段的加权运算，得到波段注意力映射；所述重构网络模块利用波段注意力映射进行非线性重构，得到波段的重构输出；所述波段选择模块利用波段的重构输出、原始的波段数据、以及权重向量构建优化模型，待模型收敛之后，根据优化后的波段权重选择波段子集。
进一步地，所述波段注意力学习模块由多层神经网络构成，所述神经网络的输入为光谱波段数据，输出层采用Softmax激活函数，保证输出为与原始波段长度一致的归一化向量。
进一步地，所述重构网络模块由神经网络构成，并采用自编码器结构实现。
进一步地，所述波段选择模块构建的优化模型为最小化损失函数模型，并采用梯度下降优化方法对所述最小化损失函数模型中的参数进行逐层优化求解，得到优化后的波段权重向量。
本发明提供的技术方案带来的有益效果是：
(1)本发明采用注意力机制学习波段间的非线性相关性，更加符合高光谱图像的非线性特性，有利于准确估计光谱波段的重要性；
(2)本发明将波段权重学习转换为高光谱图像的光谱重建，提出了一个通用的波段选择框架，也适用于除波段选择以外的其他特征选择任务；
(3)本发明提供了一种端到端的框架，整合了特征提取与波段选择，避免了噪声波段的影响，结构设计灵活，且可以与任意神经网络模型结合；
(4)本发明采用全波段输入的方式，考虑了波段间的全局关系，避免了单波段处理时对波段连续性的破坏。
附图说明
图1是本发明实施例一提供的基于深度学习的高光谱图像波段选择(BS-Net)方法的流程框图；
图2是本发明实施例一提供的基于深度学习的高光谱图像波段选择框架的结构图；
图3是本发明实施例二提供的基于全连接神经网络的高光谱图像波段选择(BS-Net-FC)方法的流程框图；
图4是本发明实施例二提供的采用BS-Net-FC方法进行波段选择的结果图；
图5是本发明实施例三提供的基于卷积神经网络的高光谱图像波段选择(BS-Net-Conv)方法的流程框图；
图6是本发明实施例三提供的采用BS-Net-Conv方法进行波段选择的结果图；
图7是本发明实施例三提供的采用多种方法进行波段选择的分类精度对比图；
图8是本发明实施例三提供的采用多种方法进行波段选择得到的波段子集的可视化与波段信息熵曲线的对比图；
图9是本发明实施例三提供的采用多种方法进行波段选择得到的波段子集的整体信息熵与平均光谱散度的对比图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。
实施例一
请参考图1，本发明的实施例提供了一种基于深度学习的高光谱图像波段选择方法，包括以下步骤：
S1、波段重要性评价：利用原始的高光谱图像(HSI)数据构造波段数据x，并将所述波段数据x作为训练集输入到波段注意力学习模块(Band attention module，BAM)中，得到表征各波段重要性的权重向量w＝g(x；θb)，其中，函数g(·)表示BAM运算函数，θb表示BAM的待优化参数；所述BAM由多层神经网络构成，所述神经网络的输入为光谱波段数据，输出层采用Softmax激活函数，保证输出为与原始波段长度一致的归一化向量。
S2、波段重加权：利用所述权重向量w对所述波段数据x进行逐波段的加权运算(Bandreweighting，BRW)得到波段注意力映射通过将学习得到的权值乘以对应的光谱波段，使得权重越大的波段得到加强而权值越小的波段受到抑制，由此将波段数据与其对应的权重联系起来。
S3、光谱波段重建：采用重构网络(Reconstruction network，RecNet)对所述波段注意力映射z进行非线性重构，得到波段的重构输出其中，f(·)表示重构网络的运算函数，θc表示RecNet的待优化参数；本实施例采用自编码器结构实现所述重构网络，即先采用编码器对输入z进行编码，然后采用解码器解码得到重构输出/>
S4、模型优化及代表性波段选择：利用波段的重构输出原始的波段数据x以及权重向量w构建最小化损失函数模型，其中损失函数为：
式中，λ表示正则系数，为F范数，用于表示波段数据x和重构输出/>之间的相似程度，||·||1表示L1范数，用于约束权重向量w使其具有稀疏性；采用梯度下降优化方法对所述模型中的参数进行逐层优化：
式中，表示求偏导，η表示学习率；在模型收敛之后，根据优化后的波段权重的大小对各波段进行排序，从而选择权重最大的波段子集。
请参考图2，本实施例还提供一种基于深度学习的高光谱图像波段选择框架，包括波段注意力学习(BAM)模块1、波段重加权(BRW)模块2、重构网络(RecNet)模块3、以及波段选择模块4，其中，BAM模块1利用原始的波段数据通过神经网络学习得到表征各波段重要性的权重向量；BRW模块2用于将权重向量与波段数据进行逐波段的加权运算，得到波段注意力映射；RecNet模块3利用波段注意力映射进行非线性重构，得到波段的重构输出；波段选择模块4利用波段的重构输出、原始的波段数据、以及权重向量构建优化模型，待模型收敛之后，根据优化后的波段权重选择波段子集。
需要说明的是，本实施例借鉴自然语言处理中的注意力机制，设计用于学习波段重要性的多层神经网络模块，即BAM模块1，避免了对波段进行手工建模的困扰，所述BAM模块1采用全波段输入，保证了光谱波段的连续特性；同时，神经网络内部采用非线性的激活函数，充分对波段的非线性关系进行建模，使得输出波段的重要性分布具有较好的可解释性；最后，输出层采用Softmax激活函数，保证输出为与原始波段长度一致的归一化向量。
BRW模块2将BAM模块1学习得到的波段权重乘以相应的光谱波段，使得权重越大的波段得到加强而权重越小的波段受到抑制，并在波段选择模块构建优化模型时对权重向量进行稀疏性约束，迫使那些对于波段重建无贡献的波段的权重趋于0；请参考图1，所述BRW模块在整个框架中体现为从输入到BAM输出的跳跃连接。
RecNet模块3利用重构网络从注意力映射中重建波段数据，从而在波段选择模块根据重建误差构建优化模型，最终形成一个端到端可训练的多分枝深度神经网络结构。
波段选择模块4构建的优化模型为最小化损失函数模型，并采用梯度下降优化方法对所述最小化损失函数模型中的参数进行逐层优化求解，得到优化后的波段权重向量。
实施例二
请参考图3，本实施例针对只有光谱向量(即像素)可用的情况，提供了一种基于全连接神经网络的波段选择方法，其中，所述BAM模块以及RecNet模块采用多层全连接神经网络的瓶颈结构，具体地：
在所述步骤S1中，构造由光谱向量组成的训练集时，将三维高光谱数据按光谱维展开为二维矩阵其中，xi表示一个有b个波段组的训练样本；通过BAM获取波段权重，所述BAM采用全连接神经网络，包含3个全连接层，其中，在前两层中，每个神经元采用ReLu非线性激活函数ReLu(h)＝max(0，h)，h表示神经元的输出；所述BAM的最后一层(输出层)是一个由b个神经元组成的线性层，因此所述输出层中每一个神经元的输出即为对应波段的权重，本实施例为保证波段权重呈概率分布，所述输出层采用Softmax激活函数：
式中，hj表示所述BAM的输出层中第j个神经元的输出，j＝1，…，b，wj表示BAM输出的波段权值。
在所述步骤S3中，通过RecNet对波段进行重建时，RecNet包括5个全连接层，其中，前4层的激活函数为ReLu非线性激活函数，最后一层(输出层)使用Sigmoid激活函数来保证输出的归一化特性，所述Sigmoid函数为：
其中，hi表示所述RecNet的输出层中第i个神经元的输出，i＝1，…，S，由此得到重建后的波段数据
其余过程与实施例一相同，利用本实施例提供的基于全连接神经网络的波段选择方法(简称为BS-Net-FC)对常用的高光谱数据集进行波段选择，结果请参考图4，所述高光谱数据集为Indian Pines(200波段)；其中图4左图为所述BS-Net-FC方法在步骤S4的收敛情况，可以看到随着迭代次数的增加，损失函数模型的损失不断减少直至收敛，同时所选出的波段的分类精度(OA)不断增加，收敛完成后分类精度从40％提升至65％左右；图4右图为波段权重的变化情况，随着迭代次数的增加波段越来越稀疏，那些对重建有贡献的波段被逐渐凸显出来。
实施例三
本实施例针对包含丰富空间信息的高光谱图像，为同时利用空间和光谱信息，提出了基于卷积神经网络的波段选择方法，请参考图5，其中：
在步骤S1中，利用空间-光谱数据构造训练集，具体地，所述空间-光谱数据以三维矩阵形式存储，包括二维的空间位置信息和一维的光谱信息；采用a×a大小的滑动窗口取重叠的3D空间-光谱数据组成训练集其中，每一个xi的大小为a×a×b；
通过BAM获取波段权重时，针对三维图像数据，使用卷积层实现对空间和光谱信息的提取，具体地，BAM中包含2个卷积层(Conv1和Conv2)，每个卷积层均采用3×3的卷积核和ReLu激活函数；为了将卷积输出转换为向量数据以产生波段权重，在Conv2后接一个全局池化层(GP)，所述GP通过对各卷积通道的特征图求均值将三维空间数据转换为一维向量，并在所述GP层后使用两个全连接层(FC)用于产生波段权重向量w；
在步骤S2中，通过BRW对波段进行重加权时，先将w扩展为三维形式，即1×1×b大小，然后计算得到波段注意力映射其中，/>表示逐元素的加权运算，zi＝xi×w；
在步骤S3中，通过RecNet对波段进行重建时，所述RecNet包含两个3×3的非线性卷积层(Conv1-1和Conv1-2)、两个3×3的非线性反卷积层(DeConv1-2和DeConv1-1)，所述RecNet的输出层(Conv2-1)为一个1×1的线性卷积层，输出重建后的波段数据
其余过程与实施例一相同，利用本实施例提供的基于卷积神经网络的波段选择方法(简称为BS-Net-Conv)对Indian Pines数据集进行波段选择，结果请参考图6，其中图6左图为所述BS-Net-Conv方法在步骤S4的收敛情况，随着迭代次数的增加，损失不断减少直至收敛，同时收敛完成后分类精度从50％提升至66％左右；图6右图为波段权重的变化情况，与图4右图类似，随着迭代次数的增加波段也越来越稀疏，由于所述BS-Net-Conv方法与实施例二提供的BS-Net-FC方法对特征处理的侧重点不同，最终选出的波段也不尽相同。
本实施例还提供了分别利用实施例二提出的BS-Net-FC方法以及本实施例提出的BS-Net-Conv方法对Indian Pines数据集进行波段选择，与已有的波段选择方法进行对比分析的结果，其中，其余方法包括基于搜索的方法(MOBS)、基于聚类的方法(ISSC和SNMF)、以及基于排序的方法(SpaBS、MVPCA和OPBS)。上述所有方法均在Python 3.5环境下实现，且均在同一台电脑上运行；其中，所述BS-Net-FC方法以及所述BS-Net-Conv方法基于TensorFlow 1.6实现。采用的波段量化评价指标包括分类精度(OA、AA和Kappa)、信息熵(Entropy)以及平均光谱散度(MSD)等。
有效的波段子集必须有助于分类精度的提高，因此分类精度是评价波段选择方法最有效且直接的方法，本实施例中的分类精度均为支持向量机(SVM)使用5％训练样本的分类精度。请参考图7，为了分析在不同波段子集大小下的性能，让所有方法均选择3至30个波段并计算OA、AA和Kappa，同时与全波段的分类精度进行对比。图7中，BS-Net-FC以及BS-Net-Conv方法具有最好的分类精度，且当波段子集大小增加时，两种方法的分类精度将大于全波段的分类精度，而其他波段选择方法则难以达到优于全波段的精度，充分说明采用BS-Net-FC和BS-Net-Conv方法选出的波段子集更加准确且更有利于分类。
本实施例还在Indina Pines数据集上对不同波段选择方法进行了量化评价，首先，将不同方法选出的波段子集在光谱上的分布进行了可视化，如图8的上图所示，由高光谱的物理特性可知，相邻的波段通常具有较高的相关性，因此，一个有效的波段选择方法应该尽可能的避开相邻波段。显然图中BS-Net-FC以及BS-Net-Conv选出的波段具有较为均匀的分布，且包含较少的相邻波段；相反，比如MVPCA和SpaBS则包含了大量相邻波段，导致其分类精度不高。另外，在图8的下图中给出了各个波段的信息熵曲线，所述信息熵作为一种信息含量的度量手段，反映了波段的信息含量，在波段选择过程中，希望可以避开那些信息量较少的波段，比如图中A[104，105]、B[144，145]、C[198，199，200]等处的波段，这些波段可以视为噪声波段。对比图8的上下两图，BS-Net-FC以及BS-Net-Conv选出的波段均分布在信息熵较大的区域，从而较好地避开了噪声波段。
为了对选择的波段进行综合评价，请参考图9，本实施例还计算了整体信息熵和平均光谱散度(MSD)，可以看到BS-Net-FC以及BS-Net-Conv选出的波段具有较好的整体信息熵以及平均光谱散度。MVPCA获得了最好的整体信息熵，这主要是由于其选择的波段连续的分布在熵较大区域，导致选出的波段子集相关性较大；而SNMF获得了最好的MSD，这是由于选择了噪声波段，根据MSD定义，噪声波段会显著提高MSD，但会导致较差的分类精度。
本发明提出的波段选择方法可以准确有效地选出重要波段，且可以有效提高分类精度，与现有的多种波段选择方法相比，本发明提供的BS-Net方法显著优于这些方法，从应用前景分析，BS-Net可以应用于高光谱图像的降维中，从而为高光谱图像的存储和分析提供便利。作为端到端的模型，该方法还可以作为一种预处理方法无缝地与现有的各种深度学习方法相结合，从而提高基于深度学习的高光谱图像处理的效率。
在本文中，所涉及的前、后、上、下等方位词是以附图中零部件位于图中以及零部件相互之间的位置来定义的，只是为了表达技术方案的清楚及方便。应当理解，所述方位词的使用不应限制本申请请求保护的范围。
在不冲突的情况下，本文中上述实施例及实施例中的特征可以相互结合。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于深度学习的高光谱图像波段选择方法，其特征在于，包括以下步骤：
S1、波段重要性评价：利用原始的高光谱图像数据构造波段数据x，并将所述波段数据x作为训练集输入到波段注意力学习模块中，得到表征各波段重要性的权重向量w＝g(x；θb)，其中，函数g(·)表示波段注意力学习的运算函数，θb表示波段注意力学习模块的待优化参数；
S2、波段重加权：利用所述权重向量w对所述波段数据x进行逐波段的加权运算得到波段注意力映射
S3、光谱波段重建：采用重构网络模块对所述波段注意力映射z进行非线性重构，得到波段的重构输出其中，f(·)表示重构网络的运算函数，θc表示重构网络模块中的待优化参数；
S4、模型优化及代表性波段选择：利用波段的重构输出原始的波段数据x以及权重向量w构建最小化损失函数模型，其中，损失函数为：
式中，λ表示正则系数，为F范数，用于表示波段数据x和重构输出/>之间的相似程度，||·||1表示L1范数，用于约束权重向量w使其具有稀疏性；对所述最小化损失函数模型进行优化求解，根据优化后的波段权重的大小对各波段进行排序，从而选择权重最大的波段子集；
所述步骤S1中，所述波段注意力学习模块采用多层神经网络结构，所述神经网络的输入为光谱波段数据，输出层采用Softmax激活函数，保证输出为与原始波段长度一致的归一化向量，所述Softmax激活函数为：
式中，hj表示所述神经网络的输出层中第j个神经元的输出，j＝1,...,b，b表示波段数量，wj表示输出的第j个波段对应的权值。
2.根据权利要求1所述的基于深度学习的高光谱图像波段选择方法，其特征在于，所述步骤S3中，采用自编码器结构实现所述重构网络模块。
3.根据权利要求1所述的基于深度学习的高光谱图像波段选择方法，其特征在于，所述步骤S4中，采用梯度下降优化方法对所述最小化损失函数模型中的参数进行逐层优化求解，其中，θc和θb的优化过程为：
式中，表示求偏导，η表示学习率。
4.根据权利要求1所述的基于深度学习的高光谱图像波段选择方法，其特征在于，对于只有光谱向量可用的高光谱图像数据，还包括：
在所述步骤S1中，所述波段注意力学习模块采用全连接神经网络，所述全连接神经网络包括3个全连接层，其中，前两层中每个神经元均采用ReLu非线性激活函数，输出层为神经元数量与波段数据相同的线性层；
在所述步骤S3中，所述重构网络模块包括5个全连接层，其中，前4层中每个神经元均采用ReLu非线性激活函数，输出层采用Sigmoid激活函数保证输出的归一化特性，所述Sigmoid激活函数为：
式中，hi表示所述重构网络的输出层中第i个神经元的输出，i＝1,...,S，S表示高光谱图像数据的样本数量，由此得到重建后的波段数据
5.根据权利要求1所述的基于深度学习的高光谱图像波段选择方法，其特征在于，对于包含丰富空间信息的三维高光谱图像数据，还包括：
在所述步骤S1中，所述波段注意力学习模型采用卷积神经网络，所述卷积神经网络包括2个卷积层，每个卷积层均采用3×3的卷积核和ReLu激活函数；在所述卷积神经网络后连接有一个全局池化层，所述全局池化层通过对各卷积通道的特征图求均值将三维空间数据转换为一维向量；所述全局池化层后连接有2个全连接层，用于产生波段权重向量w；
在所述步骤S2中，对波段数据进行重加权时，首先将权重向量w扩展为三维形式，然后计算波段注意力映射
在所述步骤S3中，所述重构网络模块包含两个3×3的非线性卷积层、两个3×3的非线性反卷积层，以及一个输出层，其中，所述输出层为一个1×1的线性卷积层，输出重建后的波段数据
6.一种基于深度学习的高光谱图像波段选择***，用于实现如权利要求1-5任一项所述的基于深度学习的高光谱图像波段选择方法，其特征在于，包括波段注意力学习模块、波段重加权模块、重构网络模块、以及波段选择模块，其中，所述注意力学习模块利用原始的波段数据通过神经网络学习得到表征各波段重要性的权重向量；所述波段重加权模块用于将权重向量与波段数据进行逐波段的加权运算，得到波段注意力映射；所述重构网络模块利用波段注意力映射进行非线性重构，得到波段的重构输出；所述波段选择模块利用波段的重构输出、原始的波段数据、以及权重向量构建优化模型，待模型收敛之后，根据优化后的波段权重选择波段子集。
7.根据权利要求6所述的基于深度学习的高光谱图像波段选择***，其特征在于，所述波段注意力学习模块由多层神经网络构成，所述神经网络的输入为光谱波段数据，输出层采用Softmax激活函数，保证输出为与原始波段长度一致的归一化向量。
8.根据权利要求6所述的基于深度学习的高光谱图像波段选择***，其特征在于，所述重构网络模块由神经网络构成，并采用自编码器结构实现。
9.根据权利要求6所述的基于深度学习的高光谱图像波段选择***，其特征在于，所述波段选择模块构建的优化模型为最小化损失函数模型，并采用梯度下降优化方法对所述最小化损失函数模型中的参数进行逐层优化求解，得到优化后的波段权重向量。
CN201911232855.6A 2019-12-04 2019-12-04 一种基于深度学习的高光谱图像波段选择方法 Active CN111191514B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911232855.6A CN111191514B (zh) 2019-12-04 2019-12-04 一种基于深度学习的高光谱图像波段选择方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911232855.6A CN111191514B (zh) 2019-12-04 2019-12-04 一种基于深度学习的高光谱图像波段选择方法

Publications (2)

Publication Number Publication Date
CN111191514A CN111191514A (zh) 2020-05-22
CN111191514B true CN111191514B (zh) 2023-09-01

Family

ID=70710897

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911232855.6A Active CN111191514B (zh) 2019-12-04 2019-12-04 一种基于深度学习的高光谱图像波段选择方法

Country Status (1)

Country Link
CN (1) CN111191514B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652871B (zh) * 2020-06-03 2023-07-04 宁波慈溪生物医学工程研究所 基于ivcm图像的角膜神经弯曲度测量***及方法
CN112304897B (zh) * 2020-09-14 2021-09-14 中国人民解放军战略支援部队航天工程大学 一种用于燃烧场二维重建的光谱选择方法和***
CN112200063A (zh) * 2020-09-30 2021-01-08 湖南理工学院 一种基于神经网络和注意力机制的高效波段加权预处理方法
CN112884035B (zh) * 2021-02-07 2023-01-24 山东科技大学 一种噪声鲁棒的高光谱图像波段选择方法
CN113111834B (zh) * 2021-04-23 2024-04-05 大连海事大学 一种基于注意力的全局局部光谱权重的波段选择方法
CN113418873B (zh) * 2021-06-23 2022-05-17 中国科学院长春光学精密机械与物理研究所 一种高光谱成像***及重构光谱成像方法
CN113537239B (zh) * 2021-07-08 2022-02-18 宁波大学 一种基于全局关系感知注意力的高光谱图像波段选择方法
CN113496218B (zh) * 2021-07-27 2023-10-24 浙江省淡水水产研究所 一种高光谱遥感敏感波段选择方式的评价方法和***
CN113686810B (zh) * 2021-08-24 2024-04-16 重庆城市管理职业学院 一种基于卷积神经网络的近红外光谱波长选择方法
CN113470036B (zh) * 2021-09-02 2021-11-23 湖南大学 基于知识蒸馏的高光谱图像无监督波段选择方法及***
CN113804657B (zh) * 2021-09-03 2022-11-29 中国科学院沈阳自动化研究所 一种基于多元回归结合稀疏自编码器光谱特征降维方法
CN114418027B (zh) * 2022-01-26 2024-03-26 浙大城市学院 一种基于波段注意力机制的高光谱图像特征波段选择方法
CN114403866B (zh) * 2022-01-28 2022-08-19 广东工业大学 一种基于近红外光波长变换的无创血糖预测装置
CN115457311B (zh) * 2022-08-23 2023-08-29 宁波大学 一种基于自表达迁移学习的高光谱遥感影像波段选择方法
CN116306819B (zh) * 2023-03-22 2024-05-03 大连海事大学 基于光谱重构的高光谱交叉定标方法、装置及电子设备
CN116416465B (zh) * 2023-03-23 2023-09-15 齐齐哈尔大学 一种分层拆分模块与跨域注意力机制结合的高光谱图像分类方法
CN117252785B (zh) * 2023-11-16 2024-03-12 安徽省测绘档案资料馆(安徽省基础测绘信息中心) 一种基于多源sar与光学影像联合的去云方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101922831B1 (ko) * 2018-01-31 2018-11-27 서울시립대학교 산학협력단 콘크리트 상태를 판정하는 영상분석장치 및 영상분석방법
CN109376804A (zh) * 2018-12-19 2019-02-22 中国地质大学（武汉） 基于注意力机制和卷积神经网络高光谱遥感图像分类方法
CN110427818A (zh) * 2019-06-17 2019-11-08 青岛星科瑞升信息科技有限公司 高光谱数据支持的深度学习卫星数据云检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6152078B2 (ja) * 2014-08-27 2017-06-21 プレキシオン株式会社 光音響画像化装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101922831B1 (ko) * 2018-01-31 2018-11-27 서울시립대학교 산학협력단 콘크리트 상태를 판정하는 영상분석장치 및 영상분석방법
CN109376804A (zh) * 2018-12-19 2019-02-22 中国地质大学（武汉） 基于注意力机制和卷积神经网络高光谱遥感图像分类方法
CN110427818A (zh) * 2019-06-17 2019-11-08 青岛星科瑞升信息科技有限公司 高光谱数据支持的深度学习卫星数据云检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Yaoming Cai 等.BS-Nets: An End-to-End Framework for Band Selection of Hyperspectral Image.IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING.2019,第58卷(第58期),1969-1984. *

Also Published As

Publication number Publication date
CN111191514A (zh) 2020-05-22

Similar Documents

Publication Publication Date Title
CN111191514B (zh) 一种基于深度学习的高光谱图像波段选择方法
Cai et al. BS-Nets: An end-to-end framework for band selection of hyperspectral image
WO2018010434A1 (zh) 一种图像分类方法及装置
EP3921776B1 (en) Method and system for classification and visualisation of 3d images
CN105046276B (zh) 基于低秩表示的高光谱图像波段选择方法
CN101546332B (zh) 基于量子遗传优化的流形降维医学图像检索方法
Luo et al. Orthogonally constrained matrix factorization for robust unsupervised feature selection with local preserving
CN109190511B (zh) 基于局部与结构约束低秩表示的高光谱分类方法
CN103646256A (zh) 一种基于图像特征稀疏重构的图像分类方法
Feng et al. Dual-graph convolutional network based on band attention and sparse constraint for hyperspectral band selection
Zhao et al. PCA dimensionality reduction method for image classification
Zhang et al. Dual-constrained deep semi-supervised coupled factorization network with enriched prior
CN114937173A (zh) 一种基于动态图卷积网络的高光谱图像快速分类方法
Van Gorp et al. Active deep probabilistic subsampling
Zhang et al. Large-scale underwater fish recognition via deep adversarial learning
CN111680579A (zh) 一种自适应权重多视角度量学习的遥感图像分类方法
Chen et al. An Offset Graph U-Net for Hyperspectral Image Classification
Goumiri et al. A new hybrid model of convolutional neural networks and hidden Markov chains for image classification
CN115457311A (zh) 一种基于自表达迁移学习的高光谱遥感影像波段选择方法
CN116206158A (zh) 基于双超图神经网络的场景图像分类方法及***
CN113611368B (zh) 基于2d嵌入的半监督单细胞聚类方法、装置、计算机设备
Klawonn et al. A domain decomposition-based CNN-DNN architecture for model parallel training applied to image recognition problems
Sarpong et al. Hyperspectral image classification using second-order pooling with graph residual unit network
You et al. Robust structure low-rank representation in latent space
Singh et al. A Pre-processing framework for spectral classification of hyperspectral images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant