CN110516596B - 基于Octave卷积的空谱注意力高光谱图像分类方法 - Google Patents

基于Octave卷积的空谱注意力高光谱图像分类方法 Download PDF

Info

Publication number
CN110516596B
CN110516596B CN201910797299.0A CN201910797299A CN110516596B CN 110516596 B CN110516596 B CN 110516596B CN 201910797299 A CN201910797299 A CN 201910797299A CN 110516596 B CN110516596 B CN 110516596B
Authority
CN
China
Prior art keywords
octave
neural network
training
hyperspectral image
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910797299.0A
Other languages
English (en)
Other versions
CN110516596A (zh
Inventor
唐旭
孟凡波
马晶晶
焦李成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201910797299.0A priority Critical patent/CN110516596B/zh
Publication of CN110516596A publication Critical patent/CN110516596A/zh
Application granted granted Critical
Publication of CN110516596B publication Critical patent/CN110516596B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开的一种基于Octave卷积的空谱注意力高光谱图像分类方法，解决了现有技术相同类别间距大、不同类别间距小、分类准确率低的问题。方案是：待分类图像输入与数据预处理、划分训练集与测试集、Octave卷积神经网络搭建、确定Octave卷积神经网络损失函数、Octave卷积神经网络的训练更新、测试集数据测试，完成高光谱图像分类。本发明使用Octave卷积操作来强化特征表示，引入空间注意力机制和光谱注意力机制，使网络更准确的找到对于分类更有利并且包含信息更加全面详细的区域。本发明分类精度高，鲁棒性强，可应用于高光谱图像数据的分析和管理。

Description

基于Octave卷积的空谱注意力高光谱图像分类方法
技术领域
本发明属于图像处理技术领域，特别涉及到高光谱图像的内容分类，具体是一种基于Octave卷积的空间光谱注意力高光谱图像分类方法，可应用于高光谱图像数据的分析和管理。
背景技术
随着高光谱图像像素点的分辨率不断提高,可以从高光谱图像中获得更多有用的数据和信息。而针对不同应用的需求，对高光谱图像的处理也有着不同的要求,所以为了有效地对这些高光谱图像数据进行分析和管理，需要为高光谱图像的每一个像素点贴上语义标签。而高光谱图像分类就是解决该类问题的一种重要途径。高光谱图像分类指的就是从一张高光谱图像中区分出具有相似特征的像素点，并正确的对这些像素点进行分类。相较于自然图像，高光谱图像本身有存在着自身的特点，其分类结果由于高光谱图像本身的空间分辨率的限制以及同物异谱、异物同谱现象的存在，常常会造成错分的现象，这是由高光谱图像本身的复杂性造成的。因此，如何更精确地对高光谱图像进行准确分类也成为了当前的一项巨大挑战。
基于卷积神经网络的分类，是指将需要训练的一些数据，分批次的输入到卷积神经网络当中，通过大批量数据的反复训练，使得目标优化损失函数不断降低，从而实现分类的目的。如今已经有很多较为成熟、著名的卷积神经网络被提出，如2015年由何凯明等人提出的用于图像分类任务的深度残差卷积神经网络,被大家广泛使用。深度残差卷积神经网络有效的解决了图像分类任务所提取的特征包含信息不足、网络训练梯度消失的问题，但是此网络仍存在因图像数据复杂而导致的相同类别间距大、不同类别间距小、图像分类准确率低的问题以及因训练样本少而导致的网络鲁棒性较低、容易陷入过拟合的问题。
现有的卷积神经网络虽然能够实现高光谱像素级分类的任务，但是在学习图像语义信息的时候仍然存在三方面的不足：一是由于高光谱图像复杂性导致的分类信息定位不准确，进行分类任务时造成同一类别的间距较大，不同类别的间距较小；二是对于高光谱特征提取时，对提取的特征的利用率不足造成信息丢失或者保留过多无关信息造成信息冗余，影响分类结果，同时卷神经网络在训练时常常会陷入局部最优区域；三是可利用的高光谱数据比较少，而训练卷积神经网络通常需要大量的训练数据，少量的高光谱数据不能满足卷积神经网络的数据需求。这三个不足会导致在实际高光谱图像的分类过程中出现鲁棒性较差和产生错分的问题。
发明内容
本发明目的在于针对上述已有技术存在的问题，提出一种分类准确率更高的基于Octave卷积的空谱注意力机制深度学习的高光谱图像分类方法。
本发明是一种基于Octave卷积的空谱注意力机制深度学习的高光谱图像分类方法，其特征在于，包括有如下步骤：
(1)图像输入与数据预处理：输入待分类的高光谱图像，以每个像素点为中心进行逐像素点滑动，滑动得到的所有图像块用于建立高光谱图像库{I1,I2,…,In,…,IN}，图像库中每一个图像块对应的类别为{Y1,Y2,…,Yn,…,YN},并对建立的高光谱图像库进行归一化处理，其中In代表图像库中第n个图像块，Yn代表图像库中第n个图像块对应的类别，n代表图像库中第n样本编号，n∈[0,N]，N代表高光谱图像库的图像块总数目；
(2)划分训练集与测试集：从归一化处理后的每类高光谱图像中随机挑选指定数量的高光谱图像样本，构建训练样本集{T1,T2,…,Tj,…,TM}，将剩余的高光谱图像作为测试样本集{t1,t2,…td,…,tm}，其中Tj表示训练样本中第j个样本，j∈[0,M]，td表示测试样本中第d个样本，d∈[0,m]，M为训练样本的总个数，m为测试样本的总个数，m<N，M<N；
(3)Octave卷积神经网络搭建：搭建一个Octave卷积神经网络，网络的输入端为Octave卷积模块，网络的输出端为全连接层的输出结果，在网络的输入端与输出端之间包含两条支路，其中一条支路依次经过空间注意力模块和像素级注意力模块，另一条支路依次经过光谱注意力模块和像素级注意力模块；
(4)确定Octave卷积神经网络损失函数lossop：设置损失函数包括将经过特征融合后提取的特征输入到全连接层进而得到的输出分类结果与实际结果的交叉熵loss1、将经过空间注意力模块和像素级注意力模块提取的特征输入到全连接层进而得到的输出分类结果与实际结果的交叉熵loss2、将经过光谱注意力模块和像素级注意力模块提取的特征输入到全连接层进而得到的输出分类结果与实际结果的交叉熵loss3和带有超参数的卷积神经网络权重W的L2范数四部分，网络的损失函数由以上四部分依次相加构成；
(5)训练更新：设置网络训练的迭代次数为P，通过梯度下降优化对Octave卷积神经网络进行迭代训练，直到损失函数lossop不下降或训练轮次数达到迭代次数，得到训练好的Octave卷积神经网络；
(6)数据测试：将经过归一化处理后的测试样本集输入到训练好的Octave卷积神经网络当中，得到分类结果，完成图像分类。
本发明采用了Octave卷积操作，并融入了注意力机制，设置了一个包含Octave卷积操作和注意力机制的深度卷积网络模型，此模型仅需要少量的训练数据就能够训练出效果较好的模型，Octave卷积操作将高光谱图像数据的高频部分和低频部分进行了有效的结合，提取的特征包含的信息更加全面于详细，利用率更高，同时注意力机制可促使网络更快速有效的找到对于分类任务更有利的特征区域，使网络捕捉的信息更加全面准确，有效解决了当前高光谱图像分类任务中分类准确率较低、鲁棒性不强的问题。
本发明与现有的技术相比具有以下优点：
特征表示增强：本发明首次将Octave卷积操作引入到高光谱图像分类方法中来，在Octave卷积神经网络中专门设有Octave卷积模块，由于是基于Octave卷积操作来获取高光谱图像特征，将高光谱图像的高频信息和低频信息进行了合理有效的结合在一起，使高光谱图像特征包含的信息更加全面和详细，增强了图像的特征表示。
分类准确率提高：本发明将注意力机制引入到高光谱图像分类方法中来，在Octave卷积神经网络中专门设有空间注意力机制模块、光谱注意力机制模块和像素级注意力机制模块，由于引入注意力机制原理，能够促使网络快速准确的找到已获取的高光谱图像特征当中特征最为明显的区域，使对于分类更有利的特征更加集中于某一带有明显语义信息的区域，降低了损失函数陷入局部最优的概率，增强了高光谱图像分类的准确性。
鲁棒性增强：本发明设计了一个更有效的损失函数，新的损失函数利用三个交叉熵损失函数促使网络学习到对高光谱图像分类更有效的特征，加强了图像的特征表示，进一步明确了分类任务，目的性更强，能够适应复杂的高光谱图像数据，极大的增强了网络的鲁棒性。
训练样本少：本发明仅需要少量的样本就可以训练出效果较好的网络模型，对高光谱图像的数据量要求较小。
附图说明
图1是本发明的实现流程图；
图2是本发明中构建的Octave卷积神经网络结构图；
图3是本发明中实验用的高光谱图像，其中图3(a)为原始的高光谱图像，图3(b)为原始的高光谱图像对应像素点的类标签；
图4是Octave卷积模块结构图；
图5是空间注意力机制模块结构图；
图6是谱间注意力机制模块结构图；
图7是像素级注意力机制模块结构图。
具体实施方式
以下结合附图对本发明的技术方案和效果作详细描述。
实施例1
近几十年来，高光谱分辨率为区分不同材料和对象提供过了有用的信息，高光谱图像分类方法在地球观测中得到了广泛的应用，尤其在城市发展、精准农业、土地变化检测、资源管理等方面具有重要的意义。目前存在的高光谱图像分类的方法中，参见图1，经过构建高光谱图像库、划分训练样本集和测试样本集、搭建并训练卷积神经网络模型、对训练好的卷积神经网络模型进行测试等完成对于高光谱图像的分类，但由于高光谱图像的复杂性，导致分类信息定位不准确，训练的网络很容易陷入到局部最优的问题；同时由于网络深度较深、网络操作比较复杂，提取的特征包含信息不足，导致进行分类任务时出现同一类别的间距较大，不同类别的间距较小的问题，容易出现错误分类的现象，鲁棒性较差。
针对这个现状，本发明展开了研究与探讨，提出一种基于Octave卷积的空谱注意力机制深度学习的高光谱图像分类方法，参见图2，包括有如下步骤：
(1)图像输入与数据预处理：输入待分类的高光谱图像，高光谱图像光谱波段较多，且不同波段差异较大，同时受到光照、气温等环境因素的影响，属于同一类别的高光谱图像的差异较大，属于不同类别的高光谱图像差异不大；针对高光谱图像数据，在高光谱图像上以每个像素点为中心进行逐像素点滑动，本例中选取9*9大小的滑框，滑框大小可根据实际情况进行调整，使用滑框进行逐像素点滑动，每次滑动的距离为一个像素点，每次滑动都可得到一个9*9大小的高光谱图像块，滑动得到的所有高光谱图像块用于建立高光谱图像库{I1,I2,…,In,…,IN}，图像库中每一个图像块对应的类别分别为{Y1,Y2,…,Yn,…,YN},针对建立好的高光谱图像库，找到图像库中所有像素点的最大值和最小值，利用所有像素点的值和两个像素点的最值对建立的高光谱图像库进行归一化处理，其中In代表图像库中第n个图像，Yn代表图像库中第n个图像对应的类别，n代表图像库中第n个样本编号，n∈[0,N]，N代表高光谱图像库的图片总数目。
(2)划分训练集与测试集：从归一化处理后的每个类别的高光谱图像中随机挑选指定数量的高光谱图像样本，构建训练样本集{T1,T2,…,Tj,…,TM}，简称训练集，将剩余的高光谱图像作为测试样本集{t1,t2,…td,…,tm}这个测试样本集为归一化的测试样本集，简称测试集。训练样本集中Tj表示训练样本中第j个样本，j∈[0,M]，测试样本集中td表示测试样本中第d个样本，d∈[0,m]，M为训练样本的总个数，m为测试样本的总个数，m<N，M<N。
本发明在挑选样本构建训练样本集时，针对每个类别分别采用随机挑选的方式，这样选取的训练样本集可以包含所有类别的样本，同时最大可能的将每个类别所包含的所有可能性样本都划分到训练样本集之中。
构建高光谱图像训练样本集时，随机选取指定数量的训练样本通常是本领域技术人员的常规做法，主要是因为高光谱图像数据中，高光谱图像样本少并且每种类别的样本的数量差别较大，若按比例划分训练样本集与测试样本集会导致样本少的高光谱类别的分类准确率很低。
(3)Octave卷积神经网络搭建：搭建一个Octave卷积神经网络，参见图2，网络的输入端为Octave卷积模块，网络的输出端为全连接层的输出结果，在网络的输入端与输出端之间包含两条支路，其中一条支路依次经过空间注意力模块和像素级注意力模块，另一条支路依次经过光谱注意力模块和像素级注意力模块。
本发明Octave卷积模块充分考虑了高光谱图像的高频信息和低频信息，通过卷积操作将高光谱图像的高频信息和低频信息进行了有效的结合，增强了图像的特征表示，使图像特征包含的信息更加全面；空间注意力模块和像素级注意力模块使整个网络的注意力集中于某一带有明显语义信息的区域，使整个网络在对高光谱分类过程中，充分利用对于分类最有利的区域，抓住最明显的特征区域，提高高光谱的分类准确率；光谱注意力模块和像素级注意力模块使整个网络的注意力集中于对于高光谱图像分类最有用的光谱波段，突出特征表示更良好的光谱波段，有利于提高高光谱分类准确率，提高网络的鲁棒性。
(4)确定Octave卷积神经网络损失函数lossop：设置损失函数包括将经过特征融合后提取的特征输入到全连接层进而得到的输出分类结果与实际结果的交叉熵loss1、将经过空间注意力模块和像素级注意力模块提取的特征输入到全连接层进而得到的输出分类结果与实际结果的交叉熵loss2、将经过光谱注意力模块和像素级注意力模块提取的特征输入到全连接层进而得到的输出分类结果与实际结果的交叉熵loss3和带有超参数的卷积神经网络权重W的L2范数四部分，网络的损失函数由以上四部分依次相加构成。
本发明的损失函数lossop利用三个交叉熵函数促使网络学习到对高光谱图像分类更有效的特征，加强高光谱图像的特征表示，进一步明确了分类任务，目的性更强，能够适应复杂的高光谱图像数据，极大的增强了网络的鲁棒性，同时有效的降低了损失函数在网络训练过程中陷入局部最优的概率。
(5)训练更新：设置网络训练的迭代次数为P，通过梯度下降优化对Octave卷积神经网络进行迭代训练，直到损失函数lossop不下降或训练轮次数达到迭代次数，得到训练好的Octave卷积神经网络。迭代次数P是人为设定的，可根据网络的训练效果进行调整，使高光谱图像分类准确率最高。在网络训练过程中，网络的学习率随着网络的训练逐渐减小，初始训练时学习率较大，随着训练的加深，学习率逐渐减小，使网络有效的降低了网络的损失函数陷入局部最优的概率，有利于高光谱图像分类准确率的提高，鲁棒性增强。
(6)数据测试：将经过归一化处理后的测试样本集输入到训练好的Octave卷积神经网络当中，得到分类结果，完成图像分类。
本发明提供了一个基于Octave卷积的空谱注意力机制深度学习的高光谱图像分类方法的整体技术方案。
本发明的技术思路是：搭建一个Octave卷积神经网络，利用Octave卷积操作获得针对每一个像素点区域、包含信息更加全面的卷积特征；根据空间注意力机制原理和像素级注意力机制原理，将整个网络的注意力集中到某一带有明显语义信息的区域，找到利于分类的有用信息的区域；根据光谱注意力机制原理和像素级注意力机制原理，找到特征更为突出、光谱信息更强的光谱波段，获取利于分类的更强的特征表示；通过上述注意力机制将整个网络的注意力集中到对于分类最有效的区域，然后通过全连接层网络实现图像分类。
本发明解决了当前高光谱图像分类中存在的相同类别间距大、不同类别间距小、图像分类准确率低的问题以及因训练样本少而导致的网络鲁棒性较低、容易陷入过拟合的问题。
本发明通过Octave卷积模块有效的获得了包含信息更加全面的卷积特征，增强了图像的特征表示，利用空间注意力模块和像素级注意力模块使网络找到语义信息更为明显、特征突出的区域，利用光谱注意力模块和像素级注意力模块找到光谱信息更强的光谱波段，通过几种注意力机制的结合，找到对于高光谱图像分类更有效的特征区域，提高了高光谱图像分类的准确率，增强了网络的鲁棒性。
实施例2
基于Octave卷积的空谱注意力机制深度学习的高光谱图像分类方法同实施例1，本发明步骤(3)中所述的Octave卷积神经网络搭建，参见图2，本发明组成Octave卷积神经网络的Octave卷积模块、空间注意力模块、光谱注意力模块、像素级注意力模块和全连接层，其各组成模块参数设置如下：
Octave卷积模块即输入模块，其由依次连接的四个卷积部分构成，每个卷积部分又包括Octave卷积，参见图4，Batch Normalization和Relu激活函数，在第二、三个卷积部分之间还有一个最大池化层。
Octave卷积操作主要是先将高光谱图像分为高频部分和低频部分两个部分，通过常规卷积操作对高频部分和低频部分进行卷积，获得由高频到高频、高频到低频、低频到高频、低频到低频四个卷积结果，再将高频到高频和低频到高频的卷积结果相加到一起，高频到低频和低频到低频的卷积结果相加到一起，这样就将高光谱图像的高频信息和低频信息进行了有效的联系与沟通，使获得的特征表示包含信息更加全面与详细，增强了高光谱图像的特征表示。
空间注意力机制模块，参见图5，其由卷积层、Batch Normalization、Relu激活函数、矩阵转置与相乘层、softmax层和数据转置与相加层构成。将输入到空间注意力机制模块的特征经过一个卷积操作对特征进行强化，输入到矩阵转置与相乘层，得到一个矩阵，矩阵中每个元素代表高光谱图像中任意两个位置的空间关系；再利用softmax层对此矩阵进行归一化处理，将矩阵中的值归一化到0到1之间，同时将归一化后的矩阵与经过卷积操作后得到的特征相乘，突出高光谱图像中某一带有明显语义信息的区域，得到具有明显语义信息表示的特征图；最后将具有明显语义信息的特征与输入到空间注意力机制模块的初始特征输入到数据转置与相加层中，将两个特征相加到一起，防止信息的丢失。经过空间注意力机制模块的得到的最后的特征语义信息明显，使网络很容易的找到特征最明显的区域，提高了高光谱图像分类的准确率。
光谱注意力机制模块，参见图6，其由矩阵转置与相乘层、softmax层和数据转置与相加层构成。将输入到光谱注意力机制模块的特征输入到矩阵转置与相乘层，得到一个矩阵，矩阵中每个元素代表高光谱图像中任意像素点的不同光谱波段之间的关系；再利用softmax层对此矩阵进行归一化处理，将矩阵中的值归一化到0到1之间，同时将归一化后的矩阵与输入到光谱注意力模块的初始特征相乘，突出高光谱图像中每一个像素点中光谱信息最强的光谱波段，得到突出最强光谱信息的特征图；最后将突出最强光谱信息的特征与输入到光谱注意力模块的初始特征输入到数据转置与相加层，将两个特征相加到一起，防止信息的丢失。经过光谱注意力机制模块得到的最后的特征突出了光谱信息最强的光谱波段，使网络注意力集中于光谱信息最强的区域，提高了高光谱图像分类的准确率，增强了网络的鲁棒性。
像素级注意力机制模块，参见图7，其由卷积层、Batch Normalization和Relu激活函数构成。高光谱图像分类是对高光谱图像中每个像素点进行分类，经过像素级注意力机制模块得到的特征更加细化了每一个像素点的特征，增强了每一个像素点的特征表示，提高了高光谱图像分类的准确率。
所述全连接层，其是由第一全连接层和第二全连接层和softmax层构成，即输出层。第一全连接层的输入为经过空间注意力模块和像素级注意力模块后得到的特征、经过光谱注意力模块和像素级注意力模块后得到的特征以及经过两种特征相加融合后得到的融合特征；第二全连接层的输入为第一全连接层的输出特征；softmax层的输入为第二全连接层的输出特征，softmax层的输出结果表示训练样本属于高光谱中某一类别的概率，softmax层的输出结果为整个网络的最终输出结果。
本发明使用Octave卷积操作来强化特征表示，引入空间注意力机制和光谱注意力机制，使网络更准确的找到对于分类更有利并且包含信息更加全面详细的区域，增强了高光谱图像分类的准确性和网络鲁棒性。
实施例3
基于Octave卷积的空谱注意力机制深度学习的高光谱图像分类方法同实施例1-2，步骤4中所述的确定Octave卷积神经网络损失函数lossop，具体包括如下步骤：
(4a)将训练图像库{T1,T2,…,Tj,…,TM}输入到Octave卷积神经网络的Octave卷积模块，输出卷积层的最后一层特征F。
(4b)将最后一层特征F分别输入到Octave卷积神经网络的空间注意力模块和光谱注意力模块，输出特征分别为A和B，再将输出特征A和B输入到像素级注意力模块，输出特征分别为C和D。
(4c)将得到的特征C和D，输入到Octave卷积神经网络的全连接层，输出利用特征C和D得到的输出分类结果；同时对特征C和D分别乘以一个系数，然后进行逐像素相加，得到融合后的特征E，再将特征E输入到Octave卷积神经网络的全连接层，输出利用融合后的特征E得到的输出分类结果，得到Octave卷积神经网络的损失函数lossop：
Figure BDA0002181326750000091
其中，loss1为利用融合后的特征E经过全连接层后输出分类结果与实际结果的交叉熵，loss2为特征C经过全连接层后输出分类结果与实际结果的交叉熵，loss3为特征D经过全连接层后输出分类结果与实际结果的交叉熵，
Figure BDA0002181326750000092
为卷积神经网络权重向量的L2范数，η为/>
Figure BDA0002181326750000093
的超参数。
本发明的损失函数lossop利用三个交叉熵函数促使网络学习到对高光谱图像分类更有效的空间特征和光谱特征，加强高光谱图像的特征表示，进一步明确了分类任务，目的性更强，能够适应复杂的高光谱图像数据，极大的增强了网络的鲁棒性，同时有效的降低了损失函数在网络训练过程中陷入局部最优的概率。
实施例4
基于Octave卷积的空谱注意力机制深度学习的高光谱图像分类方法同实施例1-3，(4c)中的输出分类结果与实际结果的交叉熵loss1，公式如下：
Figure BDA0002181326750000094
其中，yj为训练图像库中Tj的预测类标概率，oj为训练图像库中Tj的实际类标；loss1的输入为融合后的特征E经过全连接层后得到的预测类标概率；
本发明中loss2、loss3的原理与公式表达和loss1相同，只是loss2的输入为特征C经过全连接层后得到的预测类标概率,loss3的输入为特征D经过全连接层后得到的预测类标概率。
实施例5
基于Octave卷积的空谱注意力机制深度学习的高光谱图像分类方法同实施例1-4，步骤(1)中对高光谱图像库进行归一化处理，通过如下公式进行：
Figure BDA0002181326750000101
其中Vmax为高光谱图像库中所有像素的点最大值，Vmin为高光谱图像库中所有像素的点最小值，Vn为高光谱图像库中任意一点的像素值，{I′1,I′2,…,I′n,…,I′N}为归一化处理后的高光谱图像库，I′n为归一化处理后高光谱图像第n个样本，n∈[0,N]。
本发明通过对高光谱图像库进行归一化处理，将高光谱像素值限制到-0.5到0.5之间，使高光谱图像亮度分配更加均衡，有效避免后续处理带来的干扰，同时将每一个像素点的像素值限制再一个统一的区间，防止像素值跨度较大，把边缘信息抹掉。由于归一化使高光谱图像的像素值减小，减小了网络的计算量，同时加快了网络训练的收敛性。通过实验也证明了将高光谱图像像素值归一化-0.5到0.5之间进一步提高了高光谱图像分类的准确率，同时网络训练速度大大加快。
实施例6
基于Octave卷积的空谱注意力机制深度学习的高光谱图像分类方法同实施例1-5，步骤(5)中通过梯度下降优化对卷积神经网络进行迭代训练，其实现如下：
(5a)设置训练的初始学习率为L，衰减率为β,将训练图像库{T1,T2,…,Tj,…,TM}分为G次输入构建的卷积神经网络中，每次输入的图片数目为Q，则：
Figure BDA0002181326750000102
其中M为训练图像库样本的总个数。
(5b)设每次输入图片对应的学习率l为：
l＝L*βG
(5c)通过如下公式对卷积神经网络进行G次参数更新，得到更新后的权重向量Wnew；
Figure BDA0002181326750000103
其中，W为卷积神经网络参数的权重向量；
(5d)将下一次训练图片输入卷积神经网络，对权重向量更新后的损失函数lossop进行更新，使得损失函数lossop的值不断下降；
(5e)重复(5d)，直到损失函数lossop不再下降，且当前训练轮次数小于设置的迭代次数P，则停止对该网络的训练，得到训练好的卷积神经网络；否则，当训练轮次达到设置的迭代次数P时，停止对该网络的训练，得到训练好的卷积神经网络。
本发明中每次输入的图片数目Q是人为设定的，可根据网络的训练效果进行调整，使高光谱图像分类准确率最高。网络的学习率即为网络学习有效特征的速率，在网络训练过程中，网络的学习率随着网络的训练逐渐减小，初始训练时学习率较大，促使网络快速高效的学习高光谱图像的主要特征，随着训练的加深，学习率逐渐减小，网络学习速度减慢，促使网络学习有利于高光谱图像分类的详细特征，同时使网络有效的降低了网络的损失函数陷入局部最优的概率，加快了网络训练的速度，加速了网络训练的收敛性。
下面再给出一个更加详尽的例子，对本发明进一步说明：
实施例7
基于Octave卷积的空谱注意力机制深度学习的高光谱图像分类方法同实施1-6，参见图2，本发明的实现步骤如下：
步骤1，建立高光谱图像库，获得训练样本和测试样本。
1a)从相关官网下载Indian Pines高光谱图像数据集，Indian Pines高光谱图像数据集由机载可视红外成像光谱仪(AVIRIS)于1992年对美国印第安纳州一块印度松树进行成像，参见图3，图3(a)为原始的Indian Pines高光谱图像，图3(b)为原始的IndianPines高光谱图像对应像素点的类标签。在高光谱图像上以每个像素点为中心进行逐像素点滑动，选取13*13大小的滑框，使用滑框进行逐像素点滑动，每次滑动的距离为一个像素点，每次滑动都可得到一个13*13大小的高光谱图像块，滑动得到的所有高光谱图像块用于建立高光谱图像库{I1,I2,…,In,…,IN}，图像库对应的类别为{Y1,Y2,…,Yn,…,YN},其中In代表图像库中第n个图像，Yn代表图像库中第n个图像对应的类别，n代表图像库中第n个样本编号，n∈[0,N]。
1b)针对建立好的高光谱图像库，找到图像库中所有像素点的最大值和最小值，利用所有像素点的值和两个像素点的最值对建立的高光谱图像库按照如下公式进行归一化处理：
Figure BDA0002181326750000121
其中Vmax为高光谱图像库中所有像素的点最大值，Vmin为高光谱图像库中所有像素的点最小值，Vn为高光谱图像库中任意一点的像素值，{I′1,I′2,…,I′n,…,I′N}为归一化处理后的高光谱图像库，I′n为归一化处理后遥感图像的第n个样本，n∈[0,N]。
1c)从归一化处理后的每个类别的高光谱图像中随机挑选指定数量的高光谱图像样本，构建训练样本集{T1,T2,…,Tj,…,TM}，简称训练集，将剩余的高光谱图像作为测试样本集{t1,t2,…td,…,tm}简称测试集，其中Tj表示训练样本中第j个样本，j∈[0,M]，td表示测试样本中第d个样本，d∈[0,m]，M为训练样本的总个数，m为测试样本的总个数，m<N，M<N。
步骤2，构建Octave卷积神经网络。
2a)设置Octave卷积模块，其由依次连接的四个卷积部分构成，每个卷积部分又包括Octave卷积，Batch Normalization和Relu激活函数，在第二、三个卷积部分之间还有一个最大池化层；
参见图4，本发明的Octave卷积工作原理如下：
将图像分为高频和低频两个部分，其中低频部分的图像的宽和高为高频部分的一半；对高频部分进行普通的卷积操作，得到两个卷积结果，其中高频到高频卷积结果的宽和高与高频部分的相同，高频到低频卷积结果的宽和高与低频部分的相同；再对低频部分进行相同的卷积操作，其中低频到高频卷积结果的宽和高与高频部分相同，低频到低频卷积结果的宽和高与低频部分的相同；再将具有相同宽和高的结果相加到一起组成新的高频部分和低频部分。
所述Relu激活函数为：
Figure BDA0002181326750000122
其中x为Relu激活函数的输入函数。
2b)设置空间注意力机制模块，其由卷积层、Batch Normalization、Relu激活函数、矩阵转置与相乘层、softmax层和数据转置与相加层构成，其结构如图5所示。
本发明空间注意力模块中矩阵转置与相乘层，输入的特征为经过卷积得到的特征，其大小为W×H×C，先将特征大小转换为N×C，其中N＝W×H,再对转换后的特征进行矩阵转置，得到的特征的大小为C×N,再将经过特征转换得到的特征和经过矩阵转置得到的特征进行矩阵相乘，得到输出矩阵，其大小为N×N。
本发明空间注意力模块中softmax层，利用softmax对矩阵转置与相乘层输出的矩阵进行归一化处理，将矩阵中的值归一化到0到1之间，同时将归一化后的矩阵与经过卷积操作和矩阵转换得到的特征相乘，得到输出特征，其大小为N×C。
本发明空间注意力模块中数据转置与相加层，先将softmax层的输出结果进行转换，经过转换后大小为W×H×C，再将经过转换得到的特征与输入到空间注意力模块的初始特征相加到一起，得到空间注意力模块的最终输出特征，其大小为W×H×C。
空间注意力模块由卷积层、Batch Normalization、Relu激活函数、矩阵转置与相乘层、softmax层和数据转置与相加层依次相连构成，通过空间注意力模块可使网络找到带有明显语义信息的区域，进而提高高光谱图像分类的准确率。
2c)设置光谱注意力机制模块，其由矩阵转置与相乘层、softmax层和数据转置与相加层构成，其结构如图6所示。
本发明光谱注意力模块中矩阵转置与相乘层，输入的特征大小为W×H×C，先将特征大小转换为C×N，其中N＝W×H,再对转换后的特征进行矩阵转置，得到的特征的大小为N×C，再将经过特征转换和矩阵转置得到的特征进行矩阵相乘，得到输出矩阵，其大小为C×C。
本发明光谱注意力模块中softmax层，利用softmax对矩阵转置与相乘层输出的矩阵进行归一化处理，将矩阵中的值归一化到0到1之间，同时将归一化后的矩阵与经过矩阵转换得到的特征相乘，得到输出特征，其大小为C×N。
本发明光谱注意力模块中数据转置与相加层，先将softmax层的输出结果进行转换，经过转换后大小为W×H×C，再将经过转换得到的特征与输入到光谱注意力模块的初始特征相加到一起，得到光谱注意力模块的最终输出特征，其大小为W×H×C。
光谱注意力模块由矩阵转置与相乘层、softmax层和数据转置与相加层依次相连构成，通过光谱注意力模块使网络找到光谱信息较强的光谱波段，进而提高高光谱图像分类的准确率和网络的鲁棒性。
2d)设置像素级注意力机制模块，其由卷积层、Batch Normalization和Relu激活函数依次相连构成，其结构如图7所示。
本发明像素级注意力模块中卷积层中，设置卷积核大小为1*1，通过卷积核为1*1大小的卷积操作对高光谱图像的每个像素点进行特征强化，因而提高了高光谱图像分类的准确率。
2e)设置全连接层，全连接层是由第一全连接层、第二全连接层和softmax层构成，第一全连接层的卷积核大小为9800×1024，第二全连接层的卷积核大小为1024×16。其中16是输入的高光谱图像中总的类别数。
本发明全连接层中第一全连接层，其特征输入大小为1×9800，先为输入特征的每个值乘上一个系数，再输入到第一全连接层，其输出特征大小为1×1024。所乘系数为初始化的一组符合高斯分布的向量，系数在样本训练过程中可进行更新。
本发明全连接层中第二全连接层，其特征输入大小为1×1024，输出特征大小为1×16。
2f)将上述设置的Octave卷积模块、空间注意力模块、光谱注意力模块和全连接层依次相连，得到Octave卷积神经网络。
步骤3确定卷积神经网络的损失函数：
(3a)将训练样本集{T1,T2,…,Tj,…,TM}输入到Octave卷积神经网络的Octave卷积模块，输出卷积层的最后一层特征F。
(3b)将最后一层特征F分别输入到Octave卷积神经网络的空间注意力模块和光谱注意力模块，输出特征分别为A和B，再将输出特征A和B输入到像素级注意力模块，输出特征分别为C和D。
(3c)将得到的特征C和D，输入到Octave卷积神经网络的全连接层，输出利用特征C和D得到的输出分类结果；同时对特征C和D分别乘以一个系数，然后进行逐像素相加，得到融合后的特征E，再将特征E输入到Octave卷积神经网络的全连接层，输出利用融合后的特征E得到的输出分类结果，得到Octave卷积神经网络的损失函数lossop：
Figure BDA0002181326750000141
其中：
Figure BDA0002181326750000142
为Octave卷积神经网络权重向量的L2范数，η为/>
Figure BDA0002181326750000143
的超参数；
Figure BDA0002181326750000144
表示利用融合后的特征E经过全连接层后输出分类结果与实际结果的交叉熵，yj为训练图像库中Tj的预测类标概率，oj为训练图像库中Tj的实际类标，loss1的输入为融合后的特征E经过全连接层后得到的预测类标概率。
loss2、loss3的原理与公式表达和loss1相同，loss2为特征C经过全连接层后输出分类结果与实际结果的交叉熵，loss3为特征D经过全连接层后输出分类结果与实际结果的交叉熵；loss2的输入为特征C经过全连接层后得到的预测类标概率,loss3的输入为特征D经过全连接层后得到的预测类标概率。
步骤4，对卷积神经网络进行迭代训练。
对Octave卷积神经网络进行迭代训练的现有方法有梯度下降优化算法、Nesterov梯度加速法、Adagrad方法，本例中采用但不仅限于梯度下降算法，其实现步骤如下：
4a)设置迭代次数为P，设置训练的初始学习率为L，衰减率为β,将训练图像库{T1,T2,…,Tj,…,TM}分输入到步骤2构建的卷积神经网络中，每次输入的图片数目为Q，次数为G：
Figure BDA0002181326750000151
其中M为训练图像库样本的总个数。
4b)设每次输入图片对应的学习率l为：
l＝L*βG
4c)通过如下公式对Octave卷积神经网络进行G次参数更新，得到更新后的权重向量Wnew：
Figure BDA0002181326750000152
其中，W为Octave卷积神经网络参数的权重向量。
将更新后的权重向量Wnew带入3c)中的损失函数lossop，得到权重向量更新后的损失函数lossop。
4d)将下一次训练图片输入到Octave卷积神经网络，对权重向量更新后的损失函数lossop进行更新，使得该损失函数lossop的值不断下降。
4e)重复4d)，直到损失函数lossop不再下降，且当前训练轮次数小于设置的迭代次数P，则停止对该网络的训练，得到训练好的Octave卷积神经网络；否则，当训练轮次达到设置的迭代次数P时，停止对该网络的训练，得到训练好的Octave卷积神经网络。
本例中使用梯度下降算法来对网络进行优化，寻找最优解，但对网络优化时不限于梯度下降算法，其他优化算法如遗传算法等仍可对网络进行优化。
步骤5对测试样本集进行分类。
将经过归一化处理后的测试样本集输入到训练好的Octave卷积神经网络中，从训练好的Octave卷积神经网络输出获得输入的高光谱图像的测试样本集分类结果，完成对高光谱图像的精确分类。
本发明主要解决现有技术相同类别间距大、不同类别间距小、分类准确率低的问题。本发明通过建立高光谱图像库和图像库对应的类别,并从归一化处理后的每类高光谱图像中随机挑选指定数量的高光谱图像样本构建训练样本集和测试样本集；构建一个包括Octave卷积模块、空间注意力模块、光谱注意力模块、像素级注意力模块和全连接层的Octave卷积神经网络；将训练样本集中的训练样本输入到Octave卷积神经网络中获得训练样本的分类结果，并确定卷积神经网络的损失函数；通过梯度下降方法对损失函数迭代更新直到损失值稳定，得到训练好的Octave卷积神经网络；将经过归一化后的待分类的测试样本集输入到训练好的Octave卷积神经网络获得分类结果。本发明分类精度高，鲁棒性强，可应用于高光谱图像数据的分析和管理。
发明的效果可通过以下仿真进一步说明：
实施例8
基于Octave卷积的空谱注意力机制深度学习的高光谱图像分类方法同实施例1-7，
仿真条件
本实例在HP-Z840-Workstation with Xeon(R)CPU E5-2630,GeForce TITAN XP,64G RAM，Ubuntu***下，TensorFlow运行平台上，完成本发明以及现有遥感图像场景分类仿真。
仿真参数设置如下，迭代轮次P为175次，初始学习率L为0.00001，η＝0.0001，每次输入图片数Q为16，衰减率β为0.9。训练顺序为在每一次的迭代训练中，对类标判别器，分类差值优化器，共同训练。
仿真内容
下载Indian Pines高光谱图像数据集，Indian Pines高光谱图像数据集由机载可视红外成像光谱仪(AVIRIS)于1992年对美国印第安纳州一块印度松树进行成像，参见图3，图3(a)为原始的Indian Pines高光谱图像，图3(b)为原始的Indian Pines高光谱图像对应像素点的类标签。以每个像素点为中心，选取13*13大小的滑框，进行逐像素点的滑动，每次滑动得到一个图像，滑动得到的所有图像用于建立高光谱图像库{I1,I2,…,In,…,IN}。再对建立的高光谱图像库进行归一化处理，即先获取高光谱图像库像素点最大值V′max和像素点的最小值V′min，再对高光谱图像库的所有像素点的值除以V′max与V′min的差值，得到归一化处理后的高光谱图像库。
从归一化处理后高光谱图像库中随机挑选一定数量的高光谱图像作为训练样本集DT，将剩余高光谱图像作为测试样本集Dt。
该训练样本集和测试样本集中的图像均有16个种类，分别为Aflalfa、Corn-notill、Corn-mintill、Corn、Grass-pasture、Grass-trees、Grass-pasture-mowed、Hay-windrowed、Oats、Soybean-nottill、Soybean-mintill、Soybean-clean、Wheat、Woods、Stone-Steel-Towers、Buildings-Grass-Trees-Drives；每种类别的训练样本数、测试样本数以及总样本数参见表1。
表1 Indian Pines高光谱图像数据集类别统计表
Figure BDA0002181326750000171
Figure BDA0002181326750000181
在上述仿真条件下，采用训练样本集DT分别用本发明和现有代表性的三种图像分类模型进行训练，采用测试样本集Dt进行测试，比较其分类的准确率，结果如表2。
表2本发明与现有高光谱图像分类模型性能评价表
测试模型 测试样本准确率
本发明 0.9898
KFRC-CKIR 0.9860
2-DCNN 0.9888
3D-SRNet 0.9720
表2中KFRC-CKIR为现有基于核正则和核融合的高光谱分类方法，2-DCNN为现有基于深度卷积神经网络的高光谱图像分类方法，3D-SRNet为现有基于三维可分和迁移学习的高光谱图像分类方法。
从表2可以看出，用本发明训练好的卷积神经网络对测试样本集Dt进行分类，其准确率在所有参与测试的分类方法中最高，比现有代表性的高光谱图像分类模型的精确率均有提升。
综上所述，本发明公开的一种基于Octave卷积的空谱注意力高光谱图像分类方法，解决了现有技术相同类别间距大、不同类别间距小、分类准确率低的问题。方案是：待分类图像输入与数据预处理、划分训练集与测试集、Octave卷积神经网络搭建、确定Octave卷积神经网络损失函数、Octave卷积神经网络的训练更新、测试集数据测试，完成高光谱图像分类。本发明使用Octave卷积操作来强化特征表示，引入空间注意力机制和光谱注意力机制，使网络更准确的找到对于分类更有利并且包含信息更加全面详细的区域。本发明分类精度高，鲁棒性强，可应用于高光谱图像数据的分析和管理。

Claims (6)

1.一种基于Octave卷积的空谱注意力机制深度学习的高光谱图像分类方法，其特征在于，包括有如下步骤：
(1)图像输入与数据预处理：输入待分类的高光谱图像，以每个像素点为中心进行逐像素点滑动，滑动得到的所有图像块用于建立高光谱图像库{I1,I2,…,In,…,IN}，图像库中每一个图像块对应的类别为{Y1,Y2,…,Yn,…,YN},并对建立的高光谱图像库进行归一化处理，其中In代表图像库中第n个图像块，Yn代表图像库中第n个图像块对应的类别，n代表图像库中第n个样本编号，n∈[0,N]，N代表高光谱图像库的图像块总数目；
(2)划分训练集与测试集：从归一化处理后的每类高光谱图像中随机挑选指定数量的高光谱图像样本，构建训练样本集{T1,T2,…,Tj,…,TM}，将剩余的高光谱图像作为测试样本集{t1,t2,…td,…,tm}其中Tj表示训练样本中第j个样本，j∈[0,M]，td表示测试样本中第d个样本，d∈[0,m]，M为训练样本的总个数，m为测试样本的总个数，m<N，M<N；
(3)Octave卷积神经网络搭建：搭建一个Octave卷积神经网络，网络的输入端为Octave卷积模块，网络的输出端为全连接层的输出结果，在网络的输入端与输出端之间包含两条支路，其中一条支路依次经过空间注意力模块和像素级注意力模块，另一条支路依次经过光谱注意力模块和像素级注意力模块；
(4)确定Octave卷积神经网络损失函数lossop：设置损失函数包括将经过特征融合后提取的特征输入到全连接层进而得到的输出分类结果与实际结果的交叉熵loss1、将经过空间注意力模块和像素级注意力模块提取的特征输入到全连接层进而得到的输出分类结果与实际结果的交叉熵loss2、将经过光谱注意力模块和像素级注意力模块提取的特征输入到全连接层进而得到的输出分类结果与实际结果的交叉熵loss3和带有超参数的卷积神经网络权重W的L2范数四部分，网络的损失函数由以上四部分依次相加构成；
(5)训练更新：设置网络训练的迭代次数为P，通过梯度下降优化对Octave 卷积神经网络进行迭代训练，直到损失函数lossop不下降或训练轮次数达到迭代次数，得到训练好的Octave卷积神经网络；
(6)数据测试：将经过归一化处理后的测试样本集输入到训练好的Octave卷积神经网络当中，得到分类结果，完成图像分类。
2.根据权利要求1所述的基于Octave卷积的空谱注意力机制深度学习的高光谱图像分类方法，其特征在于，步骤(3)中所述的Octave卷积神经网络搭建，其中的Octave卷积模块、空间注意力模块、光谱注意力模块、像素级注意力模块和全连接层，其参数设置如下：
所述Octave卷积模块即输入模块，其由依次连接的四个卷积部分构成，每个卷积部分又包括Octave卷积，Batch Normalization和Relu激活函数，在第二、三个卷积部分之间还有一个最大池化层；
空间注意力模块，其由卷积层、Batch Normalization、Relu激活函数、矩阵转置与相乘层、softmax层和数据转置与相加层构成；
光谱注意力模块，其由矩阵转置与相乘层、softmax层和数据转置与相加层构成；
像素级注意力模块，其由卷积层、Batch Normalization和Relu激活函数构成；
全连接层，其是由第一全连接层和第二全连接层和softmax层构成，即输出层。
3.根据权利要求1所述的基于Octave卷积的空谱注意力机制深度学习的高光谱图像分类方法，其特征在于，步骤(4)中所述的确定Octave卷积神经网络损失函数lossop，具体包括如下步骤：
(4a)将训练图像库{T1,T2,…,Tj,…,TM}输入到Octave卷积神经网络的Octave卷积模块，输出卷积层的最后一层特征F；
(4b)将最后一层特征F分别输入到Octave卷积神经网络的空间注意力模块和光谱注意力模块，输出特征分别为A和B，再将输出特征A和B输入到像素级注意力模块，输出特征分别为C和D；
(4c)将得到的特征C和D，输入到Octave卷积神经网络的全连接层，输出利用特征C和D得到的输出分类结果；同时对特征C和D分别乘以一个系数，然后进行逐像素相加，得到融合后的特征E，再将特征E输入到Octave卷积神经网络的全连接层，输出利用融合后的特征E得到的输出分类结果，得到Octave卷积神经网络的损失函数lossop：
Figure FDA0003936672660000031
其中，loss1为利用融合后的特征E经过全连接层后输出分类结果与实际结果的交叉熵，loss2为特征C经过全连接层后输出分类结果与实际结果的交叉熵，loss3为特征D经过全连接层后输出分类结果与实际结果的交叉熵，
Figure FDA0003936672660000032
为卷积神经网络权重向量的L2范数，η为
Figure FDA0003936672660000033
的超参数。
4.根据权利要求3所述的基于Octave卷积的空谱注意力机制深度学习的高光谱图像分类方法，其特征在于，步骤(4c)中的利用融合后的特征E得到的输出分类结果与实际结果的交叉熵loss1，具体交叉熵公式如下：
Figure FDA0003936672660000034
其中，yj为训练图像库中Tj的预测类标概率，oj为训练图像库中Tj的实际类标；loss1的输入为融合后的特征E经过全连接层后得到的预测类标概率；
loss2、loss3的原理与公式和loss1相同，loss2的输入为特征C经过全连接层后得到的预测类标概率,loss3的输入为特征D经过全连接层后得到的预测类标概率。
5.根据权利要求1所述的基于Octave卷积的空谱注意力机制深度学习的高光谱图像分类方法，其特征在于，步骤(1)中对高光谱图像库进行归一化处理，通过如下公式进行：
Figure FDA0003936672660000041
其中Vmax为高光谱图像库中所有像素的点最大值，Vmin为高光谱图像库中所有像素的点最小值，Vn为高光谱图像库中任意一点的像素值，{I′1,I′2,…,I′n,…,I′N}为归一化处理后的高光谱图像库，I′n为归一化处理后高光谱图像第n个样本，n∈[0,N]。
6.根据权利要求1所述的基于Octave卷积的空谱注意力机制深度学习的高光谱图像分类方法，其特征在于，步骤(5)中通过梯度下降优化对卷积神经网络进行迭代训练，其实现如下：
(5a)设置训练的初始学习率为L，衰减率为β,将训练图像库{T1,T2,…,Tj,…,TM}分为G次输入构建的卷积神经网络中，每次输入的图片数目为Q,则：
Figure FDA0003936672660000042
其中M为训练图像库样本的总个数；
(5b)设每次输入图片对应的学习率l为：
l＝L*βG
(5c)通过如下公式对卷积神经网络进行G次参数更新，得到更新后的权重向量Wnew；
Figure FDA0003936672660000043
其中，W为卷积神经网络参数的权重向量；
(5d)将下一次训练图片输入卷积神经网络，对权重向量更新后的损失函数lossop进行更新，使得损失函数lossop的值不断下降；
(5e)重复(5d)，直到损失函数lossop不再下降，且当前训练轮次数小于设置的迭代次数P，则停止对该网络的训练，得到训练好的Octave卷积神经网络；否则，当训练轮次达到设置的迭代次数P时，停止对该网络的训练，得到训练好的Octave卷积神经网络。
CN201910797299.0A 2019-08-27 2019-08-27 基于Octave卷积的空谱注意力高光谱图像分类方法 Active CN110516596B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910797299.0A CN110516596B (zh) 2019-08-27 2019-08-27 基于Octave卷积的空谱注意力高光谱图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910797299.0A CN110516596B (zh) 2019-08-27 2019-08-27 基于Octave卷积的空谱注意力高光谱图像分类方法

Publications (2)

Publication Number Publication Date
CN110516596A CN110516596A (zh) 2019-11-29
CN110516596B true CN110516596B (zh) 2023-03-24

Family

ID=68627278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910797299.0A Active CN110516596B (zh) 2019-08-27 2019-08-27 基于Octave卷积的空谱注意力高光谱图像分类方法

Country Status (1)

Country Link
CN (1) CN110516596B (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160396B (zh) * 2019-12-06 2023-04-25 华南理工大学 一种基于多图结构的图卷积网络的高光谱图像分类方法
CN111046962B (zh) * 2019-12-16 2022-10-04 中国人民解放军战略支援部队信息工程大学 基于稀疏注意力的卷积神经网络模型的特征可视化方法及***
CN111274869B (zh) * 2020-01-07 2023-04-07 中国地质大学（武汉） 基于并行注意力机制残差网进行高光谱图像分类的方法
CN111259954B (zh) * 2020-01-15 2024-05-31 北京工业大学 一种基于D-Resnet的高光谱中医舌苔舌质分类方法
CN111563520B (zh) * 2020-01-16 2023-01-13 北京航空航天大学 一种基于空间-光谱联合注意力机制的高光谱图像分类方法
CN111274988B (zh) * 2020-02-10 2023-03-24 安徽大学 一种基于多光谱的车辆重识别方法及装置
CN111382676B (zh) * 2020-02-25 2023-12-22 南京大学 一种基于注意力机制的沙粒图像分类方法
CN111353531B (zh) * 2020-02-25 2023-03-28 西安电子科技大学 基于奇异值分解和空谱域注意力机制高光谱图像分类方法
CN111814607B (zh) * 2020-06-24 2023-12-29 中国地质大学（武汉） 一种适用于小样本高光谱影像分类的深度学习模型
CN112052755B (zh) * 2020-08-24 2023-06-02 西安电子科技大学 基于多路注意力机制的语义卷积高光谱图像分类方法
CN112052758B (zh) * 2020-08-25 2023-05-23 西安电子科技大学 基于注意力机制和循环神经网络的高光谱图像分类方法
CN112232343B (zh) * 2020-09-03 2023-11-21 国家粮食和物资储备局科学研究院 一种粮食霉变粒识别神经网络和识别方法
CN112577747B (zh) * 2020-12-07 2023-08-08 东南大学 一种基于空间池化网络的滚动轴承故障诊断方法
CN112464891B (zh) * 2020-12-14 2023-06-16 湖南大学 一种高光谱图像分类方法
CN112801133A (zh) * 2020-12-30 2021-05-14 核工业北京地质研究院 一种基于keras模型的光谱识别分类方法
CN112949592B (zh) * 2021-03-31 2022-07-22 云南大学 高光谱图像的分类方法、装置和电子设备
CN113095437B (zh) * 2021-04-29 2022-03-01 中国电子科技集团公司第五十四研究所 一种Himawari-8遥感数据的火点检测方法
CN113569660B (zh) * 2021-07-06 2024-03-26 河海大学 一种用于高光谱影像分类的学习率优化算法折扣系数法
CN114220002B (zh) * 2021-11-26 2022-11-15 通辽市气象台(通辽市气候生态环境监测中心) 一种基于卷积神经网络的外来植物入侵监测方法和***
CN114022716B (zh) * 2021-11-29 2024-04-12 云南师范大学 一种基于注意力机制与图关系网络的服饰属性预测方法
CN114492604A (zh) * 2022-01-11 2022-05-13 电子科技大学 一种小样本情景下的辐射源个体识别方法
CN114444543A (zh) * 2022-01-19 2022-05-06 深圳大学 一种光谱数据处理方法、装置、存储介质及电子设备
CN114462596B (zh) * 2022-02-10 2023-04-07 黑龙江省农业科学院 一种工业***生长期的病虫害监测方法及监测***
CN114897814B (zh) * 2022-05-07 2023-07-25 中国石油大学(华东) 基于多级小波分解密接网络的高光谱图像溢油检测方法
CN114998725A (zh) * 2022-05-17 2022-09-02 北京理工大学 基于自适应空谱注意力核生成网络的高光谱图像分类方法
CN114943251B (zh) * 2022-05-20 2023-05-02 电子科技大学 一种基于融合注意力机制的无人机目标识别方法
CN115457311B (zh) * 2022-08-23 2023-08-29 宁波大学 一种基于自表达迁移学习的高光谱遥感影像波段选择方法
CN116824282B (zh) * 2023-08-31 2023-11-10 中国石油大学(华东) 融合多跳图卷积和注意力的半监督高光谱图像分类方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109784347A (zh) * 2018-12-17 2019-05-21 西北工业大学 基于多尺度稠密卷积神经网络和谱注意力机制的图像分类方法
CN109993220A (zh) * 2019-03-23 2019-07-09 西安电子科技大学 基于双路注意力融合神经网络的多源遥感图像分类方法
WO2019136946A1 (zh) * 2018-01-15 2019-07-18 中山大学 基于深度学习的弱监督显著性物体检测的方法及***
CN110084159A (zh) * 2019-04-15 2019-08-02 西安电子科技大学 基于联合多级空谱信息cnn的高光谱图像分类方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019136946A1 (zh) * 2018-01-15 2019-07-18 中山大学 基于深度学习的弱监督显著性物体检测的方法及***
CN109784347A (zh) * 2018-12-17 2019-05-21 西北工业大学 基于多尺度稠密卷积神经网络和谱注意力机制的图像分类方法
CN109993220A (zh) * 2019-03-23 2019-07-09 西安电子科技大学 基于双路注意力融合神经网络的多源遥感图像分类方法
CN110084159A (zh) * 2019-04-15 2019-08-02 西安电子科技大学 基于联合多级空谱信息cnn的高光谱图像分类方法

Also Published As

Publication number Publication date
CN110516596A (zh) 2019-11-29

Similar Documents

Publication Publication Date Title
CN110516596B (zh) 基于Octave卷积的空谱注意力高光谱图像分类方法
CN110728224B (zh) 一种基于注意力机制深度Contourlet网络的遥感图像分类方法
CN110334765B (zh) 基于注意力机制多尺度深度学习的遥感影像分类方法
CN109993220B (zh) 基于双路注意力融合神经网络的多源遥感图像分类方法
CN110084159B (zh) 基于联合多级空谱信息cnn的高光谱图像分类方法
CN106203523B (zh) 基于梯度提升决策树半监督算法融合的高光谱图像分类方法
CN112052755B (zh) 基于多路注意力机制的语义卷积高光谱图像分类方法
CN109754017B (zh) 基于可分离的三维残差网络和迁移学习高光谱图像分类方法
CN107832797B (zh) 基于深度融合残差网的多光谱图像分类方法
CN109684922B (zh) 一种基于卷积神经网络的多模型对成品菜的识别方法
CN111914728B (zh) 高光谱遥感影像半监督分类方法、装置及存储介质
CN108460391B (zh) 基于生成对抗网络的高光谱图像无监督特征提取方法
CN107808138B (zh) 一种基于FasterR-CNN的通信信号识别方法
CN111222545B (zh) 基于线性规划增量学习的图像分类方法
CN111160176A (zh) 基于融合特征的一维卷积神经网络地面雷达目标分类方法
CN110197205A (zh) 一种多特征来源残差网络的图像识别方法
CN114972885B (zh) 基于模型压缩的多模态遥感图像分类方法
CN114842264A (zh) 一种基于多尺度空谱特征联合学习的高光谱图像分类方法
CN110852369A (zh) 联合3d/2d卷积网络和自适应光谱解混的高光谱图像分类方法
CN110363218A (zh) 一种胚胎无创评估方法及装置
CN115393631A (zh) 基于贝叶斯层图卷积神经网络的高光谱图像分类方法
CN113392871B (zh) 一种基于散射机制多通道扩张卷积神经网络的极化sar地物分类方法
CN113139515A (zh) 基于条件随机场和深度特征学习的高光谱图像分类方法
CN116563683A (zh) 一种基于卷积神经网络和多层感知机的遥感影像场景分类方法
CN113469084B (zh) 基于对比生成对抗网络的高光谱图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant