CN111695467A - 基于超像素样本扩充的空谱全卷积高光谱图像分类方法 - Google Patents

基于超像素样本扩充的空谱全卷积高光谱图像分类方法 Download PDF

Info

Publication number
CN111695467A
CN111695467A CN202010485713.7A CN202010485713A CN111695467A CN 111695467 A CN111695467 A CN 111695467A CN 202010485713 A CN202010485713 A CN 202010485713A CN 111695467 A CN111695467 A CN 111695467A
Authority
CN
China
Prior art keywords
convolution
spatial
spectral
hyperspectral image
hyperspectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010485713.7A
Other languages
English (en)
Other versions
CN111695467B (zh
Inventor
王佳宁
李林昊
郭思颖
黄润虎
杨攀泉
焦李成
侯彪
张向荣
毛莎莎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202010485713.7A priority Critical patent/CN111695467B/zh
Publication of CN111695467A publication Critical patent/CN111695467A/zh
Application granted granted Critical
Publication of CN111695467B publication Critical patent/CN111695467B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明公开了一种基于超像素样本扩充的空谱全卷积高光谱图像分类方法，输入高光谱图像；获取训练集与测试集；对高光谱图像进行主成分分析并降维；对降维结果进行熵率分割；生成伪标签样本；更新训练集；对高光谱图像进行数据预处理；输入卷积神经网络；训练卷积神经网络，对高光谱图像进行分类；重复以上操作并投票表决；输出高光谱分类结果。本发明利用熵率超像素分割结果进行了伪标签样本的扩充，充分利用了高光谱图像的先验特征，增加样本数量，缓解了网络过拟合、网络收敛速度慢的问题，提高了有标记样本稀缺情况下高光谱图像分类的准确性。

Description

基于超像素样本扩充的空谱全卷积高光谱图像分类方法
技术领域
本发明属于图像处理技术领域，具体涉及一种基于超像素样本扩充的空谱全卷积高光谱图像分类方法。
背景技术
随着科学技术的进步，高光谱遥感技术得到了巨大的发展。高光谱数据可表示为高光谱数据立方体，是三维数据结构。高光谱数据可视为三维图像，在普通二维图像之外又多了一维光谱信息。其空间图像描述地表的二维空间特征，其光谱维揭示了图像每一像元的光谱曲线特征，由此实现了遥感数据空间维与光谱维信息的有机融合。高光谱遥感图像含有丰富的光谱信息，可以提供空间域信息和光谱域信息，具有“图谱合一”的特点，可以实现对地物精确的辨别与细节提取，对于认识客观世界提供了有利条件。由于高光谱图像独有的特点，高光谱遥感技术已经广泛的应用在不同的领域。在民用领域，高光谱遥感影像已经被用于城市环境监测、地表土壤监测、地质勘探、灾害评估、农业产量估计、农作物分析等方面。高光谱遥感技术已经广泛的应用于人们的日常生活中。因此，设计实用高效的高光谱图像分类方法，已经成为现代社会必不可少的科技需求。
目前，研究人员已经提出了许多经典的分类方法用于高光谱图像分类，代表性的分类方法有支持向量机(SVM)和神经网络(CNN)。SVM通过最大化类别边界，在小样本分类中取得了较好的分类结果。F.Melgani and L.Bruzzone在“Classification ofhyperspectral remote sensing images with support vector machines”将SVM引入了高光谱图像分类，在当时取得了最好的分类结果，但是SVM确丁核函数，完全需要经验判断，选择不合适的核函数会导致分类性能不佳。同时，随着深度学习的兴起，卷积神经网络也被应用于高光谱图像分类领域。但是由于训练卷积神经网络需要大量的有标记样本作为训练样本，而高光谱图像标注成本又十分昂贵，所以如何解决小样本问题是目前的一个热门方向。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于超像素样本扩充的空谱全卷积高光谱图像分类方法，以使用分割结果作为先验信息，提升高光谱图像的分类效果。
本发明采用以下技术方案：
基于超像素样本扩充的空谱全卷积高光谱图像分类方法，包括以下步骤：
S1、输入高光谱图像PaviaU，从高光谱图像PaviaU中获取训练样本Xt和测试样本Xe；
S2、对高光谱数据集进行归一化处理，对每个训练样本从分割标签矩阵中取和在它邻域内并且与它的分割标签相同的n个标签作为伪标签样本加入到训练样本中；
S3、分别构建光谱特征提取模块和空谱特征提取模块，构建光谱特征图和空谱特征图加权融合模块，以空谱结合的特征作为输入经过两个卷积层并设置，构建一个用于高光谱分类的空谱结合的全卷积神经网络；
S4、构建步骤S3全卷积神经网络的损失函数，训练神经网络；
S5、经过多次训练投票得出最终分类结果图，实现图像分类。
具体的，步骤S1具体为：
S101、记三维高光谱图像PaviaU为
Figure BDA0002519100660000021
U，V，C分别为高光谱图像的空间长度，空间宽度和光谱通道数，高光谱图像包含N个像素点，每个像素点有C个光谱波段，N＝U×V；
S102、将X中类别标签1到9的样本每类随机取30个组成初始训练样本集Xt，剩下的作为测试样本Xe。
具体的，步骤S2具体为：
S201、对三维高光谱图像进行PCA降维处理，降维后图像的通道数为1；
S202、对PCA降维后的图像进行熵率超像素分割，分割结果为50块，将得到分割标签矩阵为
Figure BDA0002519100660000031
S203、设真实标签矩阵
Figure BDA0002519100660000032
分割标签矩阵为
Figure BDA0002519100660000033
(x0,y0)处的训练样本的真实标签为
Figure BDA0002519100660000034
分割图中分割标签为
Figure BDA0002519100660000035
选择(x,y)为中心的7×7的空间中满足
Figure BDA0002519100660000036
的任意n个样本，生成伪标签为
Figure BDA0002519100660000037
符合上述标准的伪标签样本进行扩充，此时训练样本数量变成原来的n+1倍，测试样本维持不变。
具体的，步骤S3具体为：
S301、构建光谱特征提取模块，光谱特征提取模块包括三个卷积层和一个合并层，每个卷积层后面加relu激活函数和批归一化处理；
S302、构建空谱特征提取模块，空谱特征提取模块包括1×1卷积，relu激活，批归一化，多尺度空间特征融合层，3×3空洞卷积，relu激活，批归一化，2×2平均池化和一个合并层；
S303、构建光谱特征图和空谱特征图加权融合模块；
S304、空谱结合的特征作为输入经过两个卷积层；
S305、卷积后的特征图进行PCA降维到5维，以备后续CRF处理的使用；
S306、对卷积后的特征图进行Softmax操作输出分类概率矩阵，将分类概率矩阵中数值最大的维度数作为预测类别标签进行输出得到分类结果。
进一步的，步骤S301中，批归一化处理参数为：momentum＝0.8，卷积核尺寸都为1，步长为1，所有卷积后通道数都为64，连续三次卷积之后将卷积结果相加得出光谱特征图。
进一步的，步骤S302中，第一层卷积层使用1×1卷积，步长为1；3×3空洞卷积的dilation rate为2，步长为1；所有卷积结果通道数是64；所有批归一化处理参数都为：momentum＝0.8，合并层是三个卷积层的特征图相加，通道数保持64。
进一步的，步骤S303中，将光谱特征图和空谱特征图加权叠加如下：
Cunite＝λspectralCspectral+λspatialCspatial
其中，Cunite为加权后的特征图，λspectral和λspatial分别为网络中可训练的光谱特征和空间特征的权重系数，Cspectral和Cspatial分别为光谱特征图和空谱特征图。
具体的，步骤S4中，损失函数为：
L＝L1+L2
Figure BDA0002519100660000041
其中，L为最终的损失函数，L1和L2分别为训练集中的有标记样本和伪标签样本，
Figure BDA0002519100660000043
和
Figure BDA0002519100660000042
表示第i个训练样本的标签和预测标签，j取1或2代表样本为原始样本或伪标签样本。
具体的，步骤S5具体为：
S501、将步骤S3中PCA降维到5维的卷积后特征图和步骤S4中归一化的高光谱数据输入网络得到的分类结果加入条件随机场；
S502、经过条件随机场得到一次训练的分类结果；
S503、对相同的训练样本重复以上m次伪样本扩充和网络训练操作，得到m次分类结果，将每个像素的出现次数最多的预测类标作为最终预测类标进行输出。
进一步的，步骤S501中，条件随机场的能量函数如下：
Figure BDA0002519100660000051
其中，ψu(yi)和ψp(yi,yj)分别是一元函数部分和二元函数部分。
与现有技术相比，本发明至少具有以下有益效果：
本发明一种基于超像素样本扩充的空谱全卷积高光谱图像分类方法，利用了高光谱图像分割产生的结果指导生成了伪标签样本，有效的利用了高光谱图像的先验信息扩充了训练样本，使其在小样本情况下仍能保持较好的分类准确率；采用空谱结合的方式进行特征提取，能够更加充分提取高光谱图像的光谱和空谱特征，从而提高了高光谱图像的分类准确率；在空间特征提取模块中使用了不同dilation rate的空洞卷积实现了多尺度的特征融合，在多个尺度上提取了高光谱图像的空间特征；对最后的分类结果之前加入了投票器，增强了整个结构的鲁棒性，使得分类结果更加稳定可靠；采用全卷积神经网络，没有引入全连接层，可以对任意尺寸的高光谱图像实现端到端的图像分类；全卷积神经网络，输入是与原始高光谱图像尺寸一致的经过预处理的高光谱数据，避免了现有方法中常用的用每个像素的Patch作为输入数据导致的训练数据高度冗余的情况。
进一步的，设置熵率超像素得到分割标签有效的利用了高光谱图像的先验信息，在不需要知道分类标签的情况下将与训练样本类似的样本补充到训练集中，有效地解决了高光谱图像可供训练的有标记样本稀缺的困难。
进一步的，构建一个用于高光谱分类的空谱结合的全卷积神经网络所使用的全卷积神经网络没有全连接层，因此可以非常方便地接受任意尺寸的高光谱图像作为输入。空谱结合的模式可以将高光谱图像中的光谱信息和空间信息结合成相对于单一空间特征或光谱特征效果更好的新特征。
进一步的，光谱模块的特征提取使用连续的1×1卷积层在影响空间信息尽可能小的前提下完成对光谱特征的提取，并且残差模块的存在使得梯度信息得以保留使得模型能更好的收敛。
进一步的，空间谱模块的特征提取使用了不同dilation rate的空洞卷积，可以扩大感受野的同时提取到多尺度的空间信息。
进一步的，针对提出的伪标签样本扩充方法，构建全卷积神经网络的损失函数做出了相应改进，将伪标记样本的交叉熵也加入损失函数可以使网络更好的收敛。
进一步的，针对提出的伪标签样本扩充方法由于自身局限导致的不稳定性，多次训练投票得出最终分类图有效增加了模型的鲁棒性。
综上所述，本发明提出的基于超像素样本扩充的空谱全卷积高光谱图像分类方法有效的利用高光谱图像的先验信息实现了伪样本扩充解决了高光谱图像有标记样本的稀缺问题，同时空谱的全卷积分类网络也充分利用了多尺度的空间特征和光谱特征实现了较高的分类精度。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的实现流程图；
图2为本发明中伪标签样本扩充实现的流程框图；
图3为本发明中的多尺度空间特征融合模块。
具体实施方式
本发明提供了一种基于超像素样本扩充的空谱全卷积高光谱图像分类方法，输入高光谱图像；获取训练集与测试集；对高光谱图像进行主成分分析并降维；对降维结果进行熵率超像素分割；生成伪标签样本；更新训练集；对高光谱图像进行数据预处理；输入全卷积神经网络；训练全卷积神经网络，对高光谱图像进行分类；重复以上操作并投票表决；输出高光谱分类结果。本发明利用熵率超像素分割结果进行了伪标签样本的扩充，充分利用了高光谱图像的空间先验信息，增加样本数量，缓解了网络过拟合的问题，有效提高了小样本条件下高光谱图像分类的准确率，分类效率和分类表现。
请参阅图1，本发明一种基于超像素样本扩充的空谱全卷积高光谱图像分类方法，包括以下步骤：
S1、输入高光谱图像PaviaU，该高光谱三维图像，是本发明实验使用的数据，从PaviaU高光谱图像中获取训练样本Xt和测试样本Xe；
S101、记三维高光谱图像PaviaU为
Figure BDA0002519100660000071
其中U，V，C分别是高光谱图像的空间长度，空间宽度和光谱通道数，高光谱图像包含N个像素点，每个像素点有C个光谱波段，其中N＝U×V。PaviaU数据集中N＝207400个样本，U＝610,V＝340,C＝103。类别标签为1到9的样本共有42776个。对X进行归一化，将其中数据数值保持在[0，1]之间，具体如下：
Figure BDA0002519100660000072
S102、将X中类别标签为1到9的样本每类随机取30个组成初始训练样本集Xt，剩下的作为测试样本Xe。
S2、对高光谱数据集进行归一化之后利用熵率超像素来生成分割标签来生成伪标签样本；
S201、对三维高光谱图像进行PCA降维处理，降维后图像的通道数为1；
S202、对PCA降维后的图像进行熵率超像素分割，分割结果为50块，将得到分割标签矩阵为
Figure BDA0002519100660000081
S203、设真实标签矩阵
Figure BDA0002519100660000082
分割标签矩阵为
Figure BDA0002519100660000083
(x0,y0)处的训练样本的真实标签为
Figure BDA0002519100660000084
分割图中分割标签为
Figure BDA0002519100660000085
选择(x,y)为中心的7×7的空间中满足
Figure BDA0002519100660000086
的任意n个样本，为其生成伪标签为
Figure BDA0002519100660000087
符合上述标准的伪标签样本进行扩充，此时训练样本数量变成了原来的n+1倍，测试样本维持不变，如图2所示。
S3、构建一个用于高光谱分类的空谱结合的全卷积神经网络；
S301、光谱特征提取模块由三个卷积层组成，每个卷积层后面加relu激活函数和批归一化处理。
批归一化处理参数为：
momentum＝0.8，卷积核尺寸都为1，步长为1，所有卷积后通道数都为64，连续三次卷积之后将卷积结果相加得出光谱特征图。
S302、空谱特征提取模块由三个卷积层组成，第一个卷积层的卷积核尺寸为1，步长为1；第二个卷积层用来实现多尺度特征融合，结构如图3，由三个卷积核尺寸为3，dilation rate为2,3,4,步长为1的空洞卷积相加得到；第三个卷积层后面加2×2平均池化层。
每次卷积完成后经过relu激活函数和批归一化处理；第三个卷积层的卷积核尺寸都为3，dilation rate为2，步长为1的空洞卷积。
所有批归一化处理参数为：
momentum＝0.8，所有卷积结果的通道数都为64，连续三次卷积之后将卷积结果相加得出空谱特征图。
S303、将光谱特征图和空谱特征图加权叠加如下式：
Cunite＝λspectralCspectral+λspatialCspatial
其中，Cunite为加权后的特征图，其通道仍为64，λspectral和λspatial分别为网络中可训练的光谱特征和空间特征的权重系数，Cspectral和Cspatial分别为光谱特征图和空谱征图；
S304、空谱结合的特征作为输入经过两个1×1卷积层，卷积后进行relu激活，卷积核尺寸都为1，步长都为1，第一个卷积结果通道数为64，第二个为128；
S305、卷积后的特征图进行PCA降维到5维，以备后续CRF处理的使用；
S306、对卷积后的特征图进行Softmax操作输出610×340×9的分类概率矩阵，将9维中数值最大的维度数作为预测类别标签进行输出得到分类结果尺寸为610×340。
S4、构建全卷积神经网络的损失函数，训练神经网络；
S401、损失函数使用交叉熵，计算扩充之后的训练样本预测标签和训练样本标签的交叉熵，如下式所示：
L＝L1+L2
Figure BDA0002519100660000091
其中，L为最终的损失函数，L1和L2分别为训练集中的有标记样本和伪标签样本，
Figure BDA0002519100660000093
和
Figure BDA0002519100660000092
表示第i个训练样本的标签和预测标签，j取1或2代表该样本为原始样本或伪标签样本；
S402、将归一化的高光谱数据输入网络，迭代1000次生成预测标签图。
S5、多次训练投票得出最终分类结果图。
S501、将步骤S305和步骤S402的输出加入条件随机场，条件随机场的能量函数如下所示，
Figure BDA0002519100660000101
ψu(yi)和ψp(yi,yj)分别是一元函数部分和二元函数部分。
在本发明中，一元部分的计算公式为ψu(yi)＝-log P(yi)，其中，P(yi)是由提出的全卷积网络给出的像素i的标签分配概率。
二元函数部分定义为：
Figure BDA0002519100660000102
其中，如果yi＝yj,μ(yi,yj)＝1，否则为零；km是一个高斯核；fi和fj是任意特征空间中像素i和j的特征向量；ωm是相应的权重；为了充分利用深光谱空间特征，将S305中Cunite的前五个主要成分用作每个像素的特征。高斯内核的完整形式写成：
Figure BDA0002519100660000103
S502、经过条件随机场得到一次训练的分类结果；
S503、对相同的训练样本重复以上m次操作，得到m次分类结果，将每个像素的出现次数最多的预测类标作为最终预测类标进行输出。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
仿真实验的三个评价指标具体如下：
总精度OA表示正确分类的样本占所有样本的比例，值越大，说明分类效果越好。平均精度AA表示每一类分类精度的平均值，值越大，说明分类效果越好。卡方系数Kappa表示混淆矩阵中不同的权值，值越大，说明分类效果越好。
本发明用到的现有技术对比分类方法如下：
W.Song等人在“Hyperspectral Image Classification With Deep FeatureFusion Network,IEEE Trans.Geosci.Remote Sens.,vol.56,no.6,pp.3173-3184,June2018”中提出的高光谱图像分类方法，简称深度特征融合的DFFN方法。
表1为本发明的分类结果定量分析表(选取PaviaU数据集，每类30个有标记样本作为训练集：
Figure BDA0002519100660000111
Figure BDA0002519100660000121
综上所述，本发明一种基于超像素样本扩充的空谱全卷积高光谱图像分类方法，有效的利用高光谱图像的先验信息实现了伪样本扩充解决了高光谱图像有标记样本的稀缺问题，同时空谱的全卷积分类网络也充分利用了多尺度的空间特征和光谱特征实现了较高的分类精度。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (10)

1.基于超像素样本扩充的空谱全卷积高光谱图像分类方法，其特征在于，包括以下步骤：
S1、输入高光谱图像PaviaU，从高光谱图像PaviaU中获取训练样本Xt和测试样本Xe；
S2、对高光谱数据集进行归一化处理，对每个训练样本从分割标签矩阵中取和在它邻域内并且与它的分割标签相同的n个标签作为伪标签样本加入到训练样本中；
S3、分别构建光谱特征提取模块和空谱特征提取模块，构建光谱特征图和空谱特征图加权融合模块，以空谱结合的特征作为输入经过两个卷积层并设置，构建一个用于高光谱分类的空谱结合的全卷积神经网络；
S4、构建步骤S3全卷积神经网络的损失函数，训练神经网络；
S5、经过多次训练投票得出最终分类结果图，实现图像分类。
2.根据权利要求1所述的基于超像素样本扩充的空谱全卷积高光谱图像分类方法，其特征在于，步骤S1具体为：
S101、记三维高光谱图像PaviaU为
Figure FDA0002519100650000011
U，V，C分别为高光谱图像的空间长度，空间宽度和光谱通道数，高光谱图像包含N个像素点，每个像素点有C个光谱波段，N＝U×V；
S102、将X中类别标签1到9的样本每类随机取30个组成初始训练样本集Xt，剩下的作为测试样本Xe。
3.根据权利要求1所述的基于超像素样本扩充的空谱全卷积高光谱图像分类方法，其特征在于，步骤S2具体为：
S201、对三维高光谱图像进行PCA降维处理，降维后图像的通道数为1；
S202、对PCA降维后的图像进行熵率超像素分割，分割结果为50块，将得到分割标签矩阵为
Figure FDA0002519100650000021
S203、设真实标签矩阵
Figure FDA0002519100650000022
分割标签矩阵为
Figure FDA0002519100650000023
(x0,y0)处的训练样本的真实标签为
Figure FDA0002519100650000024
分割图中分割标签为
Figure FDA0002519100650000025
选择(x,y)为中心的7×7的空间中满足
Figure FDA0002519100650000026
的任意n个样本，生成伪标签为
Figure FDA0002519100650000027
符合上述标准的伪标签样本进行扩充，此时训练样本数量变成原来的n+1倍，测试样本维持不变。
4.根据权利要求1所述的基于超像素样本扩充的空谱全卷积高光谱图像分类方法，其特征在于，步骤S3具体为：
S301、构建光谱特征提取模块，光谱特征提取模块包括三个卷积层和一个合并层，每个卷积层后面加relu激活函数和批归一化处理；
S302、构建空谱特征提取模块，空谱特征提取模块包括1×1卷积，relu激活，批归一化，多尺度空间特征融合层，3×3空洞卷积，relu激活，批归一化，2×2平均池化和一个合并层；
S303、构建光谱特征图和空谱特征图加权融合模块；
S304、空谱结合的特征作为输入经过两个卷积层；
S305、卷积后的特征图进行PCA降维到5维，以备后续CRF处理的使用；
S306、对卷积后的特征图进行Softmax操作输出分类概率矩阵，将分类概率矩阵中数值最大的维度数作为预测类别标签进行输出得到分类结果。
5.根据权利要求4所述的基于超像素样本扩充的空谱全卷积高光谱图像分类方法，其特征在于，步骤S301中，批归一化处理参数为：momentum＝0.8，卷积核尺寸都为1，步长为1，所有卷积后通道数都为64，连续三次卷积之后将卷积结果相加得出光谱特征图。
6.根据权利要求4所述的基于超像素样本扩充的空谱全卷积高光谱图像分类方法，其特征在于，步骤S302中，第一层卷积层使用1×1卷积，步长为1；3×3空洞卷积的dilationrate为2，步长为1；所有卷积结果通道数是64；所有批归一化处理参数都为：momentum＝0.8，合并层是三个卷积层的特征图相加，通道数保持64。
7.根据权利要求4所述的基于超像素样本扩充的空谱全卷积高光谱图像分类方法，其特征在于，步骤S303中，将光谱特征图和空谱特征图加权叠加如下：
Cunite＝λspectralCspectral+λspatialCspatial
其中，Cunite为加权后的特征图，λspectral和λspatial分别为网络中可训练的光谱特征和空间特征的权重系数，Cspectral和Cspatial分别为光谱特征图和空谱特征图。
8.根据权利要求1所述的基于超像素样本扩充的空谱全卷积高光谱图像分类方法，其特征在于，步骤S4中，损失函数为：
L＝L1+L2
Figure FDA0002519100650000031
其中，L为最终的损失函数，L1和L2分别为训练集中的有标记样本和伪标签样本，yj (i)和
Figure FDA0002519100650000032
表示第i个训练样本的标签和预测标签，j取1或2代表样本为原始样本或伪标签样本。
9.根据权利要求1所述的基于超像素样本扩充的空谱全卷积高光谱图像分类方法，其特征在于，步骤S5具体为：
S501、将步骤S3中PCA降维到5维的卷积后特征图和步骤S4中归一化的高光谱数据输入网络得到的分类结果加入条件随机场；
S502、经过条件随机场得到一次训练的分类结果；
S503、对相同的训练样本重复以上m次伪样本扩充和网络训练操作，得到m次分类结果，将每个像素的出现次数最多的预测类标作为最终预测类标进行输出。
10.根据权利要求9所述的基于超像素样本扩充的空谱全卷积高光谱图像分类方法，其特征在于，步骤S501中，条件随机场的能量函数如下：
Figure FDA0002519100650000041
其中，ψu(yi)和ψp(yi,yj)分别是一元函数部分和二元函数部分。
CN202010485713.7A 2020-06-01 2020-06-01 基于超像素样本扩充的空谱全卷积高光谱图像分类方法 Active CN111695467B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010485713.7A CN111695467B (zh) 2020-06-01 2020-06-01 基于超像素样本扩充的空谱全卷积高光谱图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010485713.7A CN111695467B (zh) 2020-06-01 2020-06-01 基于超像素样本扩充的空谱全卷积高光谱图像分类方法

Publications (2)

Publication Number Publication Date
CN111695467A true CN111695467A (zh) 2020-09-22
CN111695467B CN111695467B (zh) 2023-05-30

Family

ID=72479042

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010485713.7A Active CN111695467B (zh) 2020-06-01 2020-06-01 基于超像素样本扩充的空谱全卷积高光谱图像分类方法

Country Status (1)

Country Link
CN (1) CN111695467B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232137A (zh) * 2020-09-24 2021-01-15 北京航空航天大学 高光谱图像的处理方法及装置
CN112699756A (zh) * 2020-12-24 2021-04-23 中国农业科学院农业信息研究所 一种基于高光谱图像的茶叶原产地识别方法和***
CN112733769A (zh) * 2021-01-18 2021-04-30 西安电子科技大学 基于多波段熵率超像素分割的高光谱图像分类方法
CN112949592A (zh) * 2021-03-31 2021-06-11 云南大学 高光谱图像的分类方法、装置和电子设备
CN113052014A (zh) * 2021-03-09 2021-06-29 西北工业大学深圳研究院 基于双层空间流形表示的高光谱图像分类方法
CN113222867A (zh) * 2021-04-16 2021-08-06 山东师范大学 基于多模板图像的图像数据增强方法及***
CN113239755A (zh) * 2021-04-28 2021-08-10 湖南大学 一种基于空谱融合深度学习的医学高光谱图像分类方法
CN113327231A (zh) * 2021-05-28 2021-08-31 北京理工大学重庆创新中心 一种基于空谱联合的高光谱异常目标检测方法和***
CN113516194A (zh) * 2021-07-20 2021-10-19 海南长光卫星信息技术有限公司 高光谱遥感影像半监督分类方法、装置、设备及存储介质
CN113642655A (zh) * 2021-08-18 2021-11-12 杭州电子科技大学 基于支持向量机和卷积神经网络的小样本图像分类方法
CN113673607A (zh) * 2021-08-24 2021-11-19 支付宝(杭州)信息技术有限公司 图像标注模型的训练及图像标注的方法及装置
CN113723255A (zh) * 2021-08-24 2021-11-30 中国地质大学（武汉） 一种高光谱影像分类方法和存储介质
CN113822209A (zh) * 2021-09-27 2021-12-21 海南长光卫星信息技术有限公司 高光谱图像识别方法、装置、电子设备及可读存储介质
CN114049567A (zh) * 2021-11-22 2022-02-15 齐鲁工业大学 自适应软标签生成方法以及在高光谱图像分类中的应用
CN114332534A (zh) * 2021-12-29 2022-04-12 山东省科学院海洋仪器仪表研究所 一种高光谱图像小样本分类方法
WO2023000160A1 (zh) * 2021-07-20 2023-01-26 海南长光卫星信息技术有限公司 高光谱遥感影像半监督分类方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017215284A1 (zh) * 2016-06-14 2017-12-21 山东大学 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法
CN109948693A (zh) * 2019-03-18 2019-06-28 西安电子科技大学 基于超像素样本扩充和生成对抗网络高光谱图像分类方法
CN110321963A (zh) * 2019-07-09 2019-10-11 西安电子科技大学 基于融合多尺度多维空谱特征的高光谱图像分类方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017215284A1 (zh) * 2016-06-14 2017-12-21 山东大学 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法
CN109948693A (zh) * 2019-03-18 2019-06-28 西安电子科技大学 基于超像素样本扩充和生成对抗网络高光谱图像分类方法
CN110321963A (zh) * 2019-07-09 2019-10-11 西安电子科技大学 基于融合多尺度多维空谱特征的高光谱图像分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘小波等: "深度迁移学习在高光谱遥感图像分类中的研究现状与展望", 《青岛科技大学学报(自然科学版)》 *
张号逵等: "深度学习在高光谱图像分类领域的研究现状与展望", 《自动化学报》 *

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232137A (zh) * 2020-09-24 2021-01-15 北京航空航天大学 高光谱图像的处理方法及装置
CN112699756B (zh) * 2020-12-24 2023-08-25 中国农业科学院农业信息研究所 一种基于高光谱图像的茶叶原产地识别方法和***
CN112699756A (zh) * 2020-12-24 2021-04-23 中国农业科学院农业信息研究所 一种基于高光谱图像的茶叶原产地识别方法和***
CN112733769A (zh) * 2021-01-18 2021-04-30 西安电子科技大学 基于多波段熵率超像素分割的高光谱图像分类方法
CN112733769B (zh) * 2021-01-18 2023-04-07 西安电子科技大学 基于多波段熵率超像素分割的高光谱图像分类方法
CN113052014B (zh) * 2021-03-09 2022-12-23 西北工业大学深圳研究院 基于双层空间流形表示的高光谱图像分类方法
CN113052014A (zh) * 2021-03-09 2021-06-29 西北工业大学深圳研究院 基于双层空间流形表示的高光谱图像分类方法
CN112949592A (zh) * 2021-03-31 2021-06-11 云南大学 高光谱图像的分类方法、装置和电子设备
CN113222867A (zh) * 2021-04-16 2021-08-06 山东师范大学 基于多模板图像的图像数据增强方法及***
CN113222867B (zh) * 2021-04-16 2022-05-20 山东师范大学 基于多模板图像的图像数据增强方法及***
CN113239755A (zh) * 2021-04-28 2021-08-10 湖南大学 一种基于空谱融合深度学习的医学高光谱图像分类方法
CN113239755B (zh) * 2021-04-28 2022-06-21 湖南大学 一种基于空谱融合深度学习的医学高光谱图像分类方法
CN113327231A (zh) * 2021-05-28 2021-08-31 北京理工大学重庆创新中心 一种基于空谱联合的高光谱异常目标检测方法和***
WO2023000160A1 (zh) * 2021-07-20 2023-01-26 海南长光卫星信息技术有限公司 高光谱遥感影像半监督分类方法、装置、设备及存储介质
CN113516194A (zh) * 2021-07-20 2021-10-19 海南长光卫星信息技术有限公司 高光谱遥感影像半监督分类方法、装置、设备及存储介质
CN113516194B (zh) * 2021-07-20 2023-08-08 海南长光卫星信息技术有限公司 高光谱遥感影像半监督分类方法、装置、设备及存储介质
CN113642655A (zh) * 2021-08-18 2021-11-12 杭州电子科技大学 基于支持向量机和卷积神经网络的小样本图像分类方法
CN113642655B (zh) * 2021-08-18 2024-02-13 杭州电子科技大学 基于支持向量机和卷积神经网络的小样本图像分类方法
CN113723255A (zh) * 2021-08-24 2021-11-30 中国地质大学（武汉） 一种高光谱影像分类方法和存储介质
CN113673607A (zh) * 2021-08-24 2021-11-19 支付宝(杭州)信息技术有限公司 图像标注模型的训练及图像标注的方法及装置
CN113723255B (zh) * 2021-08-24 2023-09-01 中国地质大学（武汉） 一种高光谱影像分类方法和存储介质
CN113822209A (zh) * 2021-09-27 2021-12-21 海南长光卫星信息技术有限公司 高光谱图像识别方法、装置、电子设备及可读存储介质
CN113822209B (zh) * 2021-09-27 2023-11-14 海南长光卫星信息技术有限公司 高光谱图像识别方法、装置、电子设备及可读存储介质
CN114049567A (zh) * 2021-11-22 2022-02-15 齐鲁工业大学 自适应软标签生成方法以及在高光谱图像分类中的应用
CN114049567B (zh) * 2021-11-22 2024-02-23 齐鲁工业大学 自适应软标签生成方法以及在高光谱图像分类中的应用
CN114332534A (zh) * 2021-12-29 2022-04-12 山东省科学院海洋仪器仪表研究所 一种高光谱图像小样本分类方法
CN114332534B (zh) * 2021-12-29 2024-03-29 山东省科学院海洋仪器仪表研究所 一种高光谱图像小样本分类方法

Also Published As

Publication number Publication date
CN111695467B (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
CN111695467A (zh) 基于超像素样本扩充的空谱全卷积高光谱图像分类方法
CN113011499B (zh) 一种基于双注意力机制的高光谱遥感图像分类方法
CN110555446B (zh) 基于多尺度深度特征融合和迁移学习的遥感影像场景分类方法
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
CN112347888B (zh) 基于双向特征迭代融合的遥感图像场景分类方法
He et al. A dual global–local attention network for hyperspectral band selection
CN110084159A (zh) 基于联合多级空谱信息cnn的高光谱图像分类方法
CN113361485B (zh) 基于光谱空间注意力融合和可变形卷积残差网络的高光谱图像分类方法
CN107092870A (zh) 一种高分辨率影像语意信息提取方法及***
CN110929080B (zh) 基于注意力和生成对抗网络的光学遥感图像检索方法
CN112347970B (zh) 一种基于图卷积神经网络的遥感影像地物识别方法
CN113705580B (zh) 基于深度迁移学习的高光谱图像分类方法
CN113642445B (zh) 一种基于全卷积神经网络的高光谱影像分类方法
CN111626267B (zh) 一种利用空洞卷积的高光谱遥感图像分类方法
CN115457311B (zh) 一种基于自表达迁移学习的高光谱遥感影像波段选择方法
CN111428758A (zh) 一种改进的基于无监督表征学习的遥感图像场景分类方法
CN115909052A (zh) 一种基于混合卷积神经网络的高光谱遥感图像分类方法
CN110689065A (zh) 一种基于扁平混合卷积神经网络的高光谱图像分类方法
CN112801104A (zh) 基于语义分割的图像像素级伪标签确定方法及***
CN115222998A (zh) 一种图像分类方法
CN112508066A (zh) 一种基于残差全卷积分割网络的高光谱图像分类方法
CN112215267A (zh) 一种面向高光谱图像的深度空谱子空间聚类方法
CN116977747B (zh) 基于多路多尺度特征孪生网络的小样本高光谱分类方法
CN114998725B (zh) 基于自适应空谱注意力核生成网络的高光谱图像分类方法
CN116844039A (zh) 一种联合多注意的跨尺度遥感图像耕地提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant