CN117934975B - 一种全变分正则引导图卷积的无监督高光谱图像分类方法 - Google Patents

一种全变分正则引导图卷积的无监督高光谱图像分类方法 Download PDF

Info

Publication number
CN117934975B
CN117934975B CN202410328183.3A CN202410328183A CN117934975B CN 117934975 B CN117934975 B CN 117934975B CN 202410328183 A CN202410328183 A CN 202410328183A CN 117934975 B CN117934975 B CN 117934975B
Authority
CN
China
Prior art keywords
module
convolution
graph
encoder
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410328183.3A
Other languages
English (en)
Other versions
CN117934975A (zh
Inventor
徐凯
朱洲
汪安铃
潘如杭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN202410328183.3A priority Critical patent/CN117934975B/zh
Publication of CN117934975A publication Critical patent/CN117934975A/zh
Application granted granted Critical
Publication of CN117934975B publication Critical patent/CN117934975B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Remote Sensing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种全变分正则引导图卷积的无监督高光谱图像分类方法。与现有技术相比解决了在无标签情况下对复杂场景高光谱图像难以准确分类的问题。本发明包括以下步骤：基于相对全变分的高光谱图像去噪预处理；构建全变分正则引导图卷积模块和空谱自编码器模块的联合模型；训练全变分正则引导图卷积模块和空谱自编码器模块的联合模型；高光谱图像无监督分类结果的获得。该方法旨在解决高光谱图像分类中样本标签缺乏的问题，通过利用全变分正则项，促使图卷积网络在学***滑性和一致性，并利用空谱自编码器模块提取空谱局部上下文信息，使得模型能够在复杂的无监督分类任务中保持鲁棒性和泛化性。

Description

一种全变分正则引导图卷积的无监督高光谱图像分类方法
技术领域
本发明涉及高光谱遥感影像处理技术领域，具体来说是一种全变分正则引导图卷积的无监督高光谱图像分类方法。
背景技术
近年来，随着高光谱成像技术的飞速发展和应用领域的不断拓展，高光谱图像在农业、环境监测、地质勘探等领域得到了广泛而深入的应用。其独特之处在于其多光谱波段的信息，这使得它能够提供物体表面的极为丰富的细节和光谱特征，为遥感图像分析带来了前所未有的信息深度。然而，尽管高光谱图像在多个领域表现出巨大的潜力，其处理和分析仍然面临一系列挑战，其中最为突出的之一就是高光谱图像的无监督分类问题。
在高光谱图像分类领域，传统的方法主要依赖于监督学习，即需要大量标记好的样本用于训练分类器。然而，获取这些大规模标记样本的过程不仅费时费力，而且在某些特殊场景下，很难获得足够的标签信息。为应对这一困境，无监督学习逐渐成为解决高光谱图像分类问题的一条重要途径。无监督学习方法不依赖于预先标记的样本，而是通过挖掘数据本身的内在结构和特征进行图像分类，从而更好地适应不同场景和应用需求。
然而，当前的无监督学习方法在高光谱图像分类中仍然存在一些亟待解决的问题。首先，由于高光谱图像具有高维度和复杂的光谱特征，传统的特征提取方法难以充分挖掘图像的潜在信息。其次，图像中存在的噪声、光照变化以及不同类别之间的相似性使得无监督学习难以实现准确的分类。为了克服这些问题，亟需提出一种噪声不敏感、适应复杂场景的高光谱图像分类方法，以更好地满足复杂实际应用场景的需求。这涉及到深度学习、特征嵌入等先进技术的引入，以及对大规模高光谱图像数据进行更加细致和精准的分析。
发明内容
本发明的目的是旨在克服现有方法的局限性，提高高光谱图像的无监督分类准确性和鲁棒性，提供一种全变分正则引导图卷积的无监督高光谱图像分类方法。
为了实现上述目的，本发明的技术方案如下：
一种全变分正则引导图卷积的无监督高光谱图像分类方法，包括以下步骤：
11) 基于相对全变分的高光谱图像去噪预处理：获得待分类区域的高光谱遥感影像，对获取的高光谱图像进行相对全变分去噪；
12) 构建全变分正则引导图卷积模块和空谱自编码器模块的联合模型：一种全变分正则引导图卷积的无监督高光谱图像分类模型，包括三个部分：其中第一个是用于局部上下文提取、特征维度压缩的空谱自编码器模块；第二个是用于全局上下文提取、特征融合的全变分引导图卷积模块；第三个是仅在测试过程中用于获得分类结果的K-means算法模块；
13) 训练全变分正则引导图卷积模块和空谱自编码器模块的联合模型：将高光谱图像切分成图像块，输入到联合模型中先进行空间、光谱上下文提取，再通过图神经网络进行全局上下文建模，最后通过反向传播算法完成模型训练；
14) 高光谱图像无监督分类结果的获得：将模型应用于整张高光谱图像上，获得无监督高光谱图像分类结果。
所述高光谱图像的获取及预处理包括以下步骤：
21）获得待分类区域的高光谱遥感卫星影像；
22）将高光谱遥感卫星影像像素值归一化；
23）将高光谱遥感卫星影像进行相对全变分去噪
24) 以高光谱遥感卫星影像的每个像素点为中心裁剪成7×7大小的图像块，边界区域填充为0 ;
25) 将处理后的影像导出成.GIF格式；
26) 按照7:3的比例将所有图像块划分为训练集、验证集。
所述构建全变分正则引导图卷积模块和空谱自编码器模块的联合模型包括以下步骤：
31）设定无监督高光谱图像分类模型，包括用于特征维度压缩的空谱自编码器模块和全变分引导图卷积模块，其中空谱自编码器中编码器输出的特征作为每个样本构建图结构的节点特征，节点特征完成图嵌入之后输入到图卷积模块中完成特征提取，最后在测试阶段，每个样本都完成特征提取之后应用K-means算法获得最后的分类结果；
32）设定空谱自编码器模块网络结构，其包括一个编码器和一个对应的解码器；
编码器的网络结构包括:
第一个2D卷积：卷积核尺寸为3×3 ，步长为2 ，填充为0；
第二个2D卷积：卷积核尺寸为3×3 ，步长为2 ，填充为0；
第三个2D卷积：卷积核尺寸为1×1 ，步长为1 ，填充为0；
解码器的网络结构包括:
第一个1D卷积：卷积核尺寸为1×3 ，步长为1 ，填充为1；
第二个1D卷积：卷积核尺寸为1×3 ，步长为1 ，填充为1；
第三个2D卷积：卷积核尺寸为1×1 ，步长为1 ，填充为0；
33）设定全变分引导图卷积网络结构，具体步骤为：
331) 设定图嵌入模块结构:
设为实数域，的大小为图节点数目，的大小为空谱自编码器的编码器输出 通道维度大小；
图嵌入模块的输入为，通过以下公式计算邻接矩阵的值:
，
其中代表平滑系数，设为0.5；代表求矩阵的L2范数操作；
332)设定图卷积模块网络结构:
图卷积模块接受一个无向图，其中表示顶点集，表示边集，图嵌入模 块的输出作为第一个图卷积单元的输入,则被表示为模块输入，被表示为邻 接矩阵；
第一个图卷积单元的输出可以被表示为如下公式:
，
其中为激活函数,为偏置量；且为单位矩阵；为网 络可学习参数；且由如下公式计算:
，
全变分引导图卷积包括两个图卷积单元，则整个全变分引导图卷积的输出可 由如下公式表示:
，
其中、的意义与、相同；其余各符号意义皆如上述相应符号意义相同；
在图卷积模块中进行一次前向传播后，图全变分正则项损失可由下式计算:
，
其中为全变分损失权重，默认设为0.01；是对张量的切片操作；其余各 符号意义皆如上述相应符号意义相同；
34)设定K-means算法参数，具体步骤为：
341)随机选取K个簇中心，记为，且K-means算法的输入是 全变分引导图卷积模块的输出记为；
342)在迭代过程中可以通过损失函数是否收敛来判断分类是否完成；损失函数由以下公式表示:
，
其中全变分引导图卷积模块输出在迭代过程中不变，表示在 迭代过程中第个样本所从属的簇类别；
343)令为迭代步数，其中为最大迭代次数,设为1000；
344)对于每一个样本在每一次迭代过程中都要将它分配给距离最近的簇中心， 由以下公式表示:
，
345)对于每一个簇中心，在每一次迭代过程中都要根据从属于该簇中心的样本 更新簇中心的值，可由以下公式表示:
。
所述训练全变分正则引导图卷积模块和空谱自编码器模块的联合模型包括以下步骤：
41) 在训练过程中只有空谱自编码器模块和全变分引导图卷积模块参与梯度传播和参数的更新；在网络完成一次正向传播之后，计算总损失；
42) 通过总损失的反向传播确定参数更新的梯度方向,再更新参数完成一次网络训练的迭代伦次；
43) 当网络训练轮次到达预设定的训练轮数，停止网络训练并保存模型参数。
所述高光谱图像无监督分类结果的获得包括以下步骤：
51)对于一张处理好的待分类高光谱图像，将其所有划分好的图像块都输入到模型中；
52)定义空谱自编码器模块和全变分引导图卷积模块，并加载已经训练好的网络参数并冻结网络的参数更新；
53) 在图嵌入模块中节点的数目是固定的且等于训练过程中前向传播的批次数目大小，则在网络的测试过程中以相同的批次数目大小进行前向传播；
若图像块总数目不能整除批次数目大小，则对一些样本再进行一次前向传播，最后平均这两次提取的特征；
54)获得所有待分类区域样本的特征后，使用K-means迭代地聚类样本特征；
55)获得待分类区域所有样本的K分类结果。
有益效果
本发明涉及一种全变分正则引导图卷积的无监督高光谱图像分类方法，
与现有技术相比，首先通过引入相对全变分去噪操作，有效地抑制了图像中的噪声，提高了分类的准确性。其次，采用图卷积网络和空谱自编码器对高光谱图像进行联合建模，更好地捕捉了图像的空间和光谱信息，提高了特征提取的效果。最后，本发明的方法是一种无监督学习方法，避免了依赖大量标记样本的繁琐过程，更加灵活适用于不同场景和数据集。因此，本发明的提出填补了目前无监督高光谱图像分类方法的空白，具有较高的实用价值和广泛的应用前景。
由于高光谱图像噪声大、场景复杂、光谱信息冗余，本发明提出的一种全变分正则引导图卷积的高光谱图像分类方法在处理高光谱图像分类问题上，能够在学***滑性和一致性，对于高噪声、高维度情况不敏感，并且无需任何标签的标注，具有更高的分类准确性、鲁棒性和泛用性。该方法有望为农业、环境监测、地质勘探等领域提供更可靠的高光谱图像分类解决方案，推动高光谱图像处理技术的发展和应用。
附图说明
图1是一种全变分正则引导图卷积的无监督高光谱图像分类方法流程图；
图2是一种全变分正则引导图卷积的无监督高光谱图像分类方法总体结构图；
图3是本发明涉及的自编码器模块框架图；
图4是本发明涉及的全变分引导图卷积模块框架图。
具体实施方式
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：
如图1所示，本发明所述的一种全变分正则引导图卷积的无监督高光谱图像分类方法，包括以下步骤：
第一步，基于相对全变分的高光谱图像去噪预处理：
获得待分类区域的高光谱遥感影像，对高光谱遥感卫星影像进行归一化预处理，使得模型能够快速稳定的收敛，提高分类精度；对高光谱遥感卫星影像进行相对全变分去噪；以高光谱遥感卫星影像的每个像素点为中心裁剪成相同大小的图像块并划分训练集、验证集，则每个样本在特征提取的过程中可以获取局部空间的上下文信息，其具体步骤如下；
（1）对待分类区域的高光谱图像进行相对全变分去噪，具体步骤为：
（1-1）以图像中像素点为中心，计算出该像素点水平方向窗口总变化量 及垂直方向上的窗口总变化量，和的计算过程如下：
，
，
其中代表窗口内的像素点集合，窗口大小为7×7；代表窗口内的一个像素；代表权重系数；代表去噪后的图像；和分别代表去噪后图像上相对于水平方向上和垂直方向上的梯度；代表取绝对值操作；
其中水平方向梯度和垂直方向梯度的计算公式分别如下:
，
，
其中代表在去噪后图像上特定位置的像素值；和分别代表相对于 水平方向上和垂直方向上的偏移量；
权重系数的计算公式如下:
，
其中代表取指数操作；和分别代表相对于水平方向上和垂直方 向上的偏移量；代表平滑系数，设为0.5;
（1-2）以图像中像素点为中心，计算出该像素点水平方向上的窗口固有变化量，垂直方向上的窗口固有变化量，和的计算过程如下：
，
，
其中各符号意义均与窗口总变化量中各符号意义相同；
（1-3）输出去噪后图像，其过程可由以下公式表示；
，
其中为原高光谱图像，为去噪后图像；为平滑系数，设为0.01；为防止分母 为0的常数，设为0.001；其余各符号意义均与上述相应符号意义相同;
（2）将高光谱遥感卫星影像像素值归一化;
（3）以高光谱遥感卫星影像的每个像素点为中心裁剪成7×7大小的图像块，边界区域填充为0 ;
（4）将处理后的影像导出成.GIF格式；
（5）按照7:3的比例将所有图像块划分为训练集、验证集。
第二步，构建全变分正则引导图卷积模块和空谱自编码器模块的联合模型：
设定无监督高光谱图像分类模型包括用于特征维度压缩的空谱自编码器模块网络结构和全变分引导图卷积模块网络结构，其中空谱自编码器模块中编码器输出的特征作为每个样本构建图结构的节点特征，节点特征完成图嵌入之后输入到全变分引导图卷积模块中完成特征提取，最后在测试阶段，每个样本都完成特征提取之后应用K-means算法获得最后的分类结果；此外如图2所示，构建的空谱自编码器模块能够有效提取样本的空间局部上下文信息并且压缩样本的光谱维度，显著降低了噪声的影响并防止因为维度灾难造成的同物异谱现象而导致分类精度下降的情况；并且如图3所示，构建的全变分引导图卷积模块能够构建所有样本之间的全局上下文联系，并且由于全变分正则项的引入进一步消除噪声的影响，使得类间特征稀疏、类内特征聚合，有效地提取出每个样本的最终特征；
其具体步骤如下：
（1）设定空谱自编码器模块网络结构，其包括一个编码器和一个对应的解码器；
编码器的网络结构包括:
第一个2D卷积：卷积核尺寸为3×3 ，步长为2 ，填充为0；
第二个2D卷积：卷积核尺寸为3×3 ，步长为2 ，填充为0；
第三个2D卷积：卷积核尺寸为1×1 ，步长为1 ，填充为0；
解码器的网络结构包括:
第一个1D卷积：卷积核尺寸为1×3 ，步长为1 ，填充为1；
第二个1D卷积：卷积核尺寸为1×3 ，步长为1 ，填充为1；
第三个2D卷积：卷积核尺寸为1×1 ，步长为1 ，填充为0；
（2）设定全变分引导图卷积网络结构，具体步骤为：
（2-1） 设定图嵌入模块结构:
图嵌入模块接受一批样本的特征，通过这批样本两两之间特征的相似度计算邻接矩阵完成图拓扑结构嵌入；每个节点的特征取决于空谱自编码器模块中编码器的输出结果；
设为实数域，的大小为图节点数目，的大小为空谱自编码器的编码器输出 通道维度大小；
图嵌入模块的输入为，通过以下公式计算邻接矩阵的值:
，
其中代表平滑系数，设为0.5；代表求矩阵的L2范数操作；
（2-2）设定图卷积模块网络结构:
图卷积模块接受一个无向图，其中表示顶点集，表示边集，图嵌入模 块的输出作为第一个图卷积单元的输入,则被表示为模块输入，被表示为邻 接矩阵；
第一个图卷积单元的输出可以被表示为如下公式:
，
其中为激活函数,为偏置量；且为单位矩阵；为网 络可学习参数；且由如下公式计算:
，
全变分引导图卷积包括两个图卷积单元，则整个全变分引导图卷积的输出可 由如下公式表示:
，
其中、的意义与、相同；其余各符号意义皆如上述相应符号意义相同；
在图卷积模块中进行一次前向传播后，图全变分正则项损失可由下式计算:
，
其中为全变分损失权重，默认设为0.01；是对张量的切片操作；其余各 符号意义皆如上述相应符号意义相同；
（3）设定K-means算法参数:
将给定的多个样本特征划分成K个簇，并在划分的同时不断地更新每个簇的中心点；K的值设为分类类别数；
（3-1）随机选取K个簇中心，记为，且K-means算法的输入是 全变分引导图卷积模块的输出记为；
（3-2）在迭代过程中可以通过损失函数是否收敛来判断分类是否完成；损失函数由以下公式表示:
，
其中在迭代过程中不变，表示在迭代过程中第个样本所从 属的簇类别；
（3-3）令为迭代步数，其中为最大迭代次数，设为1000；
（3-4）对于每一个样本在每一次迭代过程中都要将它分配给距离最近的簇中心， 由以下公式表示:
，
（3-5）对于每一个簇中心，在每一次迭代过程中都要根据从属于该簇中心的样 本更新簇中心的值，可由以下公式表示:
。
第三步，训练全变分正则引导图卷积模块和空谱自编码器模块的联合模型：
获取切分好的高光谱遥感影像图像块，将其输入到空谱自编码器模块和全变分引导图卷积模块中进行模型训练；
其具体步骤如下：
（1）对处理好的高光谱图像随机采样取样本点并划分为7×7×C大小的图像块，分训练集和验证集输入到网络中；其中C为高光谱图像谱段数目；
（2）将一批图像块输入到空谱自编码器模块中，编码器输出的张量维度变为1×1×B，作为空谱自编码器模块的解码器和全变分引导图卷积模块的图嵌入模块的输入；其中B为编码器压缩波段数目；
（3） 解码器接收编码器的输出作为输入，将维度大小为1×1×B的张量上采样至1×1×C，和该样本图像块的中心采样点计算L1损失；
（4）1×1×B大小的特征向量首先经过两个步长等于1且卷积核尺寸大于1的1D卷积提取特征向量的光谱维度局部上下文信息，再通过卷积核尺寸为1×1且卷积核个数为C的2D卷积实现光谱维度上采样完成光谱重建；
（5）重建之后的光谱和原样本中心点光谱向量通过计算L1损失更新空谱自编码器 模块参数，光谱重建损失可以由以下公式表示:
，
其中的大小和图节点数目相同；代表求矩阵的L1范数操作；
（6） 图嵌入模块接受编码器的输出作为输入，其将压缩特征完成拓扑图 构建之后将其输入到图卷积网络中进行特征提取，输出结果计算图全变分正则项损失；
（7） 在训练过程中只有空谱自编码器模块和全变分引导图卷积模块参与梯度传 播和参数的更新；在网络完成一次正向传播之后，总损失由以下公式表示:
，
空谱自编码器模块和全变分引导图卷积模块的训练可以同时进行，其中光谱重建 损失只用于更新空谱自编码器模块参数，图全变分正则项损失只用于更新全 变分引导图卷积模块参数,可分别由以下公式表示:
，
其中表示自空谱编码器模块参数；
，
其中表示全变分引导图卷积模块参数；
（8） 通过总损失的反向传播确定参数更新的梯度方向,再更新参数完成一次 网络训练的迭代轮次；
（9） 当网络训练轮次到达预设定的训练轮数，停止网络训练并保存模型参数。
第四步，高光谱图像无监督分类结果的获得：
获取待分类区域的高光谱遥感卫星影像，将其所有划分好的输入到训练好的一种全变分正则引导图卷积的无监督高光谱图像分类模型中进行前向传播并得到分类图；
其具体步骤如下：
（1）对于一张处理好的待分类区域高光谱图像,其所有样本点都被划分为7×7×C大小的图像块；
（2）定义空谱自编码器模块和全变分引导图卷积模块，并加载已经训练好的网络参数并冻结网络的参数更新；
（3）在图嵌入模块中节点的数目是固定的且等于训练过程中前向传播的批次数目大小，则在网络的测试过程中以相同的批次数目大小进行前向传播；
若图像块总数目不能整除批次数目大小, 则对一些样本再进行一次前向传播,最后平均这两次提取的特征；
（4）获得所有待分类区域样本的特征后，使用K-means迭代地聚类样本特征；
（5）获得待分类区域所有样本的K分类结果。
利用本方法提出的空谱自编码器模块和全变分引导图卷积模块，显著降低了噪声的影响并防止因为维度灾难造成的同物异谱现象而导致分类精度下降的情况,并且综合了全局上下文信息以进行更加有效地特征提取。与现有无监督高光谱分类技术相比，本发明解决了对于高光谱遥感影像中噪声大、场景复杂、维度冗余导致的难分类问题。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (5)

1.一种全变分正则引导图卷积的无监督高光谱图像分类方法，其特征在于，包括以下步骤：
11)基于相对全变分的高光谱图像去噪预处理：获得待分类区域的高光谱遥感影像，对获取的高光谱图像进行相对全变分去噪；
12)构建全变分正则引导图卷积模块和空谱自编码器模块的联合模型：一种全变分正则引导图卷积的无监督高光谱图像分类模型，包括三个部分：其中第一个是用于局部上下文提取、特征维度压缩的空谱自编码器模块；第二个是用于全局上下文提取、特征融合的全变分引导图卷积模块；第三个是仅在测试过程中用于获得分类结果的K-means算法模块；
121)设定无监督高光谱图像分类模型，包括用于特征维度压缩的空谱自编码器模块和全变分引导图卷积模块，其中空谱自编码器中编码器输出的特征作为每个样本构建图结构的节点特征，节点特征完成图嵌入之后输入到图卷积模块中完成特征提取，最后在测试阶段，每个样本都完成特征提取之后应用K-means算法获得最后的分类结果；
122)设定全变分引导图卷积网络结构，具体步骤为：
1221)设定图嵌入模块结构:
图嵌入模块接受一批样本的特征，通过这批样本两两之间特征的相似度计算邻接矩阵完成图拓扑结构嵌入；每个节点的特征取决于空谱自编码器模块中编码器的输出结果；
设R为实数域，N的大小为图节点数目，B的大小为空谱自编码器的编码器输出通道维度大小；
图嵌入模块的输入为X＝{x1,x2,...,xN}∈RN×B，通过以下公式计算邻接矩阵A＝{Aij}∈RN×N的值:
其中ρ代表平滑系数，设为0.5；||||2代表求矩阵的L2范数操作；
1222)设定图卷积模块网络结构:
图卷积模块接受一个无向图其中/>表示顶点集，ε表示边集；图嵌入模块的输出作为第一个图卷积单元的输入,则/>被表示为模块输入X∈RN×B，ε被表示为邻接矩阵A∈RN×N；
第一个图卷积单元的输出X1可以被表示为如下公式:
其中g为激活函数，b1为偏置量；且I∈RN×N为单位矩阵；W1∈RB×B为网络可学习参数；/>且D∈RN×N由如下公式计算:
全变分引导图卷积包括两个图卷积单元，则整个全变分引导图卷积模块的输出Xout可由如下公式表示:
其中b2为偏置量，W2∈RB×B为网络可学习参数；其余各符号意义皆如上述相应符号意义相同；
在图卷积模块中进行一次前向传播后，图全变分正则项损失LTV可由下式计算:
其中μ为全变分损失权重，设为0.01；Xout[i,:]是对张量的切片操作；其余各符号意义皆如上述相应符号意义相同；
1223)训练全变分正则引导图卷积模块和空谱自编码器模块的联合模型：将高光谱图像切分成图像块，输入到联合模型中先进行空间、光谱上下文提取，再通过图神经网络进行全局上下文建模，最后通过反向传播算法完成模型训练；
1224)高光谱图像无监督分类结果的获得：将模型应用于整张高光谱图像上，获得无监督高光谱图像分类结果。
2.根据权利要求1所述的一种全变分正则引导图卷积的无监督高光谱图像分类方法，其特征在于，所述高光谱图像的获取及基于相对全变分的去噪预处理包括以下步骤:
21)对待分类区域的高光谱图像进行相对全变分去噪，具体步骤为：
211)以图像中像素点p为中心，计算出该像素点水平方向窗口总变化量及垂直方向上的窗口总变化量/>和/>的计算过程如下：
其中R(p)代表窗口内的像素点集合，窗口大小为7×7；q代表窗口内的一个像素；gp,q代表权重系数；S代表去噪后的图像；和/>分别代表去噪后图像上q相对于p水平方向上和垂直方向上的梯度；||代表取绝对值操作；
其中水平方向梯度和垂直方向梯度/>的计算公式分别如下:
其中S()代表在去噪后图像上特定位置的像素值；Δx和Δy分别代表q相对于p水平方向上和垂直方向上的偏移量；
权重系数gp,q的计算公式如下:
其中exp()代表取指数操作；Δx和Δy分别代表q相对于p水平方向上和垂直方向上的偏移量；δ代表平滑系数，设为0.5；
212)以图像中像素点p为中心，计算出该像素点水平方向上的窗口固有变化量ωx(p)，垂直方向上的窗口固有变化量ωy(p)，ωx(p)和ωy(p)的计算过程如下：
其中各符号意义均与窗口总变化量中各符号意义相同；
213)输出去噪后图像，其过程可由以下公式表示；
其中I为原高光谱图像，S为去噪后图像；λ为平滑系数，设为0.01；ε为防止分母为0的常数，设为0.001；其余各符号意义均与上述相应符号意义相同。
3.根据权利要求1所述的一种全变分正则引导图卷积的无监督高光谱图像分类方法，其特征在于，所述构建全变分正则引导图卷积模块和空谱自编码器模块的联合模型包括以下步骤:
31)设定空谱自编码器网络结构，其包括一个编码器和一个对应的解码器；
编码器的网络结构包括:
第一个2D卷积：卷积核尺寸为3×3，步长为2，填充为0；
第二个2D卷积：卷积核尺寸为3×3，步长为2，填充为0；
第三个2D卷积：卷积核尺寸为1×1，步长为1，填充为0；
解码器的网络结构包括:
第一个1D卷积：卷积核尺寸为1×3，步长为1，填充为1；
第二个1D卷积：卷积核尺寸为1×3，步长为1，填充为1；
第三个2D卷积：卷积核尺寸为1×1，步长为1，填充为0；
32)设定K-means算法参数，具体步骤为：
K-means的核心目标是将给定的数据集划分成K个簇，并在划分的同时不断地更新每个簇的中心点；K的值设为分类类别数；
321)随机选取K个簇中心，记为且K-means算法的输入是全变分引导图卷积模块的输出记为Xout＝{o1,o2,...,oN}；
322)K-means是一种迭代算法，在迭代过程中可以通过损失函数是否收敛来判断分类是否完成；损失函数由以下公式表示:
其中全变分引导图卷积模块输出Xout＝{o1,o2,...,oN}在迭代过程中不变，ci表示在迭代过程中第i个样本所从属的簇类别；
323)令t＝0,1,2,...,T为迭代步数，其中T为最大迭代次数,设为1000；
324)对于每一个样本oi在每一次迭代过程中都要将它分配给距离最近的簇中心，由以下公式表示:
325)对于每一个簇中心在每一次迭代过程中都要根据从属于该簇中心的样本更新簇中心的值，可由以下公式表示:
。
4.根据权利要求1所述的一种全变分正则引导图卷积的无监督高光谱图像分类方法，其特征在于，所述训练全变分正则引导图卷积模块和空谱自编码器模块的联合模型包括以下步骤：
41)对处理好的高光谱图像随机采样取样本点并划分为7×7×C大小的图像块，按照训练集和验证集输入到网络中；其中C为高光谱图像谱段数目；
42)将一批图像块输入到空谱自编码器模块中,每个7×7×C大小的图像块经过编码器变为1×1×B的特征向量；7×7×C大小的图像块首先经过两个步长大于1的2D卷积提取中心样本的空间维度局部上下文信息并实现下采样过程；其中经过每个2D卷积模块输入的长、宽变化可分别由以下公式表示:
其中Hin为积提取中心样本的空间维度局部上下文信息并实现，Hout为输出的纵向尺寸；k、p、s分别表示2D卷积操作的纵向卷积核尺寸、纵向填充大小、纵向卷积步长；
其中Win为输入的横向尺寸，Wout为输出的横向尺寸；k、p、s分别表示2D卷积操作的横向卷积核尺寸、横向填充大小、横向卷积步长；
编码器输出的张量维度变为1×1×B，作为空谱自编码器模块的解码器和图嵌入模块的输入；其中B为编码器压缩后波段数目；
421)解码器接收编码器的输出作为输入，将维度大小为1×1×B的张量上采样至1×1×C，和该样本图像块的中心采样点计算L1损失；
4211)1×1×B大小的特征向量首先经过两个步长等于1且卷积核尺寸大于1的1D卷积提取特征向量的光谱维度局部上下文信息，再通过卷积核尺寸为1×1且卷积核个数为C的2D卷积实现光谱维度上采样完成光谱重建；
4212)重建之后的光谱和原样本中心点光谱向量通过计算L1损失更新空谱自编码器模块参数，光谱重建损失Lconstruction可以由以下公式表示:
其中N的大小和图节点数目相同；||||1代表求矩阵的L1范数操作；
422)图嵌入模块接受编码器的输出作为输入，其将压缩特征X∈RN×B完成拓扑图构建之后将其输入到图卷积网络中进行特征提取，输出结果计算图全变分正则项损失LTV；
43)在训练过程中只有空谱自编码器模块和全变分引导图卷积模块参与梯度传播和参数的更新，在网络完成一次正向传播之后，总损失LTotal由以下公式表示:
LTotal＝LTV+Lconstruction
空谱自编码器模块和全变分引导图卷积模块的训练可以同时进行，其中光谱重建损失Lconstruction只用于更新空谱自编码器模块参数，图全变分正则项损失LTV只用于更新全变分引导图卷积模块参数,可分别由以下公式表示:
其中θA表示自空谱编码器模块参数；
其中θT表示全变分引导图卷积模块参数；
44)通过总损失LTotal的反向传播确定参数更新的梯度方向,再更新参数完成一次网络训练的迭代轮次；
45)当网络训练轮次到达预设定的训练轮数，停止网络训练并保存模型参数。
5.根据权利要求1所述的一种全变分正则引导图卷积的无监督高光谱图像分类方法，其特征在于，所述高光谱图像无监督分类结果的获得包括以下步骤：
51)对于一张处理好的待分类高光谱图像,其所有样本点都被划分为7×7×C大小的图像块；
52)定义空谱自编码器模块和全变分引导图卷积模块，并加载已经训练好的网络参数并冻结网络的参数更新；
53)在图嵌入模块中节点的数目是固定的且等于训练过程中前向传播的批次数目大小，则在网络的测试过程中以相同的批次数目大小进行前向传播；
若图像块总数目不能整除批次数目大小，则对一些样本再进行一次前向传播，最后平均这两次提取的特征；
54)获得所有待分类样本的特征后，使用K-means迭代地聚类样本特征；
55)获得待分类所有样本的K分类结果。
CN202410328183.3A 2024-03-21 2024-03-21 一种全变分正则引导图卷积的无监督高光谱图像分类方法 Active CN117934975B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410328183.3A CN117934975B (zh) 2024-03-21 2024-03-21 一种全变分正则引导图卷积的无监督高光谱图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410328183.3A CN117934975B (zh) 2024-03-21 2024-03-21 一种全变分正则引导图卷积的无监督高光谱图像分类方法

Publications (2)

Publication Number Publication Date
CN117934975A CN117934975A (zh) 2024-04-26
CN117934975B true CN117934975B (zh) 2024-06-07

Family

ID=90764987

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410328183.3A Active CN117934975B (zh) 2024-03-21 2024-03-21 一种全变分正则引导图卷积的无监督高光谱图像分类方法

Country Status (1)

Country Link
CN (1) CN117934975B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985357A (zh) * 2018-06-29 2018-12-11 湖南理工学院 基于图像特征的集合经验模态分解的高光谱图像分类方法
CN110084159A (zh) * 2019-04-15 2019-08-02 西安电子科技大学 基于联合多级空谱信息cnn的高光谱图像分类方法
CN111161199A (zh) * 2019-12-13 2020-05-15 中国地质大学（武汉） 一种空谱融合的高光谱影像混合像元低秩稀疏分解方法
CN111368691A (zh) * 2020-02-28 2020-07-03 西南电子技术研究所（中国电子科技集团公司第十研究所） 无监督高光谱遥感图像空谱特征提取方法
CN111754593A (zh) * 2020-06-28 2020-10-09 西安航空学院 基于空谱联合的多假设预测高光谱图像压缩感知重构方法
CN113343942A (zh) * 2021-07-21 2021-09-03 西安电子科技大学 一种遥感图像缺陷检测方法
CN113743429A (zh) * 2020-05-28 2021-12-03 中国人民解放军战略支援部队信息工程大学 一种高光谱影像分类方法及装置
CN115331105A (zh) * 2022-08-19 2022-11-11 西安石油大学 一种高光谱图像分类方法及***
CN115565071A (zh) * 2022-10-26 2023-01-03 深圳大学 高光谱图像Transformer网络训练及分类方法
CN115731135A (zh) * 2022-11-24 2023-03-03 电子科技大学长三角研究院(湖州) 基于低秩张量分解和自适应图全变分的高光谱图像去噪方法及***
CN116310459A (zh) * 2023-03-28 2023-06-23 中国地质大学（武汉） 基于多视图空谱联合的高光谱图像子空间聚类方法
WO2023125456A1 (zh) * 2021-12-28 2023-07-06 苏州大学 基于多层次变分自动编码器的高光谱图像特征提取方法
CN116403046A (zh) * 2023-04-13 2023-07-07 中国人民解放军海军航空大学 一种高光谱影像分类装置及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860612B (zh) * 2020-06-29 2021-09-03 西南电子技术研究所（中国电子科技集团公司第十研究所） 无监督高光谱图像隐低秩投影学习特征提取方法
US20230252644A1 (en) * 2022-02-08 2023-08-10 Ping An Technology (Shenzhen) Co., Ltd. System and method for unsupervised superpixel-driven instance segmentation of remote sensing image

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985357A (zh) * 2018-06-29 2018-12-11 湖南理工学院 基于图像特征的集合经验模态分解的高光谱图像分类方法
CN110084159A (zh) * 2019-04-15 2019-08-02 西安电子科技大学 基于联合多级空谱信息cnn的高光谱图像分类方法
CN111161199A (zh) * 2019-12-13 2020-05-15 中国地质大学（武汉） 一种空谱融合的高光谱影像混合像元低秩稀疏分解方法
CN111368691A (zh) * 2020-02-28 2020-07-03 西南电子技术研究所（中国电子科技集团公司第十研究所） 无监督高光谱遥感图像空谱特征提取方法
CN113743429A (zh) * 2020-05-28 2021-12-03 中国人民解放军战略支援部队信息工程大学 一种高光谱影像分类方法及装置
CN111754593A (zh) * 2020-06-28 2020-10-09 西安航空学院 基于空谱联合的多假设预测高光谱图像压缩感知重构方法
CN113343942A (zh) * 2021-07-21 2021-09-03 西安电子科技大学 一种遥感图像缺陷检测方法
WO2023125456A1 (zh) * 2021-12-28 2023-07-06 苏州大学 基于多层次变分自动编码器的高光谱图像特征提取方法
CN115331105A (zh) * 2022-08-19 2022-11-11 西安石油大学 一种高光谱图像分类方法及***
CN115565071A (zh) * 2022-10-26 2023-01-03 深圳大学 高光谱图像Transformer网络训练及分类方法
CN115731135A (zh) * 2022-11-24 2023-03-03 电子科技大学长三角研究院(湖州) 基于低秩张量分解和自适应图全变分的高光谱图像去噪方法及***
CN116310459A (zh) * 2023-03-28 2023-06-23 中国地质大学（武汉） 基于多视图空谱联合的高光谱图像子空间聚类方法
CN116403046A (zh) * 2023-04-13 2023-07-07 中国人民解放军海军航空大学 一种高光谱影像分类装置及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CNN-Enhanced Graph Convolutional Network With Pixel- and Superpixel-Level Feature Fusion for Hyperspectral Image Classification;Qichao Liu et.al;《IEEE Transactions on Geoscience and Remote Sensing》;20201124;第59卷(第10期);8657 - 8671 *
Superpixel Spectral–Spatial Feature Fusion Graph Convolution Network for Hyperspectral Image Classification;Zhi Gong et.al;《IEEE Transactions on Geoscience and Remote Sensing》;20220816;第60卷;1-16 *
基于Gabor滤波和级联GCN与CNN的高光谱图像分类;王婷婷 等;《 应用科技 》;20230606;第50卷(第2期);79-85 *

Also Published As

Publication number Publication date
CN117934975A (zh) 2024-04-26

Similar Documents

Publication Publication Date Title
CN111860612B (zh) 无监督高光谱图像隐低秩投影学习特征提取方法
Chen et al. Single image shadow detection and removal based on feature fusion and multiple dictionary learning
CN107657279B (zh) 一种基于少量样本的遥感目标检测方法
US20230252761A1 (en) Method for classifying hyperspectral images on basis of adaptive multi-scale feature extraction model
CN110287849B (zh) 一种适用于树莓派的轻量化深度网络图像目标检测方法
Venugopal Automatic semantic segmentation with DeepLab dilated learning network for change detection in remote sensing images
CN114022759B (zh) 一种融合神经网络时空特性的空域有限像素目标检测***及方法
CN107578007A (zh) 一种基于多特征融合的深度学习人脸识别方法
CN111368691B (zh) 无监督高光谱遥感图像空谱特征提取方法
CN111652892A (zh) 一种基于深度学习的遥感影像建筑物矢量提取及优化方法
CN107808138B (zh) 一种基于FasterR-CNN的通信信号识别方法
CN107169117B (zh) 一种基于自动编码器和dtw的手绘图人体运动检索方法
CN111340881B (zh) 一种动态场景下基于语义分割的直接法视觉定位方法
CN110458192B (zh) 基于视觉显著性的高光谱遥感图像分类方法及***
Xiao et al. Fast closed-form matting using a hierarchical data structure
CN113177592B (zh) 一种图像分割方法、装置、计算机设备及存储介质
CN113033432A (zh) 一种基于渐进监督的遥感影像居民区提取方法
CN110097499B (zh) 基于谱混合核高斯过程回归的单帧图像超分辨率重建方法
Shit et al. An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection
CN116129280B (zh) 一种遥感影像雪检测的方法
CN117934975B (zh) 一种全变分正则引导图卷积的无监督高光谱图像分类方法
CN116912582A (zh) 一种基于表征模型的强鲁棒性高光谱目标检测方法
Rellier et al. Local registration and deformation of a road cartographic database on a SPOT satellite image
CN113887656B (zh) 一种联合深度学习与稀疏表示的高光谱图像分类方法
CN115690605A (zh) 基于空谱联合的多光谱遥感图像云检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant