CN116486160B - 基于光谱重建的高光谱遥感图像分类方法、设备及介质 - Google Patents
基于光谱重建的高光谱遥感图像分类方法、设备及介质 Download PDFInfo
- Publication number
- CN116486160B CN116486160B CN202310457860.7A CN202310457860A CN116486160B CN 116486160 B CN116486160 B CN 116486160B CN 202310457860 A CN202310457860 A CN 202310457860A CN 116486160 B CN116486160 B CN 116486160B
- Authority
- CN
- China
- Prior art keywords
- sample
- remote sensing
- network
- hyperspectral remote
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000001228 spectrum Methods 0.000 title claims abstract description 48
- 238000012549 training Methods 0.000 claims abstract description 77
- 238000002372 labelling Methods 0.000 claims abstract description 28
- 238000000605 extraction Methods 0.000 claims abstract description 20
- 230000009467 reduction Effects 0.000 claims abstract description 12
- 239000013598 vector Substances 0.000 claims description 35
- 230000003595 spectral effect Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 14
- 230000015654 memory Effects 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 6
- 230000000873 masking effect Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012847 principal component analysis method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于光谱重建的高光谱遥感图像分类方法、设备及存储介质,基于光谱重建的高光谱遥感图像分类方法包括:步骤S1、对高光谱遥感图像进行数据降维;步骤S2、构建输入样本;步骤S3、建立基于光谱重建任务的自监督预训练网络,通过无标注样本训练特征提取主干网络;步骤S4、基于预训练阶段的特征提取主干网络构建高光谱遥感图像的分类网络,通过标注样本训练分类网络,完成逐像素的分。本发明,能够在小样本情况下显著提升高光谱遥感图像分类准确率并具有较快的模型训练速度,对实际应用具有重要意义。
Description
技术领域
本发明涉及高光谱遥感图像分类技术领域,尤其涉及一种基于光谱重建的高光谱遥感图像分类方法、设备及介质。
背景技术
高光谱遥感图像通过获取数百个连续波段的信息,可以识别观测对象材质纹理的的细微差异,这使得区分视觉范围内难以分辨的相似物体成为了可能。受益于深度网络出色的特征提取能力,针对高光谱遥感图像的分类工作有了巨大的进展。但另一方面,由于高光谱遥感图像的标签采集主要通过人工标注进行,既昂贵又耗时,因此,如何在较少标注样本时实现更好的分类效果是一个有意义的问题。
传统的小样本学习策略例如度量学习和元学习策略,使用样本特征之间的绝对距离或相对距离来识别高光谱遥感图像中每个未标注像素的类别。但这些方法仍然不能很好地解决缺乏样本的问题。为了增加可用的监督信息,自监督学习策略被提出利用数据自身作为监督来预训练模型,从而提高训练阶段模型分类的性能及收敛速度。对于高光谱遥感图像的分类任务,可用的自监督学习方法主要分为对比式以及生成式。对比式自监督方法依赖数据增强方法构建正样本,通过加大正负样本特征之间的距离构建预训练任务。但由于缺乏有效的高光谱图像数据增强策略,此类方法存在着性能瓶颈。生成式自监督方法发展时间较长,但主要集中在传统的RGB三通道图像处理领域。通常,一个基于卷积神经网络的自编码器会接收一个被掩码部分像素的图像,并在原始图像作为监督信息下重建被掩码的部分,以此构建预训练任务。
但上述方法在应用于高光谱图像时,由于缺乏对光谱信息的考虑,对图像的特征提取并不充分,直接导致了分类模型的性能低下。
发明内容
为解决上述现有技术中存在的技术问题,本发明的目的在于提供一种的基于光谱重建的高光谱遥感图像分类方法、设备及存储介质,能够提升高光谱遥感图像在小样本问题下分类性能。
为实现上述发明目的,本发明提供一种基于光谱重建的高光谱遥感图像分类方法,包括以下步骤:
步骤S1、对高光谱遥感图像进行数据降维;
步骤S2、构建输入样本;
步骤S3、建立基于光谱重建任务的自监督预训练网络,通过无标注样本训练特征提取主干网络;
步骤S4、基于预训练阶段的特征提取主干网络构建高光谱遥感图像的分类网络,通过标注样本训练分类网络,完成逐像素的分类。
根据本发明的一个方面,在所述步骤S1中,采用主成分分析方法对高光谱遥感图像进行数据降维。
根据本发明的一个方面,在所述步骤S2中,将高光谱遥感图像进行基于相邻像素的采样,完成输入样本的构建,具体包括:
步骤S21、对高光谱遥感图像的所有像素进行基于矩形区域相邻像素的采样作为预训练网络输入样本;
步骤S22、对高光谱遥感图像的所有带标注像素进行基于矩形区域相邻像素的采样作为分类网络训练样本。
根据本发明的一个方面,在所述步骤S3中,具体包括:
步骤S31、对输入样本在光谱维度展开,并随机的将部分光谱通道掩码;
步骤S32、将样本未被掩码的剩余通道信息送入基于光谱Transformer的特征提取骨干网络,并将样本在特征空间中表示;
步骤S33、将样本被掩码的光谱通道按原始通道的排列顺序***经过特征提取网络输出的特征,形成新的样本特征;
步骤S34、将新的样本特征送入光谱的重建网络,预测被掩码的通道信息;
步骤S35、将未被掩码的原始样本作为监督信息,利用MSE损失函数更新网络参数。
根据本发明的一个方面,在所述步骤S32中,具体包括:
步骤S321、利用光谱嵌入层将输入的高光谱图像样本特征嵌入特征空间:针对输入的高光谱图像样本X=(c1,c2,…cn),其中,ci表示图像样本的第i个通道,首先,网络的光谱嵌入层将输入样本展开至一维向量,即将样本的每一个通道展开至/>并通过线性变换矩阵W将通道信息ci嵌入特征空间,变为维数为d的一维向量/>如公式所示:
ai=W·ci,i∈{1,...n};
步骤S322、利用位置嵌入层为得到的一维向量ai加上一个可学习的一维向量pi,pi的初始值为随机生成,添加位置向量的操作如公式所示:
ai=ai+pi,i∈{1,…n};
步骤S323、利用核心的Transformer Block计算样本不同波段的全局相关性,完成样本光谱特征的表达。
根据本发明的一个方面,在所述步骤S323中,具体包括:
对于Transformer Block的每一个计算头,将每个嵌入特征空间的通道特征ai,i∈{1,…n}分别乘以三个不同的变换矩阵Wq,Wq,Wk,Wv,产生三个向量对应的特征向量,即qi、ki、vi,并拼接为矩阵,Query(Q=[q1,…qn]),Key(K=[k1,…kn]),Value(V=[v1,…vn]),再以内积的形式计算每个qi向量和每个ki向量之间的注意力分数s,同时,通过归一化的方式对分数进行缩放,即:
其中,d为qi或者kj向量的维数;
随后,将获得的注意力分数通过Softmax激活函数并与对应的向量vi相乘得到加权值;
最后将所有的加权值相加得到特征的注意力值zi,即:
将不同计算头的结果zi拼接为一个整体,并乘以输出权重矩阵WO得到总体输出,即核心的Transformer Block的数学表达为:
MultiHead(Q,K,V)=Concat(head1,...,headh)WO,其中,Concat(·)表示矩阵的拼接操作,headi,i∈[1,n]表示第i个计算头的输出,每一个计算头的计算公式可以表达为:
其中,KT表示矩阵K的转置。
根据本发明的一个方面,在所述步骤S4中,具体包括:
步骤S41:利用步骤S3训练完成的特征提取骨干网络及一个分类器构建高光谱遥感图像的分类网络;
步骤S42、在标注样本的监督下训练分类器参数,并完成逐像素的分类,
其中,分类器的参数更新通过计算标注样本的真值与网络预测值之间的交叉熵损失完成。
根据本发明的一个方面,提供了一种电子设备,包括:一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序;其中,处理器与存储器连接,上述一个或多个计算机程序被存储在存储器中,当电子设备运行时,该处理器执行该存储器存储的一个或多个计算机程序,以使电子设备执行如上述技术方案中任一项所述的一种基于光谱重建的高光谱遥感图像分类方法。
根据本发明的一个方面,提供了一种计算机可读存储介质,用于存储计算机指令,所述计算机指令被处理器执行时,实现如上述技术方案中任一项所述一种基于光谱重建的高光谱遥感图像分类方法。
本发明与现有技术相比,具有以下有益效果:
本发明提出了一种基于光谱重建的高光谱遥感图像分类方法、设备及存储介质,首先对高光谱遥感图像进行数据降维,降低图像冗余,并减小网络拟合难度,构建输入样本,输入样本通常包含预训练样本集和训练样本集,预训练样本集为无标注样本的集合,训练样本集为标注样本的集合,再构建基于光谱重建任务的自监督预训练网络,先通过预训练样本训练特征提取主干网络,在根据训练完成的特征提取主干网络构建分类网络,并在训练样本集监督下训练分类网络,利用无标注样本训练特征提取骨干网络,减小了模型拟合对标注样本的需求,对解决高光谱遥感图像分类的小样本问题具有重要意义。
进一步地,本发明只需要在少量标注样本的监督下对分类器进行训练,能够在小样本情况下显著提升高光谱遥感图像分类准确率并具有较快的模型训练速度,对实际应用具有重要意义。
附图说明
为了更清楚地说明本发明实施方式或现有技术中的技术方案,下面将对实施方式中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实施方式,对于本领域普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示意性表示根据本发明一个实施例中提供的基于光谱重建的高光谱遥感图像分类方法流程图;
图2示意性表示根据本发明一种实施方式的基于光谱重建的高光谱遥感图像分类方法的总体技术路线;
图3示意性表示本发明一种实施方式的特征提取主干网络结构图;
图4示意性表示本发明一种实施方式的预训练方案流程图;
图5示意性表示根据本发明一种实施方式的分类网络结构图。
具体实施方式
此说明书实施方式的描述应与相应的附图相结合,附图应作为完整的说明书的一部分。在附图中,实施例的形状或是厚度可扩大,并以简化或是方便标示。再者,附图中各结构的部分将以分别描述进行说明,值得注意的是,图中未示出或未通过文字进行说明的元件,为所属技术领域中的普通技术人员所知的形式。
此处实施例的描述,有关方向和方位的任何参考,均仅是为了便于描述,而不能理解为对本发明保护范围的任何限制。以下对于优选实施方式的说明会涉及到特征的组合,这些特征可能独立存在或者组合存在,本发明并不特别地限定于优选的实施方式。本发明的范围由权利要求书所界定。
如图1至图5所示,本发明的一种基于光谱重建的高光谱遥感图像分类方法,包括以下步骤:
步骤S1、对高光谱遥感图像进行数据降维;
步骤S2、构建输入样本;
步骤S3、建立基于光谱重建任务的自监督预训练网络,通过无标注样本训练特征提取主干网络;
步骤S4、基于预训练阶段的特征提取主干网络构建高光谱遥感图像的分类网络,通过标注样本训练分类网络,完成逐像素的分类。
如图1和图2所示,在该实施例中,首先对高光谱遥感图像进行数据降维,降低图像冗余,并减小网络拟合难度,构建输入样本,输入样本通常包含预训练样本集和训练样本集,预训练样本集为无标注样本的集合,训练样本集为标注样本的集合,再构建基于光谱重建任务的自监督预训练网络,先通过预训练样本训练特征提取主干网络,在根据训练完成的特征提取主干网络构建分类网络,并在训练样本集监督下训练分类网络,利用无标注样本训练特征提取骨干网络,减小了模型拟合对标注样本的需求,对解决高光谱遥感图像分类的小样本问题具有重要意义。
进一步地,本发明只需要在少量标注样本的监督下对分类器进行训练,能够在小样本情况下显著提升高光谱遥感图像分类准确率并具有较快的模型训练速度,对实际应用具有重要意义。
值得特别指出的是,本发明包括两个模型训练阶段,本方法包括两个模型训练阶段,预训练阶段和训练阶段,具体地说,在预训练阶段,通过基于光谱Transformer构建的自编码器模型对高光谱遥感图像的部分波段进行掩码和重建。由于波段的重建依靠图像自身作为监督信息,自编码器模型的编码器部分可以利用无标注样本学习样本在特征空间的表示。在训练阶段,将预训练模型的编码器部分模型及参数作为特征提取模块并和一个分类器拼接作为高光谱遥感图像分类模型。最后,只需要在少量标注样本的监督下对分类器进行训练。
在本发明的一个实施例中,优选地,在所述步骤S1中,采用主成分分析方法对高光谱遥感图像进行数据降维。
在该实施例中,通过降维处理,有利于降低图像冗余,减小深度网络拟合的难度。
在本发明的一个实施例中,优选地,在所述步骤S2中,将高光谱遥感图像进行基于相邻像素的采样,完成输入样本的构建,具体包括:
步骤S21、对高光谱遥感图像的所有像素进行基于矩形区域相邻像素的采样作为预训练网络输入样本;
步骤S22、对高光谱遥感图像的所有带标注像素进行基于矩形区域相邻像素的采样作为分类网络训练样本。
如图4所示,在本发明的一个实施例中,优选地,在所述步骤S3中,具体包括:
步骤S31、对输入样本在光谱维度展开,并随机的将部分光谱通道掩码,即将数值置为0,例如,随机的将50%的光谱通道掩码;
步骤S32、将样本未被掩码的剩余通道信息送入基于光谱Transformer的特征提取骨干网络,并将样本在特征空间中表示;
步骤S33、将样本被掩码的光谱通道按原始通道的排列顺序***经过特征提取网络输出的特征,形成新的样本特征;
步骤S34、将新的样本特征送入光谱的重建网络,预测被掩码的通道信息,上述网络同样基于光谱Transformer,但是具有更少的计算头及网络深度;
步骤S35、将未被掩码的原始样本作为监督信息,利用MSE损失函数更新网络参数。
如图1和图3所示,在本发明的一个实施例中,优选地,在所述步骤S32中,具体包括:
步骤S321、利用光谱嵌入层将输入的高光谱图像样本特征嵌入特征空间:
针对输入高光谱图像样本Xi=(c1,c2,...cn,),其中,ci表示样本的第i个通道,首先,网络的光谱嵌入层将输入样本展开至一维向量,即将样本的每一个通道展开至/>并通过线性变换矩阵W将通道信息ci嵌入特征空间,变为维数为d的一维向量如公式所示:
ai=W·ci,i∈{1,...m};
步骤S322、利用位置嵌入层为得到的一维向量ai加上一个可学习的一维向量pi,pi的初始值为随机生成。添加位置向量的操作如公式所示:
ai=ai+pi,i∈{1,…n};
步骤S323、对于Transformer Block的每一个计算头,将每个嵌入特征空间的通道特征ai,i∈{1,…n}分别乘以三个不同的变换矩阵Wq,Wk,Wv,产生三个向量对应的特征向量,即qi、ki、vi,并拼接为矩阵,Query(Q=[q1,…qn]),Key(K=[k1,…kn]),Value(V=[v1,…vn])。之后,以内积的形式计算每个qi向量和每个ki向量之间的注意力分数s,同时,通过归一化的方式对分数进行缩放,即:
其中,d为qi或者kj向量的维数;
随后,将获得的注意力分数通过Softmax激活函数并与对应的向量vi相乘得到加权值;
最后将所有的加权值相加得到特征的注意力值zi,即:
将不同计算头的结果zi拼接为一个整体,并乘以输出权重矩阵WO得到总体输出,即核心的Transformer Block的数学表达为:
MultiHead(Q,K,V)=Concat(head1,...,headh)WO,
其中,Concat(·)表示矩阵的拼接操作,headi,i∈[1,n]表示第i个计算头的输出,每一个计算头的计算公式可以表达为:
其中,KT表示矩阵K的转置。
在该实施例中,通过光谱重建的预训练任务以及基于光谱Transformer构建的特征提取模块,高光谱图像的空间-光谱信息得到了充分的表达,为像素的正确分类提供了充分支撑。
如图5所示,在本发明的一个实施例中,优选地,在所述步骤S4中,具体包括:
步骤S41:利用步骤S3训练完成的特征提取骨干网络及一个分类器构建高光谱遥感图像的分类网络;
步骤S42、在标注样本的监督下训练分类器参数,并完成逐像素的分类,
其中,分类器的参数更新通过计算标注样本的真值与网络预测值之间的交叉熵损失完成。
在该实施例中,输入样本首先经过特征提取网络,将样本映射至特征空间,此部分由于已经在预训练任务中完成训练,不需要在分类网络中更新参数。随后分类器模块将样本特征变换为一维特征向量的形式,再通过全连接层将每个一维的特征向量映射到类别,最后,在标注样本的监督下训练分类器参数,并完成逐像素的分类。
根据本发明的一个方面,提供了一种电子设备,包括:一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序;其中,处理器与存储器连接,上述一个或多个计算机程序被存储在存储器中,当电子设备运行时,该处理器执行该存储器存储的一个或多个计算机程序,以使电子设备执行如上述技术方案中任一项的一种基于光谱重建的高光谱遥感图像分类方法。
根据本发明的一个方面,提供了一种计算机可读存储介质,用于存储计算机指令,计算机指令被处理器执行时,实现如上述技术方案中任一项一种基于光谱重建的高光谱遥感图像分类方法。
计算机可读存储介质可以包括能够存储或传输信息的任何介质。计算机可读存储介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
本发明的一种基于光谱重建的高光谱遥感图像分类方法、设备及存储介质,基于光谱重建的高光谱遥感图像分类方法包括:步骤S1、对高光谱遥感图像进行数据降维;步骤S2、构建输入样本;步骤S3、建立基于光谱重建任务的自监督预训练网络,通过无标注样本训练特征提取主干网络;步骤S4、基于预训练阶段的特征提取主干网络构建高光谱遥感图像的分类网络,通过标注样本训练分类网络,完成逐像素的分类;首先对高光谱遥感图像进行数据降维,降低图像冗余,并减小网络拟合难度,构建输入样本,输入样本通常包含预训练样本集和训练样本集,预训练样本集为无标注样本的集合,训练样本集为标注样本的集合,再构建基于光谱重建任务的自监督预训练网络,先通过预训练样本训练特征提取主干网络,在根据训练完成的特征提取主干网络构建分类网络,并在训练样本集监督下训练分类网络,利用无标注样本训练特征提取骨干网络,减小了模型拟合对标注样本的需求,对解决高光谱遥感图像分类的小样本问题具有重要意义。
进一步地,本发明只需要在少量标注样本的监督下对分类器进行训练,能够在小样本情况下显著提升高光谱遥感图像分类准确率并具有较快的模型训练速度,对实际应用具有重要意义。
此外,需要说明的是,本发明可提供为方法、装置或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
还需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
最后需要说明的是,以上所述是本发明优选实施方式,应当指出,尽管已描述了本发明优选实施例,但对于本技术领域的技术人员来说,一旦得知了本发明的基本创造性概念,在不脱离本发明所述原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
Claims (6)
1.一种基于光谱重建的高光谱遥感图像分类方法,其特征在于,包括以下步骤:
步骤S1、对高光谱遥感图像进行数据降维;
步骤S2、构建输入样本;
步骤S3、建立基于光谱重建任务的自监督预训练网络,通过无标注样本训练特征提取主干网络;
步骤S4、基于预训练阶段的特征提取主干网络构建高光谱遥感图像的分类网络,通过标注样本训练分类网络,完成逐像素的分类;
在所述步骤S3中,具体包括:
步骤S31、对输入样本在光谱维度展开,并随机的将部分光谱通道掩码;
步骤S32、将样本未被掩码的剩余通道信息送入基于光谱Transformer的特征提取骨干网络,并将样本在特征空间中表示;
步骤S33、将样本被掩码的光谱通道按原始通道的排列顺序***经过特征提取网络输出的特征,形成新的样本特征;
步骤S34、将新的样本特征送入光谱的重建网络,预测被掩码的通道信息;
步骤S35、将未被掩码的原始样本作为监督信息,利用MSE损失函数更新网络参数;
在所述步骤S32中,具体包括:
步骤S321、利用光谱嵌入层将输入的高光谱图像样本特征嵌入特征空间:针对输入的高光谱图像样本X=(c1,c2,…cn),其中,ci表示图像样本的第i个通道,首先,网络的光谱嵌入层将输入样本展开至一维向量,即将样本的每一个通道展开至/>并通过线性变换矩阵W将通道信息ci嵌入特征空间,变为维数为d的一维向量/>如公式所示:
ai=W·ci,i∈{1,...n};
步骤S322、利用位置嵌入层为得到的一维向量ai加上一个可学习的一维向量pi,pi的初始值为随机生成,添加位置向量的操作如公式所示:
ai=ai+pi,i∈{1,…n};
步骤S323、利用核心的Transformer Block计算样本不同波段的全局相关性,完成样本光谱特征的表达;
在所述步骤S323中,具体包括:
对于Transformer Block的每一个计算头,将每个嵌入特征空间的通道特征ai,i∈{1,…n}分别乘以三个不同的变换矩阵Wq,Wk,Wv,产生三个向量对应的特征向量,即qi、ki、vi,并拼接为矩阵,Query(Q=[q1,…qn]),Key(K=[k1,…kn]),Value(V=[v1,…vn]),再以内积的形式计算每个qi向量和每个ki向量之间的注意力分数s,同时,通过归一化的方式对分数进行缩放,即:
其中,d为qi或者kj向量的维数;
随后,将获得的注意力分数通过Softmax激活函数并与对应的向量vi相乘得到加权值;
最后将所有的加权值相加得到特征的注意力值zi,即:
将不同计算头的结果zi拼接为一个整体,并乘以输出权重矩阵WO得到总体输出,即核心的Transformer Block的数学表达为:
MultiHead(Q,K,V)=Concat(head1,...,headh)WO,
其中,Concat(·)表示矩阵的拼接操作,headi,i∈[1,n]表示第i个计算头的输出,每一个计算头的计算公式可以表达为:
其中,表示矩阵K的转置。
2.根据权利要求1所述的基于光谱重建的高光谱遥感图像分类方法,其特征在于,在所述步骤S1中,采用主成分分析方法对高光谱遥感图像进行数据降维。
3.根据权利要求1所述的基于光谱重建的高光谱遥感图像分类方法,其特征在于,在所述步骤S2中,将高光谱遥感图像进行基于相邻像素的采样,完成输入样本的构建,具体包括:
步骤S21、对高光谱遥感图像的所有像素进行基于矩形区域相邻像素的采样作为预训练网络输入样本;
步骤S22、对高光谱遥感图像的所有带标注像素进行基于矩形区域相邻像素的采样作为分类网络训练样本。
4.根据权利要求1所述的基于光谱重建的高光谱遥感图像分类方法,其特征在于,在所述步骤S4中,具体包括:
步骤S41:利用步骤S3训练完成的特征提取骨干网络及一个分类器构建高光谱遥感图像的分类网络;
步骤S42、在标注样本的监督下训练分类器参数,并完成逐像素的分类,
其中,分类器的参数更新通过计算标注样本的真值与网络预测值之间的交叉熵损失完成。
5.一种电子设备,其特征在于,包括:一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序;其中,处理器与存储器连接,上述一个或多个计算机程序被存储在存储器中,当电子设备运行时,该处理器执行该存储器存储的一个或多个计算机程序,以使电子设备执行如权利要求1至4中任一项所述的基于光谱重建的高光谱遥感图像分类方法。
6.一种计算机可读存储介质,其特征在于,用于存储计算机指令,所述计算机指令被处理器执行时,实现如权利要求1至4中任一项所述的基于光谱重建的高光谱遥感图像分类方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310457860.7A CN116486160B (zh) | 2023-04-25 | 2023-04-25 | 基于光谱重建的高光谱遥感图像分类方法、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310457860.7A CN116486160B (zh) | 2023-04-25 | 2023-04-25 | 基于光谱重建的高光谱遥感图像分类方法、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116486160A CN116486160A (zh) | 2023-07-25 |
CN116486160B true CN116486160B (zh) | 2023-12-19 |
Family
ID=87226484
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310457860.7A Active CN116486160B (zh) | 2023-04-25 | 2023-04-25 | 基于光谱重建的高光谱遥感图像分类方法、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116486160B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117830645A (zh) * | 2024-02-23 | 2024-04-05 | 中国科学院空天信息创新研究院 | 特征提取网络训练方法、装置、设备及介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103646409A (zh) * | 2013-12-19 | 2014-03-19 | 哈尔滨工程大学 | 多元向量量化的高光谱图像压缩编码方法 |
WO2018045626A1 (zh) * | 2016-09-07 | 2018-03-15 | 深圳大学 | 基于超像素级信息融合的高光谱图像的分类方法及*** |
CN112232280A (zh) * | 2020-11-04 | 2021-01-15 | 安徽大学 | 基于自编码器与3d深度残差网络的高光谱图像分类方法 |
CN114861865A (zh) * | 2022-03-10 | 2022-08-05 | 长江三峡技术经济发展有限公司 | 高光谱图像分类模型的自监督学习方法、***、介质和电子设备 |
CN115565071A (zh) * | 2022-10-26 | 2023-01-03 | 深圳大学 | 高光谱图像Transformer网络训练及分类方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8538195B2 (en) * | 2007-09-17 | 2013-09-17 | Raytheon Company | Hyperspectral image dimension reduction system and method |
US20230004760A1 (en) * | 2021-06-28 | 2023-01-05 | Nvidia Corporation | Training object detection systems with generated images |
-
2023
- 2023-04-25 CN CN202310457860.7A patent/CN116486160B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103646409A (zh) * | 2013-12-19 | 2014-03-19 | 哈尔滨工程大学 | 多元向量量化的高光谱图像压缩编码方法 |
WO2018045626A1 (zh) * | 2016-09-07 | 2018-03-15 | 深圳大学 | 基于超像素级信息融合的高光谱图像的分类方法及*** |
CN112232280A (zh) * | 2020-11-04 | 2021-01-15 | 安徽大学 | 基于自编码器与3d深度残差网络的高光谱图像分类方法 |
CN114861865A (zh) * | 2022-03-10 | 2022-08-05 | 长江三峡技术经济发展有限公司 | 高光谱图像分类模型的自监督学习方法、***、介质和电子设备 |
CN115565071A (zh) * | 2022-10-26 | 2023-01-03 | 深圳大学 | 高光谱图像Transformer网络训练及分类方法 |
Non-Patent Citations (2)
Title |
---|
he guangming,fu han等.Real-time detection of flying aircraft using hyperspectral satellite imges.IEEE.2022,全文. * |
高光谱图像降维的判别流形学习方法;杜博;张乐飞;张良培;胡文斌;;光子学报(03);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN116486160A (zh) | 2023-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110147836B (zh) | 模型训练方法、装置、终端及存储介质 | |
CN112115783A (zh) | 基于深度知识迁移的人脸特征点检测方法、装置及设备 | |
CN112861722B (zh) | 一种半监督深度图卷积的遥感土地利用语义分割方法 | |
CN116486160B (zh) | 基于光谱重建的高光谱遥感图像分类方法、设备及介质 | |
CN110837830B (zh) | 一种基于时空卷积神经网络的图像字符识别方法 | |
CN113033276B (zh) | 一种基于转换模块的行为识别方法 | |
US20220164413A1 (en) | Method and System for Predicting Operation Time of Sparse Matrix Vector Multiplication | |
CN114022372B (zh) | 一种引入语义损失上下文编码器的掩膜图像修补方法 | |
CN114821155A (zh) | 一种基于可变形nts-net神经网络的多标签分类方法及*** | |
CN116563355A (zh) | 一种基于时空交互注意力机制的目标跟踪方法 | |
CN114972904B (zh) | 一种基于对抗三元组损失的零样本知识蒸馏方法及*** | |
CN114663777B (zh) | 基于时空联合图注意机制的高光谱影像变化检测方法 | |
CN111008570B (zh) | 一种基于压缩-激励伪三维网络的视频理解方法 | |
CN113298736A (zh) | 一种基于面部样式的人脸图像修复方法 | |
CN114140831B (zh) | 人体姿态估计方法、装置、电子设备及存储介质 | |
CN115830535A (zh) | 一种变电站周边区域积水检测方法、***、设备及介质 | |
CN114581789A (zh) | 一种高光谱图像分类方法及*** | |
CN115272213A (zh) | 医学图像质量评价方法及装置 | |
CN113962905A (zh) | 基于多阶段特征互补网络的单幅图像去雨方法 | |
CN116188785A (zh) | 运用弱标签的PolarMask老人轮廓分割方法 | |
CN114049567B (zh) | 自适应软标签生成方法以及在高光谱图像分类中的应用 | |
CN114331894A (zh) | 一种基于潜在特征重构和掩模感知的人脸图像修复方法 | |
CN115147727A (zh) | 一种遥感影像不透水面提取方法及*** | |
CN114329070A (zh) | 视频特征提取方法、装置、计算机设备和存储介质 | |
CN114627370A (zh) | 一种基于transformer特征融合的高光谱影像分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |