CN114299398A - 一种基于自监督对比学习的小样本遥感图像分类方法 - Google Patents

一种基于自监督对比学习的小样本遥感图像分类方法 Download PDF

Info

Publication number
CN114299398A
CN114299398A CN202210228860.5A CN202210228860A CN114299398A CN 114299398 A CN114299398 A CN 114299398A CN 202210228860 A CN202210228860 A CN 202210228860A CN 114299398 A CN114299398 A CN 114299398A
Authority
CN
China
Prior art keywords
samples
sample
pseudo
learning
marked
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210228860.5A
Other languages
English (en)
Other versions
CN114299398B (zh
Inventor
刘泉涌
付应雄
彭江涛
陈娜
黄怡
宁羽杰
余林洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei University
Original Assignee
Hubei University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University filed Critical Hubei University
Priority to CN202210228860.5A priority Critical patent/CN114299398B/zh
Publication of CN114299398A publication Critical patent/CN114299398A/zh
Application granted granted Critical
Publication of CN114299398B publication Critical patent/CN114299398B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Image Analysis (AREA)

Abstract

本发明涉及一种基于自监督对比学习的小样本遥感图像分类方法，包括以下步骤：1、对原始高光谱遥感数据进行降维、分割等预处理；2、在少量标记样本组成的训练集中，随机挑选标记样本并进行二次组合，生成对比学习组；3、设计并构建深度特征提取网络，利用对比组更新网络参数；4、利用训练好的深度网络模型对所有未标记样本进行预测，生成伪标记，并提出置信度差异算法挑选部分具有较高置信度的伪标记样本；5、微调网络模型并预测所有未标记样本的类别标签：将原始标记样本和伪标记样本结合，进一步训练模型并输出测试集样本的预测标签。本发明可以在少量标记样本的情况下，实现对高光谱遥感图像的准确分类，其分类效果明显优于一些现有算法。

Description

一种基于自监督对比学习的小样本遥感图像分类方法
技术领域
本发明涉及遥感图像处理和小样本分类领域，具体讲的是一种基于自监督对比学习的小样本遥感图像分类方法。
背景技术
高光谱图像分类一直是遥感图像处理领域的研究热点，它被广泛应用于农作物分析、军事目标识别、地理地质等领域。但是，在实际分类处理中，高光谱图像数据通常维数较高、标记样本极少且光谱和空间变化大，这些特点给传统遥感图像分类算法提出了新的挑战。
深度学习模拟人类视觉***的层次化工作模式，构建具有层次化结构的深度网络模型，在高光谱图像分类领域取得了优越的性能。栈式自动编码器（Stacked Auto-Encoder, SAE）高光谱深度分类网络和高光谱卷积神经网络（Convolutional NeuralNetwork, CNN）分类算法与SAE不同，CNN模型采用局部连接和权值共享实现了空域特征的有效提取，同时大幅减少了网络训练参数。之后，大量学者在CNN基础上，提出了一系列改进的CNN模型。为了解决3D-CNN参数量大，混合光谱网络 (hybrid spectral CNN, HybridSN)同时使用3D和2D卷积核进行特征提取，3D-CNN提取空间-光谱联合特征，2D-CNN进一步进行特征抽象。为了解决模型训练中，层数增加而导致的梯度消失和梯度***问题，残差网络(Residual networks) 被提出应用于高光谱分类。
尽管上述深度学习网络能够从数据中自动学习空谱特征，但是这些方法需要大量标记样本才能获得满意的性能。例如，HybridSN算法需要数据集中30%的标记样本作为训练集进行训练，对于Salinas高光谱数据，标记训练样本需要16000个左右。然而，在实际应用中，标记样本难以获取，往往面临的是小样本分类问题。高光谱图像中，通常有两种方式获取样本标签：(1)现场调查；(2)直接从高分辨率图像进行视觉解译。与视觉解译相比，实地现场调查的样本标记，更加准确。然而，现场调查成本高、复杂、耗时，极大地限制了标记样本的数量。因此，实际应用中很难获得足够的训练样本来完全满足深度神经网络的训练要求。在只有少数标记样本的情况下，如何进行有效的深度学习高光谱图像分类值得深入研究。
针对小样本高光谱分类问题，现有技术中主要包括以下几种解决方案：第一种是采用深度子空间聚类的高光谱图像分类方法，先利用少量的标记样本，通过子空间聚类方法为部分未标记样本打上伪标签，然后再利用这些伪标记样本训练深度学习网络；第二种是采用基于自适应蒸馏的自监督高光谱图像分类方法，利用聚类为每个未标记样本打上伪标签，然后设置阈值选择置信度较高的伪标记样本，再利用伪标记样本训练深度网络；第三种是采用基于对比学习的高光谱分类网络，该网络包含两步学习策略，其中第一步采用自监督学习进行预训练，第二步利用少量标记样本进行网络精细调整。
上述这些小样本深度学习分类方法都是先生成大量的伪标记样本，再用伪标记样本作为训练集来训练深度学习网络。但是这些方法中伪标记样本的数量以及质量探讨不够深入，深度特征提取网络的判别性能不强。
发明内容
本发明要解决的技术问题是一种基于自监督对比学习的小样本遥感图像分类方法。本发明采用以下技术方案：
一种基于自监督对比学习的小样本遥感图像分类方法，包括以下步骤：
步骤1、数据预处理，对原始高光谱数据进行降维，再分割成多个像素立方块，每个像素立方块即为一个样本，将已进行人工标记的样本放入训练集，将未标注的样本放入测试集；
步骤2、假设共包含
Figure 14051DEST_PATH_IMAGE001
个类别的样本，从训练集中每一类别的样本中选取一个标记 样本，将所有类别的样本组成第一个对比学习组，再从训练集中每一类别的样本中选取一 个标记标记样本，将所有类别的样本组成第二个对比学习组；则每个对比学习组中均有
Figure 53027DEST_PATH_IMAGE002
个样本且两个对比学习组之间没有重复样本；
步骤3、设计并构建深度特征提取网络模型，利用两个对比学习组训练深度特征提 取网络模型，通过最小化两个对比学习组之间的相似度差异
Figure 491093DEST_PATH_IMAGE003
、第一个对比学习组的分类损 失
Figure 960251DEST_PATH_IMAGE004
和第二个对比学习组的分类损失
Figure 975612DEST_PATH_IMAGE005
来优化深度特征提取网络模型参数，训练后得到 初步训练的深度特征提取网络模型；
步骤4、计算每个未标记样本到各类别的空间和光谱联合距离，根据概率转换公式将未标记样本到各类别的空间和光谱联合距离转化成概率，选择概率最大的类别对未标记样本进行标记并生成伪标记样本，根据置信度差异算法计算所有伪标记样本的置信度，选取置信度大于预设置信度阈值的伪标记样本放入伪标记样本集；
步骤5、利用伪标记样本集对初步训练的深度特征提取网络模型进行训练，通过最小化分类损失优化模型参数，训练后得到最终深度特征提取网络模型；
步骤6、将测试集中的样本输入最终深度特征提取网络模型，输出分类后的样本。
进一步的，所述步骤1中，对原始的高光谱数据进行降维后，将数据分割为多个大小相同的像素立方块，计算像素立方块中每个像素点与中心像素点之间的相似度，并且删除相似度低于预设像素阈值的像素点信息，得到最终的像素立方块。
进一步的，所述步骤3中两个对比学习组之间的相似度差异
Figure 290050DEST_PATH_IMAGE006
的计算方法为：假设 第一个对比学习组中样本的特征向量分别为
Figure 167308DEST_PATH_IMAGE007
；第二个对比学习组中样本 的特征向量分别为
Figure 10630DEST_PATH_IMAGE008
；其中
Figure 513287DEST_PATH_IMAGE009
的样本属于同一类别，
Figure 896995DEST_PATH_IMAGE010
,
Figure 165778DEST_PATH_IMAGE011
∈[1, 2,……,
Figure 914422DEST_PATH_IMAGE001
]，则
Figure 169954DEST_PATH_IMAGE012
的相似度差异
Figure 29457DEST_PATH_IMAGE013
计算公式如下：
Figure 686834DEST_PATH_IMAGE014
其中，
Figure 406047DEST_PATH_IMAGE015
为预设系数参数，
Figure 86558DEST_PATH_IMAGE016
为
Figure 15331DEST_PATH_IMAGE017
的余弦相似度，则两个对比学习组之间 的相似度差异
Figure 806176DEST_PATH_IMAGE003
计算公式如下：
Figure 631044DEST_PATH_IMAGE018
。
进一步的，所述步骤3中计算每个对比学习组的分类损失的方法为，分别计算组中每个样本与对应真实值的交叉熵，再将组中所有样本对应的交叉熵求和得到每个对比学习组的分类损失。
进一步的，所述步骤4中，空间光谱联合距离计算公式为：
Figure 64430DEST_PATH_IMAGE019
其中，
Figure 124790DEST_PATH_IMAGE020
为未标记样本，
Figure 974671DEST_PATH_IMAGE021
为一个类别的标记样本，
Figure 32756DEST_PATH_IMAGE022
为
Figure 15756DEST_PATH_IMAGE023
的 空间光谱联合距离，
Figure 817490DEST_PATH_IMAGE024
为
Figure 569545DEST_PATH_IMAGE023
的空间距离，
Figure 798532DEST_PATH_IMAGE025
为由KL散度计算的
Figure 469161DEST_PATH_IMAGE023
的光谱距离；
则未标记样本
Figure 871323DEST_PATH_IMAGE020
到第
Figure 415568DEST_PATH_IMAGE026
类的空间光谱联合距离
Figure 81036DEST_PATH_IMAGE027
为
Figure 241890DEST_PATH_IMAGE020
到第
Figure 385426DEST_PATH_IMAGE026
类各标记 样本的距离的最小值，计算公式如下：
Figure 115004DEST_PATH_IMAGE028
。
进一步的，所述步骤4中，使用Softmax概率转换公式将未标记样本到每一类别标记的空间和光谱联合距离转化成概率。
进一步的，所述步骤4中，根据置信度差异算法计算伪标记样本置信度的方法为采用如下公式计算：
Figure 951373DEST_PATH_IMAGE029
其中，
Figure 333943DEST_PATH_IMAGE030
为伪标记样本
Figure 15592DEST_PATH_IMAGE031
的置信度，
Figure 862325DEST_PATH_IMAGE032
为伪标记样本
Figure 604016DEST_PATH_IMAGE031
到所有类别 的概率向量中的最大值，
Figure 470953DEST_PATH_IMAGE033
为样本
Figure 956292DEST_PATH_IMAGE031
到所有类别的概率向量中的第二大值。
本发明采用以上技术方案后，与现有技术相比，具有以下优点：
本发明充分考虑了同一组内样本的差异性以及不同组之间相应位置样本的相似性。为了生成高质量的伪标记样本，本发明设计空谱联合距离和置信度评判标准，通过伪标记样本的自适应更新与深度特征提取模型的二次训练，取得了优越的分类效果。本发明在公共高光谱图像数据集上进行了实验，就目前所掌握的资料，本发明提出的分类方法优于已有的小样本高光谱分类方法。
下面结合附图和实例对本发明进行详细说明。
附图说明
图1为本发明的方法流程示意图；
图2为原始光谱数据和标记后的光谱数据，其中(a)图是从204个原始波段中挑选3个波段进行合成的伪彩色图像，(b)图是样本类别标记图；
图3为不同方法得到的分类标记结果图，其中(a)图为SA数据集的地物标记真值图， (b)图为SSL-AD分类结果图 ，(c)图为本发明分类结果图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
图1是本发明所提出的基于自监督对比学习的遥感图像小样本分类方法的流程图。如图1所示，本发明所提出的基于自监督对比学习的遥感图像小样本分类方法，具体包括以下步骤：
步骤1、对原始高光谱数据进行降维、分割等一系列预处理；
本发明中，初始图像的数据格式为.mat格式的三维数据矩阵。我们先使用主成分 分析降维方法对原始高光谱图像进行降维处理，使光谱维度降到20维。然后，对降维处理后 的数据立方块进行分割，以每个像素点为中心，取一个11 x 11立方块，构成像素立方块。用 像素立方块的整体信息代替中心像素点的信息进行处理。
Figure 860794DEST_PATH_IMAGE034
表示第
Figure 570125DEST_PATH_IMAGE035
个像素立方块的光 谱信息，
Figure 927288DEST_PATH_IMAGE036
表示第
Figure 13055DEST_PATH_IMAGE037
个像素立方体
Figure 763275DEST_PATH_IMAGE038
处像素点的光谱信息，
Figure 643506DEST_PATH_IMAGE039
表示第
Figure 487965DEST_PATH_IMAGE037
个像素立方体 中心像素点的光谱信息，通过方程：
Figure 49528DEST_PATH_IMAGE040
计算每个像素点与中心像素点的 相似度，并删除相似度较低的像素点，从而得到新的像素立方块
Figure 725360DEST_PATH_IMAGE041
。
步骤2、构建对比学习组
Figure 714176DEST_PATH_IMAGE042
；
本发明将预处理后的数据集划分成为训练集和测试集。考虑小样本分类情形，即 每类只有极少量标记样本。下面以每类只有5个标记样本进行说明，这些标记样本组成训练 集，剩余未标记样本组成测试集。假如数据集包含
Figure 839739DEST_PATH_IMAGE043
个类别，则训练集共有
Figure 204992DEST_PATH_IMAGE044
个标记样 本。记
Figure 469752DEST_PATH_IMAGE045
表示训练集中第
Figure 957365DEST_PATH_IMAGE026
类样本集合，其中
Figure 510837DEST_PATH_IMAGE046
。从每一类 随机选择两个样本将其重新组合生成对比训练组：
Figure 476519DEST_PATH_IMAGE047
和
Figure 799047DEST_PATH_IMAGE048
，
Figure 460491DEST_PATH_IMAGE049
表示从第
Figure 501259DEST_PATH_IMAGE037
类随机选取的两个标记样本。
步骤3、深度特征提取网络的训练；
所述步骤3进一步包括以下步骤：
步骤3.1，设计并构建深度特征提取网络；
步骤3.2，根据余弦相似度计算对比学习组的相似度差异
Figure 270632DEST_PATH_IMAGE003
；
本发明采用余弦相似度矩阵计算公式得到
Figure 244404DEST_PATH_IMAGE050
的余弦相似度
Figure 11503DEST_PATH_IMAGE051
，
Figure 601885DEST_PATH_IMAGE050
分别代表输入
Figure 844123DEST_PATH_IMAGE052
经过网络提取后得到的特征向量，进而计 算
Figure 203560DEST_PATH_IMAGE050
的相似度差异
Figure 79243DEST_PATH_IMAGE053
，
Figure 563445DEST_PATH_IMAGE054
为预设系数参数，最后得到 对比训练组的相似度差异
Figure 674621DEST_PATH_IMAGE018
。
步骤3.3，根据交叉熵公式分别计算对比训练组样本的分类损失
Figure 888564DEST_PATH_IMAGE055
；
步骤3.4，通过最小化三个函数损失
Figure 12114DEST_PATH_IMAGE056
来优化模型参数，使得经过模型提取 的特征能够使同类样本之间更相似，不同类样本之间差异更大。
步骤4、伪标签样本的生成和选择；
本发明假设未标记样本集合为
Figure 45929DEST_PATH_IMAGE057
，标记样本集合为
Figure 695216DEST_PATH_IMAGE058
，其中
Figure 966929DEST_PATH_IMAGE059
表示未标记样本个数，
Figure 43469DEST_PATH_IMAGE060
表示已标记样本个数。所述 步骤4进一步包括以下步骤：
步骤4.1，根据欧氏距离计算每个未标记样本到标记样本的空间距离；
本发明利用欧式距离计算每个未标记样本到标记样本的空间距离
Figure 830160DEST_PATH_IMAGE061
，
Figure 17559DEST_PATH_IMAGE062
分别代表
Figure 140848DEST_PATH_IMAGE063
在空间上的坐标。
步骤4.2，根据KL散度计算每个未标记样本到标记样本的光谱距离；
本发明利用KL散度分别计算
Figure 653869DEST_PATH_IMAGE064
和
Figure 865538DEST_PATH_IMAGE065
，
Figure 856628DEST_PATH_IMAGE066
代表特征向量
Figure 102933DEST_PATH_IMAGE063
的第
Figure 786855DEST_PATH_IMAGE067
个分量。考虑到KL散度是非对称的，最终定义每个未标记样本到标记样本的光谱距离
Figure 19909DEST_PATH_IMAGE068
为：
Figure 17952DEST_PATH_IMAGE069
；
步骤4.3，根据空间和光谱距离计算每个未标记样本到每个类别的距离；
本发明设计空谱联合距离来衡量样本之间的相似度，
Figure 915501DEST_PATH_IMAGE070
。然后选取每个未标记样本到每一类标记 样本距离的最小值作为该样本到该类别的距离
Figure 504745DEST_PATH_IMAGE071
。
步骤4.4，根据概率转换公式计算每个未标记样本到每个类别的概率；
本发明使用Softmax概率转换公式将未标记样本到每一类别的距离转化成概率：
Figure 691007DEST_PATH_IMAGE072
。根据Softmax概率转换公式，可以得到每个未标记样本
Figure 23899DEST_PATH_IMAGE020
到每一类别 的概率向量
Figure 775955DEST_PATH_IMAGE073
，则任意未标记样本
Figure 2012DEST_PATH_IMAGE020
的伪标签表示为，
Figure 472308DEST_PATH_IMAGE074
，
Figure 546574DEST_PATH_IMAGE075
表示取向量中指定数据的索引。对每一个未标 记像素进行以上步骤，可以得到每一个未标记样本的伪标记。
步骤4.5，根据置信度差异算法选取较高置信度的伪标记样本；
本发明使用置信度差异算法进行伪标记样本的选择。先计算每个伪标记样本的概 率向量
Figure 418715DEST_PATH_IMAGE076
中最大值与第二大值的差值，然后用最大值与该差值的乘积衡量该样本的置 信度，计算每个伪标记样本
Figure 553024DEST_PATH_IMAGE077
的置信度
Figure 979458DEST_PATH_IMAGE029
，
Figure 114205DEST_PATH_IMAGE033
表示
Figure 840853DEST_PATH_IMAGE078
中第二大值，然后根据每个样本的置信度进行排序，选取置信度较大 的部分伪标记样本加入训练集对模型进行二次训练。再次执行步骤2、3、4，最终得到一定数 量的具有较高置信度的伪标记样本。
步骤5、进一步训练并预测所有未标记样本的类别标记。
效果验证
为了验证本发明的有效性，我们在Salinas (SA)高光谱数据集上进行了实验验证。Salinas高光谱数据是高光谱图像分类常用的公共数据集。
Salinas 数据是由机载可见光/红外成像光谱仪（AVIRIS）所拍摄的美国加利福尼亚州的Salinas 山谷影像。该高光谱数据空间分辨率达到了3.7m （每个像素点对应实际地面大小为3.7m*3.7m），包含204个光谱波段。该图像的尺寸为512×217，其中可应用于分类的像素有54129个，这些像素总共分为16类，包括休耕地(Fallow)、芹菜(Celery)等。Salinas高光谱数据如图2所示，图2中(a)图是从204个原始波段中挑选3个波段进行合成的伪彩色图像，(b)图是样本类别标记图，每种区域代表一个类别。
考虑小样本分类情形，每类仅选取5个标记样本，一共使用
Figure 146063DEST_PATH_IMAGE079
个标记样 本构成训练集，剩余54049个未标记样本作为测试集，进行分类。为验证我们算法的有效性， 把我们的方法跟最新的基于自适应蒸馏自监督高光谱图像分类(SSL-AD)方法进行对比。分 类结果见表1。
表1：在SA数据上每类选取5个标记样本的分类结果对比
Figure 590951DEST_PATH_IMAGE080
从分类结果表中可以看到，本发明在12个类别上的分类准确率要高于SSL-AD方法。总体准确率较于SSL-AD提高了7个百分点以上，平均准确率提高了6个百分点。虽然SSL-AD 方法也是用少量的标记样本学习得到大量的伪标记样本，并构建深度网络模型进行分类，但是该方法在对比组构建过程中未明确考虑同一组内样本的差异性，同时也未考虑伪标记样本的更新与深度特征提取模型的二次训练。本发明在对比训练组构造过程中充分考虑了同一组内样本的差异性以及不同组之间相应样本的相似性，通过伪标记样本的自适应更新与深度特征提取模型的二次训练，取得了优越的分类效果。
图3展示了不同方法得到的分类标记结果图，图3中(a)图为SA数据集的地物标记真值图， (b)图为SSL-AD分类结果图 ，(c)图为本发明分类结果图。
从图3中的(b)图可以看出，SSL-AD分类结果中，画圈部分两个类别错分较多。相比于SSL-AD，本发明提出的方法分类结果要好得多。
以上所述为本发明最佳实施方式的举例，其中未详细述及的部分均为本领域普通技术人员的公知常识。本发明的保护范围以权利要求的内容为准，任何基于本发明的技术启示而进行的等效变换，也在本发明的保护范围之内。

Claims (7)

1.一种基于自监督对比学习的小样本遥感图像分类方法，其特征在于，包括以下步骤：
步骤1、数据预处理，对原始高光谱数据进行降维，再分割成多个像素立方块，每个像素立方块即为一个样本，将已进行人工标记的样本放入训练集，将未标注的样本放入测试集；
步骤2、假设共包含
Figure 863461DEST_PATH_IMAGE001
个类别的样本，从训练集中每一类别的样本中选取一个标记样本， 将所有类别的样本组成第一个对比学习组，再从训练集中每一类别的样本中选取一个标记 标记样本，将所有类别的样本组成第二个对比学习组；则每个对比学习组中均有
Figure 921547DEST_PATH_IMAGE002
个样本 且两个对比学习组之间没有重复样本；
步骤3、设计并构建深度特征提取网络模型，利用两个对比学习组训练深度特征提取网 络模型，通过最小化两个对比学习组之间的相似度差异
Figure 904546DEST_PATH_IMAGE003
、第一个对比学习组的分类损失
Figure 706280DEST_PATH_IMAGE004
和第二个对比学习组的分类损失
Figure 652809DEST_PATH_IMAGE005
来优化深度特征提取网络模型参数，训练后得到初步训 练的深度特征提取网络模型；
步骤4、计算每个未标记样本到各类别的空间和光谱联合距离，根据概率转换公式将未标记样本到各类别的空间和光谱联合距离转化成概率，选择概率最大的类别对未标记样本进行标记并生成伪标记样本，根据置信度差异算法计算所有伪标记样本的置信度，选取置信度大于预设置信度阈值的伪标记样本放入伪标记样本集；
步骤5、利用伪标记样本集对初步训练的深度特征提取网络模型进行训练，通过最小化分类损失优化模型参数，训练后得到最终深度特征提取网络模型；
步骤6、将测试集中的样本输入最终深度特征提取网络模型，输出分类后的样本。
2.根据权利要求1所述的基于自监督对比学习的小样本遥感图像分类方法，其特征在于，所述步骤1中，对原始的高光谱数据进行降维后，将数据分割为多个大小相同的像素立方块，计算像素立方块中每个像素点与中心像素点之间的相似度，并且删除相似度低于预设像素阈值的像素点信息，得到最终的像素立方块。
3.根据权利要求1所述的基于自监督对比学习的小样本遥感图像分类方法，其特征在 于，所述步骤3中两个对比学习组之间的相似度差异
Figure 678533DEST_PATH_IMAGE006
的计算方法为：假设第一个对比学习 组中样本的特征向量分别为
Figure 352091DEST_PATH_IMAGE007
；第二个对比学习组中样本的特征向量分别 为
Figure 691937DEST_PATH_IMAGE008
；其中
Figure 564078DEST_PATH_IMAGE009
的样本属于同一类别，
Figure 963966DEST_PATH_IMAGE010
,
Figure 121891DEST_PATH_IMAGE011
∈[1,2,……,
Figure 999848DEST_PATH_IMAGE001
]，则
Figure 460916DEST_PATH_IMAGE012
的相似度差异
Figure 297285DEST_PATH_IMAGE013
计算公式如下：
Figure 211015DEST_PATH_IMAGE014
其中，
Figure 630013DEST_PATH_IMAGE015
为预设系数参数，
Figure 680009DEST_PATH_IMAGE016
为
Figure 218438DEST_PATH_IMAGE017
的余弦相似度，则两个对比学习组之间的相 似度差异
Figure 88305DEST_PATH_IMAGE003
计算公式如下：
Figure 370382DEST_PATH_IMAGE018
。
4.根据权利要求1所述的基于自监督对比学习的小样本遥感图像分类方法，其特征在于，所述步骤3中计算每个对比学习组的分类损失的方法为，分别计算组中每个样本与对应真实值的交叉熵，再将组中所有样本对应的交叉熵求和得到每个对比学习组的分类损失。
5.根据权利要求1所述的基于自监督对比学习的小样本遥感图像分类方法，其特征在 于，所述步骤4中，空间光谱联合距离计算公式为：
Figure 274884DEST_PATH_IMAGE019
其中，
Figure 184546DEST_PATH_IMAGE020
为未标记样本，
Figure 338447DEST_PATH_IMAGE021
为一个类别的标记样本，
Figure 361898DEST_PATH_IMAGE022
为
Figure 120907DEST_PATH_IMAGE023
的空间光 谱联合距离，
Figure 266717DEST_PATH_IMAGE024
为
Figure 111176DEST_PATH_IMAGE023
的空间距离，
Figure 687387DEST_PATH_IMAGE025
为由KL散度计算的
Figure 363219DEST_PATH_IMAGE023
的 光谱距离；
则未标记样本
Figure 335723DEST_PATH_IMAGE020
到第
Figure 670408DEST_PATH_IMAGE026
类的空间光谱联合距离
Figure 301241DEST_PATH_IMAGE027
为
Figure 566000DEST_PATH_IMAGE020
到第
Figure 991296DEST_PATH_IMAGE026
类各标记样本 的距离的最小值，计算公式如下：
Figure 607086DEST_PATH_IMAGE028
。
6.根据权利要求1所述的基于自监督对比学习的小样本遥感图像分类方法，其特征在于，所述步骤4中，使用Softmax概率转换公式将未标记样本到每一类别标记的空间和光谱联合距离转化成概率。
7.根据权利要求1所述的基于自监督对比学习的小样本遥感图像分类方法，其特征在于，所述步骤4中，根据置信度差异算法计算伪标记样本置信度的方法为采用如下公式计算：
Figure 41609DEST_PATH_IMAGE029
其中，
Figure 361207DEST_PATH_IMAGE030
为伪标记样本
Figure 754143DEST_PATH_IMAGE031
的置信度，
Figure 60490DEST_PATH_IMAGE032
为伪标记样本
Figure 767546DEST_PATH_IMAGE031
到所有类别的概率 向量中的最大值，
Figure 475739DEST_PATH_IMAGE033
为样本
Figure 39576DEST_PATH_IMAGE031
到所有类别的概率向量中的第二大值。
CN202210228860.5A 2022-03-10 2022-03-10 一种基于自监督对比学习的小样本遥感图像分类方法 Active CN114299398B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210228860.5A CN114299398B (zh) 2022-03-10 2022-03-10 一种基于自监督对比学习的小样本遥感图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210228860.5A CN114299398B (zh) 2022-03-10 2022-03-10 一种基于自监督对比学习的小样本遥感图像分类方法

Publications (2)

Publication Number Publication Date
CN114299398A true CN114299398A (zh) 2022-04-08
CN114299398B CN114299398B (zh) 2022-05-17

Family

ID=80978665

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210228860.5A Active CN114299398B (zh) 2022-03-10 2022-03-10 一种基于自监督对比学习的小样本遥感图像分类方法

Country Status (1)

Country Link
CN (1) CN114299398B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115728247A (zh) * 2022-10-20 2023-03-03 武汉颐光科技有限公司 一种基于机器学习的光谱测量质量判定方法
CN116611001A (zh) * 2023-07-19 2023-08-18 中国海洋大学 基于多维自适应增量图的近红外光谱数据分类方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111008664A (zh) * 2019-12-05 2020-04-14 上海海洋大学 一种基于空谱联合特征的高光谱海冰检测方法
US20210319266A1 (en) * 2020-04-13 2021-10-14 Google Llc Systems and methods for contrastive learning of visual representations
CN113762128A (zh) * 2021-08-31 2021-12-07 中国人民解放军战略支援部队信息工程大学 一种基于无监督学习的高光谱影像分类方法
CN113963165A (zh) * 2021-09-18 2022-01-21 中国科学院信息工程研究所 一种基于自监督学习的小样本图像分类方法及***
WO2022041678A1 (zh) * 2020-08-30 2022-03-03 西南电子技术研究所（中国电子科技集团公司第十研究所） 张量协作图判别分析遥感图像特征提取方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111008664A (zh) * 2019-12-05 2020-04-14 上海海洋大学 一种基于空谱联合特征的高光谱海冰检测方法
US20210319266A1 (en) * 2020-04-13 2021-10-14 Google Llc Systems and methods for contrastive learning of visual representations
WO2022041678A1 (zh) * 2020-08-30 2022-03-03 西南电子技术研究所（中国电子科技集团公司第十研究所） 张量协作图判别分析遥感图像特征提取方法
CN113762128A (zh) * 2021-08-31 2021-12-07 中国人民解放军战略支援部队信息工程大学 一种基于无监督学习的高光谱影像分类方法
CN113963165A (zh) * 2021-09-18 2022-01-21 中国科学院信息工程研究所 一种基于自监督学习的小样本图像分类方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘冰等: "高光谱影像分类的深度少样例学习方法", 《测绘学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115728247A (zh) * 2022-10-20 2023-03-03 武汉颐光科技有限公司 一种基于机器学习的光谱测量质量判定方法
CN115728247B (zh) * 2022-10-20 2024-05-28 武汉颐光科技有限公司 一种基于机器学习的光谱测量质量判定方法
CN116611001A (zh) * 2023-07-19 2023-08-18 中国海洋大学 基于多维自适应增量图的近红外光谱数据分类方法
CN116611001B (zh) * 2023-07-19 2023-10-03 中国海洋大学 基于多维自适应增量图的近红外光谱数据分类方法

Also Published As

Publication number Publication date
CN114299398B (zh) 2022-05-17

Similar Documents

Publication Publication Date Title
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
CN110728192B (zh) 一种基于新型特征金字塔深度网络的高分遥感图像分类方法
CN111652038B (zh) 基于卷积神经网络的遥感的海冰图像分类方法
CN109190491B (zh) 残差卷积神经网络sar影像海冰分类方法
CN109684922B (zh) 一种基于卷积神经网络的多模型对成品菜的识别方法
CN114299398B (zh) 一种基于自监督对比学习的小样本遥感图像分类方法
CN103440505B (zh) 空间邻域信息加权的高光谱遥感图像分类方法
CN112347888B (zh) 基于双向特征迭代融合的遥感图像场景分类方法
CN111639587B (zh) 基于多尺度谱空卷积神经网络的高光谱图像分类方法
CN107451565B (zh) 一种半监督小样本深度学习图像模式分类识别方法
CN109063649B (zh) 基于孪生行人对齐残差网络的行人重识别方法
CN112308152B (zh) 基于光谱分割与同质区域检测的高光谱图像地物分类方法
CN107832797B (zh) 基于深度融合残差网的多光谱图像分类方法
CN104268593A (zh) 一种小样本情况下多稀疏表示的人脸识别方法
CN107944483B (zh) 基于双通道dcgan和特征融合的多光谱图像分类方法
CN111709313B (zh) 基于局部和通道组合特征的行人重识别方法
CN115984621B (zh) 一种基于限制性原型对比网络的小样本遥感图像分类方法
CN113139512B (zh) 基于残差和注意力的深度网络高光谱影像分类方法
CN111680579B (zh) 一种自适应权重多视角度量学习的遥感图像分类方法
CN113936214B (zh) 一种基于融合空天遥感影像的岩溶湿地植被群落分类方法
CN112749621A (zh) 一种基于深度卷积神经网络的遥感图像云层检测方法
CN106408009B (zh) 基于深度置信网络的邻域加权平均高光谱图像分类方法
CN115564996A (zh) 一种基于注意力联合网络的高光谱遥感图像分类方法
CN109145950B (zh) 一种基于图信号采样的高光谱图像主动学习方法
CN112329818B (zh) 基于图卷积网络嵌入表征的高光谱图像非监督分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant