CN117636183A - 一种基于自监督预训练的小样本遥感图像分类方法 - Google Patents
一种基于自监督预训练的小样本遥感图像分类方法 Download PDFInfo
- Publication number
- CN117636183A CN117636183A CN202311690568.6A CN202311690568A CN117636183A CN 117636183 A CN117636183 A CN 117636183A CN 202311690568 A CN202311690568 A CN 202311690568A CN 117636183 A CN117636183 A CN 117636183A
- Authority
- CN
- China
- Prior art keywords
- training
- self
- small sample
- remote sensing
- supervision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000012360 testing method Methods 0.000 claims abstract description 16
- 238000012795 verification Methods 0.000 claims abstract description 14
- 238000005070 sampling Methods 0.000 claims abstract description 4
- 238000005259 measurement Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 description 10
- 238000009826 distribution Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012271 agricultural production Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
一种基于自监督预训练的小样本遥感图像分类方法，包括以下步骤：S1、采样小样本数据集，将数据集分为训练集、验证集和测试集；S2、构建情景训练数据集；S3、构建基于自监督预训练双度量网络模型；S4、利用情景训练方法对自监督预训练双度量网络模型进行训练和验证；S5、对训练完成的自监督预训练双度量网络模型进行测试。本发明能够通过预训练学习在小样本图像分类中有较高的准确率，最终实现了小样本遥感图像的分类准确率。
Description
技术领域
本发明属于计算机视觉领域，具体涉及一种基于自监督预训练的小样本遥感图像分类方法。
背景技术
遥感，也称为远程感知或遥测，是一种通过卫星、无人机、飞机等载体获取地球表面信息的技术。随着技术的不断进步，遥感应用领域也越来越广泛。遥感图像分类可以应用于土地利用和土地覆盖的监测、森林和水资源的管理、城市和交通规划、环境保护、农业生产、天气预报等。深度学习方法在遥感图像分类中取得了较好的成绩。
然而，这些表现优异的模型需要大量标记数据的训练才能得以优化。一旦可用的标记数据有限，就会出现过拟合的风险，从而导致模型性能大幅下降。在实际应用中，标记数据需要耗费大量时间，而且可用的标记数据非常有限。此外，深度学习模型在未见过的新类上的泛化能力也极为有限。
受人类只需要通过少量数据就能做到快速学习的启发，小样本学习的概念被提出。小样本学习的目标是在很少的样本中学习到一个泛化能力强的模型，使其在未见过的新类别上表现良好。在小样本学习中，通常只有几个样本可以用来训练模型，因此传统的机器学习方法难以应对这种情况。主要的小样本方法可以概括为三类：基于度量的学习，基于数据增强的学习和基于元的学习。在元学习方法中，可以用大量的任务和每个任务的少量样本来训练模型。近期有不少工作将小样本学习应用于遥感图像分类。
发明内容
为了克服已有技术的不足，本发明提提出一种基于自监督预训练的方法，能够通过预训练学习在小样本图像分类中有较高的准确率，最终实现了小样本遥感图像的分类准确率。
本发明解决其技术问题所采用的技术方案是：
一种基于自监督预训练的小样本遥感图像分类方法，包括以下步骤：
S1、采样小样本数据集，将数据集分为训练集、验证集和测试集；
S2、构建情景训练数据集；
S3、构建基于自监督预训练双度量网络模型；
S4、利用情景训练方法对自监督预训练双度量网络模型进行训练和验证；
S5、对训练完成的自监督预训练双度量网络模型进行测试。
进一步，所述步骤S1中，小样本遥感图像可以划分成3：1：1的形式，将总类别的三份作为训练集，一份作为验证集，最后一份作为测试集,这三个数据集的类别互不相交。
再进一步，所述步骤S2所中，情景构建方法在数据集中随机选取C个类别，每个类别选取K个图片作为支持集S，在选取类别的剩余样本中随机选取M个样本作为查询集Q，一个支持集和查询集构成一次情景训练集。
更进一步，所述步骤S3中，自监督预训练双度量网络模型分为两个部分，第一个部分是预训练部分，第二个部分为双度量网络微调部分；
第一部分选用的主干网络是SwinTransformer，在该部分所用的数据集是包含训练集类别的样本，不做情景训练；预训练模型通过随机掩盖一定比例的图像块，然后预测掩盖的图像块对应的视觉token；
第二部分是将数据集划分为情景式训练，将支持集和查询集中的每个图像I分成个图像块，其中H表示图像的高度，W表示图像的宽度，P表示图像块的大小；将支持集Ts和查询集Tq所有的图像块展平输入到SwinTransformer中得到支持集的和查询集的/> 在获得了所有的图像块编码后，保留一份干净的Ts和Tq,然后在此基础上对Ts和Tq加上高斯噪声；最后分别对有噪声和无噪声的Ts和Tq做相似性度量，并取两者的加权平均作为最后的预测结果。
所述步骤S4中，从训练集中随机抽取一个情景式数据集输入预训练好的模型，进行前向传播并通过损失函数进行反向更新网络参数，验证模型是在验证集中随机选取情景式数据集输入模型，通过支持集对查询集进行预测。
所述步骤S5中，从测试集中随机选取情景式数据集输入微调之后的模型，通过支持集对查询集进行预测。
优选地，SwinTransformer中宽口大小设置为7，嵌入维度为96，四个阶段的层数分别为2、2、18和2，每个阶段的注意力头数分别为3、6、12和24。
优选地，双度量网络中的噪声采用高斯噪声，采用标准高斯函数N(0，1)，均值为0方差为1。
优选地，计算支持集和查询集之间的相似性度量采用欧式距离。
本发明的有益效果主要表现在：通过不需要外部标签的自监督预训练使模型学习到更好的泛化性，降低模型在训练过程中出现过拟合的风险。解决现有的小样本图像分类中学习中因为样本量不足导致泛化性较低的问题，从而提高了预测效果。
附图说明
图1为本发明的模型方法的流程图；
图2为本发明小样本任务采样示意图；
图3为本发明自监督预训练示意图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1～图3，一种基于自监督预训练的小样本遥感图像分类方法，包括如下步骤：
S1、在本实例中，本发明提出的基于自监督预训练的小样本图像分类方法首先要对模型在训练集上做自监督预训练采用Masked Image Modeling的思想作为自监督训练SwinTransformer的预训练任务。
在一实例中，自监督预训练中将每个图像I分成个图像块，其中H表示图像的高度，W表示图像的宽度，P表示图像块的大小；图像I经过两种不同的增广方式得到u和v。训练模型中有两个网络分别是教师和学生网络，教师网络和学生网络的参数是一致的。经过学生网络的图像I要随机掩盖掉部分图像块。训练的目标是教师网络的参数通过学生网络的参数做动量更新。
S2、如图2所示，采用元训练训练方法，其主要方法是在任务中采样多个元任务，每个任务包含一个训练集和一个测试集。训练集和测试集也叫做支持集和查询集，在本实例中我们设置一个元任务中随机选取5张不同类别的图像作为支持集，随机选取支持集中对应的类别中图像15张一共75张图片作为查询集。将各种不同的元任务输入到S1中预训练的SwinTransformer模型中，不断地微调该模型使其更加符合该数据集分布规律。
S3、在SwinTransformer模型输出的矩阵块中我们保留一份干净的矩阵块，然后再对支持集和查询集的矩阵块中都分别加入高斯噪声，再就是采用并行结构计算相似度。相似度使用欧式距离表示，将干净的查询集与干净的支持集进行距离比较，将添有噪声的查询集与噪声的支持集进行距离比较。最后采用加权求和的方式计算最终的距离。
其中，对支持集和查询集之间的欧式距离矩阵。具体而言，生成四个张量作为输入，分别是干净的支持集嵌入、干净的查询集嵌入、带噪声的支持集嵌入和带噪声的查询集嵌入。首先对输入的张量进行一些形状变换和归一化的操作，以确保它们适合计算欧式距离。具体来说，该方法是将每个嵌入矩阵展平为一个向量，并对每个向量进行L2范数归一化。然后，计算两组嵌入之间的欧式距离。对于干净的支持集和查询集，它通过计算两个矩阵的乘积得到欧式距离矩阵。对于带噪声的支持集和查询集，同样通过计算两个矩阵的乘积得到欧式距离矩阵。最终，返回这两个欧式距离矩阵，矩阵的形状是[n,m]，其中n是支持集中样本的数量，m是查询集中样本的数量。这些矩阵可以用于进一步的相似性度量或分类任务。
在一实施例中，将计算得到的干净和带噪声的支持集和查询集之间的欧式距离分别为D1和D2，使用权重0.8*D1+0.2*D2对两者进行线性组合，得到矩阵C，然后将矩阵C重塑形状为[5，196，196，5]然后进行[2，3]转置，其中5是元学习一个任务的类别数，196则类别数中样本量和嵌入序列长度的乘积。
在一实施例中，对预测模型进行温度缩放，通过除以对数温度，模型的预测值被缩放，这个缩放的强度由温度参数控制。缩放后的预测值可以影响模型对概率分布的敏感性，温度越高，概率分布越平滑。
在一实施例中，使用logsumexp汇总所有补丁的对数概率，以获取每个图象的最终预测。具体而言，对于输入张量沿指定维度dim＝1的最大值，记为max_val，计算输入张量减去max_val的差值，得到调整后的张量。对调整后的张量进行指数运算。沿指定维度dim＝1计算指数运算后的和。对上一步得到的和取对数。
S4、利用情景训练方法对自监督预训练双度量网络模型进行训练和验证。
在一实施例中，在每个训练迭代中，模型会从训练集中随机抽取情景集，将其作为输入进行前向传播。通过梯度下降来更新网络参数，最终学习一个在训练集上表现良好的模型。在这个过程中，还会从验证集中随机抽取情景集，用于验证模型的性能。
在模型验证阶段，会进行多次过程。每次从验证集中随机抽取情景集作为输入数据，基于支持集对查询集的标签进行预测。将多个过程的平均正确率作为模型在验证集上的性能评估结果。
S5、对训练完成的自监督预训练双度量网络模型进行测试。
在一实施例中，在模型测试阶段，使用基于注意力机制的深度近邻神经网络模型。具体测试方式是从验证集中随机抽取一个情景集作为输入数据，然后基于支持集对查询集的标签进行预测。多次过程的平均正确率被视为模型在测试集上的性能评估结果。
本说明书的实施例所述的内容仅仅是对发明构思的实现形式的列举，仅作说明用途。本发明的保护范围不应当被视为仅限于本实施例所陈述的具体形式，本发明的保护范围也及于本领域的普通技术人员根据本发明构思所能想到的等同技术手段。
Claims (9)
1.一种基于自监督预训练的小样本遥感图像分类方法，其特征在于，所述方法包括以下步骤：
S1、采样小样本数据集，将数据集分为训练集、验证集和测试集；
S2、构建情景训练数据集；
S3、构建基于自监督预训练双度量网络模型；
S4、利用情景训练方法对自监督预训练双度量网络模型进行训练和验证；
S5、对训练完成的自监督预训练双度量网络模型进行测试。
2.如权利要求1所述的基于自监督预训练的小样本遥感图像分类方法，其特征在于，所述步骤S1中，小样本遥感图像可以划分成3：1：1的形式，将总类别的三份作为训练集，一份作为验证集，最后一份作为测试集,这三个数据集的类别互不相交。
3.如权利要求1或2所述的基于自监督预训练的小样本遥感图像分类方法，其特征在于，所述步骤S2所中，情景构建方法在数据集中随机选取C个类别，每个类别选取K个图片作为支持集S，在选取类别的剩余样本中随机选取M个样本作为查询集Q，一个支持集和查询集构成一次情景训练集。
4.如权利要求3所述的基于自监督预训练的小样本遥感图像分类方法，其特征在于，所述步骤S3中，自监督预训练双度量网络模型分为两个部分，第一个部分是预训练部分，第二个部分为双度量网络微调部分；
第一部分选用的主干网络是SwinTransformer，在该部分所用的数据集是包含训练集类别的样本，不做情景训练；预训练模型通过随机掩盖一定比例的图像块，然后预测掩盖的图像块对应的视觉token；
第二部分是将数据集划分为情景式训练，将支持集和查询集中的每个图像I分成个图像块，其中H表示图像的高度，W表示图像的宽度，P表示图像块的大小；将支持集Ts和查询集Tq所有的图像块展平输入到SwinTransformer中得到支持集的和查询集的/> 在获得了所有的图像块编码后，保留一份干净的Ts和Tq,然后在此基础上对Ts和Tq加上高斯噪声；最后分别对有噪声和无噪声的Ts和Tq做相似性度量，并取两者的加权平均作为最后的预测结果。
5.如权利要求4所述的基于自监督预训练的小样本遥感图像分类方法，其特征在于，所述步骤S4中，从训练集中随机抽取一个情景式数据集输入预训练好的模型，进行前向传播并通过损失函数进行反向更新网络参数，验证模型是在验证集中随机选取情景式数据集输入模型，通过支持集对查询集进行预测。
6.如权利要求5所述的基于自监督预训练的小样本遥感图像分类方法，其特征在于，所述步骤S5中，从测试集中随机选取情景式数据集输入微调之后的模型，通过支持集对查询集进行预测。
7.如权利要求4所述的基于自监督预训练的小样本遥感图像分类方法，其特征在于，SwinTransformer中宽口大小设置为7，嵌入维度为96，四个阶段的层数分别为2、2、18和2，每个阶段的注意力头数分别为3、6、12和24。
8.如权利要求4所述的基于自监督预训练的小样本遥感图像分类方法，其特征在于，双度量网络中的噪声采用高斯噪声，采用标准高斯函数N(0，1)，均值为0方差为1。
9.如权利要求4所述的基于自监督预训练的小样本遥感图像分类方法，其特征在于，计算支持集和查询集之间的距离采用欧式距离。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311690568.6A CN117636183A (zh) | 2023-12-11 | 2023-12-11 | 一种基于自监督预训练的小样本遥感图像分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311690568.6A CN117636183A (zh) | 2023-12-11 | 2023-12-11 | 一种基于自监督预训练的小样本遥感图像分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117636183A true CN117636183A (zh) | 2024-03-01 |
Family
ID=90028729
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311690568.6A Pending CN117636183A (zh) | 2023-12-11 | 2023-12-11 | 一种基于自监督预训练的小样本遥感图像分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117636183A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118038190A (zh) * | 2024-04-09 | 2024-05-14 | 深圳精智达技术股份有限公司 | 一种深度原型网络的训练方法、装置及存储介质 |
-
2023
- 2023-12-11 CN CN202311690568.6A patent/CN117636183A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118038190A (zh) * | 2024-04-09 | 2024-05-14 | 深圳精智达技术股份有限公司 | 一种深度原型网络的训练方法、装置及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109142171B (zh) | 基于特征扩张的融合神经网络的城市pm10浓度预测方法 | |
| CN111639719B (zh) | 基于时空运动和特征融合的足迹图像检索方法 | |
| CN110349185B (zh) | 一种rgbt目标跟踪模型的训练方法及装置 | |
| CN111382686B (zh) | 一种基于半监督生成对抗网络的车道线检测方法 | |
| CN107636691A (zh) | 用于识别图像中的文本的方法和设备 | |
| CN113852432B (zh) | 基于rcs-gru模型的频谱预测感知方法 | |
| CN113128355A (zh) | 一种基于通道剪枝的无人机图像实时目标检测方法 | |
| CN113297936B (zh) | 一种基于局部图卷积网络的排球群体行为识别方法 | |
| CN110738355A (zh) | 一种基于神经网络的城市内涝预测方法 | |
| CN112766496B (zh) | 基于强化学习的深度学习模型安全性保障压缩方法与装置 | |
| CN112910711A (zh) | 一种基于自注意力卷积网络的无线业务流量预测方法、设备及介质 | |
| CN117636183A (zh) | 一种基于自监督预训练的小样本遥感图像分类方法 | |
| CN116110022B (zh) | 基于响应知识蒸馏的轻量化交通标志检测方法及*** | |
| CN113840297B (zh) | 一种基于射频机器学习模型驱动的频谱预测方法 | |
| CN112183742A (zh) | 基于渐进式量化和Hessian信息的神经网络混合量化方法 | |
| CN115545334B (zh) | 土地利用类型预测方法、装置、电子设备及存储介质 | |
| CN111047078A (zh) | 交通特征预测方法、***及存储介质 | |
| CN112766603A (zh) | 一种交通流量预测方法、***、计算机设备及存储介质 | |
| CN112560948A (zh) | 数据偏差下的眼底图分类方法及成像方法 | |
| CN113487600A (zh) | 一种特征增强尺度自适应感知船舶检测方法 | |
| CN115544239A (zh) | 一种基于深度学习模型的布局偏好预测方法 | |
| CN115862324A (zh) | 一种智慧交通的时空同步图卷积神经网络及交通预测方法 | |
| CN114973019A (zh) | 一种基于深度学习的地理空间信息变化检测分类方法及*** | |
| CN111144462A (zh) | 一种雷达信号的未知个体识别方法及装置 | |
| CN117034060A (zh) | 基于ae-rcnn的洪水分级智能预报方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |