CN111832404A - 一种基于特征生成网络的小样本遥感地物分类方法及*** - Google Patents

一种基于特征生成网络的小样本遥感地物分类方法及*** Download PDF

Info

Publication number
CN111832404A
CN111832404A CN202010502509.1A CN202010502509A CN111832404A CN 111832404 A CN111832404 A CN 111832404A CN 202010502509 A CN202010502509 A CN 202010502509A CN 111832404 A CN111832404 A CN 111832404A
Authority
CN
China
Prior art keywords
feature
ground
source
data set
test
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010502509.1A
Other languages
English (en)
Other versions
CN111832404B (zh
Inventor
张跃
张义
付琨
王冰
魏浩然
戴威
许全福
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Research Institute of CAS
Original Assignee
Aerospace Information Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Information Research Institute of CAS filed Critical Aerospace Information Research Institute of CAS
Priority to CN202010502509.1A priority Critical patent/CN111832404B/zh
Publication of CN111832404A publication Critical patent/CN111832404A/zh
Application granted granted Critical
Publication of CN111832404B publication Critical patent/CN111832404B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供的一种基于特征生成网络的小样本遥感地物分类方法及***，包括：基于地物类别将遥感地物分类数据集划分为源数据集和目标数据集；在源数据集上对特征提取器和生成网络进行训练，完成特征提取器的参数初始化；基于目标数据集，利用所述特征提取器和所述生成网络进行特征生成，得到各地物类型对应的生成特征集，可以有效地扩展出高质量的目标数据，降低目标数据集上的过拟合风险；然后在利用特征提取器对测试地物图像进行特征提取，并将测试样本特征与各种地物类型的生成特征集执行相似度度量，给出测试图像在各类地物类型上的置信度分数，进而确定被测图像的地物分类，解决了小样本条件下的遥感地物分类问题。

Description

一种基于特征生成网络的小样本遥感地物分类方法及***
技术领域
本发明涉及遥感智能识别领域，具体涉及一种基于特征生成网络的小样本遥感地物分类方法及***。
背景技术
深度学习方法在遥感地物分类任务中得到了广泛应用并一再刷新在公开数据集上的分类精度，然而随着深度学习方法在遥感地物分类中的实际应用，暴露出的一大问题便是模型分类精度对巨额训练数据的严重依赖性。
在遥感地智能识别实际应用中，遥感影像数据的收集标注需要耗费一定的人力、物力和时间，这与深度学习技术对海量数据的依赖性形成了矛盾，主要体现在：
(1)对于特定地物场景而言，例如恶劣成像天气下的地区遥感成像、某秘密军事基地的遥感数据，对其收集数千张高质量的遥感影像来专用于深度学习模型的训练是不切实际的；
(2)模型部署前准备的训练数据集往往难以与实际需求相应合。例如模型训练中准备了二十种地物场景下的遥感影像数据进行训练，实际应用中却需要对地物分类任务的进行拓展，增加若干种新场景要求进行地物分类，迫切需要在少量样本的条件下完成新场景下的分类任务。
传统深度学习算法在小样本条件下的地物分类任务中会陷入严重的过拟合问题，现有的解决小样本地物分类问题的方法主要是基于样本扩充的小样本学习算法，具体是利用深度生成模型进行样本扩充进行样本生成，基于生成样本集再进行模型的训练来应对小样本地物分类问题。其缺陷在于需要对深度生成模型、分类模型单独训练，学习效率低下，在面对各种地物分类任务的小样本上的学习效率低下，缺乏对各类地物目标的通用性。
发明内容
为了解决上述背景技术中存在的不足，本发明提供一种基于特征生成网络的小样本遥感地物分类方法及***，利用生成网络在特征层面对地物目标进行特征生成和扩充，并利用测试样本特征和地物目标生成特征集的相似度度量完成小样本地物分类，使得模型的特征生成和地物分类能以端到端的方式进行，极大地提升了学习效率和分类精度。
本发明提供的技术方案是：
按照地物类别将遥感地物分类数据集划分为源数据集Dsource和目标数据集Dtarget，分别用于模型的整体训练和在各类地物目标上的小样本分类性能测试；
在源数据集Dsource上对特征提取器F和生成网络G进行训练；
基于目标数据集Dtarget，利用所述特征提取器F和所述生成网络G进行特征生成，得到各地物类型对应的生成特征集，在特征层面实现地物样本扩充，满足模型在小样本条件下的训练需求；
利用特征提取器F对测试地物图像x进行特征提取，并将测试样本特征与各种地物类型的生成特征集执行相似度度量，给出测试图像x在各类地物类型上的置信度分数，进而确定被测图像x的地物分类。
优选的所述基于地物类别将遥感地物分类数据集划分为源数据集Dsource和目标数据集Dtarget，包括：
将遥感地物分类数据集中地物类别划分为源类别Csource、目标类别Ctarget，且所述源类别Csource和目标类别Ctarget中的地物类别互斥；
基于所述源类别Csource和目标类别将遥感地物分类数据集划分为源数据集Dsource、目标数据集Dtarget；
其中所述源数据集Dsource上每类地物目标所对应的样本数应不少于500。
优选的，在源数据集Dsource上对特征提取器F进行训练，包括：
以Dsource上的地物类别空间整体，作为当前的待分类集合；
对特征提取器尾端增加两层全连接层，最后一层全连接层负责给出每一类地物类型的置信度分数；另外一层用于进行非线性运算；
基于待分类集合上的样本数量分布，对所述特征提取器F进行训练的过程中采用的损失函数类别进行均衡加权策略；
待损失函数趋于平稳后终止训练，剔除全连接层，并将剩余部位的参数用于特征提取器F的参数初始化。
优选的，所述采用损失函数对类别进行均衡加权策略包括：
在交叉熵损失函数准则下，基于各地物类型样本在源数据集Dtrain上的频数分布，转化成幂指残差形式对各地物类型样本的分类损失函数进行加权均衡。
优选的，在源数据集Dsource上对生成网络G进行训练，包括：
步骤1，在源数据集Dsource上按照地物类别随机采样出少样本地物分类任务，并划分为训练集Strain和测试集Stest；
步骤2，对于少样本分类任务中的训练集Strain中的训练数据xtrain，利用所述特征提取器F确定的提取特征F(xtrain)与随机噪声向量z作为特征生成网络G的输入源，进行解耦学习和特征生成，重复执行特征扩充得到生成特征集F(xtrain)aug；
步骤3，对于测试集Stest中的少样本分类任务中的测试数据xtest，利用所述特征提取器F确定的地物图像特征F(xtest)与所述生成特征集F(xtrain)aug送入分类器C，将测试地物图像特征与各类训练地物图像对应的生成特征集进行相似度度量，得到所述分类任务中的测试地物图像xtest在各地物类型上的置信度分数；
步骤4，基于所述置信度分数对所述少样本地物分类任务中的地物图像进行地物分类；
步骤5，在交叉熵损失函数下按照反向传播算法，对特征提取器F、分类器C和生成网络G的参数按照协同训练算法进行联合优化；
步骤6，重复步骤2至步骤5，训练特征提取器F、生成网络G与分类器C直到收敛。
优选的，所述利用所述特征提取器F确定的提取特征F(xtrain)与随机噪声向量z作为特征生成网络G的输入源，进行解耦学习和特征生成，重复执行特征扩充得到生成特征集F(xtrain)aug，包括：
对于生成网络G，首次进行特征生成时候按照对角恒等映射矩阵的形式进行参数初始化；
对于第i类地物类型图像，其所对应的输入特征F(xtrain)和噪声向量z，经过伴有ReLU激活函数的三层感知机，得到生成特征G(F(xtrain)，z)；
改变噪声向量输入，对第i类地物类型图像重复进行特征生成，直至该类样本特征数量达到naug。将第i类地物类型的原始特征输入和生成特征合并，得到该类地物类型最终的生成特征集F(xtrain)aug。
优选的，所述测试地物图像特征F(xtest)与所述生成特征集F(xtrain)aug送入分类器C，将测试地物图像特征与各类训练地物图像对应的生成特征集进行相似度度量，得到所述分类任务中的测试地物图像xtest在各地物类型上的置信度分数，包括：
基于所述训练集Strain对应的生成特征集F(xtrain)aug，按照类内特征均值计算出各地物类型对应的原型向量；
对各地物类型的原型向量和测试样本的特征按照余弦相似度准则进行相似度度量，并以此作为样本xtest属于第i类地物目标的置信度分数；
选择测试样本xtest在各类地物目标上的最高置信度分数，将其所对应的地物类别作为预测输出。
优选的，所述原型向量的计算式如下：
Figure BDA0002524845990000041
式中pi为第i类地物类型对应的原型向量，Kaug为第i类地物类型对应的生成特征集数目。
优选的，所述置信度分数计算式如下：
Figure BDA0002524845990000051
式中，P(Y＝i|X)为测试样本X属于第i类地物类型的置信度分数。pi为第i类地物类型的原型向量，j代表地物类别空间集合中的一类地物类型所对应的原型向量，cosine(.)代表余弦相似度函数；
所述余弦相似度函数cosine(.)的计算式如下：
Figure BDA0002524845990000052
式中，x1、x2为待进行相似度度量的一维向量。
优选的，所述在交叉熵损失函数下按照反向传播算法，对特征提取器F、分类器C和生成网络G的参数按照协同训练算法进行联合优化，包括：
按照交叉熵损失函数下按照反向传播算法，将训练图像对应的生成特征集与原始特征集共同作为一个批训练单元执行，对特征提取器F、分类器C和生成网络G按照端到端的方式进行优化。
基于同一种发明构思，本发明还提供一种小样本遥感地物分类***，包括：
数据集构建模块：用于基于地物类别将遥感地物分类数据集划分为源数据集Dsource和目标数据集Dtarget；
模型训练模块：用于在源数据集Dsource上对特征提取器F和生成网络G进行训练；
生成特征集模块：用于基于目标数据集Dtarget，利用所述特征提取器F和所述生成网络G进行特征生成，得到各地物类型对应的生成特征集；
分类模块：用于利用特征提取器F对测试地物图像进行特征提取，并将测试样本特征与各种地物类型的生成样本集执行相似度度量，给出测试图像在各类地物类型上的置信度分数，进而确定被测图像的地物分类。
与现有技术相比，本发明的有益效果为：
1、本发明提供的一种小样本遥感地物分类方法及***，包括：基于地物类别将遥感地物分类数据集划分为源数据集Dsource和目标数据集Dtarget；在源数据集Dsource上对特征提取器F和生成网络G进行训练；基于目标数据集Dtarget，利用所述特征提取器F和所述生成网络G进行特征生成，得到各地物类型对应的生成特征集；利用特征提取器F对测试地物图像x进行特征提取，并将测试样本特征与各种地物类型的生成样本集执行相似度度量，给出测试图像x在各类地物类型上的置信度分数，进而确定被测图像x的地物分类，其中，通过分类模型在源数据集上的训练，完成特征提取器的参数初始化，降低了学习的复杂度，减轻后续学习负担；通过生成网络在源数据集上的特征模式发掘，迁移应用到目标数据集上应用，可以有效地扩展出高质量的目标数据特征，降低源数据集上的过拟合风险；
2、本发明提供的一种小样本遥感地物分类方法中通过一种生成网络和分类器的联合优化方法，实现特征生成模型的端到端学习，可以实现小样本条件下的地物分类的高精度的同时并有效简化训练过程；
3、本发明提供的一种小样本遥感地物分类方法中基于特征生成网络，以遥感地物图像特征和随机噪声为输入对各类地物类型进行特征生成，同时对各类地物特征进行自适应地空间映射学习，通过映射空间上的特征相似度度量执行小样本遥感地物分类，实现了样本不足条件下的地物类别的特征泛化与扩充，解决了小样本条件下的遥感地物分类问题。
附图说明
图1是本申请实施例1提供的小样本遥感地物分类方法总体流程示意图；
图2是本申请实施例1提供的小样本遥感地物分类方法中利用源数据集对特征提取器F和生成网络G进行训练过程；
图3是本申请实施例1提供的小样本遥感地物分类方法中数据集划分示意图；
图4是本申请实施例1提供的一种小样本遥感地物分类方法的框架示意图；
图5是本申请实施例2提供的小样本遥感地物分类***总体框图。
具体实施方式
为了更好地理解本发明，下面结合说明书附图和实例对本发明的内容做进一步的说明。
实施例1
如图1所示，本发明提出的一种小样本遥感地物分类方法，包括：
S1：基于地物类别将遥感地物分类数据集划分为源数据集Dsource和目标数据集Dtarget。如图3所示，按照地物类别划分为源类别和测试类别并保证二者不存在地物类别重合。进一步按照源类别、目标类别，将遥感地物分类数据集划分为源数据集Dsource、目标数据集Dtarget，并保证源数据集Dsource上每类样本数一般不少于500个。其中，源数据集中的地物类型包括但不限于：建筑物、道路、草地，用于模型的训练；目标数据集中的地物类型包括但不限于：水体、灌木、裸地，用于小样本地物分类任务的测试。
S2：在源数据集Dsource上对特征提取器F和生成网络G进行训练；
S3：基于目标数据集Dtarget，利用所述特征提取器F和所述生成网络G对各类地物类型对应的训练样本进行特征提取和特征生成，得到各地物类型对应的生成特征集。
S4：利用特征提取器F对测试地物图像x进行特征提取，并将测试样本特征与各种地物类型的生成样本集执行相似度度量，给出测试图像x在各类地物类型上的置信度分数，进而确定被测图像x的地物分类。
其中S2在源数据集Dsource上对特征提取器F和生成网络G进行训练，其具体训练过程如图2所示，包括：
(1)以Dsource上的地物类别空间整体，作为待分类集合，对特征提取器F进行预训练。具体包括：
步骤1：对特征提取器尾端增加两层全连接层，最后一层全连接层负责给出每一类地物类型的置信度分数；另外一层用于进行非线性运算；
步骤2：对于损失函数的计算执行类别均衡加权策略：在交叉熵损失函数准则下对于各类地物类型的损失函数进行加权，权值的选取是基于各类地物样本在源数据集Dtrain上的频数分布，转化成幂指残差形式
Figure BDA0002524845990000081
来对各类地物样本的分类损失函数进行加权均衡，旨在提升特征抽取器在各类地物场景下特征抽取的均衡性。
步骤3：待损失函数趋于平稳后终止训练。剔除全连接层，并将剩余部位的参数用于特征提取器F的参数初始化。
(2)基于源数据集Dsource对生成网络G和分类器C进行协同训练，训练的目标在于期望生成网络G能够进行对于各类样本实现高质量的特征生成。其创新点主要将分类器C和生成网络G按照端到端方式进行的协同训练算法，增加了生成网络和分类器之间的适配性。如图4所示，其具体训练过程如下：
步骤1，在源数据集Dsource上随机采样出少样本地物分类任务：少样本分类任务包括训练集Strain和测试集Stest。训练集Strain包含N类地物目标，每类地物目标则对应K张样本数据，测试集Stest与训练集Strain共享N类地物目标，并各自对各类地物目标提供Ntest张样本用于模型的训练和测试评估。
步骤2，所述少样本分类任务中的地物图像x输入特征提取器F，得到对应的提取特征F(x)，包括训练地物图像特征F(xtrain)、测试地物图像特征F(xtest)
步骤3，对于少样本分类任务中的训练数据xtrain，将所述提取特征F(xtrain)与随机噪声向量z作为特征生成网络G的输入源进行解耦学习和特征生成。重复进行特征生成，并将原始特征输入和生成特征合并，得到最终的生成特征集F(xtrain)aug。其中特征生成网络的结构是伴有ReLU激活函数的三层感知机所构成的，其参数是按照对角恒等映射矩阵的形式进行初始化的；
步骤4，测试地物图像特征F(xtest)与所述生成特征集F(xtrain)aug送入分类器C，将测试地物图像特征与各类训练地物图像对应的生成特征集进行相似度度量：首先对各地物类型的生成特征集进行全局平均池化和均值化处理，得到各类地物类型对应的原型向量，计算过程为
Figure BDA0002524845990000082
(式中pi为第i类地物类型对应的原型向量，Kaug为第i类地物类型对应的生成特征集数目)。然后对各地物类型的原型向量和测试样本的特征按照余弦相似度准则进行相似度度量，并以此作为样本X属于第i类地物目标的置信度分数，即有测试样本X属于第i类地物类型的置信度分数
Figure BDA0002524845990000091
其中pi为第i类地物类型的原型向量，j代表地物类别空间集合中的一类地物类型所对应的原型向量。对于本算法所使用的余弦相似度度量准则，其计算方法如下：
Figure BDA0002524845990000092
(x1、x2为待进行相似度度量的一维向量)。
步骤5，选择测试样本X在各类地物目标上的最高置信度分数，将其所对应的地物类别作为预测输出。
步骤6，在交叉熵损失函数下按照反向传播算法，对特征提取器F、分类器C和生成网络G的参数按照协同训练算法进行联合优化。具体是将训练图像对应的生成特征集与原始特征集共同作为一个批训练单元执行，对特征提取器F、分类器C和生成网络G按照端到端的方式进行联合优化。其中对每次小样本于地物分类任务中所具体采用的损失函数是交叉熵损失函数，即
Figure BDA0002524845990000093
其中N代表类别数量，yic为判别i与c是否相同的示性函数，pic则对应测试样本i属于类别c的概率。
步骤7，重复步骤2至步骤6，训练特征提取器F、生成网络G与分类器C直到收敛。
S3：基于目标数据集Dtarget，利用所述特征提取器F和所述生成网络G进行特征生成，得到各地物类型对应的生成特征集；
此外，考虑到目标数据集的训练集中样本数量较少，不具有代表性，为了让本算法的小样本地物分类性能的测试结果更为可靠，一般将目标数据集重复划分M次，然后重复进行模型的训练、测试，最后将M次划分中测试结果的平均值作为最终的测试结果。对于划分次数M的选取，则是按照各次测试结果的波动情况判断，本算法采用基于F-score的标准差进行判别，对于分类正确率标准差值小于0.01的划分实验，我们认为在该种划分条件下分类结果已趋于稳定，可以作为最终的实验评估结果。其中对于F-score的计算方式如下：
Figure BDA0002524845990000094
P为精确率，即预测为正且预测正确的样本占所有预测为正的样本的比例；R为召回率，即预测为正且预测正确的样本占所有实际为正的样本的比例。
实施例2
为了实现上述方法，本发明还提供一种小样本遥感地物分类***，如图5所示，包括：
数据集构建模块：用于基于地物类别将遥感地物分类数据集划分为源数据集Dsource和目标数据集Dtarget；
模型训练模块，用于在源数据集Dsource上对特征提取器F和生成网络G进行训练；
生成特征集模块，用于基于目标数据集Dtarget，利用所述特征提取器F和所述生成网络G进行特征生成，得到各地物类型对应的生成特征集；
分类模块，用于利用特征提取器F对测试地物图像x进行特征提取，并将测试样本特征与各种地物类型的生成样本集执行相似度度量，给出测试图像x在各类地物类型上的置信度分数，进而确定被测图像x的地物分类。
其中，数据集构建模块具体用于：
将遥感地物分类数据集中地物类别划分为源类别Csource、目标类别Ctarget，且所述源类别Csource和目标类别Ctarget中的地物类别互斥；
基于所述源类别Csource和目标类别将遥感地物分类数据集划分为源数据集Dsource、目标数据集Dtarget；
本实施例中源数据集Dsource上每类地物目标所对应的样本数应不少于500。
模型训练模块具体用于：
(1)在源数据集Dsource上对特征提取器F进行训练，包括：
以Dsource上的地物类别空间整体，作为待分类集合；
对特征提取器尾端增加两层全连接层，最后一层全连接层负责给出每一类地物类型的置信度分数；另外一层用于进行非线性运算；
利用待分类集合对所述F进行训练的过程中采用损失函数对类别进行均衡加权策略；
待损失函数趋于平稳后终止训练，剔除全连接层，并将剩余部位的参数用于特征提取器F的参数初始化。
(2)在源数据集Dsource上对生成网络G进行训练，包括：
集合划分子单元，用于在源数据集Dsource上随机采样出少样本地物分类任务，并划分为训练集Strain和验证集Sval和测试集Stest。
特征集生成子单元，用于对于训练集Strain中的少样本分类任务中的训练数据xtrain，将利用所述特征提取器F确定的提取特征F(xtrain)与随机噪声向量z作为特征生成网络G的输入源，进行解耦学习和特征生成，得到生成特征集F(xtrain)aug；具体过程参见实施例1；
置信度确定子单元，用于对于测试集Stest中的少样本分类任务中的测试数据xtest，利用所述特征提取器F确定的地物图像特征F(xtest)与所述生成特征集F(xtrain)aug送入分类器C，将测试地物图像特征与各类训练地物图像对应的生成特征集进行相似度度量，得到所述分类任务中的地物图像各地物类型上的置信度分数；具体实现方式见实施例1；
分类子单元，用于基于所述置信度分数对所述少样本地物分类任务中的地物图像进行地物分类；
优化子单元，用于在交叉熵损失函数下按照反向传播算法，对特征提取器F、分类器C和生成网络G的参数按照协同训练算法进行联合优化；
然后重复调用特征集生成子单元、置信度确定子单元、分类子单元和优化子单元训练特征提取器F、生成网络G与分类器C直至网络整体收敛。

Claims (10)

1.一种基于特征生成网络的小样本遥感地物分类方法，其特征在于，包括：
基于地物类别将遥感地物分类数据集划分为源数据集Dsource和目标数据集Dtarget；
在源数据集Dsource上对特征提取器F和生成网络G进行训练；
基于目标数据集Dtarget，利用所述特征提取器F和所述生成网络G进行特征生成，得到各地物类型对应的生成特征集；
利用特征提取器F对测试地物图像x进行特征提取，并将测试样本特征与各种地物类型的生成特征集执行相似度度量，给出测试图像x在各类地物类型上的置信度分数，进而确定被测图像x的地物分类。
2.如权利要求1所述的地物分类方法，其特征在于，所述基于地物类别将遥感地物分类数据集划分为源数据集Dsource和目标数据集Dtarget，包括：
将遥感地物分类数据集中地物类别划分为源类别Csource、目标类别Ctarget，且所述源类别Csource和目标类别Ctarget中的地物类别互斥；
基于所述源类别Csource和目标类别将遥感地物分类数据集划分为源数据集Dsource、目标数据集Dtarget；
其中所述源数据集Dsource上每类地物目标所对应的样本数应不少于500。
3.如权利要求1所述的地物分类方法，其特征在于，在源数据集Dsource上对特征提取器F进行训练，包括：
以Dsource上的地物类别空间整体，作为当前的待分类集合；
对特征提取器尾端增加两层全连接层，最后一层全连接层负责给出每一类地物类型的置信度分数；另外一层用于进行非线性运算；
基于待分类集合上的样本数量分布，采用损失函数类别进行均衡加权策略对所述特征提取器F进行训练；
待损失函数趋于平稳后终止训练，剔除全连接层，并将剩余部位的参数用于特征提取器F的参数初始化。
4.如权利要求3所述的地物分类方法，其特征在于，所述采用损失函数类别进行均衡加权策略对所述特征提取器F进行训练包括：
在交叉熵损失函数准则下，基于各地物类型样本在源数据集Dtrain上的频数分布，转化成幂指残差形式对各地物类型样本的分类损失函数进行加权均衡。
5.如权利要求1所述的地物分类方法，其特征在于，在源数据集Dsource上对生成网络G进行训练，包括：
步骤1，在源数据集Dsource上按照地物类别随机采样出少样本地物分类任务，并划分为训练集Strain和测试集Stest；
步骤2，对于少样本分类任务中的训练集Strain中的训练数据xtrain，利用所述特征提取器F确定的提取特征F(xtrain)与随机噪声向量z作为特征生成网络G的输入源，进行解耦学习和特征生成，重复执行特征扩充得到生成特征集F(xtrain)aug；
步骤3，对于测试集Stest中的少样本分类任务中的测试数据xtest，利用所述特征提取器F确定的地物图像特征F(xtest)与所述生成特征集F(xtrain)aug送入分类器C，将测试地物图像特征与各类训练地物图像对应的生成特征集进行相似度度量，得到所述分类任务中的测试地物图像xtest在各地物类型上的置信度分数；
步骤4，基于所述置信度分数对所述少样本地物分类任务中的地物图像进行地物分类；
步骤5，在交叉熵损失函数下按照反向传播算法，对特征提取器F、分类器C和生成网络G的参数按照协同训练算法进行联合优化；
步骤6，重复步骤2至步骤5，训练特征提取器F、生成网络G与分类器C直到收敛。
6.如权利要求5所述地物分类方法，其特征在于，所述利用所述特征提取器F确定的提取特征F(xtrain)与随机噪声向量z作为特征生成网络G的输入源，进行解耦学习和特征生成，重复执行特征扩充得到生成特征集F(xtrain)aug，包括：
对于生成网络G，首次进行特征生成时候按照对角恒等映射矩阵的形式进行参数初始化；
对于第i类地物类型图像，其所对应的输入特征F(xtrain)和噪声向量z，经过伴有ReLU激活函数的三层感知机，得到生成特征G(F(xtrain)，z)；
改变噪声向量输入，对第i类地物类型图像重复进行特征生成，直至该类样本特征数量达到naug。将第i类地物类型的原始特征输入和生成特征合并，得到该类地物类型最终的生成特征集F(xtrain)aug。
7.如权利要求5所述的地物分类方法，其特征在于，所述测试地物图像特征F(xtest)与所述生成特征集F(xtrain)aug送入分类器C，将测试地物图像特征与各类训练地物图像对应的生成特征集进行相似度度量，得到所述分类任务中的测试地物图像xtest在各地物类型上的置信度分数，包括：
基于所述训练集Strain对应的生成特征集F(xtrain)aug，按照类内特征均值计算出各地物类型对应的原型向量；
对各地物类型的原型向量和测试样本的特征按照余弦相似度准则进行相似度度量，并以此作为样本xtest属于第i类地物目标的置信度分数；
选择测试样本xtest在各类地物目标上的最高置信度分数，将其所对应的地物类别作为预测输出。
8.如权利要求7所述的地物分类方法，其特征在于，所述原型向量的计算式如下：
Figure FDA0002524845980000031
式中pi为第i类地物类型对应的原型向量，Kaug为第i类地物类型对应的生成特征集数目。
9.如权利要求7所述的地物分类方法，其特征在于，所述置信度分数计算式如下：
Figure FDA0002524845980000032
式中，P(Y＝i|X)为测试样本X属于第i类地物类型的置信度分数。pi为第i类地物类型的原型向量，j代表地物类别空间集合中的一类地物类型所对应的原型向量，cosine(.)代表余弦相似度函数；
所述余弦相似度函数cosine(.)的计算式如下：
Figure FDA0002524845980000041
式中，x1、x2为待进行相似度度量的一维向量。
优选的，所述在交叉熵损失函数下按照反向传播算法，对特征提取器F、分类器C和生成网络G的参数按照协同训练算法进行联合优化，包括：
按照交叉熵损失函数下按照反向传播算法，将训练图像对应的生成特征集与原始特征集共同作为一个批训练单元执行，对特征提取器F、分类器C和生成网络G按照端到端的方式进行优化。
10.一种基于特征生成网络的小样本遥感地物分类***，其特征在于，包括：
数据集构建模块：用于基于地物类别将遥感地物分类数据集划分为源数据集Dsource和目标数据集Dtarget；
模型训练模块：用于在源数据集Dsource上对特征提取器F和生成网络G进行训练；
生成特征集模块：用于基于目标数据集Dtarget，利用所述特征提取器F和所述生成网络G进行特征生成，得到各地物类型对应的生成特征集；
分类模块：用于利用特征提取器F对测试地物图像进行特征提取，并将测试样本特征与各种地物类型的生成样本集执行相似度度量，给出测试图像在各类地物类型上的置信度分数，进而确定被测图像的地物分类。
CN202010502509.1A 2020-06-04 2020-06-04 一种基于特征生成网络的小样本遥感地物分类方法及*** Active CN111832404B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010502509.1A CN111832404B (zh) 2020-06-04 2020-06-04 一种基于特征生成网络的小样本遥感地物分类方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010502509.1A CN111832404B (zh) 2020-06-04 2020-06-04 一种基于特征生成网络的小样本遥感地物分类方法及***

Publications (2)

Publication Number Publication Date
CN111832404A true CN111832404A (zh) 2020-10-27
CN111832404B CN111832404B (zh) 2021-05-18

Family

ID=72897618

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010502509.1A Active CN111832404B (zh) 2020-06-04 2020-06-04 一种基于特征生成网络的小样本遥感地物分类方法及***

Country Status (1)

Country Link
CN (1) CN111832404B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113222011A (zh) * 2021-05-10 2021-08-06 西北工业大学 一种基于原型校正的小样本遥感图像分类方法
CN113449631A (zh) * 2021-06-25 2021-09-28 中南大学 图像分类方法及***
CN115984635A (zh) * 2023-03-21 2023-04-18 自然资源部第一海洋研究所 多源遥感数据分类模型训练方法、分类方法和电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107423701A (zh) * 2017-07-17 2017-12-01 北京智慧眼科技股份有限公司 基于生成式对抗网络的人脸非监督特征学习方法及装置
CN108062753A (zh) * 2017-12-29 2018-05-22 重庆理工大学 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法
CN108564109A (zh) * 2018-03-21 2018-09-21 天津大学 一种基于深度学习的遥感图像目标检测方法
CN108647736A (zh) * 2018-05-16 2018-10-12 南京大学 一种基于感知损失和匹配注意力机制的图像分类方法
CN108830209A (zh) * 2018-06-08 2018-11-16 西安电子科技大学 基于生成对抗网络的遥感图像道路提取方法
CN110097130A (zh) * 2019-05-07 2019-08-06 深圳市腾讯计算机***有限公司 分类任务模型的训练方法、装置、设备及存储介质
CN110287800A (zh) * 2019-05-29 2019-09-27 河海大学 一种基于sgse-gan的遥感图像场景分类方法
US20200134929A1 (en) * 2018-10-31 2020-04-30 Sony Interactive Entertainment Inc. Graphical style modification for video games using machine learning
CN111126226A (zh) * 2019-12-17 2020-05-08 杭州电子科技大学 一种基于小样本学习和特征增强的辐射源个体识别方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107423701A (zh) * 2017-07-17 2017-12-01 北京智慧眼科技股份有限公司 基于生成式对抗网络的人脸非监督特征学习方法及装置
CN108062753A (zh) * 2017-12-29 2018-05-22 重庆理工大学 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法
CN108564109A (zh) * 2018-03-21 2018-09-21 天津大学 一种基于深度学习的遥感图像目标检测方法
CN108647736A (zh) * 2018-05-16 2018-10-12 南京大学 一种基于感知损失和匹配注意力机制的图像分类方法
CN108830209A (zh) * 2018-06-08 2018-11-16 西安电子科技大学 基于生成对抗网络的遥感图像道路提取方法
US20200134929A1 (en) * 2018-10-31 2020-04-30 Sony Interactive Entertainment Inc. Graphical style modification for video games using machine learning
CN110097130A (zh) * 2019-05-07 2019-08-06 深圳市腾讯计算机***有限公司 分类任务模型的训练方法、装置、设备及存储介质
CN110287800A (zh) * 2019-05-29 2019-09-27 河海大学 一种基于sgse-gan的遥感图像场景分类方法
CN111126226A (zh) * 2019-12-17 2020-05-08 杭州电子科技大学 一种基于小样本学习和特征增强的辐射源个体识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
WEI LIU AND RONGJUN QIN: "UNSUPERVISED TRANSFER LEARNING USING FOR MULTI-MODEL REMOTE SENSING DATA CLASSIFICATION", 《IGARSS 2019-2019 IEEE INTERNATIONAL GEOSCIENCE AND REMOTE SENSING SYMPOSIUM》 *
刘雨桐: "基于卷积神经网络的遥感图像分类的研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *
唐贤伦等: "基于条件深度卷积生成对抗网络的图像识别方法", 《自动化学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113222011A (zh) * 2021-05-10 2021-08-06 西北工业大学 一种基于原型校正的小样本遥感图像分类方法
CN113222011B (zh) * 2021-05-10 2022-12-02 西北工业大学 一种基于原型校正的小样本遥感图像分类方法
CN113449631A (zh) * 2021-06-25 2021-09-28 中南大学 图像分类方法及***
CN115984635A (zh) * 2023-03-21 2023-04-18 自然资源部第一海洋研究所 多源遥感数据分类模型训练方法、分类方法和电子设备

Also Published As

Publication number Publication date
CN111832404B (zh) 2021-05-18

Similar Documents

Publication Publication Date Title
WO2021134871A1 (zh) 基于局部二值模式和深度学习的合成人脸图像取证方法
CN111832404B (zh) 一种基于特征生成网络的小样本遥感地物分类方法及***
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
CN101794396B (zh) 基于迁移网络学习的遥感图像目标识别***及方法
CN108921051B (zh) 基于循环神经网络注意力模型的行人属性识别网络及技术
CN109063724B (zh) 一种增强型生成式对抗网络以及目标样本识别方法
CN114092832B (zh) 一种基于并联混合卷积网络的高分辨率遥感影像分类方法
CN113033520B (zh) 一种基于深度学习的树木线虫病害木识别方法及***
CN112580782B (zh) 基于通道增强的双注意力生成对抗网络及图像生成方法
CN109743642B (zh) 基于分层循环神经网络的视频摘要生成方法
CN116206185A (zh) 一种基于改进YOLOv7的轻量级小目标检测方法
CN110097033A (zh) 一种基于特征扩充的单样本人脸识别方法
CN114169442A (zh) 基于双原型网络的遥感图像小样本场景分类方法
CN115311502A (zh) 基于多尺度双流架构的遥感图像小样本场景分类方法
CN116386853A (zh) 面向智慧医疗的深度可分离卷积双重聚合联邦学习方法
CN114913379A (zh) 基于多任务动态对比学习的遥感图像小样本场景分类方法
CN110223342B (zh) 一种基于深度神经网络的空间目标尺寸估计方法
CN114879185A (zh) 基于任务经验迁移的雷达目标智能识别方法
Qin et al. A wireless sensor network location algorithm based on insufficient fingerprint information
CN117788810A (zh) 一种无监督语义分割的学习***
CN117152601A (zh) 一种基于动态感知区域路由的水下目标检测方法及***
CN116682178A (zh) 密集场景下的多人姿态检测方法
CN113723482B (zh) 基于多示例孪生网络的高光谱目标检测方法
CN114067155B (zh) 基于元学习的图像分类方法、装置、产品及存储介质
CN115329821A (zh) 一种基于配对编码网络和对比学习的舰船噪声识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant