CN111860178A - 一种基于权重字典学习的小样本遥感目标检测方法及*** - Google Patents

一种基于权重字典学习的小样本遥感目标检测方法及*** Download PDF

Info

Publication number
CN111860178A
CN111860178A CN202010576615.4A CN202010576615A CN111860178A CN 111860178 A CN111860178 A CN 111860178A CN 202010576615 A CN202010576615 A CN 202010576615A CN 111860178 A CN111860178 A CN 111860178A
Authority
CN
China
Prior art keywords
dictionary
target
target detection
data set
remote sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010576615.4A
Other languages
English (en)
Other versions
CN111860178B (zh
Inventor
陈凯强
张跃
许光銮
张腾飞
戴威
王雅珊
周琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Research Institute of CAS
Original Assignee
Aerospace Information Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Information Research Institute of CAS filed Critical Aerospace Information Research Institute of CAS
Priority to CN202010576615.4A priority Critical patent/CN111860178B/zh
Publication of CN111860178A publication Critical patent/CN111860178A/zh
Application granted granted Critical
Publication of CN111860178B publication Critical patent/CN111860178B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/28Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于权重字典学习的小样本遥感目标检测方法及***,所述方法获取待分类的遥感图像数据,将数据带入预先训练的目标检测模型中得到所述遥感图像对应的目标类别,所述目标检测模型利用小样本数据基于权重字典学习训练得到。所述方法采用权重字典学习的方式构建了轻量化的小样本遥感目标检测模型,可有效降低可学习参数数量,防止模型在小数据下训练时产生过拟合,提高了模型的小样本学习性能;又能很好的保留模型在源域上学习到的知识,避免了灾难性遗忘的问题。本发明提出的基于权重字典的遥感目标检测方法具有很好的通用性,可被用于改进其他的基于深度学习的遥感目标检测模型,提高它们的小样本学习能力。

Description

一种基于权重字典学习的小样本遥感目标检测方法及***
技术领域
本发明涉及遥感图像目标检测,具体涉及一种基于权重字典学习的小样本遥感目标检测方法及***。
背景技术
自动化遥感图像目标检测技术可以自动地定位、识别静态遥感图像中的感兴趣目标。基于深度学习的遥感图像目标检测方法取得了飞速地发展,但是,这类基于深度学习的遥感图像目标检测方法仍存在一定的局限性。
基于深度学习的遥感图像目标检测模型依赖大量的训练样本。这些模型只有在大量的训练样本上经过数万次甚至更多的训练迭代才能取得很好的性能,而当训练样本不足时,这些模型很容易发生过拟合,在测试数据上的性能会变差。况且,收集大量的训练样本,并对这些样本进行标注,非常地费时费力,而且一些目标,如新型号的飞机,可能没有足够的样本来构建数据集,这就使得基于深度学习的遥感图像目标检测方法难以应用于这些样本不足的目标。此外,现实中的视觉概念往往服从长尾分布,即人们普遍关注的视觉概念样本是比较重组的,凡是新兴的视觉概念在不断地增加,这些新兴视觉概念的样本往往很少,因此基于深度学习的目标检测方法也很难应用于这些新兴视觉概念。
基于深度学习的遥感图像目标检测模型的任务扩展性很差。这些模型是在含有一组固定目标类别的训练集上训练的,将模型部署到应用环境中以后,模型无法检测在训练集中没有出现过的新的目标类别。为了让模型能对新的目标类别进行有效地检测,需要采集这些新类别的样本,然后进行样本标注,将这些训练数据加入原数据集中,对模型进行重新训练或微调模型的部分参数。但是上述过程是非常的费时费力的,而且新的目标类别样本数量不一定充足,这就使得基于深度学习的遥感目标检测模型很难有效扩展到对新类别目标的检测任务中。
发明内容
为了解决基于深度学习的遥感目标检测模型依赖大量训练数据以及对新任务扩展性差的问题,本发明提供一种基于权重字典学习的小样本遥感目标检测方法,包括:
获取待分类的遥感图像数据;
将所述数据带入预先训练的目标检测模型中得到所述遥感图像对应的目标类别;
其中,所述目标检测模型利用小样本数据基于权重字典学习训练得到。
优选的,所述目标检测模型的训练包括:
基于带有目标类别的历史遥感图像数据构建目标检测数据集;
将所述遥感图像目标检测数据集划分为源类数据集与目标类数据集;
利用所述源数据集进行训练得到单阶段目标检测模型,并基于所述单阶段目标模型的卷积层参数构建参数字典,为参数字典中的每个参数设置一个对应的字典系数,基于所述参数字典与对应的字典系数构建基于权重字典的目标检测模型;
利用所述目标类数据集对所述基于权重字典的目标检测模型进行训练,得到最优的目标检测模型;
优选的,所述将所述遥感图像目标检测数据集划分为源类数据集与目标类数据集,包括:
将遥感图像目标检测数据集中的目标类别划分为源类与目标类;
将同时包含源类和目标类的目标的遥感图像从数据集中丢弃;
对数据集中剩余的遥感图像,将仅包含源类目标的图像划分为源数据集,将仅包含目标类目标的图像划分为目标数据集;
优选的,所述利用所述源数据集进行训练得到单阶段目标检测模型,并基于所述单阶段目标模型的卷积层参数构建参数字典,为参数字典中的每个参数设置一个对应的字典系数,基于所述参数字典与对应的字典系数构建基于字典的目标检测模型,包括:
将所述源数据集划分为训练集和测试集;
利用所述训练集中的样本对单阶段目标检测模型Ds进行训练,并利用测试集中的样本进行测试,直至在测试集所有的样本上达到最好的测试性能;
然后以所述单阶段目标检测Ds除最后用于确定目标类别和位置的层外的所有卷积层参数φ作为参数字典;
对参数字典φ中的每个字典参数设置一个对应的字典系数w;其中字典系数的初值随机确定;
使用由所有卷积层参数φ构成的参数字典与对应的字典系数w构建一个基于字典的目标检测模型Dd
其中,所述参数字典φ是固定的,字典系数w和目标检测模型Dd确定的分类、回归层参数θ可以被修改,且字典系数w的参数量远小于参数字典的参数量。
优选的,所述参数字典φ中的参数由所有的卷积层的参数构成;
参数字典φ中每个卷积层的参数是形状为C×N×k×k的张量。
优选的,所述使用由所有卷积层参数φ构成的参数字典与对应的字典系数w构建一个基于字典的目标检测模型Dd,包括:
以参数字典φ中一个形状为C×N×k×k的初始卷积层Convs为字典;
将初始卷积层Convs分解为C个形状为N×k×k的子张量;
对初始卷积层Convs中所有子张量进行线性组合构成目标卷积层中的每个子张量Td,以每个子张量为卷积核,并为每个卷积核建立字典系数;
基于子张量Td和对应的字典系数构建目标卷积层Convd,其中,目标卷积层Convd的形状与初始卷积层Convs的形状相同;
由目标卷积层Convd构建目标检测模型Dd
优选的,所述目标卷积层Convd中各字典系数的构建过程如下公式:
Figure BDA0002551280770000041
式中,
Figure BDA0002551280770000042
表示新卷积层Convd中第i个卷积核对应于参数字典中卷积层Convs中第j个卷积核的字典系数。
优选的,所述子张量Td的表达式如下:
Figure BDA0002551280770000043
其中,wc表示对应第c个子张量的字典系数。
优选的,所述利用所述目标类数据集对所述基于字典的目标检测模型进行训练,得到最优目标检测模型,包括:
在目标数据集上划分目标训练集和目标测试集;
利用所述目标训练集的样本,对基于字典的遥感目标检测模型进行训练,优化其字典系数w和Dd中最后用于确定目标类别、目标位置的参数θ;
利用目标测试集中的样本对优化后的基于字典的遥感目标检测模型进行测试确定小样本条件下的遥感目标检测模型Dd
优选的,所述字典系数优化的目标函数如下:
Figure BDA0002551280770000044
其中,w表示字典系数,θ表示模型Dd用于回归、分类的卷积层
Figure BDA0002551280770000045
Figure BDA0002551280770000046
的参数,I表示输入图像,
Figure BDA0002551280770000047
Figure BDA0002551280770000048
分别表别标签和位置标签。
优选的,所述利用所述目标类数据集对所述基于字典的目标检测模型进行训练,得到最优目标检测模型,还包括:
对所述目标数据集进行多次的划分目标训练集和目标测试集;
针对每次划分的目标训练集和目标测试集对所述基于字典的目标检测模型进行训练;
对多次训练中的测试结果进行评估,以评估的平均值作为最终的测试评估结果。
基于同一种发明构思,本发明还提供一种基于权重字典学习的小样本遥感目标检测***,包括:
数据获取模块,用于获取待分类的遥感图像数据;
目标检测模块,用于将所述数据带入预先训练的目标检测模型中得到所述遥感图像中遥感目标的位置和类别;
其中,所述目标检测模型利用小样本数据基于权重字典学习训练得到。
优选的:目标检测模型构建模块,用于利用小样本数据基于字典进行学习训练得到目标检测模型;
优选的,所述目标检测模型构建模块包括:
目标检测数据集构建单元,用于基于带有目标类别的历史遥感图像数据构建目标检测数据集;
目标检测数据集划分单元,用于将所述遥感图像目标检测数据集划分为源类数据集与目标类数据集;
目标检测模型建立单元,用于利用所述源数据集进行训练得到单阶段目标检测模型,并基于所述单阶段目标模型的卷积层参数构建参数字典,为参数字典中的每个参数设置一个对应的字典系数,基于所述参数字典与对应的字典系数构建基于字典的目标检测模型;还用于:利用所述目标类数据集对所述基于权重字典的目标检测模型进行训练,得到最优的目标检测模型。
与现有技术相比,本发明的有益效果为:
1、本发明提供一种基于权重字典学习的小样本遥感目标检测方法,包括:获取待分类的遥感图像数据;将所述数据带入预先训练的目标检测模型中得到所述遥感图像对应的目标类别;其中,所述目标检测模型利用小样本数据基于权重字典学习训练得到,与现有的基于迁移学习的小样本遥感目标检测方法相比,本发明提出的方法既能有效降低可学习参数数量,又能很好的保留模型在源域上学习到的知识,避免了灾难性遗忘的问题。
2、本发明提出的方法采用权重字典学习的方式构建了轻量化的小样本遥感目标检测模型,可有效防止模型在小数据下训练时产生过拟合,提高了模型的小样本学习性能。
3、本发明提出的基于权重字典的遥感目标检测方法具有很好的通用性,可被用于改进其他的基于深度学习的遥感目标检测模型,提高它们的小样本学习能力。
附图说明
图1为本发明基于权重字典学习的小样本遥感目标检测方法流程图;
图2为本申请实施例提供的一种基于权重字典学习的小样本遥感目标检测方法中训练过程示意图;
图3为本申请实施例提供的基于权重字典学习的小样本遥感目标检测的数据集划分流程示意图;
图4为本申请实施例提供的一种基于权重字典学习的小样本遥感目标检测框架示意图;
图5为本申请实施例提供的字典学习原理示意图;
图6为本发明提供的一种基于权重字典学习的小样本遥感目标检测***示意图。
具体实施方式
为了更好地理解本发明,下面结合说明书附图和实例对本发明的内容做进一步的说明。
实施例1:
本发明提供一种基于权重字典学习的小样本遥感目标检测方法,如图1所示,包括:
获取待分类的遥感图像数据;
将所述数据带入预先训练的目标检测模型中得到所述遥感图像对应的目标类别;
其中,所述目标检测模型利用小样本数据基于权重字典学习训练得到。
这里目标检测模型的训练如图2所示,包括:
(1)基于带有目标类别的历史遥感图像数据构建目标检测数据集;
(2)将所述遥感图像目标检测数据集划分为源类数据集与目标类数据集;
(3)利用所述源数据集进行训练得到单阶段目标检测模型,并基于所述单阶段目标模型的卷积层参数构建参数字典,为参数字典中的每个参数设置一个权重作为对应的字典系数,基于所述参数字典与对应的字典系数构建基于权重字典的目标检测模型;
(4)利用所述目标类数据集对所述基于字典的目标检测模型进行训练,得到最优的目标检测模型。
其中,(2)将所述遥感图像目标检测数据集划分为源类数据集与目标类数据集,如图3所示,具体包括:
步骤S1:将遥感图像目标检测数据集中的目标类别划分为源类与目标类;
步骤S2:按照遥感图像中包含的目标类别对其进行筛选:对于只包含源类目标的遥感图像,将其划分到源数据集;对于只包含目标类目标的遥感图像,将其划分到目标数据集;将同时包含源类和目标类的目标的遥感图像从数据集中丢弃,保证源类数据集与目标类数据集中的目标类别和数据均不相同;这里遥感地物目标类别包括但不限于:飞机、车辆、船舶、油罐、污水处理厂、篮球场、足球场、网球场、飞机场、火车站、桥梁、港口、立交桥、十字路口等。
步骤S3:对数据集中剩余的遥感图像,将仅包含源类目标的图像划分为源数据集,将仅包含目标类目标的图像划分为目标数据集;
(3)利用所述源数据集进行训练得到单阶段目标检测模型,并基于所述单阶段目标模型的卷积层参数构建参数字典,为参数字典中的每个参数设置一个权重作为对应的字典系数,基于所述参数字典与对应的字典系数构建基于字典的目标检测模型。
本实施例在源数据集的训练集上训练目标检测模型,该目标检测模型由特征提取器和单阶段目标检测器构成,其全部网络层均为卷积层。该训练过程与标准的深度学习目标目标检测模型相同,使用训练集中的全部样本训练模型,直到该模型在源数据集的测试集上达到最好的性能。
如图4所示,具体包括:
步骤S1:将源数据集划分为训练集和测试集,训练集和测试集共包含Csource个目标类别,源数据集的训练集中第i个目标类别
Figure BDA0002551280770000081
至少包含
Figure BDA0002551280770000082
(一般地,设
Figure BDA0002551280770000083
)个训练样本,即源数据集的整个训练集样本数量为
Figure BDA0002551280770000084
步骤S2:源数据集的测试集中第i个目标类别
Figure BDA0002551280770000085
至少包含
Figure BDA0002551280770000086
(一般地,设
Figure BDA0002551280770000087
)个测试样本,即整个源数据集的测试集样本数量
Figure BDA0002551280770000088
步骤S3:对每个输入图像,目标检测模型首先检测到所有目标的位置,然后将每个目标分类到数据集中的一个类别上,如图像中包含飞机、船舶类的目标,则目标检测模型会检测到每个目标的位置,然后将其分类为飞机或船舶。在源数据集上,使用
Figure BDA0002551280770000089
个充足的训练样本训练单阶段目标检测模型,直至在
Figure BDA00025512807700000810
个测试集样本上达到最好的测试性能,然后以该模型Ds除最后用于确定目标类别和位置的层外的所有卷积层参数φ作为参数字典;
(4)利用所述目标类数据集对所述基于字典的目标检测模型进行训练,得到最优的目标检测模型,如图5所示,具体包括:
步骤S1:使用由φ构成的参数字典与对应的字典系数w构建一个基于字典的目标检测模型Dd,其中参数字典φ是固定的,仅有字典系数w和Dd中最后的分类、回归层参数θ可被修改,且字典系数w的参数量远小于参数字典的参数量(Num(w)<<Num(φ))。因此,相比原模型Ds的可学习参数{φ,θ},模型Dd的可学习参数{w,θ}参数量要更少,即Num(Dd)<<Num(Ds),即基于权重字典学习的模型Dd是一个轻量化的目标检测模型。于参数字典φ在源数据上的遥感目标检测任务上进行了训练,因此其包含丰富的遥感领域知识。此外,当源数据集中的遥感目标检测样本有限时,可在遥感图像地物分类数据上对参数字典进行训练,以确保参数字典具有遥感领域的知识。
参数字典φ中的参数:
参数字典φ中的参数由其中所有的卷积层参数构成。
在该含有L个卷积层的参数字典中,第l(l∈[1,L])个卷积层为:
Figure BDA00025512807700000910
其中l表示层数,s表示该卷积层是在源数据集上训练的。参数字典φ中每个卷积层的参数是形状为C×N×k×k的张量,其中C表示该卷积层输出通道数量,N表示该卷积层输入通道数量,k表示卷积核的大小。以参数字典φ中一个形状为C×N×k×k的卷积层Convs为字典,可以构建一个新的卷积层,新卷积层Convd的形状与原卷积层Convs的形状相同。将Convs这个形状为C×N×k×k的张量分解为C个形状为N×k×k的子张量,第c个子张量记为Ts c。对新卷积层Convd,同样可分解为C个形状为N×k×k的子张量,第c个子张量记为Td c。新卷积层的每个子张量Td由原卷积层Convs中所有子张量的线性组合构成:
Figure BDA0002551280770000091
其中,wc表示对应第c个子张量的字典系数也即权重。使用所有的新卷积层,并在其后添加用于预测目标边界回归的卷积层
Figure BDA0002551280770000092
和预测目标类别的卷积层
Figure BDA0002551280770000093
构建一个基于字典的目标检测模型Dd。综上所述,新卷积层Convd的构建过程如下公式:
Figure BDA0002551280770000094
Figure BDA0002551280770000095
表示新卷积层Convd中第i个卷积核对应于参数字典中卷积层Convs中第j个卷积核的字典系数。
步骤S2:在目标数据集上,共包含Ctarget个目标样本,且与源域数据集中的目标类别Csource不同,即
Figure BDA0002551280770000096
训练集中第i个目标类别
Figure BDA0002551280770000097
至多包含
Figure BDA0002551280770000098
(一般地,设
Figure BDA0002551280770000099
)个训练样本,即源数据集的整个训练集样本数量为
Figure BDA0002551280770000101
);因此对该模型,只有字典参数和用于回归、分类的卷积层
Figure BDA0002551280770000102
Figure BDA0002551280770000103
的参数参与训练,从而减少了参与训练的参数数量。
步骤S3:在目标数据集的测试集中第i个目标类别
Figure BDA0002551280770000104
至少包含
Figure BDA0002551280770000105
(一般地,设
Figure BDA0002551280770000106
)个测试样本,即目标据集的测试集样本数量为
Figure BDA0002551280770000107
);
步骤S4:在目标数据集的训练集中,仅使用
Figure BDA0002551280770000108
个少量的训练样本,训练基于字典的遥感目标检测模型,优化其字典系数w和Dd中最后的分类、回归层参数θ,实现小样本条件下的遥感目标检测模型Dd的训练和测试,字典系数优化的目标函数如下:
Figure BDA0002551280770000109
其中,w表示字典系数,θ表示模型Dd用于回归、分类的卷积层
Figure BDA00025512807700001010
Figure BDA00025512807700001011
的参数,I表示输入图像,
Figure BDA00025512807700001012
Figure BDA00025512807700001013
分别表别标签和位置标签。由于参数字典包含丰富的遥感领域知识,因此基于参数字典构建的模型可有效实现对新类别遥感目标的小样本检测。
基于上述的目标函数,在目标数据集中训练集上的少量样本上训练基于字典的目标检测模型Dd,对其字典系数w和回归、分类层参数θ进行优化,然后在目标数据集的测试集上进行测试,这样便完成了小样本条件下的遥感图像目标检测模型Dd的训练与测试。
此外,考虑到目标数据集的训练集中样本数量较少,不具有代表性,为了让测试结果更为可靠,一般将目标数据集重复划分M次,然后分别进行模型Dd的训练、测试,最后将M次划分中测试结果的平均值作为最终的测试结果。
实施例2,
为了实现上述方法,本发明还提供一种基于权重字典学习的小样本遥感目标检测***,如图6所示,包括:
数据获取模块,用于获取待分类的遥感图像数据;
目标检测模块,用于将所述数据带入预先由目标检测模型构建模块训练的目标检测模型中得到所述遥感图像中遥感目标的位置和类别;
目标检测模型构建模块,用于利用小样本数据基于字典进行学习训练得到目标检测模型。
目标检测模型构建模块包括:
目标检测数据集构建单元,用于基于带有目标类别的历史遥感图像数据构建目标检测数据集;
目标检测数据集划分单元,用于将所述遥感图像目标检测数据集划分为源类数据集与目标类数据集;
目标检测模型建立单元,用于利用所述源数据集进行训练得到单阶段目标检测模型,并基于所述单阶段目标模型的卷积层参数构建参数字典,为参数字典中的每个参数设置一个对应的字典系数,基于所述参数字典与对应的字典系数构建基于字典的目标检测模型;还用于:利用所述目标类数据集对所述基于字典的目标检测模型进行训练,得到最优的目标检测模型。
其中,目标检测数据集划分单元,具体包括:
将遥感图像目标检测数据集中的目标类别划分为源类与目标类;
将同时包含源类和目标类的目标的遥感图像从数据集中丢弃,保证源类数据集与目标类数据集中的目标类别和数据均不相同;这里遥感地物目标类别包括但不限于:飞机、车辆、船舶、油罐、污水处理厂、篮球场、足球场、网球场、飞机场、火车站、桥梁、港口、立交桥、十字路口等。
对数据集中剩余的遥感图像,将仅包含源类目标的图像划分为源数据集,将仅包含目标类目标的图像划分为目标数据集;
目标检测模型建立单元,具体包括:
将源数据集划分为训练集和测试集,训练集和测试集共包含Csource个目标类别,源数据集的训练集中第i个目标类别
Figure BDA0002551280770000111
至少包含
Figure BDA0002551280770000112
(一般地,设
Figure BDA0002551280770000113
)个训练样本,即源数据集的整个训练集样本数量为
Figure BDA0002551280770000114
源数据集的测试集中第i个目标类别
Figure BDA0002551280770000115
至少包含
Figure BDA0002551280770000116
(一般地,设
Figure BDA0002551280770000117
)个测试样本,即整个源数据集的测试集样本数量
Figure BDA0002551280770000118
对每个输入图像,目标检测模型首先检测到所有目标的位置,然后将每个目标分类到数据集中的一个类别上,如图像中包含飞机、船舶类的目标,则目标检测模型会检测到每个目标的位置,然后将其分类为飞机或船舶。在源数据集上,使用
Figure BDA0002551280770000121
个充足的训练样本训练单阶段目标检测模型,直至在
Figure BDA0002551280770000122
个测试集样本上达到最好的测试性能,然后以该模型Ds除最后用于确定目标类别和位置的层外的所有卷积层参数φ作为参数字典;
使用由φ构成的参数字典与对应的字典系数w构建一个基于字典的目标检测模型Dd,其中参数字典φ是固定的,仅有字典系数w和Dd中最后的分类、回归层参数θ可被修改,且字典系数w的参数量远小于参数字典的参数量(Num(w)<<Num(φ))。因此,相比原模型Ds的可学习参数{φ,θ},模型Dd的可学习参数{w,θ}参数量要更少,即Num(Dd)<<Num(Ds),即基于权重字典学习的模型Dd是一个轻量化的目标检测模型。于参数字典φ在源数据上的遥感目标检测任务上进行了训练,因此其包含丰富的遥感领域知识。此外,当源数据集中的遥感目标检测样本有限时,可在遥感图像地物分类数据上对参数字典进行训练,以确保参数字典具有遥感领域的知识。
参数字典φ中的参数:
参数字典φ中的参数由其中所有的卷积层参数构成。
参数字典φ中每个卷积层的参数是形状为C×N×k×k的张量,其中C表示该卷积层输出通道数量,N表示该卷积层输入通道数量,k表示卷积核的大小。以参数字典φ中一个形状为C×N×k×k的卷积层Convs为字典,可以构建一个新的卷积层,新卷积层Convd的形状与原卷积层Convs的形状相同。将Convs这个形状为C×N×k×k的张量分解为C个形状为N×k×k的子张量,第c个子张量记为Ts c。对新卷积层Convd,同样可分解为C个形状为N×k×k的子张量,第c个子张量记为Td c。新卷积层的每个子张量Td由原卷积层Convs中所有子张量的线性组合构成:
Figure BDA0002551280770000131
其中,wc表示对应第c个子张量的字典系数。综上所述,新卷积层Convd的构建过程如下公式:
Figure BDA0002551280770000132
Figure BDA0002551280770000133
表示新卷积层Convd中第i个卷积核对应于参数字典中卷积层Convs中第j个卷积核的字典系数。
在目标数据集上,共包含Ctarget个目标样本,且与源域数据集中的目标类别Csource不同,即
Figure BDA0002551280770000134
训练集中第i个目标类别
Figure BDA0002551280770000135
至多包含
Figure BDA0002551280770000136
(一般地,设
Figure BDA0002551280770000137
)个训练样本,即源数据集的整个训练集样本数量为
Figure BDA0002551280770000138
在目标数据集的测试集中第i个目标类别
Figure BDA0002551280770000139
至少包含
Figure BDA00025512807700001310
(一般地,设
Figure BDA00025512807700001311
)个测试样本,即目标据集的测试集样本数量为
Figure BDA00025512807700001312
步骤S4:在目标数据集的训练集中,仅使用
Figure BDA00025512807700001313
个少量的训练样本,训练基于字典的遥感目标检测模型,优化其字典系数w和Dd中最后的分类、回归层参数θ,实现小样本条件下的遥感目标检测模型Dd的训练和测试,字典系数优化的目标函数如下:
Figure BDA00025512807700001314
其中,w表示字典系数,θ表示模型Dd用于回归、分类的卷积层
Figure BDA00025512807700001315
Figure BDA00025512807700001316
的参数,I表示输入图像,
Figure BDA00025512807700001317
Figure BDA00025512807700001318
分别表别标签和位置标签。由于参数字典包含丰富的遥感领域知识,因此基于参数字典构建的模型可有效实现对新类别遥感目标的小样本检测。
此外,考虑到目标数据集的训练集中样本数量较少,不具有代表性,为了让测试结果更为可靠,一般将目标数据集重复划分M次,然后分别进行模型Dd的训练、测试,最后将M次划分中测试结果的平均值作为最终的测试结果。

Claims (10)

1.一种基于权重字典学习的小样本遥感目标检测方法,其特征在于,包括:
获取待分类的遥感图像数据;
将所述数据带入预先训练的目标检测模型中得到所述遥感图像对应的目标类别;
其中,所述目标检测模型利用小样本数据基于权重字典学习训练得到。
2.如权利要求1所述的目标检测方法,其特征在于,所述目标检测模型的训练包括:
基于带有目标类别的历史遥感图像数据构建目标检测数据集;
将所述遥感图像目标检测数据集划分为源类数据集与目标类数据集;
利用所述源数据集进行训练得到单阶段目标检测模型,并基于所述单阶段目标模型的卷积层参数构建参数字典,为参数字典中的每个参数设置一个对应的字典系数,基于所述参数字典与对应的字典系数构建基于权重字典的目标检测模型;
利用所述目标类数据集对所述基于权重字典的目标检测模型进行训练,得到最优的目标检测模型;
优选的,所述将所述遥感图像目标检测数据集划分为源类数据集与目标类数据集,包括:
将遥感图像目标检测数据集中的目标类别划分为源类与目标类;
将同时包含源类和目标类的目标的遥感图像从数据集中丢弃;
对数据集中剩余的遥感图像,将仅包含源类目标的图像划分为源数据集,将仅包含目标类目标的图像划分为目标数据集;
优选的,所述利用所述源数据集进行训练得到单阶段目标检测模型,并基于所述单阶段目标模型的卷积层参数构建参数字典,为参数字典中的每个参数设置一个对应的字典系数,基于所述参数字典与对应的字典系数构建基于权重字典的目标检测模型,包括:
将所述源数据集划分为训练集和测试集;
利用所述训练集中的样本对单阶段目标检测模型Ds进行训练,并利用测试集中的样本进行测试,直至在测试集所有的样本上达到最好的测试性能;
然后以所述单阶段目标检测Ds除最后用于确定目标类别和位置的层外的所有卷积层参数φ作为参数字典;
对参数字典φ中的每个字典参数设置一个对应的字典系数w;其中字典系数的初值随机确定;
使用由所有卷积层参数φ构成的参数字典与对应的字典系数w构建一个基于字典的目标检测模型Dd
其中,所述参数字典φ是固定的,字典系数w和目标检测模型Dd确定的分类、回归层参数θ可以被修改,且字典系数w的参数量远小于参数字典的参数量。
3.如权利要求2所述的目标检测方法,其特征在于,所述参数字典φ中的参数由所有的卷积层的参数构成;
参数字典φ中每个卷积层的参数是形状为C×N×k×k的张量。
4.如权利要求3所述的目标检测方法,其特征在于,所述使用由所有卷积层参数φ构成的参数字典与对应的字典系数w构建一个基于字典的目标检测模型Dd,包括:
以参数字典φ中一个形状为C×N×k×k的初始卷积层Convs为字典;
将初始卷积层Convs分解为C个形状为N×k×k的子张量;
对初始卷积层Convs中所有子张量进行线性组合构成目标卷积层中的每个子张量Td,以每个子张量为卷积核,并为每个卷积核建立字典系数;
基于子张量Td和对应的字典系数构建目标卷积层Convd,其中,目标卷积层Convd的形状与初始卷积层Convs的形状相同;
由目标卷积层Convd构建目标检测模型Dd
5.如权利要求4所述的目标检测方法,其特征在于,所述目标卷积层Convd中各字典系数的构建过程如下公式:
Figure FDA0002551280760000031
式中,
Figure FDA0002551280760000032
表示新卷积层Convd中第i个卷积核对应于参数字典中卷积层Convs中第j个卷积核的字典系数。
6.如权利要求4或5所述的目标检测方法,其特征在于,所述子张量Td的表达式如下:
Figure FDA0002551280760000033
其中,wc表示对应第c个子张量的字典系数。
7.如权利要求2所述的目标检测方法,其特征在于,所述利用所述目标类数据集对所述基于字典的目标检测模型进行训练,得到最优目标检测模型,包括:
在目标数据集上划分目标训练集和目标测试集;
利用所述目标训练集的样本,对基于字典的遥感目标检测模型进行训练,优化其字典系数w和Dd中最后用于确定目标类别、目标位置的参数θ;
利用目标测试集中的样本对优化后的基于字典的遥感目标检测模型进行测试确定小样本条件下的遥感目标检测模型Dd
优选的,所述字典系数优化的目标函数如下:
Figure FDA0002551280760000034
其中,w表示字典系数,θ表示模型Dd用于回归、分类的卷积层
Figure FDA0002551280760000035
Figure FDA0002551280760000036
的参数,I表示输入图像,lcls与lreg分别表别标签和位置标签。
8.如权利要求7所述的目标检测方法,其特征在于,所述利用所述目标类数据集对所述基于字典的目标检测模型进行训练,得到最优目标检测模型,还包括:
对所述目标数据集进行多次的划分目标训练集和目标测试集;
针对每次划分的目标训练集和目标测试集对所述基于字典的目标检测模型进行训练;
对多次训练中的测试结果进行评估,以评估的平均值作为最终的测试评估结果。
9.一种基于权重字典学习的小样本遥感目标检测***,其特征在于,包括:
数据获取模块,用于获取待分类的遥感图像数据;
目标检测模块,用于将所述数据带入预先训练的目标检测模型中得到所述遥感图像中遥感目标的位置和类别;
其中,所述目标检测模型利用小样本数据基于权重字典学习训练得到。
10.如权利要求9所述的目标检测***,其特征在于,还包括:目标检测模型构建模块,用于利用小样本数据基于权重字典进行学习训练得到目标检测模型;
优选的,所述目标检测模型构建模块包括:
目标检测数据集构建单元,用于基于带有目标类别的历史遥感图像数据构建目标检测数据集;
目标检测数据集划分单元,用于将所述遥感图像目标检测数据集划分为源类数据集与目标类数据集;
目标检测模型建立单元,用于利用所述源数据集进行训练得到单阶段目标检测模型,并基于所述单阶段目标模型的卷积层参数构建参数字典,为参数字典中的每个参数设置一个对应的字典系数,基于所述参数字典与对应的字典系数构建基于字典的目标检测模型;还用于:利用所述目标类数据集对所述基于权重字典的目标检测模型进行训练,得到最优的目标检测模型。
CN202010576615.4A 2020-06-22 2020-06-22 一种基于权重字典学习的小样本遥感目标检测方法及*** Active CN111860178B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010576615.4A CN111860178B (zh) 2020-06-22 2020-06-22 一种基于权重字典学习的小样本遥感目标检测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010576615.4A CN111860178B (zh) 2020-06-22 2020-06-22 一种基于权重字典学习的小样本遥感目标检测方法及***

Publications (2)

Publication Number Publication Date
CN111860178A true CN111860178A (zh) 2020-10-30
CN111860178B CN111860178B (zh) 2021-03-23

Family

ID=72988378

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010576615.4A Active CN111860178B (zh) 2020-06-22 2020-06-22 一种基于权重字典学习的小样本遥感目标检测方法及***

Country Status (1)

Country Link
CN (1) CN111860178B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686289A (zh) * 2020-12-24 2021-04-20 微梦创科网络科技(中国)有限公司 图片分类方法和装置
CN116912630A (zh) * 2023-09-12 2023-10-20 深圳须弥云图空间科技有限公司 一种目标识别方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103258210A (zh) * 2013-05-27 2013-08-21 中山大学 一种基于字典学习的高清图像分类方法
CN103761531A (zh) * 2014-01-20 2014-04-30 西安理工大学 基于形状轮廓特征的稀疏编码车牌字符识别方法
CN104680182A (zh) * 2015-03-09 2015-06-03 西安电子科技大学 基于nsct和判别字典学习的极化sar分类方法
CN110414616A (zh) * 2019-08-02 2019-11-05 南京大学 一种利用空间关系的遥感图像字典学习分类方法
CN111126287A (zh) * 2019-12-25 2020-05-08 武汉大学 一种遥感影像密集目标深度学习检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103258210A (zh) * 2013-05-27 2013-08-21 中山大学 一种基于字典学习的高清图像分类方法
CN103761531A (zh) * 2014-01-20 2014-04-30 西安理工大学 基于形状轮廓特征的稀疏编码车牌字符识别方法
CN104680182A (zh) * 2015-03-09 2015-06-03 西安电子科技大学 基于nsct和判别字典学习的极化sar分类方法
CN110414616A (zh) * 2019-08-02 2019-11-05 南京大学 一种利用空间关系的遥感图像字典学习分类方法
CN111126287A (zh) * 2019-12-25 2020-05-08 武汉大学 一种遥感影像密集目标深度学习检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHANG Q: "Discriminative K-SVD for dictionary learning in face recognition", 《IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION(CVPR)》 *
李争名: "基于双权重约束的判别字典学习算法", 《计算机与数字工程》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686289A (zh) * 2020-12-24 2021-04-20 微梦创科网络科技(中国)有限公司 图片分类方法和装置
CN116912630A (zh) * 2023-09-12 2023-10-20 深圳须弥云图空间科技有限公司 一种目标识别方法和装置

Also Published As

Publication number Publication date
CN111860178B (zh) 2021-03-23

Similar Documents

Publication Publication Date Title
CN111368896B (zh) 基于密集残差三维卷积神经网络的高光谱遥感图像分类方法
CN111739075B (zh) 一种结合多尺度注意力的深层网络肺部纹理识别方法
CN108095716B (zh) 一种基于置信规则库和深度神经网络的心电信号检测方法
EP3620990A1 (en) Capturing network dynamics using dynamic graph representation learning
Choudhary et al. Crack detection in concrete surfaces using image processing, fuzzy logic, and neural networks
CN109117883B (zh) 基于长短时记忆网络的sar影像海冰分类方法及***
CN107633255A (zh) 一种深度学习模式下的岩石岩性自动识别分类方法
CN111860178B (zh) 一种基于权重字典学习的小样本遥感目标检测方法及***
Wang et al. A computer vision based machine learning approach for fatigue crack initiation sites recognition
Savino et al. Automated classification of civil structure defects based on convolutional neural network
CN111798417A (zh) 一种基于ssd遥感图像目标检测的方法及装置
CN111861909A (zh) 一种网络细粒度图像去噪分类方法
CN114945938A (zh) 缺陷实际面积的检测方法、显示面板的检测方法及装置
CN116151319A (zh) 搜索神经网络集成模型的方法、装置和电子设备
CN116977710A (zh) 一种遥感图像长尾分布目标半监督检测方法
CN117152503A (zh) 一种基于伪标签不确定性感知的遥感图像跨域小样本分类方法
CN113723572B (zh) 船只目标识别方法、计算机***及程序产品、存储介质
Coenen et al. Semi-supervised segmentation of concrete aggregate using consensus regularisation and prior guidance
Chou et al. SHM data anomaly classification using machine learning strategies: A comparative study
CN111160526A (zh) 基于mape-d环形结构的深度学习***在线测试方法与装置
CN114580501A (zh) 骨髓细胞分类方法、***、计算机设备及存储介质
CN113095229B (zh) 一种无监督域自适应行人重识别***及方法
CN114048817A (zh) 一种基于变异策略的深度学习输入集优先级测试方法
CN117079017A (zh) 可信的小样本图像识别分类方法
Ridhovan et al. Disease detection in banana leaf plants using densenet and inception method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant