CN113705488A - 基于局部分割与特征融合的遥感图像细粒度飞机识别方法 - Google Patents

基于局部分割与特征融合的遥感图像细粒度飞机识别方法 Download PDF

Info

Publication number
CN113705488A
CN113705488A CN202111014277.6A CN202111014277A CN113705488A CN 113705488 A CN113705488 A CN 113705488A CN 202111014277 A CN202111014277 A CN 202111014277A CN 113705488 A CN113705488 A CN 113705488A
Authority
CN
China
Prior art keywords
airplane
image
aircraft
grained
fine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111014277.6A
Other languages
English (en)
Inventor
方舟
罗子娟
李雪松
缪伟鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 28 Research Institute
Original Assignee
CETC 28 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 28 Research Institute filed Critical CETC 28 Research Institute
Priority to CN202111014277.6A priority Critical patent/CN113705488A/zh
Publication of CN113705488A publication Critical patent/CN113705488A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于局部分割与特征融合的遥感图像细粒度飞机识别方法，包括检测飞机图像中的关键点，并根据关键点校准飞机图像中的飞机方向；再根据关键点切割校准后的飞机图像，得到飞机部件视野图；然后，构建基于局部特征融合的细粒度识别模型；最终结合校准后的飞机图像与飞机部件视野图，通过基于局部特征融合的细粒度识别模型对飞机进行细粒度分类，输出飞机识别结果。相较于现有技术，本发明具有更强泛化能力，能处理多分辨率的遥感影像，鲁棒性更高，能够处理多种噪声干扰，且识别准确率更高。

Description

基于局部分割与特征融合的遥感图像细粒度飞机识别方法
技术领域
本发明涉及数字图像处理与人工智能技术领域，涉及细粒度目标识别与异常检测，针对多分辨率遥感影像中大规模细粒度飞机分类问题，尤其涉及一种基于局部分割与特征融合的遥感图像细粒度飞机识别方法。
背景技术
通过遥感影像对机场中飞机的准确检测识别在机场实时监控、管理方面有着重要的作用。
近年来，深度学习技术在计算机视觉领域迅速发展，细粒度识别问题受到了越来越多的关注，并且在一些自然图像数据集上达到了极高的准确率。然而目前关于遥感影像中飞机目标的研究主要集中在飞机检测，少部分文献关注飞机细粒度分类任务，并且这些分类任务的类别数量也十分有限，与自然影像数据集目标类别数量差距大，不能满足实际使用需求。
相比于面向自然影像数据集的细粒度识别问题，面向卫星遥感影像的细粒度目标分类更加困难。一方面遥感影像分辨率差异较大，大量图像分辨率较低，同时飞机目标尺寸较小，这导致图像中飞机的局部特征缺失。然而目前细粒度识别模型算法例如TrilinearAttention Sampling Network(TASN)，Three Branch and Multi-Scale LearningNetwork(TBMSL-Net)，通常是利用注意力机制提取图像中目标间细微的特征差别，实现细粒度分类，这导致此类算法在遥感影像数据中表现差。另一方面飞机类别数量多，同一型号飞机具有大量子类别，子类别间区别小，这对细粒度分类模型提取有效特征的能力提出了极高的要求，难以实现。
因此，为了解决多分辨率遥感影像中飞机目标细粒度分类准确率低的问题，提出了基于局部分割与特征融合的遥感影像细粒度飞机识别方法。
发明内容
发明目的：利用飞机外观形状特征，提出面向遥感影像的新细粒度识别方法，大幅度提升多分辨率遥感影像中大规模细粒度飞机目标分类准确率。
技术方案：为实现上述目的，本发明提供了基于局部分割与特征融合的细粒度飞机识别方法，包括如下步骤：
步骤1，检测飞机图像中的关键点，并根据所述关键点依次校准每个飞机图像中的飞机方向；具体的，本发明中，所述飞机图像为完整遥感影像中裁剪的包含飞机的图像。
步骤2，根据所述关键点切割校准后的飞机图像，得到飞机部件视野图；
步骤3，构建基于局部特征融合的细粒度识别模型；
步骤4，结合所述校准后的飞机图像与飞机部件视野图，通过所述基于局部特征融合的细粒度识别模型对飞机进行细粒度分类，得到飞机识别结果。
进一步地，在一种实现方式中，所述步骤1包括：
步骤1-1，采用训练后的关键点检测模型检测所述飞机图像中的关键点，所述关键点包括：飞机头部、飞机尾部、右机翼端、左机翼端和机翼连接处；
步骤1-2，根据所述关键点求飞机方向与正上方间夹角，生成旋转矩阵，根据所述旋转矩阵校准飞机头部的方向至飞机图像的正上方，获得校准后的飞机图像。
进一步地，在一种实现方式中，所述步骤1-1包括：
采用堆叠沙漏型卷积神经网络(Stacked Hourglass Network)作为关键点检测模型，所述关键点检测模型采用4叠(Stack)，每叠中采用4次降采样，4次升采样；
在所述关键点检测模型的训练阶段，将所述关键点的坐标点转换成高斯分布的热力图作为训练标注；所述关键点的坐标点包括：飞机头部(x1,y1)、右机翼端(x2,y2)、飞机尾部(x3,y3)、左机翼端(x4,y4)和机翼连接处(x5,y5)。
进一步地，在一种实现方式中，所述步骤1-2包括：
步骤1-2-1，根据所述关键点中的飞机头部和飞机尾部的坐标点，得到飞机方向向量(x3-x1,y3-y1)，求得飞机方向与图像坐标系竖直轴方向的夹角θ，
Figure BDA0003239928020000021
得到旋转矩阵：
Figure BDA0003239928020000022
其中，xi为旋转前横坐标，yi为旋转前纵坐标，xi'为旋转后横坐标，yi'为旋转后纵坐标。具体的，本发明中，所述图像坐标系竖直轴方向即进行飞机图像校准的目标方向。
步骤1-2-2，将所述飞机图像与旋转矩阵相乘，获得校准后的飞机图像，使得飞机方向与坐标系竖直轴方向一致。
进一步地，在一种实现方式中，所述步骤2包括：
根据所述关键点，将所述校准后的飞机图像切割为飞机部件视野图，所述飞机部件视野图包括飞机机身部分、飞机机翼部分、飞机左上部、飞机右上部、飞机左下部和飞机右下部的图像，所述机身包含机尾。
进一步地，在一种实现方式中，所述步骤2中包括：
校准后关键点的坐标包括校准后飞机头部(x’1，y’1)、校准后右机翼(x'2，y'2)、校准后飞机尾部(x'3,y'3)、校准后飞机左机翼(x'4,y'4)和校准后机翼连接处(x'5,y'5)，将所述校准后的飞机图像切割为飞机机身部分、飞机机翼部分、飞机左上部、飞机右上部、飞机左下部和飞机右下部；
所述飞机机身部分视野图的坐标为：
[((x’1+x'4)/2,y’1),((x’1+x'2)/2,y’1),((x’1+x'2)/2,y'3),((x’1+x'4)/2,y'3)]，
所述飞机机翼部分视野图的坐标为：
[(x'4,(y’1+y'4)/2),(x'2,(y’1+y'4)/2),(x'2,(y'3+y'4)/2),(x'4,(y'3+y'4)/2)]，
所述飞机左上部视野图的坐标为：
[(x'4,y’1),(x’1,y’1),(x’1,y'4),(x'4,y'4)]
所述飞机右上部视野图的坐标为：
[(x’1,y’1),(x'2,y’1),(x'2,y'2),(x’1,y'2)]
所述飞机左下部视野图的坐标为：
[(x'4,y'5),(x'5,y'5),(x'5,y'3),(x'4,y'3)]
所述飞机右下部视野图的坐标为：
[(x'5，y'5)，(x'2，y'5)，(x'2，y'3)，(x'5，y'3)]。
进一步地，在一种实现方式中，所述步骤3包括：
步骤3-1，采用ResNet152卷积部分作为所述基于局部特征融合的细粒度识别模型的图像特征提取基础模型；
步骤3-2，通过所述图像特征提取基础模型输出的最后一层卷积层的输出为图像特征矩阵，将所述图像特征矩阵展平生成图像对应的特征向量；
步骤3-3，将所述校准后的飞机图像与飞机部件视野图依次送入图像特征提取基础模型，获得所述校准图像的特征向量与飞机部件视野图的特征向量，所述校准图像的特征向量再经过全连层生成第一飞机类别预测向量；
步骤3-4，将所述飞机部件视野图的特征向量与校准图像的特征向量进行拼接，再经过全连层得到第二飞机类别预测向量，最终获取基于局部特征融合的细粒度识别模型；
步骤3-5，所述图像特征提取基础模型卷积层利用ImageNet预训练模型，全连层采用随机分布初始化参数；本发明中，所述图像特征提取基础模型的卷积部分参数共享，两个全连层参数不共享。
步骤3-6，在训练阶段，所述图像特征提取基础模型与全连层部分采用不同学习率；
步骤3-7，在训练阶段，损失函数为两部分交叉熵加权求和，第一部分为所述第一飞机类别预测向量与标注的交叉熵，第二部分为所述第二飞机类别预测向量与标注的交叉熵。
步骤3-8，在测试阶段，选取所述第二飞机类别预测向量预测结果作为最终飞机分类结果。
进一步地，在一种实现方式中，所述步骤4包括：
步骤4-1，将所述飞机图像与飞机部件视野图尺寸归一化，获得归一化图像；具体的，本发明中，将所述飞机图像与飞机部件视野图的尺寸归一化为224×224，减去均值后再执行步骤4-2的操作。
步骤4-2，将所述归一化图像依次送入基于局部特征融合的细粒度识别模型，得到细粒度分类结果。
本方法中，首先基于关键点检测模型，定位飞机的关键点；根据关键点校准飞机方向，归一化飞机方向；根据关键点，切割校准后的飞机图像，得到飞机关键部件视野图；将飞机原图像与飞机部件视野图依次送入基于局部特征融合的细粒度识别模型，得到最终细粒度分类结果；基于局部特征融合的细粒度识别模型分别提取原图像与切割视野图图像特征，并拼接视野图特征得到融合特征，模型训练阶段采用加权交叉熵损失函数同时计算原图特征预测结果、融合特征进行预测分类结果与标注的交叉熵，测试阶段采用融合特征预测分类结果为最终结果。本发明与现有技术相比，包括如下有益效果：
(1)本方法构造的基于局部特征融合的细粒度识别模型具有更强泛化能力，能处理多分辨率的遥感影像；(2)本方法构造的基于局部特征融合的细粒度识别模型鲁棒性提高，可以处理遥感图像中的云雾遮挡，低分辨率等噪声干扰；(3)模型具有识别大规模细粒度目标类别的能力，相比于现有细粒度识别方法，能够显著提升识别准确率。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是本发明实施例部分提供的一种基于局部分割与特征融合的遥感图像细粒度飞机识别方法的工作流程框架示意图；
图1b是本发明实施例部分提供的一种基于局部分割与特征融合的遥感图像细粒度飞机识别方法的具体工作流程示意图；
图2是本发明实施例部分提供的一种基于局部分割与特征融合的遥感图像细粒度飞机识别方法中关键点检测模型架构示意图；
图3是本发明实施例部分提供的一种基于局部分割与特征融合的遥感图像细粒度飞机识别方法中图像方向校准与视野图切割示意图；
图4是本发明实施例部分提供的一种基于局部分割与特征融合的遥感图像细粒度飞机识别方法的基于局部特征融合的细粒度识别模型架构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明实施例公开一种基于局部分割与特征融合的遥感图像细粒度飞机识别方法，本方法应用于多分辨率遥感影像中的大规模飞机细粒度识别任务，此外，本方法并不限定于通过某一种遥感影像的数据集来实现。
如图1a所示，为本实施例提供的一种基于局部分割与特征融合的遥感图像细粒度飞机识别方法的工作流程框架示意图。本实施例提供的基于局部分割与特征融合的细粒度飞机识别方法，包括如下步骤：
步骤1，检测飞机图像中的关键点，并根据所述关键点依次校准每个飞机图像中的飞机方向；具体的，本实施例中，所述飞机图像为通过目标检测算法获取的遥感影像，即图1a中的原始图像。
步骤2，根据所述关键点切割校准后的飞机图像，得到飞机部件视野图；
步骤3，构建基于局部特征融合的细粒度识别模型；
步骤4，结合所述校准后的飞机图像与飞机部件视野图，通过所述基于局部特征融合的细粒度识别模型对飞机进行细粒度分类，得到飞机识别结果。
如图1b所示，为本实施例提供的一种基于局部分割与特征融合的遥感图像细粒度飞机识别方法的具体工作流程示意图；其中，每个具体工作流程示意图与图1a中的工作流程框架示意图一一对应，即对应了本方法中通过步骤1至步骤4对原始图像的处理。
本实施例所述的基于局部分割与特征融合的细粒度飞机识别方法中，所述步骤1包括：步骤1-1，采用训练后的关键点检测模型检测所述飞机图像中的关键点，所述关键点包括：飞机头部、飞机尾部、右机翼端、左机翼端和机翼连接处；
步骤1-2，根据所述关键点求飞机方向与正上方间夹角，生成旋转矩阵，根据所述旋转矩阵校准飞机的方向至飞机图像的正上方，获得校准后的飞机图像。
本实施例所述的基于局部分割与特征融合的细粒度飞机识别方法中，所述步骤1-1包括：采用堆叠沙漏型卷积神经网络(Stacked Hourglass Network)作为关键点检测模型，所述关键点检测模型采用4叠(Stack)，每基础单元中采用4次降采样，4次升采样(基本Stacked Hourglass Network模型架构设定)。2叠Hourglass Network网络深度不足，难以实现关键点检测，6-8叠网络实验效果与4叠网络基本一致，然而模型推断时间更长，因此选用4叠网络。输入模型的图像大小为224×224，4次降采样可以得到较好的全局特征；如图2所示，为所述关键点检测模型的模型结构。
在所述关键点检测模型的训练阶段，将所述关键点的坐标点转换成高斯分布的热力图作为训练标注；所述关键点的坐标点包括：飞机头部(x1,y1)、右机翼端(x2,y2)、飞机尾部(x3,y3)、左机翼端(x4,y4)和机翼连接处(x5,y5)。如图3所示，方向校准前的飞机图像中的5个点即所述关键点，其中，最上方的点为飞机头部(x1，y1)，最左侧的点即左机翼端(x4，y4)，最右侧的点即右机翼端(x2，y2)，所述左机翼端(x4，y4)与右机翼端(x2，y2)之间的点即机翼连接处(x5，y5)，最下方的点即为飞机尾部(x3，y3)。
本实施例所述的基于局部分割与特征融合的细粒度飞机识别方法中，所述步骤1-2包括：步骤1-2-1，根据所述关键点中的飞机头部和飞机尾部的坐标点，得到飞机方向向量(x3-x1,y3-y1)，求得飞机方向与图像坐标系竖直轴方向的夹角θ，
Figure BDA0003239928020000071
得到旋转矩阵：
Figure BDA0003239928020000072
其中，xi为旋转前横坐标，yi为旋转前纵坐标，x’i为旋转后横坐标，y’i为旋转后纵坐标。具体的，本实施例中，所述图像坐标系竖直轴方向即进行飞机图像校准的目标方向。
步骤1-2-2，将所述飞机图像与旋转矩阵相乘，获得校准后的飞机图像，使得飞机方向与坐标系竖直轴方向一致。
本实施例所述的基于局部分割与特征融合的细粒度飞机识别方法中，所述步骤2包括：根据所述关键点，将所述校准后的飞机图像切割为飞机部件视野图，所述飞机部件视野图包括飞机机身部分、飞机机翼部分、飞机左上部、飞机右上部、飞机左下部和飞机右下部的图像，所述机身包含机尾。
本实施例所述的基于局部分割与特征融合的细粒度飞机识别方法中，所述步骤2中包括：校准后关键点的坐标包括校准后飞机头部(x’1,y’1)、校准后右机翼(x'2,y'2)、校准后飞机尾部(x'3,y'3)、校准后飞机左机翼(x'4,y'4)和校准后机翼连接处(x'5,y'5)，如图3所示，进行方向校准后的飞机图像中，最上方的点即为校准后飞机头部(x’1,y’1)，最左侧的点即为校准后飞机左机翼(x'4,y'4)，最右侧的点即为校准后右机翼(x'2,y'2)，所述校准后左机翼(x'4,y'4)与校准后右机翼(x'2，y'2)之间的点即为校准后机翼连接处(x'5,y'5)，最下方的点即为校准后飞机尾部(x'3,y'3)。将所述校准后的飞机图像，根据关键点坐标切割为飞机机身部分、飞机机翼部分、飞机左上部、飞机右上部、飞机左下部和飞机右下部；如图3中视野切割后的图中所示，标号为5、6、1、2、3和4的切割图依次示出了飞机机身部分、飞机机翼部分、飞机左上部、飞机右上部、飞机左下部和飞机右下部。
所述飞机机身部分视野图的坐标为：
[((x’1+x'4)/2,y’1),((x’1+x'2)/2,y’1),((x’1+x'2)/2,y'3),((x’1+x'4)/2,y'3)]，
所述飞机机翼部分视野图的坐标为：
[(x'4,(y’1+y'4)/2),(x'2,(y’1+y'4)/2),(x'2,(y'3+y'4)/2),(x'4,(y'3+y'4)/2)]，
所述飞机左上部视野图的坐标为：
[(x'4,y’1),(x’1,y’1),(x’1,y'4),(x'4,y'4)]
所述飞机右上部视野图的坐标为：
[(x’1,y’1),(x'2,y’1),(x'2,y'2),(x’1,y'2)]
所述飞机左下部视野图的坐标为：
[(x'4,y'5),(x'5，y'5)，(x'5，y'3)，(x'4，y'3)]
所述飞机右下部视野图的坐标为：
[(x'5，y'5)，(x'2，y'5)，(x'2，y'3)，(x'5，y'3)]。
本实施例所述的基于局部分割与特征融合的细粒度飞机识别方法中，所述步骤3包括：步骤3-1，采用ResNet152作为所述基于局部特征融合的细粒度识别模型的图像特征提取基础模型；
步骤3-2，通过所述图像特征提取基础模型输出的最后一层卷积层的输出为图像特征矩阵，将所述图像特征矩阵展平生成图像对应的特征向量；
步骤3-3，将所述校准后的飞机图像与飞机部件视野图依次送入图像特征提取基础模型，获得所述校准图像的特征向量与飞机部件视野图的特征向量，所述校准图像的特征向量再经过全连层生成第一飞机类别预测向量；
步骤3-4，将所述飞机部件视野图的特征向量与校准图像的特征向量进行拼接，再经过全连层得到第二飞机类别预测向量；
步骤3-5，所述图像特征提取基础模型卷积层利用ImageNet预训练模型，全连层采用随机分布初始化参数；本实施例中，所述图像特征提取基础模型的卷积部分参数共享，两个全连层参数不共享。
步骤3-6，在训练阶段，所述图像特征提取基础模型与全连层部分采用不同学习率；具体的，本实施例中，卷积层学习率为0.02，全连层学习率为0.04；
步骤3-7，在训练阶段，损失函数为两部分交叉熵加权求和，第一部分为所述第一飞机类别预测向量与标注的交叉熵，第二部分为所述第二飞机类别预测向量与标注的交叉熵，最终获取基于局部特征融合的细粒度识别模型。具体的，本实施例中，所述基于局部特征融合的细粒度识别模型架构如图4所示，校准图像与飞机部件视野图依次送入同一模型卷积部分(ResNet152)分别提取全局特征与部件特征，随后将特征展平生成特征向量。全局特征向量单独经过全连层，生成第二飞机类别预测向量。全局特征向量与部件特征向量拼接，再经过全连层，生成第一飞机类别预测向量。
步骤3-8，在测试阶段，选取所述第二飞机类别预测向量预测结果作为最终飞机分类结果。
本实施例所述的基于局部分割与特征融合的细粒度飞机识别方法中，所述步骤4包括：步骤4-1，将所述飞机图像与飞机部件视野图尺寸归一化，获得归一化图像；具体的，本实施例中，将所述飞机图像与飞机部件视野图的尺寸归一化为224×224，减去训练集图像的均值后再执行步骤4-2的操作。
步骤4-2，将所述归一化图像依次送入基于局部特征融合的细粒度识别模型，得到细粒度分类结果。
本方法中，首先基于关键点检测模型，定位飞机的关键点；根据关键点校准飞机方向，归一化飞机方向；根据关键点，切割校准后的飞机图像，得到飞机关键部件视野图；将飞机原图像与飞机部件视野图依次送入基于局部特征融合的细粒度识别模型，得到最终细粒度分类结果；基于局部特征融合的细粒度识别模型分别提取原图像与切割视野图图像特征，并拼接视野图特征得到融合特征，模型训练阶段采用加权交叉熵损失函数同时计算原图特征预测结果、融合特征进行预测分类结果与标注的交叉熵，测试阶段采用融合特征预测分类结果为最终结果。本发明与现有技术相比，包括如下有益效果：
(1)本方法构造的基于局部特征融合的细粒度识别模型具有更强泛化能力，能处理多分辨率的遥感影像；(2)本方法构造的基于局部特征融合的细粒度识别模型鲁棒性提高，可以处理遥感图像中的云雾遮挡，低分辨率等噪声干扰；(3)模型具有识别大规模细粒度目标类别的能力，相比于现有细粒度识别方法，能够显著提升识别准确率。
具体实现中，本发明还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供的一种基于局部分割与特征融合的遥感图像细粒度飞机识别方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，ROM)或随机存储记忆体(random access memory，RAM)等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中各个实施例之间相同相似的部分互相参见即可。以上所述的本发明实施方式并不构成对本发明保护范围的限定。

Claims (8)

1.基于局部分割与特征融合的遥感图像细粒度飞机识别方法，其特征在于，所述方法包括：
步骤1，检测飞机图像中的关键点，并根据所述关键点依次校准每个飞机图像中的飞机方向；
步骤2，根据所述关键点切割校准后的飞机图像，得到飞机部件视野图；
步骤3，构建基于局部特征融合的细粒度识别模型；
步骤4，结合所述校准后的飞机图像与飞机部件视野图，通过所述基于局部特征融合的细粒度识别模型对飞机进行细粒度分类，得到飞机识别结果。
2.根据权利要求1所述的一种基于局部分割与特征融合的遥感图像细粒度飞机识别方法，其特征在于，所述步骤1包括：
步骤1-1，采用训练后的关键点检测模型检测所述飞机图像中的关键点，所述关键点包括：飞机头部、飞机尾部、右机翼端、左机翼端和机翼连接处；
步骤1-2，根据所述关键点求飞机方向与正上方间夹角，生成旋转矩阵，根据所述旋转矩阵校准飞机头部的方向至飞机图像的正上方，获得校准后的飞机图像。
3.根据权利要求2所述的一种基于局部分割与特征融合的遥感图像细粒度飞机识别方法，其特征在于，所述步骤1-1包括：
采用堆叠沙漏型卷积神经网络作为关键点检测模型，所述关键点检测模型采用4叠，每叠中采用4次降采样，4次升采样；
在所述关键点检测模型的训练阶段，将所述关键点的坐标点转换成高斯分布的热力图作为训练标注；所述关键点的坐标点包括：飞机头部(x1,y1)、右机翼端(x2,y2)、飞机尾部(x3,y3)、左机翼端(x4,y4)和机翼连接处(x5,y5)。
4.根据权利要求2所述的一种基于局部分割与特征融合的遥感图像细粒度飞机识别方法，其特征在于，所述步骤1-2包括：
步骤1-2-1，根据所述关键点中的飞机头部和飞机尾部的坐标点，得到飞机方向向量(x3-x1,y3-y1)，求得飞机方向与图像坐标系竖直轴方向的夹角θ，
Figure FDA0003239928010000011
得到旋转矩阵：
Figure FDA0003239928010000021
其中，xi为旋转前横坐标，yi为旋转前纵坐标，x′i为旋转后横坐标，y′i为旋转后纵坐标；
步骤1-2-2，将所述飞机图像与旋转矩阵相乘，获得校准后的飞机图像，使得飞机方向与坐标系竖直轴方向一致。
5.根据权利要求1所述的一种基于局部分割与特征融合的遥感图像细粒度飞机识别方法，其特征在于，所述步骤2包括：
根据所述关键点，将所述校准后的飞机图像切割为飞机部件视野图，所述飞机部件视野图包括飞机机身部分、飞机机翼部分、飞机左上部、飞机右上部、飞机左下部和飞机右下部的图像，所述机身包含机尾。
6.根据权利要求1所述的一种基于局部分割与特征融合的遥感图像细粒度飞机识别方法，其特征在于，所述步骤2中包括：
校准后关键点的坐标包括校准后飞机头部(x′1,y′1)、校准后右机翼(x′2,y′2)、校准后飞机尾部(x′3,y′3)、校准后飞机左机翼(x′4,y′4)和校准后机翼连接处(x′5,y′5)，将所述校准后的飞机图像切割为飞机机身部分、飞机机翼部分、飞机左上部、飞机右上部、飞机左下部和飞机右下部；
所述飞机机身部分视野图的坐标为：
[((x′1+x′4)/2,y′1),((x′1+x′2)/2,y′1),((x′1+x′2)/2,y′3),((x′1+x′4)/2,y′3)]，
所述飞机机翼部分视野图的坐标为：
[(x′4,(y′1+y′4)/2),(x′2,(y′1+y′4)/2),(x′2,(y′3+y′4)/2),(x′4,(y′3+y′4)/2)]，
所述飞机左上部视野图的坐标为：
[(x′4,y′1),(x′1，y′1)，(x′1，y′4)，(x′4,y′4)]
所述飞机右上部视野图的坐标为：
[(x′1,y′1),(x′2，y′1)，(x′2,y′2),(x′1,y′2)]
所述飞机左下部视野图的坐标为：
[(x′4,y′5),(x′5,y′5),(x′5,y′3),(x′4,y′3)]
所述飞机右下部视野图的坐标为：
[(x′5,y′5),(x′2,y′5),(x′2,y′3),(x′5,y′3)]。
7.根据权利要求1所述的一种基于局部分割与特征融合的遥感图像细粒度飞机识别方法，其特征在于，所述步骤3包括：
步骤3-1，采用ResNet152卷积部分作为所述基于局部特征融合的细粒度识别模型的图像特征提取基础模型；
步骤3-2，通过所述图像特征提取基础模型输出的最后一层卷积层的输出为图像特征矩阵，将所述图像特征矩阵展平生成图像对应的特征向量；
步骤3-3，将所述校准后的飞机图像与飞机部件视野图依次送入图像特征提取基础模型，获得所述校准图像的特征向量与飞机部件视野图的特征向量，所述校准图像的特征向量再经过全连层生成第一飞机类别预测向量；
步骤3-4，将所述飞机部件视野图的特征向量与校准图像的特征向量进行拼接，再经过全连层得到第二飞机类别预测向量，最终获取基于局部特征融合的细粒度识别模型；
步骤3-5，所述图像特征提取基础模型卷积层利用ImageNet预训练模型，全连层采用随机分布初始化参数；
步骤3-6，在训练阶段，所述图像特征提取基础模型与全连层部分采用不同学习率；
步骤3-7，在训练阶段，损失函数为两部分交叉熵加权求和，第一部分为所述第一飞机类别预测向量与标注的交叉熵，第二部分为所述第二飞机类别预测向量与标注的交叉熵。
步骤3-8，在测试阶段，选取所述第二飞机类别预测向量预测结果作为最终飞机分类结果。
8.根据权利要求1所述的一种基于局部分割与特征融合的遥感图像细粒度飞机识别方法，其特征在于，所述步骤4包括：
步骤4-1，将所述飞机图像与飞机部件视野图尺寸归一化，获得归一化图像；
步骤4-2，将所述归一化图像依次送入基于局部特征融合的细粒度识别模型，得到细粒度分类结果。
CN202111014277.6A 2021-08-31 2021-08-31 基于局部分割与特征融合的遥感图像细粒度飞机识别方法 Pending CN113705488A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111014277.6A CN113705488A (zh) 2021-08-31 2021-08-31 基于局部分割与特征融合的遥感图像细粒度飞机识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111014277.6A CN113705488A (zh) 2021-08-31 2021-08-31 基于局部分割与特征融合的遥感图像细粒度飞机识别方法

Publications (1)

Publication Number Publication Date
CN113705488A true CN113705488A (zh) 2021-11-26

Family

ID=78658170

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111014277.6A Pending CN113705488A (zh) 2021-08-31 2021-08-31 基于局部分割与特征融合的遥感图像细粒度飞机识别方法

Country Status (1)

Country Link
CN (1) CN113705488A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109726659A (zh) * 2018-12-21 2019-05-07 北京达佳互联信息技术有限公司 人体骨骼关键点的检测方法、装置、电子设备和可读介质
CN110459301A (zh) * 2019-07-29 2019-11-15 清华大学 基于热力图和面部关键点的脑部神经外科导航配准方法
CN110598601A (zh) * 2019-08-30 2019-12-20 电子科技大学 一种基于分布式热力图的人脸3d关键点检测方法及***
CN111274893A (zh) * 2020-01-14 2020-06-12 中国人民解放军国防科技大学 基于部件分割与特征融合的飞行器图像细粒度识别方法
CN112966555A (zh) * 2021-02-02 2021-06-15 武汉大学 一种基于深度学习和部件先验的遥感影像飞机识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109726659A (zh) * 2018-12-21 2019-05-07 北京达佳互联信息技术有限公司 人体骨骼关键点的检测方法、装置、电子设备和可读介质
CN110459301A (zh) * 2019-07-29 2019-11-15 清华大学 基于热力图和面部关键点的脑部神经外科导航配准方法
CN110598601A (zh) * 2019-08-30 2019-12-20 电子科技大学 一种基于分布式热力图的人脸3d关键点检测方法及***
CN111274893A (zh) * 2020-01-14 2020-06-12 中国人民解放军国防科技大学 基于部件分割与特征融合的飞行器图像细粒度识别方法
CN112966555A (zh) * 2021-02-02 2021-06-15 武汉大学 一种基于深度学习和部件先验的遥感影像飞机识别方法

Similar Documents

Publication Publication Date Title
CN109344701B (zh) 一种基于Kinect的动态手势识别方法
Afzal et al. Cutting the error by half: Investigation of very deep cnn and advanced training strategies for document image classification
Xu et al. Hierarchical semantic propagation for object detection in remote sensing imagery
CN113033537B (zh) 用于训练模型的方法、装置、设备、介质和程序产品
Xue et al. Complex ISAR target recognition using deep adaptive learning
Wang et al. Small-object detection based on yolo and dense block via image super-resolution
US20120093396A1 (en) Digital image analysis utilizing multiple human labels
Gong et al. Object detection based on improved YOLOv3-tiny
CN112418330A (zh) 一种基于改进型ssd的小目标物体高精度检测方法
CN111563550B (zh) 基于图像技术的***形态检测方法和装置
Sun et al. Traffic Sign Recognition Method Integrating Multi-Layer Features and Kernel Extreme Learning Machine Classifier.
CN113095333A (zh) 无监督特征点检测方法及装置
Guo et al. D3-Net: Integrated multi-task convolutional neural network for water surface deblurring, dehazing and object detection
Zhang et al. Multi-scale image recognition strategy based on convolutional neural network
CN114187506A (zh) 视点意识的动态路由胶囊网络的遥感图像场景分类方法
Gan et al. Object detection in remote sensing images with mask R-CNN
JP2023528181A (ja) 画像データベースを検索するための方法、非一時的なコンピュータ可読記憶媒体、及び装置
Patil et al. Techniques of deep learning for image recognition
CN111832463A (zh) 一种基于深度学习的交通标志检测方法
CN113705489B (zh) 基于先验区域知识指导的遥感影像细粒度飞机识别方法
CN114612802A (zh) 基于mbcnn的舰船目标细粒度分类***及方法
Xu et al. Compressed YOLOv5 for oriented object detection with integrated network slimming and knowledge distillation
CN113705488A (zh) 基于局部分割与特征融合的遥感图像细粒度飞机识别方法
CN115937567A (zh) 一种基于小波散射网络和ViT的图像分类方法
CN115616570A (zh) 基于半监督生成对抗网络的sar目标识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination