CN115082801A - 一种基于遥感图像的飞机型号识别***和方法 - Google Patents

Abstract

本发明涉及一种基于遥感图像的飞机型号识别***和方法，包括：目标检测模块，用于检测遥感图像中是否存在飞机目标，若存在飞机目标，则将检测的飞机目标发送至细粒度分类模块；型号识别模块，用于基于细粒度分类网络预测飞机目标的型号。本发明构建了目标检测模块和基于空洞卷积的双线性池化细粒度分类网络的组合架构，本架构适用于识别遥感图像中飞机目标的型号，还可以适用于其他领域图像中同一类大小且外形特征相似的目标识别。

Description

一种基于遥感图像的飞机型号识别***和方法

技术领域

本发明涉及目标识别技术领域，特别涉及一种基于遥感图像的飞机型号识别***和方法。

背景技术

当前主流的基于深度学习目标检测算法的神经网络架构分为一阶段（one-stage）网络模型和二阶段（two-stage）网络模型。一阶段网络模型直接回归物体目标的类别概率和位置坐标，相比于二阶段模型，其速度较快，但精度不如二阶段网络模型。二阶段网络模型主要通过一个卷积神经网络来完成目标检测过程，其提取的是CNN卷积特征，在训练网络时，其主要训练两个部分，第一步是训练RPN网络，第二步是训练目标区域检测的网络，网络的准确度高，但速度相对于一阶段网络模型慢。

大多数遥感图像飞机目标识别方法都是停留在识别某个目标是否是飞机目标的阶段，而缺少对飞机目标型号的进一步分类识别。受限于高空分辨率的影响，遥感图像中会出现更多与飞机目标相比难以区分的复杂背景和干扰因素，特别是某些不同型号的飞机虽然具有一定的差异性，但是其共性显著，非常相似，尤其在较低分辨率的图像中。因此，不论是一阶段网络模型结构还是二阶段网络模型结构，都无法准确的对空间结构相似的两种不同型号的飞机精细识别，更无法达到可实用的精度。

发明内容

本发明的目的在于通过目标检测模块和细粒度分类模块的组合架构，提高对飞机目标具体型号的识别精度，提供一种基于遥感图像的飞机型号识别***和方法。

为了实现上述发明目的，本发明实施例提供了以下技术方案：

一种基于遥感图像的飞机型号识别***，包括：

目标检测模块，用于检测遥感图像中是否存在飞机目标，若存在飞机目标，则将检测的飞机目标发送至型号识别模块；

型号识别模块，用于基于细粒度分类网络预测飞机目标的型号。

所述细粒度分类网络包括依次连接的3个神经网络单元、1个双线性输出单元，第1个神经网络单元的输入端与目标检测模块的输出端连接，第3个神经网络单元的输出端与双线性输出单元的输入端连接；

每个所述神经网络单元包括第一残差空洞卷积块、第二残差空洞卷积块、第一卷积层、第二卷积层、全连接层、BN层、第三卷积层、第一激活函数层；所述第一残差空洞卷积块、第二残差空洞卷积块、第一卷积层依次连接，所述第一卷积层的输出端、第二卷积层的输出端分别与全连接层输入端连接，所述全连接层、BN层、第三卷积层、第一激活函数层依次连接。

所述第一残差空洞卷积块或第二残差空洞卷积块包括依次连接的空洞卷积层、BN层、第二激活函数层。

所述双线性输出单元用于对第3个神经网络单元输出的高维特征矩阵进行转置操作，再将转置操作前的高维特征矩阵和转置操作后的高维特征矩阵进行外积，得到融合后的双线性特征。

所述细粒度分类网络的分类损失函数为：

其中，x_i表示输入样本，即输入细粒度分类网络的第i个飞机目标，N表示输入样本的总数，i∈N；y_i表示标签真值，即输入细粒度分类网络的第i个飞机目标的型号类别真实标签；j表示第j个型号类别，M表示型号类别的总数，j∈M；y_ci为细粒度分类网络的预测输出，表示了第i个飞机目标属于第c个型号类别，c∈M；m表示输入细粒度分类网络的不同型号类别的飞机目标之间的距离间隔；

表示y_i的余弦角度；

表示细粒度分类网络的预测输出y_ci与输入样本x_i之间的夹角。

一种基于遥感图像的飞机型号识别方法，包括以下步骤：

步骤S1，目标检测模块检测遥感图像中是否存在飞机目标，若存在飞机目标，则将检测的飞机目标发送至型号识别模块；

步骤S2，型号识别模块基于细粒度分类网络预测飞机目标的型号。

所述型号识别模块基于细粒度分类网络预测飞机目标的型号的步骤，包括：

细粒度分类网络对飞机目标进行特征提取，输出飞机目标的双线性特征，根据双线性特征预测飞机目标的型号；

所述细粒度分类网络包括依次连接的3个神经网络单元、1个双线性输出单元；第1个神经网络单元的输入端与目标检测模块的输出端连接，第3个神经网络单元的输出端与双线性输出单元的输入端连接；3个神经网络单元输出飞机目标的高维特征矩阵，双线性输出单元输出飞机目标的双线性特征。

每个所述神经网络单元包括第一残差空洞卷积块、第二残差空洞卷积块、第一卷积层、第二卷积层、全连接层、BN层、第三卷积层、第一激活函数层；所述第一残差空洞卷积块、第二残差空洞卷积块、第一卷积层依次连接，所述第一卷积层的输出端、第二卷积层的输出端分别与全连接层输入端连接，所述全连接层、BN层、第三卷积层、第一激活函数层依次连接。

所述双线性输出单元输出飞机目标的双线性特征的步骤，包括：双线性输出单元对第3个神经网络单元输出的高维特征矩阵进行转置操作，再将转置操作前的高维特征矩阵和转置操作后的高维特征矩阵进行外积，得到融合后的双线性特征。

所述细粒度分类网络的分类损失函数为：

其中，x_i表示输入样本，即输入细粒度分类网络的第i个飞机目标，N表示输入样本的总数，i∈N；y_i表示标签真值，即输入细粒度分类网络的第i个飞机目标的型号类别真实标签；j表示第j个型号类别，M表示型号类别的总数，j∈M；y_ci为细粒度分类网络的预测输出，表示了第i个飞机目标属于第c个型号类别，c∈M；m表示输入细粒度分类网络的不同型号类别的飞机目标之间的距离间隔；

表示y_i的余弦角度；

表示细粒度分类网络的预测输出y_ci与输入样本x_i之间的夹角。

与现有技术相比，本发明的有益效果：

（1）本发明构建了目标检测模块和基于空洞卷积的双线性池化细粒度分类网络的组合架构，本架构适用于识别遥感图像中飞机目标的型号，还可以适用于其他领域图像中同一类大小且外形特征相似的目标识别。

（2）本发明基于空洞卷积的双线性特征提取细粒度分类网络结构，使用普通卷积和空洞卷积结合构成特征采样的神经网络单元，使用残差连接，既能减少参数量，又能避免关键性数据的丢失，输出端对提取到的高维特征矩阵进行转置，外积融合后输出特征计算结果。

（3）本发明针对细粒度分类网络的类间距离小的损失函数，加入余弦角度扩大分类界限，增大类间距，聚合类内距，达到对飞机目标型号识别作用，而不是简单的分类。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明飞机型号识别***模块框图；

图2为本发明实施例细粒度分类网络的结构示意图；

图3为本发明实施例神经网络单元的结构示意图；

图4为本发明实施例残差空洞卷积块的结构示意图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性，或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

实施例：

本发明通过下述技术方案实现，如图1所示，一种基于遥感图像的飞机型号识别***，包括目标检测模块、型号识别模块。目标检测模块用于检测输入的遥感图像中是否存在飞机目标，若存在，则将检测的飞机目标发送至型号识别模块。型号识别模块用于基于细粒度分类网络预测飞机目标的型号。

遥感图像在深度学习图像视觉算法领域输出单类别目标检测，本方案的目标检测模块基于Yolov5算法，Yolov5算法属于一阶段网络模型（one-stage），其性能优异，精度高，特别提升了小目标检测精度，因此非常适合遥感图像飞机目标检测。请参见图1，目标检测模块的输出包含坐标信息[xmin，ymin，xmax，ymax]和类别信息[class，conf]（class表示分类，conf表示置信度），由于目标检测模块只用于检测遥感图像中是否存在飞机目标，因此此处只关注坐标信息[xmin，ymin，xmax，ymax]。其中xmin、ymin表示飞机目标所在框的左下顶点坐标，xmax、ymax表示飞机目标所在框的右上顶点坐标。

根据得到的坐标信息，对原始的遥感图像进行切图，获取飞机目标所在的区域，将切图后的飞机目标发送至细粒度分类网络。

在遥感图像中，由于不同型号飞机外形之间存在的差异较小，因共性显著的特点，特别容易受到空间分辨率的影响，飞机之间外形非常相似。普通卷积在下采样（池化）的过程中，会降低图像分辨率，空间层级化信息丢失。遥感图像中的飞机目标尺寸通常较小，如果使用普通卷积进行采样学习，经过多层卷积后提取到的特征有效信息就会大幅压缩。加上飞机目标类间距小，通用图像分类任务难以精细的识别飞机目标具体型号。

因此本方案型号识别模块所使用的细粒度分类网络是基于空洞卷积的双线性池化细粒度分类网络。空洞卷积是在普通卷积里注入空洞，以此来扩大感受视野，相比普通卷积多了一个参数扩张率（dilation rate），该参数定义了卷积核处理数据时各值的间距。

请参见图2，是所述细粒度分类网络的结构，包括3个神经网络单元、1个双线性输出单元，3个神经网络单元分别为第一神经网络单元、第二神经网络单元、第三神经网络单元，且每个神经网络单元的结构相同。第一神经网络单元、第二神经网络单元、第三神经网络单元依次连接，第三神经网络单元的输出端与双线性输出单元的输入端连接。

请参见图3，是神经网络单元的结构，包括第一残差空洞卷积块、第二残差空洞卷积块、第一卷积层、第二卷积层、全连接层、BN层、第三卷积层、第一激活函数层，且第一残差空洞卷积块、第二残差空洞卷积块的结构相同。所述第一残差空洞卷积块、第二残差空洞卷积块、第一卷积层依次连接，所述第一卷积层的输出端、第二卷积层的输出端分别与全连接层输入端连接，所述全连接层、BN层、第三卷积层、第一激活函数层依次连接。

请参见图4，是残差空洞卷积块的结构，包括依次连接的空洞卷积层、BN层、第二激活函数层。所述空洞卷积层是为了降采样，设定滑动补偿为2，替代Pooling更好的保留纹理特征。

请参见图2，所述双线性输出单元用于对第3个神经网络单元输出的高维特征矩阵进行转置操作，再将转置操作前的高维特征矩阵和转置操作后的高维特征矩阵进行外积，得到融合后的双线性特征：X(I)=A(I)A(I)^T，其中X(I)为双线性特征，A(I)为转置操作前的高维特征矩阵，A(I)^T为转置操作后的高维特征矩阵。

再经过平方根和二范数归一化操作后得到高阶特征表示，双线性池化提供了比线性模型更强的特征表示，因此其分类精度远远高于普通的一阶段网络模型。

所述细粒度分类网络在使用之前，需要经过训练，细粒度分类网络的分类损失函数为：

其中，x_i表示输入样本，即输入细粒度分类网络的第i个飞机目标，N表示输入样本的总数，i∈N；y_i表示标签真值，即输入细粒度分类网络的第i个飞机目标的型号类别真实标签；j表示第j个型号类别，M表示型号类别的总数，j∈M；y_ci为细粒度分类网络的预测输出，表示了第i个飞机目标属于第c个型号类别，c∈M；m表示输入细粒度分类网络的不同型号类别的飞机目标之间的距离间隔；

表示y_i的余弦角度；

表示细粒度分类网络的预测输出y_ci与输入样本x_i之间的夹角。

基于上述***，请参见图1，本方案还提出一种基于遥感图像的飞机型号识别方法，包括以下步骤：

步骤S1，目标检测模块检测遥感图像中是否存在飞机目标，若存在飞机目标，则将检测的飞机目标发送至型号识别模块。

遥感图像的尺寸通常远大于自然场景图像的尺寸，如果将遥感图像直接送到目标检测模块，飞机目标会被严重压缩，特别是飞机这类较小目标，目标检测模块的网络很难学习到特征信息。因此需要对超大宽幅的遥感图像进行切割的预处理，考虑到一个目标被切断的问题，本方案设定一定尺寸，以一定步长滑动切割，得到N张小图。在相邻的两个小图之间设置overlap重叠区域，将切割后的遥感图像小图输入到目标检测模块。

一张遥感图像经过图像预处理后，生成N张小图，N张小图依次输入目标检测模块，小图经过目标检测模块预测获取飞机目标的坐标信息[xmin，ymin，xmax，ymax]，根据坐标信息切片获取飞机目标。

步骤S2，型号识别模块基于细粒度分类网络预测飞机目标的型号。

由于细粒度分类网络有一层全连接层，因此细粒度分类网络的输入图像尺寸是固定的，本方案中设定细粒度分类网络的输入图像大小为112*112，为保证飞机目标缩放后不被拉伸变形，飞机目标在输入细粒度分类网络前进行填充缩放处理。具体为以飞机目标的图像最大边W/H（长或宽）生成像素值为128的底版图像，然后将飞机目标的图像贴在底版图像上，生成等边（W=H）的正方形图像，缩放为112*112大小时，保证了飞机形状也是等比缩放。

细粒度分类网络对飞机目标进行特征提取，输出飞机目标的双线性特征，根据双线性特征预测飞机目标的型号。

所述细粒度分类网络包括依次连接的3个神经网络单元、1个双线性输出单元；第1个神经网络单元的输入端与目标检测模块的输出端连接，第3个神经网络单元的输出端与双线性输出单元的输入端连接；3个神经网络单元输出飞机目标的高维特征矩阵，双线性输出单元输出飞机目标的双线性特征。

每个所述神经网络单元包括第一残差空洞卷积块、第二残差空洞卷积块、第一卷积层、第二卷积层、全连接层、BN层、第三卷积层、第一激活函数层；所述第一残差空洞卷积块、第二残差空洞卷积块、第一卷积层依次连接，所述第一卷积层的输出端、第二卷积层的输出端分别与全连接层输入端连接，所述全连接层、BN层、第三卷积层、第一激活函数层依次连接。

所述双线性输出单元输出飞机目标的双线性特征的步骤，包括：双线性输出单元对第3个神经网络单元输出的高维特征矩阵进行转置操作，再将转置操作前的高维特征矩阵和转置操作后的高维特征矩阵进行外积，得到融合后的双线性特征。

所述细粒度分类网络的分类损失函数为：

其中，x_i表示输入样本，即输入细粒度分类网络的第i个飞机目标，N表示输入样本的总数，i∈N；y_i表示标签真值，即输入细粒度分类网络的第i个飞机目标的型号类别真实标签；j表示第j个型号类别，M表示型号类别的总数，j∈M；y_ci为细粒度分类网络的预测输出，表示了第i个飞机目标属于第c个型号类别，c∈M；m表示输入细粒度分类网络的不同型号类别的飞机目标之间的距离间隔；

表示y_i的余弦角度；

表示细粒度分类网络的预测输出y_ci与输入样本x_i之间的夹角。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种基于遥感图像的飞机型号识别***，其特征在于：包括：

目标检测模块，用于检测遥感图像中是否存在飞机目标，若存在飞机目标，则将检测的飞机目标发送至型号识别模块；

型号识别模块，用于基于细粒度分类网络预测飞机目标的型号。

2.根据权利要求1所述的一种基于遥感图像的飞机型号识别***，其特征在于：所述细粒度分类网络包括依次连接的3个神经网络单元、1个双线性输出单元，第1个神经网络单元的输入端与目标检测模块的输出端连接，第3个神经网络单元的输出端与双线性输出单元的输入端连接；

每个所述神经网络单元包括第一残差空洞卷积块、第二残差空洞卷积块、第一卷积层、第二卷积层、全连接层、BN层、第三卷积层、第一激活函数层；所述第一残差空洞卷积块、第二残差空洞卷积块、第一卷积层依次连接，所述第一卷积层的输出端、第二卷积层的输出端分别与全连接层输入端连接，所述全连接层、BN层、第三卷积层、第一激活函数层依次连接。

3.根据权利要求2所述的一种基于遥感图像的飞机型号识别***，其特征在于：所述第一残差空洞卷积块或第二残差空洞卷积块包括依次连接的空洞卷积层、BN层、第二激活函数层。

4.根据权利要求2所述的一种基于遥感图像的飞机型号识别***，其特征在于：所述双线性输出单元用于对第3个神经网络单元输出的高维特征矩阵进行转置操作，再将转置操作前的高维特征矩阵和转置操作后的高维特征矩阵进行外积，得到融合后的双线性特征。

5.根据权利要求1所述的一种基于遥感图像的飞机型号识别***，其特征在于：所述细粒度分类网络的分类损失函数为：

其中，x_i表示输入样本，即输入细粒度分类网络的第i个飞机目标，N表示输入样本的总数，i∈N；y_i表示标签真值，即输入细粒度分类网络的第i个飞机目标的型号类别真实标签；j表示第j个型号类别，M表示型号类别的总数，j∈M；y_ci为细粒度分类网络的预测输出，表示了第i个飞机目标属于第c个型号类别，c∈M；m表示输入细粒度分类网络的不同型号类别的飞机目标之间的距离间隔；

表示y_i的余弦角度；

表示细粒度分类网络的预测输出y_ci与输入样本x_i之间的夹角。

6.一种基于遥感图像的飞机型号识别方法，其特征在于：包括以下步骤：

步骤S1，目标检测模块检测遥感图像中是否存在飞机目标，若存在飞机目标，则将检测的飞机目标发送至型号识别模块；

步骤S2，型号识别模块基于细粒度分类网络预测飞机目标的型号。

7.根据权利要求6所述的一种基于遥感图像的飞机型号识别方法，其特征在于：所述型号识别模块基于细粒度分类网络预测飞机目标的型号的步骤，包括：

细粒度分类网络对飞机目标进行特征提取，输出飞机目标的双线性特征，根据双线性特征预测飞机目标的型号；

所述细粒度分类网络包括依次连接的3个神经网络单元、1个双线性输出单元；第1个神经网络单元的输入端与目标检测模块的输出端连接，第3个神经网络单元的输出端与双线性输出单元的输入端连接；3个神经网络单元输出飞机目标的高维特征矩阵，双线性输出单元输出飞机目标的双线性特征。

8.根据权利要求7所述的一种基于遥感图像的飞机型号识别方法，其特征在于：每个所述神经网络单元包括第一残差空洞卷积块、第二残差空洞卷积块、第一卷积层、第二卷积层、全连接层、BN层、第三卷积层、第一激活函数层；所述第一残差空洞卷积块、第二残差空洞卷积块、第一卷积层依次连接，所述第一卷积层的输出端、第二卷积层的输出端分别与全连接层输入端连接，所述全连接层、BN层、第三卷积层、第一激活函数层依次连接。

9.根据权利要求7所述的一种基于遥感图像的飞机型号识别方法，其特征在于：所述双线性输出单元输出飞机目标的双线性特征的步骤，包括：双线性输出单元对第3个神经网络单元输出的高维特征矩阵进行转置操作，再将转置操作前的高维特征矩阵和转置操作后的高维特征矩阵进行外积，得到融合后的双线性特征。

10.根据权利要求6所述的一种基于遥感图像的飞机型号识别方法，其特征在于：所述细粒度分类网络的分类损失函数为：

其中，x_i表示输入样本，即输入细粒度分类网络的第i个飞机目标，N表示输入样本的总数，i∈N；y_i表示标签真值，即输入细粒度分类网络的第i个飞机目标的型号类别真实标签；j表示第j个型号类别，M表示型号类别的总数，j∈M；y_ci为细粒度分类网络的预测输出，表示了第i个飞机目标属于第c个型号类别，c∈M；m表示输入细粒度分类网络的不同型号类别的飞机目标之间的距离间隔；

表示y_i的余弦角度；

表示细粒度分类网络的预测输出y_ci与输入样本x_i之间的夹角。

Images