CN110110599B - 一种基于多尺度特征融合的遥感图像目标检测方法 - Google Patents

Abstract

本发明公开了一种基于多尺度特征融合的遥感图像目标检测方法，包括以下步骤：构建由截断型VGG和多尺度特征图两部分构成的目标检测基础网络；构建由反卷积模块与预测模块构成的多尺度特征图融合模块，所述多尺度特征图融合模块用于提取目标检测基础网络中的多尺度特征图的上下文信息，并生成多尺度特征图；根据多尺度特征图的感受野大小预定义多长宽比与多尺度的缺省框，利用缺省框完成对目标的定位与分类；训练目标检测基础网络；在目标检测基础网络上接入多尺度特征图融合模块，训练时固定目标检测基础网络的参数，仅调整多尺度特征图融合模块的参数；最后一个阶段同时微调目标检测基础网络与多尺度特征图融合模块的参数，使其达到耦合效果。

Description

一种基于多尺度特征融合的遥感图像目标检测方法

技术领域

本发明涉及图像处理、计算机视觉技术领域，尤其涉及一种基于多尺度特征融合的遥感图像目标检测方法。

背景技术

遥感图像目标检测是图像处理技术在遥感领域的一个重要应用。遥感图像目标检测技术提取遥感图像中待检测目标的特征，并基于所获得的特征完成目标的定位与分类。遥感图像目标检测技术在民用与军用领域均得到广泛的应用，为城市规划、交通管理、监控、军事打击等活动提供可靠的信息来源。鲁棒高效的检测方法能够克服遥感图像中复杂场景对于目标检测性能的干扰，减小分类难度，提升检测精度。近年来，随着深度学习理论研究的突破，卷积神经网络(Convolutional Neural Network，CNN)成功应用于遥感图像目标检测领域，进一步提升了遥感图像目标检测的性能。CNN模型由多层堆叠的卷积层、池化层与非线性层构成，用于实现目标特征的有效提取。深层特征图经过更多的卷积与非线性层，因此获得更多的特征信息，特征表示能力较强。为了降低网络复杂度并提升运算速度，CNN采用池化层减小图像尺度，因而浅层特征图经过的池化层较少，尺度较大，空间信息更为丰富。因此，CNN中不同尺度特征图在特征提取性能和空间信息上存在差异性。合理利用CNN特征图中的差异性信息(上下文信息)，对于增强基于CNN的遥感图像目标检测方法的定位性能与目标识别能力具有重要的意义。如何合理提取并利用CNN的上下文信息，成为目前的研究热点。

Deng等人将CNN的倒数三层特征图经反卷积处理获得融合特征图，以增强特征图的特征提取性能，优化目标定位与分类。Shi等人在全卷积神经网络(Fully ConvolutionalNetwork，FCN)基础上提出了一个面向任务的深浅网络融合方法，将FCN划分深浅两个分支网络，并将两个网络的最终特征图融合，以提取特征图之间的上下文信息，充分融合网络中丰富空间信息以及语义信息，提升目标检测性能。

发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足：

现有基于CNN的遥感图像目标检测技术中提取上下文信息的方式较为简单，信息提取不够充分，难以充分发挥多尺度特征图的上下文信息对目标检测的促进作用，在复杂场景下对目标的识别能力仍不够高。

发明内容

本发明提供了一种基于多尺度特征融合的遥感图像目标检测方法，本发明深入研究CNN的结构特性，提取网络上下文信息，增强目标识别能力，提升网络在遥感图像复杂场景下的目标检测性能，详见下文描述：

一种基于多尺度特征融合的遥感图像目标检测方法，所述方法包括以下步骤：

构建由截断型VGG和多尺度特征图两部分构成的目标检测基础网络；

构建由反卷积模块与预测模块构成的多尺度特征图融合模块，所述多尺度特征图融合模块用于提取目标检测基础网络中的多尺度特征图的上下文信息，并生成多尺度特征图；

根据多尺度特征图的感受野大小预定义多长宽比与多尺度的缺省框，利用缺省框完成对目标的定位与分类；

训练目标检测基础网络；在目标检测基础网络上接入多尺度特征图融合模块，训练时固定目标检测基础网络的参数，仅调整多尺度特征图融合模块的参数；最后一个阶段同时微调目标检测基础网络与多尺度特征图融合模块的参数，使其达到耦合效果。

其中，所述反卷积模块用于融合相邻尺度特征图，提取其上下文信息，获取融合特征图；

所述预测模块用于稳定网络的训练，避免梯度发散，并获取预测特征图用于目标检测。

进一步地，

所述多尺度特征图为5层尺度不断减小的特征图，其接在截断型VGG的pooling5之后，为多尺度目标的检测提供特征信息；

分别在卷积层之后加入非线性层ReLU6～ReLU10用于获取非线性信息。

其中，利用反卷积模块对尺度最小的特征图ReLU10与其相邻尺度的特征图ReLU9进行融合，获得融合特征图fused9，并继续以此方式获取后续4层融合特征图。

进一步地，所述反卷积模块由两流子网络构成：

一流子网络以小尺度特征图为输入，完成图像2倍上采样，增大特征图尺度；

另一流子网络以大尺度特征图为输入，用于与上采样后的小尺度特征图进行融合，获取包含了上下文信息的融合特征图。

其中，所述预测模块的主干网络由三个连续的1×1卷积组成，用于获得1024维的特征图；残差分支利用1×1卷积实现输入特征图与主干网络特征图的通道数匹配，并将输出与主干网络输出进行像素级求和，生成预测特征图。

进一步地，所述训练过程中损失函数的优化采用随机梯度下降算法。

本发明提供的技术方案的有益效果是：

1、本发明在检测过程中同时对不同大小目标进行检测，可提升目标的检测速度；

2、本发明利用深层特征图较强的语义信息加强浅层特征图的特征表示能力，同时利用浅层特征图中丰富的图像信息提升深层特征图的目标定位性能，充分提取不同层之间的上下文信息，丰富特征图中所包含的信息；

3、本发明融合利用多尺度特征信息，进一步增强特征图中目标区域增强网络在遥感图像复杂场景中对目标的识别能力，提升检测性能。

附图说明

图1为本方法的整体网络结构示意图；

图2为本发明提出的多尺度特征图融合模块的结构示意图；

图3为本发明采用的反卷积模块示意图；

图4为本发明采用的预测模块示意图；

图5为预定义缺省框对目标进行定位和分类的原理示意图；

图6为本发明的检测结果可视化；

图7为本发明提出方法的对比实验结果图；

图8为本发明所提方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

实施例1

本发明实施例提出了一种基于CNN的多尺度特征图融合方法，该方法以CNN的多尺度特征图为基础，根据特征图尺度添加反卷积模块与预测模块以构造多尺度特征图融合模块，并接入CNN多尺度特征图提取上下文信息，增强CNN目标识别能力，所提出的网络结构如图1所示，大致实现步骤如下：

101：基于多尺度特征图的目标检测基础网络构建；

基于多尺度特征图的目标检测基础网络用于完成目标检测的任务，可依据预定义的缺省框实现对遥感图像中多尺度目标的定位与分类。本发明实施例构造的目标检测基础网络由截断型VGG(Visual Geometry Group Network)和多尺度特征图两部分构成，结构如图1所示。基于著名的CNN结构VGG-16，截断型VGG由VGG-16中除三层全连接层以外的其他层构成，用于提取浅层图像特征。多尺度特征图为5层尺度不断减小的特征图，其接在截断型VGG之后，可为多尺度目标的检测提供目标特征。

102：多尺度特征图融合模块设计；

其中，多尺度特征图融合模块用于提取基础网络中多尺度特征图的上下文信息，并生成空间信息丰富且特征表示能力较强的特征图，优化目标定位与分类性能。本发明实施例设计的多尺度特征图融合模块由反卷积模块与预测模块构成，如图2所示。反卷积模块用于融合相邻尺度特征图，提取其上下文信息，获取融合特征图，具体结构参见图3。预测模块用于稳定网络的训练，避免梯度发散，并获取预测特征图用于目标检测，结构如图4所示。

103：构造损失函数；

利用多尺度特征图融合模块提取网络上下文信息后可生成6个预测特征图用于遥感图像的多尺度目标检测。本发明实施例根据多尺度特征图的感受野大小预定义多长宽比与多尺度的缺省框，利用此缺省框完成对目标的定位与分类。本发明实施例利用smoothL1损失函数与softmax损失函数分别引导回归网络(用于目标定位)与分类网络两个部分的训练，并综合两类损失函数构造总损失函数引导网络的整体参数调整。

104：网络训练。

本发明实施例为了避免网络在训练过程中出现的梯度发散问题，将网络训练划分为三个阶段。第一阶段训练基于多尺度特征图的目标检测基础网络；第二阶段在目标检测基础网络上接入多尺度特征图融合模块，训练时固定目标检测基础网络参数，仅调整多尺度特征图融合模块的参数；最后一个阶段同时微调目标检测基础网络与多尺度特征图融合模块的参数，使其达到最优的耦合效果，最终获得用于遥感图像目标检测的检测网络。

综上所述，本发明实施例深入研究CNN的结构特性，提取网络上下文信息，增强目标识别能力，提升网络在遥感图像复杂场景下的目标检测性能。

实施例2

下面结合图1和图2对实施例1中的方案进行进一步地介绍，详见下文描述：

本发明实施例通过多尺度特征图融合模块提取网络的上下文信息，丰富特征图，提升网络的目标检测能力。本发明实施例提出的融合模块可应用于基于多尺度特征图的检测网络，因此所提出的检测网络由基于多尺度特征图的目标检测基本网络和多尺度特征图融合模块两部分构成：将多尺度特征图连接至截断型VGG末端构造基础网络；利用多个反卷积模块与预测模块联合构造多尺度特征图融合模块，提取上下文信息，增强网络的目标识别能力。具体实施方式如下：

201：基于多尺度特征图的目标检测基础网络构建；

基于多尺度特征图的目标检测基础网络用于完成目标检测的任务，可依据预定义的缺省框实现对遥感图像中多尺度目标的定位与分类。本发明实施例构造的目标检测基础网络由截断型VGG和多尺度特征图两部分构成，结构如图1所示。基于著名的CNN结构VGG-16，截断型VGG由VGG-16中除三层全连接层以外的其他层构成，即：13层卷积层conv1_1～conv5_3、13层非线性层ReLU1_1～ReLU5_3、以及4层池化层pooli1n～pgooling5。对应的卷积核尺寸、步长(stride)、填充(padding)，通道数(channel)等参数均与VGG-16保持一致。

其中，多尺度特征图为5层尺度不断减小的特征图conv6～conv10，其接在截断型VGG的pooling5之后，可为多尺度目标的检测提供特征信息。另分别在卷积层之后加入非线性层：ReLU6～ReLU10用于获取非线性信息。卷积核大小均设置为3，步长设置为2，填充设置为1，通道数设置为256。

202：多尺度特征图融合模块设计；

多尺度特征图融合模块用于提取基础网络中多尺度特征图的上下文信息，并生成空间信息丰富、且特征表示能力较强的特征图，优化目标定位与分类性能。本发明实施例设计的多尺度特征图融合模块由反卷积模块与预测模块构成，如图2所示。本发明实施例利用反卷积模块对尺度最小的特征图ReLU10与其相邻尺度的特征图ReLU9进行融合，获得融合特征图fused9，并继续以此方式获取后续4层融合特征图。所有参与上下文信息提取的6层特征图均输入预测模块生成预测特征图，用于目标定位与分类。

多尺度特征图融合模块中的反卷积模块用于融合相邻尺度特征图，提取其上下文信息，具体结构参见图3，其由两流子网络构成：一流子网络以小尺度特征图为输入，完成图像2倍上采样，增大特征图尺度；另一流子网络以大尺度特征图为输入，用于与上采样后的小尺度特征图进行融合，获取包含了上下文信息的融合特征图。预测模块用于稳定网络的训练，避免梯度发散，并获取预测特征图用于目标检测，结构如图4所示：其主干网络由三个连续的1×1卷积组成，用于获得1024维的特征图；残差分支利用1×1卷积实现输入特征图与主干网络特征图的通道数匹配，并将输出与主干网络输出进行像素级求和，生成预测特征图。

203：构造损失函数

利用多尺度特征图融合模块提取网络上下文信息后可生成6个预测特征图用于遥感图像的多尺度目标检测。本发明实施例根据多尺度特征图的感受野大小预定义多长宽比与多尺度的缺省框，利用此缺省框完成对目标的定位与分类。

本发明实施例利用预定义缺省框对目标进行定位和分类的原理参见图5。CNN特征图中任一像素包含了上层特征图中卷积核内若干像素的加权求和结果，因此输入图像中某一局部区域(感受野)信息可利用特征图中某一对应像素进行特征表示。基于此机制，图像中处于感受野内部的待检测目标信息可以被相应特征图中的像素特征向量捕获。因此，本发明实施例根据感受野的大小，针对输入图像预定义若干缺省框N，并利用3×3卷积提取缺省框在6个预测特征图上的对应像素的特征向量，依据此特征向量对缺省框包含的目标O进行定位L与分类V。所有尺度特征图的像素预测结果级联形成预测向量，即可获得最终的检测结果。

本发明实施例利用smoothL1损失函数L_smoothL1与softmax损失函数L_softmax分别引导回归网络与分类网络两个部分的训练。并综合两类损失函数构造总损失函数

引导网络的整体参数调整。损失函数计算方式如下：

训练样本目标

对应的预定义缺省框记为N＝(L,V)，其中缺省框的预测坐标L与其包含的目标坐标

之间的损失利用smoothL1计算。如下式：

缺省框对目标的预测类别V与其包含的目标实际类别

之间的损失利用下式所示的softmax损失函数进行计算：

其中，C为类别总数，I(·)为指示函数，V_(i)为缺省框对第i类的预测得分，V_(k)为缺省框对第k类的预测得分，V为缺省框对目标的预测类别，

为包含的目标实际类别。

所设计的目标级损失函数为上述两个损失函数的加权和，即：

其中，N表示参与训练的缺省框N的个数，β为权重因子，设置为1。

204：网络训练。

训练过程中损失函数的优化采用随机梯度下降算法(Stochastic GradientDescent，SGD)，批尺寸(batchsize)设定为8，动量(momentum)设定为0.9，正则项因子(weight decay)设定为0.0005。

为了避免网络在训练过程中出现的梯度发散问题，将网络训练划分为三个阶段。

第一阶段：训练基于多尺度特征图的基础网络：

为了避免过拟合问题，训练时采用Imagenet上训练好的VGG-16网络作为预训练网络，在此基础上利用实验训练数据集继续训练，学习率设定为0.0001，每10000次迭代下降10倍。

第二阶段：在基础网络上接入多尺度特征图融合模块，训练时固定基础网络参数，仅调整融合模块的参数，学习率设定为0.0001，每10000次迭代下降10倍。

第三阶段：微调基础网络与融合模块参数，学习率设定为0.0001，每3000次迭代下降10倍，使其达到最优的耦合效果，最终获得用于遥感图像目标检测的检测网络。

综上所述，本发明实施例深入研究CNN的结构特性，提取网络上下文信息，增强目标识别能力，提升网络在遥感图像复杂场景下的目标检测性能。

实施例3

下面结合图6-图8对实施例1和2中的方案进行可行性验证，详见下文描述：

本发明实施例利用平均精度均值(Mean Average Precision，Mean AP)评估网络的性能，并根据此评价指标选择训练最充分、性能最佳的网络。

在任意一类目标检测的过程中，检测方法预测结果中正确检测到的目标数量与所有预测结果数量的比值由查全率(Precision)表示，被正确检测的目标占所有待检测目标的比例则由查准率(Recall)体现。平均精度(Average Precision，AP)综合了查全率与查准率的结果给出了对方法检测性能的评估。Mean AP则计算在多类目标检测的AP均值，反映了检测方法的平均性能。

图6给出了本方法在高分辨率遥感图像数据集NWPU VHR-10上的可视化检测结果。图中，检测框左上角数字代表检测方法给出的目标类别预测结果：1-飞机、5-网球场。由图6可知，即使在遥感图像背景复杂、条件多样化的情况下，所提方法仍能够较有效地定位目标的位置并确定目标类别。

图7给出了本发明提出的检测网络与其他遥感图像目标检测方法的性能对比。由图7可见，在与其他检测方法的对比中，由于充分利用了网络的上下文信息，本方法获得了最高的Mean AP值0.761，这证明了本方法的有效性。

图8给出了本发明的技术流程图，主要包括基于多尺度特征图目标检测基础网络的构建，多尺度特征图融合模块的设计，损失函数的构造和网络训练四个部分。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于多尺度特征融合的遥感图像目标检测方法，其特征在于，所述方法包括以下步骤：

构建由截断型VGG和多尺度特征图两部分构成的目标检测基础网络；

构建由反卷积模块与预测模块构成的多尺度特征图融合模块，所述多尺度特征图融合模块用于提取目标检测基础网络中的多尺度特征图的上下文信息，并生成多尺度特征图；

根据多尺度特征图的感受野大小预定义多长宽比与多尺度的缺省框，利用缺省框完成对目标的定位与分类；

训练目标检测基础网络；在目标检测基础网络上接入多尺度特征图融合模块，训练时固定目标检测基础网络的参数，仅调整多尺度特征图融合模块的参数；最后一个阶段同时微调目标检测基础网络与多尺度特征图融合模块的参数，使其达到耦合效果；

其中，所述反卷积模块用于融合相邻尺度特征图，提取其上下文信息，获取融合特征图；所述预测模块用于稳定网络的训练，避免梯度发散，并获取预测特征图用于目标检测；

其中，所述多尺度特征图为5层尺度不断减小的特征图，其接在截断型VGG的pooling5之后，为多尺度目标的检测提供特征信息；

分别在卷积层之后加入非线性层ReLU6~ ReLU10用于获取非线性信息；

利用反卷积模块对尺度最小的特征图ReLU10与其相邻尺度的特征图ReLU9进行融合，获得融合特征图fused9，并继续以此方式获取后续4层融合特征图，将尺度最小的特征图ReLU10及5层融合特征图输入到预测模块，得到6个预测特征图；

所述反卷积模块由两流子网络构成：

一流子网络以小尺度特征图为输入，完成图像2倍上采样，增大特征图尺度；

另一流子网络以大尺度特征图为输入，用于与上采样后的小尺度特征图进行融合，获取包含了上下文信息的融合特征图；

所述预测模块由主干网络和残差分支并联组成，主干网络由三个连续的1*1卷积组成，用于获得1024维的特征图；残差分支利用1*1卷积实现输入特征图与主干网络特征图的通道数匹配，并将输出与主干网络输出进行像素级求和，生成预测特征图；

训练过程中损失函数的优化采用随机梯度下降算法。

Images