CN110084181B - 一种基于稀疏MobileNetV2网络的遥感图像舰船目标检测方法 - Google Patents

Abstract

一种基于稀疏MobileNetV2网络的遥感图像舰船目标检测方法，它属于遥感图像舰船目标检测技术领域。本发明解决了由于舰船遥感图像信息冗余导致的目标特征提取困难、以及由于遥感图像数据信息量大与在轨计算处理能力弱之间的矛盾导致的卫星在轨实时分析困难的问题。本发明对遥感图像进行重叠分割和降采样处理获得降采样后的图像块；利用降采样后的图像块对七组卷积层进行训练，利用重叠分割后图像中的图像块对剪枝后的MobileNetV2网络进行训练，达到最大迭代次数时获得训练好的稀疏MobileNetV2网络；利用训练好的稀疏MobileNetV2网络对待测遥感图像进行目标检测。本发明可以应用于遥感图像舰船目标检测技术领域。

Description

一种基于稀疏MobileNetV2网络的遥感图像舰船目标检测 方法

技术领域

本发明属于遥感图像舰船目标检测技术领域，具体涉及一种遥感图像舰船目标检测方法。

背景技术

近年来，随着航天遥感技术的飞速发展，遥感图像处理技术在军用及民用领域的应用日趋广泛，尤其是基于遥感图像的目标检测技术已经成为军事侦察、搜索救援等行动的重要技术支持。舰船作为海上主要运输载体和重要军事目标，对其进行检测与识别有助于重点海域的调度部署、辅助遇难船只救援、打击海上非法行为等，遥感图像为其提供了极为丰富的数据来源。然而，海量遥感数据的涌现也带来了更为复杂的应用场景及干扰因素，由于舰船形状、大小各异，以及云雾、浪花、波纹等干扰，导致遥感图像信息冗余、目标特征提取困难，因此，基于遥感图像的舰船检测和识别工作面临巨大挑战。同时，遥感图像数据信息量大和遥感卫星在轨计算处理能力弱之间的矛盾导致遥感卫星在轨实时分析困难，而数传链路的带宽和速率又限制了地面站资源的应用。

发明内容

本发明的目的是为解决由于舰船遥感图像信息冗余导致的目标特征提取困难、以及由于遥感图像数据信息量大与在轨计算处理能力弱之间的矛盾导致的卫星在轨实时分析困难的问题，而提出了一种基于稀疏MobileNetV2网络的遥感图像舰船目标检测方法。

本发明为解决上述技术问题采取的技术方案是：一种基于稀疏MobileNetV2网络的遥感图像舰船目标检测方法，该方法包括以下步骤：

步骤一、按照重叠率α对原始遥感图像进行重叠切割，获得切割后的图像；

步骤二、对步骤一切割后的图像中的图像块进行降采样，获得降采样后的图像块；

步骤三、建立由七级卷积层和剪枝后的MobileNetV2网络组成的稀疏MobileNetV2网络；

并利用步骤二的降采样后的图像块对七级卷积层进行训练，利用步骤一切割后的图像中的图像块对剪枝后的MobileNetV2网络进行训练，当训练次数达到设置的最大迭代次数时停止迭代，获得训练好的稀疏MobileNetV2网络；

步骤四、对于待测的遥感图像，采用步骤一的方法对待测的遥感图像进行重叠切割，获得切割后的待测遥感图像；再采用步骤二的方法对切割后的待测遥感图像中的图像块进行处理，获得降采样后的待测遥感图像的图像块；

将降采样后的待测遥感图像的图像块输入训练好的稀疏MobileNetV2网络的七级卷积层，降采样后的待测遥感图像的图像块经过七级卷积层后，被粗检测为包含目标图像块和未包含目标图像块两类；

找出包含目标图像块在切割后的待测遥感图像中所对应的图像块，将找出的图像块输入训练好的稀疏MobileNetV2网络的剪枝后MobileNetV2网络，将剪枝后MobileNetV2网络的输出结果映射回重叠分割前的待测遥感图像，完成待测遥感图像中舰船目标的检测。

本发明的有益效果是：本发明提出了一种基于稀疏MobileNetV2网络的遥感图像舰船目标检测方法，本发明首先对遥感图像进行重叠分割和降采样处理获得降采样后的图像块，然后利用降采样后的图像块对七组卷积层进行训练，利用重叠分割后图像中的图像块对剪枝后的MobileNetV2网络进行训练，直至达到设置的最大迭代次数，获得训练好的稀疏MobileNetV2网络；对待测遥感图像进行重叠分割和降采样处理后，获得的图像块依次经过七组卷积层的粗检测和剪枝后的MobileNetV2网络的精检，将精检结果映射回原始待测遥感图像，完成舰船目标检测。与现有方法相比，本发明通过粗检测和精检两步完成目标的检测，克服了由于遥感图像信息冗余导致的目标特征提取困难问题，而且通过粗检测和剪枝后的MobileNetV2网络的精检减小了计算量，可以将检测效率提升50％以上，能够满足卫星的在轨实时分析。

附图说明

图1是本发明的一种基于稀疏MobileNetV2网络的遥感图像舰船目标检测方法的流程图；

图2是MobileNetV2网络的深度可分离卷积结构分解图；

图3是MobileNetV2与MobileNetV1在深度可分离卷积部分的对比图；

图4是MobileNetV2网络的通道数目和卷积核数目进行剪枝处理的示意图；

图5是本发明对遥感图像进行重叠分割的示意图。

具体实施方式

具体实施方式一：如图1所示，本实施方式所述的一种基于稀疏MobileNetV2网络的遥感图像舰船目标检测方法，该方法包括以下步骤：

步骤一、按照重叠率α对原始遥感图像进行重叠切割，获得切割后的图像；

步骤二、对步骤一切割后的图像中的图像块进行降采样，获得降采样后的图像块；

步骤三、建立由七级卷积层和剪枝后的MobileNetV2网络组成的稀疏MobileNetV2网络；

并利用步骤二的降采样后的图像块对七级卷积层进行训练，利用步骤一切割后的图像中的图像块对剪枝后的MobileNetV2网络进行训练，当训练次数达到设置的最大迭代次数时停止迭代，获得训练好的稀疏MobileNetV2网络；

步骤四、对于待测的遥感图像，采用步骤一的方法对待测的遥感图像进行重叠切割，获得切割后的待测遥感图像；再采用步骤二的方法对切割后的待测遥感图像中的图像块进行处理，获得降采样后的待测遥感图像的图像块；

将降采样后的待测遥感图像的图像块输入训练好的稀疏MobileNetV2网络的七级卷积层，降采样后的待测遥感图像的图像块经过七级卷积层后，被粗检测为包含目标图像块和未包含目标图像块两类；

找出包含目标图像块在切割后的待测遥感图像中所对应的图像块，将找出的图像块输入训练好的稀疏MobileNetV2网络的剪枝后MobileNetV2网络，将剪枝后MobileNetV2网络的输出结果映射回重叠分割前待测遥感图像，完成待测遥感图像中舰船目标的检测。

相比于目前主流的检测方法，本实施方式没有生成、筛选预测框的过程，因此在模型体积和计算量方面具有更多的优势。本实施方式通过粗检测排除掉了不包含目标的图像块，所以，后面不需要再考虑不包含目标的图像块，减小了计算量；通过对MobileNetV2网络进行剪枝，进一步减小了计算量，因此，采用本发明的方法完全能够实现遥感卫星的在轨实时分析，同时可以保证检测的准确率。

具体实施方式二：本实施方式与具体实施方式一不同的是：所述步骤一的具体过程为：

按照重叠率α对大小为16k×16k像素的原始遥感图像进行重叠分割，获得切割后的图像；在分割后的图像中，每个图像块的大小均为512×512像素。

本实施方式的目的是使得舰船目标在其所在的小块图像中占比在三分之一以上，而重叠目的为保证目标的完整性，提高检测的准确率。如图5所示，为对原始遥感图像进行重叠分割的示意图。

具体实施方式三：本实施方式与具体实施方式二不同的是：所述对切割后的图像中包含的图像块进行降采样，降采样所采用的方法为双线性插值方法。

本实施方式中降采样的具体过程为：降采样采用的是现有的双线性插值方法，双线性插值法又称为二次线性插值法。它利用原图中对应的四个点的像素值来确定目标图像中的像素值。

伪代码

输入：

Img：原始图像

zmf：为缩放因子

输出：

new_img：输出图像

step1：求出原图像Img的大小，记为height×width×channel，接着生成大小为(zmf×height)×(zmf×width)×channel的全0矩阵new_img；

step2：把Img边界扩展一圈得到IT，大小为(height+2)×(width+2)×channel；

step3：对于缩放后的新图new_img中某像素位置(zi,zj)映射回(zi/zmf,zj/zmf)原图Img中得到(x,y)，由于(x,y)不一定为整数，故向下取整得到(i,j)，其中x＝i+u,y＝j+v,且u,v[0,1)为小数部分；

step4：根据下式进行双线性插值计算f(zi,zj)的值，也就是其对应的像素值。

f(zi,zj)＝f(x,y)＝(1-u)×(1-v)×f(i,j)+(1-u)×v×f(i,j+1)+u×(1-v)×f(i+1,j)+u×v×f(i+1,j+1)

其中f(zi,zj)表示新图(zi,zj)处的像素值，f(x,y)表示新图(zi,zj)对应在原图中的位置(x,y)处的像素值；

step5：重复3-4，直至将矩阵new_img。

具体实施方式四：本实施方式与具体实施方式三不同的是：所述步骤三的具体过程为：

建立由七级卷积层和剪枝后的MobileNetV2网络组成的稀疏MobileNetV2网络；

利用步骤二的降采样后的图像块对七级卷积层进行训练，利用步骤一切割后的图像中包含目标的图像块对剪枝后的MobileNetV2网络进行训练，训练过程中不断调整学习率，且训练过程中选择的梯度下降方式为Admin、选择的正则化方式为dropout，当训练次数达到设置的最大迭代次数Q时停止迭代，获得训练好的稀疏MobileNetV2网络。

粗检测过程将图像块分为包含目标图像块和未包含目标图像块两类，其中检测为目标的图像块中又包含正确识别的真目标和误检的假目标；再将粗检测出的包含目标图像块所对应的未进行降采样的数据送入剪枝后的MobileNetV2网络进行检测；最后将输出结果映射回原图像完成目标检测。

利用粗检测模块实现浅层特征的提取会出现误检的情况，但是却不会出现漏检情况，但是在速度上却得到了很大的提升，提高了目标检测单元的实时性。

基础MobileNetV2网络的结构主要包括标准卷积层、深度可分离卷积层、池化层。

标准卷积层

MobileNetV2中存在的普通卷积层实质上就是一种数学运算，即线性乘机求和。对于二维图像，输入是图片的大小(width×height)，与filter也就是滤波器(带着一组固定权重的神经元)进行计算，对图像卷积则需要用到二维的离散卷积，如下式(1)所示。

在卷积神经网络中，滤波器filter对局部输入数据进行卷积计算。每计算完一个数据窗口内的局部数据后，数据窗口不断平移滑动，直到计算完所有数据。

深度可分离卷积

MobileNet系列网络都是主要基于深度可分离卷积进行计算的，因此这里分析一下深度可分离卷积的结构。通俗的来说，深度可分离卷积实现了：把标准卷积分解成深度卷积(depthw1ise convolution)和逐点卷积(pointwise convolution)。这么做的好处是可以大幅度降低参数量和计算量。卷积过程可以看成两个步骤，一是卷积核在输入图片上提取特征，二是将提取的特征通过相加的方式融合成新的特征。分解过程如图2所示。

输入的特征映射F尺寸为(D_F,D_F,M)，采用的标准卷积K为(D_K,D_K,M,N)，如图2中的(a)所示，输出的特征映射为G，尺寸为(D_G,D_G,N)，标准卷积的卷积计算公式为：

输入的通道数为M，输出的通道数为N。对应的计算量为：D_K·D_K·M·N·D_F·D_F。将标准卷积(D_K,D_K,M,N)拆分为深度卷积和逐点卷积。深度卷积负责滤波作用,尺寸为(D_K,D_K,1,M)，输出特征为(D_G,D_G,M)，如图2中的(b)所示。逐点卷积负责转换通道，尺寸为(1,1,M,N)，如图2中的(c)所示。得到最终输出为(D_G,D_G,N)。

深度卷积的卷积公式为：

深度卷积和逐点卷积计算量：

D_K·D_K·M·D_F·D_F+M·N·D_F·D_F (4)

则对比与标准卷积，深度可分离卷积的计算量减少为(这里默认的卷积方式是输入图层大小和输出图层大小一样)：

MobileNetV2与MobileNetV1在深度可分离模块具体区别如图3所示，从图3中可以看出，深度卷积和后面逐点卷积被当成了两个独立的模块，都在输出结果的部分加入了BatchNorm层和非线性激活单元。深度卷积结合逐点的卷积方式代替传统卷积，不仅在理论上会更高效，而且在逐点卷积过程中由于大量使用1x1的卷积，可以利用FPGA中的乘法器进行运算，可提高计算效率。该模块首先将输入的低维压缩表示(low-dimensionalcompressed representation)扩展到高维，使用轻量级深度卷积做过滤；随后用linearbottleneck将特征投影回低维压缩表示。同时，它在推理过程不实现大的张量，这减少了需要嵌入式硬件设计对主存储器访问的需求。

池化层

卷积层后常常会连接一个池化层，池化层的功能是对输入信息进行一个过滤和统计，同时减少网络的参数和计算量。输入图片往往尺寸比较大，经过数层卷积得到的特征图常常还有很高的维数，容易造成过拟合。通过滑窗操作使用滑窗内的总体统计特征来代替滑窗内每个参数值，***部信息可以有效减少过拟合现象的发生并且节省计算量。常用的池化操作有最大池化和平均池化，分别计算滑窗内参数的最大值或平均值。MobileNetV2中采用的池化方式是Average pooling，即取每个区域的平均值代表该区域，同样能够达到压缩参数的效果，能够有效避免训练过程中的过拟合现象。

具体实施方式五：本实施方式与具体实施方式四不同的是：所述稀疏MobileNetV2网络由前至后依次由七级卷积层和剪枝后的MobileNetV2网络组成；

所述七级卷积层中由前至后的第一级卷积层包含一个卷积层，且第一级卷积层包含的卷积层的卷积核大小为3、通道数为3、个数为4、步长为2；

七级卷积层中由前至后的第二级卷积层包含两个卷积层，两个卷积层中前面卷积层的卷积核大小为3、通道数为1、个数为4、步长为1，两个卷积层中后面卷积层的卷积核大小为1、通道数为4、个数为2、步长为1；

七级卷积层中由前至后的第三级卷积层包含三个卷积层，三个卷积层中前面卷积层的卷积核大小为1、通道数为2、个数为12、步长为1，三个卷积层的中间卷积层的卷积核大小为3、通道数为1、个数为12、步长为2，三个卷积层中后面卷积层的卷积核大小为1、通道数为12、个数为3、步长为1；

七级卷积层中由前至后的第四级卷积层包含三个卷积层，三个卷积层中前面卷积层的卷积核大小为1、通道数为12、个数为18、步长为1，三个卷积层的中间卷积层的卷积核大小为3、通道数为1、个数为18、步长为1，三个卷积层中后面卷积层的卷积核大小为1、通道数为18、个数为3、步长为1；

七级卷积层中由前至后的第五级卷积层包含三个卷积层，三个卷积层中前面卷积层的卷积核大小为1、通道数为3、个数为18、步长为1，三个卷积层的中间卷积层的卷积核大小为3、通道数为1、个数为18、步长为2，三个卷积层中后面卷积层的卷积核大小为1、通道数为18、个数为4、步长为1；

七级卷积层中由前至后的第六级卷积层包含三个卷积层，三个卷积层中前面卷积层的卷积核大小为1、通道数为4、个数为24、步长为1，三个卷积层的中间卷积层的卷积核大小为3、通道数为1、个数为24、步长为1，三个卷积层中后面卷积层的卷积核大小为1、通道数为24、个数为4、步长为1；

七级卷积层中由前至后的最后一级卷积层包含三个卷积层，三个卷积层中前面卷积层的卷积核大小为1、通道数为4、个数为24、步长为1，三个卷积层的中间卷积层的卷积核大小为3、通道数为1、个数为24、步长为1，三个卷积层中后面卷积层的卷积核大小为1、通道数为24、个数为4、步长为1；

剪枝后的MobileNetV2网络是通过对基础MobileNetV2网络的卷积层的通道数目和卷积核数目进行剪枝处理获得的。

七级卷积层中卷积层的结构如表1所示：

表1

考虑到网络模型所产生的高额存储空间、计算资源消耗使其难以有效的应用在硬件平台上，因此要对模型进行压缩。本实施方式采用剪枝方法对网络进行压缩处理。通过剪枝处理，在减小模型复杂度的同时，还能有效防止过拟合，提升模型泛化性。在神经网络的初始化训练中，需要一定冗余度的参数数量来保证模型的可塑性与“容量”(capacity)，而在完成训练之后，则可以通过剪枝操作来移除这些冗余参数，使得模型更加成熟。

MobileNetV2网络的剪枝操作简单来说，就是移除原有模型的一些不重要的结点，缩减通道数，剪枝过程如图4所示。通道数为h的n个卷积核经过剪枝处理后得到通道数为h'的n'个卷积核。在参数的选择上，参数的绝对值越接近零，它对结果的贡献就越小。在结点和层的选择上，需要通过算法得到不重要的层。本实施方式中分别逐个将每一层的卷积核数目和通道数目缩减为原来的1/2和1/4，并保持模型的整体结构不变，测试模型性能。对性能影响不大的层就是不重要的，即可以进行缩放。

剪枝后的MobileNetV2网络中卷积层的结构如表2所示：

表2

具体实施方式六：本实施方式与具体实施方式一不同的是：所述步骤一中的重叠率α的取值为0.5。

具体实施方式七：本实施方式与具体实施方式四不同的是：所述设置的最大迭代次数Q的取值为20000次。

本发明的上述算例仅为详细地说明本发明的计算模型和计算流程，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (6)

1.一种基于稀疏MobileNetV2网络的遥感图像舰船目标检测方法，其特征在于，该方法包括以下步骤：

步骤一、按照重叠率α对原始遥感图像进行重叠切割，获得切割后的图像；

步骤二、对步骤一切割后的图像中的图像块进行降采样，获得降采样后的图像块；

步骤三、建立由七级卷积层和剪枝后的MobileNetV2网络组成的稀疏MobileNetV2网络；

所述七级卷积层中由前至后的第一级卷积层包含一个卷积层，且第一级卷积层包含的卷积层的卷积核大小为3、通道数为3、个数为4、步长为2；

七级卷积层中由前至后的第二级卷积层包含两个卷积层，两个卷积层中前面卷积层的卷积核大小为3、通道数为1、个数为4、步长为1，两个卷积层中后面卷积层的卷积核大小为1、通道数为4、个数为2、步长为1；

七级卷积层中由前至后的第三级卷积层包含三个卷积层，三个卷积层中前面卷积层的卷积核大小为1、通道数为2、个数为12、步长为1，三个卷积层的中间卷积层的卷积核大小为3、通道数为1、个数为12、步长为2，三个卷积层中后面卷积层的卷积核大小为1、通道数为12、个数为3、步长为1；

七级卷积层中由前至后的第四级卷积层包含三个卷积层，三个卷积层中前面卷积层的卷积核大小为1、通道数为12、个数为18、步长为1，三个卷积层的中间卷积层的卷积核大小为3、通道数为1、个数为18、步长为1，三个卷积层中后面卷积层的卷积核大小为1、通道数为18、个数为3、步长为1；

七级卷积层中由前至后的第五级卷积层包含三个卷积层，三个卷积层中前面卷积层的卷积核大小为1、通道数为3、个数为18、步长为1，三个卷积层的中间卷积层的卷积核大小为3、通道数为1、个数为18、步长为2，三个卷积层中后面卷积层的卷积核大小为1、通道数为18、个数为4、步长为1；

七级卷积层中由前至后的第六级卷积层包含三个卷积层，三个卷积层中前面卷积层的卷积核大小为1、通道数为4、个数为24、步长为1，三个卷积层的中间卷积层的卷积核大小为3、通道数为1、个数为24、步长为1，三个卷积层中后面卷积层的卷积核大小为1、通道数为24、个数为4、步长为1；

七级卷积层中由前至后的最后一级卷积层包含三个卷积层，三个卷积层中前面卷积层的卷积核大小为1、通道数为4、个数为24、步长为1，三个卷积层的中间卷积层的卷积核大小为3、通道数为1、个数为24、步长为1，三个卷积层中后面卷积层的卷积核大小为1、通道数为24、个数为4、步长为1；

剪枝后的MobileNetV2网络是通过对基础MobileNetV2网络的卷积层的通道数目和卷积核数目进行剪枝处理获得的；

并利用步骤二的降采样后的图像块对七级卷积层进行训练，利用步骤一切割后的图像中的图像块对剪枝后的MobileNetV2网络进行训练，当训练次数达到设置的最大迭代次数时停止迭代，获得训练好的稀疏MobileNetV2网络；

步骤四、对于待测的遥感图像，采用步骤一的方法对待测的遥感图像进行重叠切割，获得切割后的待测遥感图像；再采用步骤二的方法对切割后的待测遥感图像中的图像块进行处理，获得降采样后的待测遥感图像的图像块；

将降采样后的待测遥感图像的图像块输入训练好的稀疏MobileNetV2网络的七级卷积层，降采样后的待测遥感图像的图像块经过七级卷积层后，被粗检测为包含目标图像块和未包含目标图像块两类；

找出包含目标图像块在切割后的待测遥感图像中所对应的图像块，将找出的图像块输入训练好的稀疏MobileNetV2网络的剪枝后MobileNetV2网络，将剪枝后MobileNetV2网络的输出结果映射回重叠分割前的待测遥感图像，完成待测遥感图像中舰船目标的检测。

2.根据权利要求1所述的一种基于稀疏MobileNetV2网络的遥感图像舰船目标检测方法，其特征在于，所述步骤一的具体过程为：

按照重叠率α对大小为16k×16k像素的原始遥感图像进行重叠分割，获得切割后的图像；在分割后的图像中，每个图像块的大小均为512×512像素。

3.根据权利要求2所述的一种基于稀疏MobileNetV2网络的遥感图像舰船目标检测方法，其特征在于，所述对步骤一切割后的图像中的图像块进行降采样，降采样所采用的方法为双线性插值方法。

4.根据权利要求3所述的一种基于稀疏MobileNetV2网络的遥感图像舰船目标检测方法，其特征在于，所述步骤三的具体过程为：

建立由七级卷积层和剪枝后的MobileNetV2网络组成的稀疏MobileNetV2网络；

利用步骤二的降采样后的图像块对七级卷积层进行训练，利用步骤一切割后的图像中包含目标的图像块对剪枝后的MobileNetV2网络进行训练，训练过程中不断调整学习率，且训练过程中选择的梯度下降方式为Admin、选择的正则化方式为dropout，当训练次数达到设置的最大迭代次数Q时停止迭代，获得训练好的稀疏MobileNetV2网络。

5.根据权利要求1所述的一种基于稀疏MobileNetV2网络的遥感图像舰船目标检测方法，其特征在于，所述步骤一中的重叠率α的取值为0.5。

6.根据权利要求4所述的一种基于稀疏MobileNetV2网络的遥感图像舰船目标检测方法，其特征在于，所述设置的最大迭代次数Q的取值为20000次。

Images