CN111814662B - 基于微型卷积神经网络的可见光图像飞机快速检测方法 - Google Patents

Abstract

本发明公开了一种基于微型卷积神经网络的可见光图像飞机快速检测方法，包括如下步骤：(1)对训练数据集中飞机尺度信息进行统计得到数据集；计算出最终的滑动窗口大小；(2)通过训练数据集的通道特征，计算出给定的通道特征类型Ω对应的λ_Ω值，完成快速特征金字塔建立，采用Adaboost算法完成快速候选框生成算法的训练；(3)通过线性搜索算法Search‑δ，完成候选框生成算法参数的校正(4)采用微型卷积神经网络完成候选区域的再次判断，如果当前区域被网络分类为真时，则认为此候选框内存在飞机，否则将当前候选框视为背景从而舍弃。本发明检测速度快、精度高，算法整个模型占用空间少，对运行平台硬件条件要求低。

Description

基于微型卷积神经网络的可见光图像飞机快速检测方法

技术领域

本发明属于数字图像处理技术领域，更具体的说是涉及一种基于微型卷积神经网络的可见光图像飞机快速检测方法。

背景技术

目标检测是机器视觉的核心问题之一，也是近几年发展最快的人工智能技术之一。它可以通俗的概况为一项从所给图片中找出需要识别的目标并且给出此目标位置的任务。目标检测方法经历数十年的研究和发展，其大致可以划分为VJ(Viola Jones)时代的人工特征与机器学习结合的目标检测和深度学习时代的目标检测方法。前者主要采用密集的滑动窗口判断当前窗口是否存在目标，其过程涉及当前窗口的特征提取和分类器对当前窗口的识别判断，此类方法通常速度慢；后者则通过复杂的网络模型和大量的数据去学习和拟合目标位置和类别，从而完成目标检测任务，其大致可以分为基于候选框的深度学习方法和基于回归预测的深度学习方法等两个分支，此类方法虽然具有较高的准确率但是需要大量的数据集和较强的硬件支撑，通常都需要数十个小时的训练以及GPU和较大的显存。

遥感图像中的目标检测涉及卫星拍摄区域中感兴趣区域的定位与当前区域的识别。它与自然图像中检测目标不同之处在于：目标都是俯视形成的、目标存在多个方向、目标的亮度存在较大的差异以及目标所在的背景环境相对比较复杂。遥感图像中机场飞机的检测其在军事侦察和机场监控中发挥着重要的作用。目标检测算法可以自动地对机场中的飞机目标进行标注和定位，此操作对后期机场状态的记录和描述有极其重要的作用，可以减少人力物力。虽然自然图像下的目标检测技术有了一系列突破性的发展，但是对于遥感图像机场中飞机的检测研究相对较少，此项任务依然存在一些有待解决的问题，比如实际算法对硬件条件要求高，算法应对复杂多变的检测环境的处理效果不够等。

因此，为了尽可能满足较低硬件环境，同时具备较高的检测准确性和较快的检测速度，通过对当前遥感图像中可见光机场中飞机检测算法的分析研究，提供一种硬件条件要求不高、检测准确率高、检测速度快的可见光图像中机场飞机的检测算法是本领域技术人员亟需解决的问题。

发明内容

本申请要解决的技术问题在于：

(1)提出了一种高效的目标检测方法，并将其应用于遥感图像中可见光下机场飞机的检测；

(2)提出了一种新的计算滑动窗口大小的方法，该方法通过统计遥感图片中飞机目标的比例信息获取飞机的长宽先验知识，并采用了正方形窗口来计算滑动窗口的大小。通过此方法计算的滑动窗口可以一定程度上避免了人为标注错误和拍摄角度的影响，同时也可以有效地解决了由于目标角度的多方向性所造成的漏检率高的诟病；

(3)为了避免目标检测前期候选框提取算法的精度不高、速度较慢、计算量较大等缺陷，通过结合聚合通道特征和Adaboost分类算法，实现了一种的快速候选框生成算法；

(4)提出了为了一种简单高效的线性搜索算法，通过此项算法可以快速微调快速候选框生成算法，从而提升快速候选框生成算法的有效性；

(5)设计了一种高效并且轻量的卷积神经网络用于目标区域和背景区域的分类。该网络模型具有较浅的层数，较少的参数量，但是具有较高的分类正确率。它不同于绝大多数当前可用的网络模型存在模型容量大、速度慢、计算量大的缺点。

为了实现上述的发明目的，本申请采用下述的技术方案：

一种基于微型卷积神经网络的可见光图像飞机快速检测方法，包括如下步骤：

(1)对训练数据集中飞机尺度信息进行统计得到数据集；接着，计算飞机目标的最小边长S_min；最后，计算飞机平均长宽比例R_target，从而计算出最终的滑动窗口大小：(S_min×R_target,S_min×R_target)；

(2)对于每张可见光机场图片都计算其三个类型的通道特征：标准梯度幅值通道特征、梯度方向通道特征以及LUV颜色通道特征；通过训练数据集的通道特征，采用最小二乘估计的方法计算出给定的通道特征类型Ω对应的λ_Ω值，完成快速特征金字塔的建立，并采用Adaboost算法完成快速候选框生成算法的训练，其中λ_Ω表示信息损失系数；

(3)通过线性搜索算法Search-δ，完成不同的参数δ下快速候选框生成算法对训练数据集的重新检测，并计算相应的检测精度和召回率；通过调整参数δ，得到高精度、高召回率的快速候选框生成模型；

(4)采用微型卷积神经网络完成候选区域的再次判断，如果当前区域被网络分类为真时，则认为此候选框内存在飞机，否则将当前候选框视为背景从而舍弃。

优选的，数据集B＝{(h_i,w_i),i＝1...N}，其中N表示当前存在飞机目标的数量，h_i表示第i个飞机的长所占的像素数量，w_i表示第i个飞机的宽所占的像素数量，i表示飞机标号。

优选的，计算飞机目标的最小边长S_min＝min{min(h),min(w)}；

飞机平均长宽比例

优选的，对于Adaboost算法，定义如下：

其中x表示当前窗口的聚合通道特征，阈值thr用于判断当前区域是否存在目标，SCLF_x表示强分类器SCLF对x的输出值，其代表x是目标的可能性大小；

SCLF_x由一些列弱分类器组成，其表示如下：

clf表示弱分类器，采用深度为2的树结构构造；weight_m是每个弱分类器对应的权重；θ_m是每个弱分类器的参数；δ表示弱分类器的权重矫正系数，在训练阶段设置为0。

优选的，对步骤(3)中的快速候选框生成算法进行微调，方法为：当前候选框的IoU值定义如下：IoU＝(GB∩DB)/(GB∪DB)，其中GB表示真实标注的目标框，DB表示快速候选框生成的目标框；通过IoU值间接求得精度和召回率；快速候选框生成算法微调的指标定义为

Fidx_i＝γ×Recall_i+Precision_i，其中γ是一个超参数；Recall_i表示i次参数δ调整后的召回率，Precision_i表示i次参数δ调整后的检测精度。

优选的，微型卷积神经网络具有4层卷积层，2层均值池化层以及2层全连接层；网络的输入是32*32*3大小的图片，网络采用ReLu函数作为激活函数，每层卷积操作后都紧跟着激活函数，网络分为特征提取部分和全连接层两部分，整个卷积神经网络是一个二分类网络模型。

优选的，特征提取部分首先采用18个5*5的卷积核对输入图片进行卷积操作，随后采用24个3*3的卷积核进行卷积操作并采用2*2大小的核进行均值池化操作，再采用32个3*3的卷积核进行卷积操作和2*2大小的核进行均值池化操作，最后再次采用32个3*3的卷积核进行卷积操作，至此完成了候选区域的特征提取工作。

优选的，全连接层部分主要用于分类判断，共有两层；第一层输入大小为32*3*3的特征提取部分获取的特征向量，输出大小为128的向量，第一层之后紧接着概率大小P＝0.1的Dropout层和ReLu激活函数层；第二层是输入为128维的向量，输出为2向量。

优选的，微型卷积神经网络网络采用交叉熵函数作为网络的损失函数，其定义如下：

其中BZ表示batch size大小，网络训练中设置为64，y_i表示当前候选框的真实标签，包含目标则为1，否则为0，

为网络的预测结果；损失函数的优化采用Adam优化器，对于训练数据集总共迭代50次，前40次采用的学习率lr＝0.001，后10次采用的学习率lr＝0.0003；训练微型卷积神经网络时，训练数据集一部分来自原始的训练数据集中的真实标注，一部分来自对训练数据集运行快速候选框生成算法后产生的候选框；将所有待输入网络的图片均进行归一化处理，其归一化均值为mean＝[0.485,0.456,0.406]，方差为std＝[0.229,0.224,0.225]，当前输入像素点为X，则标准化后的像素为(X-mean)/std。

本发明的有益效果在于：

1.检测速度快。

2.检测精度高。

3.算法整个模型占用空间少，对运行平台硬件条件要求低。

4.算法的训练速度较快，不需要成百上千次的迭代。

5.算法不需要大量数据训练，很切合遥感数据量少的特点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明的算法流程示意图。

图2附图为本发明微型卷积神经网络的模型图。

图3附图为本发明滑动窗口的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了一种基于微型卷积神经网络的可见光图像飞机快速检测方法，参考附图1，其中，黄色框代表着训练过程，绿色框代表着检测过程，蓝色框代表检测结果。检测方法包括如下步骤：

S1：滑动窗口的计算：

由于采用快速特征金字塔完成不同尺度下的特征提取，特征金字塔的建立均采用向下采样的方式完成，所以初始的滑动窗口应该是一个较小目标所在的窗口。为了避免人为标注和拍摄角度的影响以及适应飞机角度多方向等性质，采用了正方形滑动窗口来完成飞机的检测。此方法计算得到的滑窗大小更具代表性和普适性。其主要包含以下三个步骤：

首先，对训练数据集中飞机尺寸进行统计和整理，得到飞机尺度数据集B＝{(h_i,w_i),i＝1...N}，其中N表示当前存在飞机的数量，h_i表示第i个飞机的长所占的像素数量，w_i表示第i个飞机的宽所占的像素数量，i表示飞机标号；

接着，计算飞机最小边长信息：

S_min＝min{min(h),min(w)} (1)

其次，统计整理每个飞机的长宽比例信息r_i：

所以可以估计出平均长宽比例信息R_target：

综上所述，最终滑动窗口的大小为(S_min×R_target,S_min×R_target)。参考附图3，蓝色点代表飞机的尺度信息，红色的点表示计算得到的滑动窗口尺度信息。

S2：基于聚合通道特征的快速候选框生成

候选框生成算法绝大多数基于分割算法或者聚类算法，这类算法存在运行速度幔、精度低、漏检率高等缺陷。传统的VJ时代的目标检测由于目标大小的不同，需要对多个尺度金字塔进行滑动窗口判断才能保证较高的检测率。每个尺度下都需要重新计算特征，所以整个检测过程比较低效。快速金字塔方法采用特征图临近插值的方式来计算部分尺度下的特征图。通过此操作与积分图的配合可以快速完成相应目标的检测。快速特征金字塔方法结合聚合通道特征以及Adaboost算法可以实时地完成目标的检测，本文采用此策略来实现一种高召回率，高可靠性的候选框的产生算法。其具体的步骤如下：

聚合通道特征：特征通道就是对输入图片的一种映射，这种映射可以是点对点的，也可以是区域对区域的，这种经过变换的图片就是一种特征。输入图片I，其通道特征为C＝Ω(I)，将C中的特征通道进行连接、平滑操作便可以得到输入图片I的聚合通道特征。算法中使用的通道特征包含三类：标准梯度幅值通道特征、梯度方向通道特征(6个方向)以及LUV颜色通道特征；

快速特征金字塔：输入图片I，其标准特征金字塔可以表示为C_s＝Ω(R(I,s))，其中s表示尺度大小，函数R(I,s)表示对图片I，尺度为s的采样。快速特征金字塔不同于标准特征金字塔，它只对部分尺度进行采样(s'∈{1,1/2,1/4...})，其它中间尺度特征则采用线性插值的方式计算

对于给定的通道特征类型Ω，其对应的λ_Ω可以采用如下方式进行最小二乘估计：

其中N表示N张图片，f_Ω定义如下：

其中h_s×w_s表示当前尺度s下图片的维度大小，i和j表示像素的位置，函数f_Ω(I_s)可以表示为C_s平均值；通过表示信息损失系数λ_Ω结合相应的公式可以使得线性插值构建的特征图更加准确。

候选框生成：一种软级联的Adaboost算法用来完成候选框的选择，其定义如下：

其中x表示当前窗口的聚合通道特征，阈值thr用于判断当前区域是否存在目标，通常它设置为0。SCLF_x表示强分类器SCLF对x的输出值，其表示当前窗口存在目标的可能性。SCLF_x由一些列弱分类器组成，其表示如下：

clf表示弱分类器，采用深度为2的树结构构造，weight_m是每个弱分类器对应的权重，θ_m是每个弱分类器的参数，δ表示弱分类器的权重矫正系数，其在训练阶段为0。

S3：快速候选框生成算法的微调

快速候选框生成算法的目的是生成高召回率高准确率的候选目标区域，所以有必要对Adaboost算法参数进行训练后的调整。通过对参数δ的修正，一方面保证了分类结果的正确率，一方面可以尽可能大地提升召回率。通常候选框与任意一个人工标注框的IoU值大于0.5，则认为当前候选框正确，IoU值定义如下：

IoU＝(GB∩DB)/(GB∪DB) (8)

其中GB表示真实标注的目标框，DB表示快速候选框生成的目标框。从而可以求得精度(Precision)和召回率(Recall)：

TP(True Positive)表示候选框判定存在目标，事实上当前区域确实存在目标。FP(False Positive)表示候选框判定存在目标，但事实上当前区域不存在目标。FN(FalseNegative)表示候选框判定不存在目标，但事实上当前区域确实存在目标。将快速候选框生成算法在不同的参数δ下执行对训练数据集的检测，可以计算得到相应的检测精度(precision)和召回率(recall)。通过调整参数δ，得到一个高精度、高召回率的快速候选框生成模型。

由于快速候选框生成算法目的是得到高精度，高召回率的候选框，其中召回率的大小将直接影响后期微型卷积神经网络的分类效果，所以快速候选框生成算法微调的指标定义为：

Fidx_i＝γ×Recall_i+Precision_i (11)

其中γ是一个超参数，用于强调recall值的重要性，此外越大的γ值会使Fidx值形成的曲线更加平滑。参数δ的选择，采用Search-δ算法，Search-δ算法代码如下所示：

S4：微型卷积神经网络的设计

微型卷积神经网络用来判断候选区域是否存在目标，它具有4层卷积层，2层平均池化层以及2层全连接层。网络模型的具体结构如图2所示，网络模型分为特征提取层和分类层两部分，第一行是模型的大致样式，第二行各个方框对对应的第一行中各部件的详细描述。将每个候选区域采样到32*32*3大小，然后输入网络。网络采用ReLu函数作为激活函数，每层卷积操作后都紧跟激活函数，网络分为特征提取部分和全连接层两部分。特征提取部分首先采用18个5*5的卷积核对输入图片进行卷积操作，随后采用24个3*3的卷积核进行卷积操作并采用2*2大小的核进行均值池化操作，再采用32个3*3的卷积核进行卷积操作和2*2大小的核进行均值池化操作，最后再次采用32个3*3的卷积核进行卷积操作，至此完成了候选区域的特征提取工作。全连接层部分主要用于分类判断，共有两层。第一层输入大小为32*3*3的特征向量(特征提取部分获取)，输出大小为128的向量，第一层之后紧接着概率大小P＝0.1的Dropout层和ReLu激活函数层。第二层是输入为128维向量，输出为2维向量，由于微型卷积神经网络的目的是为了将目标区域识别出来，所以只需进行二类判断即可。

微型卷积神经网络采用交叉熵函数作为网络的损失函数，其定义如下：

其中BZ表示batch size大小，网络训练中设置为64，y_i表示当前候选框的真实标签，包含飞机则为1，否则为0，

为网络的预测结果。损失函数的优化采用Adam优化器，对于训练数据集总共迭代50次，前40次采用的学习率lr＝0.001，后10次采用的学习率lr＝0.0003。训练微型卷积神经网络时，训练数据集一部分来自原始的训练数据集中的真实标注，一部分来快速候选框生成算法对训练数据集运行后产生的候选框。将所有待输入网络的图片均进行归一化处理，其归一化均值为mean＝[0.485,0.456,0.406]，方差为std＝[0.229,0.224,0.225]，当前输入像素点为X，则标准化后的像素为(X-mean)/std。此外由于飞机存在多方向性和训练数据量小等挑战，对当前的数据均进行了上下左右的翻转操作以扩充数据量，从而提升网络的分类性能。

S5：基于快速候选框与微型卷积神经网络的可见光机场中飞机的检测

首先，对于训练数据集中的目标大小进行统计并且采用上述步骤一中的方案计算出滑动窗口的大小，接着，采用滑动窗口和上述步骤二的方案进行快速候选框生成模型的训练，其中在训练的过程中完成不同通道特征类型Ω对应的λ_Ω的计算，并且记录训练好的快速候选框生成模型。然后，利用训练数据集完成参数δ的矫正，使得当前得检测模型下可以产生高可靠性，高召回率得候选框，并用矫正后的快速候选框生成模型替换掉刚才保存的候选框生成模型。

接着，训练微型卷积神经网络，训练数据集一部分来自原始的训练数据集中的真实标注，一部分来快速候选框生成算法对训练数据集运行后产生的候选框。将所有待输入网络的图片均进行了归一化处理。此外由于目标存在多方向性和训练数据量小等挑战，对当前的数据均进行了上下左右的翻转操作以扩充数据量，提升网络的分类性能。

最后，对输入遥感图片使用快速候选框生成算法产生候选区域并对这些区域使用微型卷积神经网络进行再次判断，当网络模型分类结果为真时表明当前区域存在目标，否则将当前候选框视为背景舍弃。

本发明所提供的可见光下机场中飞机的检测方法主要为解决2～5米可见光下机场中飞机的检测提出的，但本方法也适用于其它分辨率下可见光遥感图像中的目标的检测，针对可见光其它分辨率的机场，只需要重新计算滑动窗口大小、重新训练快速候选框生成模型和微型卷积神经网络模型以及微调候选框生成模型即可。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种基于微型卷积神经网络的可见光图像飞机快速检测方法，其特征在于，包括如下步骤：

(1)对训练数据集中飞机尺度信息进行统计得到数据集；接着，计算飞机目标的最小边长S_min；最后，计算飞机平均长宽比例R_target，从而计算出最终的滑动窗口大小：(S_min×R_target,S_min×R_target)；

(2)对于每张可见光机场图片都计算其三个类型的通道特征：标准梯度幅值通道特征、梯度方向通道特征以及LUV颜色通道特征；通过训练数据集的通道特征，采用最小二乘估计的方法计算出给定的通道特征类型Ω对应的λ_Ω值，完成快速特征金字塔的建立，并采用Adaboost算法完成快速候选框生成算法的训练，其中λ_Ω表示信息损失系数；

(3)通过线性搜索算法Search-δ，完成不同的参数δ下快速候选框生成算法对训练数据集的重新检测，并计算相应的检测精度和召回率；通过调整参数δ，得到高精度、高召回率的快速候选框生成模型；

(4)采用微型卷积神经网络完成候选区域的再次判断，如果当前区域被网络分类为真时，则认为此候选框内存在飞机，否则将当前候选框视为背景从而舍弃。

2.根据权利要求1所述的一种基于微型卷积神经网络的可见光图像飞机快速检测方法，其特征在于，数据集B＝{(h_i,w_i),i＝1...N}，其中N表示当前存在飞机目标的数量，h_i表示第i个飞机的长所占的像素数量，w_i表示第i个飞机的宽所占的像素数量。

3.根据权利要求2所述的一种基于微型卷积神经网络的可见光图像飞机快速检测方法，其特征在于，计算飞机目标的最小边长S_min＝min{min(h),min(w)}；

飞机平均长宽比例

4.根据权利要求1所述的一种基于微型卷积神经网络的可见光图像飞机快速检测方法，其特征在于，对于Adaboost算法，定义如下：

其中x表示当前窗口的聚合通道特征，阈值thr用于判断当前区域是否存在目标，SCLF_x表示强分类器SCLF对x的输出值，其代表x是目标的可能性大小；

SCLF_x由一些列弱分类器组成，其表示如下：

clf表示弱分类器，采用深度为2的树结构构造；weight_m是每个弱分类器对应的权重；θ_m是每个弱分类器的参数；δ表示弱分类器的权重矫正系数，在训练阶段设置为0。

5.根据权利要求1所述的一种基于微型卷积神经网络的可见光图像飞机快速检测方法，其特征在于，对步骤(3)中的快速候选框生成算法进行微调，方法为：当前候选框的IoU值定义如下：IoU＝(GB∩DB)/(GB∪DB)，其中GB表示真实标注的目标框，DB表示快速候选框生成的目标框；通过IoU值间接求得精度和召回率；快速候选框生成算法微调的指标定义为

Fidx_i＝γ×Recall_i+Precision_i，其中γ是一个超参数；Recall_i表示i次参数δ调整后的召回率，Precision_i表示i次参数δ调整后的检测精度。

6.根据权利要求1所述的一种基于微型卷积神经网络的可见光图像飞机快速检测方法，其特征在于，微型卷积神经网络具有4层卷积层，2层均值池化层以及2层全连接层；网络的输入是32*32*3大小的图片，网络采用ReLu函数作为激活函数，每层卷积操作后都紧跟着激活函数，网络分为特征提取部分和全连接层两部分，整个卷积神经网络是一个二分类网络模型。

7.根据权利要求6所述的一种基于微型卷积神经网络的可见光图像飞机快速检测方法，其特征在于，特征提取部分首先采用18个5*5的卷积核对输入图片进行卷积操作，随后采用24个3*3的卷积核进行卷积操作并采用2*2大小的核进行均值池化操作，再采用32个3*3的卷积核进行卷积操作和2*2大小的核进行均值池化操作，最后再次采用32个3*3的卷积核进行卷积操作，至此完成了候选区域的特征提取工作。

8.根据权利要求7所述的一种基于微型卷积神经网络的可见光图像飞机快速检测方法，其特征在于，全连接层部分主要用于分类判断，共有两层；第一层输入大小为32*3*3的特征提取部分获取的特征向量，输出大小为128的向量，第一层之后紧接着概率大小P＝0.1的Dropout层和ReLu激活函数层；第二层是输入为128维的向量，输出为2向量。

9.根据权利要求8所述的一种基于微型卷积神经网络的可见光图像飞机快速检测方法，其特征在于，微型卷积神经网络采用交叉熵函数作为网络的损失函数，其定义如下：

其中BZ表示batch size大小，网络训练中设置为64，y_i表示当前候选框的真实标签，包含目标则为1，否则为0，

为网络的预测结果；损失函数的优化采用Adam优化器，对于训练数据集总共迭代50次，前40次采用的学习率lr＝0.001，后10次采用的学习率lr＝0.0003；训练微型卷积神经网络时，训练数据集一部分来自原始的训练数据集中的真实标注，一部分来自对训练数据集运行快速候选框生成算法后产生的候选框；将所有待输入网络的图片均进行归一化处理，其归一化均值为mean＝[0.485,0.456,0.406]，方差为std＝[0.229,0.224,0.225]，当前输入像素点为X，则标准化后的像素为(X-mean)/std。

Images