CN109816695A - 一种复杂背景下的红外小型无人机目标检测与跟踪方法 - Google Patents

Abstract

本发明属于红外图像处理领域，涉及一种复杂背景下的红外小型无人机目标检测与跟踪方法。该方法包括步骤：(S1)获取训练样本，训练深度卷积神经网络作为无人机目标检测网络；(S2)实时获取待检测目标图像，输入步骤(S1)中的无人机目标检测网络，输出无人机目标检测结果；(S3)利用核相关滤波快速跟踪方法，对(S2)输出的无人机目标进行跟踪。本发明采用基于批量正则化和随机丢弃的残差网络进行特征提取，提高了训练效率和模型鲁棒性。本发明充分结合上下文特征和语义特征，使用具有细粒度的多层融合特征图进行多尺度判别，有效提高了对于小目标的检测精度。

Description

一种复杂背景下的红外小型无人机目标检测与跟踪方法

技术领域

本发明属于机器视觉、安防监控和红外图像处理领域，涉及深度学习模型的设计与训练，实现了一种复杂背景下的红外小型无人机目标检测与跟踪方法。

背景技术

随着世界各国无人机生产制造技术的不断提升以及无人机使用门槛的逐步降低，使得民用小型无人机的规模数量以及使用频率都大大增加，由于其造价低廉，且行业内缺乏有效的探测和反制措施，使得无人机“黑飞”问题日益严重。而且此类小型无人机具有挂载***等危险物的能力，近年来世界各地多次发生的无人机非法入侵事件，不仅对公民的个人隐私与生命财产安全造成了严重危害，而且对军事基地、大型集会现场、核电站、政府机要部门驻地等敏感区域的安防造成了极大威胁。此类低空慢速目标具有较强的突发性和灵活性，能够在复杂的城市楼群环境中穿行和悬停，这对重点地区和设施的固定区域监控和安防提出了新的要求。因此对无人机目标的探测和管理至关重要，而能否实现在复杂背景下快速有效的无人机目标实时检测则是解决问题的基础和关键。

红外成像技术具有被动工作、抗干扰性强、目标识别能力强、全天候工作等特点，广泛应用于军事侦察、监视和制导等方面，相关研究表明使用红外成像技术进行探测监控是稳定有效的技术路径。

随着卷积神经网络和深度学习技术不断完善，尤其是在复杂背景下目标检测和识别领域，积累了大量文献和技术经验。得益于其强大的特征提取和学习能力，深度卷积神经网络能够对复杂的图像进行特征抽取和对目标进行层次化的特征表示，基于目标的结构不变性，能够对形变目标、遮挡目标、模糊目标、多尺度目标以及复杂背景下的目标有着良好的检测能力。

如何有效设计深度网络提取红外图像特征，如何利用提取的多尺度特征实现提高小型无人机目标的检测精确度以及如何提高整个算法框架的运行速度是实现红外小型无人目标实时检测的关键。

发明内容

为解决红外图像的特征提取以及提高红外小型无人机目标检测准确性和实时性的技术问题，本发明利用基于多尺度特征图融合和滑动候选窗的深度卷积神经网络技术提出了具体技术方案，具体内容如下。

一种复杂背景下的红外小型无人机目标检测与跟踪方法，包括以下步骤：

(S1)获取训练样本，训练深度卷积神经网络作为无人机目标检测网络；

(S2)实时获取待检测目标图像，输入步骤(S1)中的无人机目标检测网络，输出无人机目标检测结果；

(S3)利用核相关滤波快速跟踪方法，对(S2)输出的无人机目标进行跟踪。

进一步地，所述步骤(S1)的具体过程为：

(S11)采集红外图像数据集，对数据集中的无人机目标进行位置和类别的人工标注，将人工标注后的红外图像作为训练样本；

(S12)利用深度卷积神经网络提取红外图像的多尺度特征图；

(S13)对多尺度特征图进行采样和加权融合，得到融合特征图；

(S14)设置滑动候选框作为感兴趣区域，遍历融合特征图，将每个滑动候选框包含的区域输入全连接网络，全连接网络输出得到五维的特征向量，所述五维的特征向量包括该区域内存在目标的概率、；

(S15)根据中心点横坐标偏差值、中心点纵坐标偏差值、长边偏差值和短边偏差值修正候选框位置，得到目标位置包围框，并对所有目标位置包围框进行非最大值抑制处理，输出置信度高于预定门限值的目标置信度与包围框结果；

(S16)计算损失函数值，所述损失函数值为分类误差值与定位误差值之和；计算相邻十次的损失函数值之和，若相邻十次损失函数值的和小于设定的阈值，则结束网络训练，否则，返回步骤(S11)继续训练无人机目标检测网络。

进一步地，所述步骤(S12)利用深度卷积神经网络提取红外图像的多尺度特征图具体为：

(S121)构造基于批量正则化和随机丢弃的残差层：

(S122)通过堆叠残差层，搭建深度残差网络；

(S123)将样本图像输入上述深度残差网络进行特征提取，提取最后三层特征图作为输出结果。

为更好的理解本发明技术方案，下面对相关原理进行简要说明。

基于批量正则化和随机丢弃的残差模块：残差模块属于特征提取网络的基本结构单元，通过在残差块的卷积层中使用随机丢弃(dropout)操作进行部分参数的“丢弃”，进一步限制网络的拟合程度，目的是在训练中通过对部分参数的“冻结”，只更新局部参数来防止过拟合，来实现对于特征提取优化。因此，即可通过上述残差块和卷积层的组合来构建足够“深”的特征提取网络。

因为深层神经网络在做非线性变换前的激活输入值随着网络深度加深，其分布逐渐发生偏移，一般是整体分布逐渐往非线性函数的取值区间的上下限两端靠近，所以这导致反向传播时低层神经网络的梯度消失，这是训练深层神经网络收敛越来越慢的本质原因，本发明通过批量正则化手段，把每层神经网络任意神经元输入值的分布调整到均值为0、方差为1的标准正态分布，使得激活输入值落在非线性函数对输入比较敏感的区域，这样输入的小变化就会导致损失函数较大的变化，尽量避免梯度消失问题产生。

多尺度特征图融合算法：在深度卷积神经网络中，较浅的卷积层感知域较小，可以学习到一些局部区域的特征和上下文特征；而较深的卷积层具有较大的感知域，能够学习到更加抽象的语义特征。底层抽象特征对物体的大小、位置和方向等敏感性较低，不利于对于小目标的检测：若输入图像的尺寸为512*512，经过多层的降采样后特征图的尺寸为16*16，长度和宽度小于32的目标被压缩至一个像素点。因此在小型无人机目标检测中，仅用高层特征进行检测会使得更小成像面积的目标的空间位置预测很不精确。本发明提取深度网络中三种不同分辨率的特征图(另外，实施例中2 种或者多于3种不同分辨率的特征图均可以实现)，对小尺寸的特征图进行双线性插值的上采样操作，而后与大尺寸的特征图进行加权融合，最后使用具有不同细粒度的融合特征图进行目标检测，提高检测算法对小目标的敏感程度。

采用本发明的有益效果为：本发明采用基于批量正则化和随机丢弃的残差网络进行特征提取，提高了训练效率和模型鲁棒性。检测阶段用多尺度特征图融合的方法，充分结合上下文特征和语义特征，使用具有细粒度的多层融合特征图进行多尺度判别，有效提高了对于小目标的检测精度。最后通过结合基于相关滤波的跟踪算法进行算法融合提高检测***的整体速度，最终实现了红外无人机目标的快速精确检测与跟踪。通过对红外探测器录制的监控视频进行测试，结果表明，该算法能够有效实现对于红外小型无人机目标的检测，具有较高的准确度和实时处理速度。

附图说明

图1为本发明方法的流程图；

图2为本发明中目标实时检测网络步骤流程图；

图3为实施例中训练样本人工标注结果图(只示出了部分样本)；

图4为基于随机丢弃和批量正则化的残差模块示意图；

图5为本发明中目标检测网络结构示意图；

图6为基于滑动窗的候选框预测模块示意图；

图7为本发明中检测与跟踪***流程图；

图8为在山地背景下，本发明方法的检测结果与跟踪结果图；

图9为在建筑物背景下，本发明方法的检测结果与跟踪结果图；

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

如图1、图2为本发明一种复杂背景下的红外小型无人机目标检测与跟踪方法的流程图。下面结合实施过程对各步骤进行说明。

(S1)获取训练样本，训练深度卷积神经网络作为无人机目标检测网络；

(S11)采集红外图像数据集，使用红外长波、中波镜头广泛录像获取小型无人机目标图像。为了满足算法的可靠性和泛化能力，应尽可能的增加实验数据的丰富性，如应涵盖不同型号、飞行姿态的无人机目标，不同背景、气温、天气，探测距离和俯仰角度。

对获取的无人机图像进行人工标注，以图像左下角为原点，长边、短边为x、y轴建立坐标系，标注无人机目标中心点的位置坐标以及其包围矩形框的长和宽，将人工标注后的红外图像作为训练样本；如图3所示。

(S12)利用深度卷积神经网络提取红外图像的多个尺度的特征图；

本实施例中，以输出为三个尺度特征图进行介绍。

(1)首先构造基于批量正则化和随机丢弃的残差块，如图4所示，

(1.1)图像数据输入残差块，首先经过一个3×3的卷积层提取特征，增加网络层的通道数；而后经过一个1×1的卷积来压缩3×3卷积后的特征表示进行降维和跨通道信息整合。

(1.2)3×3的卷积层和1×1的卷积层后添加批量正则化操作(BatchNormalization)(具体参考文献：S.Ioffe and C.Szegedy.Batch normalization：Accelerating deep network training by reducing internal covariate shift[C].32nd International Conference on Machine Learning，ICML 2015，2015， 448-456)，把每层神经网络任意神经元输入值的分布调整到均值为0、方差为1的标准正态分布，使得激活输入值落在非线性函数对输入比较敏感的区域。

(1.3)通过一个通路将输入数据传递至批量正则化后的1×1卷积层的输出，即目标函数为：F(x)＝H(x)+x，其中x为输入数据，H(x)为卷积运算结果。这样使得网络可以通过“0”学习来构建恒等映射；

(1.4)在(1.3)所述通路中加入采用随机丢弃操作(dropout)(具体参考文献：A.Krizhevsky，I.Sutskever and G.E.Hinton.ImageNet classification with deepconvolutional neural networks[J].Communications of the ACM 2017，60(6)：84-90)操作进行部分参数的“丢弃”，进一步限制网络的拟合程度。在训练中对一定比例的随机参数进行“冻结”，只更新局部参数来防止过拟合，以实现对于特征提取优化。

(2)由上述方法设置残差层，通过堆叠该层，搭建深度残差网络 ResNet-50(具体参考文献：K.He，X.Zhang，S.Ren and J.Sun.Deep residual learning for imagerecognition[C].29th IEEE Conference on Computer Vision and PatternRecognition， CVPR 2016，2016770-778.)，如图5中的残差模块_1至残差模块_7；

(3)将图像输入上述深度残差网络进行特征提取，并提取出最后三层尺度分别为16×16、32×32、64×64的特征图作为输出。

(S13)对多尺度特征图进行采样和加权融合，得到融合特征图，如图5中的特征融合网络；

(1)在前一步特征提取网络中分别提取出最深层的三个残差块输出的不同尺度的特征图Fiture₁，Fiture₂，Fiture₃，分别对应图5中的残差模块 _5，残差模块_6，残差模块_7输出的特征图，其尺寸分别为：

Fiture₁即16×16的特征图作为第一个预测尺度：

Scale_I＝Fiture₁ (公式二)

(2)将16×16的特征图进行上采样得到与Fiture₂相同尺寸即32×32的特征图，而后将两部分特征图进行加权融合.

(2.1)首先对Fiture₁进行上采样，采用内插法得到Fiture′₁，尺度由 16×16上升到32×32，表示双线性插值上采样运算，分辨率由16×16上升到32×32，表示Fiture₁特征图上采样后的分辨率：

(2.2)对高分辨率的低层特征Fiture₂和经过上采样的高层特征Fiture′₁进行像素级融合(Element-Sum)融合，其中低层特征项加有权重系数α，优选的，α＝1，得到第二个尺度的融合特征Scale_II：

(3)使用相同的方法对Fiture₁，Fiture₂进行上采样而后与Fiture₃进行融合得到第三个尺度Scale_III，其中Fiture″₁表示Fiture′₁上采样后的输出结果，Fiture′₂表示Fiture₂上采样后的输出结果，β，γ为加权系数。优选的，β＝1，γ＝1：

(4)由上述方法得到的三个尺度的特征图各经过一个线性整流函数 (RectifiedLinear Unit)(具体参考文献：Notes on convolutional neural networks.Bouvrie，J.，2006)后输出融合特征。

(S14)利用滑动窗模块进行候选框预测

分别在输出的三个尺度的特征图上均匀的选取等间隔的几个像素点作为锚点，在每个锚点上同时预测多个感兴趣区域，我们称这个滑动窗为锚点框。如图5和图6中的滑动窗模块，其具体操作为：

(1)在输入尺寸为512*512的图像上，每隔8个像素点划分一个方格。

(2)每个方格的中心像素点作为锚点，在每个锚点上共生成5个候选框。

(3)这5个候选框的尺寸对应了训练数据目标尺寸的统计结果，对这些目标的长宽进行K均值聚类计算，得到与真实框的最佳匹配的候选框尺寸。优选的，候选框尺寸为(12，7)，(16，14)，(19，8)，(22，16)，(27，21)。

(4)将(2)中产生的锚点的位置与(3)中设置的候选框尺寸由512*512 的图像分别映射到16×16、32×32、64×64的特征图上。

(5)对每个特征图上的每个不同尺度候选框中的像素进行感兴趣区域池化(ROIpooling)操作(具体参考文献：Ren S，He K，Girshick R，et al. Faster R-CNN：towardsreal-time object detection with region proposal networks[C]，InternationalConference on Neural Information Processing Systems.MIT Press，2015：91-99.)，得到尺度相同的特征向量作为输出。

(S15)将每个候选框对应的特征向量输入全连接网络，计算其置信度和候选框偏差值；

(S16)根据偏差值进行候选框位置的修正得到目标位置包围框，并对所有目标位置包围框进行非最大值抑制(Non-Maximum Suppression，NMS) 处理，输出置信度高于预定门限值的目标置信度与包围框结果。实施例中，对于全部的预测结果进行非极大值抑制处理，筛选掉交并比高于阈值的包围框，即目标位置预测框，优选的，阈值取0.3。输出预测目标位置及其置信度，得到最终的检测结果。

(S17)根据检测结果和人工标注情况，计算损失函数值，所述损失函数值为分类误差值与定位误差值之和；

设置损失函数。损失函数由分类误差L_cls、定位误差L_loc两部分组成，整体计算公式如下：

L＝L_cls+L_loc (公式十)

(1)分类误差采用对数似然损失函数来定义：

p_i表示将第i个参考区域判别为目标的概率，y_i表示第i个参考区域是否存在目标，存在取值为1，否则为0。

(2)定位误差L_loc具体形式为：

L₁(x)表示平滑1-范数，候选框与训练样本中标记的真实目标位置的参数化坐标分别为四维向量t_i和四维向量i表示第i个候选框或真实框，s 表示四维向量(x，y，w，h)中的一个元素，与分别代表t_i和中的各对应元素：

t_i和中各元素的具体定义如下：

其中，分别表示x，y相对于候选框尺度不变的平移量，表示对数空间中相对于参考区域的宽与高，同理适用于 x，y，w，h分别表示中心点坐标(x，y)，宽w，高h；x_a，x^*分别表示候选框和真实框的中心点横坐标；y_a，y^*分别表示候选框、训练样本中标记的真实目标位置的中心点纵坐标，其余参数均采取同样的方式定义。

(3)通过计算输出的损失函数，利用随机梯度下降法进行误差反向传播来训练整个网络。模型学习率设置为0.0001，迭代15000次后下降为 0.00001，总损失稳定在0.05左右不再下降时训练停止。

(S2)实时获取待检测目标图像，输入步骤(S1)中的无人机目标检测网络，输出无人机目标检测结果；

(S3)结合相关滤波跟踪算法，对(S2)输出的无人机目标进行跟踪，通过循环调用检测输出结果，实现边检测边跟踪；如图7为检测跟踪***流程图。

(3.1)***开机，视频流图像输入上述训练好的目标检测网络，当检测到目标时，输出无人机目标位置信息(x，y，w，h)其中x，y代表目标中心点坐标，w、h代表目标检测矩形框的宽和高。

(3.2)将(3.1)中的目标位置信息和下一帧图像传递到跟踪核相关滤波***(具体见参考文献：Henriques J F，Caseiro R，Martins P，et al. High-Speed Trackingwith Kemelized Correlation Filters[J].IEEE Transactions on Pattern Analysis&Machine Intelligence，2014，37(3)：583-596.)，执行目标跟踪，得到跟踪响应值k。比较k与跟踪判定阈值，如果***输出跟踪响应值k大于阈值的则视为跟踪成功，同时更新模板为当前跟踪框，否则为跟踪失败，即丢失目标，优选的，跟踪判定阈值设为0.3。

(3.3)若跟踪失败，则将下一帧图像输入深度残差网络进行目标检测以重新捕获无人机目标信息；

(3.4)若跟踪成功，则将下一帧图像输入KCF***，重复步骤(2.2)，持续K帧后，将K+1帧图像输入深度残差网络进行目标检测以重新定位，优选的，K取5帧。

(3.5)重复循环(3.1)-(3.4)中的跟踪过程，实现对红外小型无人机目标的实时边检测边跟踪。

图8为在山地背景下，运用本发明方法的检测结果与跟踪结果图；图中给出了两个目标的检测结果，山地背景下，连续四帧图像内的***输出结果示意图；最左侧一帧为检测结果，后三帧为跟踪结果(十字代表目标真实位置的重心，方框代表输出的检测跟踪结果)。

图9为建筑物背景下，运用本发明方法的检测结果与跟踪结果图；图中给出了两个目标的检测结果，建筑物背景下，连续四帧图像内的***输出结果示意图；最左侧一帧为检测结果，后三帧为跟踪结果(十字代表目标真实位置的重心，框代表输出的检测跟踪结果)。

进一步地，应当指出，本发明并不局限于以上特定实施例，本领域技术人员可以在权利要求的范围内做出任何变形或改进。

Claims (3)

1.一种复杂背景下的红外小型无人机目标检测与跟踪方法，其特征在于包括以下步骤：

(S1)获取训练样本，训练深度卷积神经网络作为无人机目标检测网络；

(S2)实时获取待检测目标图像，输入步骤(S1)中的无人机目标检测网络，输出无人机目标检测结果；

(S3)利用核相关滤波快速跟踪方法，对(S2)输出的无人机目标进行跟踪。

2.如权利要求1所述的一种复杂背景下的红外小型无人机目标检测与跟踪方法，其特征在于所述步骤(S1)的具体过程为：

(S11)采集红外图像数据集，对数据集中的无人机目标进行位置和类别的人工标注，将人工标注后的红外图像作为训练样本；

(S12)利用深度卷积神经网络提取红外图像的多尺度特征图；

(S13)对多尺度特征图进行采样和加权融合，得到融合特征图；

(S14)设置滑动候选框作为感兴趣区域，遍历融合特征图，将每个滑动候选框包含的区域输入全连接网络，输出五维的特征向量，所述五维的特征向量包括该区域内存在目标的概率、中心点横坐标偏差值、中心点纵坐标偏差值、长边偏差值、短边偏差值；

(S15)根据偏差值修正候选框位置，得到目标位置包围框，并对所有目标位置包围框进行非最大值抑制处理，输出置信度高于预定门限值的目标置信度与包围框结果；

(S16)计算损失函数值，所述损失函数值为分类误差值与定位误差值之和；计算相邻十次的损失函数值之和，若相邻十次损失函数值的和小于设定的阈值，否则，返回步骤(S11)继续训练无人机目标检测网络。

3.如权利要求2所述的一种复杂背景下的红外小型无人机目标检测与跟踪方法，其特征在于所述步骤(S12)利用深度卷积神经网络提取红外图像的多尺度特征图具体为：

(S121)构造基于批量正则化和随机丢弃的残差层：

(S122)通过堆叠该层，搭建深度残差网络；

(S123)将样本图像输入上述深度残差网络进行特征提取，提取出最后三层特征图作为输出结果。