CN106707296B - 一种基于双孔径光电成像***的无人机检测与识别方法 - Google Patents

Abstract

本发明公开了一种基于双孔径光电成像***的无人机自动检测与识别***,本发明提供的基于双孔径光电成像***的无人机自动检测与识别***使用广角相机和长焦相机分别作为无人机检测装置和识别装置进行监控。采集监控图像序列，采用目标检测算法进行无人机疑似目标的检测，继而采用模式识别算法对疑似目标进行识别，确认目标后对目标进行追踪、干扰和管制。本发明使用光电传感器作为无人机检测与识别装置具有可靠性高、成本低廉等优点。借助于广角成像***在大范围天区搜索疑似目标，使用长焦成像***(具有两轴转台)对疑似目标进行确认和跟踪，同时满足高检测率和高准确性的需求，大大提高了***的可靠性，具有突出的经济效益和实用价值。

Description

一种基于双孔径光电成像***的无人机检测与识别方法

技术领域

本发明属于图像处理及模式识别技术领域，更具体地，涉及一种基于双孔径光电成像***的无人机自动检测与识别方法。

背景技术

现有的无人机检测与识别方法利用光学成像传感器自动巡天，获取待检测区域的图像序列，利用序列图像之间的目标运动特性和单幅图像中的目标与背景的差异，检测无人机等低空飞行器。该方法易受环境干扰，难以分辨无人机目标与背景干扰造成的虚警。且检测到目标后，根据已有的信息无法进一步识别目标。此外，现有技术通过基于雷达监控无人机目标实施，依然存在无法识别目标类型的问题，同时雷达设备造价高，易受天气环境等因素的干扰。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于双孔径光电成像***的无人机检测与识别方法，其目的在于实现对无人机的自动检测与识别，进一步提高无人机检测准确度，解决现有技术受环境干扰大、虚警率高、无法识别目标类型等技术问题。

为实现本发明目的，提供了一种基于双孔径光电成像***的无人机自动检测与识别方法，包括以下步骤：

(1)使用双孔径光学成像***，其中广角成像***在大范围天区搜索疑似目标，长焦成像***(具有两轴转台)对疑似目标进行确认和跟踪，同时满足高检测率和高准确性的需求。

(2)对广角相机采集到的图像序列，根据图像背景先验知识，利用目标检测算法实时检测疑似目标；根据图像背景先验知识，可实现监控策略设置，人工选择出天空背景区域、复杂背景区域、以及排除区域。

(3)检测到疑似目标后，控制长焦相机指向疑似目标进行拍摄，得到目标的高清晰度图像序列；

(4)利用模式识别算法对长焦相机采集的目标图像进行识别，如果判断为无人机目标，则输出目标位置坐标作为目标跟踪的初始位置坐标，转到步骤(5)，否则转到步骤(2)；

(5)控制长焦相机对无人机目标进行追踪，控制云台运动，保证目标始终处于长焦相机的视场中央，跟踪算法得到的无人机坐标可以输出到无人机干扰***，进行定向干扰。所述追踪算法包括基于Meanshift的目标跟踪算法、基于粒子滤波的目标跟踪算法、KCF算法和光流法。

进一步的，所述步骤(2)中所述图像背景先验知识包括天空背景区域、复杂背景区域、以及排除区域；步骤(5)中，得到无人机目标坐标后，还对目标采取干扰与管制措施。

进一步的，所述步骤(2)中，所述目标检测算法，包括以下子步骤：

(2.1)连续采集图像进行帧间目标检测，使用背景差分算法求解当前帧得到的前景图像Dⁿ；

(2.2)一次性初始化目标集合Track为空，Track为目标轨迹集合，Track中每一条轨迹都代表着一个疑似目标(只在第一次初始化，轨迹指多个目标点)；对(2.1)输入的当前第n帧图像Iⁿ进行帧内目标检测，用以修正前景图像Dⁿ；

如果在第n-1帧即上一帧中没有检测到目标，不进行修正操作，转步骤(2.3)；

如果在第n-1帧即上一帧检测到目标，即集合Track^n-1非空，而且在一定的范围内前景图像没有响应，即 则进行帧内检测，将帧内检测到的目标用以修正帧间检测结果Dⁿ，将该目标加入步骤(2.1)的输出Dⁿ中，公式如下：

其中Distance表示欧氏距离，表示任意的，d为常量，取3-10；d的选取与视频采样频率有关，采样帧频越高，d越小；采样帧频越低，d越大；thres为阈值，取10-50，thres的取值越大，漏检率越高；取值越小，虚警率越高；表示图像以为中心的图像块与相同尺度的矩阵HP进行卷积；HP为卷积核，其尺度与目标尺度有关，当目标尺度大小为m行×n列时，HP为：

其中A，B，C，D，F，G，H，K均为为1/9×II的矩阵，E为-8/9×II，II为m×n大小的矩阵，其值全为1；

(2.3)对第n帧前景图像Dⁿ使用标记连通域,并对连通域使用DP聚类算法进行聚类处理，得到疑似目标集合Oⁿ；保存前t帧至当前帧之间的t个疑似目标集合{O^n-t+1…Oⁿ}，然后输出{O^n-t+1…Oⁿ}到链表list中,t可取5-15，t越大结果越准确但滞后时间长，t越小实时性越高但结果不稳定(对每一帧Dⁿ通过求连通域，聚类，得到一个帧内的目标集合Oⁿ，将t帧每一帧结果Oⁿ都保存下来，共有t个Oⁿ，保存到list中，用于后面的处理)；

(2.4)使用检测聚类算法对步骤(2.3)中获的链表list使用检测聚类算法进行处理，生成多条轨迹，每条轨迹都作为一个疑似目标，多条轨迹构成目标集合Track。

进一步的，所述步骤(3)或步骤(5)中，检测到疑似目标或无人机目标后，计算并向云台发送疑似目标或无人机目标的坐标，用于控制长焦相机追踪疑似目标或无人机目标；坐标计算公式如下：

其中，std_rows为图像的高度，targety为目标在竖直方向上的坐标，yvision为竖直方向上的视场角；std_cols为图像的宽度，targetx为目标在水平方向上的坐标，xvision为水平方向上的视场角；targety targetx从检测到的目标中取得，其它参数为广角相机自身参数。

进一步的，所述所述步骤(2.4)中，检测聚类算法子步骤如下：

(2.4.1)遍历步骤(2.3)生成的链表list，寻找到第一个目标后作为疑似目标，创建一条新的轨迹，将该疑似目标加入该轨迹中；(如果空中出现目标，则每一帧都会检测出一个目标，那么t帧就会检测出t个目标，这t个目标根据出现的时间顺序排列生成一个集合就是一条轨迹)

(2.4.2)查找list中后续的疑似目标，将每个后续的疑似目标和每条已存在疑似目标轨迹相比，当满足下述两条准则时，将疑似目标加入该轨迹，转步骤(2.4.3)；否则创建一条新轨迹并将该疑似目标加入该轨迹中，转步骤(2.4.3)；所述准则如下：

(a) 为已存在的轨迹中最新的轨迹点(目标在图像中的坐标)，为当前待加入轨迹的疑似目标，Distance表示欧氏距离，为两轨迹点空间相关性(以欧氏距离度量)，如果则认为疑似目标点符合本准则；所述L_thres为空间阈值，取3-20，其取值与视频采样频率有关，采样频率越高，取值越小；采样频率越低，取值越大；

(b)为当前轨迹相邻两轨迹点之间的时间差，如果小于预设的时间差T_thres，则认为疑似目标点符合本准则；T_thres为时间阈值，取1-3；

(2.4.3)统计每条轨迹的断点数，如果断点数超过最大允许断点数，则删除该轨迹；B_thres，取3-5；(轨迹统计了t帧，每一帧该轨迹都应有一个目标点，如果没有，即不符合上述两条规则，则断点数加1)。

进一步的，所述步骤(4)中提到的模式识别算法选取深度学习算法，优选采用Faster-RCNN算法对长焦相机采集到的高清图像序列进行识别；识别步骤如下：

(4.1)首先准备无人机训练样本，并对无人机的位置进行手工标记；使用Faster-RCNN算法对预先准备好的训练样本进行训练，得到网络模型参数，确定具体网络模型；

(4.2)用所述网络模型进行识别，将长焦相机采集到的当前帧图像输入所述网络模型，得到目标的坐标targetx和targety，以及各类目标可信度得分，并将无人机目标得分超过T_thres对应的目标作为无人机目标，并输出无人机目标的坐标，T_thres为阈值，一般取0.5-0.9。

进一步的，所述步骤(5)中提到的目标跟踪算法具体如下：进行目标跟踪；

具体地，使用步骤(4)中输出的目标位置坐标作为目标跟踪的初始位置坐标，采用基于粒子滤波器的目标跟踪算法进行目标跟踪，控制云台使目标始终保持在视场中央。

进一步的，所述所述背景差分算法为基于GPU加速的空间约束混合高斯模型算法，具体子步骤如下：

(a)根据步骤(2)中图像背景先验知识初始化混合高斯模型参数和固定背景帧,在此，将输入的第一帧图像作为固定背景帧；

(b)将传入当前第n帧的图像Iⁿ与固定背景帧进行减运算，得到空间约束矩阵M，运算公式如下：

其中Iⁿ为第n帧图像序列，Zⁿ为固定背景帧，Thres为阈值，取20-50；Thres阈值越低，算法的实时性越低；阈值越高，背景部分伪背景点越多，算法的准确性越低；i，j分别为像素在图像中的行列号；

(c)在空间约束矩阵M下用混合高斯模型检测前景,得到前景图像Dⁿ，同时，混合高斯模型得到更新；检测公式如下：

其中，GMM为混合高斯模型；

(d)每隔一定帧数num对混合高斯模型进行固定背景帧抽取，即对混合高斯模型中每个像素点优先级最高(混合高斯模型模型参数包含有优先级)的高斯分布均值μ_i，j抽取至固定背景帧相应的位置，从而更新固定背景帧；num可取大于1的整数，num越大，随着背景的逐渐改变，计算量越大，会降低算法的实时性；num越小，抽取固定背景帧的频次越高，也会降低算法的实时性。

进一步的，所述步骤(2.3)中，标记连通域的方法包括区域生长法、基于行程的连通域标记算法、基于轮廓跟踪的连通域标记算法、基于跑长码的连通区域标记算法和面向目标特征提取的连通域标记算法。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)根据不同的环境设置相对应的监控策略可以使***适应不同的环境，提高***的鲁棒性和可靠性。

(2)使用本文所使用的基于GPU加速的空间约束混合高斯模型算法来进行疑似目标的检测，相较于传统的混合高斯模型算法速度可提高50倍以上，达到实时性要求，结合检测聚类算法和帧内检测算法可以综合利用视频序列帧间和帧内信息，在保证检测率的基础上，去除了大量虚警，并减少了漏检目标，保证了检测的连续。

(3)使用双孔径光电成像***进行目标检测和识别的策略可以进一步对于检测到目标进行准确的识别和确认，排除虚警，确认目标，保证了***的鲁棒性。

(4)使用深度学习算法进行目标识别，算法自动完成目标识别的流程，Faster-RCNN中使用的卷积神经网络提取了样本的大量特征，对角度、光照、尺度等变化具有较好的鲁棒性，算法识别的准确率高。RPN网络和Faster R-CNN网络的卷积层的权值共享使算法速度大大提升，可以达到实时处理的要求。

(5)使用粒子滤波算法对目标进行追踪，相对于其他目标跟踪算法，对于光照变化、目标遮挡具有较好的适应性。并且算法只产生有限个粒子进行计算，实时性较好。检测到目标后对目标进行跟踪，并持续干扰，可达到对目标管制的目的。

总而言之，本发明提供的基于双孔径光电成像***的无人机自动检测与识别***分别使用广角相机和长焦相机作为无人机检测和识别装置进行监控。采集监控图像序列，进行无人机疑似目标的检测，继而对疑似目标进行识别，确认目标后计算坐标并对目标进行追踪本发明使用光电传感器作为无人机检测与识别装置具有可靠性高、成本低廉等优点。借助于广角相机提供的监控数据，使用长焦相机采集监控图像并采用模式识别的手段进行识别可准确确认监控目标，大大提高了***的可靠性，具有突出的经济效益和实用价值。

附图说明

图1是本发明实施例提供的基于双孔径光电成像***的无人机自动检测与识别方法的流程图；

图2是本发明实施例中的无人机检测与识别装置的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明实施例提供的这种基于双孔径光电成像***的无人机自动检测与识别方法流程如图1所示。

在本实例中，我们采用海康威视DS-2df7320iw高速智能球机作为双孔径光电传感器***的广角相机部分，使用FY-SP2515F标准智能变速云台搭载的海康威视3007相机作为双孔径光电传感器***的长焦相机部分。

首先，采集实际的无人机监控视频，对监控视频中包含无人机目标的每一帧图像，使用人工标注的方法标记无人机的位置，作为训练样本训练Faster-RCNN网络模型。训练步骤如下：

(a)使用在ImageNet上预训练的模型初始化Region Proposal Networks(RPN)参数，微调RPN网络；

(b)使用在ImageNet上预训练的模型初始化Faster-RCNN网络，使用(a)中得到的RPN网络对我们的训练样本进行区域提取(Region Proposal)工作，作为Faster-RCNN的输入。使用我们的训练样本训练Faster-RCNN网络；

(c)固定卷积层，利用(b)中得到的Faster R-CNN网络初始化RPN网络，使用我们的训练样本训练RPN网络。

(d)固定卷积层，利用(c)中得到的RPN网络作为输入训练Faster-RCNN网络。

(e)重复步骤(a)-(d)，交替训练RPN网络和Faster-RCNN网络，直到网络输出误差达到要求的范围内。

运行时，设置监控策略，人工选择出天空背景区域、复杂背景区域、以及排除区域，作为后续处理过程的先验知识。对于不同类型的区域步骤(2)中使用的目标检测算法采取不同的策略，如果未设置则默认所有区域均为复杂背景区域。生成一张阈值表，阈值表中的每个值的位置与图像序列每个像素的位置相对应，像素点在天空背景区域、复杂背景区域、排除区域，阈值表σ中对应位置的值分别取σ₁，σ₂，σ₃。优选地，σ₁，σ₂，σ₃分别取0.9,2.5,0.0。

使用海康威视DS-2df7320iw高速智能球机采集视频序列，选取前30帧初始化设备端的混合高斯模型参数并抽取固定背景帧。根据发明内容步骤2中所述的目标检测算法实时检测视频序列中的疑似目标。

当检测到疑似目标后，根据发明内容步骤(4)中所述的计算方法计算目标的位置，此处根据DS-2df7320iw相机的参数，xvision取58.3，yvision取43.6。向FY-SP2515F云台发送控制命令使其指向相应位置，这里，云台控制命令采用PELCO_D协议。当云台到达指定位置后，3007相机采集一张高清图片，使用训练好的Faster-RCNN算法网络模型识别视场中是否存在无人机目标。如果存在无人机目标，即Faster-RCNN网络输出无人机目标置信度大于0.8的目标，则控制无线电干扰模块为开启状态，对无人机进行干扰，并根据Faster-RCNN网络输出无人机目标坐标位置作为初始位置采用基于粒子滤波的目标跟踪算法对无人机目标进行跟踪，控制云台始终指向目标同时持续定向干扰。

本发明通过结合广角相机和长焦相机各自的成像特点进行目标检测与识别工作。可对大视场、远距离的区域进行实时监控并精确识别目标种类。对不同的背景区域采用不用的监控策略增强了***的鲁棒性与适用性。使用深度学习算法进行目标识别，识别准确率高并对光照、遮挡、旋转等变化具有较强的鲁棒性，并基本达到实时目标识别的要求。使用GPU加速空间约束混合高斯模型算法相较于原始GMM算法速度提高了50倍以上，实现了对高清监控图像进行实时检测的要求。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于双孔径光电成像***的无人机自动检测与识别方法，其特征在于，包括以下步骤：

(1)使用双孔径光学成像***，其中广角成像***在大范围天区搜索疑似目标，长焦成像***对疑似目标进行确认和跟踪；

(2)对广角相机采集到的图像序列，根据图像背景先验知识，利用目标检测算法实时检测疑似目标；

(3)检测到疑似目标后，控制长焦相机指向疑似目标进行拍摄，得到目标的高清晰度图像序列；

(4)利用模式识别算法对长焦相机采集的目标图像进行识别，如果判断为无人机目标，则输出目标位置坐标作为目标跟踪的初始位置坐标，转到步骤(5)，否则转到步骤(2)；

(5)控制长焦相机对无人机目标进行追踪，控制云台运动，保证目标始终处于长焦相机的视场中央，跟踪算法得到的无人机坐标可以输出到无人机干扰***，进行定向干扰；所述追踪算法包括基于MeanShift的目标跟踪算法、基于粒子滤波的目标跟踪算法、KCF算法和光流法；

步骤(4)中提到的模式识别算法采用深度学习算法中的Faster-RCNN算法对长焦相机采集到的高清图像序列进行识别；识别步骤如下：

(4.1)首先准备无人机训练样本，并对无人机的位置进行手工标记；使用Faster-RCNN算法对预先准备好的训练样本进行训练，得到网络模型参数，确定具体网络模型；

(4.2)用所述网络模型进行识别，将长焦相机采集到的当前帧图像输入所述网络模型，得到目标的坐标tar getx和tar gety，以及各类目标可信度得分，并将无人机目标得分超过T_thres对应的目标作为无人机目标，并输出无人机目标的坐标，T_thres为阈值，取0.5-0.9。

2.如权利要求1所述的无人机自动检测与识别方法，其特征在于，所述双孔径光学成像***由广角成像***和长焦成像***组成。

3.如权利要求1所述的无人机自动检测与识别方法，其特征在于，步骤(2)中所述图像背景先验知识包括天空背景区域、复杂背景区域、以及排除区域；步骤(5)中，得到无人机目标坐标后，还对目标采取干扰与管制措施。

4.如权利要求1所述的无人机自动检测与识别方法，其特征在于，步骤(2)中，所述目标检测算法，包括以下子步骤：

(2.1)连续采集图像进行帧间目标检测，使用背景差分算法求解当前帧得到的前景图像Dⁿ；

(2.2)一次性初始化目标集合Track为空，Track为目标轨迹集合，Track中每一条轨迹都代表着一个疑似目标；对(2.1)输入的当前第n帧图像Iⁿ进行帧内目标检测，用以修正前景图像Dⁿ；

如果在第n-1帧即上一帧中没有检测到目标，不进行修正操作，转步骤(2.3)；

如果在第n-1帧即上一帧检测到目标，即集合Track^n-1非空，而且在一定的范围内前景图像没有响应，即 则进行帧内检测，将帧内检测到的目标用以修正帧间检测结果Dⁿ，将该目标加入步骤(2.1)的输出Dⁿ中，公式如下：

其中Distance表示欧氏距离，表示任意的，d为常量，取3-10；d的选取与视频采样频率有关，采样帧频越高，d越小；采样帧频越低，d越大；thres为阈值，取10-50，thres的取值越大，漏检率越高；取值越小，虚警率越高；表示图像以为中心的图像块与相同尺度的矩阵HP进行卷积；HP为卷积核，其尺度与目标尺度有关，当目标尺度大小为m行×n列时，HP为：

其中A，B，C，D，F，G，H，K均为为1/9×II的矩阵，E为-8/9×II，II为m×n大小的矩阵，其值全为1；

(2.3)对第n帧前景图像Dⁿ使用标记连通域，并对连通域使用DP聚类算法进行聚类处理，得到疑似目标集合Oⁿ；保存前t帧至当前帧之间的t个疑似目标集合{O^n-t+1…Oⁿ}，然后输出{O^n-t+1…Oⁿ}到链表list中，t取5-15，t越大结果越准确但滞后时间长，t越小实时性越高但结果不稳定；

(2.4)使用检测聚类算法对步骤(2.3)中获的链表list使用检测聚类算法进行处理，生成多条轨迹，每条轨迹都作为一个疑似目标，多条轨迹构成目标集合Track。

5.如权利要求1所述的无人机自动检测与识别方法，其特征在于，步骤(3)或步骤(5)中，检测到疑似目标或无人机目标后，计算并向云台发送疑似目标或无人机目标的坐标，用于控制长焦相机追踪疑似目标或无人机目标；坐标计算公式如下：

其中，std_rowS为图像的高度，targety为目标在竖直方向上的坐标，yvision为竖直方向上的视场角；std_cols为图像的宽度，targetx为目标在水平方向上的坐标，xvision为水平方向上的视场角；targety targetx从检测到的目标中取得，其它参数为广角相机自身参数。

6.如权利要求1所述的无人机自动检测与识别方法，其特征在于，所述步骤(2.4)中，检测聚类算法子步骤如下：

(2.4.1)遍历步骤(2.3)生成的链表list，寻找到第一个目标后作为疑似目标，创建一条新的轨迹，将该疑似目标加入该轨迹中；

(2.4.2)查找list中后续的疑似目标，将每个后续的疑似目标和每条已存在疑似目标轨迹相比，当满足下述两条准则时，将疑似目标加入该轨迹，转步骤(2.4.3)；否则创建一条新轨迹并将该疑似目标加入该轨迹中，转步骤(2.4.3)；所述准则如下：

(a) 为已存在的轨迹中最新的轨迹点，为当前待加入轨迹的轨迹点，Distance表示欧氏距离，为两轨迹点空间相关性，以欧氏距离度量，如果则认为疑似目标点符合本准则；所述L_thres为空间阈值，取3-20，其取值与视频采样频率有关，采样频率越高，取值越小；采样频率越低，取值越大；

(b)为当前轨迹相邻两轨迹点之间的时间差，如果小于预设的时间差T_thres，则认为疑似目标点符合本准则；T_thres为时间阈值，取1-3；

(2.4.3)统计每条轨迹的断点数，如果断点数超过最大允许断点数，则删除该轨迹；B_thres，取3-5。

7.如权利要求1所述的无人机自动检测与识别方法，其特征在于，步骤(5)中提到的目标跟踪算法具体如下：使用基于粒子滤波器的目标跟踪算法进行目标跟踪；

具体地，使用步骤(4)中输出的目标位置坐标作为目标跟踪的初始位置坐标，采用基于粒子滤波器的目标跟踪算法进行目标跟踪，控制云台使目标始终保持在视场中央。

8.如权利要求4所述的无人机自动检测与识别方法，其特征在于，所述背景差分算法为基于GPU加速的空间约束混合高斯模型算法，具体子步骤如下：

(a)根据步骤(2)中图像背景先验知识初始化混合高斯模型参数和固定背景帧，在此，将输入的第一帧图像作为固定背景帧；

(b)将传入当前第n帧的图像Iⁿ与固定背景帧进行减运算，得到空间约束矩阵M，运算公式如下：

其中Iⁿ为第n帧图像序列，Zⁿ为固定背景帧，Thres为阈值，取20-50；Thres阈值越低，算法的实时性越低；阈值越高，背景部分伪背景点越多，算法的准确性越低；i，j分别为像素在图像中的行列号；

(c)在空间约束矩阵M下用混合高斯模型检测前景，得到前景图像Dⁿ，同时，混合高斯模型得到更新；检测公式如下：

其中，GMM为混合高斯模型；

(d)每隔一定帧数num对混合高斯模型进行固定背景帧抽取，即对混合高斯模型中每个像素点优先级最高的高斯分布均值μ_i，j抽取至固定背景帧相应的位置，从而更新固定背景帧；num取大于1的整数，num越大，随着背景的逐渐改变，计算量越大，会降低算法的实时性；num越小，抽取固定背景帧的频次越高，也会降低算法的实时性。

9.如权利要求4所述的无人机自动检测与识别方法，其特征在于，所述步骤(2.3)中，标记连通域的方法包括区域生长法、基于行程的连通域标记算法、基于轮廓跟踪的连通域标记算法、基于跑长码的连通区域标记算法和面向目标特征提取的连通域标记算法。