CN108108697A - 一种实时无人机视频目标检测与跟踪方法 - Google Patents

Abstract

本发明公开了一种无人机视频中特定目标(主要针对坦克、汽车、舰船等运动目标)实时检测与跟踪的计算方法，它涉及计算机视觉技术、机器学习技术和摄影测量。它在对已有目标学习的基础上，在当前视频帧中检测目标，并与前一帧目标进行匹配，对匹配成功的目标进行更新、对旧目标进行跟踪、对新增的目标进行确认，最终得到当前帧的目标集合，并可以根据目标在相机中坐标计算输出目标地理位置。在无人机应用中，本发明能够实时发现并自动跟踪和精确定位敌方具有军事价值的目标，如坦克、汽车、舰船。

Description

一种实时无人机视频目标检测与跟踪方法

技术领域

本发明涉及计算机视觉中目标检测与跟踪技术领域。确切地说，本发明是一种在无人机飞行过程中自动从成像装置中发现特定目标并进行跟踪的方法，涉及的技术领域包括计算机视觉、机器学习和摄影测量。

背景技术

对特定目标的检测及跟踪，是数字视频分析和机器视觉的关键技术，在无人机应用中有迫切的需求，特别是在实时飞行过程中对具有军事价值的特定目标(坦克、车辆、军舰、油库等)进行检测、跟踪和定位，可实时返回目标位置信息，便于后续精确打击。既能够减少操控人员的劳动强度，增强***可靠性；又能够减少与操控人员的通信，防止信号被侦察而导致操控人员被暴露。

视频目标检测方法主要基于视频监控等摄像头静止的场景，主要有帧差法、光流法和背景差法三种，其中帧差法和背景差法都假设背景静止，并不适合无人机视频。光流法根据相邻两帧建立运动场来关联当前帧的每个像素与下一帧对应的像素，但是计算光流的基本方程的成立是建立在亮度守恒基本假设这个条件下，在现实场景中很难满足这一条件。

目标跟踪方法一直是计算机视觉的热点，新方法也层出不穷，目前主要方法基于核密度估计理论的跟踪算法、基于概率统计的跟踪算法、基于机器学习的跟踪算法。基于核密度估计理论的跟踪算法作为一种经典算法，在早期目标跟踪中发挥着重要作用。但其需要由解析形式推出均值漂移变量，限制了其对特征的提取，具有一定局限性；基于概率统计的跟踪算法在解决非线性问题上有着良好的表现，但其同样复杂的计算，影响了跟踪速度，实时性较差；基于学习的跟踪算法一般不需要复杂的计算，具有良好的适应性，但其在跟踪过程中仍然存在由于模板更新而带来的漂移问题。并且现有算法都还无法完全解决无人机目标长时间跟踪的问题。

发明内容

本发明的目标在于提供一种在无人机飞行过程中从摄像头中自动发现特定目标并进行跟踪的方法，实现战术无人机对地面移动目标侦察打击、警用无人机对移动目标的定向跟踪等需要无人机对地面运行目标进行精确观测的场景。

为了达到上述目的，本发明采用下述技术方案：

一种实时无人机视频目标检测与跟踪方法，包括以下步骤：

(1)初始化：将视频帧图像分为检测区域和跟踪区域，并定义目标的外观属性；所述的跟踪区域是当前视频帧图像与上一视频帧图像交叠的区域，其他区域为检测区域；极限情况下跟踪区域面积为0；

(2)对当前视频帧图像进行背景区域检测；

(3)如果当前视频帧图像为第一帧，则在整幅当前视频帧图像中进行目标检测；否则，在当前视频帧图像的检测区域与背景区域的相交区域进行目标检测；目标检测之后提取目标的相关特征，并与目标的外观属性进行匹配，将特征属性符合要求的目标放入当前帧目标列表L；

(4)获取上一帧目标列表L_p，将当前帧目标列表L与上一帧目标列表L_p中的目标进行逐一匹配，根据匹配算法进行两两比较，形成目标匹配矩阵，然后依次从目标匹配矩阵中提取最优值，形成最优匹配列表，匹配之后分三种情况：如果目标T为最优匹配列表中的目标，即在当前帧目标列表L中与上一帧目标列表L_p中均存在目标T，则转入步骤(5)；如果当前帧目标列表L中存在目标T，但上一帧目标列表L_p中没有目标T，则转入步骤(6)；如果当前帧目标列表L中没有目标T，但是上一帧目标列表L_p中存在的目标T，则转入步骤(7)；

(5)将目标T的权值设为目标T在L_p中的权值加上设定的权值步长S，并将目标T从上一帧目标列表L_p中删除，进入步骤(8)；

(6)将目标T设为疑似目标，并将目标T的权值初值设为V_org，进入步骤(8)；

(7)判断目标T的权值是否超过所设定阈值V₁，如果是，则采用目标跟踪算法进行跟踪，得到当前帧的目标，将当前帧的目标的权值设为V_max并加入当前帧目标列表L中，并将目标T从L_p中删除，进入步骤(8)；否则将目标T的权值降低权值步长S，如果降低后的权值大于指定阈值V_min，则加入当前帧目标列表L中，并将目标T从L_p中删除，否则直接将目标T从L_p中删除，进入步骤(8)；

(8)合并L_p至L中，然后找出当前帧目标列表L中所有权值超过所设定阈值V₂的目标，根据无人机的姿态、速度和位置，计算所有目标的位置，并通过无线***输出至地面或者武器；

(9)将当前帧目标列表L作为上一帧目标列表L_p，获取下一视频帧图像，将下一视频帧图像作为当前视频帧图像，转入步骤(2)。

其中，步骤(2)具体包括以下步骤：

(2.1)对当前视频帧图像进行滤波；

(2.2)使用canny算子得到当前视频帧图像的边缘；

(2.3)计算所有边缘的外接矩形；

(2.4)寻找所有边缘最长的20条边缘，并分为2组，最长的10条，其他10条；

(2.5)在2组中各选5条，组合出10条边缘，确保选出来的10条边的外接矩形面积最小；

(2.6)找到的最小外接矩形即为背景区域。

其中，步骤(4)中将当前帧目标列表L与上一帧目标列表L_p中的目标进行逐一匹配，根据匹配算法进行两两比较，形成目标匹配矩阵，然后依次从目标匹配矩阵中提取最优值，形成最优匹配列表，具体为：

(4.1)建立匹配矩阵M，其列数为当前帧目标列表L中数据个数，行数为上一帧目标列表L_p中数据个数，或者行数为当前帧目标列表L中数据个数，列数为上一帧目标列表L_p中数据个数；

(4.2)矩阵所有初始值为一个不可能出现的权值S；

(4.3)对当前帧目标列表L中的所有目标与上一帧目标列表L_p中的所有目标逐一匹配，将列表L中的任一目标T_l与列表L_p中的任一目标T_p的匹配值V作为匹配矩阵M中对应位置的权值，得到目标匹配矩阵；

(4.4)从目标匹配矩阵中取优于阈值T1的最优值，提取出行号和列号，认为匹配正确，并将它所在的行和列的其他权值赋值为S；

(4.5)重复步骤(4.4)，直到矩阵中没有优于阈值T1的权值，将匹配正确的目标形成最优匹配列表。

其中，步骤(4.3)中列表L中的任一目标T_l与列表L_p中的任一目标T_p的匹配值V的具体计算方法如下：

(4.3.1)位置比较：如果位置间隔大于目标的外观属性中定义的最大间隔d，则权值为设定值V₁，如果位置间隔为外观属性中定义的最小间隔，则权值为设定值V₂；如果位置间隔在最大间隔与最小间隔之间，则线性赋值；

(4.3.2)面积比较：如果面积比例值为外观属性中定义的最小面积，则权值为设定值V₃；如果面积比例值大于外观属性中定义的最大面积，则权值为设定值V₄；如果面积比例值在最小面积和最大面积之间，则线性赋值；

(4.3.3)长宽比比较：如果长宽比相同，则权值为设定值V₅；如果长宽比值大于外观属性中定义的最大长宽比，则权值为设定值V₆；如果长宽比在1与最大长宽比之间，则线性赋值；

(4.3.4)均值比较：采用亮度均值，如果均值差为0，则权值为设定值V₇；如果均值差在外观属性中定义的最大亮度均值以上，则权值为设定值V₈；如果均值差在0与最大亮度均值之间，则线性赋值；

(4.3.5)方差比较：采用亮度方差，如果方差之差为0，则权值为设定值V₉；如果方差差值在外观属性中定义的最大亮度方差以上，则权值为设定值V₁₀；如果方差之差在0与最大亮度方差之间，则线性赋值；

(4.3.6)综合权值：将上述权值取平均，得到两两比较的目标匹配矩阵。

本发明与背景技术相比具有如下优点：

1本发明针对特定目标同时使用自动检测与跟踪相结合的算法框架，实现了目标自动发现及跟踪。

2本发明在部分目标检测过程中采用先检测背景，再检测目标的方法，减少搜索量。

3本发明实现了机载图像实时目标检测与跟踪处理。

附图说明

图1是本发明实施例的工作流程图。

图2为检测区域与跟踪区域的正常情况示意图。

图3为镜头倾斜情况示意图。

图4为无跟踪区域情况示意图。

具体实施方式

本发明实施例的工作流程如图1所示，下面结合附图1本发明技术方案中所涉及的各个细节问题作进一步描述。应指出的是，所描述的实施例仅旨在便于对本发明的理解而不起任何限定作用。

(1)初始化。

(1.1)将视频帧图像定义检测区域和跟踪区域矩形框。假设无人机速度为v1，目标运动速度为v2，则目标在画面中的最大移动距离为d＝(v1+v2)*t，(其中t为视频帧图像采样时间间隔)，视频帧图像的视角范围为d1×d2，配合无人机参数，可以算出检测区域在图像中的位置，见图2所示，当视角倾斜的时候，这种情况下可以使用图3的矩形区域作为跟踪区域。原则上，在计算能力足够的请框下，设定的跟踪区域应小于实际计算处理的区域，如上述参数不确定或者机载设备计算能力足够，可以将整个画面都定义为检测区域，如图4所示。

(1.2)定义目标外观属性。定义目标外观属性的目的主要是为了减少目标虚警，在实施过程中采用了目标在图像中的最小长度、最大长度、最小宽度、最大宽度、最小面积、最大面积、最小长宽比、最大长宽比、最大亮度方差、最大亮度均值等。在本实施例中通过预先训练的目标得到，并将所有大值放大至1.2倍，小值缩小至0.8倍。

(2)背景区域检测。本实施例跟踪的目标为车辆，对于车辆，即其背景区域为道路。道路的快速检测算法如下：

(2.1)对图像进行滤波；

(2.2)使用canny算子得到图像的边缘；

(2.3)计算所有边缘的外接矩形；

(2.4)寻找所有边缘最长的20条边缘，并分为2组，最长的10条，其他10条；

(2.5)在2组中各选5条，组合出10条边缘，确保选出来的10条边的外接矩形面积最小。

(2.6)找到的最小外接矩形即定义为道路区。

(3)如果当前视频帧图像为第一帧，在整幅当前视频帧图像中进行目标检测；否则，在当前视频帧图像的目标检测区域与背景区域的相交区域进行目标检测。检测出目标后提取目标的统计特性，包括形状属性、特征点、颜色属性、灰度方差、背景属性等，经过属性比对，形状属性符合要求的放入当前帧目标列表L。

(3.1)目标检测算法，采用opencv2.4.13自带的CascadeClassifier(该算法为基于学习的算法，需要按照opencv提供的工具和文档预先进行样本学习)

(3.2)提取目标的特征，包括点特征(SIFT点)、外接矩形的长度、宽度、面积、长宽比、亮度的最高值、最低值、以及对应像素所在的位置。

(3.3)根据已有统计结果，与1.2定义目标外观属性统计结果进行比较，将属性明显不符合要求的目标进行过滤，符合要求的目标作为正确目标放入当前帧目标列表L。

(4)获取上一帧目标列表L_p，将当前帧目标列表L与上一帧目标列表L_p中的目标进行逐一匹配，根据匹配算法进行两两比较，形成目标匹配矩阵，然后依次从目标匹配矩阵中提取最优值，形成最优匹配列表，匹配之后分三种情况：如果目标T为最优匹配列表中的目标，即在当前帧目标列表L中与上一帧目标列表L_p中均存在目标T，则转入步骤(5)；如果当前帧目标列表L中存在目标T，但上一帧目标列表L_p中没有目标T，则转入步骤(6)；如果当前帧目标列表L中没有目标T，但是上一帧目标列表L_p中存在的目标T，则转入步骤(7)；具体为：

(4.1)建立匹配矩阵，其列数为当前帧目标L中数据个数，行数为上一帧目标列表L_p中数据个数，或者行数为当前帧目标列表L中数据个数，列数为上一帧目标列表L_p中数据个数；

矩阵的初始权值均为-1。然后开始两两比较，假设L中的目标序号为c，L_p中的目标序号为r；

(4.2)位置比较：如果位置间隔大于(1.1)中的d，则权值为0，如果位置间隔为0，则为1.5；在d～0之间，线性赋值；(线性赋值是通过线性函数进行赋值，线性函数的两个端点为0,1.5和d，0)；

(4.2)面积比较：如果面积比例值为1，权值为1；大于10权值为0；在10～1之间，线性赋值；

(4.3)长宽比比较：如果长宽比相同，权值为1,；如果长宽比值大于10倍，权值为0；1～10之间，线性赋值；

(4.4)均值比较：采用亮度均值，如果均值差为0，权值为1；如果均值差在50以上，权值为0；0～50之间，线性赋值；

(4.5)方差比较：采用亮度方差，如果方差之差为0，权值为1；如果方差差值在20以上，权值为0；0～50之间，线性赋值；

(4.6)综合得分：将上述权值取平均，得到两两比较的目标匹配矩阵；

(4.7)从目标匹配矩阵中取大于阈值T1的最大值，提取出行号和列号，认为匹配正确，并将它所在的行和列的其他值赋值为-1；

(4.8)重复步骤(4.7)，直到矩阵中没有权值大于阈值T1的值，将匹配正确的目标形成最优匹配列表。

(5)将目标T的权值设为目标T在L_p中的权值加上设定的权值步长S，并将目标T从上一帧目标列表L_p中删除，进入步骤(8)；

(6)将目标T设为疑似目标，并将目标T的权值初值设为V_org，进入步骤(8)；

(7)判断目标T的权值是否超过所设定阈值V₁，如果是，则采用目标跟踪算法进行跟踪，得到当前帧的目标，将当前帧的目标的权值设为V_max并加入当前帧目标列表L中，并将目标T从L_p中删除，进入步骤(8)；否则将目标T的权值降低权值步长S，如果降低后的权值大于指定阈值V_min，则加入目标列表L中，并将目标T从L_p中删除，否则直接将目标T从L_p中删除，进入步骤(8)；

(8)合并L_p至L中，然后找出当前帧目标列表L中所有权值超过所设定阈值V₂的目标，根据无人机的姿态、速度和位置，计算所有目标的位置，并通过无线***输出至地面或者武器；

(8.1)计算地球坐标系到当地地理坐标系的坐标变换

其变换矩阵R1为：R₁＝R_x ^T(-(90°-B₀))R_z ^T(90°+L₀)

本式和以下各式中的Rx(θ)，Ry(θ)，Rz(θ)，分别表示绕X轴、Y轴和Z轴旋转θ角的坐标旋转矩阵。B0表示飞机当前纬度，L0表示飞机经度。

(8.2)计算当地地理坐标系到机体坐标系的坐标变换

其变换矩阵R2为：

其中，ψ为航向角，θ为俯仰角，γ为横滚角。

(8.3)计算当机体坐标系到平台坐标系的坐标变换

其变换矩阵R3为：R₃＝R_z(ζ)R_y(η)

其中，η为方位角，ζ平台滚动角。

(8.4)计算平台坐标系到相机坐标系的坐标变换

其变换矩阵R4为：R₄＝R_z(β_c)R_x(α_c)

(8.5)计算相机坐标系到地球坐标系的转换，利用上述变换矩阵得：

(9)将当前帧目标列表L作为上一帧目标列表L_p，获取下一视频帧图像，将下一视频帧图像作为当前视频帧图像，转入步骤(2)。

尽管本发明之最佳实施方式说明了本发明，然而可以理解的是，在不背离权利要求书所规定值发明实质的前提下，可以对本发明做某些修改。

Claims (4)

1.一种实时无人机视频目标检测与跟踪方法，其特征在于，包括以下步骤：

(1)初始化：将视频帧图像分为检测区域和跟踪区域，并定义目标的外观属性；所述的跟踪区域是当前视频帧图像与上一视频帧图像交叠的区域，其他区域为检测区域；极限情况下跟踪区域面积为0；

(2)对当前视频帧图像进行背景区域检测；

(3)如果当前视频帧图像为第一帧，则在整幅当前视频帧图像中进行目标检测；否则，在当前视频帧图像的检测区域与背景区域的相交区域进行目标检测；目标检测之后提取目标的相关特征，并与目标的外观属性进行匹配，将特征属性符合要求的目标放入当前帧目标列表L；

(4)获取上一帧目标列表L_p，将当前帧目标列表L与上一帧目标列表L_p中的目标进行逐一匹配，根据匹配算法进行两两比较，形成目标匹配矩阵，然后依次从目标匹配矩阵中提取最优值，形成最优匹配列表，匹配之后分三种情况：如果目标T为最优匹配列表中的目标，即在当前帧目标列表L中与上一帧目标列表L_p中均存在目标T，则转入步骤(5)；如果当前帧目标列表L中存在目标T，但上一帧目标列表L_p中没有目标T，则转入步骤(6)；如果当前帧目标列表L中没有目标T，但是上一帧目标列表L_p中存在的目标T，则转入步骤(7)；

(5)将目标T的权值设为目标T在L_p中的权值加上设定的权值步长S，并将目标T从上一帧目标列表L_p中删除，进入步骤(8)；

(6)将目标T设为疑似目标，并将目标T的权值初值设为V_org，进入步骤(8)；

(7)判断目标T的权值是否超过所设定阈值V₁，如果是，则采用目标跟踪算法进行跟踪，得到当前帧的目标，将当前帧的目标的权值设为V_max并加入当前帧目标列表L中，并将目标T从L_p中删除，进入步骤(8)；否则将目标T的权值降低权值步长S，如果降低后的权值大于指定阈值V_min，则加入当前帧目标列表L中，并将目标T从L_p中删除，否则直接将目标T从L_p中删除，进入步骤(8)；

(8)合并L_p至L中，然后找出当前帧目标列表L中所有权值超过所设定阈值V₂的目标，根据无人机的姿态、速度和位置，计算所有目标的位置，并通过无线***输出至地面或者武器；

(9)将当前帧目标列表L作为上一帧目标列表L_p，获取下一视频帧图像，将下一视频帧图像作为当前视频帧图像，转入步骤(2)。

2.根据权利要求1所述的一种实时无人机视频目标检测与跟踪方法，其特征在于：步骤(2)具体包括以下步骤：

(2.1)对当前视频帧图像进行滤波；

(2.2)使用canny算子得到当前视频帧图像的边缘；

(2.3)计算所有边缘的外接矩形；

(2.4)寻找所有边缘最长的20条边缘，并分为2组，最长的10条，其他10条；

(2.5)在2组中各选5条，组合出10条边缘，确保选出来的10条边的外接矩形面积最小；

(2.6)找到的最小外接矩形即为背景区域。

3.根据权利要求1所述的一种实时无人机视频目标检测与跟踪方法，其特征在于：步骤(4)中将当前帧目标列表L与上一帧目标列表L_p中的目标进行逐一匹配，根据匹配算法进行两两比较，形成目标匹配矩阵，然后依次从目标匹配矩阵中提取最优值，形成最优匹配列表，具体包括以下步骤：

(4.1)建立匹配矩阵M，其列数为当前帧目标列表L中数据个数，行数为上一帧目标列表L_p中数据个数，或者行数为当前帧目标列表L中数据个数，列数为上一帧目标列表L_p中数据个数；

(4.2)矩阵所有初始值为一个设定权值S；

(4.3)对当前帧目标列表L中的所有目标与上一帧目标列表L_p中的所有目标逐一匹配，将列表L中的任一目标T_l与列表L_p中的任一目标T_p的匹配值V作为匹配矩阵M中对应位置的权值，得到目标匹配矩阵；

(4.4)从目标匹配矩阵中取优于阈值T1的最优值，提取出行号和列号，认为匹配正确，并将它所在的行和列的其他权值赋值为S；

(4.5)重复步骤(4.4)，直到矩阵中没有优于阈值T1的权值，将匹配正确的目标形成最优匹配列表。

4.根据权利要求3所述的一种实时无人机视频目标检测与跟踪方法，其特征在于：步骤(4.3)中列表L中的任一目标T_l与列表L_p中的任一目标T_p的匹配值V的具体计算方法如下：

(4.3.1)位置比较：如果位置间隔大于目标的外观属性中定义的最大间隔d，则权值为设定值V₁，如果位置间隔为外观属性中定义的最小间隔，则权值为设定值V₂；如果位置间隔在最大间隔与最小间隔之间，则线性赋值；

(4.3.2)面积比较：如果面积比例值为外观属性中定义的最小面积，则权值为设定值V₃；如果面积比例值大于外观属性中定义的最大面积，则权值为设定值V₄；如果面积比例值在最小面积和最大面积之间，则线性赋值；

(4.3.3)长宽比比较：如果长宽比相同，则权值为设定值V₅；如果长宽比值大于外观属性中定义的最大长宽比，则权值为设定值V₆；如果长宽比在1与最大长宽比之间，则线性赋值；

(4.3.4)均值比较：采用亮度均值，如果均值差为0，则权值为设定值V₇；如果均值差在外观属性中定义的最大亮度均值以上，则权值为设定值V₈；如果均值差在0与最大亮度均值之间，则线性赋值；

(4.3.5)方差比较：采用亮度方差，如果方差之差为0，则权值为设定值V₉；如果方差差值在外观属性中定义的最大亮度方差以上，则权值为设定值V₁₀；如果方差之差在0与最大亮度方差之间，则线性赋值；

(4.3.6)综合权值：将上述权值取平均，得到两两比较的目标匹配矩阵。