CN105957109A - 目标跟踪方法和装置 - Google Patents

Abstract

本发明涉及一种目标跟踪方法和装置，其中，该目标跟踪方法包括：采用跟踪学***台，能够实现无人机对拍摄目标的实时有效跟踪。

Description

目标跟踪方法和装置

技术领域

本发明涉及视觉跟踪领域，尤其涉及一种目标跟踪方法和装置。

背景技术

无人驾驶飞行器(通常也简称为无人机)在飞行过程中，可以根据用户在手持客户端上面选定目标，然后根据跟踪目标，给出无人机飞行策略。

目前，当目标被树木，房屋，彩旗等物体遮挡后再出现时候，采用现在的视频追踪技术无法再继续追踪目标，会导致目标消失，并且对无人机的飞行策略产生较大的影响。

发明内容

技术问题

有鉴于此，本发明要解决的技术问题是，如何控制无人机有效跟踪目标。

解决方案

为了解决上述技术问题，根据本发明的一实施例，提供了一种目标跟踪方法，包括：

采用跟踪学习检测算法对被跟踪目标进行跟踪，以判断所述被跟踪目标是否处于无人驾驶飞行器的拍摄视野内；

在所述被跟踪目标从所述拍摄视野内消失的情况下，向所述无人驾驶飞行器发送状态调整控制命令，以调整所述无人驾驶飞行器的跟踪拍摄状态。

对于上述方法，在一种可能的实现方式中，还包括：

在所述被跟踪目标再次出现在所述拍摄视野内的情况下，采用所述跟踪学习检测算法继续对所述被跟踪目标进行跟踪。

对于上述方法，在一种可能的实现方式中，还包括：

在所述被跟踪目标从所述拍摄视野内消失的时间间隔超出设定时间间隔的情况下，判定本次跟踪失败。

对于上述方法，在一种可能的实现方式中，在所述被跟踪目标从所述拍摄视野内消失的情况下，向所述无人驾驶飞行器发送状态调整控制命令，以调整所述无人驾驶飞行器的跟踪拍摄状态，包括：

向所述无人驾驶飞行器的云台控制模块发送旋转控制命令，以调整所述无人驾驶飞行器的云台的旋转角度；或

向所述无人驾驶飞行器的飞控模块发送飞行控制命令，调整所述无人驾驶飞行器的飞行动作。

对于上述方法，在一种可能的实现方式中，所述跟踪学习检测算法通过移动图形处理单元来处理。

对于上述方法，在一种可能的实现方式中，采用跟踪学习检测算法对所拍摄的被跟踪目标进行跟踪，以判断所述被跟踪目标是否处于无人驾驶飞行器的拍摄视野内，包括：

检测模块根据已经训练得到的目标模型，在当前帧图像检测得到与所述被跟踪目标特征相符合的多个图像区域；

跟踪模块在所拍摄的所述被跟踪目标的视频流中，跟踪得到所述被跟踪目标在连续的帧图像之间的运动状态，并根据所述运动状态在所述检测模块所确定的多个图像区域中确定所述被跟踪目标在所述当前帧图像的位置，以判断所述被跟踪目标是否处于所述无人驾驶飞行器的拍摄视野内；

学习模块采用PN学习算法根据所述检测模块与所述跟踪模块的结果确定最新的训练样本，并采用最新的训练样本更新所述目标模型。

根据本发明的另一实施例，还提供了一种目标跟踪装置，包括：

跟踪学习检测单元，用于采用跟踪学习检测算法对被跟踪目标进行跟踪，以判断所述被跟踪目标是否处于无人驾驶飞行器的拍摄视野内；

调整控制单元，用于在所述被跟踪目标从所述拍摄视野内消失的情况下，向所述无人驾驶飞行器发送状态调整控制命令，以调整所述无人驾驶飞行器的跟踪拍摄状态。

对于上述装置，在一种可能的实现方式中，

所述跟踪学习检测单元还用于在所述被跟踪目标再次出现在所述拍摄视野内的情况下，采用所述跟踪学习检测算法继续对所述被跟踪目标进行跟踪。

对于上述装置，在一种可能的实现方式中，还包括：

所述调整控制单元还用于在所述被跟踪目标从所述拍摄视野内消失的时间间隔超出设定时间间隔的情况下，判定本次跟踪失败。

对于上述装置，在一种可能的实现方式中，所述调整控制单元包括：

旋转控制模块，用于向所述无人驾驶飞行器的云台控制模块发送旋转控制命令，以调整所述无人驾驶飞行器的云台的旋转角度；和/或

飞行控制模块，用于向所述无人驾驶飞行器的飞控模块发送飞行控制命令，调整所述无人驾驶飞行器的飞行动作。

对于上述装置，在一种可能的实现方式中，所述跟踪学习检测算法通过移动图形处理单元来执行。

对于上述装置，在一种可能的实现方式中，所述跟踪学习检测单元包括：

检测模块，用于根据已经训练得到的目标模型，在当前帧图像检测得到与所述被跟踪目标特征相符合的多个图像区域；

跟踪模块，与所述检测模块连接，用于在所拍摄的所述被跟踪目标的视频流中，跟踪得到所述被跟踪目标在连续的帧图像之间的运动状态，并根据所述运动状态在所述检测模块所确定的多个图像区域中确定所述被跟踪目标在所述当前帧图像的位置，以判断所述被跟踪目标是否处于所述无人驾驶飞行器的拍摄视野内；

学习模块，与所述检测模块和所述跟踪模块分别连接，用于采用PN学习算法根据所述检测模块与所述跟踪模块的结果确定最新的训练样本，并采用最新的训练样本更新所述目标模型。

有益效果

将跟踪检测学***台，能够实现无人机对拍摄目标的实时有效跟踪。在目标暂时消失的情况下，无人机仍能继续拍摄，如果目标再次出现，则可以继续跟踪。

根据下面参考附图对示例性实施例的详细说明，本发明的其它特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本发明的示例性实施例、特征和方面，并且用于解释本发明的原理。

图1示出根据本发明一实施例的目标跟踪方法的示意图；

图2示出根据本发明一实施例的目标跟踪方法中TLD算法的架构图；

图3示出根据本发明一实施例的目标跟踪方法中TLD算法的运行机制图；

图4示出根据本发明一实施例的目标跟踪方法中学习模块的工作原理示例图；

图5示出根据本发明一实施例的目标跟踪装置的示意图。

具体实施方式

以下将参考附图详细说明本发明的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

另外，为了更好的说明本发明，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本发明同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本发明的主旨。

图1示出根据本发明一实施例的目标跟踪方法的示意图。如图1所示，该目标跟踪方法主要可以包括：

步骤101、采用跟踪学习检测(Tracking-Learning-Detection，TLD)算法对被跟踪目标进行跟踪，以判断所述被跟踪目标是否处于无人驾驶飞行器(简称无人机)的拍摄视野内；

步骤102、在所述被跟踪目标从所述拍摄视野内消失的情况下，向所述无人驾驶飞行器发送状态调整控制命令，以调整所述无人驾驶飞行器的跟踪拍摄状态。

在一种可能的实现方式中，该目标跟踪方法还包括：

步骤103、在所述被跟踪目标再次出现在所述拍摄视野内的情况下，采用所述跟踪学习检测算法继续对所述被跟踪目标进行跟踪。

在一种可能的实现方式中，该目标跟踪方法还包括：

步骤104、在所述被跟踪目标从所述拍摄视野内消失的时间间隔超出设定时间间隔的情况下，判定本次跟踪失败。

在一种可能的实现方式中，步骤101包括：

检测模块根据已经训练得到的目标模型，在当前帧图像检测得到与所述被跟踪目标特征相符合的多个图像区域；

跟踪模块在所拍摄的所述被跟踪目标的视频流中，跟踪得到所述被跟踪目标在连续的帧图像之间的运动状态，并根据所述运动状态在所述检测模块所确定的多个图像区域中确定所述被跟踪目标在所述当前帧图像的位置，以判断所述被跟踪目标是否处于所述无人驾驶飞行器的拍摄视野内；

学习模块采用PN学习算法根据所述检测模块与所述跟踪模块的结果确定最新的训练样本，并采用最新的训练样本更新所述目标模型。

在一种可能的实现方式中，步骤102包括：

向所述无人驾驶飞行器的云台控制模块发送旋转控制命令，以调整所述无人驾驶飞行器的云台的旋转角度；或

向所述无人驾驶飞行器的飞控模块发送飞行控制命令，调整所述无人驾驶飞行器的飞行动作。

具体而言，本实施例的TLD算法可以通过移动图形处理单元(GraphicsProcessing Unit，GPU)来处理。利用移动GPU平台的优势，达到实时的效果，提高运行速度和效率。当目标被遮挡或是消失在当前画面里面，采用TLD算法会根据之前确定的样本，经过学习所生成的特征继续对目标进行检索。当目标重新出现在视野里面时，本算法会继续跟踪，并对目标当前的姿态重新进行训练学习，继而提高跟踪准确率。

例如，在无人机的Tegra x1平台上面对用户选定的目标(被跟踪目标)在视频中进行跟踪，并进行不断的学习，以获取目标最新的外观特征，从而完成实时跟踪，以达到最佳的状态。也就是说，开始时可以只提供一帧静止的目标图像，但随着目标的不断运动，***能持续不断地进行探测，获知目标在角度、距离、景深等方面的改变，并实时识别，经过一段时间的学习之后，目标就再也无法躲过。

其中，TLD可以采用重叠块跟踪策略，单块跟踪可以使用Lucas-Kanade光流法。TLD在跟踪前需要指定被跟踪目标，例如可以由一个矩形框标出。最终整体目标的运动取所有局部块移动的中值，这种局部跟踪策略可以解决局部遮挡的问题。

具体而言，如图2所示，TLD算法通常由三部分组成：跟踪模块21、检测模块22、学习模块23。

如图3所示，TLD算法的详细运行机制为：

检测模块22和跟踪模块21互补干涉的并行进行处理。首先，跟踪模块21假设相邻的视频帧图像之间物体的运动是有限的，且被跟踪目标是可见的，以此来估计目标的运动。如果被跟踪目标在无人机的相机的拍摄视野中消失，将造成本次目标跟踪失败。检测模块22假设每一个视频帧图像都是彼此独立的，并且根据以往检测和学习到的目标模型，如果跟踪失败，则对每一帧图像进行全图搜索以定位目标可能出现的区域。其中，TLD中的检测模块也有可能出现错误，主要包括对目标图像区域的负样本的错误和正样本的错误。而学习模块则根据跟踪模块的结果对检测模块的这两种错误进行评估，并根据评估结果生成训练样本对检测模块的目标模型进行更新，同时对跟踪模块的“关键特征点”进行更新，以此来避免以后出现类似的错误。此外，根据评估结果还可以判断被跟踪目标是否处于无人驾驶飞行器的拍摄视野内。例如，统计正样本或负样本的错误量，如果超出设定阈值，则说明帧图像中被跟踪目标的特征变化与上一帧相比非常多，可以判定被跟踪目标不在拍摄视野内。

其中，学习模块采用PN学习算法对跟踪模块21得到第一图像区域与检测模块22得到的第二图像区域进行评估的过程，采用以下示例进行具体说明。

P-N学习(P-N Learning)。P-N学习是一种半监督的机器学习算法，它针对检测模块对样本分类时产生的两种错误提供了两种“专家”进行纠正：P专家(P-expert)用于检出漏检(false negative，正样本误分为负样本)的正样本；N专家(N-expert)用于改正误检(false positive，负样本误分为正样本)的正样本。

其中，样本的产生方法为：用不同尺寸的扫描窗(scanning grid)对图像进行逐行扫描，每在一个位置就形成一个包围框(bounding box)，包围框所确定的图像区域称为一个图像元(patch)，图像元进入机器学习的样本集就成为一个样本。扫描产生的样本是未标签样本，需要用分类器来分类，确定它的标签。

如果跟踪模块(或称为***)已经确定物体在t+1帧的位置(实际上是确定了相应包围框的位置，即目标位置所在的包围框)，从检测模块(或称为检测器)产生的多个包围框中筛选出10个与目标位置所在的包围框距离最近(特征差异较小)的包围框(两个包围框的交的面积除以并的面积大于0.7)，对每个包围框做微小的仿射变换(平移10％、缩放10％、旋转10°以内)，产生20个图像元，这样就产生200个正样本。再选出若干与目标位置所在的包围框距离较远(特征差异较大)的包围框(交的面积除以并的面积小于0.2)，产生负样本。这样产生的样本是已标签的样本，把这些样本放入训练集，学习模块用最新的训练集来更新分类器的参数(也即更新目标模型)。

P专家的作用是寻找数据在时间上的结构性，它利用跟踪模块(或称为追踪器、或***)的结果预测物体在t+1帧的位置。如果这个位置(包围框)被检测模块分类为负，P专家就把这个位置改为正。也就是说P专家要保证物体在连续帧上出现的位置可以构成连续的轨迹；

N专家的作用是寻找数据在空间上的结构性，它把检测模块产生的和P专家产生的所有正样本进行比较，选择出一个最可信的位置，保证物体最多只出现在一个位置上，把这个位置作为TLD算法的追踪结果。同时这个位置也用来重新初始化跟踪模块。

如图4所示，目标车辆是下面的深色车，每一帧中黑色框是检测模块检测到的正样本，白色框是追踪模块产生的正样本，星号标记的是每一帧最后的追踪结果。在第t帧，检测模块没有发现深色车，但P专家根据跟踪模块的结果认为深色车也是正样本，N专家经过比较，认为深色车的样本更可信，所以把浅色车输出为负样本。第t+1帧的过程与第t帧类似。第t+2帧时，P专家产生了错误的结果，但经过N专家的比较，又把这个结果排除了，算法仍然可以追踪到正确的车辆。

进一步地，当目标被遮挡或是消失在当前帧图像内(也即从拍摄视野消失)，则TLD的检测模块会根据之前确定的样本，以及经过学习所生成的特征继续对目标进行检测。在此过程中，可以向无人机的云台发送旋转控制命令，控制云台旋转一定角度，并继续拍摄，从而可能在目标消失位置的不远处，再次拍摄到该目标。其中，云台旋转角度，可以根据跟踪模块所确定的目标运动状态或运动轨迹来确定。当然，也可以向飞控模块发送飞行控制命令，来调整无人机的飞行动作，并继续拍摄，以有利于再次拍摄到该目标。具体发送与什么飞行动作对应的飞行控制命令，也可以根据跟踪模块所确定的目标运动状态或运动轨迹来确定。

当目标重新出现在无人机的拍摄视野里面时，TLD的跟踪模块会继续跟踪目标，并利用当前拍摄的视频流对目标当前的姿态重新进行训练学习，继而提高后续跟踪的准确率。

本实施例采用TLD算法进行视频跟踪，可以把跟踪、检测、识别结合到一起，在可以搭载到无人机的控制平台例如TEGRA平台上，实现目标的实时跟踪。其中，由于TEGRA GPU的出色并行运算能力，能够使算法的训练和跟踪更加的迅速快捷。例如，在TEGRA X1平台上面，能够充分利用CUDA(Compute Unified Device Architecture，统一计算设备架构)的多线程优势，将每一帧画面分解成多个块。分别对每个块进行检测与学***台优势，将这一算法发挥到极致。

本实施例根据用户选定的无人机所要跟踪的目标，采用TLD算法在视频中跟踪目标，能够在目标被遮挡时，继续追踪目标。此外，利用机器学习原理，并利用移动GPU并行计算的优势，能够提高运算效率和准确率。

图5示出根据本发明一实施例的目标跟踪装置的示意图。如图5所示，该目标跟踪装置主要可以包括：

跟踪学习检测单元41，用于采用跟踪学习检测算法对被跟踪目标进行跟踪，以判断所述被跟踪目标是否处于无人驾驶飞行器的拍摄视野内；

调整控制单元42，与所述跟踪学习检测单元41连接，用于在所述被跟踪目标从所述拍摄视野内消失的情况下，向所述无人驾驶飞行器发送状态调整控制命令，以调整所述无人驾驶飞行器的跟踪拍摄状态。

在一种可能的实现方式中，跟踪学习检测单元41还用于在所述被跟踪目标再次出现在所述拍摄视野内的情况下，采用所述跟踪学习检测算法继续对所述被跟踪目标进行跟踪。

在一种可能的实现方式中，所述调整控制单元42还用于在所述被跟踪目标从所述拍摄视野内消失的时间间隔超出设定时间间隔的情况下，判定本次跟踪失败。

在一种可能的实现方式中，所述调整控制单元42包括：

旋转控制模块，用于向所述无人驾驶飞行器的云台控制模块发送旋转控制命令，以调整所述无人驾驶飞行器的云台的旋转角度；和/或

飞行控制模块，用于向所述无人驾驶飞行器的飞控模块发送飞行控制命令，调整所述无人驾驶飞行器的飞行动作。

在一种可能的实现方式中，所述跟踪学习检测算法通过移动图形处理单元来执行。

在一种可能的实现方式中，参见上一实施例中的图3，所述跟踪学习检测单元41包括：

检测模块22，用于根据已经训练得到的目标模型，在当前帧图像检测得到与所述被跟踪目标特征相符合的多个图像区域；

跟踪模块21，与所述检测模块22连接，用于在所拍摄的所述被跟踪目标的视频流中，跟踪得到所述被跟踪目标在连续的帧图像之间的运动状态，并根据所述运动状态在所述检测模块所确定的多个图像区域中确定所述被跟踪目标在所述当前帧图像的位置，以判断所述被跟踪目标是否处于所述无人驾驶飞行器的拍摄视野内；

学习模块23，与所述检测模块22和所述跟踪模块21分别连接，用于采用PN学习算法根据所述检测模块22与所述跟踪模块21的结果确定最新的训练样本，并采用最新的训练样本更新所述目标模型。

此外，学习模块23可以根据所述检测模块22与所述跟踪模块21的结果，更新训练样本，从而更新检测模块所使用的目标模型。如果判定被跟踪目标不处于拍摄视野内，则可以向无人机发送控制命令，以使得无人机对目标消失位置的附近继续拍摄，从而在目标再次出现时，以及继续跟踪到该目标。

其中，TLD算法的原理和具体示例，可以参见上一实施例中的相关描述。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种目标跟踪方法，其特征在于，包括：

采用跟踪学习检测算法对被跟踪目标进行跟踪，以判断所述被跟踪目标是否处于无人驾驶飞行器的拍摄视野内；

在所述被跟踪目标从所述拍摄视野内消失的情况下，向所述无人驾驶飞行器发送状态调整控制命令，以调整所述无人驾驶飞行器的跟踪拍摄状态。

2.根据权利要求1所述的方法，其特征在于，还包括：

在所述被跟踪目标再次出现在所述拍摄视野内的情况下，采用所述跟踪学习检测算法继续对所述被跟踪目标进行跟踪。

3.根据权利要求1所述的方法，其特征在于，还包括：

在所述被跟踪目标从所述拍摄视野内消失的时间间隔超出设定时间间隔的情况下，判定本次跟踪失败。

4.根据权利要求1至3中任一项所述的方法，其特征在于，在所述被跟踪目标从所述拍摄视野内消失的情况下，向所述无人驾驶飞行器发送状态调整控制命令，以调整所述无人驾驶飞行器的跟踪拍摄状态，包括：

向所述无人驾驶飞行器的云台控制模块发送旋转控制命令，以调整所述无人驾驶飞行器的云台的旋转角度；或

向所述无人驾驶飞行器的飞控模块发送飞行控制命令，调整所述无人驾驶飞行器的飞行动作。

5.根据权利要求1至3中任一项所述的方法，其特征在于，所述跟踪学习检测算法通过移动图形处理单元来处理。

6.根据权利要求1至3中任一项所述的方法，其特征在于，采用跟踪学习检测算法对所拍摄的被跟踪目标进行跟踪，以判断所述被跟踪目标是否处于无人驾驶飞行器的拍摄视野内，包括：

检测模块根据已经训练得到的目标模型，在当前帧图像检测得到与所述被跟踪目标特征相符合的多个图像区域；

跟踪模块在所拍摄的所述被跟踪目标的视频流中，跟踪得到所述被跟踪目标在连续的帧图像之间的运动状态，并根据所述运动状态在所述检测模块所确定的多个图像区域中确定所述被跟踪目标在所述当前帧图像的位置，以判断所述被跟踪目标是否处于所述无人驾驶飞行器的拍摄视野内；

学习模块采用PN学习算法根据所述检测模块与所述跟踪模块的结果确定最新的训练样本，并采用最新的训练样本更新所述目标模型。

7.一种目标跟踪装置，其特征在于，包括：

跟踪学习检测单元，用于采用跟踪学习检测算法对被跟踪目标进行跟踪，以判断所述被跟踪目标是否处于无人驾驶飞行器的拍摄视野内；

调整控制单元，用于在所述被跟踪目标从所述拍摄视野内消失的情况下，向所述无人驾驶飞行器发送状态调整控制命令，以调整所述无人驾驶飞行器的跟踪拍摄状态。

8.根据权利要求7所述的装置，其特征在于，

所述跟踪学习检测单元还用于在所述被跟踪目标再次出现在所述拍摄视野内的情况下，采用所述跟踪学习检测算法继续对所述被跟踪目标进行跟踪。

9.根据权利要求7所述的装置，其特征在于，还包括：

所述调整控制单元还用于在所述被跟踪目标从所述拍摄视野内消失的时间间隔超出设定时间间隔的情况下，判定本次跟踪失败。

10.根据权利要求7至9中任一项所述的装置，其特征在于，所述调整控制单元包括：

旋转控制模块，用于向所述无人驾驶飞行器的云台控制模块发送旋转控制命令，以调整所述无人驾驶飞行器的云台的旋转角度；和/或

飞行控制模块，用于向所述无人驾驶飞行器的飞控模块发送飞行控制命令，调整所述无人驾驶飞行器的飞行动作。

11.根据权利要求7至9中任一项所述的装置，其特征在于，所述跟踪学习检测算法通过移动图形处理单元来执行。

12.根据权利要求7至9中任一项所述的装置，其特征在于，所述跟踪学习检测单元包括：

检测模块，用于根据已经训练得到的目标模型，在当前帧图像检测得到与所述被跟踪目标特征相符合的多个图像区域；

跟踪模块，与所述检测模块连接，用于在所拍摄的所述被跟踪目标的视频流中，跟踪得到所述被跟踪目标在连续的帧图像之间的运动状态，并根据所述运动状态在所述检测模块所确定的多个图像区域中确定所述被跟踪目标在所述当前帧图像的位置，以判断所述被跟踪目标是否处于所述无人驾驶飞行器的拍摄视野内；

学习模块，与所述检测模块和所述跟踪模块分别连接，用于采用PN学习算法根据所述检测模块与所述跟踪模块的结果确定最新的训练样本，并采用最新的训练样本更新所述目标模型。