CN110009060A - 一种基于相关滤波与目标检测的鲁棒性长期跟踪方法 - Google Patents

Abstract

本发明提供一种基于相关滤波与目标检测的鲁棒性长期跟踪方法，属于目标跟踪领域。该方法利用了深度特征向量来获得跟踪结果可信度，并使用一个预设的置信度阈值来决定是否激活检测器。当检测器被激活时，它将选择当前帧中的所有目标。利用一个多级筛选机制来获得所有候选结果中最可靠的那个结果。一旦获得新的目标，置信度模板将被更新。本方法能够通过定时更新跟踪中的模板解决跟踪中环境物体的干扰。

Description

一种基于相关滤波与目标检测的鲁棒性长期跟踪方法

技术领域

本发明属于目标跟踪领域，具体涉及一种基于相关滤波与目标检测的鲁棒性长期跟踪方法。

背景技术

目前，研究者利用循环矩阵的性质，在频域上解决了脊回归问题，大大加快了相关滤波的速度。但这些滤波算法更倾向于采用HOG特征和灰度特征等人工特征提取算法。这种特征提取算子手动设置描述图像的能力是有限的，这就导致了跟踪算法速度快，但一般精度不是很好。深度特征的自适应解决了图像特征描述不足的问题。FCNT算法详细分析了不同卷积层的特征，高层语义特征适合定位。低层次的细节特征适合于区分物体。因此，在KCF相关滤波跟踪中，为了提高目标跟踪的精度，增加了深度特征。

现有的相关滤波算法，一般的工作框架可以总结如下：

1)相关滤波器是根据从视频的第一帧中目标位置提取的图像块中训练、学习得到的；

2)对于随后的每一帧，从上一帧目标位置的区域提取图像块用来检测；

3)可以从原始的输入数据中提取大量特征，通常会上一个余弦函数对结果进行平滑；

4)利用余弦傅里叶变换类替代卷积操作，会使计算效率大幅提升；

5)通过傅里叶变换之后可得到响应图谱，具有最大响应值的位置就是要预测的目标的位置；

6)提取估计位置的目标的外观，用来训练和更新相关滤波器。

在跟踪过程中，如果某一帧的跟踪位置发生了偏移，接下来的一帧会在该位置的基础上进行采样。随着帧数增加，就有可能导致偏移的加大甚至脱离目标，影响算法的精度和稳定性。在长期跟踪中，这种问题尤为严重。

为了要解决这个问题，需要在跟踪发生偏移时及时更新模板，从而消除偏移对之后的影响。因此，在采用了深度特征的KCF中加入一个检测器，在提高精度的同时消除偏移的影响。本发明引入了YOLO检测算法，相比传统的Faster R-CNN等算法，YOLO在精度略有优势的情况下实现了速度的极大提升。其核心是在特征图上采用卷积核来预测一系列类别分数、偏移量。

在跟踪中，本发明利用相关归一化算法计算当前帧的跟踪目标与给定模板的相似度，确定跟踪目标当前帧的置信度并设定一个置信度较低的范围。如果当前帧的置信度进入此范围，就认为目前的跟踪出现了偏移。然后，开始调用YOLO对当前帧进行检测，之后将YOLO的检测结果作为新的模板，对原模板进行更新，完成了模型的自我调整。

发明内容

本发明旨在解决现有技术存在的问题，提供一种基于相关滤波与目标检测的鲁棒性长期跟踪方法。

本发明的技术方案：

一种基于相关滤波与目标检测的鲁棒性长期跟踪方法，利用了深度特征向量来获得跟踪结果可信度，并使用一个预设的置信度阈值来决定是否激活检测器。当YOLO被激活时，它将选择当前帧中的所有目标。利用一个多级筛选机制来获得所有候选结果中最可靠的那个结果。当获得新的目标时，置信度模板将被更新。具体步骤如下：

步骤一、获得当前帧的图像，从图像中提取HOG特征和CNN特征；

步骤二、将步骤一得到的HOG特征和CNN特征输入基于RLS(最小二乘)分类器的相关滤波器中，对相关滤波器进行训练；具体步骤如下：

(一)构建RLS分类器

相关滤波目标跟踪算法采用正则化最小二乘分类器(RLS分类器)来预测目标的位置。

对于所有训练样本X和期望输出Y，RLS分类器的权值W由公式(1)得到，对应的标签数据用高斯函数表述为公式(2)：

其中，f是分类函数，λ是为了避免过拟合的正则化系数，x_i和y_i分别代表训练样本和期望输出；i表示每个样本的序号；ω是防止过拟合的正则化项；y(m，n)表示物体在模板中的位置；(m,n)表示横纵坐标；M×N表示定义模板的大小；σ为高斯核的带宽；在实际应用中，将特征空间映射到高维空间可以获得更好的分类性能。当分类函数是时，分类器的权值向量表示为：

那么优化目标表示为：

a＝{a₁，a₂，...}^T (4)

使用核化函数，得到：

a＝(K+λI)^-1P (5)

其中，I是一个单位矩阵，表示第i个特征的非线性映射函数；P表示向量x的类向量；K是核化矩阵，表示为：

使用密集采样算法，将公式(6)转换为傅里叶频域：

其中，表示训练样本预测位置的分类器参数；表示期望的标签数据；表示物体预测输出响应；

选择高斯核作为核函数；计算公式为:

其中，F代表傅里叶变换，k^xx′表示物体预测位置和实际位置的输出响应；x表示物体的预测位置；x′表示标签数据中图像的实际位置；⊙表示计算两个信号之间的相关性。

(二)收集搜索区域内的所有位置作为测试样本，并计算所有测试样本的响应输出，将运动目标的新位置定义为具有最大响应输出的位置。具体如下：

(2.1)对于给定的测试样本z，分类器的响应输出f(z)计算为

在计算所有测试样本的响应输出时，添加密集采样算法，即在傅里叶域中对每个测试样本进行核运算，计算出所有测试样本的分类器响应输出向量为：

其中，表示计算两个信号的相关性；

(2.2)选择响应向量f(Z)的所有测试样本中响应值最大的位置作为目标的下一个预测位置。

(2.3)采用线性插值法实时更新目标的外观模型参数与分类器参数

其中，n是当前帧的序号，γ是学习率，表示预测位置的外观模型参数，表示由式(7)得到的训练样本预测位置的分类器参数。

步骤三、利用深度特征向量来获得跟踪结果可信度，并使用一个预设的置信度阈值来决定是否激活YOLO v2检测器。

(3.1)置信度的确定

将置信问题转化为图像匹配问题。图像匹配程度越高，表示可信度越高。利用灰度相关匹配和基于特征的匹配相结合的图像匹配算法，并引入SURF特征点匹配方法，达到图像匹配的目的：SURF与Sift特征点匹配相似，通过计算两个特征点之间的欧氏距离来确定匹配程度。欧氏距离越短表示两个特征点的匹配度越高。与Sift特征点匹配方法的不同之处在于SURF增加了对黑森矩阵轨迹的判断。当两个特征点的矩阵轨迹相同时，则表示这两个特征具有相同的方向对比度变化。当矩阵不同时，则表示两个特征点的对比度方向相反。通过SURF特征点匹配格式，学***。

采用更新的方法来确定比较模板：首先，将第一帧设置为当前模板。一旦检测器被激活，算法会将检测器给出的结果与***给出的结果进行比较，并选择可信度高的结果来更新模板。

(3.2)检测器是否将被激活的判断

首先，根据实验结果确定了置信水平的上下限范围。当置信水平高于上限时，说明算法仍然在跟踪正确的目标，不需要激活检测器。否则，当置信水平低于设置的下限时，检测器将被激活。然而，置信水平在上下限之间，有两种可能的结果：

(A)目标发生漂移，但它不是完全丢失。

(B)跟踪目标是被其他对象遮掩。

对于结果(A)，通过激活检测器来确定要跟踪的目标，并设计三级级联选择机制来选择最可靠的目标：首先，考虑物体运动的连续相关性，即当前帧与下一帧的目标不存在过大的距离偏移，筛去距离前帧目标过远的检测物体。其次，考虑被跟踪物体的结构合理性，每两帧之间的尺度变化不会过大，进一步筛去部分尺度变化大的检测物体。最后，对剩余检测目标的特征图提取出来，使用SURF函数与第一帧的模板特征图进行对比，选取相似度最高的物体作为检测器的输出。此结果再与***的输出结果进行对比，决定是否采用。

对于结果(B)，当物体主体被遮掩时，算法的跟踪目标中必然包含大量的背景信息，此时，***与检测器给出的输出，置信度都会很低，设定***与检测器给出的输出结果的置信度都低于上限时，则目标被遮挡。此时，***继续工作，但检测器不会被调用，直到物体遮挡结束，置信度回升，再调用检测器进行更新。

(3.3)尺度问题

对于跟踪算法中的尺度问题。当物体的尺度发生改变时，由于背景信息的掺杂使得跟踪的置信度降低，从而调用检测器来更新模板。通过检测器的检测，使得目标的尺度调整到合适的大小。

本发明的有益效果：

1)我们在相关滤波跟踪中加入了CNN特征，并提取出了三层特征图。通过对比他们与模板的相似度，来得到当前跟踪结果的可信度。

2)我们在跟踪算法中引入了一种独立的检测算法，来解决跟踪中的漂移问题，提升算法的鲁棒性。

3)我们通过实验，设置了置信度的阈值，并训练我们的模型使它面对不同置信度时候采取不同的行动。

4)我们设置了一套模板更新机制，通过定时更新跟踪中的模板解决跟踪中环境物体的干扰。

附图说明

图1为YOLOv2的结果图。

图2为检测器的调用流程图。

图3为长期跟踪算法的流程图。

图4为OPE对比结果图。其中，(a)为各种情况下得到的算法综合准确度；(b)为在图像发生重叠障碍时算法的综合跟踪成功率。

图5为各种场景下的算法性能图。其中，(a)为在快速运动的数据集中的算法准确度；(b)为在模糊背景的数据集中的算法准确度；(c)为在光线变化的数据集中的算法准确度；(d)为在平面旋转的数据集中的算法准确度；(e)为在模糊运动的数据集中的算法准确度；(f)为在部分遮挡的数据集中的算法准确度；(g)为在目标部分脱离视野的数据集中的算法准确度；(h)为在尺度变化的数据集中的算法准确度。

图6为应用算法实例的效果图。其中，(a)、(b)、(c)分别为未使用算法前的三种跟踪效果图，(d)、(e)、(f)分别为使用本算法后的三种跟踪效果图。

图7为实施例中在云端进行模型训练的架构。

具体实施方式

1.实验数据集

在跟踪算法领域，短期跟踪算法有很多种评价标准。但是，长期跟踪算法却缺乏一系列标准。短期跟踪算法评价标准的一般为OTB和VOT两种数据集。但是VOT中的序列太短，无法对长期跟踪算法进行评价。相比之下，OTB更合适作为长期跟踪的测试集。

2.对比算法

是目前经典的跟踪算法有TLD和LCT。TLD的跟踪组件是基于中间流***的，TLD的检测器是最近邻分类器。LCT算法对跟踪检测部分进行了升级。LCT采用基于HOG特征的核化相关滤波器作为***，SVM作为检测器。与LCT相比，TLD不能很好地工作。所以我们没有与TLD进行比较。此外，我们还将我们的算法与一些短期跟踪算法进行了比较。对比算法包括Staple、KCF、Struct、VTD、VTS、CXT、LSK。

3.OTB数据集的实验结果

图4显示了基准数据集中视频的一次评估(OPE)距离准确率。与本方法相比，有9个***。可以看到，我们的算法在最先进的跟踪算法面前也表现得很好。与其它***相比，本发明的方法具有较好的精度。

同时，本发明也对对该方法在复杂背景、遮挡、快速运动等不同视频属性下的性能进行了评价。图中显示了本发明的算法在这些条件下的OPE结果。从结果中，可以得出一些结论。首先，本发明的方法在复杂环境下表现得很好，而LCT不能有效地找到目标。LCT与本发明都使用了相关滤波算法，但本发明采用了深度特征，这可以帮助***更好地从背景中区分目标。此外，本发明的算法在遮挡变形视频属性中排名第一，原因是使用YOLO重新启动***，即使暂时丢失目标也可以在以后找到它。在这种情况下，本发明可以很好地跟踪目标很长时间，并处理各种复杂的场景。

本发明提出了一种长期跟踪算法，可以长时间跟踪某些目标，如人和车辆。算法中将目标检测器和基于复合特征的短期***结合起来，并提出了一种利用SURF算法确定跟踪结果可信度的方法。实验表明，该算法具有较高的精度和较强的鲁棒性。

实施例

使用本方法，在机器人平台上进行了实现。首先，在虚拟环境下验证方法的视觉跟随效果以及跟踪目标的准确率，并且在云端设置了实验***架构。如附图7所示，云端的实验***由以下部分构成：(1)本地PC：负责视频采集、图像处理、控制量的计算并将图像传输到云端MySQL Database。(2)云端服务器：从MySQL Database中接收数据并训练模型，训练完成则通知本地PC。(3)MySQL Database：负责存储本地PC发送的数据，供模型训练使用。

然后，搭建移动机器人视觉跟随的实验***(其硬件组成包括Turtlebot机器人、640*480分辨率的单目彩色摄像机、笔记本电脑、远程的四路GTX1080深度学习服务器一台)，将本发明的算法应用到该硬件实验***中，在室内外等多种环境下验证算法准确性。

在这个实施例中，为了可以在较短时间内轻松获得大量可以适应多种复杂场景的数据集，使用了背景替换的方法构造大量数据集。首先使用网络下载100张的不同典型场景图像，用于模拟常见的各种实际场景，包括行人干扰，背景内容复杂等；之后在纯色背景下，采集一些带有目标人物的照片，方便后续的提取各种；然后利用MATLAB中的图像处理方法，目标从简单场景中提取出来，进而将其置于新的场景下。以此来进行行人在各种各样的场景下的模拟。跟随机器人的应用场景可以是室内或室外，均需要机器人具有良好的对目标唯一辨识的能力，从而保证不会跟踪失败。对于室外场景，考虑到不同时段下，光照等环境变量也存在差异，而还需要机器人对光照变化具有较高的鲁棒性，以减小室外光线变化对视觉图像的影响。我们将构造好的数据集，同样利用MATLAB进行了光照/对比度的变化处理，使其更贴近不同时段下的场景。

之后，利用Python与Tensorflow，将所有的数据集上传到服务器上，再利用服务器上的GPU进行滤波跟踪算法的训练。在训练了10万张生成的图片以后，算法的理论跟踪准确率已经达到95％以上。

将笔记本电脑连接至turtlebot机器人，利用ROS实现对机器人的控制。机器人带有一个640*480分辨率的单目彩色摄像机，在跟踪过程中，该摄像机会以每秒12帧的速度采集图像，经过摄像机采集的图像直接输入给机器人上的笔记本电脑进行处理，笔记本上已经运行了我们训练完成的跟踪方法，该方法会根据输入的图像中的人的位置，决定机器人下一步前进的方向，并利用ROS控制机器人的指令，每6帧更新一次指令。同时，如果出现了图片中的人物距离中心过远，就会导致目前跟踪效果的置信度较低，此时，该算法会根据当前置信度与预设置信度阈值进行对比，再决定是否启动YOLO检测器进行一次检测并更新结果。以此来保证机器人在长期复杂环境下，仍然可以保持较为良好的跟踪鲁棒性。

原先，机器人只使用普通的滤波跟随算法进行跟踪任务，我们给机器人添加了本算法，并进行了实验。如附图6中所示，在为使用本算法之前，机器人较容易产生偏移，难以实现鲁棒性较好的跟踪效果，在使用算法之后，机器人可以跟踪跟踪对象自行调整角度，大幅提高了跟踪的鲁棒性。

Claims (1)

1.一种基于相关滤波与目标检测的鲁棒性长期跟踪方法，其特征在于，该方法利用了深度特征向量来获得跟踪结果可信度，并使用一个预设的置信度阈值来决定是否激活检测器；当YOLO被激活时，它将选择当前帧中的所有目标；利用一个多级筛选机制来获得所有候选结果中最可靠的那个结果；当获得新的目标时，置信度模板将被更新；具体步骤如下：

步骤一、获得当前帧的图像，从图像中提取HOG特征和CNN特征；

步骤二、将步骤一得到的HOG特征和CNN特征输入基于RLS最小二乘分类器的相关滤波器中，对相关滤波器进行训练；具体步骤如下：

(一)构建RLS分类器

相关滤波目标跟踪算法采用正则化最小二乘分类器来预测目标的位置；

对于所有训练样本X和期望输出Y，RLS分类器的权值W由公式(1)得到，对应的标签数据用高斯函数表述为公式(2)：

其中，f是分类函数，λ是为了避免过拟合的正则化系数，x_i和y_i分别代表训练样本和期望输出；i表示每个样本的序号；ω是防止过拟合的正则化项；y(m，n)表示物体在模板中的位置；(m，n)表示横纵坐标；M×N表示定义模板的大小；σ为高斯核的带宽；在实际应用中，将特征空间映射到高维空间可以获得更好的分类性能；当分类函数是时，分类器的权值向量表示为：

那么优化目标表示为：

a＝{a₁，a₂，...}^T (4)

使用核化函数，得到：

a＝(K+λI)^-1P (5)

其中，I是一个单位矩阵，表示第i个特征的非线性映射函数；P表示向量x的类向量；K是核化矩阵，表示为：

使用密集采样算法，将公式(6)转换为傅里叶频域：

其中，表示训练样本预测位置的分类器参数；表示期望的标签数据；表示物体预测输出响应；是核的结果；

选择高斯核作为核函数；计算公式为：

其中，F代表傅里叶变换，k^xx′表示物体预测位置和实际位置的输出响应；x表示物体的预测位置；x′表示标签数据中图像的实际位置；⊙表示计算两个信号之间的相关性；

(二)收集搜索区域内的所有位置作为测试样本，并计算所有测试样本的响应输出，将运动目标的新位置定义为具有最大响应输出的位置；具体如下：

(2.1)对于给定的测试样本z，分类器的响应输出f(z)计算为

在计算所有测试样本的响应输出时，添加密集采样算法，即在傅里叶域中对每个测试样本进行核运算，计算出所有测试样本的分类器响应输出向量为：

其中，表示计算两个信号的相关性；

(2.2)选择响应向量f(Z)的所有测试样本中响应值最大的位置作为目标的下一个预测位置；

(2.3)采用线性插值法实时更新目标的外观模型参数与分类器参数

其中，n是当前帧的序号，γ是学习率，表示预测位置的外观模型参数，表示由式(7)得到的训练样本预测位置的分类器参数；

步骤三、利用深度特征向量来获得跟踪结果可信度，并使用一个预设的置信度阈值来决定是否激活YOLO v2检测器；

(3.1)置信度的确定

将置信问题转化为图像匹配问题；图像匹配程度越高，表示可信度越高；利用灰度相关匹配和基于特征的匹配相结合的图像匹配算法，并引入SURF特征点匹配方法，达到图像匹配的目的：SURF与Sift特征点匹配相似，通过计算两个特征点之间的欧氏距离来确定匹配程度；欧氏距离越短表示两个特征点的匹配度越高；与Sift特征点匹配方法的不同之处在于SURF增加了对黑森矩阵轨迹的判断；当两个特征点的矩阵轨迹相同时，则表示这两个特征具有相同的方向对比度变化；当矩阵不同时，则表示两个特征点的对比度方向相反；通过SURF特征点匹配格式，学***；

采用更新的方法来确定比较模板：首先，将第一帧设置为当前模板；一旦检测器被激活，算法会将检测器给出的结果与***给出的结果进行比较，并选择可信度高的结果来更新模板；

(3.2)检测器是否将被激活的判断

首先，根据实验结果确定了置信水平的上下限范围；当置信水平高于上限时，说明算法仍然在跟踪正确的目标，不需要激活检测器；否则，当置信水平低于设置的下限时，检测器将被激活；然而，置信水平在上下限之间，有两种可能的结果：

(A)目标发生漂移，但它不是完全丢失；

(B)跟踪目标是被其他对象遮掩；

对于结果(A)，通过激活检测器来确定要跟踪的目标，并设计三级级联选择机制来选择最可靠的目标：首先，考虑物体运动的连续相关性，即当前帧与下一帧的目标不存在过大的距离偏移，筛去距离前帧目标过远的检测物体；其次，考虑被跟踪物体的结构合理性，每两帧之间的尺度变化不会过大，进一步筛去部分尺度变化大的检测物体；最后，对剩余检测目标的特征图提取出来，使用SURF函数与第一帧的模板特征图进行对比，选取相似度最高的物体作为检测器的输出；此结果再与***的输出结果进行对比，决定是否采用；

对于结果(B)，当物体主体被遮掩时，算法的跟踪目标中必然包含大量的背景信息，此时，***与检测器给出的输出，置信度都会很低，设定***与检测器给出的输出结果的置信度都低于上限时，则目标被遮挡；此时，***继续工作，但检测器不会被调用，直到物体遮挡结束，置信度回升，再调用检测器进行更新；

(3.3)尺度问题

对于跟踪算法中的尺度问题；当物体的尺度发生改变时，由于背景信息的掺杂使得跟踪的置信度降低，从而调用检测器来更新模板；通过检测器的检测，使得目标的尺度调整到合适的大小。