CN105809718B - 一种轨迹熵最小化的对象跟踪方法 - Google Patents

Abstract

本发明提供了一种轨迹熵最小化的对象跟踪方法，属于计算机图形、图像技术领域。具体包含如下步骤：目标选取，从初始图像中选择并确定要跟踪的目标对象。图像输入，在实时处理情况下，提取通过摄像头采集并保存在存储区的视频图像，作为要进行跟踪的输入图像；在离线处理情况下，将已采集的视频文件分解为多个帧组成的图像序列，按照时间顺序，逐个提取帧图像作为输入图像。检测器创建且检测器数目不超过5。生成跟踪轨迹每个检测器同时对目标进行检测，轨迹熵最小化目标定位，检测器更新，根据确定的目标轨迹，类似中的检测器训练过程，对目标轨迹所对应的各帧在目标区域和背景区域中分别提取正、负样例，更新所有检测器。用于视频监测***。

Description

一种轨迹熵最小化的对象跟踪方法

技术领域

本发明属于计算机视觉、图形、图像技术领域。

背景技术

视觉对象跟踪是计算机视觉应用中最重要的组成部分之一，这些应用包括智能监控，人机交互，自动控制***等。对象跟踪的目的是在给定初始对象的位置和尺寸的条件下，自动确定其在接下来的每一帧中的位置和尺寸。尽管有关对象跟踪的研究已开展了几十年，近年来也取得了很多重要的进展，但是由于真实世界的复杂性，例如背景干扰，表观和光照变化，图像低质量，帧跳跃等，使得设计能够达到与人类水平相当的跟踪方法仍然十分困难。一个理想的跟踪方法须同时考虑跟踪的实时性、稳定性和持久性。

目前跟踪方法总体上可分为生成法和判别法两类。生成法将跟踪问题看作是在区域中搜索与跟踪目标最相似的对象，而目标通常通过一个子空间(或者模版序列)中的基向量集合来表达。不同于生成法，判别法将跟踪看作是一个将跟踪目标从背景中区分出来的分类问题。判别法同时利用来自目标和背景的信息，是目前研究对象跟踪的主要方法。在这些方法中，Duffner等提出一种基于像素描述和推广霍夫变换的检测器，并结合基于前景和背景全局模型的概率分割方法，实现快速的对象跟踪。而为了能够进行长时间的对象跟踪，许多研究人员采用自学***移和尺度估计，并采用相关滤波方法提高了跟踪的精确性和稳定性。然而这些方法仍然难以适应更加复杂的跟踪环境，对此对跟踪轨迹进行分析和处理提供了一种可能的解决方法。Lu等和Supancic等利用动态规划对跟踪轨迹进行评价，包括计算轨迹中每个位置的置信度和连续位置间的时域相关度，然后根据该评价结果修正跟踪轨迹并更新表观模型，从而达到抑制错误传播的目的。Lee等基于多种特征跟踪目标并生成多个跟踪轨迹，然后通过分析这些前向轨迹和对应的后向轨迹计算每个轨迹的可靠度，并从中选择最优的轨迹作为目标轨迹，一定程度上检测和处理了跟踪错误，提高了跟踪的稳定性。

发明内容

本发明的目的是提供一种轨迹熵最小化的对象跟踪方法，它能有效地解决对目标对象长时间实时稳定的跟踪问题。

本发明的目的是通过以下技术方案来实现的：具体包含如下步骤：

(1)目标选取

从初始图像中选择并确定要跟踪的目标对象。目标选取过程通过运动目标检测方法自动提取，或者通过人机交互方法手动指定。

(2)图像输入

在实时处理情况下，提取通过摄像头采集并保存在存储区的视频图像，作为要进行跟踪的输入图像；在离线处理情况下，将已采集的视频文件分解为多个帧组成的图像序列，按照时间顺序，逐个提取帧图像作为输入图像，如果输入图像为空，则跟踪结束。

(3)检测器创建

如果图像帧数除以的余数为1，则根据当前帧图像创建一个新的检测器。这里采用随机蕨作为基础检测器，并用两点比较特征作为检测器的二元特征。特征集为200个初始时随机生成的两点比较特征，通过随机选择其中的M＝25个构建检测器。每个检测器包含B＝5个蕨，每个蕨包含D＝5个特征。然后在目标区域和背景区域中分别提取与目标大小相同的正样例和负样例，并将它们规则化为25×25像素大小后对检测器进行训练和更新，这里样例为图像块。如果检测器的总数目大于5，则将最早创建的检测器删除，即检测器数目不超过5。

(4)生成跟踪轨迹

每个检测器同时对目标进行检测，并将最优的检测结果作为当前帧中目标所在的位置，然后以连续检测的方式生成各自的跟踪轨迹，轨迹的长度帧。

(5)轨迹熵最小化目标定位

对于同一个目标，不同的检测器将产生不同的跟踪轨迹，同时对应得到不同的目标位置。设表示检测器集合，表示F_j的损失函数，其中F_j表示第j个检测器，N为检测器数目，则最优的检测器计算为：

即选择具有最小损失值的检测器。

这里采用PLL(Partial-Label Learning)方法求解损失函数即通过最大化模型参数的后验概率来求解部分标记学习问题。设表示一个轨迹集合，为第i个跟踪轨迹，为X_i包含的时间段内第k帧位置，H为轨迹包含的帧数目。设y_i＝(c_i,v_i)表示X_i的复合标记，c_i∈{1,0}为轨迹标记(c_i＝1表示x_i为目标轨迹，c_i＝0表示X_i为非目标轨迹)，v_i为X_i的轨迹末端位置。S中只可能有一个跟踪轨迹为目标真实轨迹，S的目标真实轨迹的复合标记集包含于可能的复合标记集中，其中对每一个有并且当i＝k时，对于跟踪问题，用于检测器选择的F_j的损失函数可计算为：

φ_Fj(S,Z)＝-L(F_j；S,Z)+λH(Y|S,Z；F_j),

其中，L(F_j；S,Z)表示以F_j为模型参数的对数似然概率，H(Y|S,Z；F_j)表示关于训练数据和标记集合的类型标记经验条件熵，λ为两者的比例系数，这里λ＝10。对于标记集合，具有较低不确定性的模型参数其对应的熵也较小。也就是说，如果一个模型的其中一个标记具有较高的概率而另一个标记概率较小，则该模型的熵也较小；而如果一个模型的两个标记都具有相同的概率，则该模型的熵较大。这里对数似然定义为：

而熵计算为：

p(Y|S；F_j)可计算为：

其中p(v_i|c_i)＝p(v_i|c_i,X_i)为轨迹的空间先验概率，它的值等于轨迹中各个位置对应图像块的检测器分类概率的平均值，p(c_i|x_i；F_j)为轨迹的后验概率。p(v_i|c_i)计算为轨迹中各个位置对应图像块的检测器分类概率的平均值，即其中为检测器在该轨迹第k帧的分类概率。而p(c_i|x_i；F_j)则通过计算基于图像块重叠率的轨迹可靠度得到，计算为：

其中为正向跟踪轨迹与其反向跟踪轨迹在第k帧处的图像块重叠率，计算为：

和分别表示和在第k帧处的图像块面积，表示和在第k帧处两个图像块的重叠面积。最后，p(Y|S,Z；F_j)计算为关于p(Y|S；F_j)的Kullback-Leibler投影：

其中，如果Y∈Z，则δ_Z(Y)＝1，否则δ_Z(Y)＝0，Ψ表示Y，Z所在的矢量空间。由此通过计算各个检测器的损失函数和选择具有最小损失值的检测器作为最优检测器，并将该检测器对应的跟踪轨迹作为目标轨迹，完成目标定位。

(6)检测器更新

根据(5)确定的目标轨迹，按照(3)中的检测器训练过程，对目标轨迹所对应的各帧在目标区域和背景区域中分别提取正样例和负样例更新所有检测器。跳转到(2)。

本发明在跟踪过程中，在线创建的多个检测器用于记录目标的历史表观信息，它们通过连续检测的方式生成各自的跟踪轨迹，然后基于轨迹熵最小化分析融合这些跟踪结果并从中选择最优的检测器，最后将其对应的跟踪轨迹作为目标轨迹完成目标定位，进而实现跟踪。

本发明与现有技术相比的优点和积极效果：

该方法在线创建多个检测器，每个检测器采用连续检测的方式生成各自的跟踪轨迹，然后通过轨迹熵最小化分析选择最优的检测器，进而确定目标轨迹，实现对象跟踪任务。由于该方法在跟踪过程中在不同时刻创建多个检测器以适应目标的变化，同时通过轨迹熵最小化分析融合所有检测器的跟踪结果，并从中选择最优的检测器以确定目标轨迹，进而提高了跟踪的稳定性，能够实现长时间实时稳定的目标跟踪。

附图说明

图1为本发明的技术流程图

实施例：

以高速公路视频监控车辆超速检测为例，可以采用本发明提出的跟踪方法实现。具体来说，首先通过目前已广泛使用的背景建模和前景提取方法，获取视频监控范围内各个车辆的图像区域，然后将这些图像区域作为目标对象进行跟踪。对每一个这样的车辆目标，按照本发明方法，首先在线创建多个检测器，然后同时对目标进行连续检测，从而生成各自的跟踪轨迹，接着根据这些轨迹计算每个检测器的损失值，然后将具有最小损失值的检测器作为最优检测器，并将其对应的跟踪轨迹作为目标轨迹，完成对车辆的定位，进而实现车辆跟踪。最后，根据车辆目标跟踪的结果计算车辆目标1秒钟运动的图像距离，并按照图像距离与实际距离的比例关系计算得到车辆在道路中的实际运动距离，进而得到车辆的行驶速度，如果车辆速度超过了高速公路的限速值，则认为该车辆已超速，完成车辆超速检测。

本发明的方法还可用于对象跟踪的其它应用场合，如智能视频分析，人机交互，交通视频监控，无人车辆驾驶，生物群体分析，以及流体表面测速等。

本发明方法可通过任何计算机程序设计语言(如C语言)编程实现，基于本方法的跟踪***软件可在任何PC或者嵌入式***中实现实时对象跟踪应用。

Claims (1)

1.一种轨迹熵最小化的对象跟踪方法，包括如下步骤：

(1)目标选取

从初始图像中选择并确定要跟踪的目标对象，目标选取过程通过运动目标检测方法自动提取，或者通过人机交互方法手动指定；

(2)图像输入

在实时处理情况下，提取通过摄像头采集并保存在存储区的视频图像，作为要进行跟踪的输入图像；在离线处理情况下，将已采集的视频文件分解为多个帧组成的图像序列，按照时间顺序，逐个提取帧图像作为输入图像，如果输入图像为空，则跟踪结束；

(3)检测器创建

如果图像帧数除以的余数为1，则根据当前帧图像创建一个新的检测器，这里采用随机蕨作为基础检测器，并用两点比较特征作为检测器的二元特征；特征集为200个初始时随机生成的两点比较特征，通过随机选择其中的M＝25个构建检测器，每个检测器包含B＝5个蕨，每个蕨包含D＝5个特征；然后在目标区域和背景区域中分别提取与目标大小相同的正样例和负样例，并将它们规则化为25×25像素大小后对检测器进行训练和更新，这里样例为图像块，如果检测器的总数目大于5，则将最早创建的检测器删除，即检测器数目不超过5；

(4)生成跟踪轨迹

每个检测器同时对目标进行检测，并将最优的检测结果作为当前帧中目标所在的位置，然后以连续检测的方式生成各自的跟踪轨迹，轨迹的长度帧；

(5)轨迹熵最小化目标定位

对于同一个目标，不同的检测器将产生不同的跟踪轨迹，同时对应得到不同的目标位置，设表示检测器集合，表示F_j的损失函数，其中F_j表示第j个检测器，N为检测器数目，则最优的检测器计算为：

即选择具有最小损失值的检测器；

这里采用Partial-Label Learning方法求解损失函数即通过最大化模型参数的后验概率来求解部分标记学习问题，设表示一个轨迹集合，为第i个跟踪轨迹，为X_i包含的时间段内第k帧位置，H为轨迹包含的帧数目，设y_i＝(c_i,v_i)表示X_i的复合标记，c_i∈{1,0}为轨迹标记，c_i＝1表示x_i为目标轨迹，c_i＝0表示X_i为非目标轨迹，v_i为X_i的轨迹末端位置，S中只可能有一个跟踪轨迹为目标真实轨迹，S的目标真实轨迹的复合标记集包含于可能的复合标记集中，其中对每一个有并且当i＝k时，对于跟踪问题，用于检测器选择的F_j的损失函数可计算为：

其中，L(F_j；S,Z)表示以F_j为模型参数的对数似然概率，H(Y|S,Z；F_j)表示关于训练数据和标记集合的类型标记经验条件熵，λ为两者的比例系数，这里λ＝10，对于标记集合，具有较低不确定性的模型参数其对应的熵也较小，也就是说，如果一个模型的其中一个标记具有较高的概率而另一个标记概率较小，则该模型的熵也较小；而如果一个模型的两个标记都具有相同的概率，则该模型的熵较大，这里对数似然定义为：

而熵计算为：

p(Y|S；F_j)可计算为：

其中p(v_i|c_i)＝p(v_i|c_i,X_i)为轨迹的空间先验概率，它的值等于轨迹中各个位置对应图像块的检测器分类概率的平均值，p(c_i|x_i；F_j)为轨迹的后验概率；p(v_i|c_i)计算为轨迹中各个位置对应图像块的检测器分类概率的平均值，即其中为检测器在该轨迹第k帧的分类概率，而p(c_i|x_i；F_j)则通过计算基于图像块重叠率的轨迹可靠度得到，计算为：

其中为正向跟踪轨迹与其反向跟踪轨迹在第k帧处的图像块重叠率，计算为：

和分别表示和在第k帧处的图像块面积，表示和在第k帧处两个图像块的重叠面积；最后，p(Y|S,Z；F_j)计算为关于p(Y|S；F_j)的Kullback-Leibler投影：

其中，如果Y∈Z，则δ_Z(Y)＝1，否则δ_Z(Y)＝0，Ψ表示Y，Z所在的矢量空间，由此通过计算各个检测器的损失函数和选择具有最小损失值的检测器作为最优检测器，并将该检测器对应的跟踪轨迹作为目标轨迹，完成目标定位；

(6)检测器更新

根据(5)确定的目标轨迹，按照(3)中的检测器训练过程，对目标轨迹所对应的各帧在目标区域和背景区域中分别提取正样例和负样例更新所有检测器，跳转到(2)。