CN104331901A - 一种基于tld的多视角目标跟踪装置及方法 - Google Patents

Abstract

本发明公开了一种结合多目摄像机的目标跟踪装置及多视角目标跟踪方法。其中，该装置包括：视频采集单元：用于采集原始的多个视角的视频信息；视频处理单元：该单元基于TLD跟踪算法进行改进，从算法的检测模块、学习模块入手，达到了多视角目标跟踪的目的。对于检测模块，若对全图扫描，耗时较多。根据两帧之间目标的运动是小运动，故而将检测区域缩小为上一帧目标框的周围的小区域，即ROI，这将大大减少跟踪时间；多视角的信息融合单元：该单元融合多视角信息，利用学习机制，增强检测模块跟踪的强壮性，使得跟踪性能提高。本发明融合多视角的目标信息，提高了目标跟踪的性能。

Description

一种基于TLD的多视角目标跟踪装置及方法

技术领域

本发明涉及多视角情况下的目标跟踪算法。主要用于高尔夫挥杆动作分析等运动姿态分析领域，能够利用多视角的信息使得跟踪性能以及效能的提高。

背景技术

运动目标跟踪是机器视觉研究的核心内容之一。将运动目标从图像中识别出来，对于人类而言是非常简单的。但是对于计算机来说却存在着各种难题和障碍。运动目标的跟踪利用图像处理等相关技术对视频序列图像处理、分析和理解。在序列图像中寻找感兴趣目标的所在位置，并对目标进行跟踪，实现对运动目标的行为理解。运动目标跟踪在遥感遥测、工业安防、航天航空、智能机器人、社会安防等领域发挥着重要作用。目标跟踪，在需要监控的环境里，如何能够判断出进入特定区域的目标，并且能够跟踪目标的轨迹。分为两种情况：一是静态背景下的目标跟踪；二是动态背景下的目标跟踪。本专利主要研究复杂背景下的基于静态摄像机的目标跟踪。

传统的运动目标跟踪大多为基于单目视觉的方法，相对于立体视觉而言单目视觉有其优点，但也存在很大缺陷。单目视觉的信息量小，每次只需处理一幅图像，运算速度相对较快，但是图像在投影过程中丢失了实际场景的三维信息，因此有着不可弥补的缺陷。在采用基于单目视觉的方法进行运动目标检测与跟踪时，常常存在着目标遮挡以及周围场景光线的变化和阴影的干扰等问题，如何解决这些问题一直是研究的难点。针对这些问题许多学者做了大量研究，针对遮挡问题提出了基于目标特征匹配的算法，多子模板匹配的算法，但这些方法受环境因素的影响较大，在实际应用中很容易出现运动目标检测与跟踪失败的现象。多视角的立体视觉技术可以求取景物的三维信息，运用场景的三维信息检测和跟踪运动目标，可以有效的解决场景光线变化和阴影的干扰以及遮挡等单目视觉中难以解决的问题。因此，对基于多目立体视觉的运动目标检测与跟踪技术的研究具有重要的现实意义和应用价值。

因此，在多目视觉环境下对运动目标的检测与跟踪进行研究，在精确跟踪、三维信息恢复、目标测量等领域具有十分重要的意义。故而本专利采用多目摄像机进行视频的采集。

然而，当前多视角跟踪问题中，现有方法主要是采用基于贝叶斯框架的跟踪算法，贝叶斯框架必须采用粒子滤波进行参数的估计。基于贝叶斯推理的粒子滤波的多测量数据融合算法中：文献“Robust Multi-Camera 3D Tracking fromMono-Camera 2D Tracking using Bayesian Association”(Mohedano R，Garcia N.Transactions on Consumer Electronics(S0098-3063)，2010)提出了一种基于贝叶斯联合(Bayesian Association)的测量数据融合方式。文献“Time-space-sequentialalgorithms for distributed Bayesian state estimation in serial sensor”(Ondrej Hlinka，Franz Hlawatsch.IEEE International Conference on Acoustics,Speech and SignalProcessing，2009)提出了时空相继的顺次测量数据融合方式。文献“MagdiMohamed.Decentralized Multiple Camera Multiple Object Tracking”(Wei Qu，DanSchonfeld.IEEE International Conference on Multimedia and Expo，2006)同样采用分布式贝叶斯推理来得到高阶联合状态分布的后验的时空递推，但是在作者提出的方法中存在两个主要问题：1)后验推导时空递推时设定了多观测及状态之间的多种条件独立假设，不具普遍性，真实跟踪场景中不一定满足；2)没有采用多种类型的测量，对于观测及状态似然计算仅限于目标位置值，没有融合目标灰度信息。为了解决上述问题，本文针对多摄像机视频跟踪的应用场景，基于TLD目标跟踪框架，提出了一种多视角下融合信息的目标跟踪算法。TLD是一种新的单目标长时间跟踪算法。TLD将具有自适应能力的Lucas-Kanade***与具有在线学习能力的随机森林检测器相结合，其流程如图1所示。本发明利用学习机制，将多视角的目标灰度图以及位置信息，进行融合，高效求解出跟踪目标在各个摄像机视野中位置的估计值，通过局部检测的方法也大大节省了计算量。

发明内容

本发明的目的是实现一种多视角下的目标跟踪装置及方法。通过融合多视角的信息，达到提高目标跟踪的性能的目的。

为了实现上述目的，一方面，提供一种多视角目标跟踪装置，其中包括：

视频采集单元：用于采集原始的多个视角的视频信息；

视频处理单元：用于处理多视角的视频信息，得到跟踪目标的位置信息和尺寸信息。

多视角的信息融合单元：用于融合多视角信息，利用学习机制，增强检测模块跟踪的强壮性，使得跟踪性能提高。

其中，所述的视频处理单元，包括以下步骤:

步骤(1)输入左右摄像机的第一帧视频图像，并分别人工标记出所跟踪目标，得到左右视频目标的大小信息和位置信息。初始化随机森林分类器、NN分类器和LK***；

步骤(2)同时载入左右摄像机新一帧的视频图像，在目标框(bounding box)周围取3倍的区域，在此区域内利用随机森林分类器检测目标(而不是原TLD算法的全图扫描检测)，并结合LK***跟踪目标并得到目标框的调整尺度S；

步骤(3)融合随机森林分类器与LK***的结果，得到所跟踪目标的位置，显示跟踪结果；

步骤(4)融合双视角的目标跟踪信息，利用P-N学习策略更新随机森林分类器以及NN分类器；

步骤(5)返回步骤(1)得到每一帧的目标跟踪信息，直至视频结束。

采用上述方案后，本发明的优点有：

1)本发明改进TLD的检测模块。由于原TLD算法的检测模块是对全图扫描，耗时较多。根据两帧之间目标的运动是小运动，故而将检测区域缩小为上一帧目标框的周围的小区域，这将大大减少跟踪时间。并将改进后的TLD算法应用于某些运动的动作跟踪；

2)本发明结合多目视觉，利用在线学习机制，融合多视角信息，使得跟踪性能提高；

3)本发明可以跟踪同类型的多目标，亦将TLD的应用从单目标跟踪扩展到多目标跟踪，扩大了算法应用的范围，可以进行后续的类似物体的多目标跟踪。

附图说明

图1是TLD模型；

图2是本发明的结构示意图；

图3是本发明实例所示多目摄像机相对位置关系示意图；

图4全图检测改为局部检测。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

一方面，本发明提供了一种结合多目摄像机的目标跟踪装置，图1为本发明的目标跟踪装置的结构示意图。如图1，本发明的目标跟踪装置包括：视频采集单元：用于采集原始的多个视角的视频信息；视频处理单元：该单元基于TLD跟踪算法进行改进，从算法的检测模块、学习模块入手，达到了多视角目标跟踪的目的；多视角的信息融合单元：该单元融合多视角信息，利用学习机制，增强检测模块跟踪的强壮性，使得跟踪性能提高。

下面将结合附图，对本发明的技术方案及有益效果进行进一步说明。

1)视频采集单元

多目摄像机之间的相对位置决定了输入目标跟踪算法的信息，决定了信息融合后对跟踪性能融合的程度。针对不同的环境，不同的跟踪目标，摄像机之间的最佳相对位置可能有所不同。故而在实验平台的搭建中，可采取如下机制，确定多目摄像机的最佳位置。

以双目摄像机的采集平台搭建为例。以被跟踪对象为圆心，以摄像机能完整拍摄到被跟踪目标的距离为半径，虚拟一个圆形的轨道。首先固定一个摄像机，另一个摄像机每次以15°的角度移动。以最终跟踪性能决定多目摄像机之间的相对位置。多目摄像机相对位置关系示意图如图3所示。

2)视频处理单元

为了处理多目采集的双视角信息，需将原始TLD算法由单目标改进为多目标跟踪。本发明采取保留一个检测器，一个学习模块，多个***的机制。

首先，为了实现多目标的跟踪目的，将原始TLD检测机制由全图检测改为局部检测。即输入检测器的正负样本数量减少，由于算法的时间复杂度主要集中在随机森林检测器和NN检测器，随着输入的样本数量的减少，将大大减少检测模块消耗的时间，提高整体跟踪的效能。局部检测机制同时可以减少相似物体的干扰，提高检测的正确率。此扫描机制如图4所示。

由于获得的目标框的尺寸不定，故而局部检测的ROI(感兴趣区域)区域尺寸在每一帧也会随之变化。故而，需将ROI的图像块归一到48*48的尺寸，继而得到目标边界框。同时，跟踪目标用一个图像块p来表示。用目标边界框采样输入的图像帧，然后，忽略边界框的画面比例，将由边界框得到的图像块再次归一到分辨率为10*10的画面比例。定义两个归一化之后的图像块pi,pj的相似度为：S(p_i,p_j)＝0.5(NCC(p_i,p_j)+1)。NCC即为归一化互相关。由此基础上，可得输入的每个图像块的置信度。

3)信息融合单元

基于多目摄像机采集的视频信息，从跟踪开始到当前帧所有观测到的目标和目标邻近背景组成的结构体称为目标模型，用M表示，该结构体被最近邻分类器所维持。因此目标模型是从多目摄像机(A、B……)视频序列中获取的一系列的正样本和负样本的集合，M可以表示为而单目摄像机只有一个视角的信息 和代表的是第一帧的目标和背景的图像块。是从A摄像机添加到集合中的第一个正样本，是从B摄像机添加到集合中的第一个负样本。

已知任意的图像块p和目标模型M，定义如下相似度数值。以A摄像机的样本为例。

最近邻正样本相似度： $S^{+}(p_A,M)={\max }_{p_i^{+}\∈M}S(p_A,p_{\mathrm{Ai}}^{+},p_{\mathrm{Bi}}^{+},...),$

最近邻负样本相似度： $S^{-}(p_A,M)={\max }_{p_i^{-}\∈M}S(p_A,p_{\mathrm{Ai}}^{-},p_{\mathrm{Bi}}^{-},...),$

与前50％正样本最近邻相似度： $S_{50\%}^{+}(p_A,M)={\max }_{p_i^{+}\&Element;\mathrm{M\&Lambda;i}<\frac{m}{2}}S(p_A,p_{\mathrm{Ai}}^{+},p_{\mathrm{Bi}}^{+},...),$

与前50％负样本最近邻相似度： $S_{50\%}^{-}(p_A,M)={\max }_{p_i^{-}\&Element;\mathrm{M\&Lambda;i}<\frac{m}{2}}S(p_A,p_{\mathrm{Ai}}^{-},p_{\mathrm{Bi}}^{-},...).$

相对相似度:相对相似度取值范围是0到1。值越大则表示该图像块具有更多的可信度。

保守相似度：保守相似度取值范围是0到1。值越大则表示与目标模型中的前50％的正样本有更高的相似度。

相似度采样值(S^r,S^c)在整个算法过程中，指示任意的图像块与目标模型中的样本的相似度。相对相似度S^r被用来初始化最近邻分类器。如果任意一个图像块p的相对相似度S^r(p,M)＞θ_NN，那么该图像块p被认为是正样本。如果相对相似度S^r(p,M)＜θ_NN那么该图像块p被认为是负样本。因此最近邻分类器的阈值被定义为S^r(p,M)-θ_NN。可以看出参数θ_NN能够控制最近邻分类器的精准度。

通过对比多通道的目标模型以及单通道的目标模型，可以得知多通道的目标模型具有更多目标的位置信息，灰度图信息。通过算法的学习机制使得信息融合，在后续的跟踪过程中，由于目标的多角度的信息比较丰富，使得NN分类器更为准确，即跟踪性能得到提高。

目标模型的更新，整合一个新的已标签的图像块到目标模型中采取以下的策略。在左右摄像机跟踪的过程中，只要最近邻分类器所给图像块的标签与P-N约束条件给该图像块的标签不一致，该图像块(无论左右视频序列源)才会加入到集合目标模型中，否则不会加入集合。这样的策略以采用简单的决策边界为代价，大大的减少了进入目标模型中的图像块的数目。为了进一步提高策略，将最近邻分类器分类小于λ的图像块也进入到集合中。参数λ越大，目标模型将接受更多的图像块，得到更好的决策边界。

Claims (4)

1.一种针对目标跟踪领域，结合多视角视频信息的目标跟踪装置，其主要构成单元包括：

视频采集单元：用于采集原始的多个视角的视频信息；

视频处理单元：用于处理多视角的视频信息，得到跟踪目标的位置信息和尺寸信息。

多视角的信息融合单元：用于融合多视角信息，利用学习机制，增强检测模块跟踪的强壮性，使得跟踪性能提高。

2.根据权利要求1所述的装置，所述的视频处理单元，包括以下步骤:

步骤(1)输入左右摄像机的第一帧视频图像，并分别人工标记出所跟踪目标，得到左右视频目标的大小信息和位置信息。初始化随机森林分类器、NN分类器和LK***；

步骤(2)同时载入左右摄像机新一帧的视频图像，在目标框的周围取3倍的区域，在此区域内利用随机森林分类器检测目标，并结合LK***跟踪目标并得到目标框的调整尺度S；

步骤(3)融合随机森林分类器与LK***的结果，得到所跟踪目标的位置，显示跟踪结果；

步骤(4)融合双视角的目标跟踪信息，利用P-N学习策略更新随机森林分类器以及NN分类器；

步骤(5)返回步骤(1)得到每一帧的目标跟踪信息，直至视频结束。

3.根据权利要求2所述的检测模块及目标模型的改进。由于原TLD算法的检测模块是对全图扫描，耗时较多。根据两帧之间目标的运动是小运动，故而将检测区域缩小为上一帧目标框的周围的小区域，这将大大减少跟踪时间。

4.根据权利要求2所述的融合多视角信息的学习策略，具体如下。通过结合多视角的视频信息，将同一时刻的不同视角的跟踪结果信息，包括跟踪目标的位置信息和尺寸信息，以及跟踪目标的图像片，用于更新随机森林分类器以及NN分类器。增加用于跟踪的信息，使得跟踪性能提高。