CN104200488A - 一种基于图表示和匹配的多目标跟踪方法 - Google Patents

Abstract

本发明公开了基于图表示和匹配的多目标跟踪方法，与现有技术相比解决了视频跟踪技术在遇到目标频繁交互遮挡、外观特征相似而无法成功跟踪的缺陷。本发明包括以下步骤：输入跟踪视频，在相邻的时间窗口内生成目标可靠的短轨迹；为形成的目标短轨迹建立以图为框架的空间运动模型和以颜色、局部二值差分为特征的外观模型；计算轨迹间外观特征和空间运动相似度；用带权二分图匹配框架实现目标的关联跟踪。不断重复以上步骤，从而得到每个目标所有时刻的运动轨迹。本发明提高了复杂场景中的目标跟踪的准确度与效率，提升了目标跟踪技术在各类场景中的应用程度。通过对外观模型和空间运动模型的在线学习，达到目标在复杂环境下的准确追踪。

Description

一种基于图表示和匹配的多目标跟踪方法

技术领域

本发明涉及智能视频技术领域，具体来说是一种基于图表示和匹配的多目标跟踪方法。 

背景技术

视频中的多目标跟踪是计算机视觉领域中一个最基本的研究内容，具有广泛的实际应用领域，如智能监控、人机交互、自主机器人、增强现实等，目前对其展开的相应研究也较多。当背景较为简单，目标之间不存在严重遮挡等情况下，能取得较为理想的效果。但是在一些较为复杂和拥挤的环境下，目标外观的相似性、目标间的相互遮挡、目标的频繁消失和重现等都给视频多目标跟踪带来了很大困难。 

现有的解决方法主要分为两类：基于特征建模的跟踪方法和基于数据关联的跟踪方法。基于特征建模的方法主要采用颜色、纹理等简单的局部特征以及这些特征的组合来描述跟踪目标，以实现目标的检测和跟踪，但现有的这类方法极少考虑到跟踪目标的运动和空间信息，因此在复杂环境下经常会出现跟错、跟丢等现象。基于数据关联的方法是将候选回波与已知目标轨迹比较并最后确定正确观测与轨迹配对的方法，这类方法大大提高了多目标跟踪的精度，主要的代表有：联合概率数据关联算法(JPDA)和多假设方法(MHT)，但当多目标和回波数目增加时，JPDA会遭遇到数据关联组合计算量巨大的问题，计算复杂度呈指数增加，而MHT由于大量的“迭代”过程浪费许多时间。如何构造一种区分度高的特征模型，实现多目标之间快而准确地关联已经成为急需解决的技术问题。 

发明内容

本发明的目的是为了解决复杂环境下，目标外观的相似、目标间相互遮挡而导致无法跟踪成功的缺陷，提供一种基于图表示和匹配的多目标跟踪方法来解决上述问题。 

为了实现上述目的，本发明的技术方案如下： 

一种基于图表示和匹配的多目标跟踪方法，包括以下步骤： 

在视频序列中，用预先训练的模型进行目标检测，对相邻两帧内检测出的响应进行特征描述，构造两帧响应间相似度匹配矩阵，用双阀值策略生成目标可靠的短轨迹； 

为形成的短轨迹建立以图为框架的空间运动模型和以颜色、局部二值差分(Local Difference Binary，简称LDB)为特征的外观模型； 

计算轨迹间外观特征和空间运动相似度； 

用带权二分图匹配跟踪目标：将相邻时间窗口的轨迹作为二分图的结点，轨迹间外观特征和空间运动相似度的线性组合作为两结点相连边的权重，最后通过匈牙利算法实现二分图匹配优化，形成目标跟踪的长轨迹。 

所述的跟踪目标短轨迹的生成包括以下步骤： 

给定相邻两帧，用预先训练的模型检测出所有的响应； 

对每个检测出的响应用它所在的位置、大小和颜色直方图进行描述； 

构造两帧响应间相似度匹配矩阵，用双阀值策略关联两帧间的响应，生成目标的短轨迹，计算公式如下： 

$S(r_i,r_j)=\left\{\begin{array}{cc}{A}_{\mathrm{pos}}(r_i,r_j)A_{\mathrm{size}}(r_i,r_j)A_{\mathrm{color}}(r_i,r_j)& \mathrm{if}{t}_j-t_i=1\\ 0& \mathrm{otherwise}\end{array}\right.$

$\begin{array}{c}S(r_i,r_j)>{\mathrm{\θ}}_1\mathrm{and}\∀r_k\∈R-\{r_i,r_j\}\\ \min [S(r_i,r_j)-S(r_k,r_j),S(r_i,r_j)-S(r_i,r_k)]>{\mathrm{\θ}}_2\end{array}$

公式中S(r_i,r_j)表示响应r_i和r_j间的相似度，t_i和t_j分别表示当前的两帧，R表示所有响应的集合，θ₁和θ₂表示两个阀值。通过这种双阀值策略，相关联的响应间形成了可靠的短轨迹。 

所述的为短轨迹建立以图为框架的空间运动模型和以颜色、LDB为特征的外观模型包括以下步骤： 

(1)使用无向图建立空间运动模型 

在两个连续的时间窗口，建立一个无向图G＝(V,E)，V表示图结点的集合，E表示连接结点的边的集合。每个结点由一对轨迹组成，结点的权重表示这对轨迹是同一目标的概率。每条边连接图中的两个结点，边的权重表示两结点间的相关性。 

计算图中任意结点的权重：首先计算结点中两轨迹基于平均速度的相似性，然后计算两轨迹间基于位置信息的相似性，最后计算出结点的权重为基于平均速度的相似性与基于位置信息的相似性的乘积。若结点的权重越大，表示结点中两轨迹为同一目标的概率较大。 

计算连接两结点的边的权重：对任意两结点，计算在同一时间窗口的两轨迹在时间上重叠部分的运动关系，假设两轨迹间存在线性运动关系。把这种关系应用到另一时间窗口的两轨迹上，真实运动关系与假设运动关系之间的距离为两结点的权重。 

(2)建立外观模型 

轨迹的外观信息有HSV颜色直方图和LDB特征组成。LDB特征是由Xin Yang和Kwang-Ting Cheng2014年提出的局部特征描述子，具有描述准确、运算速度快的特点。 

所述的轨迹间相似度计算包括如下步骤： 

两轨迹T_i ^k,T_j ^k+1间外观特征的相似度计算采用Bhattacharyya距离，HSV颜色直方图的相似度表示为ρ(H_coli,H_colj)，LDB特征的相似度表示为ρ(τ_LDBi,τ_LDBj),则外观特征的相似度表示为ρ_app(V_ij)＝ρ(H_coli,H_colj)+ρ(τ_LDBi,τ_LDBj)； 

结点间空间运动关系相似度计算如下： 

${\mathrm{\ρ}}_{\mathrm{motion}}\left(V_{\mathrm{ij}}\right)={\mathrm{\ω}}_v\left(V_{\mathrm{ij}}\right)\·\underset{V_{\mathrm{mn}}}{\mathrm{\Π}}{\mathrm{\ω}}_v\left(V_{\mathrm{mn}}\right)\·w_e(V_{\mathrm{ij}},V_{\mathrm{mn}})$

式中V_mn表示V_ij附近的结点，即运动特征和V_ij相似的结点。这样两轨迹T_i ^k,T_j ^k+1间外观特征和运动特征融合相似度为： 

ρ_fuse(V_ij)＝α·ρ_app(V_ij)+β·ρ_motion(V_ij) 

公式中α和β分别表示外观特征和运动特征的融合权重。 

所述用带权二分图匹配跟踪目标步骤如下： 

建立带权二分图：考虑连续的两个时间窗口内的跟踪轨迹  $T^k=\{T_1^k,T_2^k,...,T_m^k\}$ 和 $T^{k+1}=\{T_1^{k+1},T_2^{k+1},...,T_n^{k+1}\},$ 带权二分图表示为G＝(T^k,T^k+1,E)，T^k和T^k+1分别作为二分图的结点集合，且 任意e_ij(e_ij∈E)为连接T_i ^k和T_j ^k+1的边，其权重为ρ_fuse，若权重越大则两结点越相似； 

然后把多目标跟踪看成是二分图的最大权匹配问题，而二分图的最大权匹配问题可采用整数规划模型表示，此优化模型的的解可由匈牙利算法求得； 

最后，把匹配上的结点进行连接，就形成了跟踪目标的长轨迹。 

有益效果 

本发明的一种基于图表示和匹配的多目标跟踪方法，与现有技术相比提高了复杂环境下目标跟踪的准确度和效率，提升了目标跟踪技术在各类场景中 的应用程度。本发明不仅使用了高辨识度、计算简单、匹配速度快的HSV颜色和LDB特征描述跟踪目标，而且采用图框架来表示目标间的运动和空间关系，可以有效区分空间位置相近且外观相似的运动目标。在跟踪轨迹关联时，采用了最大权二分图匹配方法，该方法与其他关联方法相比具有实现简单、复杂度低的特点，从而能较好地应用于实时跟踪中。另外，在整个跟踪过程中，目标的外观模型和图模型都采用了在线学习的技术，当遇到目标外观变化、环境的光线变化、目标间频繁地交互遮挡等情况时，也能实现准确地跟踪目标。 

附图说明

图1为本发明实施例的方法流程图 

图2为本发明实施例的跟踪目标短轨迹的生成图((a)为连续5帧中检测出的目标响应，(b)为生成的目标短轨迹) 

图3为本发明实施例的空间运动模型的形式化图(a)两时间窗口中的跟踪短轨迹，(b)空间运动模型中的结点及其邻结点) 

图4为本发明实施例的求两结点边的权重示意图 

图5为本发明实施例的二分图匹配图 

具体实施方式

为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细地说明，说明如下： 

如图1所示，一种基于图表示和匹配的多目标跟踪方法，包括以下步骤： 

第一步，跟踪目标短轨迹的生成：在视频序列中，用预先训练的模型进行目标检测，对相邻两帧内检测出的响应进行特征描述，构造两帧响应间相似度匹配矩阵，用双阀值策略生成目标的短轨迹。比如，在连续5帧的时间窗口， 生成跟踪目标的短轨迹，这里根据不同的应用，跟踪的目标类型可以不同，如跟踪行人、车辆等，时间窗口的大小也可以改变。 

(1)用GMM(高斯混合模型)检测出每帧中的响应，对检测出的响应用其大小、颜色直方图和位置信息进行描述。 

(2)选取两连续帧，如：t＝1,t＝2。建立两帧间响应特征相似度匹配矩阵S，如图2(a)，t＝1时检测出两个响应r₁和r₆，t＝2时检测出三个响应r₂、r₅和r₇。两个响应间的相似度计算如下式： 

$S(r_i,r_j)=\left\{\begin{array}{cc}{A}_{\mathrm{pos}}(r_i,r_j)A_{\mathrm{size}}(r_i,r_j)A_{\mathrm{color}}(r_i,r_j)& \mathrm{if}{t}_j-t_i=1\\ 0& \mathrm{otherwise}\end{array}\right.$

(3)用如下的双阀值策略生成两帧响应间短轨迹为T₁＝{r₁,r₂}，T₂＝{r₅}，T₃＝{r₆,r₇}。 

$\begin{array}{c}S(r_i,r_j)>{\mathrm{\θ}}_1\mathrm{and}\∀r_k\∈R-\{r_i,r_j\}\\ \min [S(r_i,r_j)-S(r_k,r_j),S(r_i,r_j)-S(r_i,r_k)]>{\mathrm{\θ}}_2\end{array}$

以此类推，每相邻两帧都能生成短轨迹，再将轨迹间有共同响应的轨迹连接，生成较长点的跟踪短轨迹。如图2(b)中所示，连续5帧中生成的跟踪轨迹。 

第二步，为相邻两个窗口生成的跟踪轨迹建立以图为框架的空间运动模型和以颜色、LDB为特征的外观模型，如相邻的两个时间窗口为K和K+1，K由1到5帧组成，K+1由6到10帧组成，两窗口内的跟踪短轨迹如图3(a)所示。 

(21)建立以图为框架的空间运动模型 

(211)在时间窗口K和K+1之间建立一个无向图G＝(V,E)，V表示图结 点的集合，E表示连接结点的边的集合。每个结点由一对轨迹组成，如：V_ij＝(T_i ^k,T_j ^k+1)，结点的权重表示这对轨迹相连的概率，如：ω_v(T_i ^k,T_j ^k+1)；每条边连接图中的两个结点，如：V_ij和V_mn，那么这条边的权重ω_e(V_ij,V_mn)就表示两对轨迹间的相关性。对任一轨迹用其附近的轨迹来表示它的空间结构信息，如：T_i ^k附近的轨迹表示为(T_i ^k)^-，假设有2个轨迹组成，T_j ^k+1附近的轨迹表示为(T_j ^k+1)^-，假设有3个轨迹组成，那么结点V_ij的附近结点就表示为(V_ij)^-，定义如下： 

(V_ij)^-＝{T_l ^k,T_h ^k+1}where T^k _l∈(T_i ^k)^-and T_h ^k+1∈(T_j ^k+1)^-

也就是说(V_ij)^-有6个结点(6对轨迹)组成。图模型如图3(b)所示。 

(212)计算已建图中任意结点V_ij＝(T_i ^k,T_j ^k+1)的权重：设 表示一个轨迹由m+1帧响应构成，和分别表示该轨迹的第一帧和最后一帧，表示第帧中响应。 

首先结点中两轨迹基于速度差分的关系定义为： 

$E_{\mathrm{\&upsi;}}=\left\{\begin{array}{cc}1& \mathrm{if}\frac{P_j^{t_j^n}-P_j^{t_j^0}}{n+1}-\frac{P_i^{t_i^m}-P_i^{t_i^0}}{m+1}<{\mathrm{\&delta;}}_{\mathrm{\&upsi;}}\\ {\mathrm{\&epsiv;}}_{\mathrm{\&upsi;}}& \mathrm{otherwise}\end{array}\right.$

上式中是δ_υ设定的阀值，ε_υ是设定的很小的值。如果E_υ很小，表示两行人走在一起的可能性很小；然后计算两轨迹间位置差别，定义如下： 

${\hat{P}}_i^{t_j^u}=P_i^{t_i^u}+{\stackrel{.}{P}}_i^{t_i^u}\&CenterDot;(t_j^u-t_i^u)$

$E_P=e^{-\stackrel{\&OverBar;}{({\hat{P}}_i^{t_j^u}-P_j^{t_j^u})}}$

上式中表示轨迹T_i ^k在时的运动速度，表示轨迹在时的位置估计 表示所有估计位置和真实位置之差的期望值；最后计算出结点的权重为： 

ω_v(V_ij)＝E_υ·E_P

(213)计算两结点的边的权重：对任意两结点V_ij和V_mn，定义两轨迹T_i ^k和T_m ^k在时间上重叠部分分别为两个向量S_i和S_m，假设两向量间存在线性运动关系，即：S_i＝S_m·A+B，其中A和B分别为参数，如图4所示。已知S_i和S_m，两参数估计如下： 

$\hat{A}={\left[{(S_m-\stackrel{\&OverBar;}{S_m})}^T(S_m-\stackrel{\&OverBar;}{S_m})\right]}^{-1}\&CenterDot;{(S_m-\stackrel{\&OverBar;}{S_m})}^T(S_i-\stackrel{\&OverBar;}{S_i})$

$\hat{B}=S_i-\hat{A}\&CenterDot;S_m$

在此基础上定义V_ij和V_mn边的权重为： 

$w_e(V_{\mathrm{ij}},V_{\mathrm{mn}})=c\&CenterDot;\exp \{-\frac{1}{2{\mathrm{\&sigma;}}^2}\&CenterDot;{(S_j-S_n\&CenterDot;\hat{A}-\hat{B})}^T\&CenterDot;(S_j-S_n\&CenterDot;\hat{A}-\hat{B})\}$

上式中c表示归一化因子，σ表示两轨迹间运动方差。如果w_e(V_ij,V_mn)大，表示如果T_i ^k与T_j ^k+1连接，那么T_m ^k与T_n ^k+1连接的概率较大。 

(22)建立外观模型：在目标跟踪过程中，经常会遇到目标外观变化，目标遮挡等情况，为了能较好跟踪复杂场景中的目标，本实施例采用了一个在线学习多特征融合的方法来构建目标的外观模型，具体步骤如下： 

(221)在一个时间窗口内，如K，选取训练样本。假设在同一个短轨迹中的响应表示同一个目标；在同一帧中属于不同短轨迹的响应表示不同的目标。这样，选择同一轨迹中不同的两个响应作为正样本，不同跟踪迹中不同的两个响应作为负样本。 

(222)对选取的所有样本用颜色和LDB特征的融合描述。颜色特征采用 HSV直方图，如：H、S、V分别量化为16,4,4，则可以得到256维的HSV直方图。LDB特征就是把目标划分成多层网格，如2×2，3×3，4×4，5×5，层数是可以选择的，层数越多描述越精确。每个网格单元用灰度、X方向的梯度、Y方向的梯度来描述，用每个网格单元与同层其他网格单元信息比较生成三位的二值数，把所有的这些二值数按一定顺序排列就形成了对目标描述的LDB描述子。如一对网格单元i和j生成的二值信息如下： 

$\mathrm{\&tau;}(\mathrm{Func}\left(i\right),\mathrm{Func}\left(j\right))=\left\{\begin{array}{cc}1& \mathrm{if}(\mathrm{Func}\left(i\right)-\mathrm{Func}\left(j\right))>0\mathrm{andi}\&NotEqual;j\\ 0& \mathrm{otherwise}\end{array}\right.$

其中Func(i)＝{I_intensity(i),Grandient_x(i),Grandient_y(i)}。对2×2，3×3，4×4，5×5网格来说，可以生成1386位的LDB描述子。这两个特征都具有计算简单，描述能力强的特点。 

(223)计算颜色特征和LDB特征的相似度，采用Adaboost算法对样本进行学习，这样就得到辨识度强的外观模型。 

第三步，任意结点V_ij＝(T_i ^k,T_j ^k+1)的两轨迹相似度有两部分组成，外观特征相似度与空间运动相似度。 

(31)外观特征相似度计算：由上步的在线学习方法得到了两轨迹的外观特征，HSV颜色直方图的相似度计算采用Bhattacharyya距离，如256维的HSV颜色直方图相似度表示为 

$\mathrm{\&rho;}(H_{\mathrm{coli}},H_{\mathrm{colj}})={(1-\underset{b=1}{\overset{256}{\mathrm{\&Sigma;}}}\sqrt{h_{\mathrm{coli},b}{h}_{\mathrm{colj},b}})}^{1/2}$

LDB特征表示为τ_LDBi,τ_LDBj，统计τ_LDBi和τ_LDBj相应位的值相同的个数，进行归一化，就得到两轨迹间LDB特征的相似度，表示为ρ(τ_LDBi,τ_LDBj)。则两轨迹外观特征的相似度表示为 ρ_app(V_ij)＝ρ(H_coli,H_colj)+ρ(τ_LDBi,τ_LDBj)； 

(32)结点V_ij＝(T_i ^k,T_j ^k+1)中两轨迹空间运动关系相似度通过该结点自身的运动，及其相邻结点运动与该结点运动之间的关系求得，计算如下： 

${\mathrm{\&rho;}}_{\mathrm{motion}}\left(V_{\mathrm{ij}}\right)={\mathrm{\&omega;}}_v\left(V_{\mathrm{ij}}\right)\&CenterDot;\underset{V_{\mathrm{mn}}}{\mathrm{\&Pi;}}{\mathrm{\&omega;}}_v\left(V_{\mathrm{mn}}\right)\&CenterDot;w_e(V_{\mathrm{ij}},V_{\mathrm{mn}})$

上式中V_mn表示V_ij相邻的结点。这样结点V_ij＝(T_i ^k,T_j ^k+1)外观特征和运动特征融合相似度为： 

ρ_fuse(V_ij)＝α·ρ_app(V_ij)+β·ρ_motion(V_ij) 

上式中α和β分别表示外观特征和运动特征的融合权重，α和β可以根据实际情况动态调整。比如在无交互遮挡时以外观特征为主来跟踪目标，这时可以加大α的值，反之，加大β的值。 

第四步，运用带权二分图匹配框架关联跟踪目标。首先用要关联的目标短轨迹建立一个新的带权二分图，然后求所建二分图的最大权匹配，最后把匹配上的轨迹相连，就形成了跟踪目标的长轨迹。具体步骤如下： 

(41)考虑连续的两个时间窗口K和K+1内的跟踪短轨迹  $T^k=\{T_1^k,T_2^k,...,T_m^k\}$ 和 $T^{k+1}=\{T_1^{k+1},T_2^{k+1},...,T_n^{k+1}\},$ 如图3(a)所示。建立带权二分图G＝(T^k,T^k+1,E)，T^k和T^k+1分别作为二分图的结点集合，且 任意e_ij(e_ij∈E)为连接T_i ^k和T_j ^k+1的边，其权重为ω_ij。 

(42)计算二分图每条边的权重ω_ij，如第3步的计算方法，得ω_ij＝ρ_fuse(V_ij)，建立权矩阵W＝[ω_ij]_m×n。 

(43)求二分图的最大权匹配M，可转化为如下的整数规划模型的求解问题，假设m＜n： 

$\max g=\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_{\mathrm{ij}}{x}_{\mathrm{ij}}$

subject to $\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{x}_{\mathrm{ij}}=1,i=\mathrm{1,2},...,m$

$\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}{x}_{\mathrm{ij}}\&le;1,j=\mathrm{1,2},...,n$

x_ij＝0or1,i＝1,2,...,m；j＝1,2,...,n 

此优化模型的解可由匈牙利算法求得，这样就得到了二分图的最大权匹配M，如图5所示。关联匹配上的轨迹，形成了跟踪目标的长轨迹。 

不断重复以上步骤，从而得到每个目标所有时刻的运动轨迹。 

本实施例的描述目标空间运动特征的图模型，很好地刻画了目标与其邻域内目标的运动关系，在目标外观相似，交互频繁时，对区分不同目标起到了重要的作用；本实施例的关联目标的带权二分图模型，与其他的数据关联方法相比，具有实现简单、匹配速度快等特点，降低了目标跟踪的时间复杂度。总的来说，本实施例提出的一种基于图表示和匹配的多目标跟踪方法，在目标拥挤、频繁交互情况下，能实现目标的连续长时间跟踪，与现有的其他跟踪方法相比，降低了丢失率和错跟率，从而提高了多目标跟踪的准确率。 

为了验证本实施例跟踪方法的有效性，我们做了大量的实验，将本实施例应用到多个视频数据库中，如’PETS2006’,’AVSS2007’和‘PETS2009’等数据库，对跟踪效果进行定性与定量分析。具体就是对数据库中的某段视频内的运动目标进行检测跟踪，记录下每帧中目标的位置，根据跟踪方法关联每帧的运动目标，连接每帧中判定为同一目标的位置，形成了目标的跟踪轨迹。 

用不同的跟踪方法跟踪同一视频序列的目标，进行定性分析来判定跟踪方法的优劣程度。如用本实施例的跟踪方法、GM-PHD方法(高斯混合概率假设 密度方法，2006年由Ba-Ngu Vo和Wing-Kin Ma提出的)和CP1(单模板耦合***，2012年由Zheng Wu等人在CVPR会议上提出的)跟踪方法分别跟踪视频序列PETS2009S2.L2，该序列中，多个行人以不同的速度和方向穿过一交叉路口。这些行人大多数很靠近，频繁发生遮挡。GM-PHD方法经常跟丢或跟错目标，CP1在外观相似时，也产生跟踪错误，但本实施例的方法能较准确地跟踪目标。 

用不同的跟踪方法跟踪同一视频序列的目标，进行定量分析来判定跟踪方法的优劣程度。定量评估方法采用国际上通用的2008年提出的CLEAR MOT标准，即MOTA(多目标跟踪的准确度)和MOTP(多目标跟踪的精确度)，另外还采用一些其他的常用标准：MT(目标被成功跟踪帧数占目标实际存在帧数80％以上的轨迹个数)、ML(目标被成功跟踪帧数占目标实际存在帧数20％以下的轨迹个数)、FRMT(一条轨迹的分段数)、IDS(轨迹标志交换的次数)。用本实施例的跟踪方法和GM-PHD和CP1跟踪方法分别跟踪视频序列’PETS2006’,’AVSS2007’和‘PETS2009S2.L2’，跟踪结果的定量比较如表1所示，表中↑表示值越大跟踪效果越好，反之亦然。 

表1：本实施例与其他两种方法跟踪结果的定量比较 

实验结论：在复杂环境中，目标外观相似、频繁遮挡的情况下，本实施例的跟踪能力优于现有的其他方法。如表1所示，本实施例在目标跟踪的准确性、 连续性方面明显优于其他方法，本实施例的跟踪精度也与其他方法相近。 

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。 

Claims (8)

1.基于图表示和匹配的多目标跟踪方法，其特征在于，包括以下步骤： 

(11)生成跟踪目标可靠的短轨迹：输入视频序列，在连续的时间窗口进行目标检测，对检测出的响应进行特征描述，构造相邻两帧响应间相似度匹配矩阵，用双阀值策略关联相邻帧中的响应目标，生成目标可靠的短轨迹； 

(12)为形成的目标短轨迹建立以图为框架的空间运动模型和以颜色、局部二值差分为特征的外观模型； 

(13)计算目标短轨迹间外观特征和空间运动相似度； 

(14)用带权二分图匹配跟踪目标：将相邻时间窗口的轨迹作为二分图的结点，轨迹间外观特征和空间运动相似度的线性融合作为两结点相连边的权重，通过匈牙利算法实现二分图匹配优化，边权重最大的两个结点进行关联，形成跟踪目标的长轨迹。 

2.根据权利要求1所述的多目标跟踪方法，其特征在于，步骤(11)所述生成跟踪目标可靠的短轨迹包括以下步骤： 

(21)用高斯混合模型检测出每帧中的响应，对检测出的响应用其大小、颜色和位置信息进行描述； 

(22)选取两连续帧，建立两帧间响应特征相似度匹配矩阵S，两个响应间的相似度计算如下式： 

  (公式1) 

(23)采用如下的双阀值策略，关联两帧间响应，生成短轨迹； 

  (公式2) 

公式2中R表示两帧中所有检测到的响应集合； 

以此类推，在给定的时间窗口内就生成了可靠的短轨迹。 

3.根据权利要求1所述的多目标跟踪方法，其特征在于，步骤(12)所述为形成的目标短轨迹建立以图为框架的空间运动模型和以颜色、局部二值差分为特征的外观模型包括以下步骤： 

(31)使用无向图建立空间运动模型:在两个连续的时间窗口，建立一个无向图G＝(V,E)，V表示图结点的集合，E表示连接结点的边的集合；通过结点中一对轨迹的运动速度和位置信息，计算每个结点的权重；通过两结点的两对轨迹的运动关系信息，计算边的权重； 

(32)建立短轨迹的外观模型：轨迹的外观信息由HSV颜色直方图和局部二值差分特征组成；通过两种特征的线性融合，生成轨迹的外观模型。 

4.根据权利要求3所述的多目标跟踪方法，其特征在于，步骤(31)中所述计算空间运动模型图中每个结点的权重包括以下步骤： 

(41)首先结点中两轨迹基于速度差分的关系，定义为： 

  (公式3) 

公式3中表示T_j ^k+1轨迹中响应在第帧中的位置，表示T_i ^k轨迹中响应在第帧中的位置，δ_υ是设定的阀值，ε_υ是设定的很小的值；如果E_υ很小，表示两目标在一起的可能性很小； 

(42)计算两轨迹间位置差别，定义如下： 

  (公式4) 

  (公式5) 

公式4中表示轨迹T_i ^k中的响应在时的运动速度，表示轨迹T_i ^k中的响应在时的位置估计，表示所有估计位置和真实位置之差的期望值； 

(43)计算出结点的权重为： 

ω_v(V_ij)＝E_υ·E_P  (公式6) 

5.根据权利要求3所述的多目标跟踪方法，其特征在于，步骤(31)中所述的计算图中两结点边的权重包括以下步骤： 

(51)对任意两结点V_ij和V_mn，定义两轨迹T_i ^k和T_m ^k在时间上重叠部分分别为两个向量S_i和S_m，假设两向量间存在线性运动关系，即：S_i＝S_m·A+B，其中A和B分别为参数； 

(52)已知S_i和S_m，对A和B两参数进行估计： 

  (公式7) 

  (公式8) 

(53)定义V_ij和V_mn边的权重为： 

(公式9) 

公式9中c表示归一化因子，σ表示两轨迹间运动方差；如果w_e(V_ij,V_mn)大，表示如果T_i ^k与T_j ^k+1连接，那么T_m ^k与T_n ^k+1连接的概率较大。 

6.根据权利要求3所述的多目标跟踪方法，其特征在于，步骤(32)中所述建立短轨迹外观模型包括以下步骤： 

(61)在一个时间窗口内，选取训练样本；假设在同一个短轨迹中的响应 表示同一个目标；在同一帧中属于不同短轨迹的响应表示不同的目标；这样，选择同一轨迹中不同的两个响应作为正样本，不同跟踪迹中不同的两个响应作为负样本； 

(62)对选取的所有样本用颜色和局部二值差分特征的融合描述；颜色特征采用HSV直方图，而局部二值差分特征就是把目标划分成多层网格，每层中的每个网格单元用灰度、X方向的梯度、Y方向的梯度来描述，用每个网格单元与同层其他网格单元信息比较生成三位的二值数，把所有的这些二值数按一定顺序排列就形成了对目标描述的局部二值差分描述子；任一对网格单元i和j生成的二值信息如下： 

  (公式10) 

公式10中 

Func(i)＝{I_intensity(i),Grandient_x(i),Grandient_y(i)}；这两种外观特征都具有计算简单，描述能力强的特点； 

(63)计算颜色特征和局部二值差分特征的相似度，采用Adaboost算法对样本进行学习，这样就得到辨识度强的外观模型。 

7.根据权利要求1所述的多目标跟踪方法，其特征在于，步骤(13)中所述计算短轨迹间特征相似度包括以下步骤： 

(71)结点V_ij＝(T_i ^k,T_j ^k+1)中两轨迹外观特征相似度计算：外观特征HSV颜色直方图的相似度计算采用Bhattacharyya距离，如256维的HSV颜色直方图相似度表示为： 

  (公式11) 

局部二值差分特征表示为τ_LDBi,τ_LDBj，统计τ_LDBi和τ_LDBj相应位的值相同的个数，进行归一化，就得到两轨迹间局部二值差分特征的相似度，表示为ρ(τ_LDBi,τ_LDBj)；则两轨迹外观特征的相似度表示为ρ_app(V_ij)＝ρ(H_coli,H_colj)+ρ(τ_LDBi,τ_LDBj)； 

(72)结点V_ij＝(T_i ^k,T_j ^k+1)中两轨迹空间运动关系相似度通过该结点自身的运动，及其相邻结点运动与该结点运动之间的关系求得，计算如下： 

  (公式12) 

公式12中V_mn表示V_ij相邻的结点；这样结点V_ij＝(T_i ^k,T_j ^k+1)外观特征和运动特征融合相似度为： 

ρ_fuse(V_ij)＝α·ρ_app(V_ij)+β·ρ_motion(V_ij)  (公式13) 

公式13中α和β分别表示外观特征和运动特征的融合权重，α和β可以根据实际情况动态调整。 

8.根据权利要求1所述的多目标跟踪方法，其特征在于，步骤(14)中所述运用带权二分图匹配框架关联跟踪目标包括以下步骤： 

(81)建立一个新的带权二分图：考虑连续的两个时间窗口K和K+1内的跟踪短轨迹和建立带权二分图G＝(T^k,T^k+1,E)，T^k和T^k+1分别作为二分图的结点集合，且 任意e_ij(e_ij∈E)为连接T_i ^k和T_j ^k+1的边，其权重为ω_ij； 

(82)计算二分图中每条边的权重ω_ij，如第7步的计算方法，得 ω_ij＝ρ_fuse(V_ij)，建立权矩阵W＝[ω_ij]_m×n； 

(83)求二分图的最大权匹配M，可转化为如下的整数规划模型的求解问题，假设m＜n： 

subject to 

x_ij＝0or1,i＝1,2,...,m；j＝1,2,...,n 

此优化模型的解可由匈牙利算法求得，这样就得到了二分图的最大权匹配M；关联匹配上的轨迹，形成了跟踪目标的长轨迹。