CN104112282A - 一种基于在线学习跟踪监控视频中多个运动目标的方法 - Google Patents

Abstract

本发明公开了一种基于在线学习的监控视频中运动目标跟踪方法，其首先利用离线训练的特定类别测器检测出视频序列中目标区域；然后结合外观特性，采用双阈值保守关联思路关联相邻两帧之间的目标，得到可靠保守的短跟踪片；再在得到的跟踪片上，利用时空域分布约束信息，定义正负样本集，分别提取颜色、纹理外观特征相似度以及运动信息，作为在线学习器训练特征集，通过机器学习在线学习算法的训练过程，得到轨迹片分布规律上基于运动和外观特性的概率统计特性；最后将两轨迹片关联形式化为求解基于运动和外观的联合后验概率最大问题。本发明缓解了近距离外观相似的拥挤场景下多运动目标跟踪问题出现的轨迹身份标定误切换问题。

Description

一种基于在线学习跟踪监控视频中多个运动目标的方法

技术领域

本发明属于模式识别技术领域，更具体地，涉及一种基于在线学习跟踪视频监控中多个运动目标的方法。

背景技术

视频目标跟踪一直是计算机视觉研究领域的热点和难点问题，目的是为了检索出视频序列中运动目标轨迹，进而为后续计算机视觉***更高级识别性能提供有效保障，对加快基于目标跟踪技术的交通管理自动化、智能化具有很高的实用价值。传统的单目标跟踪中面临的问题包括：运动目标非刚性，视角、光照变化导致的形变问题，目标运动的随意性，目标消失与重现，复杂背景中相似目标干扰，背景遮挡，目标自遮挡等，以上这些问题使得单目跟踪算法研究具有很大的挑战性。除了传统的单目跟踪所面临的问题之外(例如目标消失后重现后的检测、复杂背景环境下的目标干扰、遮挡问题等)，多目标跟踪处理的场景更复杂，不确定性因素更多。多目跟踪还需解决以下问题：运动目标个数不确定性、相同目标的相互干扰、同类目标之间遮挡、如何在复杂背景或者拥挤场景条件下分辨相似的小目标等。如拥挤街道场景下行人跟踪应用备受广大学者关注。

在拥挤街道的行人跟踪问题中，行人外观特征很相似，且运动模式很相近，但是随意性特别大，人与人的遮挡将导致很容易出现错跟现象，而目前尚不存在有解决该错根现象的目标跟踪方法。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于在线学习跟踪视频监控中多个运动目标的方法，其目的在于，解决现有交通拥挤条件下出现的轨迹标定问题，如街景环境下拥挤行人跟踪问题，交通路口车辆跟踪问题等，其将多目标跟踪问题转化为最大后验概率准则(Maximum Posterior Probability)问题下轨迹片逐级关联问题。任何已知类别运动目标和可行在线学习机制适用于本发明框架。

为实现上述目的，按照本发明的一个方面，提供了一种基于在线学习跟踪视频监控中多个运动目标的方法，包括以下步骤：

(1)接收输入视频序列，利用离线训练的行人检测器并采用多尺度遍历搜索框的方法标定输入视频序列中目标的位置；

(2)采用基于颜色特性的保守关联方法对输入视频序列中连续两帧之间的检测目标进行数据关联，以得到多个可靠保守的短时跟踪轨迹片；

(3)根据短时跟踪轨迹片并利用同一目标的运动分布特性和颜色相似特性构建正、负样本集，其中正样本集均来自同一目标的运动轨迹，负样本集来自不同目标的运动轨迹；

(4)利用构建的正、负样本集训练霍夫随机森林，该霍夫随机森林种的叶子节点存储了正、负样本集的类别统计特性和轨迹运动特性；

(5)利用时域约束特性将短时跟踪片中首尾间隔差小于阈值T_p的任意两个短时跟踪片构建成可能关联轨迹对，所有的可能关联轨迹对构成可能关联轨迹对集合，将每个可能关联轨迹对进行特征描述，以生成检测样本的特征集，并将检测样本的特征集送入霍夫森林中，以得到该特征集对应的叶子节点；

(6)获取叶子节点的类别统计特性和运动统计特性从而得到所有关联轨迹对的关联概率所有关联概率构成关联概率矩阵；

(7)判断关联概率矩阵中横、纵最大的两个元素是否大于一阈值，如果是则初步判断这两个元素分别对应的轨迹片属于同一轨迹，然后转入步骤(8)，否则表示不属于同一轨迹，然后转入步骤(8)；

(8)用匈牙利算法对两个元素进行再次判断，以最终确定二者对应的轨迹片属于同一轨迹；只有匈牙利算法判断属于同一轨迹且在步骤(7)中判定属于同一轨迹的轨迹片才认为是真正的关联轨迹对；

(9)对步骤(8)得到的属于同一轨迹的两个元素重复执行步骤(3)，以得到新的训练样本集，并对该训练样本集执行步骤(4)的学习步骤；

(10)增加阈值T_p的值，并重复上述步骤(5)至(9)，直到不能再生成可关联的轨迹对为止。

优选地，步骤(3)包括以下子步骤：

(3-1)随机提取短时跟踪轨迹片上两个检测目标的颜色信息和位置信息，用于生成正样本，多个正样本构成正样本集；

(3-2)在不同的一对短时跟踪轨迹片上分别提取一个检测目标的颜色信息和位置信息，用于生成负样本，多个负样本构成负样本集。

优选地，步骤(4)包括以下子步骤：

(4-1)根据正、负样本集生成输入训练样本的特征集A＝{F₁＝(x₁，y₁)，F₂＝(x₂，y₂)......F_n＝(x_n，y_n)}，其中y_i∈0,1，i＝1,2...n，n表示正、负样本集中样本的个数，x_i是第i个输入训练样本的特征向量，且x_i＝{f_color,f_ent,f_motion}，f_color,表示第i个输入训练样本的颜色直方图相似度，f_ent,表示第i个输入训练样本的局部灰度熵局部二进制相似度，f_motion表示第i个输入训练样本的运动偏移量，且p1和p2分别表示第i个输入训练样本构建时随机抽取的两个检测目标在其所在帧中的中心点位置，p1′＝p2-v2·(t2-t1)，p2′＝p1+v1·(t2-t1)，其中v1和v2分别对应第i个输入训练样本构建时对应的两个检测目标的速度，t1和t2分别对应第i个输入训练样本构建时对应的两个检测目标的时间帧，y_i是第i个输入训练样本的类别标量；

(4-2)利用递归划分法对输入训练样本的特征集A进行不断划分，以生成霍夫随机森林，直到霍夫随机森林的叶子节点满足终止条件为止，最终获得叶子节点的类别统计特性和运动统计特性。

优选地，当y_i＝0时，表示该样本是负样本，即特征向量x_i来自不同的轨迹片，当y_i＝1时，表示该样本是正样本，即特征向量x_i来自同一轨迹片。

优选地，叶子节点的终止条件为：(1)叶子节点中保存的样本集数量小于第一阈值，该阈值的大小由正、负样本集的类别特性决定；(2)霍夫随机森林的深度小于第二阈值，该阈值的大小由输入训练样本的特征集信息决定。

优选地，到达某个节点k的样本集S的划分步骤如下：

(4-2-1)随机挑选特征向量x_i＝{f_color,f_ent}，并从中随机挑选f_color,或f_ent作为节点划分阈值，挑选的f_color,或f_ent以及特征向量x_i构成参数池{τ_k}，以挑选的节点划分阈值为例，小于或等于该节点划分阈值的训练样本为左子节点，大于该节点划分阈值的训练样本为右子节点，左、右子节点对应的样本集为S_L，S_R：

$S_L\left({\mathrm{\φ}}_{{\mathrm{\τ}}_k}\right)=\{F_i\∈S|f_{{\mathrm{\φ}}_{{\mathrm{\τ}}_k}}\left(F_i\right)=0\}$

$S_R\left({\mathrm{\φ}}_{{\mathrm{\τ}}_k}\right)=\{F_i\∈S|f_{{\mathrm{\φ}}_{{\mathrm{\τ}}_k}}\left(F_i\right)=1\};$

(4-2-2)获取类别不确定测度U₁(S)＝|S|·H(Y)或轨迹运动偏移一致性不确定测度其中|S|表示到达节点k的样本集S个数，S₊表示S中正样本集个数，为节点k中所有正样本对应的运动偏移均值，H(Y)为样本集S的类别熵；

(4-2-3)选择使类别不确定测度U₁(S)或轨迹运动偏移一致性不确定测度U₂(S)最大的最优参数τ_k*，以使划分后两子节点较划分前节点不确定度下降最大；

(4-2-4)在左、右子节点对应的样本集S_L，S_R基础上继续划分左、右子节点，并重复上述步骤(4-2-1)至(4-2-3)以获取最优参数，直到满足终止条件为止，最终得到的终止子节点就是叶子节点；

(4-2-5)计算叶子节点的类别统计特性和运动统计特性其分别为

$p\left(y_{\mathrm{app}}^{+}\right|L)={\mathrm{\ψ}}_L\left(S_L\right)/N_L$

其中N_L表示叶子节点L中样本集个数，ψ_L(S_L)表示叶子节点L中正样本个数；

运动统计特性是采用基于高斯核-Parzen窗估计法得到：

$p\left(y_{\mathrm{mot}}^{+}\right|L)=\frac{1}{{\mathrm{\ψ}}_L\left(S_L\right)}\left(\underset{f_{\mathrm{motion}}^i\∈L}{\mathrm{\Σ}}\frac{1}{{2\mathrm{\π\σ}}^2}\exp (-\frac{{\left|\right|f_{\mathrm{motion}}^i-{\stackrel{\‾}{f}}_{\mathrm{motion}}\left|\right|}^2}{{2\mathrm{\σ}}^2})\right)$

其中σ为方差，其取值为5。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

1、本发明通过保守的短时跟踪片得到有效准确的训练样本集，从而有效保证树学习过程中的准确性，在对树的学习过程中充分考虑了类别信息和运动信息，这与跟踪模型的建立相符，通过使用匈牙利算法进一步保证可靠的关联结果，采用增量学习方法提高树的学习准确性，从而解决了现有方法中存在的错跟问题。

2、本发明所采用的方法可以用于拥挤街道行人运动轨迹的标定。尤其可以缓解相似相近目标容易出现轨迹身份错跟踪的瓶颈问题，同时就轨迹片中断问题也有较高的鲁棒性。

3、对后续计算机视觉***更高级识别性能提供有效保障，对加快基于行人跟踪技术的交通管理自动化、智能化具有很高的实用价值，具体应用可以涉及到交规管理，机器人导航等应用场景。。

4、本发明不仅局限于行人跟踪，适用于任何已知类别的运动目标轨迹跟踪应用需求。

附图说明

图1是本发明基于在线学习跟踪视频监控中多个运动目标的方法的流程图；

图2是本发明实施例所用到的视频帧图像实例；

图3是本发明实施所用视频帧图像检测结果；

图4(a)是本发明实施例所用到的待检测图像某样检测例,(b)是该检测图像对应局部灰度熵最大原则下挑选出的有效区域，(c)以及局部灰度熵示意图；

图5是训练阶段轨迹运动偏移量定义示意图；

图6是判别阶段轨迹运动偏移量定义示意图；

图7(a)和(b)是本发明实施例所用到的视频帧图像样例在TUD视频帧上对应的最终轨迹标定结果示意图(轨迹结果是图中矩形虚框区域)；

图8(a)和(b)是本发明实施例所用到的视频帧图像样例在ETH视频帧上对应的最终轨迹标定结果示意图(轨迹结果为图中矩形虚框区域)。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明的整体思路在于，其包括逐帧运行行人检测器，标定检测结果、连续两帧之间保守关联得到可靠短时跟踪片、利用时空约束性，构建正负样本特征集(特征集构建包括颜色直方图相似度，方向梯度直方图相似度，局部灰度熵最大原则下局部二进制特征向量相似度，以及基于运动轨迹连续平滑假设条件下的运动轨迹偏移一致性测度)，基于类别不确定度以及运动偏移一致性不确定测度下霍夫森林训练，定义可关联轨迹对，形式化可关联轨迹对的关联概率为外观及运动联合后验概率，MAP准则下得到关联结果，采用匈牙利分配算法纠正关联误差，再在可靠的较长的轨迹片上重新构建训练样本，更新森林叶子节点统计特性，并将可靠的较长的轨迹片作为新输入迭代关联流程，直到没有任何可关联轨迹片为止。

如图1所示，本发明基于在线学习跟踪视频监控中多个运动目标的方法包括以下步骤：

(1)接收输入视频序列，利用离线训练的行人检测器并采用多尺度遍历搜索框的方法标定输入视频序列中目标的位置；

(2)采用基于颜色特性的保守关联方法对输入视频序列中连续两帧之间的检测目标进行数据关联，以得到多个可靠保守的短时跟踪轨迹片；

(3)根据短时跟踪轨迹片并利用同一目标的运动分布特性和颜色相似特性构建正、负样本集，其中正样本集均来自同一目标的运动轨迹，负样本集来自不同目标的运动轨迹；本步骤包括以下子步骤：

(3-1)随机提取短时跟踪轨迹片上两个检测目标的颜色信息和位置信息，用于生成正样本，多个正样本构成正样本集；

(3-2)在不同的一对短时跟踪轨迹片上分别提取一个检测目标的颜色信息和位置信息，用于生成负样本，多个负样本构成负样本集；

(4)利用构建的正、负样本集训练霍夫随机森林(Hough Forest)，该霍夫随机森林种的叶子节点存储了正、负样本集的类别统计特性和轨迹运动特性；本步骤具体包括以下子步骤：

(4-1)根据正、负样本集生成输入训练样本的特征集A＝{F₁＝(x₁，y₁)，F₂＝(x₂，y₂)......F_n＝(x_n，y_n)}，其中y_i∈0,1，i＝1,2...n，n表示正、负样本集中样本的个数，x_i是第i个输入训练样本的特征向量，且x_i＝{f_color,f_ent,f_motion}，f_color,表示第i个输入训练样本的颜色直方图相似度，f_ent,表示第i个输入训练样本的局部灰度熵局部二进制相似度，f_motion表示第i个输入训练样本的运动偏移量，且如图5所示，p1和p2分别表示第i个输入训练样本构建时随机抽取的两个检测目标在其所在帧中的中心点位置，p1′＝p2-v2·(t2-t1)，p2′＝p1+v1·(t2-t1)，其中v1和v2分别对应第i个输入训练样本构建时对应的两个检测目标的速度，t1和t2分别对应第i个输入训练样本构建时对应的两个检测目标的时间帧，y_i是第i个输入训练样本的类别标量；当y_i＝0,表示该样本是负样本，即特征向量x_i来自不同的轨迹片，当y_i＝1时，表示该样本是正样本，即特征向量x_i来自同一轨迹片；

(4-2)利用递归划分法对输入训练样本的特征集A进行不断划分，以生成霍夫随机森林，直到霍夫随机森林的叶子节点满足终止条件为止，最终获得叶子节点的类别统计特性和运动统计特性，其中叶子节点的终止条件为：(1)叶子节点中保存的样本集数量小于第一阈值，该阈值的大小由正、负样本集的类别特性决定，如果正、负样本集的相似度越低，该阈值越大，反之则越小，在本实施方式中，阈值为20；(2)霍夫随机森林的深度小于第二阈值，该阈值的大小由输入训练样本的特征集信息(类别和运动信息)决定，信息越复杂则阈值越大，反之则越小，本实施方式中该阈值为15；其中到达某个节点k的样本集S的划分步骤如下：

(4-2-1)随机挑选特征向量x_i＝{f_color,f_ent}，并从中随机挑选f_color,或f_ent作为节点划分阈值，挑选的f_color,或f_ent以及特征向量x_i构成参数池{τ_k}，以挑选的节点划分阈值为例，小于或等于该节点划分阈值的训练样本为左子节点，大于该节点划分阈值的训练样本为右子节点，左、右子节点对应的样本集为S_L，S_R：

$S_L\left({\mathrm{\φ}}_{{\mathrm{\τ}}_k}\right)=\{F_i\∈S|f_{{\mathrm{\φ}}_{{\mathrm{\τ}}_k}}\left(F_i\right)=0\}$

$S_R\left({\mathrm{\φ}}_{{\mathrm{\τ}}_k}\right)=\{F_i\∈S|f_{{\mathrm{\φ}}_{{\mathrm{\τ}}_k}}\left(F_i\right)=1\};$

(4-2-2)获取类别不确定测度U₁(S)＝|S|·H(Y)或轨迹运动偏移一致性不确定测度其中|S|表示到达节点k的样本集S个数，S₊表示S中正样本集个数，为节点k中所有正样本对应的运动偏移均值，H(Y)为样本集S的类别熵；

(4-2-3)选择使类别不确定测度U₁(S)或轨迹运动偏移一致性不确定测度U₂(S)最大的最优参数τ_k*，以使划分后两子节点较划分前节点不确定度下降最大；

(4-2-4)在左、右子节点对应的样本集S_L，S_R基础上继续划分左、右子节点，并重复上述步骤(4-2-1)至(4-2-3)以获取最优参数，直到满足终止条件为止，最终得到的终止子节点就是叶子节点；

(4-2-5)计算叶子节点的类别统计特性和运动统计特性其分别为

$p\left(y_{\mathrm{app}}^{+}\right|L)={\mathrm{\ψ}}_L\left(S_L\right)/N_L$

其中N_L表示叶子节点L中样本集个数，ψ_L(S_L)表示叶子节点L中正样本个数。

运动统计特性是采用基于高斯核-Parzen窗估计法得到：

$p\left(y_{\mathrm{mot}}^{+}\right|L)=\frac{1}{{\mathrm{\ψ}}_L\left(S_L\right)}\left(\underset{f_{\mathrm{motion}}^i\∈L}{\mathrm{\Σ}}\frac{1}{{2\mathrm{\π\σ}}^2}\exp (-\frac{{\left|\right|f_{\mathrm{motion}}^i-{\stackrel{\‾}{f}}_{\mathrm{motion}}\left|\right|}^2}{{2\mathrm{\σ}}^2})\right)$

其中σ为方差，其取值为5。

(5)利用时域约束特性将短时跟踪片中首尾间隔差小于阈值T_p(其取值和短时跟踪片的长度成正比，在本实施方式中为8帧)的任意两个短时跟踪片构建成可能关联轨迹对，所有的可能关联轨迹对构成可能关联轨迹对集合，将每个可能关联轨迹对进行特征描述，以生成检测样本的特征集，并将检测样本的特征集送入霍夫森林中，以得到该特征集对应的叶子节点；

进行特征描述具体为：在关联轨迹对上的每个轨迹上分别提取一个检测目标的颜色信息和位置信息(如图6所示)，用于生成检测样本，多个检测样本构成检测样本集，根据检测样本集生成检测样本的特征集，其过程和上述步骤(4-1)基本相同，唯一区别是没有类别标量y_i；

(6)根据以上步骤(4-2-5)中的公式计算叶子节点的类别统计特性和运动统计特性从而得到所有关联轨迹对的关联概率定义为：所有关联概率构成关联概率矩阵。

(7)判断关联概率矩阵中横、纵最大的两个元素是否大于一阈值(本实施方式中为0.5)，如果是则初步判断这两个元素分别对应的轨迹片属于同一轨迹，然后转入步骤(8)，否则表示不属于同一轨迹，然后转入步骤(8)；

(8)用匈牙利算法对两个元素进行再次判断，以最终确定二者对应的轨迹片属于同一轨迹；只有匈牙利算法判断属于同一轨迹且在步骤(7)中判定属于同一轨迹的轨迹片才认为是真正的关联轨迹对；

(9)对步骤(8)得到的属于同一轨迹的两个元素重复执行步骤(3)，以得到新的训练样本集，并对该训练样本集执行步骤(4)的学习步骤；

(10)增加阈值T_p的值(在本实施方式中增加10)，并重复上述步骤(5)至(9)，直到不能再生成可关联的轨迹对为止。

下面给出一个具体实例：

(1)接收输入视频序列，利用离线训练的行人检测器并采用多尺度遍历搜索框的方法标定输入视频序列中目标的位置，如图2为某帧视频序列，本项目采用检测器为经典HOG+SVM行人检测算法，其检测结果参考图3。

(2)得到逐帧检测结果后，采用基于颜色特性的保守关联方法对输入视频序列中连续两帧之间的检测目标进行数据关联，以得到多个可靠保守的短时跟踪轨迹片。具体步骤包括将检测结果归一化同一尺寸大小，提取颜色直方图特征向量相邻两帧之间检测结果建立相邻两帧关联矩阵，两检测目标区域对应的颜色直方图相似度表征关联置信度，也即颜色相似度较其他匹配组合最高，且大于阈值的时域上相邻两检测目标被理解为来自同一轨迹，进而可以得到较可靠地短时跟踪轨迹片。

(3)根据短时跟踪轨迹片并利用同一目标的运动分布特性和颜色相似特性构建正、负样本集，其中正样本集均来自同一目标的运动轨迹，负样本集来自不同目标的运动轨迹。具体实现为：

(3-1)随机提取短时跟踪轨迹片上两个检测目标的颜色信息和位置信息，用于生成正样本，多个正样本构成正样本集；

(3-2)在不同的一对短时跟踪轨迹片上分别提取一个检测目标的颜色信息和位置信息，用于生成负样本，多个负样本构成负样本集；

(4)利用(3)构建的正、负样本集训练霍夫随机森林(Hough Forest)具体实施步骤如下：

(4-1)首先提取正负样本特征集，正负样本特征向量由三部分组成，检测目标对应像素区域的颜色直方图f_color,，基于局部灰度熵原则下挑选的有效区域局部二进制描述子f_ent,(参见图4)，以及同一轨迹运动信息(轨迹运动偏移不确定度)p1和p2分别表示第i个输入训练样本构建时随机抽取的两个检测目标在其所在帧中的中心点位置，p1′＝p2-v2·(t2-t1)，p2′＝p1+v1·(t2-t1)，其中v1和v2分别对应第i个输入训练样本构建时对应的两个检测目标的速度，t1和t2分别对应第i个输入训练样本构建时对应的两个检测目标的时间帧，示意图参见图5。显然，正样本来自同一轨迹两检测区域，颜色直方图相似度应较高，有效区域挑选二进制描述子也应相似度较高，同一轨运动具有较高平滑性，固定时间间隔内偏移分布应具有很强规律性。负样本集来自不同轨迹两检测区域像素对应颜色直方图，和局部熵挑选最大区域的局部二进制藐视特征，显然因为来自不同的目标，相似度较同一轨迹低，负样本集中解轨迹的运动偏移量规律性不明显。

(4-2)经过上述处理后，构建了大量正负样本特征集集，下面开始训练霍夫森林学。霍夫森林是级联决策树，学习算法的核心思想是针对每个飞叶子节点寻找最优划分函数，将该非叶子节点的样本集划分到左右不能的两个子节点。最优化分函数的测度分别采用类别不确定度以及轨迹运动偏移不确定一致性，即要求划分函数尽可能的将同类别样本划分到同一节点，或将运动偏移相似的正样本聚集到同一节点。具体步骤如下：

(4-2-1)随机挑选特征向量x_i＝{f_color,f_ent}，并从中随机挑选f_color,或f_ent作为节点划分阈值，挑选的f_color,或f_ent以及特征向量x_i构成参数池{τ_k}，以挑选的节点划分阈值为例，小于或等于该节点划分阈值的训练样本为左子节点，大于该节点划分阈值的训练样本为右子节点，左、右子节点对应的样本集为S_L，S_R：

(4-2-2)获取类别不确定测度U₁(S)＝|S|·H(Y)或轨迹运动偏移一致性不确定测度 $U_2\left(S\right)=\frac{1}{\left|S_{+}\right|}{\mathrm{\Σ}}_{i\∈S_{+}}{\left|\right|f_{\mathrm{motion}}^i-{\stackrel{\‾}{f}}_{\mathrm{motion}}\left|\right|}^2,$

(4-2-3)选择使类别不确定测度U₁(S)或轨迹运动偏移一致性不确定测度U₂(S)最大的最优参数τ_k*，以使划分后两子节点较划分前节点不确定度下降最大；

(4-2-4)在左、右子节点对应的样本集S_L，S_R基础上继续划分左、右子节点，并重复上述步骤(4-2-1)至(4-2-3)以获取最优参数，直到满足终止条件为止，最终得到的终止子节点就是叶子节点；

(4-2-5)计算叶子节点的类别统计特性和运动统计特性

至此，霍夫森林学习完毕。

(5)利用时域约束特性将短时跟踪片中首尾间隔差小于阈值T_p的任意两个短时跟踪片构建成可能关联轨迹对，所有的可能关联轨迹对构成可能关联轨迹对集合，将每个可能关联轨迹对进行特征描述，以生成检测样本的特征集，并将检测样本的特征集送入霍夫森林中，以得到该特征集对应的叶子节点；

检测样本特征描述具体为：首先在关联轨迹对上的每个轨迹上分别提取一个检测目标的颜色信息和位置信息(如图6所示)，用于生成检测样本，多个检测样本构成检测样本集，采用(4-1)方法得到样本集的特征描述集，唯一区别是没有类别标量y_i；

(6)根据以上步骤(4-2-5)已经得到的叶子节点的类别统计特性和运动统计特性计算所有关联轨迹对的关联概率定所有关联概率构成关联概率矩阵。

(7)判断关联概率矩阵中横、纵最大的两个元素是否大于一阈值(本实施方式中为0.5)，如果是则初步判断这两个元素分别对应的轨迹片属于同一轨迹，否则表示不属于同一轨迹，然后转入步骤(8)；

(8)用匈牙利算法对两个元素进行再次判断，以最终确定二者对应的轨迹片属于同一轨迹；只有匈牙利算法判断属于同一轨迹且在步骤(7)中判定属于同一轨迹的轨迹片才认为是真正的关联轨迹对；

(9)对步骤(8)得到的属于同一轨迹的两个元素重复执行步骤(3)，以得到新的训练样本集，并对该训练样本集执行步骤(4)的学习步骤增量学习霍夫森林以提高叶子节点统计特性的精度；

(10)增加阈值T_p的值(在本实施方式中增加10)，并重复上述步骤(5)至(9)，直到不能再生成可关联的轨迹对为止。

总而言之，本发明公开了一种基于在线学习的监控视频中运动目标跟踪方法。适用于一切安检视频序列中运动目标跟踪，如用户及街景场景中行人运动轨迹跟踪，车辆轨迹标定等等。本专利将多目标跟踪问题转化为MAP问题下轨迹片逐级关联问题。首先利用离线训练的特定类别测器检测出视频序列中目标区域；然后结合外观特性，采用双阈值保守关联思路关联相邻两帧之间的目标，得到可靠保守的短跟踪片；再在得到的跟踪片上，利用时空域分布约束信息，定义正负样本集，分别提取颜色，纹理外观特征相似度以及运动信息，作为在线学习器训练特征集，通过机器学习在线学习算法的训练过程，得到轨迹片分布规律上基于运动和外观特性的概率统计特性；最后将两轨迹片关联形式化为求解基于运动和外观的联合后验概率最大问题；逐级关联体现在将上一次的关联结果作为下一集的关联输入，重新构建样本训练集，增量学习更新学习算法模型的概率特性，通过逐渐增大轨迹关联时间间隔，得到更长时间的轨迹片。这种基于在线学习的构建框架较离线训练模板而言有更好的自适应能力，更适用于当下轨迹片学习，然而在线学习机制，由于下一级的训练样本集来自上一级的输出结果，如果上一级输出结果有误差，会产生误差积累。为了避免这种情况，进一步引入基于外观特性的匈牙利分配算法，纠正每级学习算法关联结果，大大提高了算法的鲁棒性，尤其是缓解了近距离外观相似的拥挤场景下多运动目标跟踪问题出现的轨迹身份标定频繁切换问题。本项目在线学习算法构建机制可以是计算机视觉邻域常用任一学习算法：boosting，SVM，决策树等等。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于在线学习跟踪视频监控中多个运动目标的方法，其特征在于，包括以下步骤：

(1)接收输入视频序列，利用离线训练的行人检测器并采用多尺度遍历搜索框的方法标定输入视频序列中目标的位置；

(2)采用基于颜色特性的保守关联方法对输入视频序列中连续两帧之间的检测目标进行数据关联，以得到多个可靠保守的短时跟踪轨迹片；

(3)根据短时跟踪轨迹片并利用同一目标的运动分布特性和颜色相似特性构建正、负样本集，其中正样本集均来自同一目标的运动轨迹，负样本集来自不同目标的运动轨迹；

(4)利用构建的正、负样本集训练霍夫随机森林，该霍夫随机森林种的叶子节点存储了正、负样本集的类别统计特性和轨迹运动特性；

(5)利用时域约束特性将短时跟踪片中首尾间隔差小于阈值T_p的任意两个短时跟踪片构建成可能关联轨迹对，所有的可能关联轨迹对构成可能关联轨迹对集合，将每个可能关联轨迹对进行特征描述，以生成检测样本的特征集，并将检测样本的特征集送入霍夫森林中，以得到该特征集对应的叶子节点；

(6)获取叶子节点的类别统计特性和运动统计特性从而得到所有关联轨迹对的关联概率所有关联概率构成关联概率矩阵；

(7)判断关联概率矩阵中横、纵最大的两个元素是否大于一阈值，如果是则初步判断这两个元素分别对应的轨迹片属于同一轨迹，然后转入步骤(8)，否则表示不属于同一轨迹，然后转入步骤(8)；

(8)用匈牙利算法对两个元素进行再次判断，以最终确定二者对应的轨迹片属于同一轨迹；只有匈牙利算法判断属于同一轨迹且在步骤(7)中判定属于同一轨迹的轨迹片才认为是真正的关联轨迹对；

(9)对步骤(8)得到的属于同一轨迹的两个元素重复执行步骤(3)，以得到新的训练样本集，并对该训练样本集执行步骤(4)的学习步骤；

(10)增加阈值T_p的值，并重复上述步骤(5)至(9)，直到不能再生成可关联的轨迹对为止。

2.根据权利要求1所述的方法，其特征在于，步骤(3)包括以下子步骤：

(3-1)随机提取短时跟踪轨迹片上两个检测目标的颜色信息和位置信息，用于生成正样本，多个正样本构成正样本集；

(3-2)在不同的一对短时跟踪轨迹片上分别提取一个检测目标的颜色信息和位置信息，用于生成负样本，多个负样本构成负样本集。

3.根据权利要求2所述的方法，其特征在于，步骤(4)包括以下子步骤：

(4-1)根据正、负样本集生成输入训练样本的特征集A＝{F₁＝(x₁，y₁)，F₂＝(x₂，y₂)......F_n＝(x_n，y_n)}，其中y_i∈0,1，i＝1,2...n，n表示正、负样本集中样本的个数，x_i是第i个输入训练样本的特征向量，且x_i＝{f_color,f_ent,f_motion}，f_color,表示第i个输入训练样本的颜色直方图相似度，f_ent,表示第i个输入训练样本的局部灰度熵局部二进制相似度，f_motion表示第i个输入训练样本的运动偏移量，且p1和p2分别表示第i个输入训练样本构建时随机抽取的两个检测目标在其所在帧中的中心点位置，p1′＝p2-v2·(t2-t1)，p2′＝p1+v1·(t2-t1)，其中v1和v2分别对应第i个输入训练样本构建时对应的两个检测目标的速度，t1和t2分别对应第i个输入训练样本构建时对应的两个检测目标的时间帧，y_i是第i个输入训练样本的类别标量；

(4-2)利用递归划分法对输入训练样本的特征集A进行不断划分，以生成霍夫随机森林，直到霍夫随机森林的叶子节点满足终止条件为止，最终获得叶子节点的类别统计特性和运动统计特性。

4.根据权利要求3所述的方法，其特征在于，当y_i＝0时，表示该样本是负样本，即特征向量x_i来自不同的轨迹片，当y_i＝1时，表示该样本是正样本，即特征向量x_i来自同一轨迹片。

5.根据权利要求3所述的方法，其特征在于，叶子节点的终止条件为：(1)叶子节点中保存的样本集数量小于第一阈值，该阈值的大小由正、负样本集的类别特性决定；(2)霍夫随机森林的深度小于第二阈值，该阈值的大小由输入训练样本的特征集信息决定。

6.根据权利要求3所述的方法，其特征在于，到达某个节点k的样本集S的划分步骤如下：

(4-2-1)随机挑选特征向量x_i＝{f_color,f_ent}，并从中随机挑选f_color,或f_ent作为节点划分阈值，挑选的f_color,或f_ent以及特征向量x_i构成参数池{τ_k}，以挑选的节点划分阈值为例，小于或等于该节点划分阈值的训练样本为左子节点，大于该节点划分阈值的训练样本为右子节点，左、右子节点对应的样本集为S_L，S_R：

$S_L\left({\mathrm{\φ}}_{{\mathrm{\τ}}_k}\right)=\{F_i\∈S|f_{{\mathrm{\φ}}_{{\mathrm{\τ}}_k}}\left(F_i\right)=0\}$

$S_R\left({\mathrm{\φ}}_{{\mathrm{\τ}}_k}\right)=\{F_i\∈S|f_{{\mathrm{\φ}}_{{\mathrm{\τ}}_k}}\left(F_i\right)=1\};$

(4-2-2)获取类别不确定测度U₁(S)＝|S|·H(Y)或轨迹运动偏移一致性不确定测度其中|S|表示到达节点k的样本集S个数，S₊表示S中正样本集个数，为节点k中所有正样本对应的运动偏移均值，H(Y)为样本集S的类别熵；

(4-2-3)选择使类别不确定测度U₁(S)或轨迹运动偏移一致性不确定测度U₂(S)最大的最优参数τ_k*，以使划分后两子节点较划分前节点不确定度下降最大；

(4-2-4)在左、右子节点对应的样本集S_L，S_R基础上继续划分左、右子节点，并重复上述步骤(4-2-1)至(4-2-3)以获取最优参数，直到满足终止条件为止，最终得到的终止子节点就是叶子节点；

(4-2-5)计算叶子节点的类别统计特性和运动统计特性其分别为

$p\left(y_{\mathrm{app}}^{+}\right|L)={\mathrm{\ψ}}_L\left(S_L\right)/N_L$

其中N_L表示叶子节点L中样本集个数，ψ_L(S_L)表示叶子节点L中正样本个数；

运动统计特性是采用基于高斯核-Parzen窗估计法得到：

$p\left(y_{\mathrm{mot}}^{+}\right|L)=\frac{1}{{\mathrm{\ψ}}_L\left(S_L\right)}\left(\underset{f_{\mathrm{motion}}^i\∈L}{\mathrm{\Σ}}\frac{1}{{2\mathrm{\π\σ}}^2}\exp (-\frac{{\left|\right|f_{\mathrm{motion}}^i-{\stackrel{\‾}{f}}_{\mathrm{motion}}\left|\right|}^2}{{2\mathrm{\σ}}^2})\right)$

其中σ为方差，其取值为5。