CN102831409B - 基于粒子滤波的运动行人视频自动跟踪方法及*** - Google Patents

Abstract

本申请公开了一种基于粒子滤波的运动行人视频自动跟踪方法及***，该方法包括：输入一帧图像，通过HOG特征向量集和SVM向量机进行检测；实现基于HOG和颜色双重特征的粒子滤波跟踪，首先获得目标行人的初始矩形区域，并从目标矩形区域中采样若干粒子，提取HOG特征和颜色特征，计算HOG和颜色双重特征融合后粒子的权重，通过最小均方误差估计器得到最后的状态估计并输出估计目标后进行重采样；使之紧紧锁定跟踪目标行人。本发明通过提取HOG和颜色双重特征，提高粒子滤波似然模型的鲁棒性，消除跟踪过程中不稳定的情况，结合HOG特征通过加权平均的融合策略构建更好的似然模型，大大提高跟踪算法的鲁棒性，完成稳定的跟踪。

Description

基于粒子滤波的运动行人视频自动跟踪方法及***

技术领域

本申请涉及计算机视觉技术领域，尤其涉及一种基于粒子滤波的运动行人视频自动跟踪方法及***。

背景技术

运动物体的跟踪就是在连续的图像序列上，对运动的行人出现的位置、大小、形状等有关特征的对应匹配问题。众多学者提出了许多算法。现有运动物体跟踪算法主要有以下四种:基于模板匹配的跟踪方法、基于轮廓的跟踪方法、基于运动预测的跟踪方法和粒子滤波跟踪方法。

其中，粒子滤波跟踪方法在现实应用场景中，通常图像的噪声不服从高斯分布，因此，卡尔曼滤波不能获得较好的跟踪效果，为了应用于现实应用的场景。现有技术已将粒子滤波算法引入到视觉跟踪领域。

粒子滤波器的主要思想是基于蒙特卡洛方法，它是利用具有权重的粒子集来表示后验概率，可以应用于任何形式的状态空间模型上，是一种顺序重要性采样法(Sequential Importance Sampling，SIS)。简单来说，粒子滤波法是指通过寻找一组在状态空间传播的随机样本对概率密度函数进行近似，以样本均值代替积分运算，从而获得状态最小方差分布的过程。

粒子滤波器是针对非线性运动，多模式分布的情况。通过对前一帧的后验概率分布估计值进行采样，然后传播这些采样值形成当前帧的后验概率估计值。粒子滤波器的缺点是为保证对当前状态进行最大似然估计的正确性所需的采样点太多导致计算量过大。

粒子滤波器的另一个不足之处是粒子退化现象，目前众多学者改进粒子滤波的主要切入点也是从解决粒子退化现象入手。现有技术通过引入均值漂移来调整粒子滤波采样策略，并使用积分直方图来加快每个粒子直方图的计算，提高跟踪算法的速度和精度；吴涛等提出了基于MCMC方法的粒子滤波改进算法，使用MCMC方法选取较好的采样策略来改善跟踪算法的性能；而通过抛弃小权重以及充分利用粒子权重大小所代表的意义来复制的原则进行跟踪算法的改进。虽然有这些改进，但在行人跟踪上，未见相关报道，也有许多技术难关需要攻克。

综上所述，有必要提供一种基于粒子滤波的运动行人视频自动跟踪方法及***以解决上述问题。

发明内容

有鉴于此，本发明提供一种基于粒子滤波的运动行人视频自动跟踪方法及***，有效的提高了跟踪算法的鲁棒性，完成稳定的跟踪。

为了实现上述目的，本申请实施例提供的技术方案如下：

一种基于粒子滤波的运动行人视频自动跟踪方法，所述方法包括以下步骤：

S1、输入一帧图像，通过HOG特征向量集和SVM向量机进行检测，判断是否有行人，若是，执行步骤S2，若否，输入下一帧图像重新检测；

S2、实现基于HOG和颜色双重特征的粒子滤波跟踪，首先获得目标行人的初始矩形区域，并从目标矩形区域中采样若干粒子，提取HOG特征和颜色特征，计算HOG和颜色双重特征融合后粒子的权重，通过最小均方误差估计器得到最后的状态估计并输出估计目标后进行重采样；

S3、判断图像是否为最后一帧，若是，则结束跟踪，若否，返回步骤S2。

作为本发明的进一步改进，所述步骤S1中的“通过HOG特征向量集进行检测”具体为：

在灰度空间或颜色空间中评估图像像素特性，对图像进行伽马校正规范化；

根据HOG梯度的提取，计算每个像素的梯度；

计算单元梯度幅值，具体为累加每个单元中包含像素的梯度方向直方图，再将每个梯度方向直方图映射到确定的角度上，得到HOG特征向量；

相邻的单元组成一个块，进行块归一化；

选用单元和块，得到HOG特征向量集进行检测。

作为本发明的进一步改进，所述步骤S1中的SVM向量机包括SVM分类器，所述SVM分类器包括传统SVM分类器和线性不可分SVM分类器。

作为本发明的进一步改进，所述传统SVM分类器中的分类函数为：线性不可分SVM分类器中的分类函数为： $f\left(x\right)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_i{\mathrm{\α}}_{i}K(x\·x_i)+b^{*}.$

作为本发明的进一步改进，所述步骤S2具体为：

获得目标行人的初始矩形区域，并从目标矩形区域中采样若干粒子 初始化每个粒子权重为1/N；

通过状态方程x_t＝Ax_t-1+Bw_t-1预测得到t时刻粒子的状态

计算HOG和颜色双重特征融合后粒子的权重：

$w^i=\frac{\mathrm{colcount}}{\mathrm{colcount}+\mathrm{hogcount}}*w_c^i+\frac{\mathrm{hogcount}}{\mathrm{colcount}+\mathrm{hogcount}}*w_h^i;$

通过最小均方误差估计器得到最后的状态估计：

输出估计目标并进行重采样。

作为本发明的进一步改进，所述步骤S2中颜色特征的提取具体为：

在RGB空间计算颜色直方图，目标区域的概率分布为： $q\left(x\right)=C\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}k\left(\right|\left|\frac{x-x_i}{h}\right|\left|\right)\mathrm{\&delta;}\left(b(x_i-u)\right),u=1\&CenterDot;\&CenterDot;\&CenterDot;m,$ 其中，所述目标候选目标区域的状态变量为X，中心位置为x，δ为Kronecker delta函数，n是所述目标区域像素点的个数，函数b:R²→{1...m}给每个像素分配一个对应的bin，C为常数，归一化公式为。 $C=1/{\mathrm{\&Sigma;}}_{i=1}^{n}k\left({\left|\right|x_i\left|\right|}^2\right),$ k表示核函数，且 $k\left(x\right)=\left\{\begin{array}{c}1-x^2:x<1\\ 0:\mathrm{otherwise}\end{array}\right.;$

目标模板p依据候选模板 进行计算，计算相似度距离为 然后根据相似度距离计算粒子的观测值 $p\left(z\right|x_t)=\frac{1}{\sqrt{2\mathrm{\&pi;}{\mathrm{\&sigma;}}^2}}\exp \left(\frac{-d^2}{2{\mathrm{\&sigma;}}^2}\right).$

作为本发明的进一步改进，所述步骤S2中HOG特征的提取具体为：

使用一阶中心算子[-1,0,1]，计算图像每个像素点水平和垂直方向的梯度值G_h和G_v，其中：

$G_h(x,y)=f(x+1,y)-f(x-1,y),\&ForAll;x,y,$ $G_v(x,y)=f(x,y+1)-f(x,y-1),\&ForAll;x,y;$

计算每个像素的强度M(x,y)和梯度方向θ(x,y)，其中：

$M(x,y)=\sqrt{G_h{(x,y)}^2+G_v{(x,y)}^2},$ θ(x，y)＝tan^-1(G_h(x,y)/G_v(x，y))；

对梯度强度进行归一化，得到整幅图像的梯度直方图。

作为本发明的进一步改进，所述步骤S2中的采样具体为：

在单位超立方体D_s:[0,1)上产生QMC点集{uⁱ,i＝1,2…N}，利用公式xⁱ=[a+(b-a)οuⁱ]将QMC点集转换为粒子集{xⁱ,1,2…N}，其中a和b是xⁱ所在空间的间隔范围。

相应地，一种基于粒子滤波的运动行人视频自动跟踪***，所述***包括：

预处理模块，所述模块利用HOG和SVM检测算法，检测出初始帧中包含的行人，并给出行人的矩形区域；

视频捕捉模块，用于完成视频文件或者是摄像头的视频捕捉，并将捕捉的视频显示到***界面，提供直观的理解；

参数设置模块，所述模块利用MFC控件，提供用户设置跟踪算法参数的接口；

行人跟踪模块，用于采用HOG和颜色双重特征相结合的方法，应用粒子滤波的跟踪框架，完成对运动行人的跟踪。

由以上技术方案可以见，本发明的基于粒子滤波的运动行人视频自动跟踪方法及***，在基于粒子滤波的框架下完成对运动行人的跟踪。通过提取HOG和颜色双重特征，提高粒子滤波似然模型的鲁棒性，消除跟踪过程中不稳定的情况，特别是针对单一颜色特征在复杂背景下跟踪效果容易出现跟踪丢失等问题而无法满足实时跟踪的要求，结合HOG特征通过加权平均的融合策略构建更好的似然模型，从而大大提高跟踪算法的鲁棒性，完成稳定的跟踪；

同时，通过研究粒子滤波采样方法得到粒子集的特性，我们发现基于MC方法产生的粒子由于其随机特性导致粒子间容易出现间隙和层叠，影响跟踪算法的精度，更有甚者，导致滤波器无法收敛，无法完成跟踪。本发明通过QMC采样方法，产生更加细则均匀的粒子集来代替MC随机采样得到的粒子集，消除粒子间的间隙和层叠，最终提高跟踪算法的精度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于粒子滤波的运动行人视频自动跟踪方法的具体流程图；

图2为本发明中HOG特征图解示意图；

图3为本传统SVM分类器最优间隔超平面的示意图；

图4(a)为本发明中MC采样方法粒子分布示意图，图4(b)为本发明中QMC采样方法粒子分布示意图；

图5为本发明基于粒子滤波的运动行人视频自动跟踪***模块示意图；

图6为现有技术和本发明一实施方式中两种跟踪方法处理每帧消耗时间对比图；

图7为现有技术中基于颜色特征的最大粒子权重的示意图；

图8为本发明中一实施方式中基于HOG和颜色特征的最大粒子权重的示意图；

图9为现有技术和本发明另一实施方式中跟踪轨迹和实际轨迹的对比图；

图10为现有技术和本发明另一实施方式中每一帧处理时间的对比图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

参图1所示，本发明的一种基于粒子滤波的运动行人视频自动跟踪方法，该方法包括以下步骤：

S1、输入一帧图像，通过HOG特征向量集和SVM向量机进行检测，判断是否有行人，若是，执行步骤S2，若否，输入下一帧图像重新检测；

S2、实现基于HOG和颜色双重特征的粒子滤波跟踪，首先获得目标行人的初始矩形区域，并从目标矩形区域中采样若干粒子，提取HOG特征和颜色特征，计算HOG和颜色双重特征融合后粒子的权重，通过最小均方误差估计器得到最后的状态估计并输出估计目标后进行重采样；

S3、判断图像是否为最后一帧，若是，则结束跟踪，若否，返回步骤S2。

在步骤S1中的“通过HOG特征向量集进行检测”具体为：

在灰度空间或颜色空间中评估图像像素特性，对图像进行伽马校正规范化。评估图像像素特性，一般在灰度空间或者是颜色空间。选取何种现实空间，对于是否能精确地显示图像至关重要，在行人检测中，使用获得信息会降低图像的信息的采集，因此会造成检测精度的下降。很显然，颜色空间能提供更多有用的信息。在现实的应用场景中，检测图像一般会有阴影的和曝光的干扰，为了消除这些干扰因素，对图像进行伽马校正规范化。通常，伽马校正有两种不同的函数：幂次函数（n次幂和n次方根）和对数（对数和反对数）函数。通过2次方根提高了检测率大致为：在10-4FPPW(False PositivesPer Window)中，错误率是1%；而对数情况下，则降低了检测率：在10-4，错误率是2%；

根据HOG梯度的提取，计算每个像素的梯度。在本实施方式中，由于一阶中心算子计算量小，计算简单，因此，我们选用一阶中心算子[-1,0,1]来计算像素的梯度值；

计算单元梯度幅值，具体为累加每个单元中包含像素的梯度方向直方图，再将每个梯度方向直方图映射到确定的角度上，得到HOG特征向量。单元cell梯度幅值的统计是用来描述局部区域的目标信息，可以减少行人由于衣着外观和姿态变化带来形状变化的影响。如图2(a)所示，梯度幅值计算的基本思想是，累加每个单元中包含像素的梯度方向直方图，再将每个梯度方向直方图映射到确定的角度上，得到特征向量；

相邻的单元组成一个块，进行块归一化。相邻的单元cell组成一个块，称为block。如图2(b)所示。可以看出，相邻的block之间会出现重叠，而且可以提高提高分类效果。这样就会出现一个单元里的局部特征在各个block中有着不同的计算结果，参图2(c)经过归一化后，以不同的值出现在特征向量中。进而描述整个图像的信息，即是HOG特征向量集；

选用单元和块，得到HOG特征向量集进行检测。检测过程中，选用不同的单元格cell和块block，得到的检测效果会有很大的差异。本文采用Dalal文中提出的，cell大小为8×8，每个2×2的cell构成一个block，检测窗口为64×128，进而得到HOG特征向量集。

步骤S1中的SVM向量机包括SVM分类器，SVM分类器包括传统SVM分类器和线性不可分SVM分类器。

传统SVM分类器是指广义上的分类器，是在线性可分的情况下提出的。假设有H₁和H₂两个训练样本，其中H1是正样本，H₂是负样本。在线性可分的条件下，可以找到这样的两个超平面，使得在这两个超平面之间没有任何样本点。而且最优的线性分类就是使这两个超平面间的距离最大，即为最优超平面，具体如图3所示。

其中超平面方程为：w·x_i+b=0;

同时为了使得样本数据点都在超平面的间隔区之外，我们需要保证对于所有的x_i满足其中的一个条件：y_i(w·x_i+b)≥1,i＝1…n;

假设x_i到超平面的距离为D，则有：

则间隔距离为：

$m\arg \mathrm{in}=\underset{\{x_i,y_i=1\}}{\min }D(w,b:x_i)+\underset{\{x_i,y_i=-1\}}{\min }D(w,b:x_i)$

$=\underset{\{x_i,y_i=1\}}{\min }\frac{|w\&CenterDot;x_i+b|}{\left|\right|w\left|\right|}+\underset{\{x_i,y_i=-1\}}{\min }\frac{|w\&CenterDot;x_i+b|}{\left|\right|w\left|\right|}$

$=\frac{2}{\left|\right|w\left|\right|}$

从上式可以看出，要想使得间距最大，则使||w||最小，需求最佳超平面在超平面方程的条件下，使得 最小。利用二次规划最优化的解决办法可以得出分类函数为： $f\left(x\right)=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{y}_i{a}_i(x\&CenterDot;x_i)+b^{*},$ 其中，a为拉格朗日因子。

传统SVM分类器的最大缺点就是只适用于训练样本线性可分的情况，而实际应用场景中，一般都是线性不可分的训练数据。针对这一情况，众多学者在传统SVM分类器的基础上，发展了线性不可分SVM分类器。针对线性不可分的这一问题，大多数是将样本空间向量映射到一个高维特征空间里，即将非线性不可分的问题转换为新的高维特征空间的线性问题，然后在高维特征空间求最优间隔超平面的问题，根据上述线性可分函数过程中发现，我们只需要运用核函数在空间里进行内积运算，就可以实现线性分类，其中核函数满足Mercer条件，常用核函数主要有三种：

一、是用的最多的RBF径向基函数：

$K(x,y)=\exp (-\frac{{\left|\right|x-y\left|\right|}^2}{2{\mathrm{\&sigma;}}^2})$

二、是多项式核函数：

K(x,y)=(x·y+1)^d

三、是应用Sigmoid函数：

K(x,y)=tanh(w·(x·y)+b)

根据应用场景选择合适的核函数，可以得到分类函数为：

$f\left(x\right)=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{y}_i{\mathrm{\&alpha;}}_{i}K(x\&CenterDot;x_i)+b^{*}.$

现有技术中，运动传播模型也就是***状态的传播过程，它描述的是运动行人随着时间的运动过程。对于任何目标跟踪算法，都需要对目标的运动进行建模。通常跟踪领域常用的数学模型有自回归模型(Auto regressive)、随即游走模型(Random walk)。由于行人运动轨迹的随机性和不确定性，因此本文采用随即游走模型来描述运动的行人，方程为：s_t＝As_t-1+w_t。其中，A为常数，w_t为***多变量高斯噪声且各个变量之间相互独立，s_t表示目标行人在t时刻的位置状态。

目标行人运动传播模型描述行人随着时间的运动轨迹，反映在粒子滤波跟踪框架中，是描述各个粒子以哪种运动方式转移和传播的。但是传播后的状态还需要观测模型来核实其相似程度。这样，观测模型的设计就等价于相似函数的建立与求解问题了。当观测值与运动传播的估计值越相似，则估计的目标状态越接近运动行人实际的状态。本文选取HOG和颜色特征作为运动行人似然模型的建立，两种特征似然模型的建立如下。

相似函数的建立

假设q(x)是***模型的参考模型，x表示目标模型的中心位置；p表示目标模型，我们选用巴氏系数来衡量两个模型之间的相似性，其中巴氏系数方程如下：

$\mathrm{\&rho;}(p,q)=\underset{u=1}{\overset{m}{\mathrm{\&Sigma;}}}\sqrt{p^{*}{q}_u\left(x\right)};$

相似度距离为：

$d=\sqrt{1-\mathrm{\&rho;}(p,q)};$

在获得相似度距离之后，计算粒子的观测值：

$p\left(z\right|x_t)=\frac{1}{\sqrt{2\mathrm{\&pi;}{\mathrm{\&sigma;}}^2}}\exp \left(\frac{-d^2}{2{\mathrm{\&sigma;}}^2}\right),$

其中，σ²是尺度因子。

颜色特征提取

在视频跟踪领域，颜色特征是一个被广泛使用的特征，主要是因为颜色特征对目标形变、旋转和部分遮挡具有一定鲁棒性。通常，目标区域的颜色分布使用离散化的颜色柱状图来表示，状态图分格(bin)取为m=16*16*16。本文在RGB空间计算颜色直方图，假设目标候选目标区域的状态变量为X，中心位置为x，则在目标区域的概率分布为：

$q\left(x\right)=C\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}k\left(\right|\left|\frac{x-x_i}{h}\right|\left|\right)\mathrm{\&delta;}\left(b(x_i-u)\right),$ u=1…m，

其中δ为Kronecker delta函数，n是这个目标区域像素点的个数。函数b:R²→{1...m}给每个像素分配一个对应的bin，C为常数，归一化公式为：k表示核函数，定义如下：

$k\left(x\right)=\left\{\begin{array}{c}1-x^2:x<1\\ 0:\mathrm{otherwise}\end{array}\right.,$

同理，目标模板p依据候选模板进行计算，进而计算相似度距离，获得粒子的观测值。

HOG特征提取

梯度直方图HOG是一种用于描述运动行人形状轮廓的特征，经常被用于行人检测，并取得较好的检测效果。由于具有描述行人特征的较好性能，而单一特征无法完成对运动行人稳定的跟踪，因此本章在单一颜色特征的基础上，引入HOG特征来提高跟踪算法的鲁棒性和精确性。首先目标行人区域在灰度尺度上被分割成每一个相等的单元称为cell，然后在每个cell里所有的像素根据其梯度值和方向构建相应的梯度直方图，最后对每一个直方图进行归一化，得到整幅图像的梯度直方图。

使用一阶中心算子[-1,0,1]，来计算图像每个像素点水平和垂直方向的梯度值G_h和G_v：

$G_h(x,y)=f(x+1,y)-f(x-1,y),\&ForAll;x,y,$ $G_v(x,y)=f(x,y+1)-f(x,y-1),\&ForAll;x,y;$

计算每个像素的强度M(x,y)和梯度方向θ(x,y)：

$M(x,y)=\sqrt{G_h{(x,y)}^2+G_v{(x,y)}^2},$ θ(x，y)＝tan^-1(G_h(x,y)/G_v(x，y))；

对梯度强度进行归一化，得到整幅图像的梯度直方图。

HOG和颜色特征的融合策略

根据上述计算过程，可以得到目标行人区域内基于各个特征的权重值如下，其中基于颜色特征的权重为 基于HOG特征的权重值为

在获得权重值之后，我们提出一种新的融合策略来获得每个像素点的最终的权重值，然后依据最终的权重值进行跟踪算法的迭代执行。新的融合策略首先设定一个阈值k，然后依据如下公式进行统计每个特征信息下的有效特征数。

$\mathrm{colcount}=\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}\mathrm{count}\left(w_c^i\right),$ $\mathrm{hogcount}=\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}\mathrm{count}\left(w_h^i\right),$

其中， $\mathrm{count}\left(x\right)=\left\{\begin{array}{c}1,x\&GreaterEqual;k\\ 0,x<k\end{array}\right..$

根据有效的特征数，可以获得最终的权重值：

$w^i=\frac{\mathrm{colcount}}{\mathrm{colcount}+\mathrm{hogcount}}*w_c^i+\frac{\mathrm{hogcount}}{\mathrm{colcount}+\mathrm{hogcount}}*w_h^i,$

得到最终权重后，便可以进行粒子权重的更新，完成粒子滤波跟踪算法。

粒子滤波算法的基本原理是依据大数定理采用非参数化蒙特卡洛模拟来求解贝叶斯估计中的积分问题，适用于现实情况下的非线性、非高斯场景下的估计问题。

贝叶斯估计的基本原理是用已知从1~t-1时刻的所有信息来构造***状态的先验概率，再根据t时刻的观测值z_1∶t来修正，得到***的后验概率p(x_t|z_1∶t)。通常，贝叶斯滤波的递推过程分别为预测和更新两个步骤来完成。

第一步，预测。根据***状态的转移模型，可以由***状态在t-1时刻的概率密度函数来预测t时刻***的状态p(x_t|z_1∶t-1)。

由Chapman-Kolmogorov方程得：

p(x_t|z_1:t-1)=∫p(x_t|x_t-1)p(x_t-1|z_1:t-1)dx_t-1；

第二步：更新。在t时刻，由***的观测模型计算出相应的观测值，利用贝叶斯公式完成先验概率p(x_t|z_1∶t-1)向后验概率p(x_t|z_1∶t)的推导。

$p\left(x_t\right|z_{1:t})=\frac{p\left(z_{1:t}\right|x_t)p\left(x_t\right)}{p\left(z_{1:t}\right)},$

粒子滤波通过一组带有权重的粒子集来近似***状态的后验概率。根据大数定律，当粒子数非常大时，这种近似等同于后验概率。则p(x_t|z_1∶t)可以转换为：

$p\left(x_t\right|z_{1:t})\&ap;\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{w}_t^i\mathrm{\&delta;}(x_{0:t}-x_{0:t}^i),$

其中N为粒子数， 为粒子的权重。通常粒子集无法直接从后验概率中采样得到，一般利用重要性采样从另一个容易采样的重要性密度函数中得到。则权重修正公式为：

$w_t=w_{t-1}\frac{p\left(z_t\right|x_t)p\left(x_t\right|x_{t-1})}{q\left(x_t\right|x_{0:t-1},z_{1:t})},$

为了计算方便，通常常用的重要性函数为q(x_t|x_0∶t-1,z_1∶t)＝p(x_t|x_t-1)，带入 $w_t=w_{t-1}\frac{p\left(z_t\right|x_t)p\left(x_t\right|x_{t-1})}{q\left(x_t\right|x_{0:t-1},z_{1:t})}$ 式得：w_t＝w_t-1p(z_t|x_t)。

由此可得，粒子滤波有重要性密度函数获取粒子集，并随着观测值迭代求得相应的权重，最终加权求和的方式来表示状态的后验概率，得到最终的估计值。

假设带有权重的粒子集为X={(xⁿ,wⁿ)|n=1…N}，X表示目标的状态，w为粒子相应的权重，则后验概率可以通过如下公式得到： w的值即是HOG和颜色双重特征融合之后的权值。

综上所述，步骤S2可以为：

获得目标行人的初始矩形区域，并从目标矩形区域中采样若干粒子 初始化每个粒子权重为1/N；

通过状态方程x_t＝Ax_t-1+Bw_t-1预测得到t时刻粒子的状态

计算HOG和颜色双重特征融合后粒子的权重：

$w^i=\frac{\mathrm{colcount}}{\mathrm{colcount}+\mathrm{hogcount}}*w_c^i+\frac{\mathrm{hogcount}}{\mathrm{colcount}+\mathrm{hogcount}}*w_h^i;$

通过最小均方误差估计器得到最后的状态估计：

输出估计目标并进行重采样。

上文中指出粒子滤波理论被广泛的应用于非线性、非高斯场景下的估计问题，非常适合在复杂背景的环境下进行跟踪，并且对遮挡、干扰等现象具有很好的鲁棒性。它是基于蒙特卡洛(MC)方法随机采样得到粒子，通过一个带有权重的粒子集来逼近状态的后验概率。虽然粒子滤波已经取得广泛的应用，但是在处理复杂问题时可能变得不稳定影响最后跟踪的精确性；这主要是由于基于蒙特卡洛采样的随机特性而导致粒子集间的相差非常大，并在估计的过程中成指数级的积累，更有甚者，导致滤波器的失效。这种随机特性的主要表现是粒子在局部的间隙过大或大量层叠。相较于蒙特卡洛方法，拟蒙特卡洛(QMC)方法作为MC的对立面，基本思想是使用更加细则分布的确定性超均匀分布序列来构建MC方法中用随机序列所形成的近似。这种确定性方法能够得到采样空间最优的分布点也即是最优粒子集，来避免MC随机采样过程中粒子的间隙过大、层叠，提高采样效率和精度。

拟蒙特卡洛(QMC)是为了寻找一种点集来降低蒙特卡洛积分的误差，其积分形式与蒙特卡洛一致，只不过用的随机数不一样。QMC主要致力于构造平均误差比MC要好的点集，QMC方法是用确定性的点集来代替MC的随即点集。同时根据获得N个点集采样方法的不同，才将积分问题分为蒙特卡洛(MC)方法和拟蒙特卡洛(QMC)方法。

MC和QMC在应用于粒子滤波跟踪算法中的基本思想都是采用加权的后验样本粒子来逼近后验概率分布，将对积分的求解用求和的形式来计算。然而，正式由于MC采样方法的随机特性而导致采样粒子间的间隙和层叠，产生估计的误差，影响了粒子滤波的效果，造成跟踪精度下降的问题。QMC采样方法则使用确定性的点消除这些影响，使得近似误差变的很小。根据产生方法的不同。这些确定性的点又称为低差异序列(low discrepancy sequences)，在数学上主要可以通过如下几种形式表示：Halton序列、Sobel序列和Niederreiter序列等，相对于其他两种序列，Halton序列较容易理解和实现，因此本文选自Halton序列来产生QMC点集。如图4(a)和4(b)所示，为MC和QMC采样点的分布，可以看出QMC采样点集的分布更加细则均匀，而MC的点集则有聚集和间隙。

采用QMC采样改进后的粒子滤波跟踪算法为：

初始化：在单位超立方体D_s:[0,1)上产生QMC点集{uⁱ,i＝1,2…N}，利用公式xⁱ=[a+(b-a)οuⁱ]将QMC点集转换为粒子集{xⁱ,1,2…N}，其中a和b是xⁱ所在空间的间隔范围；

粒子集的演化：演化每一个粒子集，并进行QMC点集的重新采样和产生；

权重更新：w_t＝w_t-1p(z_t|x_t)；

估计粒子集的均值 完成跟踪。

相应地，参图5所示，本发明的一种基于粒子滤波的运动行人视频自动跟踪***，包括：

预处理模块10，模块利用HOG和SVM检测算法，检测出初始帧中包含的行人，并给出行人的矩形区域。具体的实现过程是利用OpenCV提供的HOG检测库函数来完成；

视频捕捉模块20，用于完成视频文件或者是摄像头的视频捕捉，并将捕捉的视频显示到***界面，提供直观的理解。该模块具体的实现是利用MFC+OpenCV技术，将OpenCV的IPLImage数据结构转换成MFC中的cvvImage数据结构，并显示到IDC_STATIC_IMAGE控件中；

参数设置模块30，模块利用MFC控件，提供用户设置跟踪算法参数的接口，如粒子数，跟踪按钮等；

行人跟踪模块40，用于采用HOG和颜色双重特征相结合的方法，应用粒子滤波的跟踪框架，完成对运动行人的跟踪。

本发明一优选实施方式，在VS2008环境下开发，所用PC配置为因特尔奔腾双核2.0CPU和2G的内存，主要是使用开源库函数OpenCV的支持。选用的数据集为PETS2001，采样粒子数为100，初始粒子权重为0.01，阈值k的选取可以根据实验来得出，一般根据粒子数来设定k的值，这里k为0.02。

本发明与现有技术中传统单一颜色特征的跟踪算法相比较，双重特征的跟踪效果明显要高于单一颜色特征的跟踪效果。

参图6所示为两种跟踪算法在处理每一帧时消耗的时间结果，由于引入了HOG特征，导致在特征提取阶段的计算量双重特征的跟踪算法比单一的颜色特征要大，从图中可以看出两种跟踪算法处理每一帧时的时间之差平均为10ms，根据视频的帧率为25帧/秒，高出10ms的双重特征处理算法仍然可以满足实时跟踪的要求。

粒子的最大权重值变化分布可以反映粒子在传播过程中权重的变化情况，从这变化中可以看出有效粒子的个数，有效粒子个数越多说明跟踪算法的性能越好，跟踪的精度越精确。图7和图8即为粒子最大的权重的变化分布，其中图7为单一特征的最大权重变化，图8为双重特征的最大权重变化；可以看出基于HOG和颜色双重特征的最大的粒子权重值比单一特征的要多，也就是有效粒子数比单一特征的要多，因此双重特征的跟踪算法具有更好的性能。

在另一实施方式中，选用实际的图像序列来测试改进粒子滤波的跟踪算法，图像序列主要信息为320*240，帧速率为25帧/秒。算法在Vs2008+Opencv2.1环境下实现，通过手动选定要跟踪的行人来自动初始化相关参数，粒子数为300，并与传统粒子滤波算法相比较，在发生干扰和遮挡时，传统的粒子滤波算法容易出现跟踪偏移和跟踪丢失的现象；而本章提出的跟踪算法由于粒子采样方法的改进，得到更加细致均匀的粒子，且对遮挡和复杂背景都有良好的适应性，仍然能够精确的跟踪目标，具有一定的鲁棒性。

图9给出了本发明改进跟踪算法和传统粒子滤波跟踪算法与目标行人真实运动轨迹的比较图，可以更加直观的比较两种跟踪算法的精度。其中X表示目标中心X方向上的位置，Y表示目标中心在Y方向上的位置；改进跟踪算法的跟踪轨迹比传统跟踪算法更加的逼近真实的跟踪轨迹。由于干扰和遮挡的影响，绿色的传统跟踪算法出现了跟踪的丢失，导致跟踪失败，而本发明的改进跟踪算法，收到微小的影响后又重新跟踪目标行人，继续完成目标行人的跟踪。

图10从跟踪算法处理每一帧所需要的时间上来衡量跟踪算法的性能。由于本发明使用基于QMC采样方法得到更加有效的粒子，使得在粒子滤波迭代过程中，重采样的效率提高了，最终体现处理时间的减少，较传统的粒子滤波跟踪算法更快，效率更好。

综上所述，本发明的基于粒子滤波的运动行人视频自动跟踪方法及***，在基于粒子滤波的框架下完成对运动行人的跟踪。通过提取HOG和颜色双重特征，提高粒子滤波似然模型的鲁棒性，消除跟踪过程中不稳定的情况，特别是针对单一颜色特征在复杂背景下跟踪效果容易出现跟踪丢失等问题而无法满足实时跟踪的要求，结合HOG特征通过加权平均的融合策略构建更好的似然模型，从而大大提高跟踪算法的鲁棒性，完成稳定的跟踪；

同时，通过研究粒子滤波采样方法得到粒子集的特性，我们发现基于MC方法产生的粒子由于其随机特性导致粒子间容易出现间隙和层叠，影响跟踪算法的精度，更有甚者，导致滤波器无法收敛，无法完成跟踪。本发明通过QMC采样方法，产生更加细则均匀的粒子集来代替MC随机采样得到的粒子集，消除粒子间的间隙和层叠，最终提高跟踪算法的精度。

以上所述仅是本申请的优选实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种基于粒子滤波的运动行人视频自动跟踪方法，其特征在于，所述方法包括以下步骤：

S1、输入一帧图像，通过HOG特征向量集和SVM向量机进行检测，判断是否有行人，若是，执行步骤S2，若否，输入下一帧图像重新检测；

S2、实现基于HOG和颜色双重特征的粒子滤波跟踪，首先获得目标行人的初始矩形区域，并从目标矩形区域中采样若干粒子，提取HOG特征和颜色特征，计算HOG和颜色双重特征融合后粒子的权重，通过最小均方误差估计器得到最后的状态估计并输出估计目标后进行重采样；

S3、判断图像是否为最后一帧，若是，则结束跟踪，若否，返回步骤S2；

所述步骤S2具体为：

获得目标行人的初始矩形区域，并从目标矩形区域中采样若干粒子初始化每个粒子权重为1/N；

通过状态方程x_t＝Ax_t-1+Bw_t-1预测得到t时刻粒子的状态

计算HOG和颜色双重特征融合后粒子的权重：

设定一个阈值k，然后依据如下公式进行统计每个特征信息下的有效特征数

$colcount=\underset{h=1}{\overset{m}{\mathrm{\&Sigma;}}}count\left(w_c^i\right),hogcount=\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}count\left(w_h^i\right),$

其中，

根据有效的特征数，可以获得最终的权重值：

$w^i=\frac{colcount}{colount+hogcount}*w_c^i+\frac{hogcount}{colcount+hogcount}*w_h^i;$

其中，m为像素的梯度，i为像素的序号，表示颜色的权重，表示HOG特征的权重，wⁱ表示第i个像素特征融合后的值；

通过最小均方误差估计器得到最后的状态估计：其中，表示t时刻第i个像素的颜色特征和HOG特征融合后的值；

输出估计目标并进行重采样。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1中的“通过HOG特征向量集进行检测”具体为：

在灰度空间或颜色空间中评估图像像素特性，对图像进行伽马校正规范化；

根据HOG梯度的提取，计算每个像素的梯度；

计算单元梯度幅值，具体为累加每个单元中包含像素的梯度方向直方图，再将每个梯度方向直方图映射到确定的角度上，得到HOG特征向量；

相邻的单元组成一个块，进行块归一化；

选用单元和块，得到HOG特征向量集进行检测。

3.根据权利要求1所述的方法，其特征在于，所述步骤S1中的SVM向量机包括SVM分类器，所述SVM分类器包括传统非线性SVM分类器和线性不可分SVM分类器。

4.根据权利要求3所述的方法，其特征在于，所述传统非线性SVM分类器中的分类函数为：线性不可分SVM分类器中的分类函数为：

5.根据权利要求1所述的方法，其特征在于，所述步骤S2中颜色特征的提取具体为：

在RGB空间计算颜色直方图，目标区域的概率分布为：其中，目标候选目标区域的状态变量为X，中心位置为x，δ为Kronecker delta函数，n是所述目标区域像素点的个数，函数b:R²→{1...m}给每个像素分配一个对应的bin，C为常数，归一化公式为；k表示核函数，且

目标模板p依据候选模板进行计算，计算相似度距离为然后根据相似度距离计算粒子的观测值

6.根据权利要求5所述的方法，其特征在于，所述步骤S2中HOG特征的提取具体为：

使用一阶中心算子[-1,0,1]，计算图像每个像素点水平和垂直方向的梯度值G_h和G_v，其中：

$G_h(x,y)=f(x+1,y)-f(x-1,y),\&ForAll;x,y,G_v(x,y)=f(x,y+1)-f(x,y-1),\&ForAll;x,y;$

计算每个像素的强度M(x,y)和梯度方向θ(x,y)，其中：

$M(x,y)=\sqrt{G_h{(x,y)}^2+G_v{(x,y)}^2},\mathrm{\&theta;}(x,y)={\tan }^{-1}\left(G_h\right(x,y\left)/G_v\right(x,y\left)\right);$

对梯度强度进行归一化，得到整幅图像的梯度直方图。

7.根据权利要求6所述的方法，其特征在于，所述步骤S2中的采样具体为：

在单位超立方体D_s:[0,1)上产生QMC点集{uⁱ,i＝1,2…N}，利用公式xⁱ＝[a+(b-a)οuⁱ]将QMC点集转换为粒子集{xⁱ,i＝1,2…N}，其中a和b是xⁱ所在空间的间隔范围。