CN104036250A - 视频行人检测与跟踪方法 - Google Patents

Abstract

本发明涉及一种视频行人检测与跟踪方法。本方法是根据小波变换在时域和空域均具有优异的局部化特征，基于视频帧间差，利用小波多尺度特性，提取前景运动对象，根据人头为人体的重要组成部分且具有刚体不变性，通过对不同人头目标的样本学习与训练，对视频场景中的前景运动对象进行分类与检测，确定人头目标，并基于人头色彩特征的差异性，采用粒子滤波和动态跟踪链，对人头进行跟踪。本发明方法不需要特定的硬件支持以及场景条件约束，方法简便、灵活、易实现。

Description

视频行人检测与跟踪方法

技术领域

本发明涉及一种视频行人检测与跟踪方法，用于数字图像分析与理解。属于智能信息处理技术领域。

背景技术

随着城镇人口的快速增长及城镇环境的日益复杂，***件、骚乱、恐怖袭击等城镇突发社会安全事件，严重影响着城镇公共安全，而突发社会安全事件的时常发生，在很大程度上与人体行为活动紧密关联。如何有效确定人体行为活动，并对其异常、可疑行为自动识别，将有助于安全人员及时、迅速处理危机，大幅提升安全防范能力，从而构建和谐、平安的社会环境，己成为当今国际社会的一个重要课题。为有效确定人体行为活动，其关键是如何有效检测与跟踪视频场景中的行人位置。

人体作为非刚体，形态变化多样，且易发生遮挡，以及视频场景变化复杂多样，导致有效的视频行人检测与跟踪十分困难。目前主要方法包括：(1)采用人头曲率检测与几何特征跟踪法，该法依据人头曲率检测人头，并根据人头的几何特征，对人头目标跟踪，该方法对于相似曲率的物体易确认为人头，且跟踪效果不理想，误检率高；(2)基于粒子滤波的检测与跟踪法，该方法仅能跟踪单个目标，且当目标遮挡时，跟丢可能性大；(3)纹理分析法，该法计算复杂度高，且泛化能力低，尤其跟踪多个目标对象时计算耗时严重。

发明内容

本发明的目的在于针对现有视频行人检测与跟踪方法计算复杂，实时可靠性能低，检测与跟踪对象单一，以及对动态场景变化敏感、噪声干扰大，难满足人体行为活动及时分析与理解要求，提供一种视频行人检测与跟踪方法，根据人头为人体的重要组成部分且具有刚体不变性，通过对不同人头目标的样本学习与训练，对视频场景中的前景运动对象进行分类与检测，确定人头目标，并基于人头色彩特征的差异性，采用粒子滤波和动态跟踪链，实现在多种条件下对人头的有效跟踪。

为达到上述目的, 本发明的构思是：根据小波变换在时域和空域均具有优异的局部化特征，基于视频帧间差，利用小波多尺度特性，提取前景运动对象，根据人头为人体的重要组成部分且具有刚体不变性，通过对不同人头目标的样本学习与训练，对视频场景中的前景运动对象进行分类与检测，确定人头目标，并基于人头色彩特征的差异性，采用粒子滤波和动态跟踪链，对人头进行跟踪。

根据上述发明构思，本发明采用下述技术方案：

一种视频行人检测与跟踪方法，其特征在于具体步骤如下：

1) 启动行人检测与跟踪图像采集***：采集视频图像；

2) 前景运动对象分割

由摄像机采集的当前帧图像与上一帧图像相减，采用小波变换方法分割出前景运动对象区域；

3) 样本学习与训练；

4) 人头目标检测；

5) 人头目标跟踪；

6）行人身份一致性确认。

上述步骤2)的具体操作步骤如下：

（1）当前帧图像I _t(x,y)与上一帧图像I _t-1(x,y)相减，得到差分图像D(x,y)：

D(x,y)= I _t(x,y)- I _t-1(x,y)；

（2）差分图像多尺度小波变换：

；

其中，D为差分图像，h，v分别为水平、垂直方向上的滤波算子，为卷积；

（3）前景运动对象区域的确定：确定差分图像多尺度小波变换E的阈值T ₁，将E值高于T ₁的所有像素组成的区域，确定为前景运动对象区域。

上述步骤3)的具体操作步骤如下：

（1）按照步骤2），采集不同人体运动对象的人头Haar特征，构成人头训练样本的数据集合D _i =｛H _i ｝，以及人体肢体与躯干的Haar特征，构成非人头的标记集合C _i =｛T _i ｝；

（2）选择分类器，对上述数据集合D _i 和标记集合C _i 构成的样本集合（D _i ，C _i ）进行监督学习，并调整分类器中参数，使分类效果达到最佳。

上述步骤4)的具体操作步骤如下：

（1）按照步骤2)，采集前景运动对象的Haar特征，构成测试数据集合AD _i =｛AH _i ｝；

（2）根据步骤3)所确定的分类器及其参数，对测试数据集合AD _i 进行分类判别，确定人头目标。

上述步骤5)的具体操作步骤如下：

(1)彩色空间转换：由RGB彩色空间的红R、绿G、蓝B三分量，确定HSV色彩空间的色调分量H、饱和度分量S以及亮度分量V：

其中，

V = max(R, G, B)

(2)人头特征直方图构建：根据步骤4)所确定的人头目标，采用HSV色彩空间中的色调分量H、饱和度分量S，建立各分量m级的色彩直方图，并采用HSV色彩空间中的亮度分量V，建立n级灰度梯度直方图，进而建立融合色彩(H、S)直方图和亮度(V)灰度梯度直方图的人头特征直方图q ^r ：

其中，C为规一化系数，

(3)人头目标跟踪：根据步骤(2)构建的人头特征直方图q ^r ，采用粒子滤波器，对场景中的人头目标跟踪。

上述步骤6)的具体操作步骤如下：

(1)动态跟踪链设置：设场景中跟踪人头目标为n，根据步骤5)所跟踪的人头目标，设置动态跟踪链T _i (i=1,…,n)；

(2)动态跟踪链之间的距离计算：根据步骤(1)，计算动态跟踪链T _i 之间的欧式距离d _ij (i=1,…,n，j=1,...,n)；

(3)人头目标是否遮挡判断：根据步骤(2)，若动态跟踪链之间的距离d _ij 小于根据步骤5)对当前帧所预测的人头的一定阈值T ₂，则由动态跟踪链所跟踪的人头目标发生遮挡，反之，人头目标遮挡结束或不存在遮挡；

(4)动态跟踪链与检测结果的关联矩阵建立：根据步骤(1)的动态跟踪链T _i (i=1,…,n)结果和根据步骤4)的人头目标检测结果H _j (j=1,…,m，m为检测的人头数)，建立关联矩阵M _ij = D(T _i , H _j )，其中D为距离度量操作符；

(5)关联矩阵最小值计算：根据步骤(4)所确定的关联矩阵M _ij ，确定该矩阵的最小值D _m (i不等于j)；

(6)关系矩阵构建：根据步骤(5)所确定的最小值D _m ，获取与动态跟踪链是否关联的关系矩阵R _j ：

(7)人头检测与跟踪结果融合：根据步骤(6)所确定的关系矩阵R _j ，若R _j <1，则当前没有人头目标与动态跟踪链相关联，表明场景中无人头目标或先前跟踪的人头目标已离开场景；若R _j =1，则当前帧中的人头目标与该动态跟踪链关联，采用权重为w ₁(0< w ₁<1)的检测结果与权重为w ₂(w ₂=1- w ₁)的跟踪结果，获取当前人头目标位置；若R _j >1，表明当前帧中存在多个人头目标与该动态跟踪链关联，此时采用人头特征直方图q ^r 进行人头目标区分，并分别采用权重为w ₁(0< w ₁<1)的检测结果与权重为w ₂(w ₂=1- w ₁)的跟踪结果，确定当前各个人头目标位置。

本发明的原理如下：在本发明的技术方案中，根据小波变换在时域和空域均具有优异的局部化特征，基于视频帧间差，利用小波多尺度特性，提取前景运动对象，根据人头为人体的重要组成部分且具有刚体不变性，通过对不同人头目标的样本学习与训练，对视频场景中的前景运动对象进行分类与检测，确定人头目标，并基于人头色彩特征的差异性，采用粒子滤波和动态跟踪链，对人头进行跟踪。

设某一时刻，分别获得相邻两帧图像f(t _n-1, x, y)，f(t _n , x, y)，将两幅图像逐象素求差值，得差分图像Diff(x, y)：

其中，DiffR，DiffG，DiffB分别对应差分图像红、绿、蓝三分量，|f|为f的绝对值。

基于上述相邻帧差，采用小波变换，分割出前景运动对象区域。根据二维图像I（x, y）在尺度2 ^j 和k方向上的小波变换：

则在x，y方向上的小波函数可表示为：

式中，为平滑滤波函数。

由此可确定图像I(x, y)经函数平滑滤波后，在不同尺度下的小波变换为：

若梯度幅度沿下列梯度方向达到局部极大，则图像中该点(x, y)为多尺度边缘点

据此，可确定不同尺度下的边缘点。由于噪声对尺度变化敏感，因此，采用上述寻求局部幅度极大值，不能有效压制噪声。为有效克服这一影响，通过寻求梯度幅度高于某阈值方法，替代寻求局部幅度极大值，确定不同尺度的边缘点。

其中，h，v分别为水平、垂直方向上的滤波算子，T为阈值，为卷积算子。

考虑人头特征模式空间X，包含m个模式x _i 的训练集以及相应的类别标签，并假定为两类分类问题。在每一层k中，样本的重要性采用权重集合D _k (i)反映，并满足。

在二分类问题中，弱分类器的学习使目标函数最小化：

其中，P[.]为基于训练样本观测的经验概率。

按下式更新权重D _k (i)：

其中，Z _k 为归一化因子，满足，

最终的分类器由所有k个弱分类器在考虑其权重后加权投票的多数决定。

基于上述分类器所确定的人头目标位置，采用HSV色彩空间中的色调分量H、饱和度分量S，建立各分量m级的色彩直方图，并采用HSV色彩空间中的亮度分量V，建立n级灰度梯度直方图。在此基础上，建立融合色彩(H、S)直方图和亮度(V)灰度梯度直方图的人头特征直方图q ^r ：

其中，C为规一化系数，

设X _t ，Z _t 分别为t时刻的人头目标状态和观测值，则将人头跟踪问题转化为求解后验概率p(X _t |Z _1:t )，其中，Z _1:t =(Z ₁,…,Z _t )为到t时刻为止所获得的所有人头目标观测值。

采用一组带有权重的粒子近似逼近后验概率p(X _t |Z _1:t )，其中，为粒子，表示可能的人头目标状态，为粒子的权重。

新的粒子由重采样函数产生，该函数依赖于人头目标状态和观测值，即

采用如下权重对新的粒子进行更新：

且新的粒子由如下状态变换函数产生：

X _t =F _t (X _t-1，U _t )

其中，U _t 为***噪声，F _t 为人头目标的运动状态。

为使上述人头检测结果和跟踪结果一致，克服人体运动过程中所引起的遮挡问题并保持遮挡结束后的身份一致性，设场景中跟踪人头目标为n，并设置动态跟踪链T _i (i=1,…,n)，计算动态跟踪链T _i 之间的欧式距离d _ij (i=1,…,n，j=1,...,n)，若d _ij 小于当前帧预测人头的一定阈值，表明此时由动态跟踪链所跟踪的人头目标发生遮挡，反之，动态跟踪链所跟踪的人头目标遮挡结束或不存在遮挡。

基于动态跟踪链T _i (i=1,…,n)结果和当前所有标检的人头目标结果H _j (j=1,…,m，m为检测的人头数)，建立动态跟踪链与检测结果数据的关联矩阵M _ij = D(T _i , H _j )，其中D为距离度量操作符。

由M _ij ，确定该矩阵的最小值D _m (i不等于j)，并根据D _m ，获取如下与动态跟踪链是否关联的关系矩阵：

若R _j <1，则当前没有人头目标与动态跟踪链相关联，表明场景中无人头目标或先前跟踪的人头目标已离开场景；若R _j =1，则当前帧中的人头目标与该动态跟踪链关联，采用权重为w ₁(0< w ₁<1)的检测结果与权重为w ₂(w ₂=1- w ₁)的跟踪结果，获取当前人头目标位置；若R _j >1，表明当前帧中存在多个人头目标与该动态跟踪链关联，此时采用人头特征直方图q ^r 进行人头目标区分，并分别采用权重为w ₁(0< w ₁<1)的检测结果与权重为w ₂(w ₂=1- w ₁)的跟踪结果，确定当前各个人头目标位置。

本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点：本发明根据小波变换在时域和空域均具有优异的局部化特征，基于视频帧间差，利用小波多尺度特性，提取前景运动对象，根据人头为人体的重要组成部分且具有刚体不变性，通过对不同人头目标的样本学习与训练，对视频场景中的前景运动对象进行分类与检测，确定人头目标，并基于人头色彩特征的差异性，采用粒子滤波和动态跟踪链，对人头进行跟踪，运算简便、灵活，容易实现，解决了视频行人检测与跟踪时，要求检测与跟踪对象单一，对动态场景变化敏感、噪声干扰大、运算复杂，以及特定的硬件支持以及场景条件约束；提高了视频行人检测与跟踪的鲁棒性，可适应复杂背景条件下的行人检测与跟踪。

附图说明

图1是本发明方法的操作程序框图。

图2是本发明一个实施例的视频原始当前帧图像。

图3是图2示例中分割出的二值前景运动对象区域图像。

图4是图2示例中分割出的前景运动对象区域图像。

图5是图2示例中的人头检测结果（矩形方框）。

图6是图2示例中的人头跟踪结果。

具体实施方式

本发明的优选实施例结合附图详述如下：

实施例一：

参见图1，本视频行人检测与跟踪方法，其特征在于具体步骤如下：

1) 启动行人检测与跟踪图像采集***：采集视频图像；

2) 前景运动对象分割

由摄像机采集的当前帧图像与上一帧图像相减，采用小波变换方法，分割出前景运动对象区域；

3) 样本学习与训练；

4) 人头目标检测；

5) 人头目标跟踪；

6）行人身份一致性确认。

实施例二：

本例的原始当前帧图像如图2所示， 对图2所示的图像进行相邻帧差分，并进行小波多尺度变换，进行前景运动对象分割，获取二值前景运动对象区域如图3所示，根据人头为人体的重要组成部分且具有刚体不变性，通过对不同人头目标的样本学习与训练，对视频场景中的前景运动对象进行分类与检测，确定人头目标，并基于人头色彩特征的差异性，采用粒子滤波和动态跟踪链，对人头进行跟踪；具体操作步骤如下：

1) 启动行人检测与跟踪图像采集***：采集视频图像；

2) 前景运动对象分割：具体操作步骤如下：

（1）由摄像机采集的如图2的当前帧图像I ₁(x, y)与上一帧图像I ₂(x, y)相减，得到差分图像D(x,y)：D(x,y)= I _t(x,y)- I _t-1(x,y)；

（2）差分图像多尺度小波变换：

；

其中，D为差分图像，h，v分别为水平、垂直方向上的滤波算子，为卷积；

（3）前景运动对象区域的确定：确定差分图像多尺度小波变换E的阈值T，将E值高于T的所有像素组成的区域，确定为前景运动对象区域。

图3为经上述所得的二值前景运动对象区域，图4为分割出的前景运动对象。

3) 样本学习与训练：采集不同人体运动对象的人头Haar特征，构成人头训练样本的数据集合D _i =｛H _i ｝，以及人体肢体与躯干的Haar特征，构成非人头的标记集合C _i =｛T _i ｝，采用支持向量机并选择径向基核函数，对上述数据集合D _i 和标记集合C _i 构成的样本集合（D _i ，C _i ）进行学习和训练，不断修改径向基核函数中的惩罚因子参数γ，使正确识别率达到最高；

4) 人头目标检测：对图3所示的前景运动对象，采集Haar特征，构成测试数据集合AD _i =｛AH _i ｝｝，采用已确定的惩罚因子参数γ进行基于径向基核函数的支持向量机分类判别，确定人头目标。图5中的矩形方框所示为经上述所得的人头位置；

5) 人头目标跟踪

具体操作步骤如下：

(1)彩色空间转换：由RGB彩色空间的红R、绿G、蓝B三分量，确定HSV色彩空间的色调分量H、饱和度分量S以及亮度分量V：

其中，

V = max(R, G, B)

(2)人头特征直方图构建：对图5示例的人头目标，采用HSV色彩空间中的色调分量H、饱和度分量S，建立H和S分量各8级的色彩直方图，并采用HSV色彩空间中的亮度分量V，建立8级灰度梯度直方图，进而建立融合色彩(H、S)直方图和亮度(V)灰度梯度直方图的人头特征直方图q ^r ：

其中，C为规一化系数，

(3)人头目标跟踪：根据所构建的人头特征直方图q ^r ，采用粒子滤波器，对场景中的人头目标跟踪。图6中的人头上方数字为经上述跟踪所得的人头序号。

6）行人身份一致性确认

具体操作步骤如下：

(1)动态跟踪链设置：设场景中跟踪人头目标2，根据图5示例所跟踪的人头目标，设置动态跟踪链T _i (i=1,2)；

(2)动态跟踪链之间的距离计算：根据步骤(1)，计算动态跟踪链T _i 之间的欧式距离d _ij (i=1,2，j=1,2)；

(3)人头目标是否遮挡判断：根据步骤(2)，动态跟踪链之间的距离d _ij 不小于根据步骤5)对当前帧所预测的人头大小的75%，表明人头目标遮挡结束或不存在遮挡；

(4)动态跟踪链与检测结果的关联矩阵建立：根据步骤(1)的动态跟踪链T _i (i=1,2)结果和图4示例的人头检测结果H _j (j=1,2)，建立关联矩阵M _ij = D(T _i , H _j )，其中D为欧氏距离度量操作符；

(5)关联矩阵最小值计算：根据步骤(4)所确定的关联矩阵M _ij ，确定该矩阵的最小值D _m (i不等于j)；

(6)关系矩阵构建：根据步骤(5)所确定的最小值D _m ，获取与动态跟踪链是否关联的关系矩阵R _j ：

(7)人头检测与跟踪结果融合：根据步骤(6)所确定的关系矩阵R _j = 2，采用人头特征直方图q ^r 进行人头目标区分，并分别采用权重为0.5的检测结果与权重为0.5的跟踪结果，确定当前各个人头目标位置。

Claims (6)

1.一种视频行人检测与跟踪方法，其特征在于具体步骤如下：

1) 启动行人检测与跟踪图像采集***：采集视频图像；

2) 前景运动对象分割

由摄像机采集的当前帧图像与上一帧图像相减，采用小波变换方法，分割出前景运动对象区域；

3) 样本学习与训练；

4) 人头目标检测；

5) 人头目标跟踪；

6）行人身份一致性确认。

2.根据权利要求1所述的视频行人检测与跟踪方法，其特征在于所述步骤2)前景运动对象分割的具体操作步骤如下：

（1）当前帧图像I _t(x,y)与上一帧图像I _t-1(x,y)相减，得到差分图像D(x,y)：

D(x,y)= I _t(x,y)- I _t-1(x,y)；

（2）差分图像多尺度小波变换：

；

其中，D为差分图像，h，v分别为水平、垂直方向上的滤波算子，为卷积；

（3）前景运动对象区域的确定：确定差分图像多尺度小波变换E的阈值T ₁，将E值高于T ₁的所有像素组成的区域，确定为前景运动对象区域。

3.根据权利要求1所述的视频行人检测与跟踪方法，其特征在于所述步骤3)样本学习与训练的具体操作步骤如下：

（1）按照步骤2），采集不同人体运动对象的人头Haar特征，构成人头训练样本的数据集合D _i =｛H _i ｝，以及人体肢体与躯干的Haar特征，构成非人头的标记集合C _i =｛T _i ｝；

（2）选择分类器，对上述数据集合D _i 和标记集合C _i 构成的样本集合（D _i ，C _i ）进行监督学习，并调整分类器中参数，使分类效果达到最佳。

4.根据权利要求1所述的视频行人检测与跟踪方法，其特征在于所述步骤4)人头目标检测的具体操作步骤如下：

（1）按照步骤2)，采集前景运动对象的Haar特征，构成测试数据集合AD _i =｛AH _i ｝；

（2）根据步骤3)所确定的分类器及其参数，对测试数据集合AD _i 进行分类判别，确定人头目标。

5.根据权利要求1所述的视频行人检测与跟踪方法，其特征在于所述步骤5)人头目标跟踪的具体操作步骤如下：

(1)彩色空间转换：由RGB彩色空间的红R、绿G、蓝B三分量，确定HSV色彩空间的色调分量H、饱和度分量S以及亮度分量V：

其中，

V = max(R, G, B)

(2)人头特征直方图构建：根据步骤4)所确定的人头目标，采用HSV色彩空间中的色调分量H、饱和度分量S，建立各分量m级的色彩直方图，并采用HSV色彩空间中的亮度分量V，建立n级灰度梯度直方图，进而建立融合色彩(H、S)直方图和亮度(V)灰度梯度直方图的人头特征直方图q ^r ：

其中，C为规一化系数，

(3)人头目标跟踪：根据步骤(2)构建的人头特征直方图q ^r ，采用粒子滤波器，对场景中的人头目标跟踪。

6.根据权利要求1所述的视频行人检测与跟踪方法，其特征在于所述步骤6)行人身份一致性确认的具体操作步骤如下：

(1)动态跟踪链设置：设场景中跟踪人头目标为n，根据步骤5)所跟踪的人头目标，设置动态跟踪链T _i (i=1,…,n)；

(2)动态跟踪链之间的距离计算：根据步骤(1)，计算动态跟踪链T _i 之间的欧式距离d _ij (i=1,…,n，j=1,...,n)；

(3)人头目标是否遮挡判断：根据步骤(2)，若动态跟踪链之间的距离d _ij 小于根据步骤5)对当前帧所预测的人头的一定阈值T ₂，则由动态跟踪链所跟踪的人头目标发生遮挡，反之，人头目标遮挡结束或不存在遮挡；

(4)动态跟踪链与检测结果的关联矩阵建立：根据步骤(1)的动态跟踪链T _i (i=1,…,n)结果和根据步骤4)的人头目标检测结果H _j (j=1,…,m，m为检测的人头数)，建立关联矩阵M _ij = D(T _i , H _j )，其中D为距离度量操作符；

(5)关联矩阵最小值计算：根据步骤(4)所确定的关联矩阵M _ij ，确定该矩阵的最小值D _m (i不等于j)；

(6)关系矩阵构建：根据步骤(5)所确定的最小值D _m ，获取与动态跟踪链是否关联的关系矩阵R _j ：

(7)人头检测与跟踪结果融合：根据步骤(6)所确定的关系矩阵R _j ，若R _j <1，则当前没有人头目标与动态跟踪链相关联，表明场景中无人头目标或先前跟踪的人头目标已离开场景；若R _j =1，则当前帧中的人头目标与该动态跟踪链关联，采用权重为w ₁(0< w ₁<1)的检测结果与权重为w ₂(w ₂=1- w ₁)的跟踪结果，获取当前人头目标位置；若R _j >1，表明当前帧中存在多个人头目标与该动态跟踪链关联，此时采用人头特征直方图q ^r 进行人头目标区分，并分别采用权重为w ₁(0< w ₁<1)的检测结果与权重为w ₂(w ₂=1- w ₁)的跟踪结果，确定当前各个人头目标位置。