CN102663409A - 一种基于hog-lbp描述的行人跟踪方法 - Google Patents

Abstract

本发明公开了一种基于HOG-LBP描述的行人跟踪方法，所述方法包含如下步骤：A1、样本建立；A2、特征提取；A3、建立SVM模型；A4、分类器训练；A5、视频捕获与预处理；A6、视频行人检测；A7、视频行人跟踪：使用基于HOG-LBP特征的粒子滤波跟踪方法对步骤A6检测到的行人进行跟踪。该方法首先通过支持向量机对图像行人模式进行学习，之后对视频序列中运动区域模式进行分类并输入结果至粒子滤波器并对粒子状态进行更新，最终实现对场景中行人的运动实现持续跟踪。由于采用HOG-LBP描述子进行人特征提取，并采用粒子滤波进行运动跟踪。该方法对场景中发生的运动交错、遮挡现象以及运动呈现的非线性特征具有较好的适应性和稳定性。

Description

一种基于HOG-LBP描述的行人跟踪方法

技术领域

本发明属于计算机视觉技术领域，涉及基于运动图像的计算机监控技术，基于统计学习的模式识别技术，信号滤波技术。主要涉及一种视频监控目标跟踪方法，具体是一种基于HOG-LBP描述的行人跟踪方法。

背景技术

随着社会对公共安全问题的重视，实时监控得到了越来越广泛的应用。现有监控***的问题主要是大量的监控信息难以得到及时有效地处理，通过计算机协助对人类行为和事件的识别，已经成为计算机视觉领域的一个热点问题。

视觉监控的智能分析技术是计算机视觉领域的热点和难点问题，涉及到图像处理、机器学习等课题。近年来学术上进行了较多的相关研究，包括国家高技术研究发展计划和国家重点基础研究发展计划中智能监控项目的研究。

目标跟踪是视觉计算领域的一个核心问题，其在视频监控，交通管制，人机交互，虚拟现实等领域都有着广阔的应用前景。传统基于概率估计的目标跟踪方法是卡尔曼滤波，他是一种以状态变量的线性最小方差递推估算的方法，其在动态***线性滤波应用中曾取得过辉煌的成就。后来，学者们相继提出扩展卡尔曼滤波、无迹卡尔曼滤波等方法来解决非线性问题。近年来，粒子滤波算法以其精确性和遮挡不敏感性的特性被广泛应用到视频图像目标跟踪领域。其基本思想是通过非参数化的蒙特卡洛模拟方法来实现贝叶斯滤波，用样本而非函数形式对***状态的先验分布与后验分布进行描述。理论上，当粒子数量足够多时，蒙特卡洛特性与***后验概率密度函数近似等价，从而使粒子滤波估计逼近最优贝叶斯估计。

在行人识别图像特征描述算法中，较为流行的是Harr-like小波特征及其扩展特征集，它对Gamma变化和多尺度变化具有较好的适应性。尺度不变特征变换(SIFT)通过在尺度空间寻找极值点，提取位置、尺度和旋转不变等图像局部特征，对视角变化、仿射变换和噪声也有一定的稳定性。Dalal和Triggs在SIFT基础上提出使用了梯度方向直方图(HOG)对目标特征进行描述，HOG描述子对目标边缘和形状特征敏感，近年来在目标检测与识别方向应用广泛。相对于边缘和形状，在纹理方面，Ojala和Pietikinen对LBP及UniformLBP特征描述子进行了较为深入的研究，该方法的优点在于敏感度高，算法执行效率高以及对灰度变化不变性，这使其在特征描述应用中均取得了不错的效果。但是HOG描述子在复杂背景噪声的环境下表现不佳，Wang和Tony提出将HOG描述与LBP描述合并，通过在全局边缘与形状和目标纹理提取特征，之后由SVM输出检测结果。实验表面，这种HOG-LBP特征描述子对行人局部遮挡约束环境具有较高的检测率。

发明内容

本发明要解决的是克服视频环境下行人跟踪中所存在的环境影响、遮挡及非线性并提高跟踪准确性的这一技术问题。

为解决上述技术问题，本发明提供如下的技术方案：

一种基于HOG-LBP描述的行人跟踪方法，所述方法包含如下步骤：

A1、样本建立：建立适应HOG-LBP描述器要求的图像正负样本集；

A2、特征提取：利用HOG-LBP描述子对已建立的样本图像集进行批量特征提取，从而建立特征样本集；

A3、建立SVM模型：建立含有类惩罚因子的软间隔SVM模型；

A4、分类器训练：使用特征样本集对SVM进行有监督训练；

A5、视频捕获与预处理：获取视频信息，建立背景模型并进行形态学去噪；

A6、视频行人检测：使用基于HOG-LBP描述的行人检测方法对视频序列进行行人检测；

A7、视频行人跟踪：使用基于HOG-LBP特征的粒子滤波跟踪方法对步骤A6检测到的行人进行跟踪。

所述的基于HOG-LBP描述的行人跟踪方法，所述步骤A1的图像正负样本集具有以下特征：

图像正样本集中的图像由单个行人及其背景组成；

图像负样本集中的图像不包含行人内容；

图像正负样本集中的图像尺寸为8像素的倍数且大小一致；

图像正负样本集中的图像一致为灰度8位图像。

所述的基于HOG-LBP描述的行人跟踪方法，所述步骤A2的特征提取具有以下步骤：

A21、梯度计算：使用一维离散微分模版在水平和垂直两个方向上对图像正负样本集中的图像进行处理，获取每个像素的水平和垂直梯度；

A22、图像划分：将图像正负样本集中的图像分割为多个单元(Cell)，每个单元均是边长为8个像素的正方形区域，每4个单元组成一个块(Block)，相邻块之间共享2个单元，图像被分割为(w/8-1)(h/8-1)个块，其中w表示图像的宽度，h表示图像的高度；

A23、计算单元LBP特征向量：以单元为单位，计算每个像素的LBP编码并按照一致模式在58簇直方图上投票，并对整个直方图积分得到LBP积分直方图；

A24、计算梯度图像：将平面分割为9个方向通道建立梯度图像，在梯度图像上使用卷积核进行卷积，并计算积分直方图；

A25、计算块HOG特征向量：计算每个块的HOG特征并进行归一化；

A26、生成高维特征向量：连接块HOG特征与单元LBP特征。

所述的基于HOG-LBP描述的行人跟踪方法，所述步骤A3的建立SVM模型具有以下特征：

具有两类惩罚因子，即正样本惩罚因子和负样本惩罚因子；

使用径向积函数作为SVM核函数。

所述的基于HOG-LBP描述的行人跟踪方法，所述步骤A5的视频捕获与预处理具有以下步骤：

A51、使用高斯混合背景模型分割图像前景与背景；

A52、对前景图像进行形态学去噪；

A53、二值化前景图像并和原图像相与。

所述的基于HOG-LBP描述的行人跟踪方法，所述步骤A6的视频行人检测具有以下步骤：

A61、遍历非零区域并分割单元，以单元为中心在原图像上扩展为扫描窗口；

A62、计算扫描窗口中的HOG-LBP特征；

A63、利用SVM分类特征，判断窗口中是否含有行人。

所述的基于HOG-LBP描述的行人跟踪方法，所述步骤A7的视频行人跟踪具有以下特征：

A71、粒子滤波建模：使用动力学模型建立***转移方程，使用HOG-LBP描述作为观测向量，构造粒子滤波模型；

A72、初始化粒子滤波器：以权利要求1步骤6行人检测结果为先验信息，构造粒子滤波器；

A73、重要性采样：以***转移概率分布作为重要性函数进行采样；

A74、计算粒子窗口中的HOG-LBP特征；

A75、计算粒子似然：以HOG-LBP特征与SVM超平面归一化距离作为窗口特征与历史观测特征距离系数来计算粒子似然，并归一化为粒子似然概率；

A76、更新粒子权值；

A77、***状态估计：根据蒙特卡洛原理由粒子状态分布估计***状态分布；

A78、粒子退化评估：计算粒子退化系数，衡量***粒子退化程度；

A79、粒子重采样：根据粒子权值大小生成独立同分布的替代粒子。

该方法首先通过支持向量机对图像行人模式进行学习，之后对视频序列中运动区域模式进行分类并输入结果至粒子滤波器并对粒子状态进行更新，最终实现对场景中行人的运动实现持续跟踪。由于采用HOG-LBP描述子进行人特征提取，并采用粒子滤波进行运动跟踪。该方法对场景中发生的运动交错、遮挡现象以及运动呈现的非线性特征具有较好的适应性和稳定性。

附图说明

图1为本发明方法流程图。

图2是实施例中采用的图片样本集中的图片以及经过微分模版卷积后的水平及垂直梯度图像，其中A1，A2，A3，A4为四幅样本集中随机挑选的样本灰度图片，B1，B2，B3，B4为经过水平微分模版卷积后的梯度图片，C1，C2，C3，C4为经过垂直微分模版卷积后的梯度图片。

图3是图像扫描窗口及样本逻辑划分示意图。

图4是一致模式LBP编码示意图。

图5是HOG描述梯度处理示意图。

图6是视频中实时捕获的单帧原始图像。。

图7是由高斯混合模型提取的视频背景图像。

图8是前景背景分离后的分割图像。

图9是经过形态学处理后的分割图像。

图10是提取目标HOG-LBP特征并输入粒子滤波器后粒子状态分布图像。

图11是通过基于HOG-LBP描述的行人跟踪方法获取的最终目标跟踪图像。

具体实施方式

以下对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

本发明的一种基于HOG-LBP描述的行人跟踪方法，在本实施例中取用INRIA(InstitutNational de Recherche en Informatique et en Automatique)实验室在互联网上为视觉计算技术研究而公开的CAVIAR工程数据库中的视频数据作为行人跟踪数据源。在上述场景中具有一个固定摄像机对实时图像进行采集。

SVM学习过程，首先需建立图片样本集，本实施例使用INRIA行人检测数据库图片集作为图片样本集源数据，通过双线性插值，将图片统一缩放为40X80的样本图片。

梯度计算：使用一维离散微分模版[-1，0，1]在水平方向上对样本图像进行处理，得到水平梯度图像；使用一维离散微分模版[-1，0，1]^T在垂直方向上对样本图像进行处理，得到垂直梯度图像，如图2所示。

图像划分：将图片在逻辑上划分为50个8X8的正方形单元(Cell)，每4个单元组成一个块(Block)，相邻块间共享2个单元，整个样本图片包括28个块，如图3所示。

计算单元LBP特征向量：以单元为单位，计算每个像素的LBP编码并按照一致模式(Uniform Pattern)在58簇直方图上投票，并对整个直方图积分得到LBP积分直方图，如图4所示。具体的，一致模式即在计算像素LBP编码时，统计0与1的变化次数。当变化次数小于等于2时为一致模式，投票至相应的簇；当变化次数大于2时，则为非一致模式(Nonuniform Pattern)，令该像素投票无效。

计算梯度图像：不考虑梯度方向将梯度角度值域自0到π均衡划分为9个区域，并以图像中每个像素的梯度为权值投票到9个区域当中，获得9个与原图像尺寸相当的梯度矩阵图像；利用下式的卷积核对9个梯度矩阵进行卷积，以得到三线性插值梯度图像；计算三线性插值梯度图像的积分直方图。

$\mathrm{Conv}=\frac{1}{256}\×\left|\begin{array}{ccccccc}1& 2& 3& 4& 3& 2& 1\\ 2& 4& 6& 8& 6& 4& 2\\ 3& 6& 9& 12& 9& 6& 3\\ 4& 8& 12& 16& 12& 8& 4\\ 3& 6& 9& 12& 9& 6& 3\\ 2& 4& 6& 8& 6& 4& 2\\ 1& 2& 3& 4& 3& 2& 1\end{array}\right|$

计算并归一化每个块的HOG特征，由积分直方图计算每个块的HOG特征；在块内对得到的每个单元的HOG特征进行归一化，连接HOG特征与LBP特征，得到特征样本，如图5所示。

建立SVM模型：建立含有类惩罚因子的软间隔SVM模型。具有两类惩罚因子，即正样本惩罚因子和负样本惩罚因子。使用径向积函数作为SVM核函数。

基于图像正负样本集可能出现的样本不平衡现象，本发明选择径向基核函数建立带有两类惩罚因子的支持向量机模型，其分类规则为

$f\left(x\right)=\mathrm{sgn}(\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{a}_{i}K(x_i,x)+b),x_i\∈\mathrm{\Φ}$

其中，Φ为特征样本集，x_i为特征样本，x待判向量，a_i为下式最优化问题的解

$\underset{a}{\max }\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{a}_i-\frac{1}{2}\underset{i,j=1}{\overset{l}{\mathrm{\Σ}}}{a}_i{a}_j{y}_i{y}_{j}K(x_i,x_j),s.t.0\≤a_i\≤C_i,\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{a}_i{y}_i=0$

其中，y_i∈{1，-1}为样本分类标记，C_i为类惩罚因子。

分类器训练：将获得的所有特征样本输入到SVM进行训练，最终计算出SVM的拉格朗日系数从而完成对SVM的训练。

在进行行人跟踪时，首先要对视频图像进行捕获，如图6所示。为获取视频背景图像，将每次捕获的原始图像输入至高斯混合背景模型，如图7所示。之后，对前景和背景进行分割，提取目标运动区域，如图8所示。为克服噪声，光照及非线性影响，需对提取出的目标分割图像进行形态学的腐蚀与膨胀操作，获得较为完整的行人运动区域。将二值化的行人运动区域图像与捕获图像相与，由此获得视场中的运动区域，如图9所示。对这些区域进行单元划分，以单元为中心向外扩张成40X80的扫描窗口，之后在窗口内进行HOG-LBP特征提取，并输入至SVM进行行人检测。

行人检测方法为：本发明在视频行人检测阶段，仅对变化区域进行窗口扫描，可以减少和消除非运动区域的分类运算所占用资源，提高算法效率。具体来说，首先划分所有非零区域为单元(Cell)，并在遍历每个单元时以单元为中心扩充为扫描窗口。其后，对扫描窗口内图像进行HOG-LBP特征提取，方法同上文特征提取。最后，以扫描窗口的HOG-LBP描述为输入，利用训练好的SVM进行行人分类，判断窗口中是否含有行人。

对于检测到的行人，以其状态为先验信息建立粒子滤波模型，并通过加入粒子状态特征与SVM超平面距离系数来计算粒子似然以粒子更新，从而实现对场景中运动人体的持续跟踪。

具体来说，视频行人跟踪包含如下步骤：

粒子滤波建模：本发明使用动力学模型建立***状态转移方程，使用粒子窗口HOG-LBP特征描述作为***观测向量，建立粒子滤波模型。***状态向量如下式：

$x_k={[x_k,y_k,{\stackrel{\·}{x}}_k,{\stackrel{\·}{y}}_k,{\stackrel{\·\·}{x}}_k,{\stackrel{\·\·}{y}}_k,w_k{,p}_k]}^T=f_{k-1}(x_{k-1},w_{k-1})$

其中k∈K是时间指标，x_k是k时刻的***状态向量，x_k，y_k表示窗口的中心，

表示窗口移动速度，

表示窗口移动加速度，w_k表示窗口宽度，p_k表示窗口长宽比例，f_k-1：Rⁿ×Rⁿ→Rⁿ是非线性状态演化映射，{w_k}_k∈K是独立同分布的过程噪声序列。

使用该状态向量初始化粒子滤波器，并在一步转移后对粒子分布进行重采样，并由下式计算当前每个粒子所描述的区域内HOG-LBP特征与SVM超平面归一化距离，如图10所示，

${h_1}^{\left(i\right)}=\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{a}_{i}K(x_i,x^{\left(i\right)}),$ 当h₁ ⁽ⁱ⁾≤0时，另h₁ ⁽ⁱ⁾→0⁺。

同时计算该区域HOG-LBP特征与该目标历史特征的欧式距离，

${h_2}^{\left(i\right)}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\left|\right|x_h-x^{\left(i\right)}\left|\right|}_2,$ 其中 $x_h=\frac{1}{k}\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{x}_i$

以h₁ ⁽ⁱ⁾与h₂ ⁽ⁱ⁾的乘积的倒数作为粒子的似然通过下式对粒子权值进行更新。

${\mathrm{\λ}}_k^{\left(i\right)}\∝{\mathrm{\λ}}_{k-1}^{\left(i\right)}p\left(z_k\right|x_k^{\left(i\right)})$

之后对计算得出的粒子权值进行归一化，并根据蒙特卡洛原理由下式估计***当前状态：

另外，为避免粒子退化问题，需每次计算粒子退化系数，退化系数定义为：

${\mathrm{\σ}}_k^2=\frac{\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{({\mathrm{\λ}}_k^{\left(i\right)}-{\stackrel{\‾}{\mathrm{\λ}}}_k)}^2}{{\stackrel{\‾}{\mathrm{\λ}}}_k}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(\frac{{\mathrm{\λ}}_k^{\left(i\right)}}{{\stackrel{\‾}{\mathrm{\λ}}}_k}-1)}^2,$ 式中 ${\stackrel{\‾}{\mathrm{\λ}}}_k=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\λ}}_k^{\left(i\right)}.$

当退化系数大于某经验阈值时，对当前粒子进行重采样。

经过以上对固定场景行人视频的计算和处理，最终实现对特定场景行人跟踪，如图11所示，可以看出利用本发明所述方法可以实现对特定场景下行人的跟踪。

最后应说明的是：以上所述仅为本发明的优选实施例，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细说明，对于本领域的技术人员来说，其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于HOG-LBP描述的行人跟踪方法，其特征在于，所述方法包含如下步骤：

A1、样本建立：建立适应HOG-LBP描述器要求的图像正负样本集；

A2、特征提取：利用HOG-LBP描述子对已建立的样本图像集进行批量特征提取，从而建立特征样本集；

A3、建立SVM模型：建立含有类惩罚因子的软间隔SVM模型；

A4、分类器训练：使用特征样本集对SVM进行有监督训练；

A5、视频捕获与预处理：获取视频信息，建立背景模型并进行形态学去噪；

A6、视频行人检测：使用基于HOG-LBP描述的行人检测方法对视频序列进行行人检测；

A7、视频行人跟踪：使用基于HOG-LBP特征的粒子滤波跟踪方法对步骤A6检测到的行人进行跟踪。

2.根据权利要求1所述的基于HOG-LBP描述的行人跟踪方法，其特征在于：所述步骤A1的图像正负样本集具有以下特征：

图像正样本集中的图像由单个行人及其背景组成；

图像负样本集中的图像不包含行人内容；

图像正负样本集中的图像尺寸为8像素的倍数且大小一致；

图像正负样本集中的图像一致为灰度8位图像。

3.根据权利要求1所述的基于HOG-LBP描述的行人跟踪方法，其特征在于：所述步骤A2的特征提取具有以下步骤：

A21、梯度计算：使用一维离散微分模版在水平和垂直两个方向上对图像正负样本集中的图像进行处理，获取每个像素的水平和垂直梯度；

A22、图像划分：将图像正负样本集中的图像分割为多个单元(Cell)，每个单元均是边长为8个像素的正方形区域，每4个单元组成一个块(Block)，相邻块之间共享2个单元，图像被分割为(w/8-1)(h/8-1)个块，其中w表示图像的宽度，h表示图像的高度；

A23、计算单元LBP特征向量：以单元为单位，计算每个像素的LBP编码并按照一致模式在58簇直方图上投票，并对整个直方图积分得到LBP积分直方图；

A24、计算梯度图像：将平面分割为9个方向通道建立梯度图像，在梯度图像上使用卷积核进行卷积，并计算积分直方图；

A25、计算块HOG特征向量：计算每个块的HOG特征并进行归一化；

A26、生成高维特征向量：连接块HOG特征与单元LBP特征。

4.根据权利要求1所述的基于HOG-LBP描述的行人跟踪方法，其特征在于：所述步骤A3的建立SVM模型具有以下特征：

具有两类惩罚因子，即正样本惩罚因子和负样本惩罚因子；

使用径向积函数作为SVM核函数。

5.根据权利要求1所述的基于HOG-LBP描述的行人跟踪方法，其特征在于：所述步骤A5的视频捕获与预处理具有以下步骤：

A51、使用高斯混合背景模型分割图像前景与背景；

A52、对前景图像进行形态学去噪；

A53、二值化前景图像并和原图像相与。

6.根据权利要求1所述的基于HOG-LBP描述的行人跟踪方法，其特征在于：所述步骤A6的视频行人检测具有以下步骤：

A61、遍历非零区域并分割单元，以单元为中心在原图像上扩展为扫描窗口；

A62、计算扫描窗口中的HOG-LBP特征；

A63、利用SVM分类特征，判断窗口中是否含有行人。

7.根据权利要求1所述的基于HOG-LBP描述的行人跟踪方法，其特征在于：所述步骤A7的视频行人跟踪具有以下特征：

A71、粒子滤波建模：使用动力学模型建立***转移方程，使用HOG-LBP描述作为观测向量，构造粒子滤波模型；

A72、初始化粒子滤波器：以权利要求1步骤6行人检测结果为先验信息，构造粒子滤波器；

A73、重要性采样：以***转移概率分布作为重要性函数进行采样；

A74、计算粒子窗口中的HOG-LBP特征；

A75、计算粒子似然：以HOG-LBP特征与SVM超平面归一化距离作为窗口特征与历史观测特征距离系数来计算粒子似然，并归一化为粒子似然概率；

A76、更新粒子权值；

A77、***状态估计：根据蒙特卡洛原理由粒子状态分布估计***状态分布；

A78、粒子退化评估：计算粒子退化系数，衡量***粒子退化程度；

A79、粒子重采样：根据粒子权值大小生成独立同分布的替代粒子。

Images