CN104484890B - 基于复合稀疏模型的视频目标跟踪方法 - Google Patents

Abstract

一种计算机视觉领域的基于复合稀疏模型的视频目标跟踪方法，基于复合稀疏表观模型在粒子滤波框架下，将所有粒子观测的联合稀疏系数矩阵分为组稀疏性、元素稀疏性和异常稀疏性三部分组成，代表了粒子在字典上的共享和非共享特征以及加性稀疏噪声。本发明使用L_1,∞范数和L_1,1范数正则化实现复合稀疏性，并采用变方向乘子法求解优化问题，具有较高的计算效率。本发明还提出了一种动态字典更新方法，以适应目标表观的变化。实验表明，本发明所提出的算法比所比较的几种传统视频目标跟踪算法有更好的跟踪性能和鲁棒性。本发明可以被应用于人机交互、智能监控、智能交通、视觉导航、视频检索等领域。

Description

基于复合稀疏模型的视频目标跟踪方法

技术领域

本发明涉及的是一种视频处理领域的技术，具体是一种应用于人机交互、智能监控、智能交通、视觉导航、视频检索的基于复合稀疏模型的视频目标跟踪方法。

背景技术

视频跟踪是计算机视觉领域的一个重要问题，它的任务是分析摄像机所拍摄到的二维图像序列，然后对所感兴趣的目标或者区域进行持续的定位。无论是在民用还是军用领域，视频跟踪技术都有着记为广泛的应用前景。现代的智能监控***需要实现对视场内的目标进行自动的检测、跟踪和识别，捕捉异常情况，并做出预警。缺少可靠和高效的视频目标跟踪算法是智能监控领域的主要瓶颈之一。人机交互领域，人们已经不再满足于仅仅基于鼠标和键盘的简单交互模型。随着虚拟现实技术的方法，基于视觉的人机交互方式已经成为工业界和学术界的研究热点。为了实现这个目标，计算机首先要具有感知人体运动的能力，其前提是能从摄像机中定位人体的部位，然后在此基础上理解人的行为。因而可以说视觉跟踪是人机交互的基础。智能交通***是指，对所监控的道路的视频图像进行分析，得出车辆行为、行人行为和交通流量等信息，然后对车流进行控制或者对交通事故进行防范。智能交通中的一个非常关键的问题是车辆和行人的分割与跟踪，这也属于视频跟踪的范畴。此外，视频目标跟踪在视觉导航、视频检索、视频压缩和视觉导航等领域都用重要的应用。然而，由于目标表观变化、姿态变化、成像环境变化、背景干扰以及遮挡等因素，设计准确、稳定、快速的视频跟踪算法仍然是一项十分有挑战性的任务。

近年来，稀疏表示在视频跟踪领域的应用，使得跟踪算法的性能，尤其是在抗遮挡方面，得到了显著的改善。通常，基于稀疏表示的视频跟踪算法在粒子滤波框架下实现，它使用一些带有权重的粒子表示当前目标状态的概率密度函数，然后估计目标的位置。每个粒子的初始观测为当前帧内对应区域的像素，通过稀疏表观模型，它们可以表示为由一个字典中模板所张成的子空间上的一组稀疏系数。候选目标属于被跟踪目标的似然由这组稀疏系数在字典上的线性组合和原观测的重构误差来定义。

基于稀疏表示的视频跟踪算法可以大致分类两类：单任务算法和多任务算法。典型的单任务算法，如L₁***[X.Mei and H.Ling，“Robust visual tracking using L₁minimization，”in ComputerVision，2009IEEE 12th International Conference on，1436–1443，IEEE(2009)]，在求解稀疏系数时，对每一个粒子单独进行L₁最优化。这个作法有两个缺点。第一，计算量比较大，如L₁***使用内点法求解每一个粒子的L₁最优化问题，其计算复杂度是O(m²n+mrn)，其中：m，n和r分别是特征维数、字典中模板个数和粒子数。第二，假设粒子之间相互独立，完全忽视了粒子之间的联系。然而，由于粒子滤波在采样粒子时使用的高斯分布，大部分粒子在空间上是相近的，因而他们的表观也具有相似性。利用这种相似性可以改善所有粒子的整体重构性能，从而改善跟踪精度。多任务学习可以利用多个相关学习任务之间的本质联系，从理论和经验上均被证明可以明显改进整体性能。求解所有粒子的稀疏系数可以看作是多个相关的线性回归问题。因而，基于多任务的稀疏表示视频跟踪算法的目的是利用多任务学习的优点来改进视频跟踪的性能。代表性的算法是多任务***(MTT)[T.Zhang，B.Ghanem，S.Liu，and N.Ahuja，“Robust visual trackingvia multi‐tasksparse learning，”in Computer Vision and Pattern Recognition(CVPR)，2012IEEE Conferenceon，2042–2049，IEEE(2012)]。尽管实验结果表明，多任务***的跟踪效果和计算效率都优于L₁***，但是它有以下问题。多任务***中粒子表观的联合稀疏性是由L_1，q范数约束实现的。L_1，q范数会导致过分强调粒子之间的联系，特别是q＞2时，所有粒子的非零稀疏系数均取相似的值。这与粒子的特性应当由粒子之间的共性和其自身个性组成的常识所矛盾。

经过对现有技术的检索发现，中国专利文献号CN103985143A公开(公告)日2014.8.13，公开了一种基于字典学习的视频中鉴别性在线目标跟踪方法。该方法将候选样本和模板进行分块，对各块提取稀疏表示系数，再将这些系数作为对应块的分类器，得到该块候选样本的判定置信度，然后对各块的判定置信度随机抽取K个并求和，遍历所有可能性，最后在各种可能性中被选取次数最多的候选样本，最为当前帧的跟踪结果。但该技术中所有候选样本的稀疏表示系数的优化问题是孤立的考虑的，候选样本之间的关系是被忽视的。也就是说，它属于一直单任务的跟踪算法，因而它的稀疏系数的估计精度难以满足工业需要。

发明内容

本发明针对现有技术存在的单任务稀疏表示跟踪算法的完全忽略粒子之间联系和现有的多任务稀疏表示跟踪算法过分强度粒子之间共性的问题，提出一种基于复合稀疏模型的视频目标跟踪方法。

本发明是通过以下技术方案实现的，包括以下步骤：

第一步：在待测试视频的初始帧，即第一帧中手工选择被跟踪目标，用其初始位置生成初始粒子集在初始位置周围紧采样生成初始字典D，选择单位矩阵I_m作为琐碎模板。

第二步：在待测试视频的每一帧中，使用目标的运动模型预测粒子状态

所述的目标的运动模型采用随机游走模型，即新的状态从前一时刻状态根据高斯分布采样而得，

第三步：提取预测的每一个粒子的区域的像素值并压缩为观测矩阵Y；

所述的区域是为一个平行四边形，由粒子的状态所定义，其参数包括：中心位置、长宽、倾斜角度。

所述的压缩是指：对所得到的像素值进行下采样处理，并对采样后的像素值合并为向量作为观测值，最后将多个向量组合成观测矩阵Y。

第四步：利用观测矩阵Y、字典D、琐碎模板I_m，求解L_1，∞和L_1，1范数优化问题，计算复合稀疏表观模型的稀疏系数矩阵B、S和T；

所述的复合稀疏表观模型是一种所有粒子的联合特征提取模型，即统一计算所有粒子的观测在字典模板上稀疏表示系数，将所有粒子的联合稀疏系数矩阵分为三个部分：组稀疏性、元素稀疏性和异常稀疏性，分别对应于粒子的共享特征、个性特征和异常特征，具体为：在时刻t时，粒子滤波中，n个粒子的预测状态为它们的原始观测为其中：为根据状态从当前帧中所裁剪出的图像区域；将这些观测下采样并压成向量，得到最终的观测当字典为D_t＝{d₁，…，d_r}，其中：r是模板的个数；初始字典是在初始帧中，在目标的初始状态附近根据紧采样策略采样获得，为了解决噪声和遮挡的问题，引入异常模板I_m，即一个单位阵，将粒子观测上的噪声或遮挡表示为一个加性的稀疏噪声，它在其支集上可以取任意大的值。在复合稀疏表观模型中，观测矩阵Y可以表示为其中，联合稀疏系数矩阵B代表粒子在字典D上的共享特征，个性特征的元素稀疏矩阵S代表粒子在异常模板上的稀疏系数，元素稀疏矩阵T代表加性噪声。

所需求解的L_1，∞和L_1，1范数优化问题为：

s.t.Y＝D(B+S)+I_mT+E

该模型具体通过变方向乘子法求解，即利用线性可分性将上述复杂的优化问题分解为几个较为简单的子问题再进行逐个求解。本方法具有快速收敛的特点。相比其他优化方法，可以在较少的迭代次数内打到较高的收敛精度。具体的，通过变方向乘子法，上述优化问题的基本求解框架为：

U^k+1＝U^k+D(B^k+1+S^k+1)+I_mT^k+1+E^k+1-Y

可以看出，原优化问题分解为了B、S、T、E四个子问题和一个迭代变量更新。再使用变方向乘子法将四个子问题转换为标准的L_1，∞范数和L_1，1范数正则化问题，从而得到最终的求解方法。

第五步：计算重构误差E，并对每个粒子的权重进行更新；

第六步：选择更新后权重最大的粒子作为当前帧的目标，该目标的状态为对应的观测为

第七步：使用观测通过自适应方式更新字典中的模板和稀疏。

第八步：输出所有帧的状态估计值，即为该视频中目标的跟踪结果。

所述的自适应方式具体包括以下步骤：

1)首先调整字典中每一个模板的范数，并用范数作为每一个模板的权重。

2)然后在每一帧跟踪结束后考虑目标的新表观，当该表现和字典中的所有模板的相似度都很低，那么认为其是表观的一个新的模式，并用它替代字典中权重最小的模板；同时考虑组稀疏矩阵B中非零元素超过80％的行，即是被大部分粒子共享的具有共同特征的模板，认为它们也是当前时刻目标表观出现概率较大的模式，当这些行的权重较小时则提高其对应的权重；再将新加入的和共享的模板的权值设为中位数，以防止这些模板在后续帧发挥较大作用，同时防止其作用过于主导。

3)最后对字典的权重，即模板的范数进行归一化，使得其和为1。

附图说明

图1为复合稀疏表观模型示意图；

图2为***流程图；

图3为实施例跟踪结果示意图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例1

本实施例中，目标的状态采用六变量的仿射模型，即x_t＝{a_t，b_t，θ_t，s_t，α_t，φ_t}，其中：6个参数分别代表位置坐标、旋转角度，尺度，长宽比，倾斜角度；目标的运动模型采用随机游走模型，即新的状态从前一时刻状态根据高斯分布采样而得， 目标的原始观测为状态所定义的区域的像素值，然后将其下采样并压缩成向量，成为复合稀疏模型中实际使用的观测；似然函数p(O_t|x_t)通过粒子表观和字典模板的相似度定义，即粒子的复合稀疏表观模型的重构误差服从高斯分布。在时刻t，当前字典为D_t-1，n个粒子分别为那么在本实施例中，估计新的目标状态新的目标表观n个新粒子新的字典D_t的具体步骤如下所述：

步骤1、对粒子进行重采样，并将结果记为

步骤2、根据运动模型预测粒子的新状态

步骤3、根据粒子的状态，从当前帧中生成观测矩阵Y

步骤4、利用观测Y、字典D_t-1和异常模板I_m，计算复合稀疏表观模型的稀疏系数矩阵B、S和T

4.1)初始化：设B⁰＝0，S⁰＝0，T⁰＝0，E⁰＝Y，U⁰＝0

4.2)主循环：For k＝0，1，…，直到收敛

4.2.1)B子循环：G＝Y-D_t-1S^k-I_mT^k-E^k-U^k，B⁽⁰⁾＝B^k，P⁽⁰⁾＝B^k，For j＝0，1，…，直到收敛

b)For i＝0，1，…，r，其中：A_i·表示矩阵A的第i行，sgn(·)是符号函数。a为一个行向量，它中间的每一个元素的计算方法为，l＝1，…，n。其中：a_l和z_l是a和z的第l个元素，变量u是|z|的降序排列，

c)更新子循环迭代变量，

4.2.2)S子循环：H＝Y-D_t-1S^k+1-I_mT^k-E^k-U^k，S⁽⁰⁾＝S^k，A⁽⁰⁾＝S^k，For j＝0，1，…，直到收敛

c)更新子循环迭代变量，

4.2.3)T子循环：

4.2.4)E子循环：

4.2.5)迭代变量更新：U^k+1＝U^k+D_t-1(B^k+1+S^k+1)+I_mT^k+1+E^k+1-Y

步骤5、计算粒子的重构误差E＝Y-D_t-1(B+S)-I_mT

步骤6、更新粒子的权重，

步骤7、选择权重最大的粒子作为当前目标状态的估计值其观测为

步骤8、利用D_t-1、B、S、T进行字典的动态更新，得到新的字典D_t

8.1)根据当前字典D_t-1中模板的范数，计算当前权重π_i＝‖d_i‖

8.2)C＝D_t-1(B+S)，在D_t-1上的重构系数c为C中的对应列

8.3)使用重构系数c，更新权重

8.4)记π的中位数为θ＝median(π)

8.5)如果新的观测和重构系数最大的模板d_i的相似度较小，即i＝arg max_1≤i≤r|c_i|，那么：j＝arg min_1≤i≤rπ_i，替换权重最小的模板π_j＝θ

8.6)将B中非零元素超过80％的行的指标集记为Q，对任意k∈Q，π_j＜θ，将其权重设为π_j＝θ

8.7)归一化权重π，使得∑_iπ_i＝1

8.8)归一化字典的范数，使得‖d_i‖＝π_i。最终得到新字典为D_t

步骤9、目标最终的跟踪结果为

本实施例通过Matlab和C++的混合Mex编程实现，其中Matlab负责算法的主体流程，如粒子滤波、采样观测、权重计算、模板状态估计、字典更新等，复合稀疏表观模型中粒子的联合系数矩阵的计算采用C++实现，这样可以提高***的实时性。流程图如图2所示。

本实施例使用Matlab语言对所提出的基于复合稀疏模型的视频目标跟踪算法在几段真实视频序列上进行了测试。测试所使用的视频序列均来自以下网址：

https://sites.***.com/site/trackerbenchmark/benchmarks/v10

如图3所示，分别是deer、davidindoor、sylvester、faceocc、football和car11。为了验证本实施例算法的性能，实验将本实施例提出的算法和几种传统的视频跟踪算法进行了比较，分别是L₁***、frag、IVT、MS、TLD和CT。所有算法在测试数据上的跟踪结果如图3所示。deer视频的难点在于小鹿的快速机动、运动模糊和相似目标干扰；davidindoor视频的难点在于光照变化、尺度变化、人的表情变化和部分遮挡；sylvester视频的难点在于长时间跟踪、姿态变化和旋转；faceocc视频的难点在于大面积和长时间的遮挡；football视频的难点在于快速运动、大量相似目标干扰和遮挡；car11视频的难点在于较强的光照变化和雨水引起的成像模糊。通过比较图3中实线框和其他框的相对位置，可以看出本实施例所提出的于复合稀疏模型的视频目标跟踪算法在上述困难下均取得了优于传统跟踪算法的结果，因而具有更好的跟踪性能和鲁棒性。

Claims (6)

1.一种基于复合稀疏模型的视频目标跟踪方法，其特征在于，包括以下步骤：

第一步：在待测试视频的初始帧，即第一帧中手工选择被跟踪目标，用其初始位置生成初始粒子集在初始位置周围紧采样生成初始字典D；

第二步：在待测试视频的每一帧中，使用目标的运动模型预测粒子状态

第三步：提取预测的每一个粒子的区域的像素值并压缩为观测矩阵Y；

第四步：在复合稀疏表观模型中，通过L_1，∞和L_1，1范数优化计算联合稀疏系数矩阵B、分别代表粒子在字典D上的共享特征和个性特征的元素稀疏矩阵S以及代表粒子在异常模板上的稀疏系数的元素稀疏矩阵T，其中：I_m为作为琐碎模板的单位矩阵；

第五步：计算重构误差E，并对每个粒子的权重进行更新；

第六步：以更新后权重最大的粒子作为当前帧的目标，该目标的状态为观测为

第七步：使用观测通过自适应方式更新字典中的模板和稀疏；

第八步：输出所有帧的状态估计值，即为该视频中目标的跟踪结果；

所述的复合稀疏表观模型的求解优化方程为：

${\min }_{E,B,S,T}\left|\right|E|{|}_F^2+{\mathrm{\λ}}_b|\left|B\right|{|}_{1,\mathrm{\∞}}+{\mathrm{\λ}}_s\left|\right|S|{|}_{1,1}+{\mathrm{\λ}}_t|\left|T\right|{|}_{1,1}$

s.t.Y＝D(B+S)+I_mT+E

该模型具体通过变方向乘子法求解，即利用线性可分性将上述复杂的优化问题分解为几个较为简单的子问题再进行逐个求解。

2.根据权利要求1所述的方法，其特征是，所述的目标的运动模型采用随机游走模型，即新的状态从前一时刻状态根据高斯分布采样而得，

3.根据权利要求1所述的方法，其特征是，第三步中所述的区域是一个平行四边形，由粒子的状态，即中心位置、长宽、倾斜角度所定义。

4.根据权利要求1所述的方法，其特征是，所述的压缩是指：对所得到的像素值进行下采样处理，并对采样后的像素值合并为向量作为观测值，最后将多个向量组合成观测矩阵Y。

5.根据权利要求1所述的方法，其特征是，所述的复合稀疏表观模型是一种所有粒子的联合稀疏特征提取模型，即统一计算所有粒子的观测的稀疏表示系数，它将所有粒子的联合稀疏系数矩阵分为三个部分：群稀疏系数矩阵B、元素稀疏系数矩阵T和异常稀疏系数矩阵T，分别对应于粒子的共享特征、个性特征和异常特征。

6.根据权利要求1所述的方法，其特征是，所述的变方向乘子法将原优化问题分解为了B、S、T、E四个子问题和一个迭代变量更新，再使用变方向乘子法将四个子问题转换为标准的L_1，∞范数和L_1，1范数正则化问题，从而得到最终的求解方法，该优化问题的基本求解框架为：

$B^{k+1}=\arg {\min }_B{\mathrm{\λ}}_b\left|\right|B|{|}_{1,\mathrm{\∞}}+\frac{\mathrm{\ρ}}{2}||D(B+S^k)+I_m{T}^k+E^k-Y+U^k|{|}_F^2$

$S^{k+1}=\arg {\min }_S{\mathrm{\λ}}_s\left|\right|S|{|}_{1,1}+\frac{\mathrm{\ρ}}{2}||D(B+S^k)+I_m{T}^k+E^k-Y+U^k|{|}_F^2$

$T^{k+1}=\arg {\min }_t{\mathrm{\λ}}_t\left|\right|T|{|}_{1,1}+\frac{\mathrm{\ρ}}{2}||D(B+S^k)+I_m{T}^k+E^k-Y+U^k|{|}_F^2$

$E^{k+1}=\arg {\min }_E\left|\right|B|{|}_{1,\mathrm{\∞}}+\frac{\mathrm{\ρ}}{2}||D(B+S^k)+I_m{T}^k+E^k-Y+U^k|{|}_F^2$

U^k+1＝U^k+D(B^k+1+S^k+1)+I_mT^k+1+E^k+1-Y。