CN108573217B - 一种结合局部结构化信息的压缩跟踪方法 - Google Patents

Abstract

本发明提出了一种结合局部结构化信息的压缩跟踪方法，在压缩跟踪中加入信息结构化预处理步骤，将具有相似纹理、颜色、亮度等特征的相邻像素聚合成一个有视觉意义的不规则像素块，在像素块基础上提取HSV颜色特征，通过构建颜色置信图进行目标位置一阶段的粗估计，再结合像素块的局部结构化信息随机投影与像素级别的随机投影构成新型测量矩阵，利用该测量矩阵对haar‑like特征进行降维处理，根据朴素贝叶斯分类器完成对目标的二阶段精准位置估计，实现目标准确跟踪。相比于现有跟踪技术，本发明结合中层次线索的局部结构化信息与低层次线索的haar‑like特征共同对目标外观进行表征，有效提高了目标跟踪的准确性和鲁棒性，保证了目标跟踪的实时性。

Description

一种结合局部结构化信息的压缩跟踪方法

技术领域

本发明涉及一种压缩跟踪技术，尤其涉及一种结合局部结构化信息的压缩跟踪方法，属于视频数据处理或产生领域的视频分析技术，属于视频分析技术领域。

背景技术

随着视频监控技术在安全领域应用的越来越广泛，目标跟踪在计算机视觉***中有着举足轻重的位置，在智能交通、安全监控等众多领域中有着广阔的前景。近年来，目标跟踪技术也一直是广大学者研究的热点，然而由于目标与背景的复杂性，如光照变化、目标遮挡、背景模糊等问题，如何正确、即时地更新外观模型，并且准确高效地估计出目标的位置依然是目标跟踪研究的一个焦点。

近年来，随着检测器提供的检测结果越来越可靠，基于检测的跟踪方法逐渐成为目标跟踪的一个主要研究方向。其中，压缩跟踪(Compressive Tracking，以下简称CT)技术受到不少人关注，它利用一个非常稀疏的固定的测量矩阵，将提取的图像目标和背景特征有效的映射到低维压缩子空间，利用压缩感知对高维特征数据进行降维，大大提高了处理速度，使得整个跟踪***数据量小，计算简单，速度快且不易受光照和噪声的影响。但是在目标发生较为严重的遮挡、漂移时，由于压缩跟踪仅利用低层次线索haar-like来表示和匹配目标，缺乏解释目标表观变化的有效表示方法，因此仍然不能准确完整地跟踪目标。

在现有的CT算法研究中，Zhang在2014年提出快速压缩跟踪(Fastcompressivetracking)，采用从粗到精的二次搜索策略，提高了CT跟踪速度，但没有解决目标表观缺乏解释性的有效表示这一根本问题。Bai在2015年提出基于多特征加权融合模型的快速压缩跟踪(Fast compressive tracking based on multi-feature weighted appearancemodel)，利用两个互补测量矩阵分别提取亮度和纹理特征，并用马氏距离对其进行加权，由此来表征目标。该方法将多特征融合运用至压缩跟踪，提高了跟踪的准确性，但其带来的计算复杂度也提高了不止一倍。

上述提到的方法对跟踪的准确性都有所改进，但仍然停留在图像像素层进行处理，缺乏较高层次的特征利用，跟踪效率仍然不够理想，Yang在2014年将超像素引入跟踪，提出了超像素跟踪算法(Robust Superpixel Tracking)，该算法利用超像素能保持图像中目标物体的大部分边界，并且相比于像素包含更多的局部信息这一特点，将跟踪问题转化为计算目标-背景的置信度图问题，实现准确、鲁棒的跟踪。但是该算法使用了meanshift聚类，整个框架结构冗长，跟踪耗时过长，无法满足实时性要求。

发明内容

本发明的目的在于：针对现有技术存在的缺陷，提出一种结合局部结构化信息的压缩跟踪方法，该方法在压缩跟踪中加入局部信息结构化预处理步骤，先将具有相似纹理、颜色、亮度等特征的相邻像素聚合成一个有视觉意义的不规则像素块，结合该像素块特征的随机投影与像素级别的随机投影构成新的测量矩阵，结合中层次线索的像素块的局部结构化信息与低层次线索的haar-like特征共同对目标外观进行表征，在保证跟踪实时性的同时，提高跟踪的准确性与鲁棒性。

为了达到以上目的，本发明提供了一种结合局部结构化信息的压缩跟踪方法，包括以下步骤：

步骤1、对初始帧图像进行初始化：

步骤1.1、标记初始位置，手动标注出初始帧图像中要跟踪的目标，记录其初始位置为initstate(x,y,w,h)，其中x和y表示的是目标跟踪框的左上角位置，w和h表示目标跟踪框的宽度和高度；

步骤1.2、对初始帧做像素块级别的颜色特征提取，利用超像素来表示图像的结构化信息，对目标图像块使用简单的线性迭代聚类(Simple Linear Iterative Clustering，以下简称SLIC)进行超像素分割，记录每一个像素块的空间信息，初始超像素分割的精度为N，标记与目标中心最近的超像素聚类设为中心类，对该超像素中心类提取基于HSV空间的颜色直方图特征，该超像素颜色特征记为C_c(Center Color)，同时标记与中心类相邻的n个超像素颜色特征，记为C₁,C₂……C_n；

步骤1.3、对初始帧做haar-like特征提取：对目标及其周围背景进行正负样本采样，并对正负样本集进行haar-like特征提取，分别作为初始目标特征和背景特征；

步骤2、对一定区域内的图像块patch进行结构化信息预处理，以一定规则的像素块形式来表示结构化信息，同时以分割后的像素块为单位提取颜色特征，并构建色度置信图进行目标位置粗估计；

步骤3、针对步骤2，循环比较前后帧中的像素块HSV颜色特征的重叠率来判断是否遮挡，并根据判断结果做出相应处理；

步骤4、结合局部结构化信息随机投影与像素级别的随机投影构建一个新型测量矩阵；

步骤5、对步骤2中粗估计出的目标进行图像块采样，提取样本的haar-like特征，根据步骤4构建的新型测量矩阵对特征进行降维处理，并采用朴素贝叶斯分类器对选出的正负样本特征进行分类，分类器分数最大位置即为当前帧目标位置；对新确立的目标位置及其周围背景进行正负样本采样，对正负样本集进行haar-like特征提取，同时更新朴素贝叶斯分类器参数；

步骤6、判断当前帧是否为结束帧，若不是，则返回步骤2，若是，结束当前序列跟踪任务。

本发明进一步的限定技术方案为：所述步骤1.3中，正样本采样范围为D^α＝{zP|l(z)-l_t|<α}，负样本采样范围为D^β＝{zPτ<|l(z)-l_t|<β}，其中α<τ<β，α为正样本搜索半径，τ为负样本搜索内半径，β为负样本搜索外半径。

进一步的，所述步骤2的目标位置粗估计步骤为：

步骤2.1、设定一个

为边长的正方形区域，其中S是的目标面积，λ_s参数取值为1.5；所述正方形区域为初始目标估计范围，将正方形区域分割成N_t个具有局部结构化信息的像素块，提取各像素块的基于HSV空间的颜色特征，记为

通过计算

来比较当前帧的像素块色度与前一帧中心色度C_c的相似性，根据条件

筛选出k个像素块与C_c颜色特征最为相近，记为

这里的η为判断阈值，取固定值30％。

步骤2.2、假设当前帧的每一个

共有r个相邻像素块，这些像素块的颜色特征为

定义

为第k个中心类与上一帧中心类的周围色度C_n的相似性最大位置的像素块色度，则对任意一个

周围的m个像素块颜色特征可记录为

其中m≤n，计算

得当前帧最佳目标中心类

进一步的，所述步骤3中的遮挡处理步骤为：

步骤3.1、循环比较粗估计的目标中心颜色特征和周围超像素的颜色特征与上一帧对应颜色特征的重叠率，若重叠率最大且大于某个阈值，则认定为目标位置中心类，若重叠率小于该阈值，则视为遮挡；

步骤3.2、当遮挡情况出现时，采用简单的运动估计，利用第i-1帧和第i-4帧之间的目标位置差来估计目标平均移动速度，表达式为

其中

这里的Δt取1。

进一步的，所述步骤4中构建新型测量矩阵的步骤为：

步骤4.1、结合局部结构化信息的压缩投影矩阵R_s和满足RIP的随机投影矩阵R_f，新型测量矩阵的构建方法为

步骤4.2、R_s的构建：将SLIC分割后的所有超像素存放在超像素集合ζ中，定义一个特殊的矩形r_j，若r_j中所有的像素都包含在集合ζ中，则r_j∈ζ，在投影矩阵中用1来表示，相应的用-1表示完全不包含，0表示部分包含，因此r_ij定义如下：

N表示超像素个数，

其中a＝0.4N；

步骤4.3、R_f的构建：

新型压缩矩阵是像素块局部结构化信息投影矩阵与CT中的随机投影矩阵的结合，定义为

其中

是利用超像素结构化信息构造的压缩投影矩阵，

是CT中满足RIP的随机投影矩阵，其中新型压缩矩阵的行n为n＝n₁+n₂，新型压缩矩阵的列m与行n的关系满足n＝m，从而实现将m×1维的特征降为n×1维。

进一步的，采用朴素贝叶斯分类器对降维后的正负样本特征f进行分类，分类器定义为

分类器分数最大位置即为当前帧目标位置L。在目标位置L及其周围提取特征，并更新至目标模型。

本发明提出的一种结合局部结构化信息的压缩跟踪方法，针对目标跟踪中目标表观变化缺乏有效表示方法这一问题，结合中层次线索的局部结构化信息与低层次线索的haar-like特征共同对目标外观进行表征，超像素仅作为结构化表示的一种方法。

本发明在压缩跟踪中加入局部结构化信息聚类的预处理步骤将具有相似纹理、颜色、亮度等特征的相邻像素聚合成一个有视觉意义的不规则像素块，在像素块基础上提取HSV颜色特征，通过比较当前帧的超像素颜色特征与前一帧中心类颜色特征的相似性，再循环比较其相邻超像素所对应的颜色特征与前一帧目标中心类相邻的超像素颜色特征，通过构建颜色置信图进行目标位置一阶段的粗估计，计算其匹配度最高的位置即为置信值最大，为目标中心。

再结合像素块随机投影与像素级别的随机投影构成新型测量矩阵，利用该测量矩阵对haar-like特征进行降维处理，再根据朴素贝叶斯分类器完成对图像的二阶段精准位置估计，实现目标准确跟踪。相比于现有跟踪技术，本发明结合中层次线索的像素块局部结构化信息与低层次线索的haar-like特征共同对目标外观进行表征，有效提高了目标跟踪的准确性和鲁棒性，同时还保证了实时性。

附图说明

下面结合附图对本发明作进一步的说明。

图1为本发明的流程框图。

图2为SLIC超像素分割效果与原图的对比图：

图2(a)为MountainBike序列原图。

图2(b)为目标及其周围原图。

图2(c)为N＝100时SLIC超像素分割效果图。

图3为本发明的像素块颜色特征示意图：

图3(a)为初始帧色度提取示意图。

图3(b)为下一帧中心及其周围像素块色度匹配图。

图4(a)为本发明的cardark的跟踪效果对比图。

图4(b)为本发明的mountainbike的跟踪效果对比图。

图4(c)为本发明的tiger2的跟踪效果对比图。

图4(d)为本发明的coke的跟踪效果对比图。

图4(e)为本发明的doll的跟踪效果对比图。

图4(f)为本发明的football的跟踪效果对比图。

具体实施方式

为使本发明的目的、实现方案和优点更为清晰，下面以序列Mountainbike为例，如图2(a)所示，对本发明的技术方案进行详细说明：

本发明提供的一种结合局部结构化信息的压缩跟踪方法，其流程如图1所示，步骤1、位置初始化：手动标注出初始帧图像中要跟踪的目标，记录其初始位置为inistate＝(319,185,67,56)，其中319和185表示的是目标跟踪框的左上角位置(x,y)，67和56表示目标跟踪框的宽度w和高度h。

步骤2、目标与背景特征初始化：利用超像素来有效表示图像的局部结构化信息，对目标图像块使用SLIC超像素分割，分割时需指定当前分割区域要分割的超像素数量，记为初始超像素分割精度N，这里初始分割精度设为100，SLIC超像素分割对比图如图2(b)、图2(c)所示。标记与目标中心最近的超像素聚类设为中心类，对该超像素中心类提取基于HSV空间的颜色直方图特征，该超像素颜色特征记为C_c(Center Color)，同时标记与中心类相邻的n个超像素颜色特征，记为C₁,C₂……C_n，如图3中(a)图所示。对目标及其周围背景进行正负样本采样，在采样后的正负样本基础上进行haar-like特征提取，由此分别作为初始目标特征和背景特征。

步骤3、目标位置粗估计：以

的方形区域进行超像素分割，该方形区域为粗估计的目标范围，SLIC超像素分割的参数设置同步骤2一致，分割精度为N＝100，SLIC的重复迭代次数取为10，通过计算min(|C_N-C_c|)来比较当前帧的超像素颜色特征与前一帧C_c颜色特征的相似性，根据条件

可以筛选出k个超像素与C_c色度最为相近，记为

这里η取30％。计算当前帧的每一个

周围的r个超像素颜色特征(表示为

)与C_n的相似性，将

最小值对应的位置色度定义为

则对任意一个

的周围超像素可记录为

其中m≤n，计算

可得出当前帧最佳目标中心类

如图3(b)图所示，

为最终的

从而粗估计出当前帧目标中心为

步骤4、遮挡处理：由于目标可能存在旋转、遮挡、漂移等现象，所以需要循环比较，重叠率最大且大于某个阈值，即认定为目标位置中心类，重叠率阈值取为50％，即若重叠率小于50％则视为遮挡，采用简单的运动估计，利用第i-1帧和第i-4帧之间的目标位置差来估计目标平均移动速度，表达式为

其中

这里的Δt取1。

步骤5、构建新型测量矩阵：结合像素块的局部结构化信息压缩投影矩阵R_s和满足RIP的随机投影矩阵R_f，构建新型测量矩阵

将初始化中SLIC分割后的所有超像素存放在超像素集合ζ中，定义一个特殊的矩形r_j，若r_j中所有的像素都包含在集合ζ中，则r_j∈ζ，在投影矩阵中用1来表示，相应的用-1表示完全不包含，0表示部分包含，因此r_ij定义如下：

式中N表示超像素个数，

其中a＝0.4N。R_f定义为

其中

n₁取100，n₂取100。

步骤6、特征降维与分类器分类：由步骤3粗估计出的目标记为正样本，其周围背景记为负样本，对其周围取搜索半径满足条件D^γ＝{z P l(z)-l_t-1|<γ}，其中搜索窗半径γ取25，且与l_t-1的距离小于γ的图像块集合进行采样。提取样本的haar-like特征x，利用步骤5的新型测量矩阵R对特征进行降维处理，

f＝Rx。采用朴素贝叶斯分类器对选出的正负样本特征f进行分类，分类器定义为

其中f_i表示第i帧的目标特征，由上式计算得出的分数最大位置即为当前帧目标位置L。

步骤7、对新确立的目标位置及其周围背景进行正负样本采样，正样本采样范围为D^α＝{z P|l(z)-l_t|<α}，负样本采样范围为D^β＝{zPτ<|l(z)-l_t|<β}，其中α<τ<β，正样本搜索半径α取4，负样本搜索内半径τ取8，负样本搜索外半径β取30。对正负样本集进行haar-like特征提取，同时更新朴素贝叶斯分类器参数

其中

为正样本均值，

为正样本方差，学习因子λ取0.85。

为验证本发明提出方法的有效性，我们使用2013年Wu等人提出的VisualTracking Benchmark标准跟踪库平台进行实验，选取了6组不同特点的视频序列进行测试，分别是cardark、moutainbike、tiger2、coke、doll、football1，并将跟踪结果与CT、FCT进行比较。

表1实验选用序列特点

序列名称	序列帧数	序列的特点
			Cardark	393	光照变化、背景复杂
Moutainbike	228	快速运动、平面内外旋转、运动模糊
			Tiger2	365	光照变化、平面内外旋转、遮挡、快速运动
Coke	291	光照变化、快速运动、平面内外旋转
			Doll	3782	平面内外旋转、遮挡
Football1	81	遮挡、背景复杂、快速运动

6个序列的帧数和存在的挑战如表1所示，本发明对6个序列都有着较为良好的表现。针对遮挡问题，本发明方法通过在目标位置粗估计阶段中加入的遮挡处理步骤来应对目标被遮挡的影响，计算粗估计的位置与前一帧的目标位置像素块的相似重叠率，若重叠率低于某一阈值，则判定为遮挡，利用运动估计矫正目标运动轨迹。针对光照问题，本发明方法保留原CT算法中的haar-like特征，能较好的对光照强度进行描述，并在朴素分类器分类后对目标的特征及时更新，因此若光照发生强烈变化，对于变化的特征是能及时的更新至目标模型。针对平面内外旋转问题，本发明方法通过构造新型的有结构化信息随机投影干预的降维测量矩阵，利用像素块的结构化信息具有相似纹理、颜色、亮度等特征的特点，对后期特征选取模型进行干预，使得特征更具有局部结构化信息，较好的应对平面旋转问题。针对背景复杂问题，本发明方法通过引入局部信息结构化表示的预处理模块，将目标与背景明确分割，同时对像素块提取HSV颜色特征，根据该特征构建目标置信图，进行目标位置粗估计，解决背景复杂问题。针对快速运动与运动模糊问题，本发明方法在对每一帧进行SLIC超像素分割时，以

的方形区域进行超像素分割，给予目标足够的运动空间，即使超像素粗估计时目标可能部分超出规定范围，一方面，在下一阶段haar-like特征提取时其样本范围更大，另一方面，本发明有遮挡判断以及遮挡时的运动估计处理，因此能较好的应对快速运动和快速运动可能带来的运动模糊问题。针对跟踪实时性问题，本发明方法建立在算法本身速度快的压缩跟踪的基础，由于像素块比起像素能够减少数据量，降低处理的复杂度，因此引入的一系列超像素的操作没有影响到跟踪的实时性。

计算本发明方法与CT、FCT在这6个序列的平均中心误差，实验结果如表2，其中平均中心误差的定义是：每一帧BB_T中心与BB_G中心的欧氏距离的平均值，BB_T表示本发明方法的跟踪结果目标框，BB_G表示已经标定的目标跟踪框。由定义可知，平均中心误差越小，说明跟踪效果越好，跟踪精度更高。

表2平均中心误差(像素单位)

从表2可知，本发明发明的方法的平均中心误差都比CT和FCT小，说明本发明发明方法提高了跟踪精度。在运行效率方面，本发明方法的平均速度为30帧/秒，达到目标跟踪的实时性标准。

本发明在压缩跟踪中加入局部结构化信息聚类的预处理步骤，将具有相似纹理、颜色、亮度等特征的相邻像素聚合成一个有视觉意义的不规则像素块，在像素块基础上提取HSV颜色特征，通过构建颜色置信图进行目标位置一阶段的粗估计，再结合像素块随机投影与像素级别的随机投影构成新型测量矩阵，利用该测量矩阵对haar-like特征进行降维处理，再根据朴素贝叶斯分类器完成对图像的二阶段精准位置估计，实现目标准确跟踪。相比于现有跟踪技术，本发明结合中层次线索的像素块局部结构化信息与低层次线索的haar-like特征共同对目标外观进行表征，有效提高了目标跟踪的准确性和鲁棒性，同时还保证了实时性。

需要说明的是，以上所述仅为本发明的一个具体实施例，并不用以限制本发明，本实施例中所用数据集和攻击模式仅限于本实施例，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种结合局部结构化信息的压缩跟踪方法，其特征在于：包括以下步骤：

步骤1、对初始帧图像进行初始化：

步骤1.1、标记初始位置，手动标注出初始帧图像中要跟踪的目标，记录其初始位置为initstate(x,y,w,h)，其中x和y表示的是目标跟踪框的左上角位置，w和h表示目标跟踪框的宽度和高度；

步骤1.2、对初始帧做像素块级别的颜色特征提取，利用超像素来表示图像的结构化信息，对目标图像块使用SLIC超像素分割，初始超像素分割的精度为N，标记与目标中心最近的超像素聚类设为中心类，对该超像素中心类提取基于HSV空间的颜色直方图特征，该超像素颜色特征记为C_c即Center Color，同时标记与中心类相邻的n个超像素颜色特征，记为C₁,C₂……C_n；

步骤1.3、对初始帧做haar-like特征提取：对目标及其周围背景进行正负样本采样，并对正负样本集进行haar-like特征提取，分别作为初始目标特征和背景特征；

步骤2、对一定区域内的图像块patch进行结构化信息预处理，以一定规则的像素块形式来表示结构化信息，同时以分割后的像素块为单位提取颜色特征，并构建色度置信图进行目标位置粗估计，具体步骤包括：

步骤2.1、设定一个

为边长的正方形区域，其中S是的目标面积，λ_s参数取值为1.5；所述正方形区域为初始目标估计范围，将正方形区域分割成N_t个具有局部结构化信息的像素块，提取各像素块的基于HSV空间的颜色特征，记为

通过计算

来比较当前帧的像素块色度与前一帧中心色度C_c的相似性，根据条件

筛选出k个像素块与C_c颜色特征最为相近，记为

步骤2.2、假设当前帧的每一个

共有r个相邻像素块，这些像素块的颜色特征为

定义

为第k个中心类与上一帧中心类的周围色度C_n的相似性最大位置的像素块色度，则对任意一个

周围的m个像素块颜色特征可记录为

其中m≤n，计算

得当前帧最佳目标中心类

步骤3、针对步骤2，循环比较前后帧中的像素块HSV颜色特征的重叠率来判断是否遮挡，并根据判断结果做出相应处理；

步骤4、结合局部结构化信息随机投影与像素级别的随机投影构建一个测量矩阵；

步骤5、对步骤2中粗估计出的目标进行图像块采样，提取样本的haar-like特征，根据步骤4构建的测量矩阵对特征进行降维处理，并采用朴素贝叶斯分类器对选出的正负样本特征进行分类，分类器分数最大位置即为当前帧目标位置；对新确立的目标位置及其周围背景进行正负样本采样，对正负样本集进行haar-like特征提取，同时更新朴素贝叶斯分类器参数；

步骤6、判断当前帧是否为结束帧，若不是，则返回步骤2，若是，结束当前序列跟踪任务。

2.根据权利要求1所述的结合局部结构化信息的压缩跟踪方法，其特征在于：所述步骤1.3中，正样本采样范围为D^α＝{z P|l(z)-l_t|＜α}，负样本采样范围为D^β＝{z Pτ＜|l(z)-l_t|＜β},其中α<τ<β，α为正样本搜索半径，τ为负样本搜索内半径，β为负样本搜索外半径。

3.根据权利要求1所述的结合局部结构化信息的压缩跟踪方法，其特征在于：所述步骤3中的遮挡处理步骤为：

步骤3.1、循环比较粗估计的目标中心颜色特征和周围超像素的颜色特征与上一帧对应颜色特征的重叠率，若重叠率最大且大于某个阈值，则认定为目标位置中心类，若重叠率小于该阈值，则视为遮挡；

步骤3.2、当遮挡情况出现时，采用简单的运动估计，利用第i-1帧和第i-4帧之间的目标位置差来估计目标平均移动速度，表达式为

其中

这里的△t取1。

4.根据权利要求1所述的结合局部结构化信息的压缩跟踪方法，其特征在于：所述步骤4中构建测量矩阵的步骤为：

步骤4.1、结合局部结构化信息的压缩投影矩阵R_s和满足RIP的随机投影矩阵R_f，测量矩阵的构建方法为

步骤4.2、R_s的构建：将SLIC分割后的所有超像素存放在超像素集合ζ中，定义一个特殊的矩形r_j，若r_j中所有的像素都包含在集合ζ中，则r_j∈ζ，在投影矩阵中用1来表示，相应的用-1表示完全不包含，0表示部分包含，因此r_ij定义如下：

N表示超像素个数，

其中a＝0.4N；

步骤4.3、R_f的构建：

其中

5.根据权利要求1所述的结合局部结构化信息的压缩跟踪方法，其特征在于：所述步骤5中的朴素贝叶斯分类器定义为：

分类器分数最大位置即为当前帧目标位置L，在目标位置L及其周围提取特征，并更新至目标模型。

Images