CN105590328A - 基于稀疏表示选择性外观模型的帧自适应目标跟踪算法 - Google Patents

Abstract

本发明公开了一种基于稀疏表示选择性外观模型的帧自适应目标跟踪算法，初始化***、随机采样多个候选目标；运行判别型***SDC；帧特性检测；运行生成型***SGM；更新遮挡检测阈值T_h；以及计算联合模型并确定跟踪。与现有技术中相比，本发明所提出的算法在解决前人的基于学习的超分辨率重建算法需要大量训练集的缺陷的基础上，改进了邻域嵌入方法，并将其用于解决基于局部自相似性和多尺度相似性的超分辨率算法中存在的不准确高频初始估计问题，提升了图像的超分辨率重建效果。实验结果表明，本发明提出的算法能够更好地抑制了锯齿效应和振铃效应，重建出的高分辨率图像更接近于真实图像，具有更好的主观和客观质量。

Description

基于稀疏表示选择性外观模型的帧自适应目标跟踪算法

技术领域

本发明涉及计算机视觉的目标跟踪领域，更具体地，涉及一种应用稀疏表示选择性外观模型的帧自适应目标跟踪算法。

背景技术

作为计算机视觉的前沿学科，目标跟踪技术既是科学领域也是工程领域的研究热点。目标跟踪的任务是从每一个图像帧中得到关注目标的位置信息，包含坐标、尺寸、旋转角度甚至速度信息，实现对物体运动轨迹的分析和理解，以便实现更高级的功能。目标跟踪有很多难题需要解决，例如目标发生遮挡、旋转、尺度变化、亮度变化等等，因此跟踪目标的外观表示方法是该领域的重要的研究课题。

稀疏表示是近年来信号处理领域的研究热点，通过字典生成和求解系数来对数据降维。最早将稀疏表示引入到目标跟踪领域的是Mei和Ling，他们提出“L1跟踪算法”，使用琐碎模板来表示字典重构误差，对遮挡现象有很大的帮助，但是该算法中目标还是背景都有可能被这些琐碎模板表示，会导致跟踪的二义性，最终可能导致跟踪的失败。Zhong和Lu等人提出了“基于稀疏表示的联合外观模型方法的***SCM”，结合局部信息和整体信息，使得目标的表述更为全面。但是该方法对于不同帧没有自适应性，导致计算复杂度高，对于图像信息的使用也不够精准。

迄今为止，在国内外公开发表的论文和文献中尚未见开展有关基于稀疏表示选择性外观模型的帧自适应目标跟踪算法，因此，本专利的发明内容具有独创性。该***能适应多种场景，有着广泛的应用前景。

发明内容

基于上述现有技术，本发明提出了一种基于稀疏表示选择性外观模型的帧自适应目标跟踪算法，将帧自适应的选择外观模型应用在目标跟踪算法中，结合帧特性充分利用判别型和生成型***的优势，降低计算复杂度的同时，精确使用图像信息，使得跟踪效果更加精确。结合每一帧图像特性，引入基于稀疏表示的选择性外观模型

本发明提出了一种基于稀疏表示选择性外观模型的帧自适应目标跟踪算法，该算法包括以下步骤：

步骤1、初始化***：判别型***SDC的模板库包含正样本库A₊和负样本库A_-；之后将每个模板压缩为32*32的大小，将压缩后的模板变形为一维向量，采用滑块的方式得到M个小图像块，获取图像的局部信息，把每个小图像块转化为一维向量，G表示一维数组的大小，使用K中值算法进行聚类，得到J个聚类中心，得到字典R表示数值属于实数域；

步骤2、随机采样多个候选目标：新的一帧图像到来时，在上一帧目标位置周围，得到N个候选目标X＝{x₁,x₂...x_N}，每个x被压缩为32*32的大小；

步骤3、运行判别型***SDC：

α表示模板库稀疏表示系数，x表示候选目标，A表示模板库，λ₃表示SDC正则项权重，求得稀疏表示系数α＝[α_-,α₊]；

求得候选目标关于前景的重构误差ε_f：

x表示候选目标，A₊表示正样本模板库，α₊表示候选目标关于正样本模板库的稀疏表示系数；

求得候选目标关于背景的重构误差ε_b：

x表示候选目标，A_-表示负样本模板库，α_-表示候选目标关于负样本模板库的稀疏表示系数；

SDC计算出的第C个候选目标的置信值H_c：

ε_b表示候选目标关于背景的重构误差,ε_f表示候选目标关于前景的重构误差,σ表示参数尺度因子；

步骤4、帧特性检测：H_C1是第一帧的SDC置信值H_Cj表示第j帧的SDC置信值，f是当前帧的序号，n表示帧窗口长度，是连续n帧的置信值之和，如果H_Cj表示第j帧的SDC置信值，f是当前帧的序号，n表示帧窗口长度，H_C1是第一帧的SDC置信值，T_h表示阈值比率，则令L_C＝0，跳到步骤(7)；如果表示此帧是否发生遮挡；

步骤5、运行生成型***SGM：取M个滑块，y_i,i＝1...M，y_i表示每个滑块，M表示滑块的个数，用字典D进行稀疏表示，β是稀疏表示的系数；

y_i表示每个滑块，D表示字典，β是字典稀疏表示系数，λ₂表示SGM正则项权重；每一个块的字典稀疏表示系数拼在一起，就形成了每一个候选目标的直方图ρ；

ρ表示每一个候选目标的直方图，表示第1个块的字典稀疏表示系数的转置，表示第M个块的字典稀疏表示系数的转置；

求得每个小图像块稀疏表示的重构误差ε_i：

y_i表示每个滑块，D表示字典，β_i是第i个块的字典稀疏表示系数，大于阈值ε₀时，认为是遮挡块，遮挡标签O_i置为0，

去除遮挡效应，生成新的直方图o＝{o₁,o₂...o_M}，o表示所有块遮挡标签组成的数组，o₁表示第1个块的遮挡标签，o_M表示第M个块的遮挡标签；

求得遮挡块个数占块总数的比occmap，用于评判遮挡程度：

o_i表示第i个块的遮挡标签，M表示滑块的个数；是第C个候选目标的直方图，ψ是模板的直方图SGM计算出的第C个候选目标的置信值L_C：

M表示滑块的个数，J表示聚类中心的个数，表示第C个候选目标的直方图中的j个元素的值，ψ^j是标准模板的直方图中的j个元素的值；

步骤6、更新遮挡检测阈值T_h

λ表示阈值更新速度，Δ表示阈值更新步长，occmap表示遮挡块个数占块总数的比，通过更新使得遮挡程度occmap保持在一个区间范围内(O_min,O_max)(O_min,O_max)表示occmap的最小和最大值组成的区间；

步骤7、计算联合模型并确定跟踪结果：

P_C＝H_C+γL_C

对于第C个候选目标，P_C是最终的置信值，H_C和L_C分别是SDC和SGM的置信值，权重因子γ；在每一帧计算N个P_C，N表示候选目标的个数；选取置信值最大的候选目标作为跟踪的结果； 为第t帧的目标位置。

与现有技术中相比，本发明所提出的算法在解决前人的基于学习的超分辨率重建算法需要大量训练集的缺陷的基础上，改进了邻域嵌入方法，并将其用于解决基于局部自相似性和多尺度相似性的超分辨率算法中存在的不准确高频初始估计问题，提升了图像的超分辨率重建效果。实验结果表明，本专利提出的算法能够更好地抑制了锯齿效应和振铃效应，重建出的高分辨率图像更接近于真实图像，具有更好的主观和客观质量。

附图说明

图1为该***的模式选择流程图；

图2为该***中心位置误差CLE与当前领先的***SCM的比较；

图3为本发明的基于稀疏表示选择性外观模型的帧自适应目标跟踪算法的流程图。

具体实施方式

以下结合附图及具体实施方式，进一步详述本发明的技术方案。

本发明的基于稀疏表示选择性外观模型的帧自适应目标跟踪算法，采用由两个子***级联而成的***实现，包含判别型***SDC和生成型***SGM，首先初始化***，存储目标的外观信息，从第一帧获得判别型***SDC的模板库A，生成型***SGM的字典D。新一帧图像到来时，在上一帧的目标位置周围随机采样多个候选目标，构成X，对每个候选目标，运行判别型***的模板库A求解模板库稀疏表示系数α，得到重构误差，计算每个候选目标置信值并进行帧特性(遮挡)检测，根据帧特性检测的结果进行模式选择，决定是否调用生成型***辅助跟踪，选择置信值最大的候选目标作为最终的跟踪结果，开始下一帧的跟踪流程。

下面对本发明提出的基于稀疏表示选择性外观模型的帧自适应目标跟踪算法SSM进行验证。同时，通过仿真实验比较该算法的预测结果与当前领先的***SCM，通过大量的实验结果来证实算法的有效性。实验结果以中心位置误差CLE的形式表示。

CLE表示***的跟踪结果与理想跟踪结果之间的坐标欧式距离。实验中采用的参数用下所示：

阈值比率T_h初始值为0.9，阈值更新速度λ设置为0.8，阈值更新步长Δ设置为0.1，(O_min,O_max)为(0.1，0.3)，在SDC中，选取正样本模板数量N_p是50，负样本数量N_n是200，权重因子γ设置为3，SDC正则项权重λ₃设置为0.01，SGM正则项权重λ₂设置为0.001。

在多个视频测试序列测试该算法的性能，所使用的测试序列如表1所示，对每个测试序列记录运行时间和中心距离误差CLE，仿真结果如表2所示。

如图2所示，表示该***中心位置误差(CLE)与当前领先的***SCM的比较，横坐标表示帧编号，纵坐标表示CLE值，本专利提出的算法SSM跟踪更为稳定，CLE波动更小且均值更低，如图中的较浅颜色的轨迹。

表1、本实验采用的测试图像序列及相关信息

图像序列名称	图像序列帧数	包含跟踪挑战
			animal	71	运动模糊、背景干扰
caviar	500	严重遮挡、尺度变化
			faceocc2	819	严重遮挡、面内旋转
car11	393	光照变化、对比度低、尺度变化
			Panda	241	面内旋转、严重遮挡
Jumping	313	运动模糊

表2、该算法在七个测试序列的实验结果

图像序列名称	中心位置误差(CLE)	跟踪速度/帧每秒
			jumping	4.2615	0.52
animal	12.6452	0.37
			Caviar	16.4320	1.42
faceocc2	11.6433	1.61
			car11	10.2080	1.85
Panda	4.5031	0.46

Claims (1)

1.一种基于稀疏表示选择性外观模型的帧自适应目标跟踪算法，其特征在于，所述：

步骤(1)、初始化***：判别型***SDC的模板库包含正样本库A₊和负样本库A_-；之后将每个模板压缩为32*32的大小，将压缩后的模板变形为一维向量，采用滑块的方式得到M个小图像块，获取图像的局部信息，把每个小图像块转化为一维向量，G表示一维数组的大小，使用K中值算法进行聚类，得到J个聚类中心，得到字典R表示数值属于实数域；

步骤(2)、随机采样多个候选目标：新的一帧图像到来时，在上一帧目标位置周围，得到N个候选目标X＝{x₁,x₂...x_N}，每个x被压缩为32*32的大小；

步骤(3)、运行判别型***SDC：

$\underset{\mathrm{\α}}{min}\left|\right|x-A\mathrm{\α}|{|}_2^2+{\mathrm{\λ}}_3|\left|\mathrm{\α}\right||,$

α表示模板库稀疏表示系数，x表示候选目标，A表示模板库，λ₃表示SDC正则项权重，求得稀疏表示系数α＝[α_-,α₊]；

求得候选目标关于前景的重构误差ε_f：

${\mathrm{\ϵ}}_f=\left|\right|x-A_{+}{\mathrm{\α}}_{+}|{|}_2^2$

x表示候选目标，A₊表示正样本模板库，α₊表示候选目标关于正样本模板库的稀疏表示系数；

求得候选目标关于背景的重构误差ε_b：

${\mathrm{\ϵ}}_b=\left|\right|x-A_{-}{\mathrm{\α}}_{-}|{|}_2^2$

x表示候选目标，A_-表示负样本模板库，α_-表示候选目标关于负样本模板库的稀疏表示系数；

SDC计算出的第C个候选目标的置信值H_c：

$H_c=\frac{1}{1+\exp (-({\mathrm{\ϵ}}_b-{\mathrm{\ϵ}}_f)/\mathrm{\σ})}$

ε_b表示候选目标关于背景的重构误差,ε_f表示候选目标关于前景的重构误差,σ表示参数尺度因子；

步骤(4)、帧特性检测：H_C1是第一帧的SDC置信值H_Cj表示第j帧的SDC置信值，f是当前帧的序号，n表示帧窗口长度，是连续n帧的置信值之和，如果H_Cj表示第j帧的SDC置信值，f是当前帧的序号，n表示帧窗口长度，H_C1是第一帧的SDC置信值，T_h表示阈值比率，则令L_C＝0，跳到步骤(7)；如果表示此帧是否发生遮挡；

步骤(5)、运行生成型***SGM：取M个滑块，y_i,i＝1...M，y_i表示每个滑块，M表示滑块的个数，用字典D进行稀疏表示，β是稀疏表示的系数；

$\underset{{\mathrm{\β}}_i}{min}\left|\right|y_i-{\mathrm{D\β}}_i|{|}_2^2+{\mathrm{\λ}}_2|\left|{\mathrm{\β}}_i\right|{|}_1,$

y_i表示每个滑块，D表示字典，β是字典稀疏表示系数，λ₂表示SGM正则项权重；每一个块的字典稀疏表示系数拼在一起，就形成了每一个候选目标的直方图ρ；

$\mathrm{\ρ}={\[{\mathrm{\β}}_1^T{\mathrm{\β}}_2^T...{\mathrm{\β}}_M^T\]}^T,$

ρ表示每一个候选目标的直方图，表示第1个块的字典稀疏表示系数的转置，表示第M个块的字典稀疏表示系数的转置；

求得每个小图像块稀疏表示的重构误差ε_i：

${\mathrm{\ϵ}}_i=\left|\right|y_i-{\mathrm{D\β}}_i|{|}_2^2,$

y_i表示每个滑块，D表示字典，β_i是第i个块的字典稀疏表示系数，大于阈值ε₀时，认为是遮挡块，遮挡标签O_i置为0，

去除遮挡效应，生成新的直方图o＝{o₁,o₂...o_M}，o表示所有块遮挡标签组成的数组，o₁表示第1个块的遮挡标签，o_M表示第M个块的遮挡标签；

求得遮挡块个数占块总数的比occmap，用于评判遮挡程度：

$occmap=\frac{\underset{i=0}{\overset{M-1}{\Σ}}1-o_i}{M}$

o_i表示第i个块的遮挡标签，M表示滑块的个数；是第C个候选目标的直方图，ψ是模板的直方图SGM计算出的第C个候选目标的置信值L_C：

M表示滑块的个数，J表示聚类中心的个数，表示第C个候选目标的直方图中的j个元素的值，ψ^j是标准模板的直方图中的j个元素的值；

步骤(6)、更新遮挡检测阈值T_h

$T_h=\left\{\begin{array}{c}{T}_h*\left(1-\mathrm{\λ}\right)+\left(T_h+\mathrm{\Δ}\right)*\mathrm{\λ},occmap\∈\left(0,O_{\min }\right)\\ T_h*\left(1-\mathrm{\λ}\right)+\left(T_h-\mathrm{\Δ}\right)*\mathrm{\λ},occmap\∈\left(O_{\max },1\right)\end{array}\right.$

λ表示阈值更新速度，Δ表示阈值更新步长，occmap表示遮挡块个数占块总数的比，通过更新使得遮挡程度occmap保持在一个区间范围内(O_min,O_max)(O_min,O_max)表示occmap的最小和最大值组成的区间；

步骤(7)、计算联合模型并确定跟踪结果：

P_C＝H_C+γL_C

对于第C个候选目标，P_C是最终的置信值，H_C和L_C分别是SDC和SGM的置信值，权重因子γ；在每一帧计算N个P_C，N表示候选目标的个数；选取置信值最大的候选目标作为跟踪的结果； 为第t帧的目标位置。