CN106971176A - 基于稀疏表示的红外人体目标跟踪方法 - Google Patents

Abstract

本发明公开了一种改进的基于稀疏表示的红外人体目标跟踪方法，首先，从红外目标模板中提取含有空间位置信息的灰度特征和边缘特征，并组成总特征集；然后，通过K‑SVD算法对其进行过完备字典的学习，实现目标外观的建模；最后，通过求取残差来实现人体目标的跟踪。本发明一方面提取了红外人体目标含有空间位置信息的灰度特征和边缘特征，有效的克服了人体姿势变化、光照变化以及目标被遮挡等因素的干扰；另一方面，通过自适应字典更新算法，可以使过完备字典保持对目标的良好建模；两方面结合，提高了人体目标跟踪的鲁棒性和精确性。

Description

基于稀疏表示的红外人体目标跟踪方法

技术领域

本发明涉及一种基于稀疏表示的红外人体目标跟踪方法，特别是一种光照变化、人体姿势变化等因素干扰情况下的红外人体目标跟踪方法，属于计算机视觉技术领域。

背景技术

复杂背景下的红外目标跟踪始终都是计算机视觉领域的重要研究内容，它在视频监控、红外精确制导、视频压缩等应用领域发挥着很大的作用。红外人体目标跟踪是红外目标跟踪的一个重要分支，它在重要部门监督、人体运动分析等领域做出了很大的贡献。但是由于红外目标信息较为单一，缺乏可供跟踪***利用的有效的颜色或纹理等特征，再加上人体在运动过程中，运动姿势、方向等多方面的改变，使得复杂背景下的红外人体目标跟踪称为该领域的一个难点。

近年来，随着稀疏表示理论的兴起和发展，很多研究学者将稀疏表示理论应用于目标跟领域。

公开号CN103514600A一种基于稀疏表示的红外目标快速鲁棒跟踪，该方法在压缩感知的基础上，采用一种随机测量矩阵对Harr-like特征进行压缩，通过计算范数最小化的进行稀疏求解，计算其重构误差得到每个粒子的概率，从而实现目标跟踪。但是，该方法没有对目标模板进行适当的更新，因此容易造成跟踪结果不理想的情况。

公开号CN102005054A一种实时红外图像目标跟踪方法，该方法利用拉普拉斯算子对原始红外图像进行增强处理，通过MCD度量准则获得多个图像模板所对应的相关值和相关匹配位置，并根据其进行模板更新，同时结合跟踪计算信息判定当前帧图像的目标跟踪结果，利用跟踪结果和Kalman滤波器来预测下一帧目标的位置。但是，该方法在噪声较强、背景较复杂的情况下，目标的跟踪性能较差。

发明内容

发明目的：针对现有技术中存在的问题，本发明提供一种基于稀疏表示的红外人体目标跟踪方法，能够克服目标的外观发生变化、目标被部分遮挡或者目标处于复杂的背景下所带来的影响，大大提高目标跟踪成果率。

技术方案：一种基于稀疏表示的红外人体目标跟踪方法，包括如下步骤：

步骤1，在对所有图像序列进行第一帧目标跟踪时，采用一个滑动窗口在第一帧目标所在区域进行多次目标模板的提取，并将截取到的所有目标模板组成一个目标模板集；

步骤2，对于目标模板集，通过灰度直方图和边缘直方图的方法来提取每个模板的含有空间位置信息的灰度特征和边缘特征，并将这两种特征组合生成总特征集；

步骤3，采用K-SVD算法对总特征集进行训练生成目标的过完备字典；

步骤4，对当前帧图像搜索候选目标，通过计算稀疏重建残差，得到待跟踪目标的精确位置；

步骤5，每隔r帧用新的模板总特征集对字典进行更新，使得过完备字典能够保持对目标的良好建模，r一般取值5-20。

作为本发明的一种优选方案，步骤1所述在对所有图像序列进行第一帧目标跟踪时，采用一个滑动窗口在第一帧目标所在区域进行多次目标模板的提取，并将截取到的所有目标模板组成一个目标模板集，具体过程如下：

步骤11，采用一个尺寸为m×n的滑动窗口在第一帧目标所在区域进行多次目标模板的截取；

步骤12，将所截取到的N个模板组成目标模板集；T＝[t₁,t₂,···,t_j,···,t_N]，其中，t_j表示所截取的第j个目标模板；

步骤13，将所有的目标模板的尺寸归一化为μ×μ，这里取μ＝32。

作为本发明的一种优选方案，步骤2所述对于目标模板集，通过灰度直方图和边缘直方图的方法来提取每个模板的含有空间位置信息的灰度特征和边缘特征，并将这两种特征组合生成总特征集，具体过程如下：

步骤21，计算训练样本集中N个模板在各个灰度级的概率密度，从而得到相应的灰度特征向量p；

步骤22，将N个目标模板的灰度特征向量都各自进行列向量化，并级联组成一个含有空间位置信息的灰度特征集，即：P_G＝[p₁,p₂,···,p_N]，其中，p_j表示第j个目标模板的灰度特征向量；

步骤23，计算训练样本集中N个模板的边缘特征向量q；

步骤24，将N个边缘特征向量列向量化，并级联组成一个含有空间位置信息的边缘特征集，即：Q_E＝[q₁,q₂,···,q_N]，其中，q_j表示第j个目标模板的边缘特征向量；

步骤25，将灰度特征集P_G和边缘特征集Q_E进行纵向连接，使同一目标模板的灰度特征和边缘特征在同一列向量中表示，这样就可以得到所有目标模板的总特征集featset；

作为本发明的一种优选方案，所述步骤3的具体过程如下：

步骤31，当字典D固定时，采用正交匹配追踪(Orthogonal Matching Pursuit，OMP)算法求出特征集featset在该字典下的稀疏系数X；

步骤32，当稀疏系数固定时，采用奇异值分解(Singular Value Decomposition，SVD)方法实现字典D的逐列更新；

步骤33，重复步骤31、32，直到迭代次数满足预先设定的条件，从而得到最终的过完备字典D。

作为本发明的一种优选方案，步骤4所述对当前帧图像搜索候选目标，具体过程如下：

步骤41，对于当前帧图像，如果是图像序列的第一帧，则标识出目标区域，且将其中心记为O^*。否则，将前一帧目标跟踪结果所在的区域记做R_fr，记其中心为O^*，并扩展出一个尺寸比R_fr区域大一倍的搜索区域R_se，用于搜索候选目标；

步骤42，用一个多尺度滑动窗口对搜索区域R_se进行扫描，从而完成了当前帧图像的h个候选目标的提取；

步骤43，将这h个候选目标组成一个集合F：F＝[f₁,f₂,···,f_h]，其中，f_g(1≤g≤h)表示第g个候选目标。

作为本发明的一种优选方案，步骤4所述通过计算稀疏重建残差，得到待跟踪目标的精确位置，具体过程如下：

步骤44，将每个候选目标尺寸统一归一化为与目标模板同样大小的μ×μ；

步骤45，计算集合F中所有候选目标的灰度特征向量和边缘特征向量，并将各自的两种特征向量分别列向量化后进行纵向连接形成fea_g；

步骤46，采用OMP算法，计算fea_g在过完备字典下的稀疏编码系数X_g；

步骤47，计算每个候选目标f_g的重建残差ε_g：ε_g＝f_g-D_gX_g；

步骤48，计算出h个重构残差中的最小值：ε_m＝min[ε₁,ε₂,···,ε_h]，且ε_m所对应的候选目标就是当前帧图像的目标区域；

步骤49，对于图像序列接下来的每一帧图像都进行步骤41至步骤49的操作，直到最后一帧处理完成为止。

作为本发明的一种优选方案，所述步骤5的具体过程如下：

步骤51，提取当前帧图像的目标跟踪结果；

步骤52，分别提取当前帧目标跟踪结果区域的两种特征向量，即灰度特征向量p_cur和边缘特征向量q_cur；

步骤53，计算p_cur与灰度特征集P_G中每一列原子p_j之间的巴氏(Bhattacharyya)系数ρ_1,j，以及q_cur与边缘特征集Q_E中每一列原子q_j之间的Bhattacharyya系数ρ_2,j；

步骤54，计算ρ_1,j和ρ_2,j的权重w_1,j和w_2,j；

步骤55，计灰度特征和边缘特征融合后的Bhattacharyya系数：ρ_sum,j；

步骤56，从N个联合特征的Bhattacharyya系数组成的相似性向量Sim中选出最大值ρ_sum,ma，将ρ_sum,ma与预先设定的阈值th进行比较，如果ρ_sum,ma＜th，则字典不更新，否则，就用当前帧的目标跟踪结果来更新模板特征集；

步骤57，从Sim选出最小值ρ_sum,mi＝min(ρ_sum,1,···,ρ_sum,N)，用当前帧的目标跟踪结果的p_cur和q_cur分别替换第mi个目标模板的灰度特征向量p_mi和边缘特征向量q_mi。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

1、本发明跟踪方法分别提取了人体目标模板的含有空间位置信息的灰度特征和边缘特征，使得所建的目标模型能够有效克服光照变化、人体姿势变化、目标被遮挡等干扰。

2、本发明跟踪方法利用多尺度窗口搜索候选目标，从而保证候选目标的完整性。

3、本发明跟踪方法采用一种自适应字典更新方法，能够保证过完备字典保持对目标的良好建模。

附图说明

图1是本发明基于稀疏表示的红外人体目标跟踪方法的实施流程图；

图2是本发明跟踪方法中目标模板的截取示意图；

图3是本发明跟踪方法中当前帧候选目标搜索框示意图；

图4是本发明跟踪方法在光照变化情况下的跟踪结果图；

图5是本发明跟踪方法在目标被遮挡情况下的跟踪结果图；

图6是本发明跟踪方法在目标被遮挡和灰度变化情况下的跟踪结果图；

图7是本发明跟踪方法在杂波背景和相似灰度干扰下的跟踪结果图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1所示，本发明改进的基于稀疏表示的红外人体目标跟踪方法具体步骤如下：

步骤一，在对所有图像序列进行第一帧目标跟踪时，采用一个滑动窗口在第一帧目标所在区域进行多次目标模板的提取，并将截取到的所有目标模板组成一个目标模板集，其具体操作过程如下：

(1)首先采用一个尺寸为m×n的滑动窗口在第一帧目标所在区域进行多次目标模板的截取；接着将所截取到的模板组成目标模板集T＝[t₁,t₂,···,t_N]，其中，t_j表示所截取的第j个目标模板，N代表目标模板的数量；最后将所有的目标模板的尺寸归一化为μ×μ。图2是图像序列中第一帧图像目标模板的截取示意图以及得到的相应的部分目标模板。

步骤二，对于目标模板集，通过灰度直方图和边缘直方图的方法来提取每个模板的含有空间位置信息的灰度特征和边缘特征，并将这两种特征组合生成总特征集。具体步骤如下：

(2)目标灰度特征的提取

首先，利用目标模型的含有空间位置的灰度直方图计算每个目标模板的灰度特征向量：且

其中，x_i代表目标区域的某一像素点的位置，x₀代表目标区域的中心位置，h代表目标区域的大小，b(x_i)表示像素点x_i的灰度值映射函数，L_G表示灰度映射级数，k(·)表示为核函数，δ(·)表示狄拉克δ函数，M代表目标区域像素点的总个数，C₁是归一化常数。

接着，将这N个目标模板的灰度特征向量都各自进行列向量化，并级联组成一个含有空间位置信息的灰度特征集，即：

P_G＝[p₁,p₂,···,p_N]

(3)目标边缘特征的提取

首先，利用目标模型的含有空间位置的边缘方向直方图计算每个目标模板的边缘特征向量：且

其中，b^*(x_i)为像素点x_i处边缘方向的特征映射函数，L_E表示边缘方向映射级数，C₂为归一化常数。

接着，将训练样本集中的N个目标模板的边缘特征向量列向量化，并排成一个含有空间位置信息的边缘特征集，即：

Q_E＝[q₁,q₂,···,q_N]

最后，将灰度特征集P_G和边缘特征集Q_E进行纵向连接，使同一目标模板的灰度特征和边缘特征在同一列向量中表示，这样就可以得到所有目标模板的总特征集，即：

其中，featset∈R^L×N，L_G+L_E＝L表示所有目标模板的总特征集，feature_j∈R^L×1表示第j个目标模板的灰度和边缘特征集。

步骤三，采用K-SVD算法对总特征集进行训练生成目标S的过完备字典。具体步骤如下：

(4)目标过完备字典的构建

首先，当字典D固定时，采用OMP算法求出特征集featset在该字典下的稀疏系数X。

接着，当稀疏系数固定时，采用SVD方法实现字典D的逐列更新。

最后，重复两个步骤，直到迭代次数满足预先设定的条件，从而得到最终的过完备字典D∈R^L×S，由于过完备字典的维数L必须小于其原子数S，因此有L＜S。

步骤四，对当前帧图像搜索候选目标，通过计算稀疏重建残差，得到待跟踪目标的精确位置。具体步骤如下：

(5)对当前帧图像进行候选目标的提取

首先，对于需要跟踪的当前帧图像，如果是图像序列的第一帧，则人工手动标识出目标区域，且将其中心记为O^*。否则，将前一帧目标跟踪结果当做R_fr，记其中心为O^*，并扩展出一个尺寸比R_fr区域大一倍的搜索区域R_se，用于搜索候选目标。图3展示了相关的具体操作，其中小矩形表示前一帧图像所检测到的目标区域R_fr，且圆点代表该区域的中心O^*，大矩形代表用于搜索候选目标所用到的区域R_se。

接着，用一个多尺度滑动窗口对搜索区域R_se进行扫描。

最后，将上述所获得的h个候选目标组成一个集合F，即：

F＝[f₁,f₂,···,f_h]

其中，f_g(1≤g≤h)表示第g个候选目标。

(6)对集合F中的每个候选目标都分别进行灰度特征和边缘特征的提取。

首先，需要将每个候选目标尺寸统一归一化为与目标模板同样大小的μ×μ。

然后，计算集合F中所有候选目标的灰度特征向量和边缘特征向量，并将各自的两种特征向量分别列向量化后进行纵向连接形成其中，1≤g≤h，p_g表示第g个候选目标的灰度特征，q_g表示第g个候选目标的边缘特征，fea_g表示g个候选目标的特征集包括灰度特征和边缘特征。

(7)采用OMP算法，计算fea_g在过完备字典下的稀疏编码系数X_g。

(8)计算每个候选目标f_g的重建残差ε_g：ε_g＝f_g-D_gX_g，并将h个重构残差一起进行比较，并取出其中的最小值ε_m：ε_m＝min[ε₁,ε₂,···,ε_h]，ε_m所对应的候选目标就是当前帧图像的目标区域。

(9)对于图像序列接下来的每一帧图像都进行步骤(5)至步骤(9)的操作，直到最后一帧处理完成为止。

步骤五，每隔r帧用新的模板总特征集对字典进行更新，使得过完备字典能够保持对目标的良好建模。具体步骤如下：

(10)利用步骤二中的方法提取当前帧目标跟踪结果区域的两种特征向量，即灰度特征向量和边缘特征向量

(11)判断当前帧的跟踪结果是否被污染

首先，计算p_cur与灰度特征集P_G中每一列原子p_j之间的Bhattacharyya系数ρ_1,j，以及q_cur与边缘特征集Q_E中每一列原子q_j之间的Bhattacharyya系数ρ_2,j，即：

然后，计算ρ_1,j和ρ_2,j的权重w_1,j和w_2,j：

并计算两种特征融合后的Bhattacharyya系数：ρ_sum,j＝w_1,jρ_1,j+w_2,jρ_2,j，因此，该方法可以得到由N个联合特征的Bhattacharyya系数组成的相似性向量：

Sim＝[ρ_sum,1,···,ρ_sum,N]

最后，从Sim中选出最大值ρ_sum,ma＝max(ρ_sum,1,···,ρ_sum,N)，将ρ_sum,ma与预先设定的阈值th进行比较，如果ρ_sum,ma＜th，则判定当前帧的目标跟踪结果被污染，不用它更新字典，否则，就用当前帧的目标跟踪结果来更新模板特征集。

(12)若当前帧的跟踪结果未被污染，则用其来更新目标特征集

首先，从Sim选出最小值ρ_sum,mi＝min(ρ_sum,1,···,ρ_sum,N)，即第mi个目标模板与当前帧的目标跟踪结果之间的相似度最小，然后，用当前帧的目标跟踪结果的p_cur和q_cur分别替换第mi个目标模板的灰度特征向量p_mi和边缘特征向量q_mi。

(13)每隔r帧用新的模板总特征集对字典进行更新。

(14)为了验证本发明提出算法的有效性，本发明给出了4组具有代表性的人体目标序列的实验结果，这些图像序列具有视频跟踪问题中普遍存在的挑战因素，主要包括：目标被部分遮挡、目标发生姿态形变、光照变化、背景复杂等干扰因素。如图4所示，为本发明在光照变化情况下的跟踪结果图；图5为本发明在目标被遮挡情况下的跟踪结果图；图6为本发明在目标被遮挡和灰度变化情况下的跟踪结果图；图7为本发明在杂波背景和相似灰度干扰下的跟踪结果图。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (7)

1.一种基于稀疏表示的红外人体目标跟踪方法，其特征在于，包括如下步骤：

步骤1，在对所有图像序列进行第一帧目标跟踪时，采用一个滑动窗口在第一帧目标所在区域进行多次目标模板的提取，并将截取到的所有目标模板组成一个目标模板集；

步骤2，对于目标模板集，通过灰度直方图和边缘直方图的方法来提取每个模板的含有空间位置信息的灰度特征和边缘特征，并将这两种特征组合生成总特征集；

步骤3，采用K-SVD算法对总特征集进行训练生成目标的过完备字典；

步骤4，对当前帧图像搜索候选目标，通过计算稀疏重建残差，得到待跟踪目标的精确位置；

步骤5，每隔r帧用新的模板总特征集对字典进行更新，使得过完备字典能够保持对目标的良好建模。

2.根据权利要求1所述的基于稀疏表示的红外人体目标跟踪方法，其特征在于，步骤1所述在对所有图像序列进行第一帧目标跟踪时，采用一个滑动窗口在第一帧目标所在区域进行多次目标模板的提取，并将截取到的所有目标模板组成一个目标模板集，具体过程如下：

步骤11，采用一个尺寸为m×n的滑动窗口在第一帧目标所在区域进行多次目标模板的截取；

步骤12，将所截取到的N个模板组成目标模板集；T＝[t₁,t₂,···,t_j,···,t_N]，其中，t_j表示所截取的第j个目标模板；

步骤13，将所有的目标模板的尺寸归一化为μ×μ。

3.根据权利要求1所述的基于稀疏表示的红外人体目标跟踪方法，其特征在于，步骤2所述对于目标模板集，通过灰度直方图和边缘直方图的方法来提取每个模板的含有空间位置信息的灰度特征和边缘特征，并将这两种特征组合生成总特征集，具体过程如下：

步骤21，计算训练样本集中N个模板在各个灰度级的概率密度，从而得到相应的灰度特征向量p；

步骤22，将N个目标模板的灰度特征向量都各自进行列向量化，并级联组成一个含有空间位置信息的灰度特征集，即：P_G＝[p₁,p₂,···,p_N]，其中，p_j表示第j个目标模板的灰度特征向量；

步骤23，计算训练样本集中N个模板的边缘特征向量q，；

步骤24，将N个边缘特征向量列向量化，并级联组成一个含有空间位置信息的边缘特征集，即：Q_E＝[q₁,q₂,···,q_N]，其中，q_j表示第j个目标模板的边缘特征向量；

步骤25，将灰度特征集P_G和边缘特征集Q_E进行纵向连接，使同一目标模板的灰度特征和边缘特征在同一列向量中表示，这样就可以得到所有目标模板的总特征集featset。

4.根据权利要求1所述的基于稀疏表示的红外人体目标跟踪方法，其特征在于，所述步骤3的具体过程如下：

步骤31，当字典D固定时，采用OMP算法求出特征集featset在该字典下的稀疏系数X；

步骤32，当稀疏系数固定时，采用SVD方法实现字典D的逐列更新；

步骤33，重复步骤31、32，直到迭代次数满足预先设定的条件，从而得到最终的过完备字典D。

5.根据权利要求1所述的基于稀疏表示的红外人体目标跟踪方法，其特征在于，步骤4所述对当前帧图像搜索候选目标，具体过程如下：

步骤41，对于当前帧图像，如果是图像序列的第一帧，则标识出目标区域，且将其中心记为O^*。否则，将前一帧目标跟踪结果当做R_fr，记其中心为O^*，并扩展出一个尺寸比R_fr区域大一倍的搜索区域R_se，用于搜索候选目标；

步骤42，用一个多尺度滑动窗口对搜索区域R_se进行扫描，从而完成了当前帧图像的h个候选目标的提取；

步骤43，将这h个候选目标组成一个集合F：F＝[f₁,f₂,···,f_h]，其中，f_g(1≤g≤h)表示第g个候选目标。

6.根据权利要求1所述的基于稀疏表示的红外人体目标跟踪方法，其特征在于，步骤4所述通过计算稀疏重建残差，得到待跟踪目标的精确位置，具体过程如下：

步骤44，将每个候选目标尺寸统一归一化为与目标模板同样大小的μ×μ；

步骤45，计算集合F中所有候选目标的灰度特征向量和边缘特征向量，并将各自的两种特征向量分别列向量化后进行纵向连接形成fea_g；

步骤46，采用OMP算法，计算fea_g在过完备字典下的稀疏编码系数X_g；

步骤47，计算每个候选目标f_g的重建残差ε_g：ε_g＝f_g-D_gX_g；

步骤48，计算出h个重构残差中的最小值：ε_m＝min[ε₁,ε₂,···,ε_h]，且ε_m所对应的候选目标就是当前帧图像的目标区域；

步骤49，对于图像序列接下来的每一帧图像都进行步骤41至步骤49的操作，直到最后一帧处理完成为止。

7.根据权利要求1所述的基于稀疏表示的红外人体目标跟踪方法，其特征在于，所述步骤5的具体过程如下：

步骤51，提取当前帧图像的目标跟踪结果；

步骤52，分别提取当前帧目标跟踪结果区域的两种特征向量，即灰度特征向量p_cur和边缘特征向量q_cur；

步骤53，计算p_cur与灰度特征集P_G中每一列原子p_j之间的Bhattacharyya系数ρ_1,j，以及q_cur与边缘特征集Q_E中每一列原子q_j之间的Bhattacharyya系数ρ_2,j；

步骤54分别计算ρ_1,j和ρ_2,j的权重w_1,j和w_2,j；

步骤55，计算两种特征融合后的Bhattacharyya系数：ρ_sum,j；

步骤56，从N个联合特征的Bhattacharyya系数组成的相似性向量Sim中选出最大值ρ_sum,ma，将ρ_sum,ma与预先设定的阈值th进行比较，如果ρ_sum,ma＜th，则字典不更新，否则，就用当前帧的目标跟踪结果来更新模板特征集；

步骤57，从Sim选出最小值ρ_sum,mi＝min(ρ_sum,1,···,ρ_sum,N)，用当前帧的目标跟踪结果的p_cur和q_cur分别替换第mi个目标模板的灰度特征向量p_mi和边缘特征向量q_mi。