CN106203495B - 一种基于稀疏判别学习的目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于稀疏判别学习的目标跟踪方法，包括：对第一帧采样目标及其周围背景，构建目标外观模型；提取目标外观模型的二维图像特征并进行归一化处理，获得初始字典；引入有监督的判别字典学习方法，在重构误差项的基础上增加分类误差项，训练出判别字典；在稀疏度约束下求解最小重构误差项，采用迭代交换优化策略更新字典和稀疏编码；采用欧氏距离来度量样本之间的相似性，将相似性最高的样本作为跟踪目标。通过本发明实施例，在建立目标外观模型时，加入了与目标有空间相关性的周围背景作为线索模板，处理目标姿态变化比较鲁棒。

Description

一种基于稀疏判别学习的目标跟踪方法

技术领域

本发明涉及信息技术领域，具体涉及一种基于稀疏判别学习的目标跟踪方法

背景技术

目标跟踪是计算机视觉研究领域中重要的基础问题之一，在监控、运动估计、人机交互等方面具有非常广泛的应用。近年来出现的许多跟踪算法在一定的场景下能够较好的跟踪目标物体，如粒子滤波、Boosting算法、L₁跟踪算法等。但是，由于视频是一个复杂场景下的时序图像序列，复杂场景包括了光照变化、遮挡、动作变形、背景杂乱、目标尺度变化等，因此，构建一个自适应的目标表达模型以便得到鲁棒的跟踪算法，是目前跟踪领域的研究热点，也是难点问题。

在近年来的跟踪算法中，一部分通过建立目标外观模型把跟踪问题公式化为最佳模板匹配或最大似然区域估计问题，这些方法称为基于生成模型的跟踪算法，如何构建一个准确的外观模型以适应目标外观变化是这类算法的核心。还有一部分认为跟踪是一个二值分类问题，把跟踪看作是将前景目标从背景中分离出来，这一类方法采用了许多分类器算法，称为基于判别模型的跟踪算法。如朴素贝叶斯分类器，基于boosting的分类器，支持向量机，P-N学习分类器等等。分类器算法的准确性在训练样例很大的情况下性能较佳，因此通常采用在线更新以获取更多的训练样例。

用稀疏表达重建信号的技术已在人脸识别、图像分类、图像去噪去模糊等应用中有非常突出的表现，基于稀疏表示的跟踪算法也取得了一定的进展。这些算法利用第一帧目标信息建立一个包括目标和噪声的模板集合，每一个样本可以表示为若干个模板列向量的稀疏线性组合，这种稀疏性由求解L₁正则化最小二乘问题来求解，并将具有最小重构误差的候选作为跟踪目标。由于引入了噪声模板，在处理遮挡时算法比较准确和鲁棒，但当目标经常发生形变时，模板集合基向量就无法表示形变目标。另外，模板集合实际上是无学习过程的字典，因此求得的稀疏编码不能保证最大的稀疏性，重构误差最小的样本也不一定是最佳候选，容易积累漂移误差。

发明内容

本发明提供了一种基于稀疏判别学习的目标跟踪方法，在建立目标外观模型时，加入了与目标有空间相关性的周围背景作为线索模板，以此来近似目标姿态的变化。

本发明提供了一种基于稀疏判别学习的目标跟踪方法，包括：

构建目标外观模型；

对构建的目标外观模型通过特征提取将二维图像块变成一维向量进行处理，并且对所述一维向量进行归一化处理；

在目前跟踪中引入基于有监督的判别字典学习方法，在重构误差项的基础上增加分类误差项；

在稀疏度约束下求解最小重构误差项，采用迭代交换优化策略更新字典和稀疏编码；

采用欧氏距离来度量向量之间的相似性，将相似性最高的样本作为候选跟踪目标。

所述构建目标外观模型包括：

用字典表示一个目标外观模型，将跟踪问题转化为最优稀疏近似问题，所述目标外观建模为一个包含目标和噪声的模板字典。

所述在目前跟踪中引入有监督的判别字典学习方法，在重构误差项的基础上增加分类误差项具体为：

基于字典和稀疏编码求解目标函数，所述目标函数为：

其中第一项为重构误差项，Y＝[y₁,y₂...y_N]∈R^n×N是训练样本，D是要学习的一组过完备字典基，X＝[x₁,x₂...x_N]∈R^k×N是稀疏编码系数；第二项是分类误差项，本文采用线性分类器f(x)＝Wx+b的损失函数来表示，W是分类器参数，h_i是y_i的类别标注；ε是控制稀疏性的阈值。

所述在稀疏度约束下求解最小重构误差项具体为：

将约束条件转换为将稀疏编码的L1范数作为正则项来保证稀疏性，转化为求解无约束优化问题：

其中G＝[g₁,g₂...g_N]∈R^2×N是Y为前景或背景的类别标注集合，当y_i是目标采样时g_i＝[1,0]^T，否则g_i＝[0,1]^T；α是控制类别信息权重的参数，λ是控制重构稀疏性的正则参数。

所述采用迭代交换优化策略更新字典和稀疏编码具体为：

令

把方程转换为普通的在稀疏度约束下的最小重构误差近似问题：

采用迭代交替优化策略更新D和X：

步骤一：初始化Y，G，D，Y’，D’；

步骤二：固定D’，采用OMP求解优化模型，更新稀疏编码X

步骤三：固定X，求解带约束的最小二乘问题，更新字典D’；

步骤四：若达到最大迭代次数，则迭代终止；或者相邻两次迭代之后的函数绝对值差收敛于阈值，迭代终止；否则返回步骤二。

所述采用欧氏距离来度量向量之间的相似性，将相似性最高的样本作为候选跟踪目标具体为：

其中R(i)是第i个样本的重构误差，d_i是第i个样本稀疏编码最大非负值对应的字典列向量，d₀是初始目标对应的字典列向量。

在本发明中，对目标外观建模时，考虑了目标与周围的空间相关性。由于目标周围包含了一部分目标信息和背景信息，当目标在一段时间内发生形变时，可以用来近似表示目标。利用有监督的判别字典学习方法，通过迭代优化求解出一个兼顾重构和判别性能的过完备字典，得到的稀疏编码非常稀疏且具有判别性。在候选目标搜索算法上，根据样本稀疏编码最大非负值的分布和最小重构误差构建相似性来确定候选目标。在建立目标外观模型时，加入了与目标有空间相关性的周围背景作为线索模板，以此来近似目标姿态的变化。经过判别稀疏学习的字典，所得到的稀疏编码具有更大的稀疏性和判别性。利用稀疏编码中最大非负值所对应的字典基向量的分布，以及样本的最小重构误差，可以得到估计的候选跟踪目标。实验结果表明本文方法在处理遮挡、光照变化、姿态变化、背景杂乱等条件下都能较好的跟踪到目标。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例中的基于稀疏判别学习的目标跟踪方法流程图；

图2是本发明实施例中的基于稀疏判别学习的目标跟踪方法原理图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明实施例子在目标外观建模时，考虑了目标与周围的空间相关性。由于目标周围包含了一部分目标信息和背景信息，当目标在一段时间内发生形变时，可以用来近似表示目标。另外，利用有监督的判别字典学习方法，通过迭代优化求解出一个兼顾重构和判别性能的过完备字典，得到的稀疏编码非常稀疏且具有判别性。在候选目标搜索算法上，根据样本稀疏编码最大非负值的分布和最小重构误差构建相似性来确定候选目标。

图1示出了本发明实施例中的基于判别稀疏模板匹配的目标跟踪方法流程图，包括如下步骤：

S101、构建目标外观模型；

在稀疏表达理论中，一个信号y∈Rⁿ可以用一个字典D的m个基向量对其进行最优表示：

其中Λ表示所选出基向量标号集，di表示字典D中的列向量。如果字典中的所有基向量构成了一个线性相关集，字典是冗余的，那么对目标信号将有无限多种零误差的表示，但是要找出其中最稀疏的表示，即求解如下优化问题：

min||x||₀ s.t.y＝Dx

其中，D表示以字典原子(基向量)为列组成矩阵，0范数||·||₀表示向量中非零元素的个数。如果字典D是固定的，那么这是一个最小二乘问题；如果要选择出最优的字典基，那么这就是一个组合问题，是一个NP-hard问题。现有陶哲轩等人证明了在D满足UUP原则的条件下，L₀范数可以使用L₁范数替代，所以问题变成一个凸优化问题。考虑目标信号在稀疏度约束下的最小重构误差近似，转化为求解以下优化问题：

用字典表示一个目标的外观模型，跟踪问题就转化为最优稀疏近似问题，如何学习出有效的字典来处理各种目标变化就非常重要。通常目标的外观建模为一个包含目标和噪声的模板字典，但这并不能近似已发生形变的目标物体。目标周围的背景信息在目标发生形变的一小段时间内变化不大，也就是说目标与背景的空间信息是保持的，因此可以用来近似表示目标。因此这里把模板字典扩展为三部分：目标模板T、线索模板B以及噪声模板，其中线索模板是在目标周围采样而得到的。跟踪问题就是在后续帧中找出与目标模板或线索模板最匹配的样本，这是因为，同一类的模板字典基向量存在一个线性子空间中，当有足够的基向量时，模板字典可以表示两种情况：第一种，当目标未发生形变时，后续帧的候选目标样本y1近似存在于由T的列向量所张成的子空间中y₁≈Tx+e，非目标样本y2近似存在于由B的列向量所张成的子空中,y₂≈Bx+e，e用于表示遮挡和噪声，是较小的噪声系数。第二种，当目标发生部分形变时，候选目标样本y1和非目标样本y2都近似存在于由B的列向量所张成的子空间中，但目标候选采样具有很小的噪声系数，而非目标采样则具有很大的噪声系数,y≈Bx+e。把上面两个式子联合起来，因此一个采样信号可以表示为：

其中T＝[t₁,t₂...t_p]∈R^n×p是目标模板，B＝[b₁,b₂...b_q]∈R^n×q是线索模板，I∈R^{n ×n}是噪声模板，是一个n阶单位对角矩阵。n是一个信号的特征维数。

D＝[d₁,d₂...d_k]∈R^n×k(k＝p+q+n)是初始模板字典，被用于字典学习。x是y在字典D下对应的稀疏编码。

S102、对构建的目标外观模型通过特征提取将二维图像块变成一维向量进行处理，并且对所述一维向量进行归一化处理；

在本实施例中，模板采样为大小相等的图像块，通过特征提取将二维图像块变成一维向量进行处理，并且对该一维向量进行归一化。经过归一化处理，一维向量的能量相等，可以看作起始点在原点的不同方向的矢量。目标模板T是在第一帧给定的目标框周围采样的，令l₀(c)表示目标中心点位置，则目标模板的采样中心点落在以l₀(c)为圆心、半径为r0的范围内，T＝{t|||l₀(t)-l₀(c)||<r₀}。线索模板在中心点落在以l₀(c)为圆心的环状范围内进行随机采样，B＝{b|r1<||l₀(b)-l₀(c)||<r₂}，且r₀<r₁<r₂。

S103、在目前跟踪中引入基于有监督的判别字典学习方法，在重构误差项的基础上增加分类误差项；

字典学习的目标是寻找新的具有较强表达能力的特征空间，学习出的字典对于稀疏编码的性能有着非常重要的影响。在跟踪问题上，无学习过程的字典或无监督的字典学习虽然都能取得一定跟踪准确性，但要想得到更好的效果，就要结合目标与背景的分类信息，这类方法称为有监督的判别字典学习方法，其中判别性体现为：最优稀疏编码选出来的字典基原子一定是线性无关的。本文将有监督的判别字典学习方法应用于跟踪问题，在重构误差项的基础上增加了分类误差项。因此求解字典和稀疏编码的目标函数为：

其中第一项是重构误差项，Y＝[y₁,y₂...y_N]∈R^n×N是训练样本，D是要学习的一组过完备字典基。X＝[x₁,x₂...x_N]∈R^k×N是稀疏编码系数。第二项是分类误差项，本文采用线性分类器f(x)＝Wx+b的损失函数来表示，W是分类器参数，h_i是y_i的类别标注。ε是控制稀疏性的阈值。

S104、在稀疏度约束下求解最小重构误差项，采用迭代交换优化策略更新字典和稀疏编码；

把方程2的约束条件转换为将稀疏编码的L1范数作为正则项来保证稀疏性，即转化为求解无约束优化问题：

其中G＝[g₁,g₂...g_N]∈R^2×N是Y为前景或背景的类别标注集合，当y_i是目标采样时g_i＝[1,0]^T，否则g_i＝[0,1]^T。α是控制类别信息权重的参数，λ是控制重构稀疏性的正则参数。

将方程(3)其进行适当变换以便求解。令

这样就把方程3转换为普通的在稀疏度约束下的最小重构误差近似问题：

采用迭代交替优化策略更新D和X：

(1)初始化Y，G，D，Y’，D’；

(2)固定D’，采用OMP求解优化模型，更新稀疏编码X；

(3)固定X，求解带约束的最小二乘问题，更新字典D’；

(4)若达到最大迭代次数，则迭代终止。或者相邻两次迭代之后的函数绝对值差收敛于阈值，迭代终止。否则返回(2)。

S105、采用欧氏距离来度量向量之间的相似性，将相似性最高的样本作为候选跟踪目标。

通常视频目标在前后帧之间的变化是有联系的，因此，在当前帧，围绕着上一帧目标中心点进行采样所得到的样本是估计的目标区域。在上一节学习出判别字典后，可以求解出采样样本的稀疏编码和重构误差。稀疏编码中最大非负值的行号，所对应着字典的列基向量，就是最能近似该样本的模板向量。本文在后面讨论的向量，都是指的字典基向量。

图2示出了本发明实施例中的基于判别稀疏模板匹配的目标跟踪方法原理图，该在所有样本中，具有最小重构误差的样本不一定是最佳跟踪目标。由于目标模板对应的基向量存在一个线性子空间中，最佳候选目标也应该在这个子空间中，并且与初始目标向量距离最近。这里采用欧氏距离来度量向量之间的相似性，相似性最高的样本就是候选跟踪目标。符合这个条件样本个数往往比较多，再从中选择具有最小重构误差的样本作为跟踪目标样本，也就是说，候选跟踪目标是在稀疏编码分布约束下的具有最小重构误差的样本。本文方法得到的最佳跟踪目标样本为：

其中R(i)是第i个样本的重构误差，d_i是第i个样本稀疏编码最大非负值对应的字典列向量，d₀是初始目标对应的字典列向量。

综上，对目标外观建模时，考虑了目标与周围的空间相关性。由于目标周围包含了一部分目标信息和背景信息，当目标在一段时间内发生形变时，可以用来近似表示目标。利用有监督的判别字典学习方法，通过迭代优化求解出一个兼顾重构和判别性能的过完备字典，得到的稀疏编码非常稀疏且具有判别性。在候选目标搜索算法上，根据样本稀疏编码最大非负值的分布和最小重构误差构建相似性来确定候选目标。在建立目标外观模型时，加入了与目标有空间相关性的周围背景作为线索模板，以此来近似目标姿态的变化。经过判别稀疏学习的字典，所得到的稀疏编码具有更大的稀疏性和判别性。利用稀疏编码中最大非负值所对应的字典基向量的分布，以及样本的最小重构误差，可以得到估计的候选跟踪目标。实验结果表明本文方法在处理遮挡、光照变化、姿态变化、背景杂乱等条件下都能较好的跟踪到目标。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁盘或光盘等。

以上对本发明实施例所提供的基于稀疏判别学习的目标跟踪方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (5)

1.一种基于稀疏判别学习的目标跟踪方法，其特征在于，包括：

构建目标外观模型；

对构建的目标外观模型通过特征提取将二维图像块变成一维向量进行处理，并且对所述一维向量进行归一化处理；

在目前跟踪中引入基于有监督的判别字典学习方法，在重构误差项的基础上增加分类误差项；

在稀疏度约束下求解最小重构误差项，采用迭代交换优化策略更新字典和稀疏编码；

采用欧氏距离来度量向量之间的相似性，将相似性最高的样本作为候选跟踪目标；

所述在目前跟踪中引入基于有监督的判别字典学习方法，在重构误差项的基础上增加分类误差项具体为：

基于字典和稀疏编码求解目标函数，所述目标函数为：

其中第一项为重构误差项，Y＝[y₁,y₂...y_N]∈R^n×N是训练样本，D是要学习的一组过完备字典基，X＝[x₁,x₂...x_N]∈R^k×N是稀疏编码系数；第二项是分类误差项，采用线性分类器f(x)＝Wx+b的损失函数来表示，W是分类器参数，h_i是y_i的类别标注；ε是控制稀疏性的阈值；L{.}是分类损失函数；

对构建的目标外观模型通过特征提取将二维图像块变成一维向量进行处理，并且对所述一维向量进行归一化处理，包括：

模板采样为大小相等的图像块，通过特征提取将二维图像块变成一维向量进行处理，并且对该一维向量进行归一化；经过归一化处理，一维向量的能量相等，可以看作起始点在原点的不同方向的矢量；

目标模板T是在第一帧给定的目标框周围采样的，令l₀(c)表示目标中心点位置，则目标模板的采样中心点落在以l₀(c)为圆心、半径为r₀的范围内，T＝{t|||l₀(t)-l₀(c)||<r₀}；l₀(t)表示目标模板T中每个样本的采样中心点位置；t表示集合T中的每个样本；

线索模板在中心点落在以l₀(c)为圆心的环状范围内进行随机采样，线索模板B＝{b|r₁<||l₀(b)-l₀(c)||<r₂}，且r₀<r₁<r₂；环状半径分别为r₁和r₂，且r₁<r₂；l₀(b)表示线索模板中每个样本的采样中心点位置。

2.如权利要求1所述的基于稀疏判别学习的目标跟踪方法，其特征在于，所述构建目标外观模型包括：

用字典表示一个目标外观模型，将跟踪问题转化为最优稀疏近似问题，所述目标外观建模为一个包含目标模板T、线索模板B以及噪声模板的模板字典。

3.如权利要求2所述的基于稀疏判别学习的目标跟踪方法，其特征在于，所述在稀疏度约束下求解最小重构误差项具体为：

将约束条件转换为将稀疏编码的L₁范数作为正则项来保证稀疏性，转化为求解无约束优化问题：

其中G＝[g₁,g₂...g_N]∈R^2×N是Y为前景或背景的类别标注集合，当y_i是目标采样时g_i＝[1,0]^T，否则g_i＝[0,1]^T；α是控制类别信息权重的参数，λ是控制重构稀疏性的正则参数。

4.如权利要求3所述的基于稀疏判别学习的目标跟踪方法，其特征在于，所述采用迭代交换优化策略更新字典和稀疏编码具体为：

令

把方程转换为普通的在稀疏度约束下的最小重构误差近似问题：

采用迭代交替优化策略更新D和X：

步骤一：初始化Y，G，D，Y’，D’；

步骤二：固定D’，采用OMP求解优化模型，更新稀疏编码X；

步骤三：固定X，求解带约束的最小二乘问题，更新字典D’；

步骤四：若达到最大迭代次数，则迭代终止；或者相邻两次迭代之后的函数绝对值差收敛于阈值，迭代终止；否则返回步骤二。

5.如权利要求4所述的基于稀疏判别学习的目标跟踪方法，其特征在于，所述采用欧氏距离来度量向量之间的相似性，将相似性最高的样本作为候选跟踪目标具体为：

其中R(i)是第i个样本的重构误差，d_i是第i个样本稀疏编码最大非负值对应的字典列向量，d₀是初始目标对应的字典列向量。

Images