CN109285179A - 一种基于多特征融合的运动目标跟踪方法 - Google Patents

Abstract

本发明涉及一种基于多特征融合的运动目标跟踪方法，属于计算机视觉领域。本发明首先在第一帧图像中，初始化目标区域，分别利用方向直方图和颜色特征训练两个位置滤波器；其次在后续帧目标周围提取两种特征的检测样本，分别计算两个检测样本与上一步中训练得到的各自位置滤波器的相关得分，即得到不同特征的响应图；再次根据不同特征响应图的峰值旁瓣比，加权融合两种特征响应值，选取响应值最大的点作为目标当前中心位置；然后利用方向梯度直方图特征构建尺度金字塔训练尺度滤波器，并得到响应值最大点作为目标当前尺度；最后根据每帧最终响应图的峰值旁边比，判断是否发生遮挡，遮挡情况下，不更新位置滤波器。

Description

一种基于多特征融合的运动目标跟踪方法

技术领域

本发明公开了一种基于多特征融合的运动目标跟踪方法，属于计算机视觉领域。

背景技术

目标跟踪是计算机视觉领域的一个热点，被广泛应用于视频监控、机器人学习、工业智能化等方面。其本质是在一段连续视频序列图像中找到目标的位置和状态。虽然目前目标跟踪已经取得很大进展，但因受到遮挡、光照变化和尺度变化等众多因素影响，它仍然是一个具有挑战性的问题。

近年来，由于相关滤波器算法的显著效果，许多学者将相关滤波器引入到目标跟踪框架中。相关滤波器目标跟踪算法中特征的选择对跟踪的性能影响很大。其中，Bolme等提出的最小化输出平方误差和(Minimun Output Sum of Square Error，MOSSE)算法，仅采用灰度特征进行跟踪，Henriques等提出将以往单通道灰度特征拓展到多通道，采用方向梯度特征(Histogram of Oriented Gridients，HOG)跟踪目标的(Kernel CorrelationFilter，KCF)算法，提高了跟踪的准确度。Danelljan等在算法中加入颜色特征，并利用主成分分析(Principal Component Analysis，PCA)对颜色特征CN降维处理，在彩***序列中应用效果不错。Danelljan M等在MOSSE的基础上提出利用HOG特征构建尺度金字塔进行目标尺度估计的DSST算法。上述算法都仅使用单一特征描述目标，无法较全面的表达目标，在不同场景下跟踪性能有较大差异。另外，上述算法都采用逐帧固定更新滤波器模型的方式，但每帧跟踪情况各不相同，容易将错误的信息加到目标模型中，而导致后续跟踪败。

发明内容

本发明要解决的技术问题是提供一种基于多特征融合的运动目标跟踪方法，用以解决现有单特征描述目标，无法全面的表达目标，在不同场景下跟踪性能差异较大的缺陷，并且解决了逐帧固定更新滤波器模型时，容易将错误信息加到目标模型中而导致跟踪失败的问题。

本发明采用的技术方案是：一种基于多特征融合的运动目标跟踪方法，方法将目标跟踪中采用单一特征描述目标和传统模型更新方法改进为多特征融合和选择性更新模型方法。首先在第一帧图像中，初始化目标区域，分别利用方向直方图(Histogram ofOriented Gradient，HOG)和颜色(Color Name，CN)特征训练两个位置滤波器；其次在新一帧目标区域中分别提取两种特征得到两个检测样本，分别计算两个检测样本与上一步中训练得到的各自位置滤波器的相关得分，即得到不同特征的响应图；再次根据不同特征响应图的峰值旁瓣比，加权融合两种特征响应值，选取响应值最大的点作为目标当前中心位置；然后利用HOG特征构建尺度金字塔训练尺度滤波器，并得到响应值最大点作为目标当前尺度；最后根据每帧最终响应图的峰值旁边比，判断是否发生遮挡，遮挡情况下，不更新位置滤波器。

所述方法的具体步骤如下：

Step1、初始化目标并选取目标区域；

Step2、提取目标区域方向梯度直方图特征作为训练样本，同时提取目标区域颜色特征作为另一个训练样本。用两个训练样本训练各自的位置滤波器模型；

Step3、在新一帧目标区域中分别提取两种特征得到两个检测样本，分别计算两个检测样本与上一步中训练得到的各自位置滤波器的相关得分，即得到不同特征的响应图；

Step4、计算不同特征的响应图的峰值旁瓣比，根据其加权融合两种特征响应值，选取最大值处作为目标当前位置；

Step5、在当前目标区域，通过HOG特征构建尺度金字塔训练尺度滤波器，获取尺度响应最大值作为目标当前尺度；

Step6、更新尺度滤波器模型；

Step7、根据每帧最终位置响应图的峰值旁瓣比，判断目标是否发生遮挡，如果是重复步骤3至6，如果没有出现遮挡进入步骤8；

Step8、更新位置滤波器模型；

Step9、重复步骤3至8直到跟踪结束。

所述步骤Step1的具体步骤如下：

Step1.1、根据所述输入图像第一帧，以目标位置为中心，采集一个尺寸为目标2倍大小的图像块P。

所述Step2的具体步骤为：

Step2.1、采用目标不同特征训练得到的位置滤波器的应用方式和原理相同。以下都将以HOG特征为例进行描述。提取P的HOG特征f作为训练样本，其中特征的维度为d维，f^l是其中的第l维，l∈{1，...，d}。样本训练是为了找到最优的位置滤波器h，使输入样本和需要输出之间平方误差最小。h由特征每个维度训练的滤波器h^l组成，h通过如下最小化均方差求得：

式中，g表示滤波器h的期望输出，τ为正则化参数。训练样本f共有d维，f^l是其中的第维，l∈{1，...，d}。*表示循环相关。(1)式的最小值在频域里的解如下：

式中，H^l、G、F分别为是h^l、g、f的频域描述，分别表示G、F的共轭复数。F^k是F的第k维，其中是F^k的共轭复数。A^l、B为滤波器h的分子分母。

所述Step3的具体步骤为：

Step3.1、上述计算方法得到位置滤波器模型，完成了位置滤波器的训练过程。此处对目标进行检测，在新一帧目标区域提取HOG特征作为检测样本z，计算z与之前采用HOG特征训练好的滤波器h的相关得分y，即得到该特征的响应图：

式中表示A^l的共轭复数，Z是z的频域描述，Z^l是Z的第l维，其中l∈{1，...，d}。使用CN和HOG特征分别跟踪目标得到滤波器响应记为y_t，cn和y_t，hog。

所述Step4的具体步骤为：

Step4.1、在t帧时，分别计算CN特征和HOG特征响应图的峰值旁瓣比，记为PSR_t，cn和PSR_t，hog；

Step4.2、分别计算CN特征和HOG特征在第t帧时归一化权重w_t，cn和w_t，hog，

Step4.3、、在响应层面进行特征融合，在t帧时，分别使用CN和HOG特征训练得到两个位置滤波器响应，记为y_t，cn和y_t，hog，利用如下加权方法得到融合后的响应y_t，

y_t＝w_t，cn×y_t，cn+w_t，hog×y_t，hog (6)

Step4.4、计算y_t的最大值，得到目标在第t帧最终的位置。

所述Step5的具体步骤为：

Step5.1、确定目标位置后，以目标新位置为中心，截取构建尺度金字塔的33个图像层，并提取这些图像层的HOG特征训练一个尺度滤波器H_s，用以估计目标尺度。并且尺度滤波器和位置滤波器h的应用方式和原理相同，所以H_s由式(2)计算方法可得；

Step5.2、在新一帧中，为了得到目标尺度，利用式(3)求y_s并得其最大值，确定目标当前尺度。

所述Step6的具体步骤为：

Step6.1、以固定学习率η对尺度滤波器模型进行更新，更新公式为：

式中，每一帧中尺度滤波器都进行更新。式中B_t，s表示在t帧时尺度滤波器第l维的分子和分母。B_t-1，s为上一帧尺度滤波器模型的分子分母。表示第t帧时尺度滤波器期望输出的频域描述的共轭复数。表示第t帧时训练尺度滤波器的训练样本第l维的频域描述。表示第t帧时训练尺度滤波器的训练样本第k维的频域描述的共轭复数，其中k∈{1，...，d}。

所述Step7的具体步骤为：

Step7.1、PSR值为目标遮挡判断依据，用来确定位置滤波器模型是否需要更新。如果发生遮挡情况则不更新位置滤波器模型，否则对位置滤波器模型进行更新，减小遮挡对目标跟踪的影响。

所述Step8的具体步骤为：

Step8.1、当判断目标没有出现遮挡时，以固定学习率η对位置滤波器模型进行更新，更新公式为：

式中B_t表示在第t帧时，位置滤波器h第l维的分子和分母，B_t-1为上一帧位置滤波器模型的分子分母，表示第t帧位置滤波器h期望输出的频域描述的共轭复数，表示第t帧时训练位置滤波器h的训练样本第l维的频域描述，第t帧时训练位置滤波器h的训练样本第k维的频域描述的共轭复数，其中k∈{1，...，d}。

所述Step9的具体步骤为：

Step9.1、算法运行至此，第二帧运行结束，目标位置、尺度以及所有滤波器模型都已经更新完成，下一帧重复运行步骤3至8直至视频结束。

本发明的有益效果是：

1、使用多特征融合的运动目标跟踪方法

如果只采用单一特征(HOG特征或颜色特征)描述目标。HOG特征是图像的局部特征，对目标细微形变、光照变化等有较好的适应能力，但是如果目标发生较大的形变和遮挡时，会发生错跟或漏跟；而人类识别图像的重要感知特征颜色特征是基于像素点的一种全局特征，对目标旋转、平移和尺度变化不敏感，但颜色特征不能很好描述目标的局部特征且无法适应光照变化。为此，本发明将这两种特征融合起来描述目标模型，在获得目标全局特征的同时，也可以获取目标局部特征，提高了目标检测的准确度。

2、使用选择性更新模型策略实现目标跟踪方法

本发明以相关滤波器目标跟踪算法为基础，一般相关滤波器目标跟踪算法使用目标模型逐帧固定更新策略，如果目标发生遮挡时，继续更新模型会将不正确的信息加到模型中，会导致目标跟踪的失败。为了提高跟踪性能，提出只有满足一定条件时才更新的策略，通过判断目标是否发生遮挡来决定是否进行模型更新，减小了遮挡对目标跟踪的影响，从而提高了算法的稳定性

3、通过构建尺度金字塔训练尺度滤波器估计目标尺度

运动过程中目标跟踪框如果是固定的，当目标变大时，只能获取目标的部分信息，当目标变小时，容易引入干扰的背景信息，会影响算法的跟踪精确度。为解决这一问题，本发明通过构建尺度金字塔训练尺度滤波器估计目标尺度，解决运动目标尺度变化问题极大地减少了在目标跟踪过程中因跟踪框固定带来的错误信息。

总之，基于多特征融合的运动目标跟踪方法，综合了多个特征的属性信息，使用多特征描述目标和选择性更新模型方法。首先使用多特征可以更全面的描述目标，在获得目标全局特征的同时，也可以获取目标局部特征，提高了目标检测的准确度。其次通过构建尺度金字塔自适应的更新目标尺度。最后利用响应图的峰值旁瓣比自适应更新目标模型，提高了模型的有效性。

附图说明

图1为本发明中方法流程图。

具体实施方式

下面结合附图和具体实施例，对本发明作进一步的说明。

实施例1：如图1所示，基于多特征融合的运动目标跟踪方法，所述方法的具体步骤如下：

Step1、初始化目标并选取目标区域；

Step2、提取目标区域方向梯度直方图(Histogram of Oriented Gradient，HOG)特征作为训练样本，同时提取目标区域颜色(Color Name，CN)特征作为另一个训练样本。用两个训练样本训练各自的位置滤波器模型；

Step3、在新一帧目标区域中分别提取两种特征得到两个检测样本，分别计算两个检测样本与上一步中训练得到的各自位置滤波器的相关得分，即得到不同特征的响应图；

Step4、计算不同特征的响应图的峰值旁瓣比，根据其加权融合两种特征响应值，选取最大值处作为目标当前位置；

Step5、在当前目标区域，通过HOG特征构建尺度金字塔训练尺度滤波器，获取尺度响应最大值作为目标当前尺度；

Step6、更新尺度滤波器模型；

Step7、根据每帧最终位置响应图的峰值旁瓣比，判断目标是否发生遮挡，如果是重复步骤3至6，如果没有出现遮挡进入步骤8；

Step8、更新位置滤波器模型；

Step9、重复步骤3至8直到跟踪结束。

所述步骤Step1的具体步骤如下：

Step1.1、根据所述输入图像第一帧，以目标位置为中心，采集一个尺寸为目标2倍大小的图像块P。

所述Step2的具体步骤为：

Step2.1、采用目标不同特征训练得到的位置滤波器的应用方式和原理相同。HOG特征(27维梯度特征，加上一维灰度特征，共28维)和CN特征(将11维特征降维至2维)。以下都将以HOG特征为例进行描述。提取P的HOG特征f作为训练样本，其中特征的维度为d维，f^l是其中的第l维，l∈{1，...，d}。样本训练是为了找到最优的位置滤波器h，使输入样本和需要输出之间平方误差最小。h由特征每个维度训练的滤波器h^l组成，h通过如下最小化均方差求得：

式中，g表示滤波器h的期望输出，τ为正则化参数。训练样本f共有d维，f^l是其中的第维，l∈{1，...，d}。*表示循环相关。(1)式的最小值在频域里的解如下：

式中，H^l、G、F分别为是h^l、g、f的频域描述，分别表示G、F的共轭复数。F^k是F的第k维，其中是F^k的共轭复数。A^l、B为滤波器h的分子分母。

所述Step3的具体步骤为：

Step3.1、上述计算方法得到位置滤波器模型，完成了位置滤波器的训练过程。此处对目标进行检测，在新一帧目标区域提取HOG特征作为检测样本z，计算z与之前采用HOG特征训练好的滤波器h的相关得分y，即得到该特征的响应图：

式中表示A^l的共轭复数，Z^l是z的第l维，其中l∈{1，...，d}。使用CN和HOG特征分别跟踪目标得到滤波器响应记为y_t，cn和y_t，hog。

所述Step4的具体步骤为：

Step4.1、在t帧时，分别计算CN特征和HOG特征响应图的峰值旁瓣比，记为PSR_t，cn和PSR_t，hog；

Step4.2、分别计算CN特征和HOG特征在第t帧时归一化权重w_t，cn和w_t，hog，

Step4.3、在响应层面进行特征融合，在t帧时，使用CN和HOG特征分别跟踪目标得到位置滤波器响应，记为y_t，cn和y_t，hog，利用如下加权方法得到融合后的响应y_t，

yt＝w_t，cn×y_t，cn+w_t，hog×y_t，hog (6)

Step4.4、计算y_t的最大值，得到目标最终的位置。

所述Step5的具体步骤为：

Step5.1、确定目标位置后，以目标新位置为中心，截取构建尺度金字塔的33个图像层，并提取这些图像层的HOG特征训练一个尺度滤波器H_s，用以估计目标尺度。并且尺度滤波器和位置滤波器h的应用方式和原理相同，所以H_s由式(2)计算方法可得；

Step5.2、在新一帧中，为了得到目标尺度，利用式(3)求y_s并得其最大值，确定目标当前尺度。

所述Step6的具体步骤为：

Step6.1、以固定学习率η对尺度滤波器模型进行更新，更新公式为：

式中，每一帧中尺度滤波器都进行更新。式中B_t，s表示在t帧时尺度滤波器第l维的分子和分母。B_t-1，s为上一帧尺度滤波器模型的分子分母。表示第t帧时尺度滤波器期望输出的频域描述的共轭复数。表示第t帧时训练尺度滤波器的训练样本第l维的频域描述。表示第t帧时训练尺度滤波器的训练样本第k维的频域描述的共轭复数，其中k∈{1，...，d}。

所述Step7的具体步骤为：

Step7.1、遮挡判断依据PSR值，判断目标是否发生遮挡用来确定是否更新位置滤波器模型，减小遮挡对目标跟踪的影响，第t帧时，PSR计算方法：

式中，PSR_t表示第t帧时峰值旁边比，y_t，max为第t帧响应图的峰值，μ_t和σ_t是第t帧时最大响应位置周围区域的均值和标准差。PSR_t越大，响应分布中峰值强度越高，则目标置信度越高。

所述Step8的具体步骤为：

Step8.1、判断目标没有出现遮挡时，以固定学习率η对位置滤波器模型进行更新，更新公式为：

式中B_t表示在第t帧时，位置滤波器h第l维的分子和分母，B_t-1为上一帧位置滤波器模型的分子分母，表示第t帧位置滤波器h期望输出的频域描述的共轭复数，表示第t帧时训练位置滤波器h的训练样本第l维的频域描述，第t帧时训练位置滤波器h的训练样本第k维的频域描述的共轭复数，其中k∈{1，...，d}。

所述Step9的具体步骤为：

Step9.1、算法运行至此，第二帧运行结束，目标位置、尺度以及所有滤波器模型都已经更新完成，下一帧重复运行步骤3至8直至视频结束。

本发明以HOG特征和颜色特征CN的不同性质，将这两种特征融合起来描述目标模型，在获得目标全局特征的同时，也可以获取目标局部特征，提高了目标检测的准确度。同时根据每帧最终目标响应图的峰值旁瓣比，判断目标是否发生遮挡来决定是否进行模型更新，减小了遮挡对目标跟踪的影响，从而提高了算法的稳定性。

上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (11)

1.一种基于多特征融合的运动目标跟踪方法，其特征在于：包括如下步骤：首先在第一帧图像中，初始化目标区域，分别利用方向直方图和颜色特征训练两个位置滤波器；其次在后续帧目标周围提取两种特征的检测样本，分别计算两个检测样本与上一步中训练得到的各自位置滤波器的相关得分，即得到不同特征的响应图；再次根据不同特征响应图的峰值旁瓣比，加权融合两种特征响应值，选取响应值最大的点作为目标当前中心位置；然后利用方向梯度直方图特征构建尺度金字塔训练尺度滤波器，并得到响应值最大点作为目标当前尺度；最后根据每帧最终响应图的峰值旁边比，判断是否发生遮挡，遮挡情况下，不更新位置滤波器。

2.根据权利要求1所述的基于多特征融合的运动目标跟踪方法，其特征在于：所述方法的具体步骤如下：

Step1、初始化目标并选取目标区域；

Step2、提取目标区域方向梯度直方图特征作为训练样本，同时提取目标区域颜色特征作为另一个训练样本，用两个训练样本训练各自的位置滤波器模型；

Step3、在新一帧目标区域中分别提取两种特征得到两个检测样本，分别计算两个检测样本与上一步中训练得到的各自位置滤波器的相关得分，即得到不同特征的响应图；

Step4、计算不同特征的响应图的峰值旁瓣比，根据其加权融合两种特征响应值，选取最大值处作为目标当前位置；

Step5、在当前目标位置区域，通过HOG特征构建尺度金字塔训练尺度滤波器，获取尺度响应最大值作为目标当前尺度；

Step6、更新尺度滤波器模型；

Step7、根据每帧最终位置响应图的峰值旁瓣比，判断目标是否发生遮挡，如果是重复步骤3至6，如果没有出现遮挡进入步骤8；

Step8、更新位置滤波器模型；

Step9、重复步骤3至8直到跟踪结束。

3.根据权利要求2所述的基于多特征融合的运动目标跟踪方法，其特征在于：所述步骤Step1的具体步骤如下：

Step1.1、根据所述输入图像第一帧，以目标位置为中心，采集一个尺寸为目标2倍大小的图像块P。

4.根据权利要求3所述的基于多特征融合的运动目标跟踪方法，其特征在于：所述步骤Step2的具体步骤如下：

Step2.1、采用目标不同特征训练得到的位置滤波器的应用方式和原理相同，以下都将以HOG特征为例进行描述，提取P的HOG特征f作为训练样本，其中特征的维度为d维，f^l是其中的第l维，l∈{1,…,d}，样本训练是为了找到最优的位置滤波器h,使输入样本和需要输出之间平方误差最小，h由特征每个维度训练的滤波器h^l组成，h通过如下最小化均方差求得：

式中，g表示滤波器h的期望输出，τ为正则化参数，训练样本f共有d维，f^l是其中的第l维，l∈{1,…,d}，*表示循环相关，(1)式的最小值在频域里的解如下：

式中，H^l、G、F分别为是h^l、g、f的频域描述，分别表示G、F的共轭复数，F^k是F的第k维，其中k∈{1,…,d}，是F^k的共轭复数，A^l、B为滤波器h的分子分母。

5.根据权利要求4所述的基于多特征融合的运动目标跟踪方法，其特征在于：所述Step3的具体步骤为：

Step3.1、上述计算方法得到位置滤波器模型，完成了位置滤波器的训练过程，此处对目标进行检测，在新一帧目标区域提取HOG特征作为检测样本z，计算z与之前采用HOG特征训练好的滤波器h的相关得分y，即得到该特征的响应图：

式中表示A^l的共轭复数，Z是z的频域描述，Z^l是Z的第l维，其中l∈{1,…,d}，使用CN和HOG特征分别跟踪目标得到滤波器响应记为y_t,cn和y_t,hog。

6.根据权利要求5所述的基于多特征融合的运动目标跟踪方法，其特征在于：所述Step4的具体步骤为：

Step4.1、在t帧时，分别计算CN特征和HOG特征响应图的峰值旁瓣比，记为PSR_t,cn和PSR_t,hog；

Step4.2、分别计算CN特征和HOG特征在第t帧时归一化权重w_t,cn和w_t,hog：

Step4.3、在响应层面进行特征融合，在t帧时，分别使用CN和HOG特征训练得到两个位置滤波器响应，记为y_t,cn和y_t,hog，利用如下加权方法得到融合后的响应y_t，

y_t＝w_t,cn×y_t,cn+w_t,hog×y_t,hog (6)

Step4.4、计算y_t的最大值，得到目标在第t帧最终的位置。

7.根据权利要求6所述的基于多特征融合的运动目标跟踪方法，其特征在于：所述Step5的具体步骤为：

Step5.1、确定目标位置后，以目标新位置为中心，截取构建尺度金字塔的33个图像层，并提取这些图像层的HOG特征训练一个尺度滤波器H_s，用以估计目标尺度，并且尺度滤波器和位置滤波器h的应用方式和原理相同，所以H_s由式(2)计算方法可得；

Step5.2、在新一帧中，为了得到目标尺度，利用式(3)计算方法求y_s并得其最大值，确定目标当前尺度。

8.根据权利要求7所述的基于多特征融合的运动目标跟踪方法，其特征在于：所述Step6的具体步骤为：

Step6.1、以固定学习率η对尺度滤波器模型进行更新，更新公式为：

式中，每一帧中尺度滤波器都进行更新，式中B_t,s表示在t帧时尺度滤波器第l维的分子和分母，B_t-1,s为上一帧尺度滤波器模型的分子分母，表示第t帧时尺度滤波器期望输出的频域描述的共轭复数，表示第t帧时训练尺度滤波器的训练样本第l维的频域描述，表示第t帧时训练尺度滤波器的训练样本第k维的频域描述的共轭复数，其中k∈{1,…,d}。

9.根据权利要求8所述的基于多特征融合的运动目标跟踪方法，其特征在于：所述Step7的具体步骤为：

Step7.1、PSR值为目标遮挡判断依据，用来确定位置滤波器模型是否需要更新，如果发生遮挡情况则不更新位置滤波器模型，否则对位置滤波器模型进行更新，减小遮挡对目标跟踪的影响。

10.根据权利要求9所述的基于多特征融合的运动目标跟踪方法，其特征在于：所述Step8的具体步骤为：

Step8.1、当判断目标没有出现遮挡时，以固定学习率η对位置滤波器模型进行更新，更新公式为：

式中B_t表示在第t帧时，位置滤波器h第l维的分子和分母，B_t-1为上一帧位置滤波器模型的分子分母，表示第t帧位置滤波器h期望输出的频域描述的共轭复数，表示第t帧时训练位置滤波器h的训练样本第l维的频域描述，第t帧时训练位置滤波器h的训练样本第k维的频域描述的共轭复数，其中k∈{1,…,d}。

11.根据权利要求10所述的基于多特征融合的运动目标跟踪方法，其特征在于：所述Step9的具体步骤为：

Step9.1、算法运行至此，第二帧运行结束，目标位置、尺度以及所有滤波器模型都已经更新完成，下一帧重复运行步骤3至8直至视频结束。