CN111260738A - 基于相关滤波和自适应特征融合的多尺度目标跟踪方法 - Google Patents

Abstract

本发明属于计算机视觉领域，为实现较复杂场景下的目标跟踪，充分利用目标的颜色特征和梯度特征来描述目标，提高在尺度变化和遮挡等情况下的鲁棒性，具有更高的精度。本发明，基于相关滤波和自适应特征融合的多尺度目标跟踪方法，步骤如下：步骤1：输入当前第t帧图像；步骤2：提取样本的梯度特征和颜色特征；步骤3：将上一帧得到的滤波器h和当前帧候选目标图像块x进行卷积；步骤4：通过HOG和CN两种特征响应值的大小来对两种特征自适应分配权重；步骤5：提取多尺度图像块的HOG特征；步骤6：用矩形框标记出当前帧的目标；步骤7：按照线性插值的方法更新平移滤波器和尺度滤波器，最终实现目标跟踪。本发明主要应用于目标跟踪场合。

Description

基于相关滤波和自适应特征融合的多尺度目标跟踪方法

技术领域

本发明属于计算机视觉领域，涉及一种基于相关滤波和自适应特征融合的多尺度目标跟踪算法。

背景技术

目标跟踪，本质是鲁棒地估计运动目标在图像序列中每一帧的运动状态，是计算机视觉领域热门的研究课题之一，在计算机视觉领域有着广泛的应用，例如在人机交互、智能交通监控、军事制导、机器人等方面，目标跟踪技术发挥着关键作用。尽管目标跟踪问题已被研究了数十年，近年来也取得了许多进展，但目前仍然是一个非常具有挑战性的问题。许多因素影响着跟踪算法的性能，例如遮挡、光照变化、尺度变化、快速运动等，寻找合适的方法解决在这些复杂场景下的目标跟踪问题，成为研究的重点与难点。

解决目标跟踪问题的方法可以分为两大类——生成类方法和判别类方法。生成类方法，在当前帧对目标区域建模，下一帧寻找与模型最相似的区域即为预测位置。比较著名的有卡尔曼滤波，粒子滤波，均值漂移(Mean-Shift)等。判别类方法，即把跟踪问题看成是在每一帧图像上的目标与背景的二分类问题，以目标区域为正样本，背景区域为负样本，跟踪过程中通过不断地搜集更新正负样本，训练分类器，从当前待选目标中选取分类器响应最大的即为该帧的跟踪结果。判别类方法中，基于相关滤波的方法是近年来应用广泛的一类方法，其中又以核相关滤波跟踪算法(Kernelized Correlation Filters,KCF)为代表。

传统的相关滤波算法虽然计算量小，但在实际应用中存在着一些显著的缺陷：

(1)仅采用单特征，不能很好地描述目标。

(2)无法准确地估计目标的尺度，以应对尺度变化问题。

(3)在遇到目标被遮挡的情况下，跟踪的精度明显下降。

(4)学习率为固定值，在个别场景下无法进行有效的模型更新。

发明内容

为克服现有技术的不足，本发明旨在实现较复杂场景下的目标跟踪，充分利用目标的颜色特征和梯度特征来描述目标，并在平移滤波器的基础上引入尺度滤波器，可提高在尺度变化和遮挡等情况下的鲁棒性，使跟踪结果具有更高的精度。为此，本发明采用的技术方案是，基于相关滤波和自适应特征融合的多尺度目标跟踪方法，步骤如下：

步骤1：输入当前第t帧图像；

步骤2：采集图像样本块，提取样本的梯度特征和颜色特征，并采用方向梯度直方图HOG(Histogram of Oriented Gridients)特征x^HOG和颜色属性CN(Color Name)特征x^CN表达；

步骤3：将上一帧得到的滤波器h和当前帧候选目标图像块x进行卷积，然后查找所有测试样本响应向量，最大响应位置为目标的预测位置。对于给定的单个目标图像块x，分类器的响应输出为

将HOG特征表达的图像样本x^HOG和CN特征表达的图像样本x_CN分别代入上式，求取各自相关滤波响应图，并得到各自最大响应值为R^HOG和R^CN；

步骤4：通过HOG和CN两种特征响应值的大小来对两种特征自适应分配权重，计算如式(2)所示：

根据各特征权重大小为CN特征和HOG特征分配的权重，对最终的目标跟踪结果进行加权融合，计算如式(3)所示：

R＝δR^CN+(1-δ)R^HOG (3)

其中δ∈[0,1]。若δ＝0，则代表该跟踪结果仅仅使用了HOG特征的跟踪结果；若δ＝1，则代表该跟踪结果仅仅使用了颜色特征的跟踪结果；

步骤5：提取多尺度图像块的HOG特征，使用这些多尺度图像块的HOG特征来训练核函数的最小二乘法分类器，获得一个一维的尺度***，最后寻找这个滤波器的最大的输出响应R_S，用式(4)完成尺度的预测：

其中参数

为学习参数，k_S的元素

x_S是从第t-1帧学习的目标尺度模型，

是从新一帧提取的样本；

步骤6：将目标的预测位置R和预测尺度R_S结合，用矩形框标记出当前帧的目标；

步骤7：按照线性插值的方法更新平移滤波器和尺度滤波器，如下式(5)-(7)所示：

其中参数

为学习参数，

k^j的元素为

γ为自适应学习速率，

为目标的预测值，λ为正则项系数。

步骤8：输入下一帧图像，按前述步骤处理，实现目标跟踪。

更进一步的技术方案是所述步骤2和步骤5中，HOG特征的具体提取过程为：

(1)首先将目标图像作灰度化处理。

(2)使用Gamma校正的方法对输入的待检测图像进行颜色空间的归一化，从而达到调节图像的对比度以及降低局部阴影与光照变化带来的影响的目的，同时还可以抑制噪音带来的干扰。Gamma压缩公式：I(x,y)＝I(x,y)^Gamma，在这里取Gamma＝1/2；

(3)计算目标图像的每一个像素的梯度，图像中像素点的梯度为：

G_x(x,y)＝H(x+1,y)-H(x-1,y) (8)

G_y(x,y)＝H(x,y+1)-H(x,y-1) (9)

式中G_x(x,y)、G_y(x,y)和H(x,y)分别表示输入图像中的像素点(x,y)处的水平方向和垂直方向梯度的像素值。像素点(x,y)处的梯度幅值和梯度方向分别为：

(4)将图像划分成每个都含有4×4个像素点的小的细胞单元，并为每一个细胞单元构建它的梯度方向直方图；

(5)将每3×3个细胞单元来组成一个块，那这个块内所包含的细胞单元的各自的特征向量连着串联起来，那么就可以得到这个块的梯度直方图；

(6)将目标图像内所有块的梯度直方图特征向量串联在一起，就组成了该目标图像的方向梯度直方图，即最终得到的供判别分类器使用的特征向量；

步骤7中，自适应学习速率γ选取的具体过程为：

采用帧差法，也就是相邻两帧图片间的差值作为依据来分段确定学习速率的大小，对一帧大小是m×n的图像块x，每一个像素点用x_ij来表示，其中0≤i≤m-1，0≤j≤n-1。对于第t帧图像来说，

当0<q<2.5时，相邻两帧目标图片变化较小，目标表观模型变化较小，设置较低的学习速率，以保持良好的跟踪；当2.5≤q<8时，目标表观模型变化正常，设置常规的学习速率；当q≥8时，目标表观模型变化十分明显，设置较大的学习速率，具体分段学习速率如式(13)所示：

本发明的特点及有益效果是：

本发明提供的目标跟踪方法中，颜色特征的引入使得目标模型的描述不再局限于单一的梯度特征，引入尺度滤波器对目标的尺度进行预测也很好地解决了尺度变化问题，同时自适应学习速率的应用使得模型的更新能更适应场景的不同变化。因此，本发明提供的目标跟踪方法在复杂场景下有着更强的鲁棒性和可靠性。

附图说明

图1是本发明提供跟踪算法的跟踪框架流程图；

图2本发明与KCF跟踪算法在BlurBody数据集上部分跟踪结果对比图。

图2(a)是KCF跟踪算法在BlurBody数据集上的部分跟踪结果；

图2(b)是本发明提供的跟踪算法在BlurBody数据集上的部分跟踪结果；

图3本发明与KCF跟踪算法在CarScale数据集上部分跟踪结果对比图。

图3(a)是KCF跟踪算法在CarScale数据集上的部分跟踪结果；

图3(b)是本发明提供的跟踪算法在CarScale数据集上的部分跟踪结果；

图4本发明与KCF跟踪算法在Coke数据集上部分跟踪结果对比图。

图4(a)是KCF跟踪算法在Coke数据集上的部分跟踪结果；

图4(b)是本发明提供的跟踪算法在Coke数据集上的部分跟踪结果；

具体实施方式

为克服现有技术的不足，本发明旨在实现较复杂场景下的目标跟踪，充分利用目标的颜色特征和梯度特征来描述目标，并在平移滤波器的基础上引入尺度滤波器，可提高在尺度变化和遮挡等情况下的鲁棒性，使跟踪结果具有更高的精度。为此，本发明采用的技术方案是，基于相关滤波和自适应特征融合的多尺度目标跟踪算法。

具体步骤细化如下：

步骤1：输入当前第t帧图像；

步骤2：采集图像样本块，提取样本的梯度特征和颜色特征，并采用HOG特征x^HOG和CN特征x^CN表达。

其中，HOG特征的具体提取过程为：

(1)首先将目标图像作灰度化处理。

(2)使用Gamma校正的方法对输入的待检测图像进行颜色空间的归一化，从而达到调节图像的对比度以及降低局部阴影与光照变化带来的影响的目的，同时还可以抑制噪音带来的干扰。Gamma压缩公式：I(x,y)＝I(x,y)^Gamma，在这里取Gamma＝1/2。

(3)计算目标图像的每一个像素的梯度，主要目的是捕获基本的轮廓信息，并进一步弱化光照带来的干扰。图像中像素点的梯度为：

G_x(x,y)＝H(x+1,y)-H(x-1,y) (1)

G_y(x,y)＝H(x,y+1)-H(x,y-1) (2)

式中G_x(x,y)、G_y(x,y)和H(x,y)分别表示输入图像中的像素点(x,y)处的水平方向和垂直方向梯度的像素值。像素点(x,y)处的梯度幅值和梯度方向分别为：

(4)将图像划分成每个都含有4×4个像素点的小的细胞单元，并为每一个细胞单元构建它的梯度方向直方图。

(5)将每3×3个细胞单元来组成一个块，那这个块内所包含的细胞单元的各自的特征向量连着串联起来，那么就可以得到这个块的梯度直方图。

(6)将目标图像内所有块的梯度直方图特征向量串联在一起，就组成了该目标图像的方向梯度直方图，即最终得到的供判别分类器使用的特征向量。

步骤3：将上一帧得到的滤波器h和当前帧候选目标图像块x进行卷积，然后查找所有测试样本响应向量，最大响应位置为目标的预测位置。对于给定的单个目标图像块x，分类器的响应输出为

将HOG特征表达的图像样本x^HOG和CN特征表达的图像样本x_CN分别代入上式，求取各自相关滤波响应图，并得到各自最大响应值为R^HOG和R^CN。

步骤4：通过HOG和CN两种特征响应值的大小来对两种特征自适应分配权重，计算如式(6)所示：

根据各特征权重大小为CN特征和HOG特征分配的权重，对最终的目标跟踪结果进行加权融合，计算如式(7)所示：

R＝δR^CN+(1-δ)R^HOG (7)

其中δ∈[0,1]。若δ＝0，则代表该跟踪结果仅仅使用了HOG特征的跟踪结果；若δ＝1，则代表该跟踪结果仅仅使用了颜色特征的跟踪结果。

步骤5：提取多尺度图像块的HOG特征，使用这些多尺度图像块的HOG特征来训练核函数的最小二乘法分类器，获得一个一维的尺度***，最后寻找这个滤波器的最大的输出响应R_S，用式(8)完成尺度的预测。

其中参数

为学习参数，k_S的元素

x_S是从第t-1帧学习的目标尺度模型，

是从新一帧提取的样本。

步骤6：将目标的预测位置R和预测尺度R_S结合，用矩形框标记出当前帧的目标。

步骤7：按照线性插值的方法更新平移滤波器和尺度滤波器，如下式(9)-(11)所示：

其中参数

为学习参数，

k^j的元素为

γ为自适应学习速率，

为目标的预测值，λ为正则项系数。

其中，自适应学习速率γ选取的具体过程为：

采用帧差法，也就是相邻两帧图片间的差值作为依据来分段确定学习速率的大小。对一帧大小是m×n的图像块x，每一个像素点用x_ij来表示，其中0≤i≤m-1，0≤j≤n-1。对于第t帧图像来说，

当0<q<2.5时，相邻两帧目标图片变化较小，目标表观模型变化较小，设置较低的学习速率，以保持良好的跟踪；当2.5≤q<8时，目标表观模型变化正常，设置常规的学习速率；当q≥8时，目标表观模型变化十分明显，设置较大的学习速率。具体分段学习速率如式(13)所示：

步骤8：输入下一帧图像，按前述步骤处理，实现目标跟踪。

为了验证方法的有效性，给出实验结果。

采用本发明提供的跟踪方法对3组复杂场景下的视频序列进行跟踪，并在相同条件下与KCF算法的跟踪结果进行比较，得到的部分跟踪结果如图2、3、4所示。

在图2所示的视频序列中，人及其周围的区域选定为跟踪目标，视频中目标产生了运动模糊的情况，并且在跟踪过程中人的尺度不断发生着变化。图2(a)、(b)分别表示KCF算法及本发明提供的跟踪算法所得到的部分跟踪结果，并且两种算法在初始帧处选择的目标区域相同。从图2的跟踪结果可知，本发明提供的跟踪算法能很好地对目标进行定位，跟踪精度较高，取得了很好的跟踪效果。而KCF算法在运动目标变模糊时开始发生偏移，后续目标中心与跟踪框中心发生较大偏移，导致跟踪失败。

在图3所示的视频序列中，汽车及其周围的区域选定为跟踪目标，在跟踪过程中汽车由远及近，尺度不断发生着变化。图3(a)、(b)分别表示KCF算法及本发明提供的跟踪算法所得到的部分跟踪结果，并且两种算法在初始帧处选择的目标区域相同。从图3的跟踪结果可知，本发明提供的跟踪算法能很好地对目标进行定位，跟踪精度较高，取得了很好的跟踪效果。而KCF算法在本视频序列中无法对尺度进行检测，跟踪框的大小一直不变，影响了跟踪的精度。

在图4所示的视频序列中，易拉罐及其周围的区域选定为跟踪目标，视频中目标遇到了数次被遮挡的情况。图4(a)、(b)分别表示KCF算法及本发明提供的跟踪算法所得到的部分跟踪结果，并且两种算法在初始帧处选择的目标区域相同。从图4的跟踪结果可知，本发明提供的跟踪算法能很好地对目标进行定位，跟踪精度较高，取得了很好的跟踪效果。而KCF算法在运动目标遇到部分遮挡时，跟踪框即发生偏移，后续也没有重检测到目标，导致跟踪失败。

由此，本发明提供的基于相关滤波和自适应特征融合的多尺度目标跟踪算法，对运动模糊、尺度变化、遮挡等复杂场景下的运动目标跟踪具有更强的鲁棒性。

尽管上面结合图示对本发明进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨的情况下，还可以作出很多变形，这些均属于本发明的保护之内。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于相关滤波和自适应特征融合的多尺度目标跟踪方法，其特征是，步骤如下：

步骤1：输入当前第t帧图像；

步骤2：采集图像样本块，提取样本的梯度特征和颜色特征，并采用方向梯度直方图HOG(Histogram of Oriented Gridients)特征x^HOG和颜色属性CN(Color Name)特征x^CN表达；

步骤3：将上一帧得到的滤波器h和当前帧候选目标图像块x进行卷积，然后查找所有测试样本响应向量，最大响应位置为目标的预测位置，对于给定的单个目标图像块x，分类器的响应输出为

将HOG特征表达的图像样本x^HOG和CN特征表达的图像样本x_CN分别代入上式，求取各自相关滤波响应图，并得到各自最大响应值为R^HOG和R^CN；

步骤4：通过HOG和CN两种特征响应值的大小来对两种特征自适应分配权重，计算如式(2)所示：

根据各特征权重大小为CN特征和HOG特征分配的权重，对最终的目标跟踪结果进行加权融合，计算如式(3)所示：

R＝δR^CN+(1-δ)R^HOG (3)

其中δ∈[0,1]，若δ＝0，则代表该跟踪结果仅仅使用了HOG特征的跟踪结果；若δ＝1，则代表该跟踪结果仅仅使用了颜色特征的跟踪结果；

步骤5：提取多尺度图像块的HOG特征，使用这些多尺度图像块的HOG特征来训练核函数的最小二乘法分类器，获得一个一维的尺度***，最后寻找这个滤波器的最大的输出响应R_S，用式(4)完成尺度的预测：

其中参数

为学习参数，k_S的元素

x_S是从第t-1帧学习的目标尺度模型，

是从新一帧提取的样本；

步骤6：将目标的预测位置R和预测尺度R_S结合，用矩形框标记出当前帧的目标；

步骤7：按照线性插值的方法更新平移滤波器和尺度滤波器，如下式(5)-(7)所示：

其中参数

为学习参数，

k^j的元素为

γ为自适应学习速率，

为目标的预测值，λ为正则项系数；

步骤8：输入下一帧图像，按步骤1-7处理，最终实现目标跟踪。

2.如权利要求1所述的基于相关滤波和自适应特征融合的多尺度目标跟踪方法，其特征是，所述步骤2和步骤5中，HOG特征的具体提取过程为：

(1)首先将目标图像作灰度化处理；

(2)使用Gamma校正的方法对输入的待检测图像进行颜色空间的归一化，从而达到调节图像的对比度以及降低局部阴影与光照变化带来的影响的目的，同时还可以抑制噪音带来的干扰，Gamma压缩公式：I(x,y)＝I(x,y)^Gamma，在这里取Gamma＝1/2；

(3)计算目标图像的每一个像素的梯度，图像中像素点的梯度为：

G_x(x,y)＝H(x+1,y)-H(x-1,y) (8)

G_y(x,y)＝H(x,y+1)-H(x,y-1) (9)

式中G_x(x,y)、G_y(x,y)和H(x,y)分别表示输入图像中的像素点(x,y)处的水平方向和垂直方向梯度的像素值，像素点(x,y)处的梯度幅值和梯度方向分别为：

(4)将图像划分成每个都含有4×4个像素点的小的细胞单元，并为每一个细胞单元构建它的梯度方向直方图；

(5)将每3×3个细胞单元来组成一个块，那这个块内所包含的细胞单元的各自的特征向量连着串联起来，那么就可以得到这个块的梯度直方图；

(6)将目标图像内所有块的梯度直方图特征向量串联在一起，就组成了该目标图像的方向梯度直方图，即最终得到的供判别分类器使用的特征向量。

3.如权利要求1所述的基于相关滤波和自适应特征融合的多尺度目标跟踪方法，其特征是，步骤7中，自适应学习速率γ选取的具体过程采用帧差法，也就是相邻两帧图片间的差值作为依据来分段确定学习速率的大小，对一帧大小是m×n的图像块x，每一个像素点用x_ij来表示，其中0≤i≤m-1，0≤j≤n-1，对于第t帧图像：

当0<q<2.5时，相邻两帧目标图片变化较小，目标表观模型变化较小，设置较低的学习速率，以保持良好的跟踪；当2.5≤q<8时，目标表观模型变化正常，设置常规的学习速率；当q≥8时，目标表观模型变化十分明显，设置较大的学习速率，具体分段学习速率如式(13)所示：

Images