CN106952288A - 基于卷积特征和全局搜索检测的长时遮挡鲁棒跟踪方法 - Google Patents

Abstract

本发明涉及一种基于卷积特征和全局搜索检测的长时遮挡鲁棒跟踪方法，通过在跟踪模块中使用卷积特征和多尺度相关滤波方法，增强了跟踪目标外观模型的特征表达能力，使得跟踪结果对于光照变化、目标尺度变化、目标旋转等因素具有很强的鲁棒性；又通过引入的全局搜索检测机制，使得当目标被长时遮挡导致跟踪失败时，检测模块可以再次检测到目标，使跟踪模块从错误中恢复过来，这样即使在目标外观变化的情况下，也能够被长时间持续地跟踪。

Description

基于卷积特征和全局搜索检测的长时遮挡鲁棒跟踪方法

技术领域

本发明属计算机视觉领域，涉及一种目标跟踪方法，具体涉及一种基于卷积特征和全局搜索检测的长时遮挡鲁棒跟踪方法。

背景技术

目标跟踪的主要任务是获取视频序列中特定目标的位置与运动信息，在视频监控、人机交互等领域具有广泛的应用。跟踪过程中，光照变化、背景复杂、目标发生旋转或缩放等因素都会增加目标跟踪问题的复杂性，尤其是当目标被长时遮挡时，则更容易导致跟踪失败。

文献“Tracking-learning-detection,IEEE Transactions on PatternAnalysis and Machine Intelligence,2012,34(7):1409-1422”提出的跟踪方法(简称TLD)首次将传统的跟踪算法和检测算法结合起来，利用检测结果完善跟踪结果，提高了***的可靠性和鲁棒性。其跟踪算法基于光流法，检测算法产生大量的检测窗口，对于每个检测窗口，都必须被三个检测器接受才能成为最后的检测结果。针对遮挡问题，TLD提供了一个切实有效的解决思路，能够对目标进行长时跟踪(Long-term Tracking)。但是，TLD使用的是浅层的人工特征，对目标的表征能力有限，且检测算法的设计也较为复杂，有一定的改进空间。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于卷积特征和全局搜索检测的长时遮挡鲁棒跟踪方法，解决视频运动目标在跟踪过程中由于长时遮挡或目标平移出视野之外等因素造成外观模型漂移，从而易导致跟踪失败的问题。

技术方案

一种基于卷积特征和全局搜索检测的长时遮挡鲁棒跟踪方法，其特征在于步骤如下：

步骤1读取视频中第一帧图像数据以及目标所在的初始位置信息[x,y,w,h]，其中x,y表示目标中心的横坐标和纵坐标，w,h表示目标的宽和高。将(x,y)对应的坐标点记为P，以P为中心，大小为w×h的目标初始区域记为R_init，再将目标的尺度记为scale，初始化为1。

步骤2以P为中心，确定一个包含目标及背景信息的区域R_bkg，R_bkg的大小为M×N，M＝2w,N＝2h。采用VGGNet-19作为CNN模型，在第5层卷积层(conv5-4)对R'提取卷积特征图z_{target_init}。然后根据z_{target_init}构建跟踪模块的目标模型t∈{1,2,...,T}，T为CNN模型通道数，计算方法如下：

其中，大写的变量为相应的小写变量在频域上的表示，高斯滤波模板m,n为高斯函数自变量，m∈{1,2,...,M}，n∈{1,2,...,N}，σ_target为高斯核的带宽，⊙代表元素相乘运算，上划线表示复共轭，λ₁为调整参数(为了避免分母为0而引入)，设定为0.0001。

步骤3以P为中心，提取S个不同尺度的图像子块，S设定为33。每个子块的大小为w×h×s，变量s为图像子块的尺度因子，s∈[0.7,1.4]。然后分别提取每个图像子块的HOG特征，合并后成为一个S维的HOG特征向量，这里将其命名为尺度特征向量，记为z_{scale_init}。再根据z_{scale_init}构建跟踪模块的尺度模型W_scale，计算方法与步骤2中计算类似(将尺度特征向量替换掉卷积特征图)，具体如下：

其中，s'为高斯函数自变量，s'∈{1,2,...,S}，σ_scale为高斯核的带宽，λ₂为调整参数，设定为0.0001。

步骤4对目标初始区域R_init提取灰度特征，得到的灰度特征表示是一个二维矩阵，这里将该矩阵命名为目标外观表示矩阵，记为A_k，下标k表示当前帧数，初始时k＝1。然后将检测模块的滤波模型D初始化为A₁，即D＝A₁，再初始化历史目标表示矩阵集合A_his。A_his的作用是存储当前及之前每一帧的目标外观表示矩阵，即A_his＝{A₁,A₂,...,A_k}，初始时A_his＝{A₁}。

步骤5读取下一帧图像，仍然以P为中心，提取大小为R_bkg×scale的经过尺度缩放后的目标搜索区域。然后通过步骤2中的CNN网络提取目标搜索区域的卷积特征，并以双边插值的方式采样到R_bkg的大小得到当前帧的卷积特征图z_{target_cur}，再利用目标模型计算目标置信图f_target，计算方法如下：

其中，为傅里叶逆变换。最后更新P的坐标，将(x,y)修正为f_target中的最大响应值所对应的坐标：

步骤6以P为中心，提取S个不同尺度的图像子块，然后分别提取每个图像子块的HOG特征，合并后得到当前帧的尺度特征向量z_{scale_cur}(同步骤3中z_{scale_init}的计算方法)。再利用尺度模型W_scale计算尺度置信图：

最后更新目标的尺度scale，计算方法如下：

至此，可以得到跟踪模块在当前帧(第k帧)的输出：以坐标为(x,y)的P为中心，大小为R_init×scale的图像子块TPatch_k。另外，将已经计算完成的f_target中的最大响应值简记为TPeak_k，即TPeak_k＝f_target(x,y)。

步骤7检测模块以全局搜索的方式将滤波模型D与当前帧的整幅图像进行卷积，计算滤波模型D与当前帧各个位置的相似程度。取响应度最高的前j个值(j设定为10)，并分别以这j个值对应的位置点为中心，提取大小为R_init×scale的j个图像子块。将这j个图像子块作为元素，生成一个图像子块集合DPatches_k，即检测模块在第k帧的输出。

步骤8对检测模块输出的集合DPatches_k中各图像子块，分别计算其与跟踪模块输出的TPatch_k之间的像素重叠率，可以得到j个值，将其中最高的值记为如果小于阈值(设定为0.05)，判定为目标被完全遮挡，需要抑制跟踪模块在模型更新时的学习率β，并转步骤9；否则按初始学习率β_init(β_init设定为0.02)进行更新，并转步骤10。β的计算公式如下：

步骤9根据DPatches_k中各图像子块的中心，分别提取大小为R_bkg×scale的j个目标搜索区域，按照步骤5中的方法对每一个目标搜索区域提取卷积特征图并计算目标置信图，可以得到j个目标搜索区域上的最大响应值。在这j个响应值中再进行比较，将最大的值记为DPeak_k。如果DPeak_k大于TPeak_k，则再次更新P的坐标，将(x,y)修正为DPeak_k所对应的坐标。并重新计算目标尺度特征向量和目标尺度scale(同步骤6中的计算方式)。

步骤10目标在当前帧最优的位置中心确定为P，最优尺度确定为scale。在图像中标示出新的目标区域R_new，即以P为中心，宽和高分别为w×scale、h×scale的矩形框。另外，将已经计算完成、并且能够得到最优目标位置中心P的卷积特征图简记为z_target；同样，将能够得到最优目标尺度scale的尺度特征向量简记为z_scale。

步骤11利用z_target、z_scale，以及上一帧建立的跟踪模块中的目标模型和尺度模型W_scale，分别以加权求和的方式进行模型更新，计算方法如下：

其中，β为步骤8计算后的学习率。

步骤12对新的目标区域R_new提取灰度特征后得到当前帧的目标外观表示矩阵A_k，将A_k加入到历史目标表示矩阵集合A_his。如果集合A_his中元素个数大于_c(_c设定为20)，则从A_his中随机选择_c个元素生成一个三维矩阵C_k，C_k(:,i)对应的是A_his中任意一个元素(即二维矩阵A_k)；否则用A_his中所有元素生成矩阵C_k。然后对C_k进行平均化得到二维矩阵，将这个二维矩阵作为检测模块新的滤波模型D，计算方法如下：

步骤13判断是否处理完视频中所有的图像帧，若处理完则算法结束，否则转步骤5继续执行。

有益效果

本发明提出的一种基于卷积特征和全局搜索检测的长时遮挡鲁棒跟踪方法，分别设计了跟踪模块和检测模块，跟踪过程中，两个模块协同工作：跟踪模块主要利用卷积神经网络(Convolutional Neural Network,CNN)提取目标的卷积特征用于构建鲁棒的目标模型，并通过方向梯度直方图(Histogram of Oriented Gradient,HOG)特征构建尺度模型，结合相关滤波方法来分别确定目标的位置中心和尺度；检测模块提取灰度特征构建目标的滤波模型，采用全局搜索的方式在整幅图像中对目标进行快速检测并判断遮挡的发生，一旦目标被完全遮挡(或其它因素导致目标外观剧烈变化)，检测模块利用检测结果修正跟踪目标的位置，并抑制跟踪模块的模型更新，防止引入不必要的噪声从而导致模型漂移和跟踪失败。

优越性：通过在跟踪模块中使用卷积特征和多尺度相关滤波方法，增强了跟踪目标外观模型的特征表达能力，使得跟踪结果对于光照变化、目标尺度变化、目标旋转等因素具有很强的鲁棒性；又通过引入的全局搜索检测机制，使得当目标被长时遮挡导致跟踪失败时，检测模块可以再次检测到目标，使跟踪模块从错误中恢复过来，这样即使在目标外观变化的情况下，也能够被长时间持续地跟踪。

附图说明

图1：基于卷积特征和全局搜索检测的长时遮挡鲁棒跟踪方法流程图

具体实施方式

现结合实施例、附图对本发明作进一步描述：

步骤1读取视频中第一帧图像数据以及目标所在的初始位置信息[x,y,w,h]，其中x,y表示目标中心的横坐标和纵坐标，w,h表示目标的宽和高。将(x,y)对应的坐标点记为P，以P为中心，大小为w×h的目标初始区域记为R_init，再将目标的尺度记为scale，初始化为1。

步骤2以P为中心，确定一个包含目标及背景信息的区域R_bkg，R_bkg的大小为M×N，M＝2w,N＝2h。采用VGGNet-19作为CNN模型，在第5层卷积层(conv5-4)对R'提取卷积特征图z_{target_init}。然后根据z_{target_init}构建跟踪模块的目标模型t∈{1,2,...,T}，T为CNN模型通道数，计算方法如下：

其中，大写的变量为相应的小写变量在频域上的表示，高斯滤波模板m,n为高斯函数自变量，m∈{1,2,...,M}，n∈{1,2,...,N}，σ_target为高斯核的带宽，⊙代表元素相乘运算，上划线表示复共轭，λ₁为调整参数(为了避免分母为0而引入)，设定为0.0001。

步骤3以P为中心，提取S个不同尺度的图像子块，S设定为33。每个子块的大小为w×h×s，变量s为图像子块的尺度因子，s∈[0.7,1.4]。然后分别提取每个图像子块的HOG特征，合并后成为一个S维的HOG特征向量，这里将其命名为尺度特征向量，记为z_{scale_init}。再根据z_{scale_init}构建跟踪模块的尺度模型W_scale，计算方法与步骤2中计算类似(将尺度特征向量替换掉卷积特征图)，具体如下：

其中，s'为高斯函数自变量，s'∈{1,2,...,S}，σ_scale为高斯核的带宽，λ₂为调整参数，设定为0.0001。

步骤4对目标初始区域R_init提取灰度特征，得到的灰度特征表示是一个二维矩阵，这里将该矩阵命名为目标外观表示矩阵，记为A_k，下标k表示当前帧数，初始时k＝1。然后将检测模块的滤波模型D初始化为A₁，即D＝A₁，再初始化历史目标表示矩阵集合A_his。A_his的作用是存储当前及之前每一帧的目标外观表示矩阵，即A_his＝{A₁,A₂,...,A_k}，初始时A_his＝{A₁}。

步骤5读取下一帧图像，仍然以P为中心，提取大小为R_bkg×scale的经过尺度缩放后的目标搜索区域。然后通过步骤2中的CNN网络提取目标搜索区域的卷积特征，并以双边插值的方式采样到R_bkg的大小得到当前帧的卷积特征图z_{target_cur}，再利用目标模型计算目标置信图f_target，计算方法如下：

其中，为傅里叶逆变换。最后更新P的坐标，将(x,y)修正为f_target中的最大响应值所对应的坐标：

步骤6以P为中心，提取S个不同尺度的图像子块，然后分别提取每个图像子块的HOG特征，合并后得到当前帧的尺度特征向量z_{scale_cur}(同步骤3中z_{scale_init}的计算方法)。再利用尺度模型W_scale计算尺度置信图：

最后更新目标的尺度scale，计算方法如下：

至此，可以得到跟踪模块在当前帧(第k帧)的输出：以坐标为(x,y)的P为中心，大小为R_init×scale的图像子块TPatch_k。另外，将已经计算完成的f_target中的最大响应值简记为TPeak_k，即TPeak_k＝f_target(x,y)。

步骤7检测模块以全局搜索的方式将滤波模型D与当前帧的整幅图像进行卷积，计算滤波模型D与当前帧各个位置的相似程度。取响应度最高的前j个值(j设定为10)，并分别以这j个值对应的位置点为中心，提取大小为R_init×scale的j个图像子块。将这j个图像子块作为元素，生成一个图像子块集合DPatches_k，即检测模块在第k帧的输出。

步骤8对检测模块输出的集合DPatches_k中各图像子块，分别计算其与跟踪模块输出的TPatch_k之间的像素重叠率，可以得到j个值，将其中最高的值记为如果小于阈值(设定为0.05)，判定为目标被完全遮挡，需要抑制跟踪模块在模型更新时的学习率β，并转步骤9；否则按初始学习率β_init(β_init设定为0.02)进行更新，并转步骤10。β的计算公式如下：

步骤9根据DPatches_k中各图像子块的中心，分别提取大小为R_bkg×scale的j个目标搜索区域，按照步骤5中的方法对每一个目标搜索区域提取卷积特征图并计算目标置信图，可以得到j个目标搜索区域上的最大响应值。在这j个响应值中再进行比较，将最大的值记为DPeak_k。如果DPeak_k大于TPeak_k，则再次更新P的坐标，将(x,y)修正为DPeak_k所对应的坐标。并重新计算目标尺度特征向量和目标尺度scale(同步骤6中的计算方式)。

步骤10目标在当前帧最优的位置中心确定为P，最优尺度确定为scale。在图像中标示出新的目标区域R_new，即以P为中心，宽和高分别为w×scale、h×scale的矩形框。另外，将已经计算完成、并且能够得到最优目标位置中心P的卷积特征图简记为z_target；同样，将能够得到最优目标尺度scale的尺度特征向量简记为z_scale。

步骤11利用z_target、z_scale，以及上一帧建立的跟踪模块中的目标模型和尺度模型W_scale，分别以加权求和的方式进行模型更新，计算方法如下：

其中，β为步骤8计算后的学习率。

步骤12对新的目标区域R_new提取灰度特征后得到当前帧的目标外观表示矩阵A_k，将A_k加入到历史目标表示矩阵集合A_his。如果集合A_his中元素个数大于_c(_c设定为20)，则从A_his中随机选择_c个元素生成一个三维矩阵C_k，C_k(:,i)对应的是A_his中任意一个元素(即二维矩阵A_k)；否则用A_his中所有元素生成矩阵C_k。然后对C_k进行平均化得到二维矩阵，将这个二维矩阵作为检测模块新的滤波模型D，计算方法如下：

步骤13判断是否处理完视频中所有的图像帧，若处理完则算法结束，否则转步骤5继续执行。

Claims (6)

1.一种基于卷积特征和全局搜索检测的长时遮挡鲁棒跟踪方法，其特征在于步骤如下：

步骤1：读取视频中第一帧图像数据以及目标所在的初始位置信息[x,y,w,h]，其中x,y表示目标中心的横坐标和纵坐标，w,h表示目标的宽和高；将(x,y)对应的坐标点记为P，以P为中心，大小为w×h的目标初始区域记为R_init，再将目标的尺度记为scale，初始化为1；

步骤2：以P为中心，确定一个包含目标及背景信息的区域R_bkg，R_bkg的大小为M×N，M＝2w,N＝2h；采用VGGNet-19作为CNN模型，在第5层卷积层(conv5-4)对R'提取卷积特征图z_{target_init}；然后根据z_{target_init}构建跟踪模块的目标模型t∈{1,2,...,T}，T为CNN模型通道数，计算方法如下：

其中：大写的变量为相应的小写变量在频域上的表示，高斯滤波模板m,n为高斯函数自变量，m∈{1,2,...,M}，n∈{1,2,...,N}，σ_target为高斯核的带宽，⊙代表元素相乘运算，上划线表示复共轭，λ₁为调整参数；

步骤3：以P为中心，提取S个不同尺度的图像子块，S设定为33；每个子块的大小为w×h×s，变量s为图像子块的尺度因子，s∈[0.7,1.4]；然后分别提取每个图像子块的HOG特征，合并后成为一个S维的HOG特征向量，并命名为尺度特征向量，记为z_{scale_init}；再根据z_{scale_init}构建跟踪模块的尺度模型W_scale，计算方法如下：

其中，s'为高斯函数自变量，s'∈{1,2,...,S}，σ_scale为高斯核的带宽，λ₂为调整参数；

步骤4：对目标初始区域R_init提取灰度特征，得到的灰度特征表示的二维矩阵，命名为目标外观表示矩阵，记为A_k，下标k表示当前帧数，初始时k＝1；然后将检测模块的滤波模型D初始化为A₁，即D＝A₁，再初始化历史目标表示矩阵集合A_his；A_his为存储当前及之前每一帧的目标外观表示矩阵，即A_his＝{A₁,A₂,...,A_k}，初始时A_his＝{A₁}；

步骤5：读取下一帧图像，仍然以P为中心，提取大小为R_bkg×scale的经过尺度缩放后的目标搜索区域；然后通过步骤2中的CNN网络提取目标搜索区域的卷积特征，并以双边插值的方式采样到R_bkg的大小得到当前帧的卷积特征图z_{target_cur}，再利用目标模型计算目标置信图f_target，计算方法如下：

其中，为傅里叶逆变换。最后更新P的坐标，将(x,y)修正为f_target中的最大响应值所对应的坐标：

$(x,y)=\underset{x^{\′},y^{\′}}{\arg max}\left(f_{t\arg et}\right(x^{\′},y^{\′}\left)\right);$

步骤6：以P为中心，提取S个不同尺度的图像子块，然后分别提取每个图像子块的HOG特征，合并后得到当前帧的尺度特征向量z_{scale_cur}，同步骤3中z_{scale_init}的计算方法；再利用尺度模型W_scale计算尺度置信图：

最后更新目标的尺度scale，计算方法如下：

$scale=\underset{s^{\′\′}}{\arg max}\left(f_{scale}\right(s^{\′\′}\left)\right)$

得到跟踪模块在当前帧(第k帧)的输出：以坐标为(x,y)的P为中心，大小为R_init×scale的图像子块TPatch_k；另外，将已经计算完成的f_target中的最大响应值简记为TPeak_k，即TPeak_k＝f_target(x,y)；

步骤7：检测模块以全局搜索的方式将滤波模型D与当前帧的整幅图像进行卷积，计算滤波模型D与当前帧各个位置的相似程度；取响应度最高的前j个值，并分别以j个值对应的位置点为中心，提取大小为R_init×scale的j个图像子块；将j个图像子块作为元素，生成一个图像子块集合DPatches_k，即检测模块在第k帧的输出；

步骤8：分别计算检测模块输出的集合DPatches_k中各图像子块与跟踪模块输出的TPatch_k之间的像素重叠率，得到j个值，将其中最高的值记为如果小于阈值判定为目标被完全遮挡，需要抑制跟踪模块在模型更新时的学习率β，并转步骤9；否则按初始学习率β_init进行更新，并转步骤10；

所述β的计算公式如下：

步骤9：根据DPatches_k中各图像子块的中心，分别提取大小为R_bkg×scale的j个目标搜索区域，按照步骤5中的方法对每一个目标搜索区域提取卷积特征图并计算目标置信图，得到j个目标搜索区域上的最大响应值；在j个响应值中的最大的值记为DPeak_k；如果DPeak_k大于TPeak_k，则再次更新P的坐标，将(x,y)修正为DPeak_k所对应的坐标；并重新计算目标尺度特征向量和目标尺度scale，采用步骤6中的计算方式；

步骤10：目标在当前帧最优的位置中心确定为P，最优尺度确定为scale；在图像中标示出新的目标区域R_new，以P为中心，宽和高分别为w×scale、h×scale的矩形框；另外，将已经计算完成、并且能够得到最优目标位置中心P的卷积特征图简记为z_target；同样，将能够得到最优目标尺度scale的尺度特征向量简记为z_scale；

步骤11：利用z_target、z_scale，以及上一帧建立的跟踪模块中的目标模型和尺度模型W_scale，分别以加权求和的方式进行模型更新，计算方法如下：

$W_{t\arg et}^t=W_{t\arg et\_new}^t$

W_scale＝W_{scale_new}；

步骤12：对新的目标区域R_new提取灰度特征后得到当前帧的目标外观表示矩阵A_k，将A_k加入到历史目标表示矩阵集合A_his；如果集合A_his中元素个数大于c，则从A_his中随机选择c个元素生成一个三维矩阵C_k，C_k(:,i)对应的是A_his中任意一个元素、即二维矩阵A_k；否则用A_his中所有元素生成矩阵C_k；然后对C_k进行平均化得到二维矩阵，将这个二维矩阵作为检测模块新的滤波模型D，计算方法如下：

$D=\left\{\begin{array}{cc}\frac{1}{c}\underset{i=1,\mathrm{...},c}{\Σ}C(:,i),& \begin{array}{cc}if& \left|A_{his}\right|>c\end{array}\\ \frac{1}{\left|A_{his}\right|}\underset{i=1,\mathrm{...},\left|A_{his}\right|}{\Σ}C(:,i),& otherwise\end{array}\right.$

步骤13：若处理完视频中所有的图像帧则算法结束，否则转步骤5继续执行。

2.根据权利要求1所述基于卷积特征和全局搜索检测的长时遮挡鲁棒跟踪方法，其特征在于：所述调整参数λ₁和λ₂设定为0.0001。

3.根据权利要求1所述基于卷积特征和全局搜索检测的长时遮挡鲁棒跟踪方法，其特征在于：所述j值设定为10。

4.根据权利要求1所述基于卷积特征和全局搜索检测的长时遮挡鲁棒跟踪方法，其特征在于：所述阈值设定为0.05。

5.根据权利要求1所述基于卷积特征和全局搜索检测的长时遮挡鲁棒跟踪方法，其特征在于：所述初始学习率β_init设定为0.02。

6.根据权利要求1所述基于卷积特征和全局搜索检测的长时遮挡鲁棒跟踪方法，其特征在于：所述c设定为20。