CN105654518A - 一种基于方差估计的跟踪模板自适应方法 - Google Patents

Abstract

本发明提供一种基于方差估计的跟踪模板自适应方法，包括如下步骤：步骤a：获取目标的初始中心位置以及以根据所述初始中心位置而确定的初始位置框，初始中心位置记为x^*；步骤b：基于所述初始位置框获取所述目标的特征；步骤c：根据步骤b获得的所述特征建立目标跟踪模板；步骤d：利用步骤c获得的所述目标跟踪模板对所述目标进行跟综，获得目标的当前时刻中心位置；以及步骤e：根据目标的当前时刻中心位置更新所述目标跟踪模板的尺度。采用本发明方法，能提高跟踪的鲁棒性，实时性和准确性。

Description

一种基于方差估计的跟踪模板自适应方法

技术领域

本发明涉及视频目标跟踪领域，尤其涉及一种基于方差估计的跟踪模板自适应方法。

背景技术

目标跟踪一直是计算机视觉领域的热点之一，广泛应用于运动分析、行为识别、监控、人机交互等多种领域。目标跟踪的难点在于目标自身的姿态、外观的变化，目标间的遮挡，环境的变化影响跟踪的准确性。基于外观特征在线学***衡外观模型的有效性和计算效率，越精确有效的模型学习需要越多样本和越多的学习时间，因此往往为满足实时要求而降低模型的精确性。为此，如核相关滤波等算法充分利用目标模板样本的冗余性和空间循环特性，采用快速傅立叶变换实现快速在线学习，在保证模型学习有效性的同时大大提高了计算速度，获得了较为优秀的实时跟踪性能。

然而，目前几乎所有基于外观模型在线学习跟踪算法均面临一个共同问题，即目标跟踪的模板从初始化后无法进行尺度自适应变化，在目标在远近运动尺度发生变化时，跟踪性能大为下降，如图1所示。

发明内容

本发明针对目前基于外观模型在线学习跟踪算法中模板无法自适应变化的问题，提出一种变模板尺度的稠密时空上下文学习的跟踪算法，可以提高跟踪准确性并满足实时性。

本发明的一种基于方差估计的跟踪模板自适应方法，包括如下步骤：

步骤a：获取目标的初始中心位置以及以根据所述初始中心位置而确定的初始位置框，初始中心位置记为x^*；

步骤b：基于所述初始位置框获取所述目标的特征；

步骤c：根据步骤b获得的所述特征建立目标跟踪模板；

步骤d：利用步骤c获得的所述目标跟踪模板对所述目标进行跟综，获得目标的当前时刻中心位置；以及

步骤e：根据目标的当前时刻中心位置更新所述目标跟踪模板的尺度。

优选地，步骤b中，所述特征为灰度特征、HOG特征或SURF特征。

优选地，步骤b中进一步包括将初始位置框扩大为包含跟踪目标周边背景的扩展目标框的步骤。

优选地，步骤d中对所述目标跟踪模板和高斯加权后的扩展目标框分别做傅立叶变换，在频域中根据贝叶斯公式计算得到置信度的频域矩阵，进而通过傅立叶反变换得到置信度响应图，其中最大响应值所在位置即为目标的当前时刻中心位置如下公式：

$x_{t+1}^{*}=\underset{x\∈{\mathrm{\Ω}}_c\left(x_t^{*}\right)}{\arg \max }\{T_{t+1}^{stc}\left(x\right)\⊗\left({\stackrel{\‾}{I}}_{t+1}\right(x\left){\mathrm{\ω}}_{{\mathrm{\σ}}_t}\right(x-x_t^{*}\left)\right)\},$

其中，表示卷积运算，Ω_c(x^*)表示x^*的扩展目标框范围内的邻域点的集合，x表示属于Ω_c(x^*)中的点，下标t,t+1表示时刻，表示t+1时刻的跟踪模板，表示t+1时刻位置x处均值化的灰度像素值。

优选地，步骤e进一步包括以下步骤：

步骤e1：设标准响应为u，实际目标响应为r，则：

$u=e^{-(x^2+y^2)/\left(2{\mathrm{\σ}}^2\right)}$

$r=e^{-(x^2+y^2)/\left(2{\mathrm{\σ}}_r^2\right)}$

其中x，y表示当前目标框内的空间像素点坐标，w，h分别为目标框的宽和高，λ取为0～1之间的常量；σ_r表示实际目标的高斯拟合标准差；

步骤e2：根据当前目标框的宽和高以及目标框像素点位置可计算出标准响应u，进而可以得到估计响应的高斯标准差：

${\widehat{\mathrm{\σ}}}_r=\sqrt{\frac{x^2+y^2}{(x^2+y^2)/{\mathrm{\σ}}^2+2log(u/r)}},$

其中，x，y分别采用标准响应较高的一组样本，可以得到一组不同的估计响应高斯标准差，记为为去除误差，取中值滤波的结果作为当前目标的估计高斯标准差σ_r；

步骤e3：设当前尺度缩放比例为s，则有

$\frac{\mathrm{\σ}}{{\mathrm{\σ}}_r}=\frac{\mathrm{\λ}\sqrt{w\·h}}{\mathrm{\λ}\sqrt{(s\·w)(s\·h)}},$

得到缩放比例s＝σ_r/σ，则通过所述缩放比例s更新当前目标框的宽和高分别为：

w′＝w/s，h′＝h/s。

优选地，步骤e之后还包括：

步骤f：重复以上步骤b～e，继续进行跟踪操作以更新目标跟踪模板的尺度。

本发明的有益效果在于：

1、可变尺度的时空上下文学习跟踪算法能够利用目标与周围背景空间时间关系，提高跟踪的鲁棒性，采用快速傅立叶变换能够满足实时性。

2、采用置信度响应的方差估计来实现跟踪模板的尺度更新，解决了基于模板跟踪算法的共性问题，使目标在有远近尺度变化时提高跟踪的准确性。

附图说明

图1是现有的无尺度变化的跟踪结果示意图。

图2是利用本发明方法的跟踪过程中尺度变化的跟踪结果示意图。

图3是根据本发明的基于方差估计的跟踪模板自适应方法的流程图。

具体实施方式

以下结合附图对本发明进行详细说明。以下实施例并不是对本发明的限制。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中。

下面接合图1-3来详细说明本发明的基于方差估计的跟踪模板自适应方法。如图3所示，本发明包括如下步骤。

步骤a：获取目标的初始中心位置以及以根据所述初始中心位置而确定的初始位置框，初始中心位置记为x^*。

步骤a中，可以通过如下方法获得初始中心位置以及初始位置框：

1、在具有人机交互功能的场合，通过手动确定跟踪目标的初始中心位置和初始区域。

2、采用目标检测技术，如HOG、可变形部件模型(DPM)、深度学习等方法检测特定目标，如车、行人等，以获得跟踪目标的初始中心位置和初始区域。

3、采用背景建模方法，提取运动目标作为跟踪初始目标，以获得跟踪目标的初始中心位置和初始区域。

步骤b：基于所述初始位置框获取所述目标的特征。所述特征可以是灰度特征、HOG特征或SURF特征。本实施例中采用灰度特征。

下面介绍获得灰度特征的步骤。

步骤b1：获取初始目标位置框后，适当扩大为包含目标周边背景的扩展目标框，该区域为x^*的邻域。所述扩展目标框的区域为x^*的邻域，其上下文特征点集合记为：X^c＝{c(x)＝(I(x)，x)|x∈Ω_c(x^*)}，其中I(x)表示位置x处的图像像素值，Ω_c(x^*)表示x^*的扩展目标框范围内的邻域点的集合。这里，为表示方便，用c(x)表示式中(I(x),x)像素值与位置的二元组。

步骤b2：提取所述扩展目标框内所述目标的灰度特征，为消除光线变化的影响，对灰度特征值做去均值操作，得到灰度特征其中为所述目标框内像素值的平均值；

步骤b3：根据以目标中心为关注点的视觉先验，对所述灰度特征的扩展目标框进行高斯加权，突出中心位置的权值，即先验模型为其中，ω_σ＝(x-x^*)＝aexp[-(x-x^*)²/σ²]，a为归一化常数，σ为尺度参数，具体取σ＝(w+h)/2，这里w，h分别为目标框的宽和高。通过本步骤得到的灰度特征更具有鲁棒性和抗干扰性。

步骤c：根据步骤b获得的所述特征建立目标跟踪模板。具体包括以下步骤：

步骤c1：根据跟踪目标处于所述扩展目标框中心的假设，计算高斯型后验概率置信度矩阵B，B＝bexp[-|(x-x^*)/α|^β]，

其中，b为归一化常数，尺寸参数α＝2.25(经验值)，形状参数β＝1(经验值)，x为Ω_c(x^*)中的点。

步骤c2：分别对所述灰度特征的所述扩展目标框和所述后验概率置信度矩阵做傅立叶变换，并在频域中根据贝叶斯公式计算得到条件概率矩阵，再对所述条件概率矩阵做傅立叶反变换作为目标跟踪模板，即

$T^{sc}\left(x\right)=F^{-1}\left(\frac{F\left({\mathrm{be}}^{-|\frac{x-x^{*}}{\mathrm{\α}}{|}^{\mathrm{\β}}}\right)}{F\left(\stackrel{\‾}{I}\right(x){\mathrm{\ω}}_{\mathrm{\σ}}(x-x^{*}))}\right)$

其中，F和F^-1分别为傅立叶变换及反变换，T^sc为学习到的当前目标跟踪模板。

如果已存在历史跟踪模板的情况下，则步骤c2之后还进一步包括：

步骤c3：通过步骤c2中新计算的目标跟踪模板与历史跟踪模板进行加权和来更新所述历史跟踪模板，即特殊地，当t＝1时，时刻t＝1,...,n，为t时刻计算出当前的跟踪模板，和分别为t时刻和t+1时刻累计的历史跟踪模板的叠加，权值参数ρ＝0.075，所述权值参数反映更新速率。

接下来是步骤d：利用步骤c获得的所述目标跟踪模板对所述目标进行跟综，获得目标的当前时刻中心位置。

具体地，对所述目标跟踪模板和高斯加权后的扩展目标框分别做傅立叶变换，在频域中根据贝叶斯公式计算得到置信度的频域矩阵，进而通过傅立叶反变换得到置信度响应图，其中最大响应值所在位置即为目标的当前时刻中心位置如下公式：

$x_{t+1}^{*}=\underset{x\∈{\mathrm{\Ω}}_c\left(x_t^{*}\right)}{\arg \max }\{T_{t+1}^{stc}\left(x\right)\⊗\left({\stackrel{\‾}{I}}_{t+1}\right(x\left){\mathrm{\ω}}_{{\mathrm{\σ}}_t}\right(x-x_t^{*}\left)\right)\},$

其中，表示卷积运算，Ω_c(x^*)表示x^*的扩展目标框范围内的邻域点的集合，x表示属于Ω_c(x^*)中的点，下标t,t+1表示时刻，表示t+1时刻的跟踪模板，表示t+1时刻位置x处均值化的灰度像素值。

步骤e：根据目标的当前时刻中心位置更新所述目标跟踪模板的尺度。具体地，进一步包括如下步骤：

步骤e1：设标准响应为u，实际目标响应为r，则：

$u=e^{-(x^2+y^2)/\left(2{\mathrm{\σ}}^2\right)}$

$r=e^{-(x^2+y^2)/\left(2{\mathrm{\σ}}_r^2\right)}$

其中x，y表示当前目标框内的空间像素点坐标，尺度w，h分别为目标框的宽和高，λ取为0～1之间的常量；σ_r表示实际目标的高斯拟合标准差；

步骤e2：根据当前目标框宽高和目标框像素点位置可计算出标准响应u，进而可以得到估计响应的高斯标准差：

${\widehat{\mathrm{\σ}}}_r=\sqrt{\frac{x^2+y^2}{(x^2+y^2)/{\mathrm{\σ}}^2+2log(u/r)}},$

其中，x，y分别采用标准响应较高的一组样本，可以得到一组不同的估计响应高斯标准差，记为为去除误差，取中值滤波的结果作为当前目标的估计高斯标准差σ_r；

步骤e3：设当前尺度缩放比例为s，则有

$\frac{\mathrm{\σ}}{{\mathrm{\σ}}_r}=\frac{\mathrm{\λ}\sqrt{w\·h}}{\mathrm{\λ}\sqrt{(s\·w)(s\·h)}},$

得到s＝σ_r/σ，则更新当前目标框的宽、高分别为：w′＝w/s，h′＝h/s。

这样，即可获得目标跟踪模板的当前时刻的尺度，包括宽度w’和高度h’。

在步骤e更新模板后，还包括步骤f，即重复以上步骤b～e，根据当前时刻更新的目标跟踪模板的尺度继续进行跟踪操作以不断更新目标跟踪模板的尺度，使得目标跟踪框能够随着目标的尺度变化而相应变化。

图2为跟踪过程中尺度变化的结果，与图1物尺度变化的跟踪结果相比，目标框更为准确。

本发明采用稠密时空上下文学习算法并通过方差估计的方法来实现目标模板自适应尺度变化，不但能够提高跟踪准确性及满足实时性，还解决了基于外观模型在线学习这类算法无法自适应更新模板尺度的共性问题。

显然，本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明的权利要求书范围内。

Claims (6)

1.一种基于方差估计的跟踪模板自适应方法，其特征在于，包括如下步骤：

步骤a：获取目标的初始中心位置以及以根据所述初始中心位置而确定的初始位置框，初始中心位置记为x^*；

步骤b：基于所述初始位置框获取所述目标的特征；

步骤c：根据步骤b获得的所述特征建立目标跟踪模板；

步骤d：利用步骤c获得的所述目标跟踪模板对所述目标进行跟综，获得目标的当前时刻中心位置；以及

步骤e：根据目标的当前时刻中心位置更新所述目标跟踪模板的尺度。

2.根据权利要求1所述的方法，其特征在于，步骤b中，所述特征为灰度特征、HOG特征或SURF特征。

3.根据权利要求2所述的方法，其特征在于，步骤b中进一步包括将初始位置框扩大为包含跟踪目标周边背景的扩展目标框的步骤。

4.根据权利要求3所述的方法，其特征在于，步骤d中对所述目标跟踪模板和高斯加权后的扩展目标框分别做傅立叶变换，在频域中根据贝叶斯公式计算得到置信度的频域矩阵，进而通过傅立叶反变换得到置信度响应图，其中最大响应值所在位置即为目标的当前时刻中心位置如下公式：

$x_{t+1}^{*}=\underset{x\∈{\mathrm{\Ω}}_c\left(x_t^{*}\right)}{\arg \max }\{T_{t+1}^{stc}\left(x\right)\⊗\left({\stackrel{\‾}{I}}_{t+1}\right(x\left){\mathrm{\ω}}_{{\mathrm{\σ}}_t}\right(x-x_t^{*}\left)\right)\},$

其中，表示卷积运算，Ω_c(x^*)表示x^*的扩展目标框范围内的邻域点的集合，x表示属于Ω_c(x^*)中的点，下标t,t+1表示时刻，表示t+1时刻的跟踪模板，表示t+1时刻位置x处均值化的灰度像素值。

5.根据权利要求4所述的方法，其特征在于，步骤e进一步包括以下步骤：

步骤e1：设标准响应为u，实际目标响应为r，则：

$u=e^{-(x^2+y^2)/\left(2{\mathrm{\σ}}^2\right)}$

$r=e^{-(x^2+y^2)/\left(2{\mathrm{\σ}}_r^2\right)}$

其中x，y表示当前目标框的空间像素点坐标，w，h分别为目标框的宽和高，λ取为0～1之间的常量；σ_r表示实际目标的高斯拟合标准差；

步骤e2：根据当前目标框的宽和高以及目标框像素点位置可计算出标准响应u，进而可以得到估计响应的高斯标准差：

${\widehat{\mathrm{\σ}}}_r=\sqrt{\frac{x^2+y^2}{(x^2+y^2)/{\mathrm{\σ}}^2+2log(u/r)}},$

其中，x，y分别采用标准响应较高的一组样本，可以得到一组不同的估计响应高斯标准差，记为为去除误差，取中值滤波的结果作为当前目标的估计高斯标准差σ_r；

步骤e3：设当前尺度缩放比例为s，则有

$\frac{\mathrm{\σ}}{{\mathrm{\σ}}_r}=\frac{\mathrm{\λ}\sqrt{w\·h}}{\mathrm{\λ}\sqrt{(s\·w)(s\·h)}},$

得到缩放比例s＝σ_r/σ，则通过所述缩放比例s更新当前目标框的宽和高分别为：w′＝w/s，h′＝h/s。

6.根据权利要求1所述的方法，其特征在于，步骤e之后还包括：

步骤f：重复以上步骤b～e，继续进行跟踪操作以更新目标跟踪模板的尺度。