CN106683110A - 用户终端及其目标跟踪方法及装置 - Google Patents

Abstract

用户终端及其目标跟踪方法及装置，所述方法包括：依据图像帧甲，训练目标的参数模型；依据训练的所述目标的参数模型，预测所述目标在图像帧乙中的位置；所述训练目标的参数模型包括：训练目标的第一参数模型和训练目标的第二参数模型；所述目标的第二参数模型为：依据目标的FHOG特征和目标的颜色特征的组合来描述所述目标的模型。本发明在进行目标跟踪时，在跟踪——检测框架下利用KCF算法中的相关性滤波器，加入了由FHOG特征和颜色特征所构成的组合特征来提高算法的性能。该方案是一种利用了多种特征来表达信息的目标跟踪算法，不仅具有较高的实时性，还能有效应对复杂背景、光照、非刚性变换等不利因素对目标跟踪带来的不利影响。

Description

用户终端及其目标跟踪方法及装置

技术领域

本发明涉及无线通信技术领域，特别是涉及一种用户终端及其目标跟踪方法及装置。

背景技术

智能人机交互是未来手机多媒体应用的发展方向，而目标跟踪(tracking)则是智能人机交互的基础，现有技术中存在多种目标跟踪算法。所谓目标跟踪算法，给定一组视频序列和目标的初始位置，目标跟踪算法可以自动定位视频序列中目标的位置。

现有技术中存在以下两类目标跟踪算法：

1)跟踪——检测算法(tracking-by-detection)

该类算法一般包含两大步骤，训练(training)和检测(detection)。训练一般指根据前一帧的目标位置提取样本然后利用机器学习算法训练参数模型。而检测则是根据上一帧训练的参数模型对当前帧的样本进行分类，预测当前帧的目标位置，然后提取当前帧的样本以更新参数模型，用于预测下一帧的目标位置。

2)相关性跟踪算法(correlation tracking)

目前，相关性滤波器(correlation filters)已广泛使用在诸如目标检测和识别等许多应用中。由于其运算操作很容易转移在傅里叶域中的逐点相乘运算(element-wise multiplication)，相关性滤波器在视觉跟踪领域引起了大范围的关注。Bolme等人提出了在灰度图上学习平方和最小输出误差(MOSSE)跟踪算法；Heriques等人提出了循环结构核函数((circulant structure kernels，CSK)的跟踪算法，该算法在内核空间(kernel space)使用相关滤波器进行目标跟踪，并且在最近的一项基准中达到最高的速度，之后，该组人员提出了核相关滤波(kernelized correlation filters，KCF)算法，该算法在CSK的基础上加入HOG特征进一步提高算法性能。

包括以上两类目标跟踪算法在内的现有技术方案主要存在以下两方面缺陷：

a)在特征提取步骤中通常采用灰度、颜色或HOG等单一特征，由于不同特征在不同场景中表现效果不同，单一特征无法适应于多个不同场景。

b)目前诸如CSK、MOSSE和KCF等一些目标跟踪算法只能估计目标偏移的位置，这样导致在跟踪目标发生较大尺度变化时算法的跟踪性能变差，而另一些目标跟踪算法则只能在低帧率时估计尺度变化，无法满足实时跟踪的要求。也就是说，在跟踪目标的尺度变化和跟踪的实时性上两者难以兼顾。

发明内容

本发明解决的技术问题是：在进行目标跟踪时，如何在保证跟踪的实时性的基础上，适应跟踪目标较大的尺度变化、以及适应多种不同场景。

为了解决上述技术问题，本发明实施例提供一种目标跟踪方法，包括：

依据图像帧甲，训练目标的参数模型；

依据训练的所述目标的参数模型，预测所述目标在图像帧乙中的位置；

所述训练目标的参数模型包括：训练目标的第一参数模型和训练目标的第二参数模型；

所述训练目标的第一参数模型包括：通过KCF算法训练目标的第一参数模型；

所述目标的第二参数模型为：依据目标的FHOG特征和目标的颜色特征的组合来描述所述目标的模型。

可选的，所述目标的第一参数模型为预测目标偏移的模型，所述目标的第二参数模型为预测目标尺度的模型，所述目标的第一参数模型和目标的第二参数模型为基于核相关滤波器的回归模型。

可选的，所述目标的FHOG特征为：目标的FHOG特征向量中的9维对比度不敏感特征和4维纹理特征。

可选的，所述训练目标的第二参数模型包括：

将图像帧甲从RGB颜色空间转化为HSI颜色空间；

获取目标在HSI颜色空间的图像帧甲中的色调分量和饱和度分量；

将所述色调分量对应于FHOG特征中的一阶梯度的方向，将所述饱和度分量对应于FHOG特征中的一阶梯度的幅值，计算得出饱和度分量在色调分量方向上的直方图特征，作为目标的颜色特征。

可选的，所述目标的颜色特征为：目标在HSI颜色空间下9维饱和度分量在色调分量方向上的直方图特征和目标在HSI颜色空间下的4维纹理特征。

可选的，所述通过KCF算法训练目标的第一参数模型包括：

以目标为中心的附近区域采集大小为W×H的图像样本x训练KCF分类器；

利用循环移位矩阵的性质和扩充图像，KCF将所有的循环移位样本x_w,h，(w,h)∈{0,1,...,W-1}×{0,1,...,H-1}作为所述KCF分类器的训练样本；

回归目标y中心点值为1，离中心点越远的位置其值越衰减，在目标边缘衰减至0，其中，y_w,h表示x_w,h的标签；

找到如下函数：

f(z)＝w^Tz

使得样本x_w,h和其回归目标y_w,h的均方误差最小，即：

其中，φ表示通过核函数κ将样本映射到Hilbert空间，x和x′的内积表示为：

<f(x),f(x′)>＝κ(x,x′)

其中，λ表示正则项系数；

将线性问题的输入映射到非线性特征空间φ(x)后其解w表示为：

向量α的解为：

其中，F表示傅里叶正变换，F^-1表示傅里叶逆变换；其中，(k^x)＝κ(x_w,h,x)；

向量α包含了所有的α(w,h)系数；处理每一帧图像帧中的目标时更新目标外观模型；所述第一参数模型包含学习到的目标外观模型和分类器系数F(α)。

可选的，所述依据训练的所述目标的参数模型，预测所述目标在图像帧乙中的位置包括如下步骤：在当前帧中通过计算置信度得分预测当前帧的目标位置，预测公式如下：

其中，表示逐点相乘，表示学习到的目标外观模型。

可选的，所述目标跟踪方法还包括：预先设定第一阈值；所述目标跟踪方法还包括：在所述预测所述目标在图像帧乙中的位置之后，在预测目标偏移位置的置信度大于所述第一阈值的情况下，进行尺度估计。

可选的，所述进行尺度估计包括：

假设P×Q为图像帧乙中的预测到的目标大小，N表示尺度的数量，则尺度S表示为：

其中，a表示尺度参数；对于s∈S：

将中心为预测目标位置和大小为sP×sQ的图像样本缩放到大小为P×Q的样本；

采用FHOG特征构建尺度特征金字塔；其中，表示回归目标的相关性响应映射；

则目标的最优尺度为：

。

为了解决上述技术问题，本发明实施例还提供一种目标跟踪装置，包括：模型训练单元和目标预测单元；其中：

模型训练单元，适于依据图像帧甲，训练目标的参数模型；

目标预测单元，适于在所述模型训练单元执行操作之后，依据训练的所述目标的参数模型，预测所述目标在图像帧乙中的位置；

所述训练目标的参数模型包括：训练目标的第一参数模型和训练目标的第二参数模型；

所述训练目标的第一参数模型包括：通过KCF算法训练目标的第一参数模型；

所述目标的第二参数模型为：依据目标的FHOG特征和目标的颜色特征的组合来描述所述目标的模型。

可选的，所述目标的第一参数模型为预测目标偏移的模型，所述目标的第二参数模型为预测目标尺度的模型，所述目标的第一参数模型和目标的第二参数模型为基于核相关滤波器的回归模型。

可选的，所述目标的FHOG特征为：目标的FHOG特征向量中的9维对比度不敏感特征和4维纹理特征。

可选的，所述模型训练单元包括：HSI转化子单元、分量获取子单元和颜色特征计算子单元；其中：

HSI转化子单元，适于将图像帧甲从RGB颜色空间转化为HSI颜色空间；

分量获取子单元，适于在所述HSI转化子单元执行操作之后，获取目标在HSI颜色空间的图像帧甲中的色调分量和饱和度分量；

颜色特征计算子单元，适于在所述分量获取子单元执行操作之后，将所述色调分量对应于FHOG特征中的一阶梯度的方向，将所述饱和度分量对应于FHOG特征中的一阶梯度的幅值，计算得出饱和度分量在色调分量方向上的直方图特征，作为目标的颜色特征。

可选的，所述目标的颜色特征为：目标在HSI颜色空间下9维饱和度分量在色调分量方向上的直方图特征和目标在HSI颜色空间下的4维纹理特征。

可选的，所述通过KCF算法训练目标的第一参数模型包括：

以目标为中心的附近区域采集大小为W×H的图像样本x训练KCF分类器；

利用循环移位矩阵的性质和扩充图像，KCF将所有的循环移位样本x_w,h，(w,h)∈{0,1,...,W-1}×{0,1,...,H-1}作为所述KCF分类器的训练样本；

回归目标y中心点值为1，离中心点越远的位置其值越衰减，在目标边缘衰减至0，其中，y_w,h表示x_w,h的标签；

找到如下函数：

f(z)＝w^Tz

使得样本x_w,h和其回归目标y_w,h的均方误差最小，即：

其中，φ表示通过核函数κ将样本映射到Hilbert空间，x和x′的内积表示为：

<f(x),f(x′)>＝κ(x,x′)

其中，λ表示正则项系数；

将线性问题的输入映射到非线性特征空间φ(x)后其解w表示为：

向量α的解为：

其中，F表示傅里叶正变换，F^-1表示傅里叶逆变换；其中，(k^x)＝κ(x_w,h,x)；

向量α包含了所有的α(w,h)系数；处理每一帧图像帧中的目标时更新目标外观模型；所述第一参数模型包含学习到的目标外观模型和分类器系数F(α)。

可选的，所述目标预测单元所述依据训练的所述目标的参数模型，预测所述目标在图像帧乙中的位置包括：在当前帧中通过计算置信度得分预测当前帧的目标位置，预设公式如下：

其中，表示逐点相乘，表示学习到的目标外观模型。

可选的，所述目标跟踪装置还包括：阈值设定单元，适于预先设定第一阈值；所述目标跟踪装置还包括：尺度估计单元，适于在所述目标预测单元执行操作之后，在预测目标偏移位置的置信度大于所述第一阈值的情况下，进行尺度估计。

可选的，所述进行尺度估计包括：

假设P×Q为图像帧乙中的预测到的目标大小，N表示尺度的数量，则尺度S表示为：

其中，a表示尺度参数；对于s∈S：

将中心为预测目标位置和大小为sP×sQ的图像样本缩放到大小为P×Q的样本；

采用FHOG特征构建尺度特征金字塔；其中，表示回归目标的相关性响应映射；

则目标的最优尺度为：

。

为了解决上述技术问题，本发明实施例还提供一种用户终端，包括如上所述的目标跟踪装置。

可选的，所述用户终端为智能手机或平板电脑。

与现有技术相比，本发明的技术方案具有以下有益效果：

在进行目标跟踪时，在跟踪——检测框架下利用KCF算法中的相关性滤波器，加入了由FHOG特征和(HSI)颜色特征所构成的组合特征来提高算法的性能。该方案是一种利用了多种特征来表达信息的目标跟踪算法，不仅具有较高的实时性，还能有效应对复杂背景、光照、非刚性变换(non-rigiddeformation)等不利因素对目标跟踪带来的不利影响。

进一步地，目标的FHOG特征向量中不包含18维对比度敏感特征，且由于(HSI)颜色特征的存在，在不考虑FHOG特征向量中的18维对比度敏感特征的情况下，对目标跟踪的效果影响不大。得到的FHOG特征和(HSI)颜色特征所构成的组合特征的维度为13+13＝26维，相对于现有技术中31维的FHOG特征(包含18维对比度敏感特征)而言，维度更少。

进一步地，将图像帧从RGB颜色空间转化为HSI颜色空间，将所述色调分量对应于FHOG特征中的一阶梯度的方向，将所述饱和度分量对应于FHOG特征中的一阶梯度的幅值，计算得出饱和度分量在色调分量方向上的直方图特征，作为目标的颜色特征，使得本实施例中的颜色特征与FHOG特征拥有相似的结构(均是基于胞元)，从而便于两者的衔接及配合使用。

进一步地，还加入了尺度估计来进一步提高算法的性能。

附图说明

图1为本发明实施例中目标跟踪方法流程图；

图2为本发明实施例中训练目标的第二参数模型的方法流程图；

图3为本发明实施例中目标跟踪装置结构框图。

具体实施方式

根据背景技术部分的分析可知，现有技术中存在以下两类目标跟踪算法：1)跟踪——检测算法；2)相关性跟踪算法。包括以上两类目标跟踪算法在内的现有技术方案主要存在以下两方面缺陷：a)在特征提取步骤中通常采用灰度、颜色或HOG等单一特征，由于不同特征在不同场景中表现效果不同，单一特征无法适应于多个不同场景；b)目前诸如CSK、MOSSE和KCF等一些目标跟踪算法只能估计目标偏移的位置，这样导致在跟踪目标发生较大尺度变化时算法的跟踪性能变差，而另一些目标跟踪算法则只能在低帧率时估计尺度变化，无法满足实时跟踪的要求。也就是说，在跟踪目标的尺度变化和跟踪的实时性上两者难以兼顾。

发明人经研究后提出一种新的目标跟踪方法，在跟踪——检测框架下利用KCF算法中的相关性滤波器，加入了由FHOG特征和(HSI)颜色特征所构成的组合特征(combined features)来提高算法的性能。该方案是一种利用了多种特征来表达信息的目标跟踪算法，不仅具有较高的实时性，还能有效应对复杂背景、光照、非刚性变换(non-rigid deformation)等不利因素对目标跟踪带来的不利影响。

由于核相关函数(kernel correlation function)只需要计算点积(dot-pro duct)和向量归一化(vector norm)，所以，本申请在多个通道计算图像特征，这样可以利用其他有力的特征发挥特征融合(feature fusion)的威力。

对于上述缺陷a)，本申请尝试考虑不同特征之间的互补性，利用多种特征表达更为丰富的信息；对于上述缺陷b)，鉴于KCF跟踪算法拥有较高的计算效率，本申请在跟踪——检测框架下利用KCF算法中的相关性滤波器，加入了组合特征和尺度估计来提高算法的性能。

为使本领域技术人员更好地理解和实现本发明，以下参照附图，通过具体实施例进行详细说明。

实施例一

如下所述，本发明实施例提供一种目标跟踪方法。

参照图1所示的目标跟踪方法流程图，以下通过具体步骤进行详细说明：

S101，依据图像帧甲，训练目标的参数模型。

本实施例在跟踪——检测框架下，利用KCF算法中的相关性滤波器，加入了组合特征和尺度估计(scale estimation)来提高算法的性能。

如前所述，跟踪——检测类算法包含两大步骤，训练和检测。训练一般指根据前一帧的目标位置提取样本然后利用机器学习算法训练参数模型。而检测则是根据上一帧训练的参数模型对当前帧的样本进行分类，预测当前帧的目标位置，然后提取当前帧的样本以更新参数模型，用于预测下一帧的目标位置。

本实施例先依据图像帧甲，训练目标的参数模型，后续步骤中会依据训练得到的所述目标的参数模型，来预测所述目标在图像帧乙中的位置。其中，图像帧甲在先，图像帧乙在后。

与现有技术的不同之处在于，本实施例中，所述训练目标的参数模型包括：训练目标的第一参数模型和训练目标的第二参数模型。

所述目标的第一参数模型和目标的第二参数模型均为基于核相关滤波器的回归模型。

在具体实施中，所述目标的第一参数模型可以是预测目标偏移的模型，所述目标的第二参数模型可以是预测目标尺度的模型。

本实施例通过KCF算法训练预测目标偏移的第一参数模型。

KCF算法本身属于现有技术，以下简要介绍如何在本实施例中应用KCF算法来训练预测目标偏移的第一参数模型。所述通过KCF算法训练目标的第一参数模型包括：

以目标为中心的附近区域采集大小为W×H的图像样本x训练KCF分类器；

利用循环移位矩阵(cyclic shift matrix)的性质和扩充图像，KCF将所有的循环移位样本x_w,h，(w,h)∈{0,1,...,W-1}×{0,1,...,H-1}作为所述KCF分类器的训练样本；

回归目标y中心点值为1，离中心点越远的位置其值越衰减，在目标边缘衰减至0，其中，y_w,h表示x_w,h的标签；

找到如下函数：

f(z)＝w^Tz

使得样本x_w,h和其回归目标y_w,h的均方误差最小，即：

其中，φ表示通过核函数κ将样本映射到Hilbert空间，x和x′的内积表示为：

<f(x),f(x′)>＝κ(x,x′)

其中，λ表示正则项系数；

将线性问题的输入映射到非线性特征空间φ(x)后其解w表示为：

向量α的解为：

其中，F表示傅里叶正变换，F^-1表示傅里叶逆变换；其中，(k^x)＝κ(x_w,h,x)；

向量α包含了所有的α(w,h)系数；处理每一帧图像帧中的目标时更新目标外观模型；所述第一参数模型包含学习到的目标外观模型和分类器系数F(α)。

在具体实施中，所述依据训练的所述目标的参数模型，预测所述目标在图像帧乙中的位置可以包括如下步骤：在当前帧中通过计算置信度得分预测当前帧的目标位置，预测公式如下：

其中，表示逐点相乘，表示学习到的目标外观模型。

以上介绍了如何在本实施例中应用KCF算法来训练预测目标偏移的第一参数模型。以下介绍第二参数模型。

发明人经研究后发现：由于核相关函数(kernel correlation function)只需要计算点积(dot-pro duct)和向量归一化(vector norm)，所以，可以在多个通道计算图像特征，这样可以利用其他有力的特征发挥特征融合(featurefusion)的威力。

本实施例中的第二参数模型，采用以目标的FHOG特征和目标的颜色特征所构成的组合特征来描述所述目标。

HOG特征最初由Dalal&Triggs提出。该算子计算每个像素点的一阶梯度，然后将梯度聚集于相对应的胞元(cell)，然后计算每个胞元的直方图，沿着四个方向对直方图进行归一化，最后将所有的归一化直方图连接成对应的特征向量。

本实施例所采用的方案基于由Felzenszwalb提出的改进的FHOG特征，该特征主要在以下两点优于原始的HOG，一方面是将四个方向的胞元特征相加，而不同于原始的直接相连，这样能将特征向量的维度(dimensions)降低1/4，另一方面是在每个胞元中加入4维的纹理特征向量。

本实施例中，采用FHOG特征算法计算出目标的FHOG特征。

通常FHOG特征中直方图的方向(bins)设置为9，FHOG特征向量的维度为31维(9个对比度不敏感特征(contrast-insensitive features)+18个对比度敏感特征(contrast-sensitive features)+4个纹理特征(texture features))，

本实施例中，所述目标的FHOG特征为：目标的FHOG特征向量中的9维对比度不敏感特征和4维纹理特征，即不包含18维对比度敏感特征。

通常彩色图像包含红绿蓝三个通道信息，但是直接采用RGB颜色空间进行特征提取(feature extraction)效果较差，原因在于该特征中包含了颜色信息和灰度信息。本实施例将RGB颜色空间转化为(Hue-Saturation-Intensity，HSI)颜色空间，从而分离颜色信息和灰度信息。

由于在计算FHOG特征时已经使用了灰度信息，为了避免信息冗余，本实施例保留HSI颜色空间中的色调(hue)分量和饱和度(saturation)分量，即不考虑亮度(intensity)分量。

在不考虑亮度分量的情况下，色调分量和饱和度分量形成一个类似圆盘的空间，其中，色调对应角度，饱和度对应半径，然后将所述色调分量对应于FHOG特征中的一阶梯度的方向，将所述饱和度分量对应于FHOG特征中的一阶梯度的幅值，则可以利用FHOG特征的计算过程，计算得出饱和度分量在色调分量方向上的直方图特征，作为目标的颜色特征，该特征可以描述图像中的颜色分布同时避免了信息冗余。

由于FHOG特征和本实施例中的颜色特征拥有相似的结构(均是基于胞元)，故可以将上述特征连接起来作为第二参数模型来描述目标。

通过以上对技术方案的描述可以看出：本实施例中，将图像帧从RGB颜色空间转化为HSI颜色空间，将所述色调分量对应于FHOG特征中的一阶梯度的方向，将所述饱和度分量对应于FHOG特征中的一阶梯度的幅值，计算得出饱和度分量在色调分量方向上的直方图特征，作为目标的颜色特征，使得本实施例中的颜色特征与FHOG特征拥有相似的结构(均是基于胞元)，从而便于两者的衔接及配合使用。

在具体实施中，如图2所示，所述训练目标的第二参数模型可以包括：

S201，将图像帧甲从RGB颜色空间转化为HSI颜色空间。

S202，获取目标在HSI颜色空间的图像帧甲中的色调分量和饱和度分量。

S203，将所述色调分量对应于FHOG特征中的一阶梯度的方向，将所述饱和度分量对应于FHOG特征中的一阶梯度的幅值，计算得出饱和度分量在色调分量方向上的直方图特征，作为目标的颜色特征。

所述目标的颜色特征为：目标在HSI颜色空间下9维饱和度分量在色调分量方向上的直方图特征和目标在HSI颜色空间下的4维纹理特征。

发明人在实践中发现，FHOG特征中的对比度敏感特征在只使用FHOG特征时影响较大，但是在使用FHOG特征和(HSI)颜色特征所构成的组合特征时影响不大。原因可能在于(HSI)颜色特征以某种特定方式弥补了对比度敏感特征的作用，且移除18维对比度敏感特征可以使特征提取过程所消耗的时间变短。因此，本实施例目标的FHOG特征向量中不包含18维对比度敏感特征。

如前所述，所述目标的FHOG特征为：目标的FHOG特征向量中的9维对比度不敏感特征和4维纹理特征；所述目标的颜色特征为：目标在HSI颜色空间下9维饱和度分量在色调分量方向上的直方图特征和目标在HSI颜色空间下的4维纹理特征。

因此，本实施例中，FHOG特征和(HSI)颜色特征所构成的组合特征的维度为13+13＝26维，相对于现有技术中31维的FHOG特征(包含18维对比度敏感特征)而言，维度更少，尽管增加将图像帧从RGB颜色空间转化为HSI颜色空间的开销，但整体开销并没有大幅增加，因而在目标跟踪时保证较高的实时性。

此外，相较于现有技术中基于像素(pixel level)将RGB和梯度直接相连的计算方法，本实施例中FHOG特征和(HSI)颜色特征所构成的组合特征不仅能够减少特征映射(feature map)的维度，还对微小变换(small deformation)具有不变性(invariance)。

在一个可选的实施例中，还可以进一步进行尺度估计。

在具体实施中，还可以预先设定第一阈值；所述目标跟踪方法还可以包括：在所述预测所述目标在图像帧乙中的位置之后，在预测目标偏移位置的置信度大于所述第一阈值的情况下，进行尺度估计。

所述进行尺度估计包括：

假设P×Q为图像帧乙中的预测到的目标大小，N表示尺度的数量，则尺度S表示为：

其中，a表示尺度参数；对于s∈S：

将中心为预测目标位置和大小为sP×sQ的图像样本缩放到大小为P×Q的样本；

采用FHOG特征构建尺度特征金字塔；其中，表示回归目标的相关性响应映射；

则目标的最优尺度为：

。

在依据在先的图像帧甲训练得到目标的参数模型之后，后续即可依据训练的所述目标的参数模型，预测所述目标在在后的图像帧乙中的位置。

通过以上对技术方案的描述可以看出：本实施例中，还加入了尺度估计来进一步提高算法的性能。

S102，依据训练的所述目标的参数模型，预测所述目标在图像帧乙中的位置。

通过以上对技术方案的描述可以看出：本实施例中，在进行目标跟踪时，在跟踪——检测框架下利用KCF算法中的相关性滤波器，加入了由FHOG特征和(HSI)颜色特征所构成的组合特征来提高算法的性能。该方案是一种利用了多种特征来表达信息的目标跟踪算法，不仅具有较高的实时性，还能有效应对复杂背景、光照、非刚性变换等不利因素对目标跟踪带来的不利影响。

在此基础上，本实施例还可以进一步做出如下改进：1)还可以通过Neon或者GPU加速技术对离散傅立叶变换进行并行加速处理，提高算法的运行效率；2)还可以采用卷积神经网络自动学习特征用于特征提取。

实施例二

如下所述，本发明实施例提供一种目标跟踪装置。

参照图3所示的目标跟踪装置结构框图。

所述目标跟踪装置包括：模型训练单元301和目标预测单元302；其中各单元的主要功能如下：

模型训练单元301，适于依据图像帧甲，训练目标的参数模型；

目标预测单元302，适于在所述模型训练单元301执行操作之后，依据训练的所述目标的参数模型，预测所述目标在图像帧乙中的位置；

所述训练目标的参数模型包括：训练目标的第一参数模型和训练目标的第二参数模型；

所述训练目标的第一参数模型包括：通过KCF算法训练目标的第一参数模型；

所述目标的第二参数模型为：依据目标的FHOG特征和目标的颜色特征的组合来描述所述目标的模型。

通过以上对技术方案的描述可以看出：本实施例中，在进行目标跟踪时，在跟踪——检测框架下利用KCF算法中的相关性滤波器，加入了由FHOG特征和(HSI)颜色特征所构成的组合特征来提高算法的性能。该方案是一种利用了多种特征来表达信息的目标跟踪算法，不仅具有较高的实时性，还能有效应对复杂背景、光照、非刚性变换等不利因素对目标跟踪带来的不利影响。

在具体实施中，所述目标的第一参数模型可以为预测目标偏移的模型，所述目标的第二参数模型可以为预测目标尺度的模型，所述目标的第一参数模型和目标的第二参数模型均可以为基于核相关滤波器的回归模型。

在具体实施中，所述目标的FHOG特征可以为：目标的FHOG特征向量中的9维对比度不敏感特征和4维纹理特征。

通过以上对技术方案的描述可以看出：本实施例中，目标的FHOG特征向量中不包含18维对比度敏感特征，且由于(HSI)颜色特征的存在，在不考虑FHOG特征向量中的18维对比度敏感特征的情况下，对目标跟踪的效果影响不大。得到的FHOG特征和(HSI)颜色特征所构成的组合特征的维度为13+13＝26维，相对于现有技术中31维的FHOG特征(包含18维对比度敏感特征)而言，维度更少。

在具体实施中，所述模型训练单元301可以包括：HSI转化子单元3011、分量获取子单元3012和颜色特征计算子单元3013；其中：

HSI转化子单元3011，适于将图像帧甲从RGB颜色空间转化为HSI颜色空间；

分量获取子单元3012，适于在所述HSI转化子单元3011执行操作之后，获取目标在HSI颜色空间的图像帧甲中的色调分量和饱和度分量；

颜色特征计算子单元3013，适于在所述分量获取子单元3012执行操作之后，将所述色调分量对应于FHOG特征中的一阶梯度的方向，将所述饱和度分量对应于FHOG特征中的一阶梯度的幅值，计算得出饱和度分量在色调分量方向上的直方图特征，作为目标的颜色特征。

通过以上对技术方案的描述可以看出：本实施例中，将图像帧从RGB颜色空间转化为HSI颜色空间，将所述色调分量对应于FHOG特征中的一阶梯度的方向，将所述饱和度分量对应于FHOG特征中的一阶梯度的幅值，计算得出饱和度分量在色调分量方向上的直方图特征，作为目标的颜色特征，使得本实施例中的颜色特征与FHOG特征拥有相似的结构(均是基于胞元)，从而便于两者的衔接及配合使用。

在具体实施中，所述目标的颜色特征可以为：目标在HSI颜色空间下9维饱和度分量在色调分量方向上的直方图特征和目标在HSI颜色空间下的4维纹理特征。

在具体实施中，所述通过KCF算法训练目标的第一参数模型可以包括：

以目标为中心的附近区域采集大小为W×H的图像样本x训练KCF分类器；

利用循环移位矩阵的性质和扩充图像，KCF将所有的循环移位样本x_w,h，(w,h)∈{0,1,...,W-1}×{0,1,...,H-1}作为所述KCF分类器的训练样本；

回归目标y中心点值为1，离中心点越远的位置其值越衰减，在目标边缘衰减至0，其中，y_w,h表示x_w,h的标签；

找到如下函数：

f(z)＝w^Tz

使得样本x_w,h和其回归目标y_w,h的均方误差最小，即：

其中，φ表示通过核函数κ将样本映射到Hilbert空间，x和x′的内积表示为：

<f(x),f(x′)>＝κ(x,x′)

其中，λ表示正则项系数；

将线性问题的输入映射到非线性特征空间φ(x)后其解w表示为：

向量α的解为：

其中，F表示傅里叶正变换，F^-1表示傅里叶逆变换；其中，(k^x)＝κ(x_w,h,x)；

向量α包含了所有的α(w,h)系数；处理每一帧图像帧中的目标时更新目标外观模型；所述第一参数模型包含学习到的目标外观模型和分类器系数F(α)。

在具体实施中，所述目标预测单元302所述依据训练的所述目标的参数模型，预测所述目标在图像帧乙中的位置可以包括：在当前帧中通过计算置信度得分预测当前帧的目标位置，预设公式如下：

其中，表示逐点相乘，表示学习到的目标外观模型。

在具体实施中，所述目标跟踪装置还可以包括：阈值设定单元303，适于预先设定第一阈值；所述目标跟踪装置还可以包括：尺度估计单元304，适于在所述目标预测单元执行操作之后，在预测目标偏移位置的置信度大于所述第一阈值的情况下，进行尺度估计。

在具体实施中，所述进行尺度估计可以包括：

假设P×Q为图像帧乙中的预测到的目标大小，N表示尺度的数量，则尺度S表示为：

其中，a表示尺度参数；对于s∈S：

将中心为预测目标位置和大小为sP×sQ的图像样本缩放到大小为P×Q的样本；

采用FHOG特征构建尺度特征金字塔；其中，表示回归目标的相关性响应映射；

则目标的最优尺度为：

。

通过以上对技术方案的描述可以看出：本实施例中，还加入了尺度估计来进一步提高算法的性能。

实施例三

如下所述，本发明实施例提供一种用户终端。

与现有技术的不同之处在于，该用户终端还包括如本发明实施例中所提供的目标跟踪装置。因而该用户终端在进行目标跟踪时，在跟踪——检测框架下利用KCF算法中的相关性滤波器，加入了由FHOG特征和(HSI)颜色特征所构成的组合特征来提高算法的性能。该方案是一种利用了多种特征来表达信息的目标跟踪算法，不仅具有较高的实时性，还能有效应对复杂背景、光照、非刚性变换等不利因素对目标跟踪带来的不利影响。

在具体实施中，所述用户终端可以是智能手机或平板电脑。

本领域普通技术人员可以理解，上述实施例的各种方法中，全部或部分步骤是可以通过程序指令相关的硬件来完成的，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (20)

1.一种目标跟踪方法，其特征在于，包括：

依据图像帧甲，训练目标的参数模型；

依据训练的所述目标的参数模型，预测所述目标在图像帧乙中的位置；

所述训练目标的参数模型包括：训练目标的第一参数模型和训练目标的第二参数模型；

所述训练目标的第一参数模型包括：通过KCF算法训练目标的第一参数模型；

所述目标的第二参数模型为：依据目标的FHOG特征和目标的颜色特征的组合来描述所述目标的模型。

2.如权利要求1所述的目标跟踪方法，其特征在于，所述目标的第一参数模型为预测目标偏移的模型，所述目标的第二参数模型为预测目标尺度的模型，所述目标的第一参数模型和目标的第二参数模型为基于核相关滤波器的回归模型。

3.如权利要求1所述的目标跟踪方法，其特征在于，所述目标的FHOG特征为：目标的FHOG特征向量中的9维对比度不敏感特征和4维纹理特征。

4.如权利要求1所述的目标跟踪方法，其特征在于，所述训练目标的第二参数模型包括：

将图像帧甲从RGB颜色空间转化为HSI颜色空间；

获取目标在HSI颜色空间的图像帧甲中的色调分量和饱和度分量；

将所述色调分量对应于FHOG特征中的一阶梯度的方向，将所述饱和度分量对应于FHOG特征中的一阶梯度的幅值，计算得出饱和度分量在色调分量方向上的直方图特征，作为目标的颜色特征。

5.如权利要求1所述的目标跟踪方法，其特征在于，所述目标的颜色特征为：目标在HSI颜色空间下9维饱和度分量在色调分量方向上的直方图特征和目标在HSI颜色空间下的4维纹理特征。

6.如权利要求1所述的目标跟踪方法，其特征在于，所述通过KCF算法训练目标的第一参数模型包括：

以目标为中心的附近区域采集大小为W×H的图像样本x训练KCF分类器；

利用循环移位矩阵的性质和扩充图像，KCF将所有的循环移位样本x_w,h，(w,h)∈{0,1,...,W-1}×{0,1,...,H-1}作为所述KCF分类器的训练样本；

回归目标y中心点值为1，离中心点越远的位置其值越衰减，在目标边缘衰减至0，其中，y_w,h表示x_w,h的标签；

找到如下函数：

f(z)＝w^Tz

使得样本x_w,h和其回归目标y_w,h的均方误差最小，即：

$\underset{w}{min}\underset{w,h}{\&Sigma;}|<f\left(x_{w,h}\right),w>-y(w,h){|}^2+\mathrm{\&lambda;}|\left|w\right|{|}^2$

其中，φ表示通过核函数κ将样本映射到Hilbert空间，X和X′的内积表示为：

<f(x),f(x')>＝κ(x,x')

其中，λ表示正则项系数；

将线性问题的输入映射到非线性特征空间φ(x)后其解w表示为：

$w=\underset{w,h}{\&Sigma;}\mathrm{\&alpha;}(w,h)f\left(x_{w,h}\right)$

向量α的解为：

$\mathrm{\&alpha;}=F^{-1}\left(\frac{F\left(y\right)}{F\left(k^x\right)+\mathrm{\&lambda;}}\right)$

其中，F表示傅里叶正变换，F^-1表示傅里叶逆变换；其中，(k^x)＝κ(x_w,h,x)；

向量α包含了所有的α(w,h)系数；处理每一帧图像帧中的目标时更新目标外观模型；所述第一参数模型包含学习到的目标外观模型和分类器系数F(α)。

7.如权利要求1所述的目标跟踪方法，其特征在于，所述依据训练的所述目标的参数模型，预测所述目标在图像帧乙中的位置包括如下步骤：在当前帧中通过计算置信度得分预测当前帧的目标位置，预测公式如下：

其中，⊙表示逐点相乘，表示学习到的目标外观模型。

8.如权利要求1所述的目标跟踪方法，其特征在于，所述目标跟踪方法还包括：预先设定第一阈值；所述目标跟踪方法还包括：在所述预测所述目标在图像帧乙中的位置之后，在预测目标偏移位置的置信度大于所述第一阈值的情况下，进行尺度估计。

9.如权利要求8所述的目标跟踪方法，其特征在于，所述进行尺度估计包括：

假设P×Q为图像帧乙中的预测到的目标大小，N表示尺度的数量，则尺度S表示为：

$S=\left\{a^n\right|n=\&lsqb;-\frac{N-1}{2}\&rsqb;,\&lsqb;-\frac{N-3}{2}\&rsqb;,...,\&lsqb;\frac{N-1}{2}\&rsqb;\}$

其中，a表示尺度参数；对于s∈S：

将中心为预测目标位置和大小为sP×sQ的图像样本缩放到大小为P×Q的样本；

采用FHOG特征构建尺度特征金字塔；其中，表示回归目标的相关性响应映射；

则目标的最优尺度为：

$\hat{s}=\underset{s}{\arg \max }\left(\max \right(\widehat{y_1}),\max (\widehat{y_2}),...,\max (\widehat{y_s}\left)\right).$

10.一种目标跟踪装置，其特征在于，包括：模型训练单元和目标预测单元；

其中：

模型训练单元，适于依据图像帧甲，训练目标的参数模型；

目标预测单元，适于在所述模型训练单元执行操作之后，依据训练的所述目标的参数模型，预测所述目标在图像帧乙中的位置；

所述训练目标的参数模型包括：训练目标的第一参数模型和训练目标的第二参数模型；

所述训练目标的第一参数模型包括：通过KCF算法训练目标的第一参数模型；

所述目标的第二参数模型为：依据目标的FHOG特征和目标的颜色特征的组合来描述所述目标的模型。

11.如权利要求10所述的目标跟踪装置，其特征在于，所述目标的第一参数模型为预测目标偏移的模型，所述目标的第二参数模型为预测目标尺度的模型，所述目标的第一参数模型和目标的第二参数模型为基于核相关滤波器的回归模型。

12.如权利要求10所述的目标跟踪装置，其特征在于，所述目标的FHOG特征为：目标的FHOG特征向量中的9维对比度不敏感特征和4维纹理特征。

13.如权利要求10所述的目标跟踪装置，其特征在于，所述模型训练单元包括：HSI转化子单元、分量获取子单元和颜色特征计算子单元；其中：

HSI转化子单元，适于将图像帧甲从RGB颜色空间转化为HSI颜色空间；

分量获取子单元，适于在所述HSI转化子单元执行操作之后，获取目标在HSI颜色空间的图像帧甲中的色调分量和饱和度分量；

颜色特征计算子单元，适于在所述分量获取子单元执行操作之后，将所述色调分量对应于FHOG特征中的一阶梯度的方向，将所述饱和度分量对应于FHOG特征中的一阶梯度的幅值，计算得出饱和度分量在色调分量方向上的直方图特征，作为目标的颜色特征。

14.如权利要求10所述的目标跟踪装置，其特征在于，所述目标的颜色特征为：目标在HSI颜色空间下9维饱和度分量在色调分量方向上的直方图特征和目标在HSI颜色空间下的4维纹理特征。

15.如权利要求10所述的目标跟踪装置，其特征在于，所述通过KCF算法训练目标的第一参数模型包括：

以目标为中心的附近区域采集大小为W×H的图像样本x训练KCF分类器；

利用循环移位矩阵的性质和扩充图像，KCF将所有的循环移位样本x_w,h，(w,h)∈{0,1,...,W-1}×{0,1,...,H-1}作为所述KCF分类器的训练样本；

回归目标y中心点值为1，离中心点越远的位置其值越衰减，在目标边缘衰减至0，其中，y_w,h表示x_w,h的标签；

找到如下函数：

f(z)＝w^Tz

使得样本x_w,h和其回归目标y_w,h的均方误差最小，即：

$\underset{w}{\min }\underset{w,h}{\&Sigma;}|<f\left(x_{w,h}\right),w>-y(w,h){|}^2+\mathrm{\&lambda;}|\left|w\right|{|}^2,$

其中，φ表示通过核函数κ将样本映射到Hilbert空间，X和X′的内积表示为：

<f(x),f(x')>＝κ(x,x')

其中，λ表示正则项系数；

将线性问题的输入映射到非线性特征空间φ(x)后其解w表示为：

$w=\underset{w,h}{\&Sigma;}\mathrm{\&alpha;}(w,h)f\left(x_{w,h}\right)$

向量α的解为：

$\mathrm{\&alpha;}=F^{-1}\left(\frac{F\left(y\right)}{F\left(k^x\right)+\mathrm{\&lambda;}}\right)$

其中，F表示傅里叶正变换，F^-1表示傅里叶逆变换；其中，(k^x)＝κ(x_w,h,x)；

向量α包含了所有的α(w,h)系数；处理每一帧图像帧中的目标时更新目标外观模型；所述第一参数模型包含学习到的目标外观模型和分类器系数F(α)。

16.如权利要求10所述的目标跟踪装置，其特征在于，所述目标预测单元所述依据训练的所述目标的参数模型，预测所述目标在图像帧乙中的位置包括：在当前帧中通过计算置信度得分预测当前帧的目标位置，预设公式如下：

其中，⊙表示逐点相乘，表示学习到的目标外观模型。

17.如权利要求10所述的目标跟踪装置，其特征在于，所述目标跟踪装置还包括：阈值设定单元，适于预先设定第一阈值；所述目标跟踪装置还包括：尺度估计单元，适于在所述目标预测单元执行操作之后，在预测目标偏移位置的置信度大于所述第一阈值的情况下，进行尺度估计。

18.如权利要求17所述的目标跟踪装置，其特征在于，所述进行尺度估计包括：假设P×Q为图像帧乙中的预测到的目标大小，N表示尺度的数量，则尺度S表示为：

$S=\left\{a^n\right|n=\&lsqb;-\frac{N-1}{2}\&rsqb;,\&lsqb;-\frac{N-3}{2}\&rsqb;,...,\&lsqb;\frac{N-1}{2}\&rsqb;\}$

其中，a表示尺度参数；对于s∈S：

将中心为预测目标位置和大小为sP×sQ的图像样本缩放到大小为P×Q的样本；

采用FHOG特征构建尺度特征金字塔；其中，表示回归目标的相关性响应映射；

则目标的最优尺度为：

$\hat{s}=\underset{s}{\arg \max }\left(\max \right(\widehat{y_1}),\max (\widehat{y_2}),...,\max (\widehat{y_s}\left)\right).$

19.一种用户终端，其特征在于，包括如权利要求10至18中任一项所述的目标跟踪装置。

20.如权利要求19所述的用户终端，其特征在于，所述用户终端为智能手机或平板电脑。