CN108022254B - 一种基于征点辅助的时空上下文目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于特征点辅助的时空上下文目标跟踪方法，包括如下步骤：S1，在初始帧选择目标框，并初始化时空上下文模型和目标特征点模型S2，在下一帧中利用特征点匹配和光流跟踪方法进行目标特征点追踪，并通过聚类得到目标特征点集，获得目标预估位置区域；S3，在目标预估位置区域建立局部上下文外观模型，再计算与时空上下文模型的相关性获得置信图，在置信图最大值位置获得目标最终位置；S4，根据跟踪结果，结合目标特征点数变化率来判断目标遮挡程度，控制时空上下文模型更新。本发明在背景干扰、遮挡、目标旋转和快速运动情况下，依然具有稳定的跟踪效果，具有较好的鲁棒性。

Description

一种基于征点辅助的时空上下文目标跟踪方法

技术领域

本发明属于计算机视觉领域，主要是基于视觉的目标跟踪，具体涉及一种基于特征点辅助的时空上下文目标跟踪方法。

背景技术

目标在线跟踪在军事侦查、视频监控、行为识别、人机交互和移动机器人跟踪导航等领域有着广泛的应用。但由于跟踪场景中往往存在多种因素的干扰，如目标旋转、背景光线变化、目标快速运动和遮挡，这些因素给动态目标跟踪带来巨大挑战。由于目标可能移出视野范围，在目标遮挡或者丢失重现时，跟踪算法需能够重新检测并跟踪目标。因此开发一种鲁棒性、高效性的跟踪方法具有重大意义。

发明内容

本发明的目的在于克服现有技术的不足，满足现有的需求，提供一种基于特征点辅助的时空上下文目标跟踪方法。该方法利用特征点追踪进行目标最终位置预估，再结合时空上下文信息进行精确定位，在背景干扰、遮挡、目标旋转和快速运动情况下进行跟踪。

为了实现上述目的，本发明提供一种基于特征点辅助的时空上下文目标跟踪方法，包括如下步骤：

S1，在初始帧选择目标框，并初始化时空上下文模型和目标特征点模型；

S2，在下一帧中利用特征点匹配和光流跟踪方法进行目标特征点追踪，并通过聚类得到目标特征点集，获得目标预估位置区域；

S3，在目标预估位置区域建立局部上下文外观模型，再计算与时空上下文模型的相关性获得置信图，在置信图最大值位置获得目标最终位置；

S4，根据跟踪结果，结合目标特征点数变化率来判断目标遮挡程度，控制时空上下文模型更新。

优选地，所述步骤S1中，所述目标特征点模型的初始化过程步骤具体包括：

针对初始帧图像，进行FAST特征点检测，根据特征点在初始目标框内外，分离出前景和背景部分的特征点，同时生成前景和背景特征点的BRISK特征描述子，并获得如下的目标特征点模型：

其中ri是特征点i在初始帧的位置(ri∈R²)，f_i∈{0，1}^d为其对应的二进制特征描述子，d表示特征维数，flag为标志位，0、1分别表示背景点与前景点，N_O代表目标O特征点总数，跟踪过程中特征点过多将增加耗时，较少又不足于表征目标，采用多个高低阈值进行FAST特征点提取，选择最佳阈值使初始化目标特征点个数保持在理想跟踪效果范围。

优选地，所述步骤S2中，采用光流跟踪方法进行特征点追踪的步骤具体包括：

为了适应目标的外观变化，采用光流对特征点进行连续追踪，在I_t帧中利用金字塔Lucas-Kanada光流法计算I_t-1帧中前景特征点P_t-1在I_t帧中的对应点P_t，再对I_t帧中对应点P_t计算逆向光流寻找其在I_t-1帧中的对应点P^* _t-1，在P_t中剔除前向或逆向光流中未匹配的点和||P_t-1-P^* _t-1||大于阈值的点，获得有效的跟踪点T_t。

优选地，所述步骤S2中，在I_t(t>1)帧图像中，目标特征点追踪关键在于寻找与目标特征点模型O中对应的目标特征点K_t：

其中a_i表示I_t帧中第i个特征点的坐标位置，m_i表示其在目标特征点模型O中对应点的索引值，通过索引值可以确定每一个特征点在目标特征模型中的对应点，具体包括步骤：

利用FAST特征点检测提取I_t帧中的特征点Q_t，并计算其BRISK特征描述子，对于获得的特征点Q_t

再与I₁帧的目标特征点模型O中的特征点描述子逐一进行比较，计算其汉明距离，公式如下：

其中

表示I₁帧目标特征点模型O中特征点的第j维特征值，

表示I_t帧特征点Q_t的第j维特征值，D(f¹,f^t)表示I₁帧目标特征点模型O中特征向量与I_t帧Q_t特征向量的Hamming距离，XOR为异或运算；

对于Q_t中的每个特征点计算其与目标特征点模型O中特征描述子的距离，并返回测量距离小于γ的一个最优匹配点和次优匹配点，若最优匹配点的测量距离相对较小，而次优匹配点的测量距离相对较大，那么最优匹配点是安全可靠的，若最优和次优匹配点的测量距离比值大于η时，表明两个候选匹配点的测量距离相近，选择其中之一作为匹配点易出错，故剔除此不安全的最优和次优匹配点；

同时利用各特征点对应的索引值m_i，在Q_t中去除匹配到目标特征点模型O中背景的点，得到有效的前景匹配点M_t；

通过将所述前景匹配点M_t与中值流跟踪法获得的特征点进行融合则获得I_t帧中目标特征点K_t＝{T_t∪M_t}。

优选地，所述步骤S2中，所述通过聚类得到目标特征点集的步骤具体包括：

为了排除误匹配的孤立特征点的干扰，对获得的目标特征点K_t进行层次凝聚聚类，类间距离小于δ的类进行合并，将获得的最大类作为最终的目标特征点V，根据特征点计算出目标中心位置

其中n＝|V|为V中特征点个数。

优选地，所述步骤S3中，所述在目标预估位置区域建立局部上下文外观模型，再计算与时空上下文模型的相关性获得置信图的步骤具体包括：

运用时空上下文跟踪算法公式计算时空上下文模型h^sc(x)：

置信度c(x)式中b是归一化系数，α是尺度参数，β是形状参数，β为1时能获得最佳效果，x为目标区域内像素点坐标，x*表示目标中心位置坐标；

先验概率P(v(z)|o)建模目标局部上下文外观模型，对与目标中心位置不同距离的点赋予不同的权重，构建局部上下文外观模型：

其中ω_δ(z-x^*)表示高斯权重函数为，a为归一化参数，σ为外观模型尺度参数，z表示目标周围局部域内点坐标，I(z)为z点像素值；

为了加快计算速度，在频率域内计算并得到时空上下文模型h^sc(x)：

式中

表示卷积运算，其中F(·)表示快速傅里叶变换，F^-1(·)表示傅里叶逆变换，时空上下文模型h^sc(x)表征了目标与其时空上下文的内在关系。

优选地，所述步骤S3中，所述在置信图最大值位置获得目标最终位置的步骤具体包括：

目标最终位置的精确定位采用求取置信图最大值位置,以特征点跟踪获得的目标中心位置L^*为中心，在目标两倍大小的局部区域内对上下文外观特征进行建模：

P(v(z)|o)＝I(z)ωσ(z-L^*)；

对于第t+1帧图像，结合第t帧下获得的时空上下文模型

求取当前帧的置信图，以t+1帧时的目标最终位置置信图中极大值的位置作为该帧中的目标最终位置，目标最终位置的精确位置为：

其中⊙表示矩阵点乘运算，

为t+1帧基于特征点预估的目标中心位置，

表示以

为中心的局部区域。

优选地，为了适应跟踪环境的变化，需要以某一更新率引入当前时空上下文模型，完成时空上下文的学习更新。若采用固定学习率更新时空上下文模型，当目标出现遮挡时将导致错误更新，目标最终位置会出现漂移，即使遮挡结束也无法重新锁定目标。考虑到特征点的数量变化可以表征目标受遮挡的程度，遮挡越严重，检测到的目标特征点数目就会越少，因此，所述步骤S4中，所述时空上下文模型更新的机制具体包括：

在时空上下文模型中引入更新率调节参数ω_t实时修正更新率为ρω_t，当特征点数目减少时，降低更新率调节参数，避免目标区域相关信息的错误引入；当特征点数目较多时，增加更新率调节参数，极大的增强了引入时空上下文模型

的可靠性，增强了算法抗遮挡性能和跟踪的稳定性：

式中

为第t+1帧的时空上下文模型，ρ为更新率参数，λ_t表示第t帧中目标特征点个数与初始未遮挡时目标特征点个数的比值，μ为微调参数；当比值小于0.3时遮挡很严重，此时更新权重为0，模型不再更新；当比值小于0.7且大于等于0.3时为中度遮挡，μ取0.375对更新率进行微调；比值大于等于0.7时为轻微遮挡，更新率等于比值。

相比现有技术，本发明在背景干扰、遮挡、目标旋转和快速运动情况下，依然具有稳定的跟踪效果，具有较好的鲁棒性、高效性。

附图说明

图1是本发明实施例的跟踪方法流程示意图。

图2是Sylvester视频序列跟踪中心偏差曲线图。

图3是Woman视频序列跟踪中心偏差曲线图。

图4是CarDark视频序列跟踪中心偏差曲线图。

图5是FaceOcc1视频序列跟踪中心偏差曲线图。

图6是Jumping视频序列跟踪中心偏差曲线图。

图7是Coke视频序列跟踪中心偏差曲线图。

具体实施方式

为了更好地理解本发明，下面结合附图对本发明作进一步地描述：

如图1所示，一种基于特征点辅助的时空上下文目标跟踪方法，包括如下步骤：

S1，在初始帧选择目标框，并初始化时空上下文模型和目标特征点模型；

S2，在下一帧中利用特征点匹配和光流跟踪方法进行目标特征点追踪，并通过聚类得到目标特征点集，获得目标预估位置区域；

S3，在目标预估位置区域建立局部上下文外观模型，再计算与时空上下文模型的相关性获得置信图，在置信图最大值位置获得目标最终位置；

S4，根据跟踪结果，结合目标特征点数变化率来判断目标遮挡程度，控制时空上下文模型更新。

具体而言，所述步骤S1中，所述目标特征点模型的初始化过程步骤具体包括：

针对初始帧图像，进行FAST特征点检测，根据特征点在初始目标框内外，分离出前景和背景部分的特征点，同时生成前景和背景特征点的BRISK特征描述子，并获得如下的目标特征点模型：

其中ri是特征点i在初始帧的位置(ri∈R²)，f_i∈{0，1}^d为其对应的二进制特征描述子，d表示特征维数，flag为标志位，0、1分别表示背景点与前景点，N_O代表目标O特征点总数，跟踪过程中特征点过多将增加耗时，较少又不足于表征目标，采用多个高低阈值进行FAST特征点提取，选择最佳阈值使初始化目标特征点个数保持在理想跟踪效果范围。

具体而言，所述步骤S2中，采用光流跟踪方法进行特征点追踪的步骤具体包括：

为了适应目标的外观变化，采用光流对特征点进行连续追踪，在I_t帧中利用金字塔Lucas-Kanada光流法计算I_t-1帧中前景特征点P_t-1在I_t帧中的对应点P_t，再对I_t帧中对应点P_t计算逆向光流寻找其在I_t-1帧中的对应点P^* _t-1，在P_t中剔除前向或逆向光流中未匹配的点和||P_t-1-P^* _t-1||大于阈值的点，获得有效的跟踪点T_t。

具体而言，所述步骤S2中，在I_t(t>1)帧图像中，目标特征点追踪关键在于寻找与目标特征点模型O中对应的目标特征点K_t：

其中a_i表示I_t帧中第i个特征点的坐标位置，m_i表示其在目标特征点模型O中对应点的索引值，通过索引值可以确定每一个特征点在目标特征模型中的对应点，具体包括步骤：

利用FAST特征点检测提取I_t帧中的特征点Q_t，并计算其BRISK特征描述子，对于获得的特征点Q_t

再与I₁帧的目标特征点模型O中的特征点描述子逐一进行比较，计算其汉明距离，公式如下：

其中

表示I₁帧目标特征点模型O中特征点的第j维特征值，

表示I_t帧特征点Q_t的第j维特征值，D(f¹,f^t)表示I₁帧目标特征点模型O中特征向量与I_t帧Q_t特征向量的Hamming距离，XOR为异或运算；

对于Q_t中的每个特征点计算其与目标特征点模型O中特征描述子的距离，并返回测量距离小于γ的一个最优匹配点和次优匹配点，若最优匹配点的测量距离相对较小，而次优匹配点的测量距离相对较大，那么最优匹配点是安全可靠的，若最优和次优匹配点的测量距离比值大于η时，表明两个候选匹配点的测量距离相近，选择其中之一作为匹配点易出错，故剔除此不安全的最优和次优匹配点；

同时利用各特征点对应的索引值m_i，在Q_t中去除匹配到目标特征点模型O中背景的点，得到有效的前景匹配点M_t；

通过将所述前景匹配点M_t与中值流跟踪法获得的特征点进行融合则获得I_t帧中目标特征点K_t＝{T_t∪M_t}。

上述特征点匹配和光流跟踪方法融合增强目标特征点的鲁棒性。

具体而言，所述步骤S2中，所述通过聚类得到目标特征点集的步骤具体包括：

为了排除误匹配的孤立特征点的干扰，对获得的目标特征点K_t进行层次凝聚聚类，类间距离小于δ的类进行合并，将获得的最大类作为最终的目标特征点V，根据特征点计算出目标中心位置

其中n＝|V|为V中特征点个数。

具体而言，所述步骤S3中，所述在目标预估位置区域建立局部上下文外观模型，再计算与时空上下文模型的相关性获得置信图的步骤具体包括：

运用时空上下文跟踪算法公式计算时空上下文模型h^sc(x)：

置信度c(x)式中b是归一化系数，α是尺度参数，β是形状参数，β为1时能获得最佳效果，x为目标区域内像素点坐标，x*表示目标中心位置坐标；

先验概率P(v(z)|o)建模目标局部上下文外观模型，对与目标中心位置不同距离的点赋予不同的权重，构建局部上下文外观模型：

其中ω_δ(z-x^*)表示高斯权重函数为，a为归一化参数，σ为外观模型尺度参数，z表示目标周围局部域内点坐标，I(z)为z点像素值；

为了加快计算速度，在频率域内计算并得到时空上下文模型h^sc(x)：

式中

表示卷积运算，其中F(·)表示快速傅里叶变换，F^-1(·)表示傅里叶逆变换，时空上下文模型h^sc(x)表征了目标与其时空上下文的内在关系。

具体而言，所述步骤S3中，所述在置信图最大值位置获得目标最终位置的步骤具体包括：

目标最终位置的精确定位采用求取置信图最大值位置,以特征点跟踪获得的目标中心位置L^*为中心，在目标两倍大小的局部区域内对上下文外观特征进行建模：

P(v(z)|o)＝I(z)ω_σ(z-L^*)

对于第t+1帧图像，结合第t帧下获得的时空上下文模型

求取当前帧的置信图，以t+1帧时的目标最终位置置信图中极大值的位置作为该帧中的目标最终位置，目标最终位置的精确位置为：

其中⊙表示矩阵点乘运算，

为t+1帧基于特征点预估的目标中心位置，

表示以

为中心的局部区域。

具体而言，为了适应跟踪环境的变化，需要以某一更新率引入当前时空上下文模型，完成时空上下文的学习更新。若采用固定学习率更新时空上下文模型，当目标出现遮挡时将导致错误更新，目标最终位置会出现漂移，即使遮挡结束也无法重新锁定目标。考虑到特征点的数量变化可以表征目标受遮挡的程度，遮挡越严重，检测到的目标特征点数目就会越少，因此，所述步骤S4中，所述时空上下文模型更新的机制具体包括：

在时空上下文模型中引入更新率调节参数ω_t实时修正更新率为ρω_t，当特征点数目减少时，降低更新率调节参数，避免目标区域相关信息的错误引入；当特征点数目较多时，增加更新率调节参数，极大的增强了引入时空上下文模型

的可靠性，增强了算法抗遮挡性能和跟踪的稳定性：

式中

为第t+1帧的时空上下文模型，ρ为更新率参数，λ_t表示第t帧中目标特征点个数与初始未遮挡时目标特征点个数的比值，μ为微调参数；当比值小于0.3时遮挡很严重，此时更新权重为0，模型不再更新；当比值小于0.7且大于等于0.3时为中度遮挡，μ取0.375对更新率进行微调；比值大于等于0.7时为轻微遮挡，更新率等于比值。

如一个实施例中，最终目标最终位置计算t+1帧的时空上下文模型

根据层次聚类后特征点数相对目标初始特征点数的变化率得到t+1帧时的更新率ρω_t+1，再计算更新后的时空上下文模型

下一帧循环以上过程，进而完成目标的连续跟踪。

在另一实施例中，本发明通过6段具有不同挑战性的视频测试序列跟踪效果图，除了和传统的STC算法，还选用了当前比较热门的CT、TLD、OAB跟踪算法作比较。实验平台采用Inter Core i5，CPU主频2.5GHz的PC机，利用penCV2.4.9在VS2010上进行调试。实验中学习更新率ρ取0.075，微调参数μ取0.375，γ取0.25，η取0.8，δ取20。实验选用跟踪成功率和中心位置误差作为算法性能评估标准，跟踪成功率定义为跟踪成功帧数占总帧数的比值，对于跟踪分值大于0.5的认为跟踪成功。跟踪分值S_score和中心位置误差e计算如下：

其中R_T和R_G分别表示跟踪结果区域和真实结果区域。(x_T,y_T)表示跟踪结果中心坐标，(x_G,y_G)表示真实目标中心坐标。

跟踪成功率和跟踪平均中心位置误差如表1所示，可以看出本文改进后的算法在平均跟踪成功率上比STC算法提高了73％，在对比跟踪算法中效果最优，平均跟踪成功率达到了90％。

表1跟踪成功率(η)与平均中心误差

(加粗字体为该行最优，划横线字体为该行次优)

结合图2至图7中不同算法相应的跟踪中心位置误差曲线可知，本发明在各类测试视频中都具有较小的位置误差，平均中心位置误差为7.47pixel，在当前测试平台下跟踪速率平均25.31帧/秒。

本发明是一种快速有效的动态目标跟踪方法，通过目标中心先进行位置预估，有效避免了目标快速运动导致跟踪失败的问题；根据目标特征点数目变化，自适应地调节时空上下文模型的更新率，在遮挡情况下达到了更为可靠的跟踪效果；结合时空上下模型进行目标精确位置获取，能够在目标部分遮挡、快速运动、环境干扰等情况下进行有效跟踪。

本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (7)

1.一种基于特征点辅助的时空上下文目标跟踪方法，其特征在于，包括如下步骤：

S1，在初始帧选择目标框，并初始化时空上下文模型和目标特征点模型；

S2，在下一帧中利用特征点匹配和光流跟踪方法进行目标特征点跟踪，并通过聚类得到目标特征点集，获得目标预估位置区域；

S3，在目标预估位置区域建立局部上下文外观模型，再计算与时空上下文模型的相关性获得置信图，在置信图最大值位置获得目标最终位置；

S4，根据跟踪结果，结合目标特征点数变化率来判断目标遮挡程度，控制时空上下文模型更新；

所述步骤S4中，所述时空上下文模型更新的机制具体包括：

在时空上下文模型中引入更新率调节参数ω_t实时修正更新率为ρω_t：

式中

为第t+1帧的时空上下文模型，

为第t帧的时空上下文模型，ρ为更新率参数，λ_t表示第t帧中目标特征点个数与初始未遮挡时目标特征点个数的比值，μ为微调参数；当比值小于0.3时遮挡很严重，此时更新率调节参数ω_t为0，模型不再更新；当比值小于0.7且大于等于0.3时为中度遮挡，μ取0.375对更新率调节参数ω_t进行微调；比值大于等于0.7时为轻微遮挡，更新率调节参数ω_t等于比值。

2.根据权利要求1所述基于特征点辅助的时空上下文目标跟踪方法，其特征在于，所述步骤S1中，所述目标特征点模型的初始化过程步骤具体包括：

针对初始帧图像，进行FAST特征点检测，根据特征点在初始目标框内外，分离出前景和背景部分的特征点，同时生成前景和背景特征点的BRISK特征描述子，并获得如下的目标特征点模型：

其中r_i是特征点i在初始帧的位置，r_i∈R²，f_i∈{0，1}^d为其对应的二进制特征描述子，d表示特征维数，flag为标志位，0、1分别表示背景点与前景点，N_O代表目标O特征点总数，采用多个高低阈值进行FAST特征点提取，选择最佳阈值确定初始化目标特征点个数。

3.根据权利要求1所述基于特征点辅助的时空上下文目标跟踪方法，其特征在于，所述步骤S2中，采用光流跟踪方法进行目标特征点跟踪的步骤具体包括：

采用光流对特征点进行连续跟踪，在I_t帧中利用金字塔Lucas-Kanada光流法计算I_t-1帧中前景特征点P_t-1在I_t帧中的对应点P_t，再对I_t帧中对应点P_t计算逆向光流寻找其在I_t-1帧中的对应点P^* _t-1，在P_t中剔除前向或逆向光流中未匹配的点和||P_t-1-P^* _t-1||大于阈值的点，获得有效的跟踪点T_t。

4.根据权利要求1所述基于特征点辅助的时空上下文目标跟踪方法，其特征在于，所述步骤S2中，在I_t，t>1帧图像中，寻找与目标特征点模型O中对应的目标特征点K_t：

其中a_i表示I_t帧中第i个特征点的坐标位置，m_i表示其在目标特征点模型O中对应点的索引值，通过索引值确定每一个特征点在目标特征点模型中的对应点，具体包括步骤：

利用FAST特征点检测提取I_t帧中的特征点Q_t，并计算其BRISK特征描述子，对于获得的特征点Q_t：

再与I₁帧的目标特征点模型O中的特征点描述子逐一进行比较，计算其汉明距离，公式如下：

其中

表示I₁帧目标特征点模型O中特征点的第j维特征值，

表示I_t帧特征点Q_t的第j维特征值，D(f¹,f^t)表示I₁帧目标特征点模型O中特征向量与I_t帧Q_t特征向量的Hamming距离，XOR为异或运算，d表示特征维数；

对于Q_t中的每个特征点计算其与目标特征点模型O中特征描述子的距离，并返回测量距离小于γ的一个最优匹配点和次优匹配点，在所述最优匹配点和所述次优匹配点中，若最优匹配点的测量距离相对较小，而次优匹配点的测量距离相对较大，那么最优匹配点是安全可靠的，若最优匹配点和次优匹配点的测量距离比值大于η时，表明两个候选匹配点的测量距离相近，选择其中之一作为匹配点会容易出错，故剔除最优匹配点和次优匹配点的测量距离比值大于η时的最优匹配点和次优匹配点；

同时利用各特征点对应的索引值m_i，在Q_t中去除匹配到目标特征点模型O中背景的点，得到有效的前景匹配点M_t；

通过将所述前景匹配点M_t与中值流跟踪法获得的特征点进行融合则获得I_t帧中目标特征点K_t＝{T_t∪M_t}，T_t为有效的跟踪点T_t。

5.根据权利要求4所述基于特征点辅助的时空上下文目标跟踪方法，其特征在于：所述步骤S2中，所述通过聚类得到目标特征点集的步骤具体包括：

对获得的目标特征点K_t进行层次凝聚聚类，类间距离小于δ的类进行合并，将获得的最大类作为最终的目标特征点集V，根据特征点计算出目标中心位置

其中n＝|V|为V中特征点个数。

6.根据权利要求1所述基于特征点辅助的时空上下文目标跟踪方法，其特征在于，所述步骤S3中，所述在目标预估位置区域建立局部上下文外观模型，再计算与时空上下文模型的相关性获得置信图的步骤具体包括：

运用时空上下文跟踪算法公式计算时空上下文模型h^sc(x)：

置信度c(x)式中b是归一化系数，α是尺度参数，β是形状参数，x为目标区域内像素点坐标，x*表示目标中心位置坐标；

先验概率P(v(z)|o)建模目标局部上下文外观模型，对与目标中心位置不同距离的点赋予不同的权重，构建局部上下文外观模型：

其中ω_σ(z-x^*)表示高斯权重函数，a为归一化参数，σ为外观模型尺度参数，z表示目标周围局部域内点坐标，I(z)为z点像素值；

在频率域内计算并得到时空上下文模型h^sc(x)：

式中

表示卷积运算，其中F(·)表示快速傅里叶变换，F^-1(·)表示傅里叶逆变换，时空上下文模型h^sc(x)表征了目标与其时空上下文的内在关系。

7.根据权利要求6所述基于特征点辅助的时空上下文目标跟踪方法，其特征在于，所述步骤S3中，所述在置信图最大值位置获得目标最终位置的步骤具体包括：

目标最终位置的精确定位采用求取置信图最大值位置,以特征点跟踪获得的目标中心位置L^*为中心，在目标两倍大小的局部区域内对上下文外观特征进行建模：

P(v(z)|o)＝I(z)ωσ(z-L^*)；

对于第t+1帧图像，结合第t帧下获得的时空上下文模型

求取当前帧的置信图，以t+1帧时的目标最终位置置信图中极大值的位置作为该帧中的目标最终位置，目标最终位置的精确位置为：

其中，⊙表示矩阵点乘运算，

为t+1帧基于特征点预估的目标中心位置，

表示以

为中心的局部区域。

Images