CN111612817A - 基于深浅特征自适应融合与上下文信息的目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于深浅特征自适应融合与上下文信息的目标跟踪方法，首先，获取视频图像序列的第一帧图像，并基于上下文感知框架建立深层特征模型和浅层特征模型；然后获取所述视频图像序列的多个第二帧图像，并利用所述深层特征模型和所述浅层特征模型计算出对应的跟踪目标的深层特征响应和浅层特征响应；并根据所述深层特征响应和所述浅层特征响应自适应融合后的响应总和，得到所述跟踪目标在对应的所述第二帧图像中的位置；并基于阈值判断平均峰值相关能量，并更新所述深层特征模型和所述浅层特征模型，直至所述视频图像序列结束，能够有效跟踪目标，并且具有较高的准确率。

Description

基于深浅特征自适应融合与上下文信息的目标跟踪方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于深浅特征自适应融合与上下文信息的目标跟踪方法。

背景技术

视觉跟踪一直是计算机视觉领域中关注的重点问题。近年来，基于相关滤波的视觉跟踪算法发展迅速，在跟踪速度和精度上都展现了一定的优势。然而，目标跟踪的研究仍然存在一定的困难，目标遮挡、快速运动、光照变化等外界干扰因素都直接影响着跟踪算法的性能。

基于相关滤波和基于深度学习的方法是当前主流的目标跟踪算法，其中，相关滤波凭借其在频域的快速计算特性所带来的的速度优势，更是成为了当前目标跟踪领域的研究热点之一。Bolme等首先将相关滤波算法引入到目标跟踪领域中，提出了MOSSE算法，但灰度特征并不能准确地描述目标的外观。Henriques等通过改进核函数提出了CSK算法，通过循环移位方式完成样本的密集采样，解决了训练样本不足的问题，但CSK算法采用单通道的灰度特征，特征描述能力有限。随后Henriques等又提出了核相关滤波KCF算法，将核函数引入岭回归中，将单通道的灰度特征扩展到多通道的HOG特征。Possegger等使用颜色直方图特征来描述目标外观，取得了良好的效果。Martin Danelljan等利用颜色属性特征(CN)扩展CSK算法,通过主成分分析PCA降维来降低运算量，提高了跟踪精度。

上述方法只采用单一特征对目标进行外观描述，在复杂场景下目标的辨识度差并且容易受到干扰。传统的相关滤波跟踪算法存在较为严重的边界效应，采用的人工特征并不能很好地描述跟踪目标的外观，并且缺少合适的特征融合策略，这些因素都将严重影响算法的准确率，并且不能有效的跟踪目标。

发明内容

本发明的目的在于提供一种基于深浅特征自适应融合与上下文信息的目标跟踪方法，提升算法的准确率，能有效的跟踪目标。

为实现上述目的，本发明提供了一种基于深浅特征自适应融合与上下文信息的目标跟踪方法，包括：

获取视频图像序列的第一帧图像，并基于上下文感知框架建立深层特征模型和浅层特征模型；

获取所述视频图像序列的多个第二帧图像，并利用所述深层特征模型和所述浅层特征模型计算出对应的跟踪目标的深层特征响应和浅层特征响应；

根据所述深层特征响应和所述浅层特征响应自适应融合后的响应总和，得到所述跟踪目标在对应的所述第二帧图像中的位置；

基于阈值判断平均峰值相关能量，并更新所述深层特征模型和所述浅层特征模型，直至所述视频图像序列结束。

其中，所述获取视频图像序列的第一帧图像，并基于上下文感知框架建立深层特征模型和浅层特征模型，包括：

将获取的视频图像序列的第一帧图像中的目标的背景样本作为上下文信息引入到模板学习，同时并采集目标区域的三层卷积特征和所述目标上下左右四个图像块的三层卷积特征，并利用检测公式计算出深层特征模型。

其中，所述获取视频图像序列的第一帧图像，并基于上下文感知框架建立深层特征模型和浅层特征模型，还包括：

根据所述背景样本中的颜色直方图特征和HOG特征，建立浅层特征模型。

其中，获取所述视频图像序列的多个第二帧图像，并利用所述深层特征模型和所述浅层特征模型计算出对应的跟踪目标的深层特征响应和浅层特征响应，包括：

依次获取多个第二帧图像，并基于所述目标位置提取所述第二帧图像对应的跟踪目标的深层特征和浅层特征，并利用所述深层特征模型和所述浅层特征模型计算对应的深层特征响应和浅层特征响应。

其中，获取所述视频图像序列的多个第二帧图像，并利用所述深层特征模型和所述浅层特征模型计算出对应的跟踪目标的深层特征响应和浅层特征响应，还包括：

利用VGG-NET-19深度网络进行深度特征提取，并采用双线性插值法调整对应的深层特征图像大小。

其中，根据所述深层特征响应和所述浅层特征响应自适应融合后的响应总和，得到所述跟踪目标在对应的所述第二帧图像中的位置，包括：

将所述深层特征响应和所述浅层特征响应的局部极大值进行升序排序后作为候选状态，并基于最小化损失函数得到具有设定总体损失的候选状态和对应的权重系数。

其中，根据所述深层特征响应和所述浅层特征响应自适应融合后的响应总和，得到所述跟踪目标在对应的所述第二帧图像中的位置，还包括：

利用自适应特征融合策略结合所述深层特征和所述浅层特征的响应图，将损失权重系数进行融合后，并引入松弛变量和距离函数进行预测质量评估，确定主峰和干扰峰，得到所述跟踪目标在对应的所述第二帧图像中的位置。

其中，所述基于阈值判断平均峰值相关能量，并更新所述深层特征模型和所述浅层特征模型，直至所述视频图像序列结束，包括：

基于对应的所述第二帧图像计算出对应的平均峰值相关能量，并当所述平均峰值相关能量大于历史平均峰值相关能量均值时，更新所述深层特征模型和所述浅层特征模型，直至所述视频图像序列结束。

本发明的一种基于深浅特征自适应融合与上下文信息的目标跟踪方法，首先，获取视频图像序列的第一帧图像，并基于上下文感知框架建立深层特征模型和浅层特征模型；然后获取所述视频图像序列的多个第二帧图像，并利用所述深层特征模型和所述浅层特征模型计算出对应的跟踪目标的深层特征响应和浅层特征响应；并根据所述深层特征响应和所述浅层特征响应自适应融合后的响应总和，得到所述跟踪目标在对应的所述第二帧图像中的位置；并基于阈值判断平均峰值相关能量，并更新所述深层特征模型和所述浅层特征模型，直至所述视频图像序列结束，能够有效跟踪目标，并且具有较高的准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的一种基于深浅特征自适应融合与上下文信息的目标跟踪方法的步骤示意图。

图2是本发明提供的8种算法的精度曲线比较图。

图3是本发明提供的8种算法的成功率曲线比较图。

图4是本发明提供的基于深浅特征自适应融合与上下文信息的目标跟踪方法的流程示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“上”、“下”、“左”、“右”、等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

请参阅图1，本发明提供一种基于深浅特征自适应融合与上下文信息的目标跟踪方法，包括：

S101、获取视频图像序列的第一帧图像，并基于上下文感知框架建立深层特征模型和浅层特征模型。

具体的，在相关滤波跟踪中，目标周围的背景信息对于***的性能有着非常显著的影响。相关滤波***由于循环样本的特性容易造成边界效应，通过余弦窗可以有效限制边界效应但却减少了背景信息，当目标产生形变或背景混乱的情况下可能会导致跟踪失败。针对这个问题，将获取的视频图像序列的第一帧图像中的目标的背景样本作为上下文信息引入到模板学习，同时并采集所述目标区域的三层卷积特征和所述目标周围上下左右四个图像块的三层卷积特征，作为深度特征模型的训练模板。其中，所述目标上下左右四个图像块即为上下文图像块。根据所述背景样本中的颜色直方图特征和HOG特征，建立浅层特征模型，在跟踪对象n₀∈Rⁿ周围提取k个上下文背景图像块n_i∈Rⁿ，相应的循环矩阵为N₀∈R^n×n和N_i∈R^n×n。并利用检测公式计算出深层特征模型：

其中，λ₂为正则化参数，^为傅里叶形式，*为复共轭变换，z为循环矩阵，r_d表示目标所在的位置，⊙为点积操作，

为目标区域的深度特征傅里叶变换后的结果，

为目标周围区域深度特征傅里叶变换后的结果。

为目标图像深度特征的点积，

为目标周围图像块深度特征的点积。

采集多层卷积特征作为深层特征，颜色直方图特征和HOG特征作为浅层特征，能够准确有效地描述目标外观，引入了上下文感知框架(context-aware)，采集目标周围上下左右四个图像块，减轻了边界效应，避免模型学习到背景干扰信息，提高了跟踪性能。

S102、获取所述视频图像序列的多个第二帧图像，并利用所述深层特征模型和所述浅层特征模型计算出对应的跟踪目标的深层特征响应和浅层特征响应。

具体的，依次获取除所述第一帧图像外的多个第二帧图像，并基于所述目标位置提取所述第二帧图像对应的跟踪目标的深层特征和浅层特征，并利用所述深层特征模型和所述浅层特征模型计算对对应的深层特征响应和浅层特征响应，其中，所述深度特征响应的计算方法为：利用VGG-NET-19深度网络进行深度特征提取，以OTB100数据集中的MotorRolling序列为例，选择特征图里带有更多语义信息的conv5-4和带有更多细节信息的conv3-4、conv4-4来描述目标外观。因为池化操作，空间分辨率会随着卷积神经网络深度的增加而逐渐降低，这样无法准确定位目标。为了解决这个问题，采用双线性插值将特征图调整为固定大小，假设m代表特征图，x为上采样的特征图，插值的权重β_ik取决于位置i和k相邻的特征映射，位置i的特征向量就表示为：

x_i＝∑β_ikm_k

将conv3-4、conv4-4和conv5-4卷积层的特征图经过双线性插值和可视化处理后，conv3-4和conv4-4等浅层特征映射具有更高的分辨率，可以更加准确地描述目标的轮廓。随着深度的增加，conv5-4深层特征描述的是目标所在的区域范围，且亮度更高。通过序列比较发现，当跟踪目标的外形和背景同时变化，提取的深度特征依然能够区分目标。

所述浅层特征响应的计算方法为：浅层特征主要是手工特征，包括RGB像素、HOG、CN等，包含纹理、颜色等细节信息且空间分辨率高，适合高精度定位。本方法提取颜色直方图特征和HOG特征作为浅层特征，颜色直方图和HOG响应值由一个M-channel的特征图像ψ_x:H→R^M计算得到，定义在有限的网格g上。

response_hist(x)＝g(ψ_x)

S103、根据所述深层特征响应和所述浅层特征响应自适应融合后的响应总和，得到所述跟踪目标在对应的所述第二帧图像中的位置。

具体的，深度特征编码高层语义信息，对外形变化不敏感，可以用于粗定位，而浅层特征具有更高的细节分辨率，适合精确定位。将两种特征分开对待，深度特征负责鲁棒性，浅层特征强调准确性，两种特征自适应融合，实现特性互补。采集三层卷积特征作为深度特征，颜色直方图特征和HOG特征作为浅层特征，两种特征分别训练相关滤波器，构建两个独立的外观模型，采用自适应特征融合策略来结合两种特征的响应图：

y_β(t)＝β_dy_d(t)+β_sy_s(t)

其中，y_d表示深层特征分数，y_s表示浅层特征分数，y_β表示两种分数加权得到的总分，β＝(β_d,β_s)表示深、浅分数的权重。

响应图能反映目标定位的准确性和鲁棒性，准确性与预测目标周围的响应锐利程度有关，主峰越尖表示准确性越强；鲁棒性与主峰到干扰峰的间隔有关，主峰到次峰的距离越大表示鲁棒性越强。为了评估预测目标的可靠性，采用了一种预测质量评估方法：

其中y表示图像搜索区域的检测分数函数，y(t)∈R是位置t∈R²的目标预测分数，t^*表示候选预测目标。Δ距离函数定义为：

引入松弛变量ξ＝ξ_t*{y_β}，基于结合两种特征的响应图的公式，共同估计分数权重β和目标状态t^*，最大化质量评估，通过最小化损失函数得到：

在实际操作中，从深层和浅层分数中分别寻找局部极大值，将局部极大值按照响应值大小按照升序进行排序筛选后作为有限候选状态Ω，通过最小化损失函数优化每个状态t^*∈Ω，然后选择具有设定即最小总体损失的候选状态t^*作为最终的预测结果，并得到相应的权重系数β＝(β_d,β_s)。采用深、浅层特征自适应融合策略来结合两种特征的响应图，根据跟踪背景的不同自适应地改变特征融合权重，有效适应各种跟踪场景，提升了跟踪性能。

S104、基于阈值判断平均峰值相关能量，并更新所述深层特征模型和所述浅层特征模型，直至所述视频图像序列结束。

具体的，模型更新策略的选择对相关滤波器的性能有着很大的影响。在跟踪的过程中难免会受到各种因素的干扰，比如目标丢失、背景遮挡、模糊等，使用错误的信息更新模型可能会导致跟踪发生漂移甚至失败。基于对应的所述第二帧图像计算出对应的平均峰值相关能量，采用平均峰值相关能量(APCE)来评估响应的置信度，对跟踪结果的可靠性进行判断。该指标可反映出目标跟踪结果的可信度和响应图的波动程度，可由下式计算：

其中，F_max表示最高响应，F_min表示最低响应，F_w,h表示位置(w,h)上的响应，mean()表示对括号内的值求平均。当目标产生形变和背景干扰时，响应图产生剧烈波动并出现多峰干扰，同时APCE处于较低的状态。当目标没有受到干扰时，响应图会有一个锐利且明确(unambiguous)的峰值，同时APCE处于较高的状态。因此，当APCE值明显减小时不更新模型，只有当APCE值和F_max都以一定比例大于历史均值的时候才更新模型，这样在既减少了模型更新次数的同时又减少了模型漂移的情况。

当所述平均峰值相关能量大于历史平均峰值相关能量均值即阈值时，更新所述深层特征模型和所述浅层特征模型，直至所述视频图像序列结束。更新后得到的模型如下：

其中，α_{deep_t-1}为上一帧的深度特征模型，α_{deep_t}为当前帧的深度特征模型，η_deep为深度特征的学习率。α_{shallow_t-1}为上一帧的浅层特征模型，α_{shallow_t}为当前帧的浅层特征模型，η_shallow为浅层特征的学习率。

举例来说，使用OTB100数据集评估本方法的跟踪性能。评估结果从精度图(Precision plot)和成功率(Success plot)图两个方面进行比较。精度图采用CLE(CenterLocation Error)，CLE定义为跟踪方法检测的目标坐标值与实际标注的目标坐标值之间的欧式距离。成功率是指边界框的重叠率，给定检测方法检测的目标边界框r_t和实际标注的目标边界框r_a，重叠率就定义为：

其中，∪和∩分别代表两个区域的并和交，|·|代表像素的数量。

实验硬件环境为Win10操作***，Intel Core i7-8750H(2.20GHz)处理器，8GB内存，Matlab R2018a，将本文算法在OTB100数据集上与SRDCF，STAPLE，LCT，RPT，SAMF，KCF，CSK跟踪算法进行比较，结果如图2和图3所提供的8种算法的精度曲线和成功率曲线比较图所示，OUR为本发明提出的方法，可见本发明在精度和成功率都处于第一位，在精度上比第二位的LCT算法提高了0.2％，比SRDCF提高了1.5％，比KCF提高了10.8％。在成功率上，本算法比SRDCF提高了0.2％，比KCF提高了20.9％。可见本发明具有较好的跟踪性能。

如图4所示，基于深浅特征自适应融合与上下文信息的目标跟踪方法的流程具体为：读取视频序列的第一帧图像，确定跟踪目标的矩形区域，基于上下文感知框架，提取目标区域的三层卷积特征以及目标上下左右四个图像块的三层卷积特征作为深层特征，提取颜色直方图特征和HOG特征作为浅层特征，并分别计算深层特征模型和浅层特征模型；其次，读取下一帧图像，在上一帧预测的目标位置提取目标的深层特征和浅层特征，并且依据上一帧计算的特征模型计算当前帧目标的深层特征响应和浅层特征响应；然后，采用深、浅层特征自适应融合策略，通过在深、浅层响应分数中找到具有最小总体损失的候选状态来计算权重值，获得两种特征的最佳融合比例，并根据融合后的响应总和来计算响应值最大的位置，该位置即为跟踪目标在图像中的位置(x，y)；最后依据融合后的响应值计算当前帧的APCE值，若当前帧的APCE值大于历史APCE均值，即APCE>APCE_mean，则判断此帧图像跟踪结果的可靠性较高，更新深层特征模型和浅层特征模型，否则不更新，直至视频序列结束，能够有效跟踪目标，并且具有较高的准确率。

本发明的一种基于深浅特征自适应融合与上下文信息的目标跟踪方法，首先，获取视频图像序列的第一帧图像，并基于上下文感知框架建立深层特征模型和浅层特征模型；然后获取所述视频图像序列的多个第二帧图像，并利用所述深层特征模型和所述浅层特征模型计算出对应的跟踪目标的深层特征响应和浅层特征响应；并根据所述深层特征响应和所述浅层特征响应自适应融合后的响应总和，得到所述跟踪目标在对应的所述第二帧图像中的位置；并基于阈值判断平均峰值相关能量，并更新所述深层特征模型和所述浅层特征模型，直至所述视频图像序列结束，能够有效跟踪目标，并且具有较高的准确率。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (8)

1.一种基于深浅特征自适应融合与上下文信息的目标跟踪方法，其特征在于，包括：

获取视频图像序列的第一帧图像，并基于上下文感知框架建立深层特征模型和浅层特征模型；

获取所述视频图像序列的多个第二帧图像，并利用所述深层特征模型和所述浅层特征模型计算出对应的跟踪目标的深层特征响应和浅层特征响应；

根据所述深层特征响应和所述浅层特征响应自适应融合后的响应总和，得到所述跟踪目标在对应的所述第二帧图像中的位置；

基于阈值判断平均峰值相关能量，并更新所述深层特征模型和所述浅层特征模型，直至所述视频图像序列结束。

2.如权利要求1所述的基于深浅特征自适应融合与上下文信息的目标跟踪方法，其特征在于，所述获取视频图像序列的第一帧图像，并基于上下文感知框架建立深层特征模型和浅层特征模型，包括：

将获取的视频图像序列的第一帧图像中的目标的背景样本作为上下文信息引入到模板学习，同时并采集目标区域的三层卷积特征和所述目标上下左右四个图像块的三层卷积特征，并利用检测公式计算出深层特征模型。

3.如权利要求2所述的基于深浅特征自适应融合与上下文信息的目标跟踪方法，其特征在于，所述获取视频图像序列的第一帧图像，并基于上下文感知框架建立深层特征模型和浅层特征模型，还包括：

根据所述背景样本中的颜色直方图特征和HOG特征，建立浅层特征模型。

4.如权利要求3所述的基于深浅特征自适应融合与上下文信息的目标跟踪方法，其特征在于，获取所述视频图像序列的多个第二帧图像，并利用所述深层特征模型和所述浅层特征模型计算出对应的跟踪目标的深层特征响应和浅层特征响应，包括：

依次获取多个第二帧图像，并基于所述目标位置提取所述第二帧图像对应的跟踪目标的深层特征和浅层特征，并利用所述深层特征模型和所述浅层特征模型计算对应的深层特征响应和浅层特征响应。

5.如权利要求4所述的基于深浅特征自适应融合与上下文信息的目标跟踪方法，其特征在于，获取所述视频图像序列的多个第二帧图像，并利用所述深层特征模型和所述浅层特征模型计算出对应的跟踪目标的深层特征响应和浅层特征响应，还包括：

利用VGG-NET-19深度网络进行深度特征提取，并采用双线性插值法调整对应的深层特征图像大小。

6.如权利要求5所述的基于深浅特征自适应融合与上下文信息的目标跟踪方法，其特征在于，根据所述深层特征响应和所述浅层特征响应自适应融合后的响应总和，得到所述跟踪目标在对应的所述第二帧图像中的位置，包括：

将所述深层特征响应和所述浅层特征响应的局部极大值进行升序排序后作为候选状态，并基于最小化损失函数得到具有设定总体损失的候选状态和对应的权重系数。

7.如权利要求6所述的基于深浅特征自适应融合与上下文信息的目标跟踪方法，其特征在于，根据所述深层特征响应和所述浅层特征响应自适应融合后的响应总和，得到所述跟踪目标在对应的所述第二帧图像中的位置，还包括：

利用自适应特征融合策略结合所述深层特征和所述浅层特征的响应图，将损失权重系数进行融合后，并引入松弛变量和距离函数进行预测质量评估，确定主峰和干扰峰，得到所述跟踪目标在对应的所述第二帧图像中的位置。

8.如权利要求7所述的基于深浅特征自适应融合与上下文信息的目标跟踪方法，其特征在于，所述基于阈值判断平均峰值相关能量，并更新所述深层特征模型和所述浅层特征模型，直至所述视频图像序列结束，包括：

基于对应的所述第二帧图像计算出对应的平均峰值相关能量，并当所述平均峰值相关能量大于历史平均峰值相关能量均值时，更新所述深层特征模型和所述浅层特征模型，直至所述视频图像序列结束。

Images