CN113269809B - 一种多特征融合相关滤波目标跟踪方法及计算机设备 - Google Patents

Abstract

本申请适用于图像处理领域，提供了一种多特征融合相关滤波目标跟踪方法、计算机可读存储介质及计算机设备。所述方法包括以下步骤：接收视频，在当前视频帧中获取待跟踪目标图像和待跟踪目标的跟踪框；分别计算待跟踪目标图像的深度特征和三个手工特征，首先对三个手工特征进行串行融合，得到一个单通道的手工特征图，然后对待跟踪目标图像进行深度特征提取，得到一个单通道的深度特征图，将手工特征图与深度特征图并行融合调整为相同尺寸再进行对应像素相加，得到最终的融合特征；基于树形结构尺度自适应的目标跟踪算法对待跟踪目标的跟踪框中的目标进行尺度缩放判断，得到目标的最佳尺度响应值；在相关滤波模型KCF中，根据最终的融合特征和目标的最佳尺度响应值确定待跟踪目标。本申请能增加目标的外观模型的可区分性。

Description

一种多特征融合相关滤波目标跟踪方法及计算机设备

技术领域

本申请属于图像处理领域，尤其涉及一种多特征融合相关滤波目标跟踪方法、计算机可读存储介质及计算机设备。

背景技术

视觉跟踪作为计算机视觉领域中的热点问题，主要任务是估计视频中目标的运动轨迹。近年来目标跟踪算法取得了显著的效果，但是由于光照变化、运动模糊、快速移动等造成的目标丢失问题，目标跟踪的研究一直存在困难。

现有技术的目标跟踪方法主要是基于相关滤波和基于深度学习的方法，其中基于深度学习的方法凭借其优秀的特征提取能力和完善的训练模型抢占眼球，但其算法速度过慢，大都在0.1-5帧每秒之间，不能达到实时跟踪；而基于相关滤波的方法由于其在频域的快速计算特性拥有着几百帧的速度优势，如何将深度学习方法引入到相关滤波当中成为当前目标跟踪领域的研究热点之一。众所周知，强大的特征是良好跟踪的基础，在相关滤波方法中，最早的MOSSE使用的是灰度特征，跟踪速度快，为669帧每秒，但跟踪精度低；CSK在MOSSE基础上增加了循环矩阵和核函数进行估计，仍使用的是灰度特征跟踪速度320帧每秒；CN在CSK的基础上采用的是颜色特征并进行降维处理；KCF是对CSK的进一步完善，使用的是HOG特征，目标的表面纹理特征和轮廓形状能够很好地被HOG特征来描述。

传统的目标跟踪算法大多使用单一的特征，使得***在面对各类复杂情况下无法进行精确地跟踪，例如HOG特征在目标背景颜色干扰，背景混乱复杂等情况下都具有一定的鲁棒性，但是图像模糊时其适应性差；CN对于运动模糊，图像低分辨率，光照强度变化跟踪效果好，但是对于相似颜色的干扰表现性能较差；GRAY特征由于计算复杂度低，运算速度快，导致了其在各类条件下都无法实现准确地跟踪；CNN特征由于使用了复杂的卷积神经网络提取特征，其跟踪精度跟踪更高，但是实时性差。

发明内容

本申请的目的在于提供一种多特征融合相关滤波目标跟踪方法、计算机可读存储介质及计算机设备，旨在解决传统的使用单一的特征的目标跟踪算法使得***在面对各类复杂情况下无法进行精确地跟踪的问题。

第一方面，本申请提供了一种多特征融合相关滤波目标跟踪方法，所述方法包括以下步骤：

S101、接收视频，在当前视频帧中获取待跟踪目标的跟踪框；

S102、分别计算待跟踪目标图像的深度特征和三个手工特征，首先对三个手工特征进行串行融合，得到一个单通道的手工特征图，然后对待跟踪目标图像进行深度特征提取，得到一个单通道的深度特征图，最后将手工特征图与深度特征图并行融合调整为相同尺寸再进行对应像素相加，得到最终的融合特征；

S103、基于树形结构尺度自适应的目标跟踪算法对待跟踪目标的跟踪框中的目标进行尺度缩放判断，得到目标的最佳尺度响应值；

S104、在相关滤波模型KCF中，根据最终的融合特征和目标的最佳尺度响应值确定待跟踪目标。

进一步地，S104之后，所述方法还包括以下步骤：

S105、利用相似性检测方法来更新目标模型，对于满足要求的图像进行模型的更新，对于不满足要求的图像则判定目标丢失；

S106、如果目标丢失，则结合全帧搜索法对丢失的目标进行位置恢复。

第二方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如所述的多特征融合相关滤波目标跟踪方法的步骤。

第三方面，本申请提供了一种计算机设备，包括：

一个或多个处理器；

存储器；以及

一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如所述的多特征融合相关滤波目标跟踪方法的步骤。

在本申请中，分别计算待跟踪目标图像的深度特征和三个手工特征，首先对三个手工特征进行串行融合，得到一个单通道的手工特征图，然后对待跟踪目标图像进行深度特征提取，得到一个单通道的深度特征图，最后将手工特征图与深度特征图并行融合调整为相同尺寸再进行对应像素相加，得到最终的融合特征；基于树形结构尺度自适应的目标跟踪算法对待跟踪目标的跟踪框中的目标进行尺度缩放判断，得到目标的最佳尺度响应值。因此能增加目标的外观模型的可区分性。又由于利用利用相似性检测方法来更新目标模型，对于满足要求的图像进行模型的更新，对于不满足要求的图像则判定目标丢失；如果目标丢失，则结合全帧搜索法对丢失的目标进行位置恢复。因此提高了目标丢失检测和恢复的准确性，能够显著提高整体跟踪精度，跟踪速度也下降不大，同时检测阈值的选择相比较宽松。

附图说明

图1是本申请一实施例提供的多特征融合相关滤波目标跟踪方法的流程图。

图2是本申请一实施例中基于树形结构尺度自适应的目标跟踪算法的示意图。

图3是本申请一实施例提供的计算机设备的具体结构框图。

具体实施方式

为了使本申请的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。

请参阅图1，是本申请一实施例提供的多特征融合相关滤波目标跟踪方法的流程图，本实施例主要以该多特征融合相关滤波目标跟踪方法应用于计算机设备为例来举例说明，本申请一实施例提供的多特征融合相关滤波目标跟踪方法包括以下步骤：

S101、接收视频，在当前视频帧中获取待跟踪目标图像和待跟踪目标的跟踪框。

S102、分别计算待跟踪目标图像的深度特征和三个手工特征，首先对三个手工特征进行串行融合，得到一个单通道的手工特征图，然后对待跟踪目标图像进行深度特征提取，得到一个单通道的深度特征图，最后将手工特征图与深度特征图并行融合调整为相同尺寸再进行对应像素相加，得到最终的融合特征。

在本申请一实施例中，三个手工特征包括HOG(Histogram of OrientedGradients，方向梯度直方图)、CN(Color Names，颜色命名)和Gray(灰度)，深度特征是CNN(Convolutional Neural Networks，卷积神经网络)。

在本申请一实施例中，S102具体包括以下步骤：

S1021、分别计算三个手工特征和深度特征并进行特征融合。

计算待跟踪目标图像的三个手工特征具体包括：计算待跟踪目标图像的第一通道数(例如1通道)的Gray特征，第二通道数(例如31通道)的HOG特征，第三通道数(例如10通道)的CN特征；提取待跟踪目标图像的深度特征具体为：使用ImageNet-vgg-2048网络提取待跟踪目标图像的深度特征。由于越深的卷积层会造成图像分辨率的下降，从而造成跟踪的准确性下降，在本申请一实施例中，具体可以是选取第1个卷积层输出的特征图作为深度特征。

S1022、将三个手工特征的通道数进行串行融合，得到融合后的特征。

S1022具体可以为：

将Gray特征的第一通道数、HOG特征的第二通道数和CN特征的第三通道数相加，得到融合后的特征。

S1023、将融合后的手工特征的对应像素相加，得到一个单通道的手工特征图。

S1024、提取待跟踪目标图像的深度特征，得到多个深度特征图，并将得到的各个深度特征图进行对应像素相加，得到一个单通道的深度特征图。

S1025、将手工特征图与深度特征图并行融合调整为相同尺寸再进行对应像素相加，得到最终的融合特征。

S103、基于树形结构尺度自适应的目标跟踪算法对待跟踪目标的跟踪框中的目标进行尺度缩放判断，得到目标的最佳尺度响应值。

若目标跟踪算法中没有尺度自适应模型，在跟踪过程中会面临这样的问题：当目标区域变大时，跟踪框不能将目标区域完全包含在内，这会导致目标信息缺失；当目标区域变小时，跟踪框内不仅包含目标还有除目标外其它的物体，这会导致跟踪框内包含许多的干扰信息，这两种情况都会导致跟踪的失败。

如图2所示，受到分类树原理的启发，本申请提供了一种基于树形结构尺度自适应的目标跟踪算法，借鉴DSST(Discriminatiive Scale Space Tracker)算法的思想，分别进行位置和尺度的滤波。

在本申请一实施例中，S103具体包括以下步骤：

S1031、对待跟踪目标的跟踪框进行位置滤波器的计算，确定目标的位置中心坐标；

S1032、根据目标的位置中心坐标进行树形结构的尺度估计，找到目标的最佳尺度响应值。具体可以为：根据目标的位置中心坐标通过树形结构的第一层确定待跟踪目标是放大还是缩小，所述第一层包括当前帧中目标的第一尺度的响应值和当前帧中目标的第二尺度的响应值，从而确定目标的最大尺度响应值的寻找方向，若在当前帧中目标的第一尺度响应值大于当前帧中目标的第二尺度响应值，说明在当前帧中待跟踪目标是放大的，若在当前帧中目标的第一尺度响应值小于当前帧中目标的第二尺度响应值，说明在当前帧中待跟踪目标是缩小的；在所确定的树形结构的分支内，采用尺度池来求解预设数量的尺度滤波器的大小，找到目标的最佳尺度响应值。本发明每个分支进行10个尺度的比较，因此在每一帧更新中共需要进行12次运算。为了确保跟踪过程中待跟踪目标的尺度确实发生了变化，而不是受到某一帧的目标检测结果的影响，本申请每隔预定时间(例如3秒)对目标检测的结果进行一次记录，若连续预设次数(例如10次)都出现待跟踪目标的尺度发生放大或缩小，就可以确认待跟踪目标的尺度发生了变化，并使用基于树形结构尺度自适应的目标跟踪算法进行尺度放缩。

相对于SAMF算法所提尺度树算法的尺度因子覆盖范围更大，能够提高跟踪算法的精度；相比于DSST算法所提算法能减少无用的运算21次，能够提高跟踪算法的速度。

S104、在相关滤波(Correlation Filter)模型KCF中，根据最终的融合特征和目标的最佳尺度响应值确定待跟踪目标。

在本申请一实施例中，S104之后，所述方法还可以包括以下步骤：

S105、利用相似性检测方法来更新目标模型，对满足要求的图像进行模型的更新，对不满足要求的图像则判定目标丢失；

S106、如果目标丢失，则结合全帧搜索法对丢失的目标进行位置恢复。

在本申请一实施例中，S105具体可以包括以下步骤：

相似性检测方法根据***的响应值，获得一个丢失确信分数，并检查是否超过检测阈值，从而输出一个预测目标丢失的0-1值，预测目标丢失值为1时表示丢失检测器认为当前待跟踪目标已经丢失，否则表示检测器认为当前待跟踪目标没有丢失。而借助真实目标框的标定信息，可以计算当前预测的目标框位置与标定目标框的交叠比。若交叠比为0，则可知目标框实际确实发生了丢失。对于目标丢失的检测，本发明使用相似性分数检测方式具有最好的检测效果，跟踪速度也下降不大，同时检测阈值的选择相比较宽松。相似性检测方法如下：

基于相似性匹配的孪生网络不仅可以用来在新一帧的搜索区域中匹配选择目标的参考位置，其相关操作的结果还可以作为一种可靠性度量。如果发生了目标丢失导致新一帧预测位置和目标实际位置相差较大，预测位置处的样本和模板样本可能相差较大，使相关分数较低。

记第一帧中在真实标定区域获得的样本为x₁∈R^H×W×C，第t帧中，以预测目标中心点位置和目标框尺寸为参照采样并放缩获得的样本为x_t∈R^H×W×C。将以上样本输入到基于相似性匹配的孪生网络中，经过特征提取流程

得到的对应特征分别为p₁∈R^{H′×W′×C′}和p_t∈R^{H′×W′×C′}。此外使用一种指数滑动平均方法能够给出第t帧的一个历史加权特征p_accu∈R^{H ′×W′×C′}。具体方法如下：使用第t帧样本的特征和第1帧样本的特征，产生相似性分数用于判断，如公式(1)所示。使用第t帧样本的特征和历史累积样本特征，产生相似性分数用于判断，如公式(2)所示：

s＝ψ(p₁,p_t) (1)

s＝ψ(p_accu,p_t) (2)

其中，ψ是互相关函数，在实现过程中使用卷积操作完成，历史累积样本特征的更新按照公式(3)计算。使用这种方式的目的是依赖可靠的历史信息的同时，采纳一定程度的新一帧信息，以反映目标的运动变化情况，增强鲁棒性。该式中γ是一个滑动平均系数，实验中使用经验值γ＝0.005

p_accu,t＝(1-γ)p_accu,t-1+γp_t (3)

给定一个阈值β，对于相似性方法产生的响应分数，相似性分数s低于β的视为判断跟踪失败，认为预测的目标中心点位置和尺寸不可靠，目标可能丢失或被遮挡，将不使用预测位置的样本来更新目标模型，同时维持上一帧预测的目标框位置与尺寸不更新。否则高于β的认为跟踪状态正常，正常更新目标模型和目标的框的位置尺寸。

在本申请一实施例中，S106具体可以包括以下步骤：

通过全帧搜索法获取候选目标中心测试点，以上一帧目标框大小为基准，裁剪提取相应样本，输入到基于相似性匹配的孪生网络中进行匹配跟踪，基于相似性匹配的孪生网络输出最高响应的位置作为恢复目标位置。

全帧搜索法能够显著提高整体跟踪精度，说明在使用标定信息感知到目标丢失的情况下，全帧搜索法一定程度上在后续帧中成功地进行了恢复。具体可采用等间距采样方式和高斯分布式采样方式。

本申请一实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本申请一实施例提供的多特征融合相关滤波目标跟踪方法的步骤。

图3示出了本申请一实施例提供的计算机设备的具体结构框图，一种计算机设备100包括：一个或多个处理器101、存储器102、以及一个或多个计算机程序，其中所述处理器101和所述存储器102通过总线连接，所述一个或多个计算机程序被存储在所述存储器102中，并且被配置成由所述一个或多个处理器101执行，所述处理器101执行所述计算机程序时实现如本申请一实施例提供的多特征融合相关滤波目标跟踪方法的步骤。计算机设备包括服务器和终端等。该计算机设备可以是台式计算机、移动终端或车载设备，移动终端包括手机、平板电脑、个人数字助理或可穿戴设备等中的至少一种。

在本申请中，由于分别计算待跟踪目标图像的深度特征和三个手工特征，首先对三个手工特征进行串行融合，得到一个单通道的手工特征图，然后对待跟踪目标图像进行深度特征提取，得到一个单通道的深度特征图，最后将手工特征图与深度特征图并行融合调整为相同尺寸再进行对应像素相加，得到最终的融合特征；基于树形结构尺度自适应的目标跟踪算法对待跟踪目标的跟踪框中的目标进行尺度缩放判断，得到目标的最佳尺度响应值。因此能增加目标的外观模型的可区分性。又由于利用相似性检测方法来更新目标模型，对于满足要求的图像进行模型的更新，对于不满足要求的图像则判定目标丢失；如果目标丢失，则结合全帧搜索法对丢失的目标进行位置恢复。因此提高了目标丢失检测和恢复的准确性，能够显著提高整体跟踪精度，跟踪速度也下降不大，同时检测阈值的选择相比较宽松。

应该理解的是，本申请各实施例中的各个步骤并不是必然按照步骤标号指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种多特征融合相关滤波目标跟踪方法，其特征在于，所述方法包括以下步骤：

S101、接收视频，在当前视频帧中获取待跟踪目标图像和待跟踪目标的跟踪框；

S102、分别计算待跟踪目标图像的深度特征和三个手工特征，首先对三个手工特征进行串行融合，得到一个单通道的手工特征图，然后对待跟踪目标图像进行深度特征提取，得到一个单通道的深度特征图，最后将手工特征图与深度特征图并行融合调整为相同尺寸再进行对应像素相加，得到最终的融合特征；三个手工特征包括方向梯度直方图HOG、颜色命名CN和灰度Gray，深度特征是卷积神经网络CNN；

S103、基于树形结构尺度自适应的目标跟踪算法对待跟踪目标的跟踪框中的目标进行尺度缩放判断，得到目标的最佳尺度响应值；

S104、在相关滤波模型KCF中，根据最终的融合特征和目标的最佳尺度响应值确定待跟踪目标；

S102具体包括以下步骤：

S1021、分别计算待跟踪目标图像的深度特征和三个手工特征；

S1022、将三个手工特征的通道数进行串行融合，得到融合后的特征；

S1023、将融合后的特征进行对应像素相加，得到一个单通道的手工特征图；

S1024、提取待跟踪目标图像的深度特征，得到多个深度特征图，并将得到的各个深度特征图进行对应像素相加，得到一个单通道的深度特征图；

S1025、将手工特征图和深度特征图并行融合调整为相同尺寸再进行对应像素相加，得到最终的融合特征。

2.如权利要求1所述的方法，其特征在于，计算待跟踪目标图像的三个手工特征具体包括：计算待跟踪目标图像的第一通道数的Gray特征，第二通道数的HOG特征和第三通道数的CN特征；

所述提取待跟踪目标图像的深度特征具体为：使用ImageNet-vgg-2048网络提取待跟踪目标图像的深度特征。

3.如权利要求1所述的方法，其特征在于，S103具体包括以下步骤：

S1031、对待跟踪目标的跟踪框进行位置滤波器的计算，确定目标的位置中心坐标；

S1032、根据目标的位置中心坐标进行树形结构的尺度估计，找到目标的最佳尺度响应值。

4.如权利要求3所述的方法，其特征在于，S1032具体为：

根据目标的位置中心坐标通过树形结构的第一层确定待跟踪目标是放大还是缩小，所述第一层包括当前帧中目标的第一尺度的响应值和当前帧中目标的第二尺度的响应值，从而确定目标的最大尺度响应值的寻找方向，若在当前帧中目标的第一尺度响应值大于当前帧中目标的第二尺度响应值，说明在当前帧中待跟踪目标是放大的，若在当前帧中目标的第一尺度响应值小于当前帧中目标的第二尺度响应值，说明在当前帧中待跟踪目标是缩小的；

在所确定的树形结构的分支内，采用尺度池来求解预设数量的尺度滤波器的大小，找到目标的最佳尺度响应值。

5.如权利要求4所述的方法，其特征在于，所述方法还包括：

每隔预定时间对目标检测的结果进行一次记录，若连续预设次数都出现待跟踪目标的尺度发生放大或缩小，就可以确认待跟踪目标的尺度发生了变化，并使用基于树形结构尺度自适应的目标跟踪算法进行尺度放缩。

6.如权利要求1所述的方法，其特征在于，S104之后，所述方法还包括以下步骤：

S105、利用相似性检测方法来更新目标模型，对于满足要求的图像进行模型的更新，对于不满足要求的图像则判定目标丢失；

S106、如果目标丢失，则结合全帧搜索法对丢失的目标进行位置恢复。

7.如权利要求6所述的方法，其特征在于，S106具体包括以下步骤：

通过全帧搜索法获取候选目标中心测试点，以上一帧目标框大小为基准，裁剪提取相应样本，输入到基于相似性匹配的孪生网络中进行匹配跟踪，基于相似性匹配的孪生网络输出最高响应的位置作为恢复目标位置。

8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的多特征融合相关滤波目标跟踪方法的步骤。

9.一种计算机设备，包括：

一个或多个处理器；

存储器；以及

一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的多特征融合相关滤波目标跟踪方法的步骤。

Images