CN111027586A - 一种基于新型响应图融合的目标跟踪方法 - Google Patents

Abstract

一种基于新型响应图融合的目标跟踪方法，以给定的第一帧目标物体的位置为中心，裁剪出一个搜索区域块，生成相应的训练标记图，进行深度回归模型的训练，使得预设的损失函数最小，得到训练好的深度回归模型；以前一帧预测的目标物体的位置为中心，裁剪出同样大小的搜索区域块，输入训练好的深度回归模型，经过特征提取和响应图融合生成最终的响应图，响应图的最大值代表预测的目标物体的位置；当获得目标物体的位置之后，对目标物体的大小进行尺度估计；由历史帧的搜索区域块和对应的训练标记图，对深度回归模型进行更新，并重复上述预测后续每一帧中目标的位置和尺寸。本发明能够更加准确地定位目标位置，从而提高目标跟踪的准确性。

Description

一种基于新型响应图融合的目标跟踪方法

技术领域

本发明涉及一种目标跟踪方法。特别是涉及一种基于新型响应图融合的目标跟踪方法。

背景技术

目标跟踪是计算机视觉算法中很有前途但又困难的研究领域，它因为在自动驾驶、交通流量监控、监视和安全、人机交互和医疗诊断***等方面的广泛应用而赢得了广泛的赞誉。由于机遇和不同的跟踪挑战，目标跟踪是计算机视觉的一个活跃研究领域。在过去的几十年中，许多研究团队做出了巨大的努力，但是目标跟踪仍然有很大的潜力去进一步探索。目标跟踪的困难在于无数的挑战，例如遮挡、背景杂乱、光照变化、尺度变化、低分辨率、快速运动、视线消失、运动模糊、变形。

判别相关过滤器(DCF)在各种计算机视觉应用中得到积极利用，包括对象识别、图像配准、面部验证和动作识别。在目标跟踪中，许多算法使用相关过滤器来提高鲁棒性和有效性。最初，训练的需求使得相关滤波器不适合进行在线跟踪。在随后的几年中，误差最小平方和滤波器MOSSE[1]的发展改变了这种情况，它允许有效的自适应训练，它的目标是使傅里叶域中期望输出与实际输出之间的误差平方之和最小。传统说来，设计相关滤波器进行推理的目的是产生响应图，该响应图的场景中背景值较低而感兴趣区域值较高。一种这样的算法是带有内核的循环结构CSK***[2]，它利用目标外观的循环结构并使用核正则化的最小二乘法进行训练。核化的相关滤波器KCF算法[3]使用高斯核函数执行目标跟踪，以区分目标物体与其周围环境。

得益于卷积神经网络CNN功能的强大表现，基于相关滤波器的***已经实现了卓越的性能。但是，基于傅立叶域中的相关优化容易受到边界效应的影响，与传统的基于相关滤波器的***不同，深度回归***尝试通过空间域中的梯度下降来获得近似解。他们将相关滤波器公式化为卷积运算，并构建了典型的卷积神经网络中使用的单通道输出卷积层。 FCNT[4]通过利用特征图选择策略，引入了一种完全卷积网络来利用多个CNN特征。Siamese[5]网络将两个输入连接起来并产生一个输出，目的是确定输入到网络的两个图像块中是否存在相同的对象。DSLT[6]学***衡问题。用于目标跟踪的卷积残差学习算法CREST[7]利用残差学习来适应目标外观，并通过搜索不同尺度的图像块来进行尺度估计。

然而，目前的基于深度回归模型的目标跟踪方法，所使用的传统响应图融合方法都是通过简单的相加或者相乘的融合方式，这种融合方式对于目标运动超出视野外、旋转、遮挡等复杂的挑战情况不具有鲁棒性，容易引起边界框的漂移问题。

发明内容

本发明所要解决的技术问题是，提供一种可以提高目标跟踪准确性的基于新型响应图融合的目标跟踪方法。

本发明所采用的技术方案是：一种基于新型响应图融合的目标跟踪方法，包括如下步骤：

1)以给定的第一帧目标物体的位置为中心，裁剪出一个搜索区域块，并用高斯函数生成相应的训练标记图，进行深度回归模型的训练，通过梯度下降法迭代训练深度回归模型使得预设的损失函数最小，得到训练好的深度回归模型；

2)以前一帧预测的目标物体的位置为中心，裁剪出与步骤1)同样大小的搜索区域块，输入训练好的深度回归模型，经过特征提取和响应图融合生成最终的响应图，搜索响应图的最大值即代表预测的目标物体的位置；

3)当获得目标物体的位置之后，对目标物体的大小进行尺度估计，以应对跟踪过程中目标物体的尺寸变化；

4)为适应目标物体在运动过程中的外观变化，由历史帧的搜索区域块和对应的训练标记图，对深度回归模型进行更新，并重复步骤1)～步骤3)预测后续每一帧中目标的位置和尺寸。

本发明的一种基于新型响应图融合的目标跟踪方法，避免了单一响应图的信息不足，可以结合由不同特征作为输入生成的响应图，所提出的融合策略允许响应图向量的对应位置元素彼此交互，从而明确地捕获响应图每个位置处的复杂相互作用；可以有效地组合两个响应图向量，更好的捕获响应图之间的空间信息关联，并且加强响应图之间的位置信息交互，不单独根据某一响应图得到目标位置，而是综合考虑融合后的响应图，这样能增加目标跟踪的鲁棒性，以促进更加准确地定位目标位置，从而提高目标跟踪的准确性。

附图说明

图1是本发明一种基于新型响应图融合的目标跟踪方法的流程图；

图2是在OTB2013数据上实验得到的准确率图；

图3是在OTB2013数据上实验得到的成功率图。

具体实施方式

下面结合实施例和附图对本发明的一种基于新型响应图融合的目标跟踪方法做出详细说明。

如图1所示，本发明的一种基于新型响应图融合的目标跟踪方法，包括如下步骤：

1)以给定的第一帧目标物体的位置为中心，裁剪出一个搜索区域块，并用高斯函数生成相应的训练标记图，进行深度回归模型的训练，通过梯度下降法迭代训练深度回归模型使得预设的损失函数最小，得到训练好的深度回归模型；其中，

(1)所述的用高斯函数生成相应的训练标记图是采用如下公式：

其中，x₀、y₀是搜索区域块中目标物体中心点的横纵坐标，x、y是搜索区域块中其他点的横纵坐标，σ_x、σ_y是与目标物体的长和宽成比例的方差。

(2)所述的深度回归模型是输入为裁剪得到的搜索区域块，输出为响应图，整个模型包括特征提取和响应图融合两部分，特征提取是使用深度模型中的VGG16进行提取，并生成响应图，响应图融合是使用新型响应图融合方法，即双线性融合方法进行融合。

所述的特征提取是使用深度模型中的VGG16进行提取，是提取卷积层conv4_3和卷积层 conv5_3的特征，为了保证两者特征尺寸相同，保留VGG16的前两个池化层，卷积层conv4_3 和卷积层conv5_3的特征相加得到特征F1，将conv5_3本身作为特征F2；所述的生成响应图，是将特征F1和特征F2分别通过两个卷积层，得到响应图R1和响应图R2，最后响应图R1 和响应图R2通过双线性融合的方法得到最终的响应图B。

所述的双线性融合方法，具体如下：

设定f、g是成对的响应图向量，f、g必须具有相同的空间分辨率大小，维度相同，设定

和

其中w、h分别代表响应图的宽和高，n是维度大小；对于每个点

则

和

表示实数集，双线性融合运算是外积操作，公式如下，

B(l,f,g)＝f(l)^Tg(l)

结果，得到融合后的响应图向量

B输出维度大小是输入维度的平方n²，因此，双线性融合操作不会损失空间分辨率。T表示向量f的转置。

(3)所述的预设的损失函数L_reg具体为：

L_reg＝||W*X-Y||²+λ||W||²

其中，X表示输入的搜索区域块的特征，Y表示由搜索区域块中每个点x、y通过高斯函数生成的训练标记图，*表示卷积操作，W表示卷积层的权重，λ表示正则化系数，防止模型过拟合，当损失函数最小或迭代次数超过上限，训练过程结束，得到训练好的深度回归模型。

2)以前一帧预测的目标物体的位置为中心，裁剪出与步骤1同样大小的搜索区域块，输入训练好的深度回归模型，经过特征提取和响应图融合生成最终的响应图，搜索响应图的最大值即代表预测的目标物体的位置；

3)当获得目标物体的位置之后，对目标物体的大小进行尺度估计，以应对跟踪过程中目标物体的尺寸变化；

所述的对目标物体的大小进行尺度估计，包括：

当获得目标物体的位置之后，按照相同比例裁剪出不同尺度的搜索区域块，比例是

其中S是用于尺度估计的搜索区域块的个数，η是递增因子；然后把不同尺度的搜索区域块归一化为固定的尺度，以便适应深度回归模型的输入尺度，将归一化为固定的尺度送入训练好的深度回归模型分别生成响应图，最终的目标尺寸由响应结果中的最大值决定；第t帧时目标物体的宽和高w_t、h_t按照以下公式进行更新：

其中

分别表示在目标物体的中心位置处，响应图具有最大值时对应的目标物体的宽和高，w_t-1、h_t-1是前一帧的宽和高，β是尺度因子，让更新的过程更加光滑。

4)为适应目标物体在运动过程中的外观变化，由历史帧的搜索区域块和对应的训练标记图，对深度回归模型进行更新，并重复步骤1)～步骤3)预测后续每一帧中目标的位置和尺寸。

综上所述，本发明的一种基于新型响应图融合的目标跟踪方法，避免了单一响应图的信息不足，通过多个响应图的融合可以更准确地定位目标物体，从而提高目标跟踪的准确性。

下面结合具体的实例和图2、图3对本发明的一种基于新型响应图融合的目标跟踪方法进行可行性验证：

在数据集OTB2013[8]上进行了实验，它是常见的目标跟踪领域的基准数据集，其中包含 50个具有挑战性的视频序列。其中名为jogging的序列存在两个不同的跟踪目标。每个序列都有不同的属性标签，可以应对不同的挑战情况，包括遮挡、尺度变化、变形、光照变化、低分辨率、超出视野外、运动模糊、平面内旋转、快速运动、背景杂乱、平面外旋转。

利用广泛使用的方法一次通过评估(OPE)来测量本发明的一种基于新型响应图融合的目标跟踪方法在数据集上的算法性能。这两个主要的评估指标为距离准确率(DP)和重叠成功率(OS)。距离准确率(DP)是指它计算测量估计的边界框中心与真实值之间的距离小于给定阈值的帧所占的比率，阈值通常设置为20像素。重叠成功率(OS)是测量估计的边界框和真实值之间的重叠分数。

比较了两种融合方式：逐元素相加(SUM)融合方式和本发明的双线性(BCNN)融合方式。

结果如图2所示，使用BCNN的方法得到的准确率值为0.879，使用SUM的方法得到的准确率值为0.872。如图3所示，使用BCNN的方法得到的成功率值为0.614，使用SUM的方法得到的成功值为0.567。可见使用BCNN的方法进行融合对准确率提升不大，但是对成功率有很大提升。因此使用双线性卷积神经网络的方法进行响应图的融合，优于使用逐元素相加的方法进行融合。因为它可以更好地捕获响应图的交互信息，加强不同响应图的位置关联，从而更加准确地预测物体的位置。

本领域技术人员可以理解附图只是一个优选实施例的示意图，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

参考文献：

[1]BolmeD S,Beveridge J R,Draper B A,et al.Visual object trackingusing adaptive correlation filters[C]//2010IEEE Computer Society Conferenceon Computer Vision and Pattern Recognition,Jun.13-18,2010,San Francisco,CA,USA:IEEE,2010,582:2544-2550.

[2]Danelljan M,Shahbaz Khan F,Felsberg M,et al.Adaptive ColorAttributes for Real-Time Visual Tracking[C]//2014IEEE Conference on ComputerVision and Pattern Recognition,Jun. 23-28,2014,Columbus,OH,USA:IEEE,2014,421:1090-1097.

[3]Henriques J F,Caseiro R,Martins P,et al.High-Speed Tracking withKernelized Correlation Filters[J]//IEEE Transactions on Pattern Analysis andMachine Intelligence,2015, 37(3):583-96.

[4]Wang L,Ouyang W,Wang X,et al.Visual trackingwith fullyconvolutional networks[C]// 2015 IEEE International Conference on ComputerVision,Dec.7-13,2015,Santiago,Chile: IEEE,2015,258:3119-3127.

[5]BertinettoL,Valmadre J,Henriques J F,et al.Fully-convolutionalsiamese networks for objecttracking[C]//2016European Conference on ComputerVisionWorkshop,Oct.8-10, 2016,Amsterdam,The Netherlands,2016,9914:850-865.

[6]Lu X,Ma C,Ni B,et al.Deep regression tracking with shrinkage loss[C]//The European Conference on Computer Vision,Sep.8–14,2018,Munich,Germany,2016,14:369-386.

[7]Song Y,Ma C,Gong C,et al.Crest:Convolutional residual learning forvisual tracking[C]// 2017 IEEE International Conference on Computer Vision,Oct.22-29,2017,Venice,Italy: IEEE,2017,31:2574-2583.

[8]Wu Y,Lim J,Yang M H.Online Object Tracking:ABenchmark[C]//2013IEEE Conference on Computer Vision and Pattern Recognition,Jun.23-28,2013,Portland,OR,USA:IEEE, 2013,1179:2411-2418。

Claims (7)

1.一种基于新型响应图融合的目标跟踪方法，其特征在于，包括如下步骤：

1)以给定的第一帧目标物体的位置为中心，裁剪出一个搜索区域块，并用高斯函数生成相应的训练标记图，进行深度回归模型的训练，通过梯度下降法迭代训练深度回归模型使得预设的损失函数最小，得到训练好的深度回归模型；

2)以前一帧预测的目标物体的位置为中心，裁剪出与步骤1)同样大小的搜索区域块，输入训练好的深度回归模型，经过特征提取和响应图融合生成最终的响应图，搜索响应图的最大值即代表预测的目标物体的位置；

3)当获得目标物体的位置之后，对目标物体的大小进行尺度估计，以应对跟踪过程中目标物体的尺寸变化；

4)为适应目标物体在运动过程中的外观变化，由历史帧的搜索区域块和对应的训练标记图，对深度回归模型进行更新，并重复步骤1)～步骤3)预测后续每一帧中目标的位置和尺寸。

2.根据权利要求1所述的一种基于新型响应图融合的目标跟踪方法，其特征在于，步骤1)所述的用高斯函数生成相应的训练标记图是采用如下公式：

其中，x₀、y₀是搜索区域块中目标物体中心点的横纵坐标，x、y是搜索区域块中其他点的横纵坐标，σ_x、σ_y是与目标物体的长和宽成比例的方差。

3.根据权利要求1所述的一种基于新型响应图融合的目标跟踪方法，其特征在于，步骤1)所述的深度回归模型是输入为裁剪得到的搜索区域块，输出为响应图，整个模型包括特征提取和响应图融合两部分，特征提取是使用深度模型中的VGG16进行提取，并生成响应图，响应图融合是使用新型响应图融合方法，即双线性融合方法进行融合。

4.根据权利要求3所述的一种基于新型响应图融合的目标跟踪方法，其特征在于，所述的特征提取是使用深度模型中的VGG16进行提取，是提取卷积层conv4_3和卷积层conv5_3的特征，保留VGG16的前两个池化层，卷积层conv4_3和卷积层conv5_3的特征相加得到特征F1，将conv5_3本身作为特征F2；所述的生成响应图，是将特征F1和特征F2分别通过两个卷积层，得到响应图R1和响应图R2，最后响应图R1和响应图R2通过双线性融合的方法得到最终的响应图B。

5.根据权利要求3所述的一种基于新型响应图融合的目标跟踪方法，其特征在于，所述的双线性融合方法，具体如下：

设定f、g是成对的响应图向量，f、g必须具有相同的空间分辨率大小，维度相同，设定

和

其中w、h分别代表响应图的宽和高，n是维度大小；对于每个点

则

和

表示实数集，双线性融合运算是外积操作，公式如下，

B(l,f,g)＝f(l)^Tg(l)

结果，得到融合后的响应图向量

B输出维度大小是输入维度的平方n²，因此，双线性融合操作不会损失空间分辨率，T表示向量f的转置。

6.根据权利要求1所述的一种基于新型响应图融合的目标跟踪方法，其特征在于，步骤1)所述的预设的损失函数L_reg具体为：

L_reg＝||W*X-Y||²+λ||W||²

其中，X表示输入的搜索区域块的特征，Y表示由搜索区域块中每个点x、y通过高斯函数生成的训练标记图，*表示卷积操作，W表示卷积层的权重，λ表示正则化系数，防止模型过拟合，当损失函数最小或迭代次数超过上限，训练过程结束，得到训练好的深度回归模型。

7.根据权利要求1所述的一种基于新型响应图融合的目标跟踪方法，其特征在于，步骤3)所述的对目标物体的大小进行尺度估计，包括：

当获得目标物体的位置之后，按照相同比例裁剪出不同尺度的搜索区域块，比例是

其中S是用于尺度估计的搜索区域块的个数，η是递增因子；然后把不同尺度的搜索区域块归一化为固定的尺度，将归一化为固定的尺度送入训练好的深度回归模型分别生成响应图，最终的目标尺寸由响应结果中的最大值决定；第t帧时目标物体的宽和高w_t、h_t按照以下公式进行更新：

其中

分别表示在目标物体的中心位置处，响应图具有最大值时对应的目标物体的宽和高，w_t-1、h_t-1是前一帧的宽和高，β是尺度因子，让更新的过程更加光滑。

Images