CN115953570A - 结合模板更新与轨迹预测的孪生网络目标跟踪方法 - Google Patents

Abstract

本发明公开了结合模板更新与轨迹预测的孪生网络目标跟踪方法，包括：通过预处理后的数据集离线训练得到目标跟踪模型，当前帧通过目标跟踪模型提取图像特征，将其与模板图像进行比对，从而确定下一帧待跟踪目标在图像中的位置信息，在整个目标跟踪过程中，对于模板图像进行在线更新，持续迭代更新模板图像特征，同时根据历史帧中目标运动位置变化信息，利用卡尔曼滤波方法进行轨迹预测，实现对于单目标的稳定跟踪。

Description

结合模板更新与轨迹预测的孪生网络目标跟踪方法

技术领域

本发明属于目标跟踪方法技术领域，涉及结合模板更新与轨迹预测的孪生网络目标跟踪方法。

背景技术

目标跟踪作为计算机视觉领域的一个重要分支，在自动驾驶、人机交互、智能交通等方面获得了越来越广泛的应用。目标跟踪技术旨在通过跟踪过程获得目标的实时位置、运动轨迹、运动速度以及加速度等相关参数，并以此为基础进行高级视觉任务分析，从而实现对目标行为的理解。现有的目标跟踪方法根据观察模型的不同可以分为生成式方法和判别式方法。生成式方法只关注目标本身，而判别式方法则将目标周围的背景区域也作为关注对象进行针对性训练，因此判别式方法可以更好的处理目标周围环境较为复杂的场景。近年来深度学习的发展，使得基于深度学习的判别式目标跟踪算法取得了显著成就。以孪生网络结构为基础的目标跟踪算法是典型的基于深度学习的判别式目标跟踪方法，孪生网络指基于两个人工神经网络建立的耦合构架，Bertinetto等人提出的全卷积孪生网络(Fully-Convolutional Siamese Networks，SiamFC)是使用双支路孪生网络结构处理目标跟踪问题的开山之作，其通过利用两个结构完全相同的全卷积网络来提取目标区域和搜索区域的特征，并计算两者之间的相似度，其中相似度最高的位置作为预测的目标位置，后续大批优秀的框架都以该结构为基础进行优化和改进。Valmadre等人提出非对称孪生网络，将神经网络与相关滤波相结合。Guo等人提出动态孪生网络，在线学习跟踪目标的外观变化并进行背景抑制。Choi等人提出注意力相关滤波网络，将注意力机制引入了跟踪框架。Yuan等人提出抗遮挡跟踪算法，从残差神经网络(Residual Neural Network，ResNet)的不同层中提取目标特征以生成响应图，并引入遮挡检测策略来避免模型漂移。

但以上目标跟踪算法仍存在以下缺点，限制了算法的性能：1)孪生网络往往使用离线训练的方式，没有充分利用在线跟踪信息，并且这些方法始终以第一帧选取的目标作为模板图像，在后续目标发生形变、颜色或光照发生变化时，不能很好地识别目标，缺乏对模板图像的更新迭代。2)孪生网络是通过模板图像和搜索图像互相关进行目标的定位，没有利用跟踪过程中的目标轨迹信息，对于快速运动或者被遮挡的目标不能较好地进行稳定跟踪。

发明内容

本发明的目的是提供一种结合模板更新与轨迹预测的孪生网络目标跟踪方法，解决了现有技术中存在的目标跟踪稳定性差问题。

本发明所采用的技术方案是，结合模板更新与轨迹预测的孪生网络目标跟踪方法，包括：

步骤1、建立目标跟踪模型，目标跟踪模型包括特征提取分支、正负样本分类分支及位置信息回归分支；

步骤2、框选初始帧图像x₀目标边界框，在初始帧图像x₀目标边界框的中心位置裁剪得到模板图像，并进行模板图像的特征提取，得到模板图像特征；

步骤3、初始化卡尔曼滤波器，将初始帧图像x₀目标边界框的中心位置输入卡尔曼滤波器，预测得到下一帧图像x_t,t＝1…n目标中心位置；

步骤4、获取下一帧图像x_t，根据前一帧图像x_t-1目标边界框的中心位置和当前帧图像x_t目标中心位置融合出当前帧图像x_t的目标搜索中心位置，在目标搜索中心位置裁剪得到搜索图像，对搜索图像进行特征提取，得到搜索图像特征；

步骤5、将模板图像特征与搜索图像特征进行互相关操作，得到响应图；将响应图分输入目标跟踪模型中得到当前帧图像x_t的分类图和回归图，利用余弦窗和尺度变化惩罚平滑目标运动，然后根据分类图中得分最高的位置在回归图中选取对应的回归位置信息，得到当前帧图像x_t预测的目标边界框；

步骤6、根据响应图判断是否需要进行模板图像更新；若需要，则在当前帧图像x_t预测的目标边界框的中心位置裁剪得到模板图像，并提取模板图像特征，更新模板图像特征；否则不进行更新；

步骤7、获取当前帧图像x_t预测的目标边界框信息，将其转化为图像的位置和尺度信息，输入卡尔曼滤波器，预测得到下一帧图像x_t+1中目标的轨迹位置，并确定下一帧图像x_t+1目标中心位置；若跟踪完成，结束跟踪；否则进行下一步；

步骤8、令t＝t+1，重复步骤4-7，直至跟踪完成。

本发明的特点还在于：

步骤1中建立目标跟踪模型过程包括：

获取训练数据集，对训练数据集进行预处理，将预处理后的训练数据集输入目标跟模型中，分别进行正负样本的分类训练、位置信息的回归训练，目标跟踪模型的损失函数为L＝L_cls+L_reg；

其中，分类损失函数

上式中，N为样本总数量，y_i为样本i的标签，正样本为1，负样本为0，p_i为样本i预测为正样本的概率；

回归损失函数定义为L_reg＝1-IoU；

上式中，

|A∩B|表示预测目标边界框与实际目标边界框的交集，|A∪B|表示预测目标边界框与实际目标边界框的并集。

预处理方法为：将训练数据集中的图片进行裁剪，同时进行数据增强处理。

步骤6中通过APCE对响应图进行判断：

上式中，F_max、F_min及F_w,h分别代表响应图中的最大值、最小值及位于(w,h)坐标处的值。

步骤6中更新模板图像特征的公式为：

上式中，η为模板图像的更新步长，β₁和β₂分别为判断APCE和F_max是否进行更新的比例阈值，APCE^avg、

分别为历史平均APCE值、历史平均F_max值。

本发明的有益效果是：本发明的结合模板更新与轨迹预测的孪生网络目标跟踪方法，通过对跟踪过程中的模板图像进行实时在线更新迭代，时刻关注目标的形状和外观的变化，持续维持模板图像的有效性，提高了现有基于孪生网络的目标跟踪方法对于目标发生形变、颜色或者光照发生变化时的目标跟踪性能；在目标跟踪过程中引入卡尔曼轨迹预测方法，收集跟踪过程中目标位置信息并进行轨迹预测，通过预测目标中心点，从而确定待搜索区域，有效地利用了跟踪过程中目标的轨迹信息，进一步解决了目标被遮挡或者快速移动的问题，提高了目标跟踪准确率和精确率。

附图说明

图1是本发明结合模板更新与轨迹预测的孪生网络目标跟踪方法的推理流程图；

图2是本发明结合模板更新与轨迹预测的孪生网络目标跟踪方法的构架图；

图3是本发明结合模板更新与轨迹预测的孪生网络目标跟踪方法中特征提取模型的训练流程图；

图4是本发明本发明结合模板更新与轨迹预测的孪生网络目标跟踪方法与其他跟踪方法的EAO对比图；

图5是本发明本发明结合模板更新与轨迹预测的孪生网络目标跟踪方法与其他跟踪方法的跟踪效果雷达图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

结合模板更新与轨迹预测的孪生网络目标跟踪方法，如图1及图2所示，具体包括以下步骤：

步骤1、如图3所示，获取训练数据集，将训练数据集中图片大小统一裁剪至511×511大小，之后对训练数据集进行数据增强处理，包括进行随机的小移位以及目标长宽的缩放；建立目标跟踪模型，目标跟踪模型包括特征提取分支、正负样本分类分支和位置信息回归分支，将预处理后的训练数据集中的视频或者静止图像上采样的图像对输入目标跟踪模型中，分别进行正负样本的分类训练、位置信息的回归训练，并利用随机梯度下降算法(Stochastic Gradient Descent，SGD)优化模型中参数，使总损失值达到最小；目标跟踪模型的损失函数为L＝L_cls+L_reg；

其中，正负样本的分类训练过程为：正样本与负样本的比例设置为1:3，分类损失函数

上式中，N为样本总数量，y_i为样本i的标签，正样本为1，负样本为0，p_i为样本i预测为正样本的概率；

回归损失函数定义为L_reg＝1-IoU；

上式中，

|A∩B|表示预测目标边界框与实际目标边界框的交集，|A∪B|表示预测目标边界框与实际目标边界框的并集。

步骤2、如图2所示，框选初始帧图像x₀目标边界框，在初始帧图像x₀目标边界框的中心位置裁剪127×127大小的图像块作为模板图像，输入目标跟踪模型进行模板图像的特征提取，得到模板图像特征；

步骤3、初始化卡尔曼滤波器，将初始帧图像x₀目标边界框的中心位置输入卡尔曼滤波器，预测得到下一帧图像x_t,t＝1…n目标中心位置；

步骤4、获取下一帧图像x_t，根据前一帧图像x_t-1目标边界框的中心位置和当前帧图像x_t目标中心位置融合出当前帧图像x_t的目标搜索中心位置，在目标搜索中心位置裁剪出255×255大小的搜索图像，输入目标跟踪模型进行搜索图像的特征提取，得到搜索图像特征；

步骤5、将模板图像特征与搜索图像特征进行互相关操作，得到响应图；将响应图分别输入目标跟踪模型中得到当前帧图像x_t的分类图和回归图，利用余弦窗和尺度变化惩罚平滑目标运动，然后根据分类图中得分最高的位置在回归图中选取对应的回归位置信息，预测得到当前帧图像x_t目标边界框；

步骤6、通过APCE(平均相关峰值能量)对响应图判断是否需要进行模板图像更新；若需要，则在步骤5得到的当前帧图像x_t目标边界框的中心位置裁剪127×127大小的图像块作为模板图像，并提取模板图像特征，根据公式更新模板图像特征y_t；否则不进行更新；

上式中，F_max、F_min及F_w,h分别代表响应图中的最大值、最小值及位于(w,h)坐标处的值；

更新模板图像特征的公式为：

上式中，η为模板图像的更新步长，β₁和β₂分别为判断APCE和F_max是否进行更新的比例阈值，APCE^avg、

分别为历史平均APCE值、历史平均F_max值；在每帧图像中，如果响应图的APCE值和F_max值都超过一定比例下的历史均值，则认为当前帧中目标处于良好的状态，应学习当前帧的跟踪结果，对模板图像进行更新，以适应跟踪过程中目标的逐渐变化，否则不进行更新，防止污染模板图像。

步骤7、获取当前帧图像x_t目标边界框信息，将其转化为图像的位置和尺度信息，输入卡尔曼滤波器，预测得到下一帧图像x_t+1中目标的轨迹位置，并确定下一帧图像x_t+1目标中心位置；若跟踪完成，结束跟踪；否则进行下一步；

步骤8、令t＝t+1，重复步骤4-7，直至跟踪完成。

本实施例中，在目标跟踪过程中引入卡尔曼轨迹预测方法，将孪生网络***获得的位置信息作为卡尔曼滤波器的观察值，使卡尔曼滤波器预测结果更加稳定，弥补了孪生网络***只能离线跟踪不具有在线学习过程的缺点，进一步实现了离线跟踪与在线学习的结合，有效地利用了跟踪过程中目标的轨迹信息。卡尔曼滤波器包括时间更新和观测更新两个过程。时间更新主要用于跟踪***的预测，包括状态预测和协方差预测，观测更新主要用于跟踪***的校正，包括协方差更新、状态更新与卡尔曼增益更新。卡尔曼滤波方法主要思想是利用观测值校正预测值，从而得到更为准确的跟踪边界框。首先是对状态的预测：

其中，

表示k时刻的先验状态估计值，是滤波的中间计算结果，即根据上一时刻(k-1)的最优估计预测的k时刻的结果，是预测方程的结果。

表示k-1时刻的后验状态估计值，是更新后的结果，即最优估计。u_k-1为***输入。A和B分别为状态转移矩阵和将输入转换为状态的矩阵。然后是对***结果对应的协方差进行预测：

其中，

表示k时刻的先验估计协方差，P_k-1表示k-1时刻的后验估计协方差，Q是***过程噪声的协方差矩阵，表示状态转换矩阵与实际过程之间的误差。通过前面的状态预测得到的结果可以进行状态的观测更新，首先计算卡尔曼增益：

其中，K_k为滤波增益矩阵，即卡尔曼增益。H为观测矩阵，R为测量噪声协方差矩阵。通过当前状态的观测值、预测值以及卡尔曼增益可以计算k时刻的最佳状态估计值

其中，

和

分别表示k时刻的后验状态估计值和先验状态估计值，z_k表示k时刻的观测值，即滤波的输入。最后对状态对应的协方差矩阵进行更新：

其中，P_k和

分别表示k时刻的后验估计协方差和先验估计协方差，I为单位矩阵。

通过以上方式，本发明的结合模板更新与轨迹预测的孪生网络目标跟踪方法，通过对跟踪过程中的模板图像进行实时在线更新迭代，时刻关注目标的形状和外观的变化，持续维持模板图像的有效性，提高了现有基于孪生网络的目标跟踪方法对于目标发生形变、颜色或者光照发生变化时的目标跟踪性能；在目标跟踪过程中引入卡尔曼轨迹预测方法，收集跟踪过程中目标位置信息并进行轨迹预测，通过预测目标中心点，从而确定待搜索区域，有效地利用了跟踪过程中目标的轨迹信息，进一步解决了目标被遮挡或者快速移动的问题，提高了目标跟踪准确率和精确率。

如图4、图5所示，是将发明的结合模板更新与轨迹预测的孪生网络目标跟踪方法在VOT2018数据集上进行评估的平均重叠期望效果图与不同情况下的跟踪效果雷达图，VOT2018数据集包括60个具有不同挑战的视频测试序列，其主要评价指标为平均重叠期望(Expected Average Overlap，EAO)，综合考虑了准确率(Accuracy,A)以及鲁棒性(Robustness，R)。将本发明的方法与ATOM、DiMP、Ocean、SiamDW、SiamMask、SiamR-CNN、SiamRPN++方法进行了对比。从图上的结果可以看到，本发明的单目标跟踪方法优于其他方法，且有效提升了算法在目标遮挡、目标在发生形变、相机移动以及目标快速移动等情况下的单目标跟踪方法性能。

Claims (5)

1.结合模板更新与轨迹预测的孪生网络目标跟踪方法，其特征在于，包括以下步骤：

步骤1、建立目标跟踪模型，所述目标跟踪模型包括特征提取分支、正负样本分类分支及位置信息回归分支；

步骤2、框选初始帧图像x₀目标边界框，在所述初始帧图像x₀目标边界框的中心位置裁剪得到模板图像，并进行模板图像的特征提取，得到模板图像特征；

步骤3、初始化卡尔曼滤波器，将所述初始帧图像x₀目标边界框的中心位置输入卡尔曼滤波器，预测得到下一帧图像x_t,t＝1…n目标中心位置；

步骤4、获取下一帧图像x_t，根据前一帧图像x_t-1目标边界框的中心位置和当前帧图像x_t目标中心位置融合出当前帧图像x_t的目标搜索中心位置，在所述目标搜索中心位置裁剪得到搜索图像，对所述搜索图像进行特征提取，得到搜索图像特征；

步骤5、将所述模板图像特征与搜索图像特征进行互相关操作，得到响应图；将所述响应图分输入目标跟踪模型中得到当前帧图像x_t的分类图和回归图，利用余弦窗和尺度变化惩罚平滑目标运动，然后根据分类图中得分最高的位置在回归图中选取对应的回归位置信息，预测得到当前帧图像x_t目标边界框；

步骤6、根据所述响应图判断是否需要进行模板图像更新；若需要，则在当前帧图像x_t目标边界框的中心位置裁剪得到模板图像，并提取模板图像特征，更新模板图像特征；否则不进行更新；

步骤7、获取所述当前帧图像x_t目标边界框信息，将其转化为图像的位置和尺度信息，输入卡尔曼滤波器，预测得到下一帧图像x_t+1中目标的轨迹位置，并确定下一帧图像x_t+1目标中心位置；若跟踪完成，结束跟踪；否则进行下一步；

步骤8、令t＝t+1，重复步骤4-7，直至跟踪完成。

2.根据权利要求1所述的结合模板更新与轨迹预测的孪生网络目标跟踪方法，其特征在于，步骤1中建立目标跟踪模型过程包括：

获取训练数据集，对所述训练数据集进行预处理，将预处理后的训练数据集输入目标跟模型中，分别进行正负样本的分类训练、位置信息的回归训练，所述目标跟踪模型的损失函数为L＝L_cls+L_reg；

其中，分类损失函数

上式中，N为样本总数量，y_i为样本i的标签，正样本为1，负样本为0，p_i为样本i预测为正样本的概率；

回归损失函数定义为L_reg＝1-IoU；

上式中，

|A∩B|表示预测目标边界框与实际目标边界框的交集，|A∪B|表示预测目标边界框与实际目标边界框的并集。

3.根据权利要求2所述的结合模板更新与轨迹预测的孪生网络目标跟踪方法，其特征在于，预处理方法为：将所述训练数据集中的图片进行裁剪，同时进行数据增强处理。

4.根据权利要求1所述的结合模板更新与轨迹预测的孪生网络目标跟踪方法，其特征在于，步骤6中通过APCE对响应图进行判断：

上式中，F_max、F_min及F_w,h分别代表响应图中的最大值、最小值及位于(w,h)坐标处的值。

5.根据权利要求1所述的结合模板更新与轨迹预测的孪生网络目标跟踪方法，其特征在于，步骤6中更新模板图像特征的公式为：

上式中，η为模板图像的更新步长，β₁和β₂分别为判断APCE和F_max是否进行更新的比例阈值，APCE^avg、

分别为历史平均APCE值、历史平均F_max值。

Images