CN109801310A - 一种方位和尺度判别深度网络的目标跟踪方法 - Google Patents

Abstract

本发明公开了一种方位和尺度判别深度网络的目标跟踪方法，包括以下步骤：(1)，预训练网络；步骤(2)，方位信息分类；步骤(3)，滑窗操作；步骤(4)，在线微调；步骤(5)，丢失重新检测。本发明在深度学习网络框架下加入了方向信息分类和正负样本分类，使得深度网络计算量低，速度较快；同时通过在线微调网络参数策略，当目标发生形变的时候，使网络适应目标不同时期的形变，依然可以很好地完成跟踪任务；另外，在跟踪时，引入重检测策略，对目标跟踪中目标丢失的情况也能很好处理。

Description

一种方位和尺度判别深度网络的目标跟踪方法

技术领域

本发明涉及人机交互和视频监控中的图像处理和计算机视觉领域，尤其涉及一种方位和尺度判别深度网络的目标跟踪方法，通过深度网络学习目标方向信息的方法实现目标跟踪。

背景技术

为了让机器理解真实世界，计算机视觉一直是研究的前沿阵地，目标跟踪一直是计算机视觉的核心内容，所以近年来目标跟踪技术一直是研究的热点问题。它的目的就是通过标注第一帧的目标大小与位置信息情况下，利用算法学习目标的特征，预测后续帧中该目标的大小和位置。在单目标跟踪领域，近期跟踪算法主要分为相关滤波和深度学习两大方向。

近几年深度学习在跟踪领域得到广泛应用，Naiyan Wang等人(Wang N, Yeung DY.Learning a deep compact image representation for visual tracking[C]//Advances in neural information processing systems.2013:809-817.)提出DLT算法，第一次将深度学习引入到目标跟踪领域。DLT算法先使用栈式降噪自编码器在TinyImagesdataset这样的大规模自然图像数据集上进行无监督的离线预训练来获得通用的物体表征能力。跟踪阶段初始，网络并没有获取对当前被跟踪物体的特定表达能力。此时利用第一帧获取正负样本，对分类网络进行微调获得对当前跟踪目标和背景更有针对性的分类网络。在跟踪过程中，对当前帧采用粒子滤波的方式提取一批候选的样本，这些样本输入分类网络中，置信度最高的成为最终的预测目标。DLT算法离线预训练采用的数据集只包含32*32大小的图片，分辨率明显低，因此很难学到足够强的特征表示。DLT全连接的网络结构使其对目标的特征刻画能力不够优秀，虽然使用了4层的深度模型，但效果仍低于一些使用人工特征的传统跟踪方法。

随着深度学习广泛应用，善于处理图像的CNN网络被引入到跟踪领域。一大批优秀算法诞生，Nam等人(Nam H,Han B.Learning multi-domain convolutional neuralnetworks for visual tracking[C]//Computer Vision and Pattern Recognition(CVPR),2016IEEE Conference on.IEEE,2016:4293-4302.)提出 MDNet算法。Nam等人意识到图像分类任务和跟踪之间存在巨大差别，MDNet 提出直接用跟踪视频预训练CNN获得通用的目标表示能力的方法。MDNet提出将每个训练序列当成一个单独的domain,每个domain都有一个针对它的二分类层，用于区分当前序列的前景和背景，而网络之前的所有层都是序列共享的。这样共享层达到了学习跟踪序列中目标的特征表达的目的。跟踪阶段，使用第一帧的数据来训练该序列的bounding box回归模型。用第一帧提取正样本和负样本，更新网络的权重。之后产生256个候选样本，并从中选择置信度最高的，之后做 bounding-box回归得到最终结果。MDNet效果虽然好，但是也存在一些问题，需要前向传递上百个样本,虽然网络结构较小，速度仍较慢。且bounding-box回归也需要单独训练。

发明内容

发明目的：为了解决以上技术中的不足之处，使***在目标发生光照改变、尺度变化、遮盖、变形、运动模糊、快速移动、背景模糊等复杂情况下，依然可以准确地跟踪目标，本发明提出一种深度学习目标方位信息的目标跟踪算法，加入滑窗移动，单样本跟踪策略，加速深度网络计算，是一种简单且鲁棒的跟踪方法。

技术方案：为了解决由目标形变、遮挡，光照，旋转等情况引起的目标跟踪失败以及深度网络速度慢的问题，本发明提出了一种单样本的深度学习目标方位信息目标跟踪方法，在复杂场景下也能保持目标跟踪的稳定性，提高***的精度，改善深度网络的速度。

本发明所述一种深度学习目标方位信息的跟踪方法，该方法的具体步骤为：

(1)步骤1：预训练网络。本发明采用三层卷积神经网络三层全连接网络框架。但是第三层全连接网络采用双路分类网络。方位信息分类层，进行目标位置信息的判断，正负分类层，进行目标与背景的判断。本网络前面三层卷积层初始化采用的是VGG-M，利用大规模数据集训练的卷积网络有很好的泛化性能和迁移学习能力。本发明采用已经训练好的网络权重作为训练网络的初始化，对网络的跟踪学习能力有很大提高。

每一个分类网络训练输出采用softmax交叉熵损失函数，随机梯度下降和反向传播进行网络权重的更新，循环次数为100，训练数据集来自 VOT2013,VOT2014,VOT2015中的58个视频序列，利用视频序列进行预训练与以往利用大规模分类数据不同，此方法可以对用于跟踪的网络更有针对性，更适合跟踪训练。

训练阶段样本的选取采用计算重叠率的策略进行选取。为了使网络学习到更多的目标方位信息，训练阶段对正负样本的划分的重叠率阈值用α表示。如公式 (1)，l代表正负样本的标签，IoU表示重叠率，如果g_s和g_t的重叠率大于α则判断为正样本，否则为负样本。卷积层学习率用β₁表示，全连接层学习率用β₂表示。

(2)步骤2：方位信息分类。本发明提出深度网络学习正样本的十一类方位，主要分为左上(D₁)、左(D₂)、左下(D₃)、下(D₄)、右下(D₅)、右 (D₆)、右上(D₇)、上(D₈)、小尺度(S₁)、大尺度(S₂)、真样本(T)。

[x_l,x_r,y_u,y_d]分别表示方位划分约束框的左边界，右边界，上边界和下边界。边界的设置是由样本的原始目标大小决定，如公式(2)、(3)所示。设 g_t＝[x_t,y_t,w_t,h_t]为当前帧的真值，x_t为目标位置在x轴坐标的位置，y_t为目标位置在y轴的位置，w_t为目标尺寸在x轴的宽度，h_t为目标尺寸在y轴的高度。

公式(2)、(3)中，α为边界限制的缩放比例因子。样本所属类由公式(2)、(3) 的限制边界决定。

c＝ρ(g_s,[x_l,x_r,y_u,y_d],[w_t,h_t]) (4)

公式(4)是对样本判决类别的判断机制描述。g_s＝[x_s,y_s,w_s,h_s]为样本的位置信息，c是样本所属类别输出结果。ρ表示本发明的判决方式，利用限制约束框 [x_l,x_r,y_u,y_d]和样本位置信息g_s判断样本所属位置类别，利用尺度判决机制和目标真值的宽高[w_t,h_t]判断尺度变化类别。

根据样本横纵坐标的值所落在的区域判断样本所属类别，如公式(5)所述。如果样本落在限制约束框最中间区域，则判断样本的尺度发生变化，利用样本的 w_s和h_s与原始目标真值w_t和h_t进行对比，判断样本的尺度变化。与传统大部分算法所采用的多尺度样本输入判决目标的尺度变化不同，本发明将尺度变化融合到样本分类中，直接将尺度的判决放在了深度网络输出的分类层里，大大利用了深度卷积神经网络强大的学习能力。判决样本的尺度变换的前提条件为样本点落在限制约束框中间位置，即x_l<x_s＜x_r and y_u<y_s＜y_u。样本尺度的判决主要由公式(6)决定，公式中γ和λ分别表示尺度变换因子。样本点落在约束框内且没有尺寸变化则判断为类别T。

(3)步骤3：滑窗操作。通过分类网络得到目标样本的类别并不是目标跟踪想要得到的结果，得到样本信息的同时，需要有一个处理机制慢慢地逼近目标的真实位置。本发明采用滑窗的方法来逐渐逼近目标的真实位置。

把当前位置的样本送入到方位信息分类网络，得到当前位置位于目标的具体方位，根据方位信息对当前的样本窗口进行相应滑动接近目标。采用滑窗操作，每次网络只接收一个样本，从而实现单样本的网络计算，提高运算速度。

对于每一个方位信息都有相对应的滑窗策略。具体实施办法如公式(7)所示。

公式中θ代表滑窗操作移动的像素大小。g_s+1表示下一个将要采样的样本点位置。当g_s+1的样本传入网络输出结果为类别T，即最接近目标样本则停止滑窗操作，最终得到当前帧的跟踪目标结果。

(4)步骤4：在线微调。预训练的网络利用大量的视频序列，有很好的泛化性能，但是直接对特定的视频序列使用没有针对性，还是不能得到很好地跟踪效果。所以在第一帧利用和预训练一样的策略对网络权重进行微调，使得网络对该视频序列有针对性。

目标跟踪中最大的挑战就是目标的形变，当目标移动一段时间后，或多或少都会出现形变，这时候第一帧的信息就不能够完全描述目标本身，所以对目标进行在线更新，对网络在线微调是至关重要的。

(5)步骤5：丢失重新检测。该双分类网络就是为了处理目标跟踪丢失的情况，正负样本分类层正样本得分小于一定阈值则判断该正样本已经丢失，跟踪结果完全为背景，此时采用粒子采样策略，默认目标在相邻帧都是小范围的运动，则在前一帧目标位置利用高斯分布的规律对当前帧进行采样，输入网络选取正样本分类层得分最高的样本即为当前帧的目标位置。

工作原理：本发明在跟踪阶段，每次只向网络输入单样本进行目标跟踪，从而减少网络的计算负担，提高跟踪速度。该算法对目标信息进行细化分类，训练网络判断目标的方位信息，从而得到目标的真实位置。利用深度网络，能更好描述目标，提高跟踪的鲁棒性。将尺度变化放进分类层，不需要单独训练一个回归模型，加快算法计算速度。

有益效果：本发明在深度学习网络框架下加入了方向信息分类和正负样本分类，使得深度网络计算量低，速度较快。同时本发明通过在线微调网络参数策略，当目标发生形变的时候，使网络适应目标不同时期的形变，本发明依然可以很好地完成跟踪任务。最后本发明在跟踪时，引入重检测策略，对目标跟踪中目标丢失的情况也能很好处理。本发明主要创新有：(1)提出的方位信息的学习网络对目标跟踪有很好的适应性；(2)滑窗策略进行单样本跟踪可降低网络计算负担，提高了深度网络跟踪速度；(3)将尺度变化放入网络的一个分类输出进行处理使得对跟踪尺度变化类的序列也有很好的鲁棒性；(4)正负样本重检测策略能够很好地保证样本不丢失。

附图说明

图1为本发明深度学习方向信息目标跟踪的***流程图；

图2为本发明深度网络架构的示意图；

图3为本发明方位信息划分示意图；

图4为本发明样本分类效果图；

图5为本发明方位信息滑窗跟踪主要示意图；

图6为本发明对6个测试视频跟踪结果抽样帧；

图7为本发明在OPE评估方式下与8种***的综合跟踪性能比较图；

图8为本发明在三种挑战因子的OPE评估方式下与8种***的综合跟踪性能比较图。

具体实施方式

本发明提供的深度学习方向信息目标跟踪方法，流程图如图1所示，具体包括以下操作步骤：

(1)步骤1：预训练网络。本发明采用三层卷积神经网络三层全连接网络框架，如图2所示。但是第三层全连接网络采用双路分类网络。方向信息分类层 FC6，进行目标位置信息的判断；正负分类层FC7，进行目标与背景的判断。本网络前面三层卷积层初始化采用的是VGG-M，利用大规模数据集训练的卷积网络有很好的泛化性能和迁移学习能力。本发明采用已经训练好的网络权重作为训练网络的初始化，对网络的跟踪学习能力有很大提高。

网络框架的最后采用双分类网络，一个分类网络学习方位信息，一个分类网络学习样本的正负信息。正如图2所示FC6为十一类方位信息分类网络，FC7 为正负分类网络，分类目标和背景信息。每一个分类网络训练输出采用softmax 交叉熵损失函数，随机梯度下降和反向传播进行网络权重的更新，循环次数为 100，训练数据集来自VOT2013,VOT2014,VOT2015中的58个视频序列，利用视频序列进行预训练与以往利用大规模分类数据不同，此方法可以对用于跟踪的网络更有针对性，更适合跟踪训练。

训练阶段样本的选取采用计算重叠率的策略进行选取。为了使网络学习到更多的目标方位信息，训练阶段对正负样本的划分的重叠率阈值α采用更小的数值 0.6。如公式(1)，l代表正负样本的标签，IoU表示重叠率，如果g_s和g_t的重叠率大于0.6则判断为正样本，否则为负样本。每一帧样本数设为200个正样本，50 个负样本。卷积层学习率β₁设置为0.0001，全连接层学习β₂设置为0.001。

(2)步骤2：方位信息分类。本发明提出深度网络学习正样本的十一类方位如图3，主要分为左上(D₁)、左(D₂)、左下(D₃)、下(D₄)、右下(D₅)、右(D₆)、右上(D₇)、上(D₈)、小尺度(S₁)、大尺度(S₂)、真样本(T)。

图3中[x_l,x_r,y_u,y_d]分别表示方位划分约束框的左边界，右边界，上边界和下边界。边界的设置是由样本的原始目标大小决定，如公式(2)、(3)所示。设 g_t＝[x_t,y_t,w_t,h_t]为当前帧的真值，x_t为目标位置在x轴坐标的位置，y_t为目标位置在y轴的位置，w_t为目标尺寸在x轴的宽度，h_t为目标尺寸在y轴的高度。

公式(2)、(3)中，α为边界限制的缩放比例因子。样本所属类如图3将由公式(2)、(3)的限制边界决定。

c＝ρ(g_s,[x_l,x_r,y_u,y_d],[w_t,h_t]) (4)

公式(4)是对样本判决类别的判断机制描述。g_s＝[x_s,y_s,w_s,h_s]为样本的位置信息，c是样本所属类别输出结果。ρ表示本发明的判决方式，利用限制约束框 [x_l,x_r,y_u,y_d]和样本位置信息g_s判断样本所属位置类别，如公式(5)所示；利用尺度判决机制和目标真值的宽高[w_t,h_t]判断尺度变化类别，如公式(6)所示。

根据样本横纵坐标值所落在的区域判断样本所属类别，如公式(5)所述。如果样本落在限制约束框最中间区域，则判断样本的尺度发生变化，利用样本的w_s和h_s与原始目标真值w_t和h_t进行对比，判断样本的尺度变化。与传统大部分算法所采用的多尺度样本输入判决目标的尺度变化不同，本发明将尺度变化融合到样本分类中，直接将尺度的判决放在了深度网络输出的分类层里，大大利用了深度卷积神经网络强大的学习能力。判决样本的尺度变换的前提条件为样本点落在限制约束框中间位置，即x_l<x_s＜x_r and y_u<y_s＜y_u。样本尺度的判决主要由公式 (6)决定，公式中γ和λ分别表示尺度变换因子。样本点落在约束框内且没有尺寸变化则判断为类别T。

样本最终的分类效果如图4所示，图中每类提取了两个样本显示，原始帧如图Frame1所示，本样本来自VOT2015数据集的birds2视频序列。目标的真实样本如Truth所示，图中样本所属类如图4下标所示。图中可以看出，对正样本划分11类，最终效果受约束框的约束因子限制，每类样本之间差距甚小，如 S₁-1，S₁-2明显可见birds2目标尺寸偏大需要对样本进行增加尺寸滑窗操作， S₂-1，S₂-2可见birds2目标尺寸偏小需要对样本进行减小尺寸滑窗操作，每类样本相差甚少几乎是像素级的改变，但是每个样本都有该分类的方位趋势。最终运行结果表明强大神经网络完全可以学习到该种方法的微小变化，并作出合理的判断，通过滑窗每一次微小像素的变化才得到最终的优秀跟踪效果。

(3)步骤3：滑窗操作。通过分类网络得到目标样本的类别并不是目标跟踪想要得到的结果，得到样本信息的同时，需要有一个处理机制慢慢地逼近目标的真实位置。本发明采用滑窗的方法来逐渐逼近目标的真实位置。

把当前位置的样本送入到方位信息分类网络，得到当前位置位于目标的具体方位，根据方位信息对当前的样本窗口进行相应滑动接近目标。采用滑窗操作，每次网络只接收一个样本，从而实现单样本的网络计算，提高运算速度。

对于每一个方位信息都有相对应的滑窗策略。具体实施办法如公式(7)所示。

公式中θ代表滑窗操作移动的像素大小。g_s+1表示下一个将要采样的样本点位置。当g_s+1的样本传入网络输出结果为类别T，即最接近目标样本则停止滑窗操作，最终得到当前帧的跟踪目标结果。

跟踪的滑窗策略每一帧执行最多15次，当15次找不到目标则采用丢失机制。实验表明，大多数帧能在10次滑窗左右找到目标。正是因为滑窗机制加入，使得每次跟踪不需要采取大量样本，减少了深度网络的计算负担，使得网络跟踪得到加速。

图5为滑窗具体示意图，视频序列来自于OTB100中的Bird2，第一，二，三，四行分别表示第3，25,37,73帧跟踪示意图。其中图题变量下标表示当前样本所属方位信息的类别。以图5第一行图片系列为例进行说明，第一行第一张图表示当前帧，第二张是在前一帧的结果上进行的采样，输入本发明网络，得到该样本属于D₁类，根据D₁进行滑窗得到第二个样本，第二个样本输入网络得到该样本属于D₂，根据D₂继续滑窗得到第三个样本，以此类推得到第六个样本输出时判断为类别，即为本帧跟踪结果。其他各行图片的滑窗采样方式以此类推。由图可以看出，本文提出算法，一般滑窗采样10次左右便可得到准确的跟踪结果。

(4)步骤4：在线微调。预训练的网络利用大量的视频序列，有很好的泛化性能，但是直接对特定的视频序列使用没有针对性，还是不能得到很好地跟踪效果。所以在第一帧利用和预训练一样的策略对网络权重进行微调，使得网络对该视频序列有针对性，本发明在第一帧选取500个正样本，200个负样本对网络进行初始化，重叠率设置为0.7。

目标跟踪中最大的挑战就是目标的形变，当目标移动一段时间后，或多或少都会出现形变，这时候第一帧的信息就不能够完全描述目标本身，所以对目标进行在线更新，对网络在线微调是至关重要的。本发明在线跟踪阶段，出现连续跟踪20帧序列的情况就对目标重采样，采取样本数为200个正样本，50个负样本，重叠率不变。对网络进行微调，这样可以加强网络对各种形变的处理能力。

(5)步骤5：丢失重新检测。该双分类网络就是为了处理目标跟踪丢失的情况，正负样本分类层正样本得分小于一定阈值则判断该正样本已经丢失，跟踪结果完全为背景，此时采用粒子采样策略，默认目标在相邻帧都是小范围的运动，则在前一帧目标位置利用高斯分布的规律对当前帧进行采样，采取样本数为 300，输入网络选取正样本分类层得分最高的样本即为当前帧的目标位置。

评估标准：本发明通过OPE评估标准来衡量***的性能，OPE(One-passEvaluation)***对视频序列一次性评估，传统的一次性评估***精度与成功率；选取58个不同属性的视频序列测试本发明的目标跟踪方法，并与其它***(如CNT、CSK、HCF、KCF、RPT、SAMF、SRDCF、Staple等8种***) 在不同的挑战因素下，如平面外旋转，尺度变化，光照变化,快速运动，遮挡等情况下进行对比。图6是本发明与8种***对(a)Bird2、(b)Bolt、(c)Couple、 (d)Football1、(e)Jogging、(f)MotorRolling 6个测试视频跟踪结果抽样帧，图7从精确度(Precision)和成功率(Success rate)两个方面给出了本发明与其他8种***的性能对比图。图8是本发明在平面外旋转，尺度变化，光照变化三种挑战因子的OPE评估方式下与8种***的综合跟踪性能比较图，从精确度 (Precision)和成功率(Success rate)两个方面都可以看出本发明算法都有很好表现。由此可见，本发明提供的目标跟踪方法，与已有的算法相比，算法精度有了明显的提高，跟踪结果更为稳定。

Claims (7)

1.一种方位和尺度判别深度网络的目标跟踪方法，其特征在于：包括以下步骤：

步骤(1)，预训练网络；

步骤(2)，方位信息分类；

步骤(3)，滑窗操作；

步骤(4)，在线微调；

步骤(5)，丢失重新检测。

2.根据权利要求1所述的方位和尺度判别深度网络的目标跟踪方法，其特征在于：步骤(1)中，采用三层卷积神经网络三层全连接网络框架，第三层全连接网络采用双路分类网络。

3.根据权利要求2所述的方位和尺度判别深度网络的目标跟踪方法，其特征在于：所述分类网络的训练输出采用softmax交叉熵损失函数，随机梯度下降和反向传播进行网络权重的更新。

4.根据权利要求3所述的方位和尺度判别深度网络的目标跟踪方法，其特征在于：所述训练输出样本的选取通过计算重叠率进行选取。

5.根据权利要求1所述的方位和尺度判别深度网络的目标跟踪方法，其特征在于：步骤(2)中，根据样本所属目标的方位和尺度大小判断样本所属类别。

6.根据权利要求1所述的方位和尺度判别深度网络的目标跟踪方法，其特征在于：步骤(3)中，采用滑窗逐渐逼近目标的真实位置。

7.根据权利要求1所述的方位和尺度判别深度网络的目标跟踪方法，其特征在于：步骤(4)中，出现连续跟踪多个帧序列时，对目标重采样微调网络。