CN108932731B - 基于先验信息的目标跟踪方法及*** - Google Patents

Abstract

本发明提供一种基于先验信息的目标跟踪方法及***，包括：基于训练集内图像的先验信息，根据图像中目标框与扰动框之间的对应关系得到目标模型；采用目标模型加载视频得到每帧图像；预估当前帧图像的目标位置，将其前一帧图像的目标位置设为当前帧图像的目标初始位置，以目标初始位置为初始点迭代计算当前帧图像的目标位置。通过已知跟踪目标得到其对应的先验信息，了解跟踪目标的各个姿态、光照、环境下的信息，有效利用目标先验信息，大大提高了目标跟踪的准确性；预估目标跟踪的初始位置，迭代计算当前帧图像的目标位置，显著提高了本发明目标跟踪的可靠性，从而具有很强的鲁棒性，快速地纠正了目标跟踪过程中出现的漂移现象。

Description

基于先验信息的目标跟踪方法及***

技术领域

本发明涉及跟踪监控技术领域，特别是涉及一种基于先验信息的目标跟踪方法及***。

背景技术

随着机器视觉与人工智能研究的不断深入，目标跟踪作为视频监控、人机交互、智慧城市等的基础技术受到研究人员的广泛关注。然而，由于目标的非刚体特性、遮挡、光照或帧缺失等复杂情况，长期准确稳定的进行目标跟踪具有比较大的难度和挑战性。

在实际跟踪过程中，许多被跟踪目标类别是已知的，例如人脸跟踪中的人脸，客流统计中头肩、人头等，已知类别的目标提供了很强的先验信息，这种类别的先验信息无疑对跟踪是很有帮助的，可以有效的解决跟踪中漂移问题。

目前的学术领域的大多数跟踪方法都是针对一般物体的跟踪，研究的是利用目标的在线信息进行跟踪，如online Boosting、CT、TLD等。这类算法一般通过第一帧图像初始化目标模型，并在跟踪过程中不断的更新目标模型，其优势在于可充分利用新的样本信息。但这类方法对目标的建模信息往往只有第1帧，没有充分的利用物体类别等先验信息，或者说没有对被跟踪目标进行全方位建模(即告诉算法这个目标侧面长什么样，光照较暗时长什么样等)，因此，在跟踪过程中，当目标的姿态，背景等发生变化时，很容易出现“漂移”现象，而且纠正不回来。虽然有点算法有在线学习步骤(即加入后续帧的信息对目标进行建模)，但学习步骤中正负样本的收集只是一种启发式的方法，例如假设当前时刻对目标的跟踪是正确的(这个假设本来就不一定正确)，然后将当前目标一定范围内(较近)的图片patch收集为正例，范围外(较远)的图片patch为负例，以此在线训练一个分类器对目标模型进行更新。这种启发式的方法并未解决对目标建模不充分的问题，长时间跟踪后慢慢的就会漂移到不是我们想要的目标。

然而，工程中常用的基于检测的跟踪方法虽然也会利用了先验信息，但一般采用分类方式，即用在上一帧目标的附近一定范围内检查每一个图片patch是否为目标类(暴力搜索方式)，采用上述方法不仅计算量大，如果为了满足实时性往往只能采用检测较简单的特征(如Haar等)，从而无法保证分类精度。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于先验信息的目标跟踪方法及***，用于解决现有技术中目标跟踪中出现的漂移问题。

为实现上述目的及其他相关目的，本发明提供一种基于先验信息的目标跟踪方法，包括：

基于训练集内图像的先验信息，根据图像中目标框与扰动框之间的对应关系得到目标模型；

采用所述目标模型加载视频得到每帧图像；

预估当前帧图像的目标位置，将其前一帧图像的目标位置设为当前帧图像的目标初始位置，以所述目标初始位置为初始点迭代计算当前帧图像的目标位置。

本发明还提供了一种基于先验信息的目标跟踪***，包括：

模型训练模块，用于基于训练集内图像的先验信息，根据图像中目标框与扰动框之间的对应关系得到目标模型；

加载模块，用于采用所述目标模型加载视频得到每帧图像；

估算模块，用于预估当前帧图像的目标位置，将其前一帧图像的目标位置设为当前帧图像的目标初始位置，以所述目标初始位置为初始点迭代计算当前帧图像的目标位置。

如上所述，本发明的基于先验信息的目标跟踪方法及***，具有以下有益效果：

通过获取跟踪目标得到其对应的先验信息，了解跟踪目标的各个姿态、光照、环境下的信息，有效利用目标先验信息，大大提高了目标跟踪的准确性；进一步，预估目标跟踪的初始位置，即针对每一帧图像使用其前一帧图像目标框所对应的目标位置为目标初始位置，迭代计算当前帧图像的目标位置，显著提高了本发明目标跟踪的可靠性，从而具有很强的鲁棒性，还快速地纠正了目标跟踪过程中出现的漂移现象；更进一步，本发明跟踪方法计算简单高效，在频域下进行运算，因此具有计算量小和计算速度快的特点，可在硬件下很容易地实现。

附图说明

图1显示为本发明的基于先验信息的目标跟踪方法流程图；

图2显示为本发明的基于先验信息的目标跟踪所使用的目标模型的训练流程图；

图3显示为图2中本发明的基于先验信息的步骤S203的流程图；

图4显示为图1中本发明的基于先验信息的步骤S3的流程图；

图5显示为本发明的基于先验信息的目标跟踪***结构框图；

图6显示为本发明的基于先验信息的目标跟踪***完整结构框图；

图7显示为本发明的图6中计算单元的结构框图；

图8显示为本发明的基于先验信息的目标跟踪***完整结构框图。

元件标号说明：

1 模型训练模块

2 加载模块

3 估算模块

11 标定单元

12 扰动单元

13 计算单元

131 第一计算子单元

132 第二计算子单元

133 第三计算子单元

31 获取单元

32 预估单元

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

实施例1

请参阅图1，本发明提供一种基于先验信息的目标跟踪方法流程图，包括：

步骤S1，基于训练集内图像的先验信息，根据图像中目标框与扰动框之间的对应关系得到目标模型；

其中，采用训练集内的先验信息训练目标模型，获取所述目标模型中扰动框集合与偏移集合之间的对应关系，其中，所述扰动框集合为训练集内以扰动方式模拟目标位置的大小和位置的图像块集合，所述偏移集合为训练集内每帧图像以扰动框为目标初始位置到目标位置之间的目标偏移量所构成的集合。

步骤S2，采用所述目标模型加载视频得到每帧图像；

其中，加载训练好的目标模型，读入视频即可得到每张视频图像。

步骤S3，预估当前帧图像的目标位置，将其前一帧图像的目标位置设为当前帧图像的目标初始位置，以所述目标初始位置为初始点迭代计算当前帧图像的目标位置。

其中，以当前帧获取的图像I_t，将其上一帧图像目标框所对应的目标位置B_t-1设为当前帧图像的目标初始位置

根据目标偏移量与目标初始位置的关系计算当前帧图像所对应的目标位置。

在本实施例中，通过根据跟踪目标的先验信息，其中，先验信息为获得样本的试验之前获得的经验和历史资料，本申请中主要为已知物体跟踪目标的类别，而跟踪目标可为人脸、行人头肩、行人头顶、车辆等，提前训练好目标模型，通过初始化目标模型，截取当前帧图像，根据训练好的目标模型中目标初始位置(即以扰动方式圈定的图片块)集合与述偏移集合之间的对应关系，可在当前帧图像的初始目标位置基础上，通过迭代计算的方式迅速计算出跟踪目标的目标位置，其快速地纠正了目标跟踪过程中出现的漂移现象；更进一步，本发明跟踪方法计算简单高效，在频域下进行运算，因此具有计算量小和计算速度快的特点，可在硬件下很容易地实现。

实施例2

如图2所示，为本发明的基于先验信息的目标跟踪所使用的目标模型的训练流程图，包括：

步骤S201，采集训练集中每帧图像在各种场景和姿态下的先验信息，标定每帧图像的目标位置；

其中，通过获取到先验信息，可迅速标定每帧图像的跟踪目标，标定方式是通过形成一同一大小和位置的框，框住每帧图像的跟踪目标，该框的形状可为圆形、矩形、椭圆形等。

步骤S202，扰动处理训练集内每帧图像目标位置的大小和位置，得到对应的模拟的目标初始位置；

其中，通过各种扰动方式进行模拟训练集每帧图像的目标初始位置，同样，目标初始位置也是通过框定同一大小和位置的图像块，只是框定的边框颜色不同，便于区分目标位置和目标初始位置，该目标初始位置为扰动框内图像块。

步骤S203，根据训练集内每帧图像的目标位置和目标初始位置，计算目标初始位置集合与偏移集合之间的对应关系。

如图3所示，本发明的基于先验信息的步骤S203的流程图，包括：

步骤S2031，计算训练集内每帧图像的目标偏移量，提取每帧图像的特征，将每帧图像的目标偏移量与特征对应组合为迭代训练集；

其中，目标偏移量为该帧图像目标初始位置与目标位置之间的偏差，提取每帧图像的特征，所述特征为方向梯度直方图特征、深度学习特征、尺度不变换特征中的任意一种，每帧图像的目标偏移量与提取的特征一一对应组合为迭代训练集；

步骤S2032，所述迭代训练集以线性回归训练为基础，迭代计算目标模型的特征映射函数；

其中，通过线性回归训练，可计算出目标模型中目标偏移量与提取的特征的特征映射函数，如公式(2)所示。

步骤S2033，根据训练集内特征映射函数得到目标偏移量与目标初始位置的关系：

ΔB^j＝W^jF^j(I,B^j-1) (2)

式(1)中，Bⁱ为第i帧图像的目标位置，B⁰为第i帧图像的初始位置，ΔB^j为第i帧图像在j次迭代的目标偏移量，式(2)中W^j为j次迭代的线性回归矩阵，F为特征映射函数，F^j(I,B^j-1)为j次迭代的图像I在位置B^j-1提取的特征。

在本实施例中，通过训练目标模型，获取其中的目标偏移量与目标初始位置的关系，在此基础上，可迅速地得到跟踪目标的目标位置，解决了目标跟踪过程容易出现的漂移问题。

如图4所示，为图1中本发明的基于先验信息的步骤S3的流程图，包括：

步骤S301，以当前帧获取的图像I_t，将其上一帧图像目标框所对应的目标位置B_t-1设为当前帧图像的目标初始位置

步骤S302，根据目标偏移量与目标初始位置的关系计算当前帧图像所对应的目标位置。

在本实施例中，如果要得到当前时刻t所对应的目标位置，将其上一帧图像目标框所对应的目标位置B_t-1设为目标初始位置

采用将目标初始位置

代入上述公式(1)，根据得到目标偏移量ΔBj计算得到当前帧图像所对应的目标位置，基于先验信息快速解决漂移问题，相比其它跟踪方式而言，跟踪方法计算简单高效，在频域下进行运算，因此具有计算量小和计算速度快的特点。

实施例3

训练好的目标模型，获取目标模型中目标偏移量与目标初始位置的关系；

初始化目标模型，加载视频获取当前帧图像I_t，

判断该视频是否结束，当其未结束时，获取当前帧图像I_t的前一帧图像的I_t-1目标位置，以该目标位置为当前帧图像I_t的目标初始位置；当视频结束时，则不操作；

提取目标初始位置所包含图像块的特征，该特征可为方向梯度直方图特征、深度学习特征、尺度不变换特征中的任意一种；

通过目标模型中提取特征以及目标偏移量与目标初始位置的关系，估算出跟踪目标的偏移量，按照上述公式(1)所述，将所述目标初始位置

输入目标模型计算出当前帧图像的的目标位置；

直到目标模型内视频里所有帧图像均处理，则结束。

实施例4

如图5所示，本发明还提供了一种基于先验信息的目标跟踪***，包括：

模型训练模块1，用于基于训练集内图像的先验信息，根据图像中目标框与扰动框之间的对应关系得到目标模型；

加载模块2，用于采用所述目标模型加载视频得到每帧图像；

估算模块3，用于预估当前帧图像的目标位置，将其前一帧图像的目标位置设为当前帧图像的目标初始位置，以所述目标初始位置为初始点迭代计算当前帧图像的目标位置。

如图6所示，为本发明的基于先验信息的目标跟踪***完整结构框图，包括：

具体地，采用训练集内的先验信息训练目标模型，获取所述目标模型中扰动框集合与偏移集合之间的对应关系，其中，所述扰动框集合为训练集内以扰动方式模拟目标位置的大小和位置的图像块集合，所述偏移集合为训练集内每帧图像以扰动框为目标初始位置到目标位置之间的目标偏移量所构成的集合。

具体地，所述目标模型训练模块1，包括：

标定单元11，用于采集训练集中每帧图像在各种场景和姿态下的先验信息，标定每帧图像的目标位置；

扰动单元12，用于扰动处理训练集内每帧图像目标位置的大小和位置，得到对应的模拟的目标初始位置；

计算单元13，用于根据训练集内每帧图像的目标位置和目标初始位置，计算目标初始位置集合与偏移集合之间的对应关系。

如图7所示，为本发明的图6中计算单元的结构框图，包括：

第一计算子单元131，用于计算训练集内每帧图像的目标偏移量，提取每帧图像的特征，将每帧图像的目标偏移量与特征对应组合为迭代训练集；

第二计算子单元132，用于所述迭代训练集以线性回归训练为基础，迭代计算目标模型的特征映射函数；

第三计算子单元133，用于根据训练集内特征映射函数得到目标偏移量与目标初始位置的关系：

ΔB^j＝W^jF^j(I,B^j-1) (2)

式(1)中Bⁱ为第i帧图像的目标位置，B⁰为第i帧图像的初始位置，ΔB^j为第i帧图像在j次迭代的目标偏移量，式(2)中W^j为j次迭代的线性回归矩阵，F为特征映射函数，Fj(I,B^j-1)为j次迭代的图像I在位置B^j-1提取的特征；所述特征为方向梯度直方图特征、深度学习特征、尺度不变换特征中的任意一种。

如图8所示，为本发明的基于先验信息的目标跟踪***完整结构框图，在图7基础上所述预估模块3包括：

获取单元31，用于以当前帧获取的图像I_t，将其上一帧图像目标框所对应的目标位置B_t-1设为当前帧图像的目标初始位置

预估单元32，用于将所述目标初始位置

输入目标模型计算当前帧图像所对应的目标位置。

综上所述，本发明通过获取跟踪目标得到其对应的先验信息，了解跟踪目标的各个姿态、光照、环境下的信息，有效利用目标先验信息，大大提高了目标跟踪的准确性；进一步，预估目标跟踪的初始位置，即针对每一帧图像使用其前一帧图像目标框所对应的目标位置为目标初始位置，迭代计算当前帧图像的目标位置，显著提高了本发明目标跟踪的可靠性，从而具有很强的鲁棒性，还快速地纠正了目标跟踪过程中出现的漂移现象；更进一步，本发明跟踪方法计算简单高效，在频域下进行运算，因此具有计算量小和计算速度快的特点，可在硬件下很容易地实现。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (8)

1.一种基于先验信息的目标跟踪方法，其特征在于，包括：

基于训练集内图像的先验信息，根据图像中目标框与扰动框之间的对应关系得到目标模型，其中，获取所述目标模型中扰动框集合与偏移集合之间的对应关系，所述扰动框集合为训练集内以扰动方式模拟目标位置的大小和位置的图像块集合，所述偏移集合为训练集内每帧图像以扰动框为目标初始位置到目标位置之间的目标偏移量所构成的集合；

采用所述目标模型加载视频得到每帧图像；

预估当前帧图像的目标位置，将其前一帧图像的目标位置设为当前帧图像的目标初始位置，以所述目标初始位置为初始点迭代计算当前帧图像的目标位置。

2.根据权利要求1所述的基于先验信息的目标跟踪方法，其特征在于，所述获取所述目标模型中扰动框集合与偏移集合之间的对应关系的步骤，包括：

采集训练集中每帧图像在各种场景和姿态下的先验信息，标定每帧图像的目标位置；

扰动处理训练集内每帧图像目标位置的大小和位置，得到对应的模拟的目标初始位置；

根据训练集内每帧图像的目标位置和目标初始位置，计算目标初始位置集合与偏移集合之间的对应关系。

3.根据权利要求2所述的基于先验信息的目标跟踪方法，其特征在于，所述根据训练集内每帧图像的目标位置和目标初始位置，计算目标初始位置集合与偏移集合之间的对应关系的步骤，包括：

计算训练集内每帧图像的目标偏移量，提取每帧图像的特征，将每帧图像的目标偏移量与特征对应组合为迭代训练集；

所述迭代训练集以线性回归训练为基础，迭代计算目标模型的特征映射函数；

根据训练集内特征映射函数得到目标偏移量与目标初始位置的关系：

ΔB^j＝WjFj(I,B^j-1) (2)

式(1)中Bⁱ为第i帧图像的目标位置，B⁰为第i帧图像的初始位置，ΔB^j为第i帧图像在j次迭代的目标偏移量，式(2)中Wj为j次迭代的线性回归矩阵，F为特征映射函数，Fj(I,B^j-1)为j次迭代的图像I在位置B^j-1提取的特征；所述特征为方向梯度直方图特征、深度学习特征、尺度不变换特征中的任意一种。

4.根据权利要求1所述的基于先验信息的目标跟踪方法，其特征在于，所述预估当前帧图像的目标位置，将其前一帧图像的目标位置设为当前帧图像的目标初始位置，以所述目标初始位置为初始点迭代计算当前帧图像的目标位置的步骤，包括：

以当前帧获取的图像I_t，将其上一帧图像目标框所对应的目标位置B_t-1设为当前帧图像的目标初始位置

将所述目标初始位置

输入目标模型计算当前帧图像所对应的目标位置。

5.一种基于先验信息的目标跟踪***，其特征在于，包括：

模型训练模块，用于基于训练集内图像的先验信息，根据图像中目标框与扰动框之间的对应关系得到目标模型，其中，获取所述目标模型中扰动框集合与偏移集合之间的对应关系，所述扰动框集合为训练集内以扰动方式模拟目标位置的大小和位置的图像块集合，所述偏移集合为训练集内每帧图像以扰动框为目标初始位置到目标位置之间的目标偏移量所构成的集合；

加载模块，用于采用所述目标模型加载视频得到每帧图像；

估算模块，用于预估当前帧图像的目标位置，将其前一帧图像的目标位置设为当前帧图像的目标初始位置，以所述目标初始位置为初始点迭代计算当前帧图像的目标位置。

6.根据权利要求5所述的基于先验信息的目标跟踪***，其特征在于，所述模型训练模块包括：

标注单元，用于采集训练集中每帧图像在各种场景和姿态下的先验信息，标定每帧图像的目标位置；

扰动单元，用于扰动处理训练集内每帧图像目标位置的大小和位置，得到对应的模拟的目标初始位置；

计算单元，用于根根据训练集内每帧图像的目标位置和目标初始位置，计算目标初始位置集合与偏移集合之间的对应关系。

7.根据权利要求6所述的基于先验信息的目标跟踪***，其特征在于，所述计算单元具体包括：

第一计算子单元，用于计算训练集内每帧图像的目标偏移量，提取每帧图像的特征，将每帧图像的目标偏移量与特征对应组合为迭代训练集；

第二计算子单元，用于所述迭代训练集以线性回归训练为基础，迭代计算目标模型的特征映射函数；

第三计算子单元，用于根据训练集内特征映射函数得到目标偏移量与目标初始位置的关系：

ΔB^j＝W^jF^j(I,B^j-1) (2)

式(1)中Bⁱ为第i帧图像的目标位置，B⁰为第i帧图像的初始位置，ΔBj为第i帧图像在j次迭代的目标偏移量，式(2)中Wj为j次迭代的线性回归矩阵，F为特征映射函数，Fj(I,B^j-1)为j次迭代的图像I在位置B^j-1提取的特征；所述特征为方向梯度直方图特征、深度学习特征、尺度不变换特征中的任意一种。

8.根据权利要求5所述的基于先验信息的目标跟踪***，其特征在于，所述估算模块具体用于：获取单元，用于以当前帧获取的图像I_t，将其上一帧图像目标框所对应的目标位置B_t-1设为当前帧图像的目标初始位置

预估单元，用于将所述目标初始位置

输入目标模型计算当前帧图像所对应的目标位置。

Images