CN106296742A - 一种结合特征点匹配的在线目标跟踪方法 - Google Patents

Abstract

一种结合特征点匹配的在线目标跟踪方法，首先计算被跟踪目标的显著区域，从而获得最佳目标跟踪区域；然后采用中值流法跟踪和特征点匹配相结合的方法估计目标的尺度变化，并通过层级聚类方法剔除干扰点得到目标最终所在的位置；最后，将***所估计的尺度信息反馈给检测器，通过缩小检测尺度空间来加快检测器的速度。本发明采用基于TLD目标跟踪方法，利用被跟踪目标的显著性进行目标跟踪，结合了光流法和特征点匹配法以加强跟踪算法在不同场景下跟踪目标的鲁棒性，该方法简单易行，执行速度快。

Description

一种结合特征点匹配的在线目标跟踪方法

技术领域

本发明涉及计算机视觉领域，涉及一种结合特征点匹配的在线目标跟踪方法，可用于不同场景下的目标跟踪。

背景技术

目标跟踪是计算机视觉领域的重要研究课题之一，是一门涉及图像分析，模式识别，自动控制，成像学等多学科交叉的课题，也是目标识别，行为识别等后序工作的基础，通过对图像序列进行算法分析，标记出我们感兴趣目标的空间位置参数，如目标的坐标位置，大小，角度等，将视频帧中的感兴趣目标位置进行关联，得到目标的运动轨迹。经过几十年的发展，视频目标跟踪在智能视频监控、人机交互领域、视觉导航、军事领域、医学图像引导手术、运动分析、游戏以及三维重建等领域都得到了广泛的应用。

现国内外，目标跟踪方法大致可以分为两大类：(1)生成式目标跟踪方法，主要通过学习模型对目标进行表示，用学习到的目标模型在图片区域范围内搜索，视重构误差最小的区域为目标区域。这类方法容易在目标外观迅速变化时产生跟踪漂移，并且没有考虑到目标周围的背景信息，使目标在复杂的环境中跟踪质量显著降低。(2)判别式目标跟踪方法，将跟踪问题当成目标/背景的二分类问题，通过判定搜索框是否为目标，将跟踪问题转化成在线更新分类器的过程。目前基于学习的目标跟踪成为研究人员研究的重点,主要包括离线学习和在线学习两种方式，离线跟踪算法需要训练大量的样本，在跟踪前期需要投入大量的人力物力才能取得较好的跟踪效果，在跟踪过程中无法预估目标出现的所有可能性，算法针对性强，不具备通用性。而在线目标跟踪算法，在跟踪目标初始化时，通过少量的先验信息进行分类器的训练并通过在线提取样本对目标的外观模型进行更新，可以主动适应目标的形变，无需事先训练，克服了离线目标跟踪对目标形变、环境变化适应能力差的问题。目前国内外在这方面的跟踪取得了较大研究成果，但是在实际应用中依然存在很多问题，因此具有较大的改进空间。

综上所述，目标跟踪技术具有广阔的应用前景，基于在线学习的目标跟踪***有较强的场景适应性和应用空间，同时在线目标跟踪技术需要提高其跟踪效果来满足实际应用的需要，具有较大的发展空间。因此，研究在线目标跟踪技术具有重大的现实意义。

发明内容

本发明的目的在于克服当前各种目标跟踪算法的不足之处，提供一种结合特征点匹配的在线目标跟踪方法，该方法简单高效，能很好地适应各种场景的目标跟踪。

本发明采用如下技术方案：

一种结合特征点匹配的在线目标跟踪方法，其特征在于，包括如下步骤

1)在第一帧图像中计算被跟踪目标I的显著区域，从而获得最佳目标跟踪区域；

2)采用中值流法跟踪和特征点匹配相结合的***估计最佳目标跟踪区域的尺度变化，并通过层级聚类方法剔除干扰点得到目标最终所在的位置；

3)将***所估计的尺度变化反馈给检测器，通过缩小检测尺度空间来加快检测器的速度。

优选的，在步骤1)中，包括：

1.1)计算显著区域图像块：对I进行8×8无重叠分割，采用基于直方图对比度的方法计算各个图像块的显著性，并提取显著性高的图像块为候选跟踪区域；

1.2)获取最佳跟踪区域：如果1.1)中所获得的图像块少于Thr_patch，Thr_patch为求得的显著性块的个数，则用预设的初始目标框进行跟踪，否则以该初始目标框的中点为中心，以步长为8，并根据跟踪目标的长宽比例向外扩展，计算当前扩展区域所含的显著块的面积与扩展区域总面积的比值S_saliency，当比值S_saliency小于Thr_score时停止搜索，此时得到新的跟踪目标框I_s。

优选的，在步骤2)中，包括：

2.1)提取I_s目标框两倍范围内的FAST特征点及BRISK描述子P＝{(l₁,f₁),(l₂,f₂),......(l_n,f_n)}并存储，l₁到l_n表示所提取的特征点位置，f₁到f_n表示是所提取特征点的二进制描述子，将FAST特征点划分为待跟踪区域的前景特征点P_fg＝{(l₁,f₁),......,(l_n1,f_n1)}以及背景特征点P_bg＝{(l₁,f₁),......,(l_n-n1,f_n-n1)}；

2.2)第二帧开始，采用前后向光流法对提取到的特征点P_fg进行跟踪得到T_fg；采用特征点匹配法对上一帧跟踪到的目标框位置两倍范围内的特征点进行匹配，通过最近邻距离和次邻近距离的比值θ来确定匹配的有效性，从而得到有效的匹配点，并剔除与背景相匹配的特征点，得到跟踪目标的特征匹配点M_fg，在匹配的同时对P_fg特征点进行前、后向光流法跟踪，得到误差小于Thr_FB的跟踪点T_fg，取T_fg及M_fg的并集P_fuse，并用中值法估计出目标的尺度s和角度信息φ；

2.3)对跟踪到的原始特征点P_fg进行尺度和角度变换得到新的坐标并采用层级聚类法剔除离群点，并用剔除离群点后剩下的点集V^c估计目标中心位置center，若点集V^c的数量小于原始特征点数的10％，则跟踪失败进入步骤2.4)，否则利用中心位置和尺度s得到目标位置大小，返回步骤2.2)，并用点集V^c进行下一帧目标跟踪；

2.4)若跟踪失败，用检测器去初始化***，对检测器检测到的目标进行特征点提取并与特征点集P进行匹配，若匹配数大于待跟踪点的10％，则初始化成功，返回步骤2.2)进行下一帧目标跟踪。

优选的，预先根据跟踪目标框大小确定初始尺度，在步骤3)中，所述的缩小检测尺度空间来加快检测器的速度具体是指：存储***最近十帧的目标尺度变化S＝[s₁,s₂,s₃,s₄,s₅,s₆,s₇,s₈,s₉,s₁₀]；计算尺度变化S的中值S_Med，并计算S_Med与初始化尺度间的关系；通过映射关系找到对应的网格化尺度s_grid，用检测器对s_grid-6到s_grid+6范围内尺度进行检测；如果跟踪失败，则对当前帧进行全部尺度检测。

由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：

1、提取跟踪目标的显著区域，提高算法抗背景杂波能力，简单有效。

2、结合特征点匹配提高跟踪算法在不同场景下的跟踪鲁棒性，具有通用性。

3、检测器自适应尺度搜索，提高检测器速度，简单有效。

附图说明

图1为TLD算法的组成框图。

图2为本发明方法的流程图。

具体实施方式

以下通过具体实施方式对本发明作进一步的描述。

通过调查研究发现，TLD目标跟踪算法存在跟踪漂移以及容易受复杂背景干扰等缺点。本发明提出一种结合特征点匹配的在线目标跟踪方法。首先计算被跟踪目标的显著区域，从而获得最佳目标跟踪区域；然后采用中值流法跟踪和特征点匹配相结合的方法估计目标的尺度变化，并通过层级聚类方法剔除干扰点得到目标最终所在的位置；最后，将***所估计得到的尺度信息反馈给检测器，通过缩小检测尺度空间来加快检测器的速度。对目标形变、平面旋转以及快速运动具有鲁棒性。

具体处理过程如下：

首先定义如下变量以便于算法描述：

当前帧图像H：图片宽度w*图片高度h；

被跟踪目标I：图片宽度w₁*图片高度h₁；

随机蕨分类器的正样本集Px,负样本集Nx；

最近邻分类器的正样本集PEx，负样本集NEx；

定义扩展区域图像分块的显著性值为s^E(i)，其中i为图像分块号；

定义扩展区域图像分块的显著性值为s^S(i)，其中i为图像分块号；

提取的显著性目标I_s：图片宽度w₂*图片高度h₂，所在的图像坐标为(x₂,y₂)；

初始特征点集P：用FAST特征点检测用BRI SK描述子进行描述。

下面对本发明做进一步详细说明。

如图2所示，本发明一种结合特征点匹配的在线目标跟踪方法，具体包括如下步骤：

步骤1、初始样本提取

(1)图1中的检测器在第一帧图像中，采用的多尺度扫描参数为1.2，水平和垂直的移动步长分别是视频帧宽高的10％，建立21级多尺度扫描窗口，提取目标边界框重叠率最高的10个图像片，并对每张图像片进行几何仿射变换。具体的步骤是，对每张图像片进行1％范围的平移，1％范围的尺度变化，10°范围的旋转并添加高斯噪声方差。其中平移、尺度、旋转都是在一定范围内随机产生。通过这些变换，10个图像片可以生成200个图像片，将这些图像片作为检测器初始训练的正样本存入集合Px中。负样本则是选取与目标框位置重叠率小于0.2阈值的图像片存入集合Nx中。将Px中与跟踪目标重叠率最大的图像片进行15×15归一化然后存入PEx中，将Nx中大于跟踪目标方差50％的样本提取出来并随机选取100个样本存入NEx中。图1中的学习模块包括有随机蕨分类器、最近邻分类器、方差分类器等。图中的在线模型是对***和检测器采集的样本进行学习，综合模块对***和检测器分别得到的结果进行综合并输出最终的目标框位置。图2中的TLD检测学习模块即为图1中的学习模块。

(2)将(1)中Px和Nx的送入随机蕨分类器中进行学习；

(3)将(1)中的PEx和NEx送入最近邻分类器中学习；

(4)将(2)和(3)中学习到的随机蕨分类器以及最近邻分类器对检测器进行初始化。

步骤2、检测器检测目标

检测器对当前帧所有的多尺度窗口进行扫描，将待评估的图像片依次通过方差分类器、随机蕨分类器以及最近邻分类器。其中方差分类器设置方差的阈值为目标图像片方差的一半，抛弃小于目标图像片一半方差的图像片；将剩下的图像片输入随机蕨分类器，随机蕨分类器中的阈值设置为0.67，将投票后阈值大于0.67的图像片输入最近邻分类器；如果最后剩下的图像片数大于100，则选取投票分数最高的前100个图像片进行最近邻评估，将评估分数最高的图片片选为检测到的目标所在位置。

步骤3、计算被跟踪目标的显著区域，如图2中的目标初始化所示：

(1)计算显著区域图像块：在当前跟踪视频帧H中，提取被跟踪目标图像块I，对I进行8×8无重叠分割，定义收缩区域为以及扩展区域其大小分别为0.6w₁*0.6h₁以及(w₁+16)*(h₁+16)，分别计算I中各个图像块的收缩区域以及扩展区域图像分块的显著性s^S(i)和s^E(i)，其中式中c(i)为I中第i块的颜色直方图，c^S(j)为中第j块的颜色直方图，K＝4表示采用4近邻直方图。式中c(i)为I中第i块的颜色直方图，c^E(j)为中第j块的颜色直方图，K＝4表示采用4近邻直方图。并将的图像分块选为候选跟踪区域。

(2)获取最佳跟踪区域：如果(1)中所获得的图像块小于Thr_patch，Thr_patch为求得的显著性块的个数，，设为50，则用预设的初始目标框进行跟踪。否则以该初始目标框的中点为中心，以步长为8并根据跟踪目标的长宽比例向外扩展，计算当前扩展区域所含的显著块的面积与扩展区域总面积的比值S_saliency，当比值S_saliency小于Thr_score＝0.7时停止搜索，此时得到新的跟踪目标框I_s。

步骤4、结合光流法和特征点匹配的***，参见图2中的目标跟踪模块：

(1)提取I_s目标框两倍范围内的FAST特征点及BRISK描述子P＝{(l₁,f₁),(l₂,f₂),......(l_n,f_n)}并存储。其中l₁到l_n表示所提取的特征点位置，f₁到f_n表示是所提取特征点的二进制描述子。将特征点划分为待跟踪区域的前景特征点P_fg＝{(l₁,f₁),......,(l_n1,f_n1)}以及背景特征点P_bg＝{(l₁,f₁),......,(l_n-n1,f_n-n1)}；

(2)第二帧开始，采用前后向光流法对提取到的特征点P_fg进行跟踪得到T_fg；采用特征点匹配法对上一帧跟踪到的目标框位置两倍范围内的特征点进行匹配，通过最近邻距离和次邻近距离的比值θ(θ为特征点匹配参数，表示一个特征点与其它特征点匹配的概率，最近邻距离与次近邻比值越大则表示该特征点匹配正确的可能性越大，这里θ＝0.8)来确定匹配的有效性以得到有效的匹配点，并剔除与背景相匹配的特征点，得到跟踪目标的特征匹配点M_fg。在匹配的同时对P_fg特征点进行前后向光流法跟踪得到误差小于Thr_FB的跟踪点T_fg，其中Thr_FB为前后向跟踪误差的阈值，10≤Thr_FB≤20，取T_fg及M_fg的并集P_fuse，并用中值法估计出目标的尺度s和角度信息φ；

(3)对跟踪到的原始特征点P_fg进行尺度和角度变换得到新的坐标，并采用层级聚类法剔除离群点，之后用剔除离群点后剩下的点集V^c估计目标中心位置center。若点集V^c的数量小于原始特征点的10％，则跟踪失败，否则利用中心位置和尺度信息得到目标位置大小，返回步骤(2)用点集V^c进行下一帧目标跟踪。

(4)若跟踪失败，用检测器去初始化***，对检测器检测到的目标进行特征点提取并与特征点集P进行匹配；若匹配数大于原始特征点的10％，则初始化成功。返回步骤(2)进行下一帧目标跟踪。

步骤5、提高检测器速度：

存储***最近十帧的目标尺度变化S＝[s₁,s₂,s₃,s₄,s₅,s₆,s₇,s₈,s₉,s₁₀]；计算尺度变化S的中值S_Med，并计算S_Med与初始化尺度间的关系；通过映射关系找到对应的网格化尺度s_grid，用检测器对s_grid-6到s_grid+6范围内的尺度进行检测；如果图1中的***跟踪失败，则对当前帧进行全部尺度检测。

步骤6、得到最终结果

由步骤1到步骤5，如果***和检测器都检测到目标，则采用位置累加办法，***得到的目标框权重占0.6，检测器得到的目标框权重占0.4，综合得到最终的结果。以下表1和表2均为不同算法在标准测试集上的跟踪成功率。

表1不同算法在标准测试集上的跟踪成功率

表2不同算法在标准测试集上的跟踪距离精度

上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。

Claims (4)

1.一种结合特征点匹配的在线目标跟踪方法，其特征在于，包括如下步骤

1)在第一帧图像中计算被跟踪目标I的显著区域，从而获得最佳目标跟踪区域；

2)采用中值流法跟踪和特征点匹配相结合的***估计最佳目标跟踪区域的尺度变化，并通过层级聚类方法剔除干扰点得到目标最终所在的位置；

3)将***所估计的尺度变化反馈给检测器，通过缩小检测尺度空间来加快检测器的速度。

2.如权利要求1所述的一种结合特征点匹配的在线目标跟踪方法，其特征在于，在步骤1)中，包括：

1.1)计算显著区域图像块：对I进行8×8无重叠分割，采用基于直方图对比度的方法计算各个图像块的显著性，并提取显著性高的图像块为候选跟踪区域；

1.2)获取最佳跟踪区域：如果1.1)中所获得的图像块少于Thr_patch，Thr_patch为求得的显著性块的个数，则用预设的初始目标框进行跟踪，否则以该初始目标框的中点为中心，以步长为8，并根据跟踪目标的长宽比例向外扩展，计算当前扩展区域所含的显著块的面积与扩展区域总面积的比值S_saliency，当比值S_saliency小于Thr_score时停止搜索，此时得到新的跟踪目标框I_s。

3.如权利要求2所述的一种结合特征点匹配的在线目标跟踪方法，其特征在于，在步骤2)中，包括：

2.1)提取I_s目标框两倍范围内的FAST特征点及BRISK描述子P＝{(l₁,f₁),(l₂,f₂),......(l_n,f_n)}并存储，l₁到l_n表示所提取的特征点位置，f₁到f_n表示是所提取特征点的二进制描述子，将FAST特征点划分为待跟踪区域的前景特征点P_fg＝{(l₁,f₁),......,(l_n1,f_n1)}以及背景特征点P_bg＝{(l₁,f₁),......,(l_n-n1,f_n-n1)}；

2.2)第二帧开始，采用前后向光流法对提取到的特征点P_fg进行跟踪得到T_fg；采用特征点匹配法对上一帧跟踪到的目标框位置两倍范围内的特征点进行匹配，通过最近邻距离和次邻近距离的比值θ来确定匹配的有效性，从而得到有效的匹配点，并剔除与背景相匹配的特征点，得到跟踪目标的特征匹配点M_fg，在匹配的同时对P_fg特征点进行前、后向光流法跟踪，得到误差小于Thr_FB的跟踪点T_fg，取T_fg及M_fg的并集P_fuse，并用中值法估计出目标的尺度s和角度信息φ；

2.3)对跟踪到的原始特征点P_fg进行尺度和角度变换得到新的坐标并采用层级聚类法剔除离群点，并用剔除离群点后剩下的点集V^c估计目标中心位置center，若点集V^c的数量小于原始特征点数的10％，则跟踪失败进入步骤2.4)，否则利用中心位置和尺度s得到目标位置大小，返回步骤2.2)，并用点集V^c进行下一帧目标跟踪；

2.4)若跟踪失败，用检测器去初始化***，对检测器检测到的目标进行特征点提取并与特征点集P进行匹配，若匹配数大于待跟踪点的10％，则初始化成功，返回步骤2.2)进行下一帧目标跟踪。

4.如权利要求3所述的一种结合特征点匹配的在线目标跟踪方法，其特征在于，预先根据跟踪目标框大小确定初始尺度，在步骤3)中，所述的缩小检测尺度空间来加快检测器的速度具体是指：存储***最近十帧的目标尺度变化S＝[s₁,s₂,s₃,s₄,s₅,s₆,s₇,s₈,s₉,s₁₀]；计算尺度变化S的中值S_Med，并计算S_Med与初始化尺度间的关系；通过映射关系找到对应的网格化尺度s_grid，用检测器对s_grid-6到s_grid+6范围内尺度进行检测；如果跟踪失败，则对当前帧进行全部尺度检测。