CN104700431B - 一种基于显著度的柔性对象自然轮廓跟踪方法 - Google Patents

Abstract

一种基于显著度的柔性对象自然轮廓跟踪方法，包括两个阶段，第一阶段中，首先对第一帧视频帧进行超像素分割，再结合交互与面向对象的自然轮廓提取算法，可获得跟踪目标的初始自然轮廓，分别初始化基于显著度的对象模型和时空上下文模型。第二阶段为柔性对象的轮廓跟踪阶段，首先利用时空上下文模型快速定位跟踪目标，然后对跟踪目标块进行超像素分割，最后，提出一种基于显著度的轮廓***用于实现柔性对象自然轮廓的精确跟踪，与此同时，不断更新上下文模型和对象模型。本发明有效地避免矩形框带来的背景误差，并且针对周围环境以及柔性对象自身的一系列复杂情况，实现了柔性对象自然轮廓的精确跟踪。

Description

一种基于显著度的柔性对象自然轮廓跟踪方法

技术领域

本发明涉及计算机视觉、图像处理等技术领域，尤其是基于显著度的柔性对象自然轮廓跟踪方法。

背景技术

视频对象跟踪技术的应用越来越广泛，如在监控***、行为识别***、军事目标检测等领域中的应用。为满足实际应用的需要，许多具有鲁棒性的跟踪算法被提出，这些算法主要是从速度、跟踪准确度两个方向进行改进。然而，由于在视频序列中柔性对象会发生形变、尺度变化以及背景变化，所以柔性对象的精确跟踪目前还存在着很多困难。这些复杂干扰的来源可分为光照变化、剧烈运动、具有复杂背景的场景。因此，柔性对象外轮廓的精确跟踪是一项十分具有挑战性的任务。虽然近期一些学者的相关工作已经能够得到不错的柔性对象实时跟踪结果，但是这些算法的应用仍是十分有限的：

1)跟踪结果的准确性不是很高，特别是当跟踪对象发生形变和尺度变化的时候。

2)有些算法通过增加离线学习的方法来实现柔性对象外轮廓的精确跟踪，但是大量手工模板的需要使得这种改进所带来的效果十分有限。

3)跟踪不稳定，容易在跟踪过程中出现漂移。

4)受背景信息干扰大，像素级别的处理导致算法时间复杂度偏高。

发明内容

为了克服现有的柔性对象自然轮廓跟踪方式的准确性不高、稳定性较差、时间复杂度较高的不足，本发明提出了一种基于显著图的柔性对象自然轮廓跟踪方法。

本发明解决其技术问题所采用的技术方案是：

一种基于显著度的柔性对象自然轮廓跟踪方法，包括以下步骤：

(1)自然轮廓提取

在利用简单线性迭代聚类(Simple linear iterative clustering，SLIC)算法对第一帧视频帧进行超像素分割之后，每个像素点都拥有了标识其所属分割块的标签；

采用自然轮廓提取算法提取柔性对象的自然轮廓，不同分割块拥有不同标签，属于相同分割块的像素点拥有相同标签，利用标签的突变得到边界像素点；SLIC算法中，规定如果某像素点的四邻域有一个以上的像素点的标签与其不同，则将该像素点视为边界像素点；

使用标签L_fore对构成柔性对象的分割块进行标识，得到对象模型，将对象模型视作由位于对象所在区域的像素点(x,y)组成的集合U_m，面向对象的模型表示如下：

U_m＝{(x,y)|L(x,y)＝L_fore,(x,y)∈U}， (1.1)

其中，L(x,y)是像素点(x,y)的标签，U是视频帧像素点的集合，跟踪对象的闭合自然轮廓U_c由下列等式得到：

U_c＝U_m-{(x,y)|L(x-1,y)＝L(x+1,y)＝L(x,y-1)＝L(x,y+1)＝L_fore,(x,y)∈U_m}，

(1.2)

其中，L(x-1,y)，L(x+1,y)，L(x,y-1)，L(x,y+1)分别为像素点(x,y)四邻域像素点(x-1,y)，(x+1,y)，(x,y-1)，(x,y+1)的标签；

(2)快速目标定位，过程如下：

2.1).利用初始自然轮廓最小化的矩形框，以及目标对象与其所处的周围背景之间的空间相关性，学习空间上下文模型；

2.2).利用已学习到的空间上下文模型去更新下一帧的时空上下文模型；

2.3).利用时空上下文信息计算置信图；

2.4).通过置信图的最大化分析目标对象所处的最佳位置；

2.5).利用跟踪所得轮廓的最小矩形框去重学习空间上下文模型，接着返回步骤2.2)

(3)基于显著度的轮廓***

通过步骤(2)得到包含目标对象和部分背景信息的矩形块，首先，对矩形块进行SLIC超像素分割，接着利用基于图的流形排序算法计算矩形块的显著图，显著图中必须要有不同于前景的背景信息，

Box2被作为基于显著度的轮廓***的输出结果，在进行SLIC超像素分割以及基于图的流形排序之后，Box2上的每一个像素点都拥有了一个标识其所属分割块的标签，每个分割块都有一个显著值；分割块的聚类中心被称为种子点，通过第一帧的初始自然轮廓得到目标对象块，对于后续视频帧，目标对象块由快速目标定位过程计算得到，在对每个帧序列的块进行超像素分割后，得到种子点NS_t，t为视频帧序列的索引值，t＝1,2,3…，对每个分割块的显著值进行降序排序，得到排序结果Sal₁是最高显著值，是最低显著值，基于显著度的对象模型Usm中设置了一个阈值THD

U_Sal＝{Sal₁,Sal₂,Sal₃,…,Sal_THD} (3.1)

U_sm＝{(x,y)|S(x,y)∈U_Sal,(x,y)∈U_t(t＝2,3,4…)} (3.2)

其中，U_Sal为高于THD显著值的显著值集合，U_t为视频帧t中目标对象块的像素点集合，(x,y)为像素点的坐标；

最后，基于全局向量流的主动轮廓模型被用于轮廓拟合，在此基础上最终得到柔性对象的准确自然轮廓。

进一步，所述步骤(3)中，阈值THD的确定过程如下：

首先，利用初始轮廓或每帧的跟踪轮廓构建一个对象模型U_md

U_md＝{(x,y)|L(x,y)＝L_fore,(x,y)∈U_t(t＝1,2,3…)} (3.3)

其中，L(x,y)表示像素点(x,y)的标签，L_fore表示目标对象区域的标签；

接着，利用视频帧t的模型U_md统计位于目标对象区域内的种子点数目NIS_t，根据时间上下文信息，得到以下等式：

其中，t为视频序列的索引值；NIS_t表示视频帧t中位于目标对象区域内的种子点数目，NS_t表示视频帧t中处于目标对象块内的种子点数目；NIS_t-1表示前一帧视频帧t-1中位于目标对象区域内的种子点数目，NS_t-1表示前一帧视频帧t-1中处于目标对象块内的种子点数目；

接着，阈值THD与NIS_t相等，THD由下述计算方法得到：

本发明的技术构思为：整个算法可以分为两个阶段，其中第一阶段为初始化阶段，在此阶段，首先对第一帧视频帧进行超像素分割，接着通过将交互与面向对象的自然轮廓提取算法(object-oriented natural contour extraction algorithm)相结合，可获得柔性对象的初始自然轮廓。在此基础上，分别初始化基于显著度的对象模型(saliency-basedobject model)和时空上下文模型；第二阶段为柔性对象的轮廓跟踪阶段，首先利用时空上下文模型快速定位跟踪目标，然后对跟踪目标块(object patch)进行超像素分割，最后，提出一种基于显著度的轮廓***用于实现柔性对象自然轮廓的精确跟踪，在跟踪过程中通过不断更新上下文模型和对象模型来增强***的稳定性和鲁棒性。

本发明的有益效果为：有效地避免矩形框带来的背景误差，并且针对周围环境以及柔性对象自身的一系列复杂情况(光照变化、复杂背景、前景干扰、快速形变和尺度变化)，实现了柔性对象自然轮廓的精确跟踪。

附图说明

图1是SLIC算法的边界点判断规则(8邻域)的示意图。

图2是NCE算法的边界点判断规则(4邻域)的示意图。

具体实施方式

下面结合附图对本发明做进一步说明。

参照图1和图2，一种基于显著度的柔性对象自然轮廓跟踪方法，包括如下步骤：

(1)自然轮廓提取技术

在利用SLIC分割算法对第一帧视频帧进行预处理之后，每一个像素点都拥有了标识其所属分割块的标签。提出一种自然轮廓提取算法(Natural Contour Extraction，NCE)，用于提取柔性对象的自然轮廓。因为不同分割块拥有不同标签，属于相同分割块的像素点拥有相同标签，所以利用标签的突变得到边界像素点。根据SLIC算法，如果某像素点其八邻域中有一个以上的像素点的标签与其不同时，则可将该像素点视为边界像素点(阴影像素点)，如图1所示。然而在此基础上利用NCE算法得到的自然轮廓将不会是一条闭合曲线。为了解决这个问题，对算法进行改进，规定如果某像素点其四领域中有一个以上的像素点的标签与其不同，则可将该像素点视为边界像素点(阴影像素点)，如图2所示。

柔性对象由不同的分割块构成，其自然轮廓也是由分割块的部分边界像素点组成。使用标签L_fore对构成柔性对象的分割块进行标识，可以得到对象模型(object model)，若将其视作由位于对象所在区域的像素点(x,y)组成的集合U_m，则面向对象的模型(object-oriented model)可表示如下：

U_m＝{(x,y)|L(x,y)＝L_fore,(x,y)∈U}， (1.1)

其中L(x,y)是像素点(x,y)的标签，U是视频帧像素点的集合，跟踪对象的闭合自然轮廓U_c可由下列等式得到：

U_c＝U_m-{(x,y)|L(x-1,y)＝L(x+1,y)＝L(x,y-1)＝L(x,y+1)＝L_fore,(x,y)∈U_m}，

(1.2)

在初始化阶段，NCE算法被用于获取柔性对象的初始自然外轮廓；在轮廓跟踪阶段，NCE算法被用于基于显著度的对象模型(saliency-based object model)的轮廓获取。

(2)快速目标定位技术

时空上下文信息对于对象跟踪来说是非常重要的。虽然在跟踪过程中，一直利用了时间上下文信息，但对空间上下文信息的利用却比较匮乏。利用时间上下文信息是因为通常认为跟踪对象和其所处位置并不会发生太大的改变，但是对于视频而言，目标对象的外貌可能会因光照变化、图像退化(运动模糊，离焦模糊)或其他因素的影响而发生较大的改变。另外，目标对象所处的位置也可能随其高速运动而发生突变。在此类情况下，从目标对象区域提取出的特征也许会将错误带入到后续跟踪过程中。然而，目标对象与其当前周围背景之间存在着强烈的空间关系，若将空间上下文与时间上下文相结合，则可得到更好的跟踪结果。在文献1(Zhang K,Zhang L,Yang M H,et al.Fast tracking via spatio-temporal context learning.arXiv preprint arXiv:1311.1939,2013.即Zhang K，ZhangL，Yang M H，等.基于时空上下文的快速跟踪算法.arXiv preprint arXiv:1311.1939，2013.)中，Kaihua Zhang等人利用时空局部上下文信息(spatio-temporal localcontext)提出了一种快速且具有鲁棒性的跟踪算法。将上述想法引入到本文算法的框架中(快速定位)，提出一种快速定位目标对象的算法，算法可分为以下五个步骤：

2.1.利用初始自然轮廓最小化的矩形框，以及目标对象与其所处的周围背景之间的空间相关性，学习空间上下文模型；

2.2.利用已学习到的空间上下文模型去更新下一帧的时空上下文模型；

2.3.利用时空上下文信息计算置信图；

2.4.通过置信图的最大化分析目标对象所处的最佳位置；

2.5.利用跟踪所得轮廓的最小矩形框去重学习空间上下文模型，接着返回步骤2.2。

在上述算法中，步骤(2.2-2.4)来自文献1(Zhang K,Zhang L,Yang M H,etal.Fast tracking via spatio-temporal context learning.arXiv preprint arXiv:1311.1939,2013.即Zhang K，Zhang L，Yang M H，等.基于时空上下文的快速跟踪算法.arXiv preprint arXiv:1311.1939，2013.)，步骤5则为改进步骤。在步骤5中，使用跟踪当前帧所得轮廓的最小矩形框去学习该帧的空间上下文模型，再在此基础上，更新下一帧的时空上下文模型。这种改进方法有效解决了跟踪目标尺度变化过大的问题。

上述快速目标对象定位算法具有两个优点：第一，利用目标对象块(objectpatch)(算法输出结果)而不是整个视频帧去完成后续的操作，大大减少了处理数据量；第二，当计算整个视频帧图像的显著度时有可能会得到错误的结果，但是如果只计算一个包含目标对象及少量其周围背景的块，可得到更理想的显著图。(3)基于显著度的轮廓跟踪技术

通过快速目标对象定位算法，可以获得包含目标对象和部分背景信息的矩形块。为了从该矩形块提取出目标对象区域，引入显著图。在基于显著度的轮廓***中，使用了文献2(Yang C,Zhang L,Lu H,et al.Saliency detection via graph-based manifoldranking[C]//Computer Vision and Pattern Recognition(CVPR),2013IEEE Conferenceon.IEEE,2013:3166-3173.即Yang C，Zhang L，Lu H，等.基于流形排序的显著性检测方法[C].2013IEEE国际计算机视觉与模式识别会议(CVPR)，2013：3166-3173)提出的显著度检测方法。首先，对矩形块进行SLIC超像素分割，接着利用基于图的流形排序算法计算矩形块的显著图。显著图中必须要有不同于前景的背景信息，只有这样，前景中的目标对象区域才可区别与背景，即目标对象区域是显著的。在此问题上，进行大量的实验，发现包含目标对象及其周围背景信息的Box2的显著图要优于Box1(快速定位的输出结果)。

Box2被作为基于显著度的轮廓***的输出结果，在进行SLIC超像素分割以及基于图的流形排序之后，Box2上的每一个像素点都拥有了一个标识其所属分割块的标签，每个分割块都有一个显著值(越亮越显著，即显著值越高)。分割块的聚类中心被称为种子点。利用第一帧的初始自然轮廓可得到目标对象块，对于后续视频帧，目标对象块可由快速目标对象定位算法得到。在对每个帧序列的目标对象块进行超像素分割后，可得到种子点数目NS_t(t＝1,2,3…)，t为视频帧序列的索引值。对每个分割块的显著值进行降序排序，可以得到排序结果{Sal₁,Sal₂,…,Sal_NSt}，Sal₁是最高显著值，Sal_NSt是最低显著值。若分割块的显著值越高，则该分割块属于目标对象区域的可能性就越大，基于显著度的对象模型U_sm中设置了一个阈值THD。

U_Sal＝{Sal₁,Sal₂,Sal₃,…,Sal_THD}， (3.1)

U_sm＝{(x,y)|S(x,y)∈U_Sal,(x,y)∈U_t(t＝2,3,4…)}， (3.2)

其中U_Sal为高于THD-th显著值的显著值集合，U_t为视频帧t中目标对象块的像素点集合，(x,y)为像素点的坐标。基于显著度的对象模型可能会得到错误分割块，可以使用轮廓提取算法选择最大轮廓去避免错误分割块。最后，基于全局向量流的主动轮廓模型被用于轮廓拟合，最终可得到柔性对象的准确自然轮廓。

对于阈值THD，提出一种初始化更新算法，该算法可使本文提出的基于显著度的对象模型更具稳定性和自适应性。首先，利用初始轮廓或每帧的跟踪轮廓构建一个对象模型U_md。

U_md＝{(x,y)|L(x,y)＝L_fore,(x,y)∈U_t(t＝1,2,3…)}， (3.3)

其中L(x,y)表示像素点(x,y)的标签，L_fore表示目标对象区域的标签。接着，利用视频帧t的模型U_md统计位于目标对象区域内的种子点数目NIS_t。根据时间上下文信息，可得到以下等式：

接着，阈值THD与NIS_t相等，THD可由下述计算方法得到：

本实施例的基于显著度的柔性对象自然轮廓跟踪方法，对于第一帧视频帧：采用SLIC分割算法进行超像素分割；结合交互与面向对象的自然轮廓提取算法，获得柔性对象的初始自然轮廓；利用初始自然轮廓分别初始化基于显著度的对象模型(saliency-basedobject model)和时空上下文模型。对于除第一帧以外的视频帧：利用时空上下文模型快速定位跟踪目标并获取跟踪目标块；然后对跟踪目标块进行SLIC超像素分割；利用基于显著度的对象模型得到目标对象；通过自然轮廓提取算法获得目标对象的外轮廓；利用轮廓进化得到更为理想的自然轮廓，同时使用该轮廓更新上下文模型和基于显著度的对象模型。

Claims (2)

1.一种基于显著度的柔性对象自然轮廓跟踪方法，其特征在于：所述基于显著度的柔性对象自然轮廓跟踪方法包括以下步骤：

(1)自然轮廓提取

在利用简单线性迭代聚类算法对第一帧视频帧进行超像素分割之后，每个像素点都拥有了标识其所属分割块的标签；

采用自然轮廓提取算法提取柔性对象的自然轮廓，不同分割块拥有不同标签，属于相同分割块的像素点拥有相同标签，利用标签的突变得到边界像素点；SLIC算法中，规定如果某像素点的四邻域有一个以上的像素点的标签与其不同，则将该像素点视为边界像素点；

使用标签L_fore对构成柔性对象的分割块进行标识，得到对象模型，将对象模型视作由位于对象所在区域的像素点(x,y)组成的集合U_m，面向对象的模型表示如下：

U_m＝{(x,y)|L(x,y)＝L_fore,(x,y)∈U}， (1.1)

其中，L(x,y)是像素点(x,y)的标签，U是视频帧像素点的集合，跟踪对象的闭合自然轮廓U_c由下列等式得到：

U_c＝U_m-{(x,y)|L(x-1,y)＝L(x+1,y)＝L(x,y-1)＝L(x,y+1)＝L_fore,(x,y)∈U_m}， (1.2)

其中，L(x-1,y)，L(x+1,y)，L(x,y-1)，L(x,y+1)分别为像素点(x,y)四邻域像素点(x-1,y)，(x+1,y)，(x,y-1)，(x,y+1)的标签；

(2)快速目标定位，过程如下：

2.1).利用初始自然轮廓最小化的矩形框，以及目标对象与其所处的周围背景之间的空间相关性，学习空间上下文模型；

2.2).利用已学习到的空间上下文模型去更新下一帧的时空上下文模型；

2.3).利用时空上下文信息计算置信图；

2.4).通过置信图的最大化分析目标对象所处的最佳位置；

2.5).利用跟踪所得轮廓的最小矩形框去重学习空间上下文模型，接着返回步骤2.2)

(3)基于显著度的轮廓***

通过步骤(2)得到包含目标对象和部分背景信息的矩形块，首先，对矩形块进行SLIC超像素分割，接着利用基于图的流形排序算法计算矩形块的显著图，显著图中必须要有不同于前景的背景信息，

Box2被作为基于显著度的轮廓***的输出结果，在进行SLIC超像素分割以及基于图的流形排序之后，Box2上的每一个像素点都拥有了一个标识其所属分割块的标签，每个分割块都有一个显著值；分割块的聚类中心被称为种子点，通过第一帧的初始自然轮廓得到目标对象块，对于后续视频帧，目标对象块由快速目标定位过程计算得到，在对每个帧序列的块进行超像素分割后，得到种子点数目NS_t，t为视频帧序列的索引值，t＝1,2,3…，对每个分割块的显著值进行降序排序，得到排序结果Sal₁是最高显著值，是最低显著值，基于显著度的对象模型Usm中设置了一个阈值THD

U_Sal＝{Sal₁,Sal₂,Sal₃,…,Sal_THD} (3.1)

U_sm＝{(x,y)|S(x,y)∈U_Sal,(x,y)∈U_t(t＝2,3,4…)} (3.2)

其中，U_Sal为高于THD显著值的显著值集合，U_t为视频帧t中目标对象块的像素点集合，(x,y)为像素点的坐标；

最后，基于全局向量流的主动轮廓模型被用于轮廓拟合，在此基础上最终得到柔性对象的准确自然轮廓。

2.如权利要求1所述的一种基于显著度的柔性对象自然轮廓跟踪方法，其特征在于：所述步骤(3)中，阈值THD的确定过程如下：

首先，利用初始轮廓或每帧的跟踪轮廓构建一个对象模型U_md

U_md＝{(x,y)|L(x,y)＝L_fore,(x,y)∈U_t(t＝1,2,3…)} (3.3)

其中，L(x,y)表示像素点(x,y)的标签，L_fore表示目标对象区域的标签；

接着，利用视频帧t的模型U_md统计位于目标对象区域内的种子点数目NIS_t，根据时间上下文信息，得到以下等式：

其中，t为视频序列的索引值；NIS_t表示视频帧t中位于目标对象区域内的种子点数目，NS_t表示视频帧t中处于目标对象块内的种子点数目；NIS_t-1表示前一帧视频帧t-1中位于目标对象区域内的种子点数目，NS_t-1表示前一帧视频帧t-1中处于目标对象块内的种子点数目；

接着，阈值THD与NIS_t相等，THD由下述计算方法得到：

2