CN105741312A - 目标对象跟踪方法和设备 - Google Patents

Abstract

本发明提供了一种对象跟踪方法和设备。所述对象跟踪方法包括：提取当前帧视差图中检测出的目标对象的显著部位；对下一帧视差图中的视差点进行聚类以形成多个簇；对于每个显著部位，计算下一帧视差图中各个簇与其的相似性以确定与该显著部位相似的候选簇；根据各个显著部位之间的位置关系对所述候选簇进行分组，以将属于同一对象的候选簇划分到同一组中；对于每一组，基于其中包含的各个候选簇的相似性确定该组与目标对象的相似性；选择相似性最高的组，并将该组所在的位置作为所述目标对象在下一帧视差图中的位置。通过所述目标对象跟踪技术，在目标对象的姿态频繁发生变化、目标对象被部分遮挡的情况下，也能获得准确的跟踪结果。

Description

目标对象跟踪方法和设备

技术领域

本发明总体涉及图像处理，具体涉及目标对象跟踪方法和设备

背景技术

对象跟踪技术在对象定位、视频监控、机器人导航、辅助驾驶、驾驶预警等众多领域中有着广泛的应用。目前，对象跟踪技术在某些场景下仍存在诸如把正在跟踪的对象错误地识别成新出现的对象、把正在跟踪的对象错误地识别成另一个对象、丢失跟踪对象等问题。特别是在行人跟踪中，由于行人的姿态一直在变化，行人众多、遮挡问题经常发生等原因，这一问题尤为严重。

美国专利申请US20120194680公开了一种通过将检测到的图像和预存的人外轮廓模板进行匹配来检测行人的技术。在该申请中将行人的整个外轮廓作为模板，因此对于被跟踪的行人被遮挡的情形效果不好。

美国专利US7418112公开了一种在未能识别整个行人区域时，利用行人的头部区域与预先存储的头部模型进行匹配来检测行人的技术。该技术利用整个身体和头部来检测行人，因此对于整个身体和头部不清晰但别的部位清晰的情形并不适用。

发明内容

根据本发明的实施例，提供了一种目标对象跟踪方法，包括：提取当前帧视差图中检测出的目标对象的显著部位；对下一帧视差图中的视差点进行聚类以形成多个簇；对于每个显著部位，计算下一帧视差图中各个簇与其的相似性以确定与该显著部位相似的候选簇；根据各个显著部位之间的位置关系对所述候选簇进行分组，以将属于同一对象的候选簇划分到同一组中；对于每一组，基于其中包含的各个候选簇的相似性确定该组与目标对象的相似性；选择相似性最高的组，并将该组所在的位置作为所述目标对象在下一帧视差图中的位置。

根据本发明的另一实施例，提供了一种目标对象跟踪设备，包括：提取单元，配置为提取当前帧视差图中检测出的目标对象的显著部位；聚类单元，配置为对下一帧视差图中的视差点进行聚类以形成多个簇；簇相似性计算单元，配置为对于每个显著部位，计算下一帧视差图中各个簇与其的相似性以确定与该显著部位相似的候选簇；分组单元，配置为根据各个显著部位之间的位置关系对所述候选簇进行分组，以将属于同一对象的候选簇划分到同一组中；组相似性计算单元，配置为对于每一组，基于其中包含的各个候选簇的相似性确定该组与目标对象的相似性；位置确定单元，选择相似性最高的组，并将该组所在的位置作为所述目标对象在下一帧视差图中的位置。

根据本发明实施例的目标对象跟踪技术在目标对象的姿态频繁发生变化、目标对象被部分遮挡的情况下，也能获得准确的跟踪结果。

附图说明

图1示意性地示出了应用根据本发明实施例的目标对象跟踪技术的一种示例场景；

图2示出了根据本发明第一实施例的目标对象跟踪方法的流程图；

图3(a)和3(b)分别例示了包含有目标对象的当前帧灰度图和视差图的示意图；

图4例示了对图3(b)中所示的当前帧视差图中的目标对象进行聚类的示意性结果；

图5例示了对图3(b)中所示的当前帧视差图中的目标对象划分身体部位的示意性结果；

图6例示了对下一帧视差图中的视差点进行聚类形成的多个簇的示意图；

图7示出了根据本发明实施例的、计算下一帧视差图中的簇与当前帧中的显著部位的相似性以确定簇与显著部位是否相似的处理的流程图；

图8例示了当前帧中的显著部位在下一帧中的簇上的滑动过程的示意图；

图9例示了对候选簇进行分组后的示意性分组结果；

图10示出了根据本发明实施例的确定当前帧视差图中的目标对象的各个显著部位的显著性的处理的流程图；

图11示出了根据本发明实施例的目标对象跟踪设备的功能配置框图；

图12示出了根据本发明实施例的目标对象跟踪***的总体硬件框图。

具体实施方式

为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。

首先对本发明中涉及的技术术语进行简单的介绍。

众所周知，灰度图(grayimage)是每个像素只有一个采样颜色的图像，这类图像通常显示为从最暗黑色到最亮的白色的灰度，灰度图在黑色与白色之间还有许多级的颜色深度用于显示。灰度图通常用每个采样像素8位的非线性尺度来保存，这样可以有256级灰度。而彩色图则是每个像素通常是由红(R)、绿(G)、蓝(B)三个分量来表示的，分量介于(0，255)。灰度图和彩色图的拍摄方式和功能等都是类似的(用来表示颜色信息)，因此在本领域中通常不特别区分灰度图和彩色图。下文中虽然采用灰度图这一表述，但是将灰度图替换为彩色图也是完全可以的。

视差图是以一对左视图和右视图中的任一图像为基准图像，尺寸为该基准图像的尺寸，并且每个点(像素点)的值为基准图像中对应点的视差的图像。视差图可以通过本领域中公知的立体匹配方法基于左右视图而获得，此处不进行详细描述。

图1示意性地示出了应用根据本发明实施例的目标对象跟踪技术的一种示例场景。如图1所示，用户位于配备有立体像机202的车201内，该立体像机对道路上行走的行人进行跟踪拍摄，以获得连续多帧的左视图和右视图。诸如计算芯片的处理设备203根据由立体相机拍摄得到的连续多帧的左视图和右视图，计算得到对应的连续多帧的视差图，并利用该视差图来检测和跟踪所拍摄的行人。当然，图1所示的仅仅是一种示例性的应用场景，根据本发明实施例的目标对象跟踪技术也可以应用于其他场景，例如车辆检测和跟踪等等。为了便于说明和理解，可以认为下文中所述的被跟踪的目标对象是道路上的行人。

<第一实施例>

图2示出了根据本发明第一实施例的目标对象跟踪方法的流程图。

如图2所示，在步骤S201，提取当前帧(第N帧)视差图中检测出的目标对象的显著部位。

如前所述，视差图中每个像素点表示的是视差值，该视差值可以通过立体匹配方法得到。但是，对于有些像素点无法通过立体匹配计算出其视差值，这些像素点就是没有视差值的点。根据立体匹配原理可知，位于灰度发生变化的物体边缘的像素点通常都能够计算出视差值。因此，对于灰度发生变化的边缘的像素点，通常都是有视差值的。例如，图3(a)和3(b)分别例示了包含有目标对象的当前帧灰度图和视差图的示意图。图3(b)中显示为黑色或灰色的像素点是具有视差值的视差点，而显示为白色的像素点则没有视差值。图3(a)中的白色矩形框中为要检测和跟踪的目标对象，图3(b)中的黑色矩形框框出了在视差图中检测出的该目标对象。从图3(b)中可以看出，该目标对象的外轮框以及其胸部有灰度变化的图案部分的外轮廓基本都有对应的视差点。

显著部位是用于表征目标对象的、具有显著性的部位。可以通过各种适当的方式来提取目标对象的显著部位。考虑到目标对象的外轮框及灰度发生变化的边缘在视差图中基本都有对应的视差点的这一特征，作为一个示例，在本实施例中，对当前帧视差图中检测出的目标对象的视差点进行聚类，并将聚类得到的簇作为显著部位。可以采用诸如K-MEANS算法、CLARANS算法、BIRCH算法、CURE算法等本领域中各种公知的聚类算法对所述视差点进行聚类，此处不再详细描述。图4例示了对图3(b)中所示的当前帧视差图中的目标对象进行聚类的示意性结果。如图4所示，通过聚类得到以外接矩形框S1-S6来表示的6个簇，作为目标对象的显著部位。

可选的，在通过对视差点进行聚类以得到目标对象的显著部位的实现方法中，可以先对当前帧视差图中检测出的目标行人进行身体部位划分；之后在每个划分得到的身体部分中，对视差点进行聚类，并将聚类得到的簇作为显著部位。按照这一方式得到的显著部位能够更好的表征目标行人。

具体的，可以根据实际情况和需要来确定将行人划分为哪些身体部位。在本实施例中，将行人划分为头、躯干和四肢。该划分方法是一种常见的划分方法，可以通过各种已有的方法来实现。例如，一种常见的划分头、躯干和四肢的方法可以参见“SegmentationandTrackingofMultipleHumansinCrowdedEnvironments”,TaoZhao,RamNevatia,BoWu,IEEETrans.PatternAnal.Mach.Intell.30(7):1198-1211(2008)。图5例示了对图3(b)中所示的当前帧视差图中的目标对象划分身体部位的示意性结果。如图5所示，通过划分身体部位得到了1-5共五个部位，其中部位1是头，部位3是躯干，部位2，4，5是四肢。在如上划分得到身体部位后，在每个身体部位中对视差点进行聚类，并将聚类得到的簇作为显著部位。

能够理解，以上先对目标行人进行身体部位划分随后在各身体部位中进行聚类的实现方式也可以应用于诸如目标车辆等其他目标对象，只要将划分身体部位适应性地调整为划分车辆的组成部分(例如，车轮，车体等)即可。

回到图2，在步骤S202，对下一帧(第N+1帧)视差图中的视差点进行聚类以形成多个簇。

在该步骤中，同样可以采用诸如K-MEANS算法、CLARANS算法、BIRCH算法、CURE算法等本领域中各种公知的聚类算法对要进行跟踪的下一帧视差图中的各个视差点进行聚类，此处不再详细描述。图6例示了对第N+1帧视差图中的视差点进行聚类形成的多个簇的示意图。

在步骤S203，对于每个显著部位，计算下一帧视差图中各个簇与其的相似性以确定与该显著部位相似的候选簇。

在该步骤中，对于第N帧中提取的每个显著部位，均通过计算相似性在第N+1帧中搜索与其相似的候选簇。在描述该步骤的具体处理之前，首先对本实施例中采用的对两个相同尺寸的图像块(即当第N帧中提取的某一显著部位和第N+1帧中的某一簇的尺寸相同时)计算相似性的方法进行介绍。

在本实施例中，根据显著部位的性质的不同，采用不同的相似性计算方法。具体的，首先判断显著部位是否随目标对象的运动发生明显形变。以目标对象是目标行人为例，能够理解，目标行人的躯干部位基本不随目标行人的运动发生形变，而其四肢则随目标行人的运动发生明显的形变。因此，可以通过显著部位的位置来判断其是否随目标对象的运动发生明显形变。例如，可以如前所述对目标行人进行身体划分，从而位于头部和躯干部的显著部位基本不随目标对象的运动发生形变，而位于目标行人的四肢的显著部位则随目标行人的运动发生明显的形变。

对于基本不随目标对象的运动发生形变的显著部位(以下简称稳定显著部位)，可以采用各种适当的方式来计算其与第N+1帧中的簇的相似性。

例如，作为一种示例，可以采用视差直方图来计算相似性。视差直方图是横轴表示视差值，纵轴表示具有该视差值的视差点的数量的统计图。如何用视差直方图计算相似性是本领域中公知的。例如，假设稳定显著部位Section1的视差直方图是(b₁,b₂…b_k),簇Cluster1的视差直方图是(c₁,c₂…c_k)(其中b_i是Section1中视差值为i的视差点的个数，c_i是Cluster1中视差值为i的视差点的个数)，则一种惯用的计算视差直方图的相似性的方法如表达式(1)所示：

$\mathrm{Similarity}1(\mathrm{Section}1,\mathrm{Cluster}1)=a1*k/\sqrt{\frac{{(b_1-c_1)}^2+{(b_2-c_2)}^2+...+{(b_k-c_k)}^2}{({b_1}^2+...+{b_k}^2+{c_1}^2+...+{c_k}^2)}}...\left(1\right)$

其中，a1是根据实验或经验设定的常数。

再比如，可以采用灰度直方图来计算相似性。灰度直方图是横轴表示灰度等级，纵轴表示具有该灰度等级的像素点的数量的统计图。如何用灰度直方图计算相似性同样是本领域中公知的。例如，可以采用"MultipleHistogramMatching",ShapiraD.,AvidanS.,Hel-OrY.(2013),ProceedingsofTheIEEEInternationalConferenceonImageProcessing中记载的方法来计算灰度直方图的相似性。或者，假设显著部位Section1的灰度直方图是(g₁,g₂,…,g₂₅₅)，簇Cluster1的灰度直方图为(g’₁,g’₂,…,g’₂₅₅)(其中g_i是Section1中灰度等级为i的像素点的个数，g’_i是Cluster1中灰度等级为i的像素点的个数)，则一种惯用的计算灰度直方图的相似性的方法如表达式(2)所示：

$\mathrm{Similarity}2(\mathrm{Section}1,\mathrm{Cluster}1)=a2*256/\sqrt{\frac{{(g_0-{g^{\&prime;}}_0)}^2+{(g_1-{g^{\&prime;}}_1)}^2+...+{(g_{255}-{g^{\&prime;}}_{255})}^2}{({g_0}^2+...+{g_{255}}^2+...{+{g^{\&prime;}}_0}^2+...+{{g^{\&prime;}}_{255}}^2)}}...\left(2\right)$

其中，a2是根据实验或经验设定的常数。

此外，还可以采用显著部位与N+1帧中的簇的高度差距来表示相似性Similarity3(Section1,Cluster1)，其中高度差距是显著部位与N+1帧中的簇各自的中心点到路面的高度之间的差距。

当然，上述视差直方图、灰度直方图和高度差距仅仅是用来计算相似性的示例性方法，并非是对本实施例的限制。本领域技术人员可以如表示式(3)所示，将上述视差直方图、灰度直方图和高度差距结合来计算相似性，或采用其他方式计算相似性。

Similarity(Section1,Cluster1)

＝(A1×Similarity1+A2×Similarity2)/(A3×Similarity3)…(3)

其中，A1,A2和A3是根据实验或经验设定的常数。

对于随目标对象的运动发生明显形变的显著部位(以下简称运动显著部位)，同样可以采用各种适当的方式来计算其与第N+1帧中的簇的相似性。

例如，作为一种示例，可以采用灰度分布来计算相似性。如何用灰度分布计算相似性是本领域中公知的。例如，可以采用“Imageretrievalbasedoncolordistributionentropy”,By:JundingSun,XiminZhang,JiangtaoCui,LihuaZhouIn:PatternRecognitionLetters,2006中记载的方法来计算灰度分布的相似性。或者，假设运动显著部位Section2的灰度直方图是(g₁,g₂,…,g₂₅₅)，簇Cluster1的灰度直方图为(g’₁,g’₂,…,g’₂₅₅)(其中g_i是Section2中灰度等级为i的像素点的个数，g’_i是Cluster1中灰度等级为i的像素点的个数)，则一种惯用的计算灰度分布相似性的方法如表示式(4)所示：

$\begin{array}{c}\mathrm{Similarity}4(\mathrm{Section}2,\mathrm{Cluster}1)\\ =a4*256/\sqrt{\frac{{((g_0-g_{\mathrm{avg}})-({g^{\&prime;}}_0-{g^{\&prime;}}_{\mathrm{avg}}))}^2+...+{((g_{255}-g_{\mathrm{avg}})-({g^{\&prime;}}_{255}-{g^{\&prime;}}_{\mathrm{avg}}))}^2}{({(g_0-g_{\mathrm{avg}})}^2+...+{(g_{255}-g_{\mathrm{avg}})}^2+...+{({g^{\&prime;}}_0-{g^{\&prime;}}_{\mathrm{avg}})}^2+...+{({g^{\&prime;}}_{255}-{g^{\&prime;}}_{\mathrm{avg}})}^2)}}\end{array}...\left(4\right)$

其中g_avg＝(g₀+…+g₂₅₅)/256,g’_avg＝(g’₀+…+g’₂₅₅)/256，a4是根据实验或经验设定的常数。

此外，与上述稳定显著部位类似，也可以采用视差分布或高度差距来计算运动显著部位与簇的相似性。如何用视差分布或高度差距来计算相似性也是本领域中公知的，此处不再赘述。

当然，上述视差分布、灰度分布和高度差距仅仅是用来计算相似性的示例性方法，并非是对本实施例的限制。本领域技术人员可以如表示式(5)所示，将上述视差分布、灰度分布和高度差距结合来计算相似性，或采用其他方式计算相似性。

Similarity(Section2,Cluster1)

＝(A4×Similarity4+A5×Similarity5)/(A6×Similarity6)…(5)

其中，A4,A5和A6是根据实验或经验设定的常数，Similarity4,Similarty5,Similarity6分别是灰度分布相似性、视差分布相似性和高度差距。

当然，如上所述区分稳定显著部位和运动显著部位并采用不同的相似性计算方法仅仅是一种示例，而并非是对本发明的限制。事实上，不区分稳定显著部位和运动显著部位而采用相同的方法来计算相似性也是可以的。

以上对本实施例中采用的对两个相同尺寸的图像块计算相似性的方法进行了介绍。也就是说，当第N帧中提取的某一显著部位与第N+1帧中的簇的尺寸相同时，可以如上所述计算其相似性。然而实际上，第N帧中提取的某一显著部位与第N+1帧中的簇的尺寸往往是不同的。下面，将参考图7对在这一情况下计算相似性的方法进行描述。图7示出了根据本发明实施例的、计算第N+1帧视差图中的簇与第N帧中的显著部位的相似性以确定簇与显著部位是否相似的处理的流程图。

如图7所示，在步骤S701，比较所述簇与所述显著部位的尺寸，随后在步骤S702，利用两者中尺寸较小的一个的第一外接矩形框在另一个的第二外接矩形框上滑动。图8示出了这一滑动过程的示意图。如图8所示，显著部位Section2的尺寸比簇Cluster3的尺寸要小，因此显著部位Section2的外接矩形框S2从簇Cluster3的外接矩形框S3'外侧的左上角开始以预定的步长在S3'上滑动，直至遍历整个S3'，到达S3'外侧的右下角位置。

在滑动过程中，对于显著部位Section2的外接矩形框S2滑动到的、与外接矩形框S3'重叠的每个位置区域，计算所述簇位于该位置区域中的图像和所述显著部位位于该位置区域中的图像的相似性。由图8可知，当外接矩形框S2滑动至完全进入外接矩形框S3'时，所述重叠的位置区域的大小即外接矩形框S2的大小，而当外接矩形框S2尚未滑动至完全进入外接矩形框S3'时，所述重叠的位置区域的大小比外接矩形框S2的大小要小。能够理解，所述簇位于重叠的位置区域中的图像和所述显著部位位于该重叠的位置区域中的图像尺寸相同，因此可以利用上述对两个相同尺寸的图像块计算相似性的方式来计算相似性。

在步骤S703中，将与各个所述位置区域对应的多个相似性中的最大值作为该簇与显著部位的相似性。

以上描述了计算第N帧中提取的某一显著部位与第N+1帧中的某一簇的相似性的处理过程。在本实施例中，如果该相似性大于预设的第一预定阈值，则认为该簇是与该显著部位相似的候选簇。通过上述方式，对于第N帧视差图中的每个显著部位，可以计算出第N+1帧视差图中各个簇与其的相似性，并确定与其相似的候选簇。

回到图2，在步骤S204，根据各个显著部位之间的位置关系对所述候选簇进行分组，以将属于同一对象的候选簇划分到同一组中。

能够理解，通过前述步骤得到的各个候选簇只是某一对象的一部分，或者说多个候选簇可能属于同一个对象。例如，图6中所示的候选簇clusterA到clusterD可能是属于同一个对象(同一个行人)的。在该步骤中，将根据各个显著部位之间的位置关系对候选簇进行分组，以将属于同一对象的候选簇划分到同一组中。

可以采用各种适当的方法将属于同一对象的候选簇划分到同一组中，其基本原则是：如果分别与n个不同的显著部位相似的n个候选簇之间的位置关系与所述n个不同的显著部位之间的位置关系相一致，则该n个候选簇属于同一对象，其中1<n≤M，M是显著部位的数量。

例如，以图6中所示的候选簇clusterA-D为例。假设在前述步骤S203中确定，簇clusterA是与图4中通过外接矩形框S1表示的显著部位Section1相似的候选簇，簇clusterB是与图4中通过外接矩形框S3表示的显著部位Section3相似的候选簇，簇clusterC是与图4中通过外接矩形框S5表示的显著部位Section5相似的候选簇，簇clusterD是与图4中通过外接矩形框S6表示的显著部位Section6相似的候选簇。则在该步骤S204中，判断候选簇clusterA-D之间的位置关系是否与显著部位Section1，Section3，Section5和Section6之间的位置关系相一致。所述显著部位之间的位置关系是根据目标行人的人体结构特性确定的，例如显著部位Section1，Section3，Section5和Section6之间的位置关系可能是Section3的高度比Section1低至少10cm，section5和section6比section1低至少60cm，比section3低至少40cm，并且section5和section6的高度差小于10cm等等。如果簇clusterB的高度比clusterA低超过10cm，clusterC和clusterD比clusterA低超过60cm，比clusterB低超过40cm，并且clusterC和clusterD的高度差小于10cm，则认为簇clusterA-D之间的位置关系与显著部位Section1，Section3，Section5和Section6之间的位置关系相一致，因此将这4个候选簇划分到同一组中。当然，也可能clusterA-D并不都满足显著部位之间的位置关系，比如可能clusterA、C和D之间的位置关系与Section1，Section5和Section6之间的位置关系相一致，但是clusterB不满足位置关系，则此时认为clusterA，C，D属于同一个对象，因此划分到同一组中；而clusterB则单独形成一个组或与其他候选簇划分到一个组中。

图9例示了对候选簇进行分组后的示意性分组结果。如图9所示，4个候选簇被划分到用虚线框表示的组1中，另外5个候选簇划分到用虚线框表示的组2中。当然，该图中的其他候选簇同样可能被划分到各个组中，此处并未一一示出。

在步骤S205，对于每一组，基于其中包含的各个候选簇的相似性确定该组与目标对象的相似性。

能够理解，在步骤S204中划分得到的每一组实际上都是第N帧中的目标对象在第N+1帧中的一个候选项。因此，在该步骤中，确定每一组与目标对象的相似性，从而确定哪一组是第N+1帧中的该目标对象。

能够理解，一组中包含的候选簇的数量越多、每个候选簇与目标对象的显著部位的相似性越高，则该组与目标对象的相似性越高。因此，在该步骤中，对于每一组，将该组中包含的各个候选簇的相似性累加，作为该组与目标对象的相似性。

在步骤S206，选择相似性最高的组，并将该组所在的位置作为所述目标对象在下一帧视差图中的位置。

例如，图9中的组2具有最高的相似性，则此处将该组2所在的位置作为目标对象在第N+1帧视差图中的位置。并且基于各个簇在目标对象中的相对位置，可以得到整个目标对象的轮廓，即整个目标对象的外接矩形框。

以上已经以被跟踪目标对象为目标行人为例，对根据本发明实施例的目标对象跟踪方法进行了说明。在该跟踪方法中，不是对整个行人进行跟踪，而是对行人的各个特征部位进行跟踪，因此即使在行人的整体姿态发生很大变化或行人被部分遮挡的情况下，也可以获得较好的跟踪结果。能够理解，该跟踪方法同样也可以应用于除行人之外的其他目标对象，例如目标车辆等。

另外，以上以第N帧和第N+1帧为例描述了通过在第N+1帧中检测第N帧中确定的目标对象的显著部位来跟踪在第N帧中出现的目标对象的方法。能够理解，可以对任意长度的视差帧序列中的各帧执行该检测跟踪，从而在整个视差帧序列上实现对象的跟踪。

<第二实施例>

根据本实施例的目标对象检测方法与第一实施例中的方法基本相同，其区别仅在于根据本实施例的目标对象检测方法进一步包括：确定当前帧视差图中的目标对象的各个显著部位的显著性；为各个所述显著部位分配权重值，以使得显著性越高的显著部位的权重值越大，并且随后在与第一实施例中的步骤S205对应的步骤S205’中，在对于每一组确定其与目标对象的相似性时，计算该组中包含的各个候选簇的相似性的加权和，作为该组与目标对象的相似性，其中各个候选簇的权重值为与该候选簇相似的显著部位的权重值。下面将对这些不同之处进行描述。

可以通过各种适当的方式来确定当前帧视差图中的目标对象的各个显著部位的显著性。下面，将参考图10对本实施例中采用的方式进行描述。图10示出了根据本实施例的确定当前帧视差图中的目标对象的各个显著部位的显著性的处理的流程图。

如图10所示，在步骤S1001，确定当前帧视差图中的目标对象周围预定区域内的各个邻近对象。

所述周围预定区域可以根据具体情况来预先设定。在该步骤，通过各种公知的对象检测方法检测出目标对象周围预定区域内的各个邻近对象。

在步骤S1002，基于当前帧视差图中检测到的各个对象的运动信息，确定在下一帧中可能运动到目标对象周围预定区域内的邻近对象。

考虑到有些对象虽然在当前帧中并不在目标对象周围，但是在下一帧中其可能运动到目标对象周围，从而对目标对象的检测跟踪形成干扰，因此在该步骤中，根据对象的运动信息预测在下一帧中可能运动到目标对象周围预定区域内的邻近对象。

在步骤S1003，对当前帧视差图中的每个所述邻近对象提取其显著部位。

在该步骤中，可以采用上文中描述的方式对每个所述邻近对象提取其显著部位，此处不再赘述。

在步骤S1004，对于目标对象的每一个显著部位，统计所述邻近对象中包含有与其相似的显著部位的邻近对象的数量，并且所述数量越大则目标对象的该显著部位的显著性越低。

可以采用上文中描述的相似性计算方式来确定邻近对象中与目标对象的显著部位相似的显著部位，此处不再详细描述。另外，能够理解，对于一个显著部位，包含有与其相似的显著部位的邻近对象的数量越多，则该显著部位用来区分目标对象和其他对象的能力越弱，即该显著部位的显著性越低。

当然，以上参照图10描述的确定当前帧视差图中的目标对象的各个显著部位的显著性的方式仅仅是一种示例，而并非是对本发明的限制。本领域技术人员可以根据具体情况对该方法进行调整或采用其他适当的确定方法。例如，上述步骤S1002并非是必需的，而是一个可选步骤；再比如，在上述步骤S1004中，对于目标对象的每一个显著部位，可以根据与其相似的显著部位的数量而不是包含相似的显著部位的对象的数量来确定该显著部位的显著性。

所述为各个所述显著部位分配权重值以使得显著性越高的显著部位的权重值越大可以采用各种适当的分配方式，只要确保分配的权重值与显著部位的显著性成正比即可。

下面，结合图6对步骤S205’中的处理进行简单的介绍。以图6中所示的候选簇clusterA-D为例。如前所述，假设簇clusterA是与图4中通过外接矩形框S1表示的显著部位Section1相似的候选簇，其相似性为value1，显著部位Section1的权重值为weight1；簇clusterB是与图4中通过外接矩形框S3表示的显著部位Section3相似的候选簇，其相似性为value2，显著部位Section2的权重值为weight2；簇clusterC是与图4中通过外接矩形框S5表示的显著部位Section5相似的候选簇，其相似性为value3，显著部位Section5的权重值为weight5，簇clusterD是与图4中通过外接矩形框S6表示的显著部位Section6相似的候选簇，其相似性为value4，显著部位Section6的权重值为weight6。则在该步骤S205’中，通过如下的表达式(6)来计算包含簇ClusterA-D的组与目标对象的相似性：

Similarity＝(value1×weight1+value2×weight2+value3×weight5+

value4×weight6)…(6)

以上描述了根据本发明第二实施例的目标对象检测方法，其中主要描述了该第二实施例与第一实施例的不同之处。在本实施例中，不是简单地根据一组中包含的候选簇的数量、每个候选簇与目标对象的显著部位的相似性高低来确定该组与目标对象的相似性，而是还考虑目标对象的各显著部位的显著性。能够理解，显著部位的显著性越高，则其用来区分目标对象和其他对象的能力越强，其在相似性计算中所起的作用应该越大。在本实施例中，考虑各显著部位的显著性来计算候选对象与目标对象的相似性，从而提高了跟踪的准确度。

<变型>

作为一个可能的变型，以上的实施例中所描述的目标对象跟踪方法除了对于每个显著部位，计算下一帧视差图中各个簇与其的相似性以确定与该显著部位相似的候选簇之外，可以进一步包括：对于由任意数量的显著部位形成的显著部位组合，计算下一帧视差图中各个簇与其的相似性以确定与该显著部位组合相似的候选簇。相应的，当在如图2所示的步骤S204中根据各个显著部位之间的位置关系对所述候选簇进行分组，以将属于同一对象的候选簇划分到同一组中时，不仅要考虑各个候选簇之间是否符合各个显著部位之间的相对位置关系，还可以考虑各个候选簇之间是否符合各个显著部位组合之间或显著部位与显著部位组合之间的相对位置关系。

以图6中所示的候选簇clusterE-I为例。假设在前述步骤中确定，簇clusterE是与图4中通过外接矩形框S1和S2表示的显著部位Section1和Section2的组合相似的候选簇，簇clusterF是与图4中的显著部位Section3相似的候选簇，簇clusterG是与图4中的显著部位Section4相似的候选簇，簇clusterH是与图4中的显著部位Section5相似的候选簇，簇clusterI是与图4中的显著部位Section6相似的候选簇。则在步骤S204中，判断候选簇clusterE-I之间的位置关系是否与显著部位Section1和2的组合，Section3，Secton4，Section5及Section6之间的位置关系相一致，并最终确定簇clusterE-I应当被划分到同一组中。

通过这一方式，可以避免遗漏某些本应划分到同一组中的簇，从而提高跟踪的准确度。例如，对于如图6所示的情形，如果仅针对每个显著部位计算下一帧视差图中各个簇与其的相似性，则图6中的簇clusterE可能与任何显著部位都不相似，从而不会与clusterF，clusterG，clusterH和clusterI划分到同一组中，这必然会影响随后计算的该组与目标对象的相似性，从而影响跟踪的准确度。

<目标对象跟踪设备的总体配置>

图11示出了根据本发明实施例的目标对象跟踪设备1100的功能配置框图。

如图11所示，目标对象跟踪设备1100可以包括：提取单元1110，配置为提取当前帧视差图中检测出的目标对象的显著部位；聚类单元1120，配置为对下一帧视差图中的视差点进行聚类以形成多个簇；簇相似性计算单元1130，配置为对于每个显著部位，计算下一帧视差图中各个簇与其的相似性以确定与该显著部位相似的候选簇；分组单元1140，配置为根据各个显著部位之间的位置关系对所述候选簇进行分组，以将属于同一对象的候选簇划分到同一组中；组相似性计算单元1150，配置为对于每一组，基于其中包含的各个候选簇的相似性确定该组与目标对象的相似性；位置确定单元1160，选择相似性最高的组，并将该组所在的位置作为所述目标对象在下一帧视差图中的位置。

上述提取单元1110、聚类单元1120、簇相似性计算单元1130、分组单元1140、组相似性计算单元1150和位置确定单元1160的具体功能和操作可以参考上述图2到图10的相关描述，此处不再重复描述。

<***硬件配置>

图12示出了根据本发明实施例的目标对象跟踪***1200的总体硬件框图。如图12所示，对象跟踪***1200可以包括：输入设备1210，用于从外部输入有关图像或信息，例如根据立体相机拍摄的左视图和右视图生成的视差图序列，该输入设备例如可以是键盘、鼠标、摄像机等等；处理设备1220，用于实施上述的按照本发明实施例的目标对象跟踪方法，或者实施为上述的目标对象跟踪装置，该处理设备例如可以是计算机的中央处理器或其它的具有处理能力的芯片等等；输出设备1230，用于向外部输出实施上述目标对象跟踪过程所得到的结果，例如目标对象的位置及其外轮廓等等，该输出设备例如可以是显示器、打印机等等；以及存储设备1240，用于以易失或非易失的方式存储上述目标对象跟踪过程所涉及的诸如当前帧中目标对象中提取的各个显著部位、下一帧中通过聚类得到的各个簇、与各个显著部位相似的候选簇及其相似度、各个显著部位的显著性等数据，该存储设备例如可以是随机存取存储器(RAM)、只读存储器(ROM)、硬盘、或半导体存储器等等的各种易失或非易失性存储器。

以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本发明的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本发明为必须采用上述具体的细节来实现。

本公开中涉及的器件、装置、设备、***的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、***。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

本公开中的步骤流程图以及以上方法描述仅作为例示性的例子并且不意图要求或暗示必须按照给出的顺序进行各个实施例的步骤，某些步骤可以并行、彼此独立或按照其他适当的顺序执行。另外，诸如“其后”、“然后”、“接下来”等等的词语不意图限制步骤的顺序；这些词语仅用于引导读者通读这些方法的描述。

另外，如在此使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“A、B或C的至少一个”的列举意味着A或B或C，或AB或AC或BC，或ABC(即A和B和C)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。

还需要指出的是，在本发明的装置和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。

对本领域的普通技术人员而言，能够理解本公开的方法和装置的全部或者任何部分，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现。所述硬件可以是利用被设计用于进行在此所述的功能的通用处理器、数字信号处理器(DSP)、ASIC、场可编程门阵列信号(FPGA)或其他可编程逻辑器件(PLD)、离散门或晶体管逻辑、离散的硬件组件或者其任意组合。通用处理器可以是微处理器，但是作为替换，该处理器可以是任何商业上可获得的处理器、控制器、微控制器或状态机。处理器还可以实现为计算设备的组合，例如DSP和微处理器的组合，多个微处理器、与DSP核协作的一个或多个微处理器或任何其他这样的配置。所述软件可以存在于任何形式的计算机可读的有形存储介质中。通过例子而不是限制，这样的计算机可读的有形存储介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储器件或者可以用于携带或存储指令或数据结构形式的期望的程序代码并且可以由计算机访问的任何其他有形介质。如在此使用的，盘包括紧凑盘(CD)、激光盘、光盘、数字通用盘(DVD)、软盘和蓝光盘。

本发明公开的智能控制技术还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。本发明所公开的智能技术也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现，或者通过存储有这样的程序产品的任意存储介质来实现。

可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本公开的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本发明。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本发明的范围。因此，本发明不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本发明的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种目标对象跟踪方法，包括：

提取当前帧视差图中检测出的目标对象的显著部位；

对下一帧视差图中的视差点进行聚类以形成多个簇；

对于每个显著部位，计算下一帧视差图中各个簇与其的相似性以确定与该显著部位相似的候选簇；

根据各个显著部位之间的位置关系对所述候选簇进行分组，以将属于同一对象的候选簇划分到同一组中；

对于每一组，基于其中包含的各个候选簇的相似性确定该组与目标对象的相似性；

选择相似性最高的组，并将该组所在的位置作为所述目标对象在下一帧视差图中的位置。

2.如权利要求1所述的目标对象跟踪方法，还包括步骤：

确定当前帧视差图中的目标对象的各个显著部位的显著性；

为各个所述显著部位分配权重值，以使得显著性越高的显著部位的权重值越大，

并且其中所述对于每一组，基于其中包含的各个候选簇的相似性确定该组与目标对象的相似性进一步包括：

对于每一组，计算其中包含的各个候选簇的相似性的加权和，作为该组与目标对象的相似性，其中各个候选簇的权重值为与该候选簇相似的显著部位的权重值。

3.如权利要求2所述的目标对象跟踪方法，其中确定当前帧视差图中的目标对象的各个显著部位的显著性进一步包括：

确定当前帧视差图中的目标对象周围预定区域内的各个邻近对象；

基于当前帧视差图中检测到的各个对象的运动信息，确定在下一帧中可能运动到目标对象周围预定区域内的邻近对象；

对当前帧视差图中的每个所述邻近对象提取其显著部位；

对于目标对象的每一个显著部位，统计所述邻近对象中包含有与其相似的显著部位的邻近对象的数量，并且所述数量越大则目标对象的该显著部位的显著性越低。

4.如权利要求1所述的目标对象跟踪方法，其中所述提取当前帧视差图中检测出的目标对象的显著部位进一步包括：

对当前帧视差图中检测出的目标对象的视差点进行聚类，并将聚类得到的簇作为显著部位。

5.如权利要求1所述的目标对象跟踪方法，其中所述目标对象是目标行人，所述提取当前帧视差图中检测出的目标对象的显著部位进一步包括：

对当前帧视差图中检测出的目标行人进行身体部位划分；

在每个划分得到的身体部位中，对视差点进行聚类，并将聚类得到的簇作为显著部位。

6.如权利要求1所述的目标对象跟踪方法，其中对于每个显著部位计算下一帧视差图中各个簇与其的相似性以确定与该显著部位相似的候选簇进一步包括：

对于下一帧视差图中的每一个簇进行以下处理：

比较该簇与该显著部位的尺寸；

利用两者中尺寸较小的一个的第一外接矩形框在另一个的第二外接矩形框上滑动，并且对于该第一外接矩形框滑动到的、与该第二外接矩形框重叠的每个位置区域，计算所述簇位于该位置区域中的图像和所述显著部位位于该位置区域中的图像的相似性；

将与各个位置区域对应的多个相似性中的最大值作为该簇与显著部位的相似性，以及

将相似性大于第一预定阈值的簇作为与该显著部位相似的候选簇。

7.如权利要求6所述的目标对象跟踪方法，其中对于该第一外接矩形框滑动到的、与该第二外接矩形框重叠的每个位置区域计算所述簇位于该位置区域中的图像和所述显著部位位于该位置区域中的图像的相似性进一步包括：

判断所述显著部位是否随目标对象的运动发生形变；

对于基本不随目标对象的运动发生形变的显著部位，利用视差直方图、灰度直方图、距地面的高度中的至少一种计算所述簇位于该位置区域中的图像与所述显著部位位于该位置区域中的图像的相似性；

对于随目标对象的运动发生形变的显著部位，利用视差分布、灰度分布、距地面的高度中的至少一种计算所述簇位于该位置区域中的图像与所述显著部位位于该位置区域中的图像的相似性。

8.如权利要求1所述的目标对象跟踪方法，其中如果分别与n个不同的显著部位相似的n个候选簇之间的位置关系与所述n个不同的显著部位之间的位置关系相一致，则该n个候选簇属于同一对象，其中1<n≤M，M是显著部位的数量。

9.如权利要求1所述的目标对象跟踪方法，还包括步骤：

对于由任意数量的显著部位形成的显著部位组合，计算下一帧视差图中各个簇与其的相似性以确定与该显著部位组合相似的候选簇。

10.一种目标对象跟踪设备，包括：

提取单元，配置为提取当前帧视差图中检测出的目标对象的显著部位；

聚类单元，配置为对下一帧视差图中的视差点进行聚类以形成多个簇；

簇相似性计算单元，配置为对于每个显著部位，计算下一帧视差图中各个簇与其的相似性以确定与该显著部位相似的候选簇；

分组单元，配置为根据各个显著部位之间的位置关系对所述候选簇进行分组，以将属于同一对象的候选簇划分到同一组中；

组相似性计算单元，配置为对于每一组，基于其中包含的各个候选簇的相似性确定该组与目标对象的相似性；

位置确定单元，选择相似性最高的组，并将该组所在的位置作为所述目标对象在下一帧视差图中的位置。