CN103679742B - 对象跟踪方法和装置 - Google Patents

Abstract

提供了一种利用深度图像或视差图像跟踪对象的方法和装置。该方法包括：对于新检测到的第一对象，利用包括第一对象的深度图像序列，提取第一对象的短时特征和长时特征，并存储为第一对象的短时特征模板和长时特征模板；在对第一对象的跟踪过程中，对于每帧待分析图像，基于提取的候选对象的短时特征与存储的第一对象的短时特征模板的匹配进行跟踪；如果基于第一对象的短时特征模板的匹配失败，将第一对象标识为失踪的第一对象；对于后续新检测到的第二对象，提取第二对象的短时特征和长时特征；以及基于第二对象的短时特征和长时特征和被标识为失踪的第一对象的短时特征模板和长时特征模板之间的匹配，判断第二对象是否为失踪的第一对象。

Description

对象跟踪方法和装置

技术领域

本发明总体上涉及对象跟踪方法与装置，更具体地涉及利用深度图像跟踪一个或多个对象的方法和装置。

背景技术

对象跟踪技术例如人跟踪技术是人的定位服务、视频监控、机器人导航、智能驾驶辅助***等应用所需的关键技术。目前，其仍是一个挑战性的技术课题，主要是因为实际应用中人的姿态和外观变化大、遮挡问题经常发生。真实场景中，遮挡问题时有发生，特别是当人有运动时，或者其他人或者物体有运动时。在室内场景中，由于背景复杂，人员众多，遮挡发生的频率更高，其经常导致跟踪的失效。

专利文献US88073197B2提出了一种在视频序列中进行对象跟踪的方法。该方法为了标识遮挡发生时的不同对象，采用了一个表观模型。当遮挡发生时，各个对象有其自己的表观模型。该模型中使用了深度信息来分隔同一个区域中的不同对象。该专利提出的方法主要采用了灰度形状模型和对象的深度顺序信息来粗略的分隔不同的对象。该方法在有小范围遮挡的情况下，可以比较有效地进行工作，当遮挡比较严重性，其会失效。

专利文献US6445810B2提出了一种人的检测和跟踪的方法和装置。其使用了3D数据和人的表观特征（颜色、脸特征、人的高度等），它认为3D数据对人的分割和跟踪非常有用，基于立体视觉的3D数据用于跟踪可有效提高跟踪的精度。该专利提出的方法使用了基于RGB的人的表观模型，使用了基于深度的人的分割，将这二者一起用于了人的跟踪。该技术目标是更精确的跟踪，不过并没有考虑遮挡的问题。

MichaelHarville在2003年发表的题为“stereopersontrackingwithadaptiveplan-viewtemplatesofheightandoccupancystatistics”的文章中，公开了一种在某个平面视图上进行特征统计，以此统计特征为基础进行人的检测和跟踪的方法。其跟踪方法使用水平面视图上的人的表面点的分布的统计特征和卡尔曼滤波。该非专利文献提出的基于水平面视图的方法（3维到2维的坐标变换、直方图统计，即在平面视图上计算特征）可以一定程度上减轻遮挡的影响，其可以用于象客厅、大堂等背景较为简单的场景，不过对于例如有很多隔断的复杂的办公场景，会发生跟踪失效的问题。

发明内容

鉴于上述情况，提出了本发明。

本发明的一个目标是能够至少一定程度上恢复对长时跟踪失踪的对象的跟踪。

本发明的另一个目标是尽可能减少遮挡对对象跟踪的影响。

需要说明的是，本发明的技术方案并不需要实现上述两者全部目标，而是只要实现其中之一即可。

根据本发明的一个方面，提供了一种利用深度图像或视差图像跟踪一个或多个对象的方法，包括：对于新检测到的第一对象，利用包括第一对象的深度图像序列，提取第一对象的短时特征和长时特征，并存储为第一对象的短时特征模板和长时特征模板，其中对象的短时特征表示时间敏感性强的刻画对象的特征，对象的长时特征表示对象的全部或部分短时特征随时间的统计分布；在对第一对象的跟踪过程中，对于每帧待分析图像，基于提取的候选对象的短时特征与存储的第一对象的短时特征模板的匹配进行跟踪；如果在对第一对象的跟踪过程中基于第一对象的短时特征模板的匹配失败，将第一对象标识为失踪的第一对象；对于后续新检测到的第二对象，利用包括第二对象的深度图像序列提取第二对象的短时特征和长时特征；以及基于第二对象的短时特征和长时特征和被标识为失踪的第一对象的短时特征模板和长时特征模板之间的匹配，判断第二对象是否为失踪的第一对象。

根据本发明上述实施例的方法，对于发现跟踪丢失尤其是长时失踪的对象，通过将新检测到的对象的短时特征和长时特征与被标识为失踪的对象的短时特征模板和长时特征模板之间进行匹配，有可能找回失踪的对象，以恢复跟踪。

此外，上述实施例中的基于提取的候选对象的短时特征与存储的第一对象的短时特征模板的匹配处理可以包括：确定候选对象的短时特征和第一对象的短时特征模板匹配的置信度；如果该置信度高于预定阈值，确定两者匹配；如果该置信度低于预定阈值，基于预定规则判断该低置信度是否是由于遮挡引发，如果是，确定两者匹配，否则确定两者不匹配。

利用上述技术特征，可以尽可能减少由于遮挡导致的对象失踪。

根据本发明的另一方面，提供了一种利用深度图像或视差图像跟踪一个或多个对象的装置，包括：第一对象模板确定部件，对于新检测到的第一对象，利用包括第一对象的深度图像序列，提取第一对象的短时特征和长时特征，并存储为第一对象的短时特征模板和长时特征模板，其中对象的短时特征表示时间敏感性强的刻画对象的特征，对象的长时特征表示对象的全部或部分短时特征随时间的统计分布；第一对象跟踪部件，在对第一对象的跟踪过程中，对于每帧待分析图像，基于提取的候选对象的短时特征与存储的第一对象的短时特征模板的匹配进行跟踪；失踪对象标识部件，如果在对第一对象的跟踪过程中基于第一对象的短时特征模板的匹配失败，将第一对象标识为失踪的第一对象；第二对象特征提取部件，对于后续新检测到的第二对象，利用包括第二对象的深度图像序列提取第二对象的短时特征和长时特征；以及丢失对象恢复部件，基于第二对象的短时特征和长时特征和被标识为失踪的第一对象的短时特征模板和长时特征模板之间的匹配，判断第二对象是否为失踪的第一对象。

根据本发明上述实施例的装置，对于发现跟踪丢失尤其是长时失踪的对象，通过将新检测到的对象的短时特征和长时特征与被标识为失踪的对象的短时特征模板和长时特征模板之间进行匹配，有可能找回失踪的对象，以恢复跟踪。

附图说明

图1示出了根据本发明第一实施例的利用深度图像或视差图像的对象跟踪方法100的总体流程图。

图2示出了根据本发明实施例的基于提取的候选对象的短时特征与存储的第一对象的短时特征模板的匹配处理的流程图。

图3示出根据本发明实施例的基于环境和人的运动的决策树的判定的示意图，其中示出了两种情景。

图4示出根据本发明实施例的基于人和其临近的人的运动的决策树的判定的示意图，其中示出了两种情景。

图5示出了根据本发明实施例基于混合的短时特征模板和长时特征模板的匹配恢复长时丢失对象的跟踪的方法的流程图。

图6是根据本发明一个实施例的对象跟踪装置的功能配置框图。

图7是示出按照本发明实施例的对象跟踪***的总体硬件框图。

具体实施方式

为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。

将按如下顺序进行描述：

1、发明思想概述

2、第一实施例

2.1、对象跟踪方法示例的总体流程图

2.2、基于短时特征的匹配处理

2.3、基于混合的短时特征模板和长时特征模板的匹配恢复长时丢失对象的跟踪

3、第二实施例

3.1、短时特征的权重的计算

3.2、长时特征的权重的计算

4、对象跟踪装置

5、***硬件配置

6、总结

1、发明思想概述

发明人总结得出：事实上，遮挡可以引发多种类型的跟踪失效，主要原因是遮挡发生时，用于跟踪的特征通常也会发生突发或者较大的变化。

发明人认为可以将跟踪失效大致归为两类：短时丢失和长时丢失。

短时丢失是指跟踪的对象在短暂丢失后，可以被再跟踪到。例如，在基于深度图像进行人的跟踪时，当走动的人被某个相对于摄像机更近的物体遮挡时，该走动的人的形状特征和距离特征会发生较大的变化，这时候针对该走动的人很可能发生跟踪失效。在很短的一段时间内，遮挡消失，人的形状特征和距离特征恢复，该人很有可能会被恢复，也就是继续跟踪到。

长时丢失针对如下情况：跟踪的对象在丢失后的很长一段时间内，无法被找到。例如，由于复杂的或者比较高的背景，一个人完全消失了。一段较长的时间后，该人在临近的位置再次出现。如本领域技术人员能够想到的，由于丢失的时间较长，该人虽然被检出，但可能没有恢复为以前跟踪的人，而是以一个新的检出的人的身份出现。

发明人想到，基于短时丢失和长时丢失情况，可以考虑使用不同特性的特征，称之为短时特征和长时特征，其中对象的短时特征表示时间敏感性强的刻画对象的特征，对象的长时特征表示对象的全部或部分短时特征随时间的统计分布。当发生长时丢失情况时，对于后续新检测到的对象，基于提取的短时特征和长时特征和发现丢失的对象的短时特征模板和长时特征模板之间的匹配，来确定新检测到的对象是否实际上为之前跟踪丢失的对象。

下面具体描述实践本发明思想的具体实施例。

2、第一实施例

2.1、对象跟踪方法示例的总体流程图

图1示出了根据本发明第一实施例的利用深度图像或视差图像的对象跟踪方法100的总体流程图。

本发明实施例假设可以实时获得深度图像或视差图像系列。该深度图像或视差图像序列可以是从本地布置的立体相机拍摄的图像计算得到的，或者也可以是远程例如通过无线网络或者有线网络获得的。

深度图或视差图可以是基于双目测距原理利用确定的双目摄像机采集得到的。如本领域技术人员公知的，深度图和视差图之间可以相互转化。任何现有的获取深度图的方法均可以用于本发明。例如，可以通过双目相机、多目相机、立体相机拍摄并计算得到包括该对象部分的深度图。具体地，例如，可以通过双目相机来拍得左图像和右图像，基于左图像和右图像计算得到视差图，以及根据视差图得到深度图。上述相机仅为示例，深度图或视差图也可以基于其它类型的立体相机得到，例如可以使用主动发射红外光来辅助生成立体信息，这样的摄像机例子，有微软的Kinect，还有基于红外光飞行时间(TimeofFlight,TOF)技术的类型的摄像机，或者基于纹理光的类型的摄像机等。

为便于描述，下面的描述假定针对一预定空间中，布置了一个或多个立体摄像机，以对出现于该预定空间中的对象进行立体成像并通过转换或计算等处理获得深度图像或视差图像。

关于预定空间，例如可以是一个房间，例如办公室、超市、厂房等，不过也可以是室外的空间，例如学校场地、军工场所等，只要是可以作为监控对象的空间即可。关于被跟踪的对象，没有特别限制，可以是人、动物、飞行物、或其它任何可移动的物体。

如图1所示，在步骤S110中，对于新检测到的第一对象，利用包括第一对象的深度图像序列，提取第一对象的短时特征和长时特征，并存储为第一对象的短时特征模板和长时特征模板。

关于检测对象的方法，可以采用任何方法。例如，可以使用基于RGB图像的HOG特征进行检测，也可以使用基于深度图像的连通域分析来分割和检测对象，等等。

如跟踪技术领域公知的，一般在开始跟踪时，这时所检测到的对象都视为新检测到的对象。如果检测到了新对象，则可以通过运动估计等图像处理技术分析该对象的运动特性，进而预测该对象在下一帧中的位置等，从而对于下一帧可以在预测的位置附近来搜索该跟踪对象，由此实现对于对象的跟踪。在跟踪失败的情况下或者每隔预定时间段，可以再次启动对象检测处理，将除了跟踪到的对象外检测到的对象视为新检测的对象，并对新检测到的对象开始上述跟踪处理。

这里对象的短时特征表示时间敏感性强的刻画对象的特征，对象的长时特征表示对象的全部或部分短时特征随时间的统计分布。

具体地，例如，对象的短时特征可以包括下列各项中的一项或多项：从单帧深度图像中提取出的对象的位置、高度和形状特征、通过多帧深度图像计算得到的对象的运动方向和运动幅度。

可直接从深度图像中提取出对象的位置（x,y，z），高度，和形状特征。在深度图像中，每个人均包含多个像素点。每个像素点有位置信息（xi,yi,zi），通过统计人所包含的像素点的位置信息，得到其均值，即可得到人的位置特征（x,y，z）。通过统计人所包含像素点中的最大的y值，最小的y值，通过求它们的差的绝对值，即可得到人的高度特征。通过计算人的轮廓，可以计算得到轮廓的链码(chaincode)或者傅里叶描述子(Fourierdescriptors)，即可得到人的形状特征。关于涉及链码和傅里叶描述子的形状特征的描述，可以参考标题为“Asurveyofshapefeatureextractiontechniques”,PatternRecognition,Peng-YengYin(Ed.)(2008)43-90的文章，该文章可从网址http://hal-supelec.archives-ouvertes.fr/docs/00/44/60/37/PDF/ARS-Journal-SurveyPatternRecognition.pdf下载得到。

通过多帧深度图像，可以计算得到人的运动信息，其包括运动的方向和运动的幅度。任何可以计算运动对象的方法均可以用于此处，例如，光流法，SSD方法等。

当提取出如上特征后，例如可以将其合并为一个特征向量Vector_S={(x,y，z),height，(chain_code),motion_magnitude,motion_direction}，该特征向量可以直接用于人的跟踪。

上述各个短时特征和特征向量仅为例子。可以提取任何能表征对象的在当前一帧或几征中的特性的特征作为短时特征，可以采用上述短时特征的一项或者若干项的组合来形成短时特征向量。

关于对象的长时特征，可以通过统计对象的某方面特性的概率分布来表征。

如前所述，本发明之所以想到应用长时特征，是因为在长时丢失发生后，当对象再次出现后，其位置、高度、形状（姿态）等短时特征和之前可能有了很大变化，因而不再适用，而对象的短时特征的统计上的概率分布相对是稳定的，因此可以作为长时特征使用。举例来说，例如，在某个办公场景中，一个工作人员走到他的工作区间（某个隔断内）、坐下、开始办公。由于隔断的遮挡，该工作人员消失了。一段较长的时间后，其站立起来，该工作人员又出现了。这是典型的长时丢失问题，为考虑应对长时丢失的措施，首先，来分析一下该工作人员消失前和消失后的特征的状况。消失前，该工作人员的特征为位置A、形状B和高度C；一段时间后，其出现了，此刻，其特征为位置D，形状E和高度D。在某些情况下，因为是同一个人，在通一个工位上，所以在消失前和再次出现后，其位置特征可能临近；其形状和高度特征可能变化不大，也可能有一定的变化，这取决于该工作人员姿势等。而在另外一些情况下，消失前和出现后，这两个时刻有比较大的时间间隔，这期间该工作人员的位置，动作、姿势等会有变化。因此，很多不确定性会发生。这种情况下，短时特征将无法用于应对长时丢失问题。

而此时，可以考虑采用基于多帧深度图像的对象的某特性的概率分布作为长时特征来应对这种不确定性。

例如，可以通过高斯分布来表征对象的全部或部分短时特征随时间的统计分布，作为对象的长时特征。

具体地，例如，对每一个短时特征，统计其在多帧图像中的最大值、最小值、均值和方差，基于这些统计量建立该短时特征的高斯分布，作为对象的对应于该短时特征的长时特征，具体例如可参考公式（1）和公式（2）；

$\mathrm{\μ}=\stackrel{\‾}{x}...\left(1\right)$

${\mathrm{\σ}}^2=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(X_i-\stackrel{\‾}{X})}^2...\left(2\right)$

下面，以人的高度特征为例来进行说明，则此时变量X表示人的高度，公式（1）给出了多帧深度图像中获取的人的高度的平均值，公式（2）给出了高度的方差。这里，n表示使用的深度图像的帧数，Xi是第i帧深度图像中获取到的人的高度，是Xi的样本均值，也是μ的数学期望。

上面以有关短时特征的高斯分布为例说明对象的长时特征，不过长时特征并不限于基于高斯分布的，可以根据需要和实际情况采用其它类型的概率分布，例如均匀分布、指数分布、伽马分布等。

在提取了对象的短时特征和长时特征后，可以将其存储为对象的短时特征模板和长时特征模板。

随着时间的进行，图像帧在不断变化，可以根据需要更新对象的短时特征模板和长时特征模板。例如，可以每帧或者根据预定时间间隔更新短时特征或长时特征，并可以同样的时间间隔或者不同的时间间隔来更新对象的短时特征模板和长时特征模板。或者，因为在本示例中，是在发现对象跟踪丢失时才会应用长时特征模板来恢复丢失的人，因此可以在发现对象跟踪丢失时，更新对象的长时特征模板。优选地，因为短时特征模板一般更加频繁地用到，因此最好更经常地对短时特征模板进行更新。

在步骤S120中，在对第一对象的跟踪过程中，对于每帧待分析图像，基于提取的候选对象的短时特征与存储的第一对象的短时特征模板的匹配进行跟踪。

具体地，例如，可以根据对象的运动信息估计第一对象在当前帧中所位于的区域，然后在估计的区域中，可以根据预定方法提取候选对象和候选对象的短时特征，通过将各个候选对象的短时特征与存储的第一对象的短时特征模板进行匹配，例如计算两者的差异然后将差异与阈值比较来确定候选对象是否是第一对象，从而进行第一对象的跟踪。

当然，也可以基于其它的估计候选对象和第一对象两者匹配置信度的方法，判定是否匹配。

传统的处理中，对于差异较大或者低置信度的匹配，按丢失进行处理。

根据本发明的一个实施例，可以对于低置信度的匹配进行进一步的分析。考虑到背景的复杂性和人的运动，低置信度有可能是由于遮挡引发的。如果是由于遮挡引发的匹配的低置信度，其是合情合理的，该匹配应当判定为成功。下文将参考图2-4对于根据本发明一个实施例的基于短时特征的匹配处理进行详细描述。

在步骤S130中，如果在对第一对象的跟踪过程中基于第一对象的短时特征模板的匹配失败，将第一对象标识为失踪的第一对象。

例如，如果在一帧图像或者更多帧图像中，在跟踪区域内无法找到与第一对象匹配的任何候选对象，则认为第一对象被跟踪丢了，由此将第一对象标识为失踪的第一对象。

可选地，而非必需地，在认识到第一对象丢失后，可以用最近的第一对象的短时特征和长时特征来更新所存储的第一对象的短时特征模板和长时特征模板。

在步骤S140中，对于后续新检测到的第二对象，利用包括第二对象的深度图像序列提取第二对象的短时特征和长时特征。

对于新检测到的对象，可以利用和前述方法类似的方法提取其短时特征和长时特征。也可以为该新检测到的对象，存储短时特征模板和长时特征模板。

在步骤S150中，基于第二对象的短时特征和长时特征和被标识为失踪的第一对象的短时特征模板和长时特征模板之间的匹配，判断第二对象是否为失踪的第一对象。

后文将参考图5对根据本发明实施例的步骤150的具体实现方法进行详细描述。

所跟踪到的对象例如人可以输出到显示设备进行显示，也可以输出到内存、硬盘或者远程设备，以供进行所需的后续处理。

根据本发明的上述实施例，对于发现跟踪丢失尤其是长时失踪的对象，通过将新检测到的对象的短时特征和长时特征与被标识为失踪的对象的短时特征模板和长时特征模板之间进行匹配，有可能找回失踪的对象，以恢复跟踪。

2.2、基于短时特征的匹配处理

下面参考图2描述根据本发明实施例的基于提取的候选对象的短时特征与存储的第一对象的短时特征模板的匹配处理。

图2示出了根据本发明实施例的基于提取的候选对象的短时特征与存储的第一对象的短时特征模板的匹配处理120的流程图。该匹配处理可以应用于图1中的步骤S120。

如图2所示，在步骤S121中，确定候选对象的短时特征和第一对象的短时特征模板匹配的置信度。

具体地，例如可以计算候选对象的短时特征和第一对象的短时特征模板两者的绝对差值和，将该绝对差值和规范化到0和1之间的范围（例如，通过除以预定的常数）作为置信度。不过这仅为示例，任何确定候选对象的短时特征和第一对象的短时特征模板匹配程度或者概率的方法均可以用于本发明。

在步骤S122中，确定置信度是否高于阈值。

如果置信度高于阈值，前进到步骤S124，认为匹配成功，即跟踪到了第一对象。

反之，如果置信度低于阈值，则前进到步骤S123，判定导致低置信度的特征差异的类型。具体地，例如计算形状特征的差异、高度特征的差异和运动特征的差异，判断哪个特征的差异大，很有可能是差异最大的特征导致了匹配的低置信度。然后前进到步骤S125。

在步骤S125中，基于预定规则判断该低置信度是否是由于遮挡和/或运动引发，进而判断是否匹配。

图3示出根据本发明实施例的基于环境和人的运动的决策树的判定的示意，该图示出了两种情景。

第一种情景（由该决策树的左分支表示）如下：如果备选对象的形状特征发生变化，而且是下半部分的形状特征存在变化，但是高度特征变化不大，而且该备选对象在进行水平运动，我们认为该备选对象的匹配置信度值虽然低，但其被认定为匹配成功。

原因在于，由于备选对象的水平运动和复杂的背景，导致备选对象下半部分被遮挡，从而导致了其形状特征的较大变化，其可以被判定为匹配成功。

第二种情景（由该决策树的右分支表示）如下：如果备选对象的形状特征变化大，其高度特征变化表现为降低，且该备选对象在进行垂直运动，我们认为该备选对象的匹配置信度值虽然低，但其也被认定为匹配成功。

原因在于，这种情况下，由于备选对象的垂直运动（坐下，弯腰），导致备选对象的形状特征和高度特征发生较大变化，其可以被判定为匹配成功。

图4示出根据本发明实施例的基于人和其临近的人的运动的决策树的判定的示意图，其中示出了两种情景。图中背景为点阵的标记的特征的含义是指该特征属于临近的备选对象的特征，不是当前的备选对象的特征，该图也示出了两种情景。

第一种情景（由该决策树的左分支表示）如下：如果备选对象的形状特征发生变化大，其没有运动，其临近的备选对象在进行水平运动，则该备选对象的匹配置信度值虽然低，但其被认定为匹配成功。

原因在于，由于其临近备选对象的水平运动导致了该备选对象被遮挡，从而其形状特征发生了比较大的变化，其可以被判定为匹配成功。

第二种情景（由该决策树的右分支表示）如下：如果备选对象的形状特征发生变化大，其在做水平运动，其临近的备选对象也在进行水平运动，则该备选对象的匹配置信度值虽然低，但其被认定为匹配成功。

原因在于，由于该备选对象和其临近备选对象的水平运动导致了该备选对象被遮挡，从而其形状特征发生了比较大的变化，其可以被判定为匹配成功。

本发明图3、图4所示的仅为基于决策树来对于短时特征匹配置信度低情况下的具体分析示例，可以根据需要和具体情况而设计不同的规则并应该该规则进行处理。

如果在步骤S125中确定匹配失败，则前进到步骤S126，否则如果匹配成功前进到步骤S124。

采用基于规则的决策树的方法来应对具体的低置信度的跟踪的匹配，可有效的降低由于遮挡导致的跟踪的短时失效问题。

2.3、基于混合的短时特征模板和长时特征模板的匹配恢复长时丢失对象的跟踪

下面参考图5描述根据本发明实施例如何基于混合的短时特征模板和长时特征模板的匹配恢复长时丢失对象的跟踪。

图5示出了根据本发明实施例基于混合的短时特征模板和长时特征模板的匹配恢复长时丢失对象的跟踪的方法150的流程图。该方法150可以用于图1所示的步骤S150。

如图5所示，在步骤S151中，将第二对象的短时特征和第一对象的短时特征模板进行匹配。

作为匹配方法，例如采用参考图2-4中所描述的匹配方法。当然，也可以其它任何将特征和特征模板进行匹配的方法。

在步骤S152中，判断是否匹配，如果匹配，前进到步骤S153，即在第一对象跟踪丢失后，通过新检测到的第二对象和第一对象的短时特征匹配，恢复了第一对象的跟踪。如果不匹配，前进到步骤S154.

在步骤S154中，将第二对象的长时特征和第一对象的长时特征模板进行匹配。

具体地，在以对象的一个或多个特性的高斯分布作为一个或多个长时特征的情况下，可以通过置信区间估计来计算作为第二对象的长时特征的高斯分布和作为第一对象的长时特征模板的高斯分布的统计相似度，以及如果这两个高斯分布的统计相似度大于预定阈值，则认为第二对象和第一对象匹配。否则，认为第二对象和第一对象不匹配。

这样，对两类长时特征的匹配判定就转化为对两类高斯分布的匹配的判定。第一高斯分布来自于长时丢失的人，即第一对象，其存贮在库中作为长时跟踪模型；第二高斯分布来自于当前新检出的但没有通过短时匹配的人。

基于长时特征的匹配，就是通过两类高斯分布的相似性，来判定新检出的人是否是长时丢失的人。

上述操作是基于如下考虑：假定是同一个人在同一个场景中的测量，因此第一高斯分布和第二高斯分布这两个高斯分布的参数“方差”在统计上应当是相似的。

作为示例，可以根据下述公式(3)通过F分布来计算置信区间，

$(\frac{S_1^2}{S_2^2}\frac{1}{F_{\mathrm{\α}/2}(n_1-1,n_2-1)},\frac{S_1^2}{S_2^2}\frac{1}{F_{1-\mathrm{\α}/2}(n_1-1,n_2-1)})...\left(3\right)$

其中， $\frac{S_1^2}{S_2^2}\frac{1}{F_{\mathrm{\α}/2}(n_1-1,n_2-1)}$ 是置信区间的置信下限，, $\frac{S_1^2}{S_2^2}\frac{1}{F_{1-\mathrm{\α}/2}(n_1-1,n_2-1)}$ 是置信区间的置信下限，F(n₁-1,n₂-1)是F分布，n₁和n₂分别是估计第一高斯分布和第二高斯分布参数时使用的第一样本集合的样本数和第二样本集合的样本数，是第一样本集合的标准偏差，是第二样本集合的标准偏差，α表示统计上的置信水平为1-α。

作为示例，基于统计相似度确定第一高斯分布和第二高斯分布是否相似可以包括：如果置信区间包括1.0，则确定这两个高斯分布在统计上相似；如果置信区间不包括1.0，即确定这两个高斯分布在统计上不相似。例如，置信区间为（0.7，2），包括1.0，确定第一高斯分布和第二高斯分布在统计上相似，该新检出的备选人是某个长时丢失的人；置信区间为（0.6，0.9），不包括1.0，确定第一高斯分布和第二高斯分布在统计上不相似，该新检出的备选人不是某个长时丢失的人；置信区间为（1.5，4），不包括1.0，确定第一高斯分布和第二高斯分布在统计上不相似，该新检出的备选人是某个长时丢失的人。

上述示例中描述了使用F分布来计算第一高斯分布和第二高斯分布在统计上相似的置信区间。不过这仅为示例，任何能判断两个分布是否相似的手段均可以用于本发明。

在步骤S154后，前进到步骤S155，判断第二对象和第一对象是否匹配，如果匹配前进到步骤S153,恢复对第一对象的跟踪，如果不匹配前进到步骤S156，确定第二对象并非第一对象。

然后，上述过程150结束。

3、第二实施例

3.1、短时特征的权重的计算

发明人考虑，随着时间的进行和情况的变化，不同特征在匹配中的地位或作用可能会发生变化，对特征进行权重调整可能是优选地。比如，备选对象的特征与其临近区域的该特征的差异是动态变化的，不同的特征其差异的变化程度也不一样。以形状特征为例加以分析：如果一个跟踪的人对象站在一面白色的墙之前，该人的形状特征和墙的形状特征的差异很大，可以认为此刻形状特征有很大的显著度值，形状特征是非常有效的跟踪特征；如果该跟踪的人站到了一个人物肖像前，由于跟踪的人临近的肖像的形状特征和人的形状特征很相似，此刻人物形状特征的显著度低，形状特征不是有效的跟踪特征。可以以此类推，类似的情况会发生于高度特征、运动特征等。

本发明实施例中的处理的基本思想是：根据不同的跟踪对象的临近场景的状况，特征的显著度是动态变化的。为此，需要计算跟踪对象的特征，跟踪对象临近区域的特征；计算特征的在跟踪对象和临近区域的差异；根据多个特征的差异值统一确定用于跟踪的特征的权重。

由此，根据本发明一个实施例可以如下进行短时特征的权重调整。

基于当前时刻（或当前帧）在跟踪对象和跟踪对象的临近区域之间关于各个短时特征的差异，确定各个短时特征的权重，使得如果某短时特征在跟踪对象和跟踪对象的临近区域之间差异较大，则该短时特征的权重较大，反之如果差异较小，则该短时特征的权重较小。

例如，假设Shape_Diff是被跟踪的人的形状特征和其临近区域的形状特征的差异，Motion_Diff被跟踪的人的运动特征和其临近区域的运动特征的差异，Height_Differenceis被跟踪的人的高度特征和其临近区域的高度特征的差异，则可以根据下述公式(4)计算形状特征的权重Weight(shape)。

$\mathrm{Weight}\left(\mathrm{shape}\right)=\frac{\mathrm{Shape}\_\mathrm{Diff}}{\mathrm{Shape}\_\mathrm{Diff}+\mathrm{Motion}\_\mathrm{Diff}+\mathrm{Height}\_\mathrm{Diff}}...\left(4\right)$

基于类似的公式，除形状之外的其他特征的权重即可被计算出来。

在计算得到各个短时特征的权重之后，可以将各个短时特征的权重与各个短时特征相关联地存储作为短时特征模板。

在由此确定了短时特征的权重之后，在关于下一帧进行对象跟踪时，可以基于新确定的短时特征的权重，进行跟踪对象的短时特征与相关对象的短时特征模板之间的匹配。

根据上述实施例，基于相对于临近区域而言对象的各个短时特征的显著程度动态调整短时特征的权重，从而可以更准确地进行对象跟踪。

3.2、长时特征的权重的计算

发明人想到，当采用短时特征随时间变化的概率分布作为长时特征时，认为相对稳定、变化不那么剧烈的短时特征相对应的长时特征更适合于进行长时丢失的对象的恢复，因此应该给予较高的权重。

为此，根据本发明一个实施例，采用下述方法确定长时特征的权重。

根据特定对象在某位置多次丢失情况下的各个短时特征的稳定程度，来确定作为各个短时特征的统计分布的各个长时特征的权重。

具体地，将该特定对象的标识和跟踪丢失时的位置、在该位置丢失的次数相关联的存储。

如果该特定对象在确定位置丢失次数大于预定阈值，则统计在该确定位置该对象多次丢失时的各个短时特征的均值和方差，从而确定各个短时特征的稳定程度。

对于作为稳定程度高的短时特征的统计分布的长时特征，给予高的权重。

在由此确定了特定对象的长时特征的权重之后，可以将长时特征的权重和长时特征模板相关联地存储。在该特定对象丢失时，可以基于长时特征的权重，进行新检测到对象的长时特征与丢失对象的长时特征模板之间的匹配。根据上述实施例，可以更准确地进行对象跟踪和跟踪丢失的恢复。

4、对象跟踪装置

图6是根据本发明一个实施例的对象跟踪装置6000的功能配置框图。

如图6所示，对象跟踪装置6000可以包括：第一对象模板确定部件6100，对于新检测到的第一对象，利用包括第一对象的深度图像序列，提取第一对象的短时特征和长时特征，并存储为第一对象的短时特征模板和长时特征模板，其中对象的短时特征表示时间敏感性强的刻画对象的特征，对象的长时特征表示对象的全部或部分短时特征随时间的统计分布；第一对象跟踪部件6200，在对第一对象的跟踪过程中，对于每帧待分析图像，基于提取的候选对象的短时特征与存储的第一对象的短时特征模板的匹配进行跟踪；失踪对象标识部件6300，如果在对第一对象的跟踪过程中基于第一对象的短时特征模板的匹配失败，将第一对象标识为失踪的第一对象；第二对象特征提取部件6400，对于后续新检测到的第二对象，利用包括第二对象的深度图像序列提取第二对象的短时特征和长时特征；以及丢失对象恢复部件6500，基于第二对象的短时特征和长时特征和被标识为失踪的第一对象的短时特征模板和长时特征模板之间的匹配，判断第二对象是否为失踪的第一对象。

关于上述第一对象模板确定部件6100、第一对象跟踪部件6200、失踪对象标识部件6300、第二对象特征提取部件6400、丢失对象恢复部件6500的具体功能和操作可以参考上述和图1到图5相关的描述。这里省略有关重复描述。

可选地，根据本发明实施例的对象跟踪装置还可以包括模板更新部件（未示出），用于随跟踪的进行，动态更新跟踪对象的短时特征模板和长时特征模板以用于后续的跟踪。

可选地，根据本发明实施例的对象跟踪装置还可以包括特征权重确定部件（未示出）。

该特征权重确定部件可以基于当前时刻在跟踪对象和跟踪对象的临近区域之间关于各个短时特征的差异，确定各个短时特征的权重，使得如果某短时特征在跟踪对象和跟踪对象的临近区域之间差异较大，则该短时特征的权重较大，反之如果差异较小，则该短时特征的权重较小。从而在下一时刻，本发明实施例的对象跟踪装置可以基于短时特征的权重，进行跟踪对象的短时特征与相关对象的短时模板之间的匹配。

此外，该特征权重确定部件还可以确定作为各个短时特征的统计分布的各个长时特征的权重，其中，根据特定对象在某位置多次丢失情况下的各个短时特征的稳定程度，来确定作为各个短时特征的统计分布的各个长时特征的权重，包括：将该特定对象的标识和跟踪丢失时的位置、在该位置丢失的次数相关联的存储；如果该特定对象在确定位置丢失次数大于预定阈值，则统计在该确定位置该对象多次丢失时的各个短时特征的均值和方差，从而确定各个短时特征的稳定程度；以及对于作为稳定程度高的短时特征的统计分布的长时特征，给予高的权重。

利用根据本发明实施例的对象跟踪装置，对于发现失踪尤其是长时失踪的对象，通过将新检测到的对象的短时特征和长时特征与被标识为失踪的对象的短时特征模板和长时特征模板之间进行匹配，有可能找回失踪的对象，以恢复跟踪。

5、***硬件配置

本发明还可以通过一种对象跟踪硬件***来实施。图7是示出按照本发明实施例的对象跟踪***1000的总体硬件框图。如图7所示，对象检测***1000可以包括：输入设备1100，用于从外部输入有关图像或信息，例如对象的视差图，对象的深度图或者多个摄像机拍摄的图像等，例如可以包括键盘、鼠标器、以及通信网络及其所连接的远程输入设备等等；处理设备1200，用于实施上述的按照本发明实施例的对象跟踪方法，或者实施为上述的对象跟踪装置，例如可以包括计算机的中央处理器或其它的具有处理能力的芯片等等，可以连接到诸如因特网的网络（未示出），根据处理过程的需要向远程传送作为跟踪结果的对象图像等等；输出设备1300，用于向外部输出实施上述对象跟踪过程所得的结果，例如可以包括显示器、打印机、以及通信网络及其所连接的远程输出设备等等；以及存储设备1400，用于以易失或非易失的方式存储上述对象跟踪过程所涉及的图像、短时特征、短时特征模板、长时特征、长时特征模板、短时特征的权重、长时特征的权重等等，例如可以包括随机存取存储器（RAM）、只读存储器（ROM）、硬盘、或半导体存储器等等的各种易失或非易失性存储器。

6、总结

根据本发明的实施例，提供了一种利用深度图像或视差图像跟踪一个或多个对象的方法，包括：对于新检测到的第一对象，利用包括第一对象的深度图像序列，提取第一对象的短时特征和长时特征，并存储为第一对象的短时特征模板和长时特征模板，其中对象的短时特征表示时间敏感性强的刻画对象的特征，对象的长时特征表示对象的全部或部分短时特征随时间的统计分布；在对第一对象的跟踪过程中，对于每帧待分析图像，基于提取的候选对象的短时特征与存储的第一对象的短时特征模板的匹配进行跟踪；如果在对第一对象的跟踪过程中基于第一对象的短时特征模板的匹配失败，将第一对象标识为失踪的第一对象；对于后续新检测到的第二对象，利用包括第二对象的深度图像序列提取第二对象的短时特征和长时特征；以及基于第二对象的短时特征和长时特征和被标识为失踪的第一对象的短时特征模板和长时特征模板之间的匹配，判断第二对象是否为失踪的第一对象。

根据本发明的另一实施例，提供了一种利用深度图像或视差图像跟踪一个或多个对象的装置，包括：第一对象模板确定部件，对于新检测到的第一对象，利用包括第一对象的深度图像序列，提取第一对象的短时特征和长时特征，并存储为第一对象的短时特征模板和长时特征模板，其中对象的短时特征表示时间敏感性强的刻画对象的特征，对象的长时特征表示对象的全部或部分短时特征随时间的统计分布；第一对象跟踪部件，在对第一对象的跟踪过程中，对于每帧待分析图像，基于提取的候选对象的短时特征与存储的第一对象的短时特征模板的匹配进行跟踪；失踪对象标识部件，如果在对第一对象的跟踪过程中基于第一对象的短时特征模板的匹配失败，将第一对象标识为失踪的第一对象；第二对象特征提取部件，对于后续新检测到的第二对象，利用包括第二对象的深度图像序列提取第二对象的短时特征和长时特征；以及丢失对象恢复部件，基于第二对象的短时特征和长时特征和被标识为失踪的第一对象的短时特征模板和长时特征模板之间的匹配，判断第二对象是否为失踪的第一对象。

根据本发明上述实施例的方法和装置，对于发现跟踪丢失尤其是长时失踪的对象，通过将新检测到的对象的短时特征和长时特征与被标识为失踪的对象的短时特征模板和长时特征模板之间进行匹配，有可能找回失踪的对象，以恢复跟踪。

前述描述仅为说明性的，可以进行很多修改和/或替换。

前文的示例性描述中以人为跟踪目标。不过这仅为示例，本发明并不局限于此，可以以任何物体为跟踪目标，如动物、汽车等等。

前文的示例性描述中，对象的检测和跟踪是通过提取的对象的短时特征和短时特征模板之间的匹配来实现的，不过本发明并不局限于此，也可以利用例如对对象建模的方法或者决策树的方法等等来进行对象的检测和跟踪。

前文的示例性描述中，在恢复长时失踪的人时，基于新检测到的第二对象的短时特征和长时特征与标识为失踪的第一对象的短时特征模板和长时特征模板的匹配来判断第二对象是否为失踪的第一对象。不过这仅为示例，也可以仅基于新检测到的第二对象的长时特征与标识为失踪的第一对象的长时特征模板的匹配来判断第二对象是否为失踪的第一对象

另外，前文的示例性描述中，在对象的跟踪过程中使用的短时特征和恢复长时失踪的人过程中使用的短时特征类型和短时特征匹配方法相同。不过这仅为示例，本发明并不局限于此，上述对象的跟踪过程中使用的短时特征和恢复长时失踪的人过程中使用的短时特征类型和短时特征匹配方法可以相同，也可以不同。

另外，前文的示例性描述中，以短时特征的高斯分布作为长时特征。不过这仅为示例，根据需要和实际应用，可以选择其它适合描述一个对象的特性的统计特征的概率分布，例如均匀分布、指数分布、伽马分布等。

以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置（包括处理器、存储介质等）或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。

因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。

还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种利用深度图像或视差图像跟踪一个或多个对象的方法，包括：

对于新检测到的第一对象，利用包括第一对象的深度图像序列，提取第一对象的短时特征和长时特征，并存储为第一对象的短时特征模板和长时特征模板，其中对象的短时特征表示时间敏感性强的刻画对象的特征，对象的长时特征表示对象的全部或部分短时特征随时间的统计分布；

在对第一对象的跟踪过程中，对于每帧待分析图像，基于提取的候选对象的短时特征与存储的第一对象的短时特征模板的匹配进行跟踪；

如果在对第一对象的跟踪过程中基于第一对象的短时特征模板的匹配失败，将第一对象标识为失踪的第一对象；

对于后续新检测到的第二对象，利用包括第二对象的深度图像序列提取第二对象的短时特征和长时特征；以及

基于第二对象的短时特征和长时特征和被标识为失踪的第一对象的短时特征模板和长时特征模板之间的匹配，判断第二对象是否为失踪的第一对象。

2.根据权利要求1的方法，所述对象的短时特征包括下列各项中的一项或多项：从单帧深度图像中提取出的对象的位置、高度和形状特征、通过多帧深度图像计算得到的对象的运动方向和运动幅度。

3.根据权利要求1的方法，其中通过高斯分布来表征对象的全部或部分短时特征随时间的统计分布，作为对象的长时特征。

4.根据权利要求1的方法，其中所述基于第二对象的短时特征和长时特征和被标识为失踪的第一对象的短时特征模板和长时特征模板之间的匹配，判断第二对象是否为失踪的第一对象包括：

将第二对象的短时特征和第一对象的短时特征模板进行匹配；

如果两者匹配，确定第二对象为丢失的第一对象；

如果两者不匹配，将第二对象的长时特征和第一对象的长时特征模板进行匹配，以确定第二对象是否为丢失的第一对象。

5.根据权利要求4的方法，将第二对象的短时特征和第一对象的短时特征模板进行匹配包括：

确定第二对象的短时特征和第一对象的短时特征模板匹配的置信度；

如果该置信度高于预定阈值，确定两者匹配；

如果该置信度低于预定阈值，基于预定规则判断该低置信度是否是由于遮挡引发，如果是，确定两者匹配，否则确定两者不匹配。

6.根据权利要求4的方法，其中所述将第二对象的长时特征和第一对象的长时特征模板进行匹配，以确定第二对象是否为丢失的第一对象包括：

通过置信区间估计来计算作为第二对象的长时特征的高斯分布和作为第一对象的长时特征模板的高斯分布的统计相似度，以及如果这两个高斯分布的统计相似度大于预定阈值，则确定该第二对象为丢失的第一对象，否则确定该第二对象不是丢失的第一对象。

7.根据权利要求1的方法，还包括：随跟踪的进行，动态更新跟踪对象的短时特征模板和长时特征模板以用于后续的跟踪。

8.根据权利要求1的方法，还包括：

基于当前时刻在跟踪对象和跟踪对象的临近区域之间关于各个短时特征的差异，确定各个短时特征的权重，使得如果某短时特征在跟踪对象和跟踪对象的临近区域之间差异较大，则该短时特征的权重较大，反之如果差异较小，则该短时特征的权重较小；以及

在下一时刻，基于短时特征的权重，进行跟踪对象的短时特征与相关对象的短时模板之间的匹配。

9.根据权利要求1的方法，还包括：

确定作为各个短时特征的统计分布的各个长时特征的权重，其中，根据特定对象在某位置多次丢失情况下的各个短时特征的稳定程度，来确定作为各个短时特征的统计分布的各个长时特征的权重，包括：

将该特定对象的标识和跟踪丢失时的位置、在该位置丢失的次数相关联的存储；

如果该特定对象在确定位置丢失次数大于预定阈值，则统计在该确定位置该对象多次丢失时的各个短时特征的均值和方差，从而确定各个短时特征的稳定程度；以及

对于作为稳定程度高的短时特征的统计分布的长时特征，给予高的权重。

10.一种利用深度图像或视差图像跟踪一个或多个对象的装置，包括：

第一对象模板确定部件，对于新检测到的第一对象，利用包括第一对象的深度图像序列，提取第一对象的短时特征和长时特征，并存储为第一对象的短时特征模板和长时特征模板，其中对象的短时特征表示时间敏感性强的刻画对象的特征，对象的长时特征表示对象的全部或部分短时特征随时间的统计分布；

第一对象跟踪部件，在对第一对象的跟踪过程中，对于每帧待分析图像，基于提取的候选对象的短时特征与存储的第一对象的短时特征模板的匹配进行跟踪；

失踪对象标识部件，如果在对第一对象的跟踪过程中基于第一对象的短时特征模板的匹配失败，将第一对象标识为失踪的第一对象；

第二对象特征提取部件，对于后续新检测到的第二对象，利用包括第二对象的深度图像序列提取第二对象的短时特征和长时特征；以及

丢失对象恢复部件，基于第二对象的短时特征和长时特征和被标识为失踪的第一对象的短时特征模板和长时特征模板之间的匹配，判断第二对象是否为失踪的第一对象。