CN104599287A - 对象跟踪方法和装置、对象识别方法和装置 - Google Patents

对象跟踪方法和装置、对象识别方法和装置 Download PDF

Info

Publication number
CN104599287A
CN104599287A CN201310533708.9A CN201310533708A CN104599287A CN 104599287 A CN104599287 A CN 104599287A CN 201310533708 A CN201310533708 A CN 201310533708A CN 104599287 A CN104599287 A CN 104599287A
Authority
CN
China
Prior art keywords
towards
feature
image
model
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310533708.9A
Other languages
English (en)
Other versions
CN104599287B (zh
Inventor
王鑫
范圣印
王千
乔刚
诸加丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to CN201310533708.9A priority Critical patent/CN104599287B/zh
Publication of CN104599287A publication Critical patent/CN104599287A/zh
Application granted granted Critical
Publication of CN104599287B publication Critical patent/CN104599287B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

提供了对象跟踪方法和装置以及对象识别方法和装置。该对象跟踪方法可以包括：接收图像；利用第一跟踪方法跟踪第一图像中的对象；检测对象的朝向；评估对象跟踪结果的可信度；如果跟踪结果的可信度较高，则提取对象的特征，以及建立或更新该第一对象的与该朝向相关联的朝向对应特征模型，对象的朝向对应特征模型基于在不同朝向下的对象的各个特征的取值来表征对象；以及如果对象的跟踪结果的可信度低，则基于检测到的该第一对象的朝向，获取与朝向对应的各个候选对象的朝向对应特征模型，基于各个候选对象的朝向对应特征模型和该第一对象的特征来识别该第一对象。本发明很好地将对象跟踪和对象识别融合在一起，维持较高的跟踪质量。

Description

对象跟踪方法和装置、对象识别方法和装置
技术领域
本发明总体地涉及图像处理，具体地，涉及对象跟踪方法和装置，以及对象识别方法和装置。
背景技术
可视对象的实时跟踪可以用于很多计算机视觉应用中，例如远程感测、监控、安全领域、医护领域等。
目前已知一些通过对摄像机拍摄的图像或者视频流进行图像处理，来对物体进行定位或跟踪的方法。
其中一类方法是基于颜色图像的跟踪方法，例如，tracking by detection（通过检测来跟踪）的方法使用训练的方法，学习目标和背景之间具有区别性的特征，分类器在跟踪中匹配目标。该方法对于复杂的场景具有鲁棒性，但是缺点是外观模型对目标的朝向敏感，如果朝向改变，分类器常常会失效。有关介绍可参考Z.Kalal等人在PAMI2011年发表的题为“Tracking-Learning-Detection”的文章,IEEE TRANSACTIONS ON PATTERNANALYSIS AND MACHINE INTELLIGENCE,VOL.6,NO.1,JANUARY2010。
另一类方法是随着立体相机的普及而提出的基于深度图像的跟踪方法。Michael Harville在2003发表的文章"Stereo Person Tracking with AdaptivePlan-View Templates of Height and Occupancy Statistics"中提出了如何使用双目相机进行人的检测和定位，在投影图上使用了Kalman滤波的跟踪方法。该方法计算速度快，不过在严重遮挡下容易跟踪失败，这是因为不同的人在投影图上的外观是很相似的。
专利文献US7536030B2提出了一种实时的基于贝叶斯的3D姿势的跟踪***。该***包括：采集的视频作为输入，图像处理单元对视频进行实时的3D姿势跟踪；同时在帧和帧之间利用贝叶斯的方法进行在线的点的匹配和姿势估计；然后在线的贝叶斯融合方法根据历史数据判断当前的姿势，从而提供稳定的跟踪质量并可在姿势改变过程中保持跟踪。
专利文献US8315432提出了一种虚拟现实的方法和设备，该方法实时的自动的在视频中跟踪一个立体的对象，不需要在对象表面打标记。该方法主要包括：视频的第一帧含有需要跟踪的对象，利用该帧中指定的图像块确定对象的位置和朝向，指定的图像块由先验知识获得。图像块与被跟踪对象的曝光值相关。
专利文献US8335348B2提出了一种对尺度和方向自适应的机器视觉的跟踪方法。该发明提出的方法描述了如何在多帧图像中跟踪一个对象，包括：1）将识别出的对象分成多个小的对象区域；2）对每一块小的对象区域进行跟踪；3）使用每一块对象区域的位置估计整个对象的尺度和方向；4）根据估计的尺度和方向计算对象的位置。
发明内容
本发明的一个目的在于减少对象朝向对跟踪的影响，及时发现和预警跟踪失败，提高跟踪的质量。
根据本发明的一个方面，提供了一种在至少一个视频流的图像中跟踪对象的对象跟踪方法，可以包括：图像接收步骤，从该至少一个视频流接收第一图像，第一图像中包括要跟踪的至少一个对象；第一跟踪方法跟踪步骤，利用第一跟踪方法跟踪第一图像中的、要跟踪的至少一个对象中的第一对象，并得到初始跟踪结果，该初始跟踪结果包括该第一对象与已被赋予标识符的对象之间的匹配程度或该第一对象是已被赋予标识符的对象的概率；朝向检测步骤，检测该第一对象的朝向；跟踪结果可信度评估步骤，评估该第一对象的初始跟踪结果的可信度；可信分支模型建立或更新步骤，如果该第一对象的初始跟踪结果的可信度不低于预定阈值，则基于检测到的该第一对象的朝向，提取跟踪到的第一图像中的该第一对象的特征，以及建立或更新该第一对象的与该朝向相关联的朝向对应特征模型，对象的朝向对应特征模型基于在不同朝向下的对象的各个特征的取值来表征对象，在对象的朝向不同的情况下，对象的各个特征中的至少一个取值会不同；以及不可信分支对象识别和模型建立更新步骤，如果该第一对象的初始跟踪结果的可信度低于预定阈值，则基于检测到的该第一对象的朝向，获取与该第一对象的朝向对应的各个候选对象的朝向对应特征模型，基于如此获取到的与该第一对象的朝向对应的各个候选对象的朝向对应特征模型和该第一对象的特征来识别该第一对象，并根据识别结果来更新或建立第一对象的第一跟踪方法的模型，以及更新或建立第一对象的朝向对应特征模型。
根据本发明的另一方面，提供了一种在至少一个视频流的图像中跟踪对象的对象跟踪装置，可以包括：图像接收部件，从该至少一个视频流接收第一图像，第一图像中包括要跟踪的至少一个对象；第一跟踪方法跟踪部件，利用第一跟踪方法跟踪第一图像中的、要跟踪的至少一个对象中的第一对象，并得到初始跟踪结果，该初始跟踪结果包括该第一对象与已被赋予标识符的对象之间的匹配程度或该第一对象是已被赋予标识符的对象的概率；朝向检测部件，检测该第一对象的朝向；跟踪结果可信度评估部件，评估该第一对象的初始跟踪结果的可信度；可信分支模型建立或更新部件，如果该第一对象的初始跟踪结果的可信度不低于预定阈值，则基于检测到的该第一对象的朝向，提取跟踪到的第一图像中的该第一对象的特征，以及建立或更新该第一对象的与该朝向相关联的朝向对应特征模型，其中对象的朝向对应特征模型基于在不同朝向下的对象的各个特征的取值来表征对象，在对象的朝向不同的情况下，对象的各个特征中的至少一个取值不同；以及不可信分支对象识别和模型建立更新部件，如果该第一对象的初始跟踪结果的可信度低于预定阈值，则基于检测到的该第一对象的朝向，获取与该第一对象的朝向对应的各个候选对象的朝向对应特征模型，基于如此获取到的与该第一对象的朝向对应的各个候选对象的朝向对应特征模型和该第一对象的特征来识别该第一对象，并根据识别结果来更新或建立第一对象的第一跟踪方法的模型，以及更新或建立第一对象的朝向对应特征模型。
利用本发明实施例的对象跟踪方法和对象跟踪装置，在对象跟踪过程中，检测对象的朝向，将对象的模型应该与对象的朝向相关联；并随时评估跟踪质量，并在跟踪质量较高时维护与朝向对应的对象的朝向对应特征模型，而在发现跟踪质量不高时，基于在先前跟踪质量较高的情况下所维护的对象的朝向对应特征模型，而启动更复杂和精确的对象识别方法来进行对象识别，从而能够及时发现甚至***跟踪失败的发生，很好地将对象跟踪和对象识别融合在一起，维持较高的跟踪质量。
根据本发明的再一方面，提供了一种识别图像中的对象的对象识别方法，可以包括：图像接收步骤，接收第一图像，该第一图像包括至少一个待识别对象；朝向检测步骤，检测待识别对象的朝向；特征值提取步骤，对于预定的各个特征，提取待识别对象的特征值；朝向对应特征模型获得步骤，基于检测到的待识别对象的朝向，获得与该朝向对应的候选对象的朝向对应特征模型，其中对象的朝向对应特征模型基于在不同朝向下的对象的各个特征的取值来表征对象，在对象的朝向不同的情况下，对象的各个特征中的至少一个取值会不同；以及对象识别步骤，基于提取的待识别对象的特征和所获得的与对象的朝向对应的朝向对应特征模型，识别对象。
根据本发明的再一方面，提供了一种识别图像中的对象的对象识别装置，可以包括：图像接收部件，接收第一图像，该第一图像包括至少一个待识别对象；朝向检测部件，检测待识别对象的朝向；特征值提取部件，对于预定的各个特征，提取待识别对象的特征值；朝向对应特征模型获得部件，基于检测到的待识别对象的朝向，获得与该朝向对应的候选对象的朝向对应特征模型，其中对象的朝向对应特征模型基于在不同朝向下的对象的各个特征的取值来表征对象，在对象的朝向不同的情况下，对象的各个特征中的至少一个取值会不同；以及对象识别部件，基于提取的待识别对象的特征和所获得的与对象的朝向对应的朝向对应特征模型，识别对象。
利用本发明实施例的对象识别方法和对象识别装置，先检测待识别对象的朝向，然后基于检测的朝向来采用与朝向相应的朝向对应特征模型来识别对象，能够提高对象识别的准确度。
附图说明
从下面结合附图对本发明实施例的详细描述中，本发明的这些和/或其它方面和优点将变得更加清楚并更容易理解，其中：
图1示出了视频流中对象跟踪失败的示例图。
图2示出了根据本发明一个实施例的***输入输出示意图。
图3示出了根据本发明一个实施例的对象跟踪装置的配置框图。
图4示出了可以通过图3所示的对象跟踪装置的各个部件实现的根据本发明一个实施例的对象跟踪方法的总体流程图。
图5示出了根据本发明一个实施例的作为第一跟踪方法示例采用的投影图跟踪方法的总体流程图。
图6示出了根据本发明一个实施例的人的朝向检测方法的解释图。
图7(a)和（b）示出了示例性的人的高度投影图作为模板（图7中的(a)）和其中一个待识别的人在投影图中的对应区域（（图7中的(b)））进行匹配的示例图。
图8示出了两个不同人的步态特征的例子的示意图。
图9示出了根据本发明一个实施例的可以通过可信分支模型建立或更新部件实现的建立或更新对象的朝向对应特征模型的方法的流程图。
图10示出了根据本发明一个实施例的可以通过不可信分支对象识别和模型建立更新部件实现的识别对象以及建立或更新模型的示例性方法的流程图。
图11示出了根据本发明一个实施例的识别图像中的对象的示例性对象识别方法的流程图。
图12示出了根据本发明的另一实施例的识别图像中的对象的对象识别装置的配置框图。
图13示出了适于用来实现本发明实施方式的示例性计算***的框图。
具体实施方式
为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。
在进一步详细介绍之前，为了便于理解，首先介绍一下本发明的核心思想。本发明人想到：跟踪失败常常发生在遮挡严重、多人距离较近、对象朝向改变等情况下，最好能够及时发现甚至如果可能提前预见到跟踪失败的发生；另外，对象的朝向会影响对象的特征，因此对象的模型应该与对象的朝向相关联；应该随时评估跟踪质量，并在跟踪质量较高时维护与朝向对应的对象的朝向对应特征模型，而在发现跟踪质量不高时，基于在先前跟踪质量较高的情况下所维护的对象的朝向对应特征模型，而启动更复杂和精确的对象识别方法来进行对象识别。
对一个对象跟踪失败可以细分为跟踪丢失，跟踪id交换等。图1示意性示出了视频流中对象跟踪失败的示例图。示例图中2个行走的人在相互接近，他们在跟踪***内的id分别是2和5，一段时间后，2个人行走到新的位置，原来id为5的人现在的id变成了2，即发生了跟踪id交换，而另一个人被***赋予一个新的id=8，即发生了跟踪丢失。
本发明希望尽可能及时发现甚至如果可能提前预见到跟踪失败的发生，并触发对象识别机制，并且在对象识别过程中考虑对象的朝向，保证较高的跟踪质量。
图2示出了根据本发明一个实施例的***输入输出示意图。
如图2所示，本发明实施例的对象跟踪和识别***1接收来自双目相机的灰度图和深度图，输出跟踪结果，例如跟踪到的对象的位置信息、朝向信息、可视图像等等。
下文中，为方便说明，以跟踪对象是人为例进行说明。不过跟踪对象也可以是其它物体，例如动物等。
下面参考图3，示出了根据本发明一个实施例的对象跟踪装置100的配置框图。
如图3所示，对象跟踪装置100可以包括图像接收部件110、第一跟踪方法跟踪部件120、朝向检测部件130、跟踪结果可信度评估部件140、可信分支模型建立或更新部件150、不可信分支对象识别和模型建立更新部件160。图像接收部件110从至少一个视频流接收第一图像，第一图像中包括要跟踪的至少一个对象。第一跟踪方法跟踪部件120利用第一跟踪方法跟踪第一图像中的、要跟踪的至少一个对象中的第一对象，并得到初始跟踪结果，该初始跟踪结果包括该第一对象与已被赋予标识符的对象之间的匹配程度或该第一对象是已被赋予标识符的对象的概率。朝向检测部件130检测该第一对象的朝向。跟踪结果可信度评估部件140评估该第一对象的初始跟踪结果的可信度。可信分支模型建立或更新部件150用于如果该第一对象的初始跟踪结果的可信度不低于预定阈值，则基于检测到的该第一对象的朝向，提取跟踪到的第一图像中的该第一对象的特征，以及建立或更新该第一对象的与该朝向相关联的朝向对应特征模型，其中对象的朝向对应特征模型基于在不同朝向下的对象的各个特征的取值来表征对象，在对象的朝向不同的情况下，对象的各个特征中的至少一个取值会不同。不可信分支对象识别和模型建立更新部件160用于如果该第一对象的初始跟踪结果的可信度低于预定阈值，则基于检测到的该第一对象的朝向，获取与该第一对象的朝向对应的各个候选对象的朝向对应特征模型，基于如此获取到的与该第一对象的朝向对应的各个候选对象的朝向对应特征模型和该第一对象的特征来识别该第一对象，并根据识别结果来更新或建立第一对象的第一跟踪方法的模型，以及更新或建立第一对象的朝向对应特征模型。
图像接收部件110、第一跟踪方法跟踪部件120、朝向检测部件130、跟踪结果可信度评估部件140、可信分支模型建立或更新部件150、不可信分支对象识别和模型建立更新部件160可以通过总线***170耦合在一起，并且可以通过计算硬件***中的CPU、RAM、ROM以及其中运行或存储的代码来实现。
上述各个部件的结构和数量不对本发明的范围构成限制。根据本发明的一个实施例，上述图像接收部件110、第一跟踪方法跟踪部件120、朝向检测部件130、跟踪结果可信度评估部件140、可信分支模型建立或更新部件150、不可信分支对象识别和模型建立更新部件160可以合并为一个独立的单元来执行和实现相应的功能和操作，或者可以将上述图像接收部件110、第一跟踪方法跟踪部件120、朝向检测部件130、跟踪结果可信度评估部件140、可信分支模型建立或更新部件150、不可信分支对象识别和模型建立更新部件160进一步拆分为更小的单元来实现他们各自的功能和操作。
下面参考图4描述可以通过图3所示的对象跟踪装置的各个部件实现的根据本发明一个实施例的对象跟踪方法示例。
在步骤S110中，图像接收部件110可以从该至少一个视频流接收第一图像，第一图像中包括要跟踪的至少一个对象。
图像接收部件110可以从本地或者远程接收视频流中的图像。
例如，以办公室内对象跟踪为例，假设诸如双目相机、多目相机等的图像摄取设备安装于房间天花板处，对象跟踪装置在办公室的监控中心室内。在此情况下，对象跟踪装置可以例如通过USB连线等直接从图像摄取设备获取灰度图像或者视差图像。不过，对象跟踪装置也可以远程通过例如有线或者无线通信接收图像。
图像可以为视差图和灰度图。深度图或视差图可以是基于双目测距原理利用确定的双目摄像机采集得到的。如本领域技术人员公知的，深度图和视差图之间可以相互转化。任何现有的获取深度图的方法均可以用于本发明。例如，可以通过双目相机、多目相机、立体相机拍摄并计算得到包括该对象部分的深度图。具体地，例如，可以通过双目相机来拍得左图像和右图像，基于左图像和右图像计算得到视差图，以及根据视差图得到深度图。上述相机仅为示例，深度图或视差图也可以基于其它类型的立体相机得到，例如可以使用主动发射红外光来辅助生成立体信息，这样的摄像机例子，有微软的Kinect，还有基于红外光飞行时间(Time of Flight,TOF)技术的类型的摄像机，或者基于纹理光的类型的摄像机等。
例如，在一个示例中，双目相机所拍摄的左图像或右图像作为这里的灰度图，而且通过左右图像匹配来得到深度图。
需要说明的是，这里的第一图像，并不表示视频流中时间上的第一个图像，只用来指代在跟踪过程中所接收到的一个图像，其中包括一个或多个要跟踪的对象。关于视频流中的时间上而言的第一个图像的处理，可以根据后面描述的采用的第一跟踪方法的不同而不同，此非本发明关注方面，这里省略其描述。
在步骤S120中，第一跟踪方法跟踪部件120可以利用第一跟踪方法跟踪第一图像中的、要跟踪的至少一个对象中的第一对象，并得到初始跟踪结果，该初始跟踪结果包括该第一对象与已被赋予标识符的对象之间的匹配程度或该第一对象是已被赋予标识符的对象的概率。
这里对第一跟踪方法没有限制，可以为任何现有的或者以后可能出现的对象跟踪方法。
在一个示例中，可以采用前文介绍的Michael Harville在2003年发表的题为“stereo person tracking with adaptive plan-view templates ofheight and occupancy statistics”的文章中公开的对象跟踪方法（下文称之为投影图跟踪方法）。该对象跟踪方法对人在某个平面视图上进行特征统计，以此统计特征为基础进行人的检测和跟踪，其中使用了水平面视图上的人的表面点的分布的统计特征和卡尔曼滤波。该非专利文献提出的基于水平面视图的方法（3维到2维的坐标变换、直方图统计，即在平面视图上计算特征）可以一定程度上减轻遮挡的影响，比较适合用于如客厅、大堂等背景较为简单的场景，不过对于例如有很多隔断的复杂的办公场景，会发生跟踪失败的问题。
图5示出了根据本发明一个实施例的作为第一跟踪方法示例采用的投影图跟踪方法的总体流程图，该方法以灰度图和深度图作为输入，包括背景建模和前景分割步骤S121、将前景转换到投影图步骤S122、人的检测和跟踪步骤S123，该方法的输出是人的跟踪结果列表。
另外，在另一示例中，作为第一跟踪方法，还可以采用申请人与本发明的申请人相同的发明名称为“基于立体摄像机的物体检测方法和装置”的中国专利申请CN201210292660.2和发明名称为“对象跟踪方法和装置”的中国专利申请CN201210327643.8中提出的方法。这里通过引用将其全文合并于此。
在步骤S130中，朝向检测部件130检测利用第一跟踪方法跟踪部件120跟踪到的第一对象的朝向。
目前已有某些公知技术用于检测人的朝向，比如，将人的行走方向作为他的朝向，行走方向可以通过比较该人在一段时间内位置的变化计算得出。上述方法的一个前提假设是人的行走方向和其朝向一致。图6示出了根据本发明一个实施例的人的朝向检测方法的解释图。其中C标记的为相机在投影图中的位置，虚线的三角形区域表示相机的可视区域。通过第一跟踪方法，得到某个人在时间t时刻出现在投影图的位置Post=(xt,yt)而t+1时刻位置为Post+1=(xt+1,yt+1)，则其朝向θ可根据公式(1)计算得出：
&theta; = arctan ( x t + 1 - x t y t + 1 - y t ) , if ( x t + 1 - x i &GreaterEqual; 0 & & y t + 1 - y t > 0 ) &pi; / 2 , if ( x t + 1 - x t > 0 & & y t + 1 - y t = 0 ) &pi; + arctan ( x t + 1 - x t y t + 1 - y t ) , if ( y t + 1 - y t < 0 ) 3 &pi; / 2 , if ( x t + 1 - x t < 0 & & y t + 1 - y t = 0 ) 2 &pi; + arctan ( x t + 1 - x t y t + 1 - y t ) , if ( x t + 1 - x t < 0 & & y t + 1 - y t > 0 ) - - - ( 1 )
其中θ表示人的朝向与相机中心方向的角度，取值范围在[0,2π)。
其他朝向方法包括使用人脸检测技术估计人的朝向。人脸检测技术为公知技术，本文省略对其的描述。
在一个示例中，可以将基于人行走方向的朝向检测技术和基于人脸检测估计朝向的技术结合起来进行人的朝向确定。
在步骤S140中，跟踪结果可信度评估部件140评估通过第一跟踪方法跟踪部件120获得的该第一对象的初始跟踪结果的可信度。
跟踪结果可信度评估部件140的该操作的目的是发现跟踪失败甚至如果可能***到失败的发生。
跟踪结果可信度评估部件140所采用的评估跟踪结果的可信度的方法可以依据所采用的第一跟踪方法的不同而不同。
例如，在采用图5所示的投影图跟踪方法作为第一跟踪方法的情况下，步骤S123中使用的是Kalman滤波的跟踪方法，在跟踪过程中使用一个人的投影图的模板来进行匹配和更新。图7(a)和（b）示出了示例性的人的高度投影图作为模板（图7中的(a)）和其中一个待识别的人在投影图中的对应区域（（图7中的(b)））进行匹配的示例图,图7(b)中的框指示新跟踪到的位置。在这种情况下，第一跟踪方法跟踪部件可以得到一个待识别对象和候选对象模板之间的匹配程度，以及还可以提供其他可能有用的信息，例如待识别对象的区域的有效像素的数目等。在一个示例中，可以将跟踪质量分为两类：正常和异常，评估方法可以是在跟踪中通过预先定义的规则进行判断。例如在一个示例中，可以根据下述公式(2)来对跟踪质量进行分类：
quality = abnormal , if ( ( matchscore ( matchingregion ) < threshold ) OR ( pixels ( matchingregion ) < N ) ) normal , otherwise
( 2 )
其中matchscore(matchingregion)表示在Kalman滤波中将模板和目标区域（即第一跟踪方法跟踪到的位置区域）匹配时得到的匹配程度，如果值过小，说明跟踪不可信；pixels(matchingregion)表示所匹配的目标区域中有效像素数，图7(b)中所匹配的目标区域中有亮度值的像素为有效像素。有效像素少预示着该对象被严重遮挡，跟踪也不可信。在例如利用概率图形模型例如贝叶斯网络（如美国专利US7536030B2中所介绍的）来计算待识别对象是某对象ID的概率的情况下，此时可以根据最大概率与概率阈值之间的比较，来确定跟踪可信度，并进行跟踪质量分类。
跟踪结果可信度评估部件140可以设置更多的检测异常跟踪的规则，比如，通过检测人和人之间的距离预测遮挡的发生，当两人相互靠近并发生或可能发生遮挡时，将跟踪质量分类为异常。由此，通过将跟踪质量分类为异常，并在后续触发利用与朝向相关联的对象识别方法来进行对象识别，能够尽量例如避免id交换的现象发生。
在步骤S150中，在跟踪结果可信度评估部件140得到的该第一对象的跟踪结果可信度不低于预定阈值的情况下，可信分支模型建立或更新部件150基于朝向检测部件130检测到的该第一对象的朝向，提取跟踪到的第一图像中的该第一对象的特征，以及建立或更新该第一对象的与该朝向相关联的朝向对应特征模型，其中对象的朝向对应特征模型基于在不同朝向下的对象的各个特征的取值来表征对象，在对象的朝向不同的情况下，对象的各个特征中的至少一个取值会不同。
下面首先介绍一下对象的朝向对应特征模型，然后介绍可信分支模型建立或更新部件150如何建立或更新该第一对象的与该朝向相关联的朝向对应特征模型。
本发明实施例的对象的朝向对应特征模型（后文为描述方面，也可以简称之为特征模型、三维模型等）是基于如下想法而提出：一个对象在不同的朝向下，摄像机拍摄到的可视图像不同，因此提取出的特征例如颜色特征或者纹理特征也不同，为此与现有技术中不考虑对象的朝向对于对象仅维护一个模板或者一种特征模型不同，本发明实施例提出对于不同朝向来建立和维护不同的模板或特征模型。
在一个示例中，为了全面刻画一个对象，对象的特征模型可以包含对象的真实物理尺寸的信息和对象在不同朝向情况下的变化较大的特征。换一个角度说，特征可以分为两大类：其中一类是表示物理尺寸的特征（人的高矮、胖瘦等），而另一类包括外观特征（颜色、纹理等）。一般地，表示对象的物理尺寸的特征可以从灰度图或者深度图中提取，而表示对象在不同朝向的外观特征可以从颜色图像中提取。
在一个示例中，对象的朝向特征模型涉及描述对象的物理尺寸的特征，以及涉及描述颜色的特征、描述纹理的特征和描述步态的特征中的至少一种。
以人为例，表示人的物理尺寸的特征可以是人的高度h，表面积和高度的比值r，等等。其中，高度h能区别出人的高矮，而比值r能区别出人的胖瘦。由于立体相机可以获得场景的深度信息，人的物理尺寸也就可以计算获得。在一个示例中，考虑到人的高度在所有朝向都相同，因此可以对于所有朝向使用相同的人的高度。在一个示例中，考虑到人的表面积和高度比r（反映人的胖瘦）在不同朝向变化不大，因此可以对于所有朝向使用相同的人的表面积和高度比r。不过，这仅为示例，在另一示例中，可以在不同朝向下，进行人的高度h和表面积和高度比r的提取，并进行不同朝向的模型更新。
外观特征是从颜色图像中提取人在不同朝向的特征。在一个示例中，为简化算法，可以将一个人的朝向分为4个方向，即，前、后、左、右。不过，本发明并不局限于此，可以将对象的朝向划分得更细。为便于描绘，后文中，将以将对象的朝向分为4个方向为例进行描述。在一个示例中，朝向检测部件130可以根据检测得到的朝向角度θ，而将对象朝向进行如下归类：
●正面，θ∈[0,π/4]U(7π/4,2π)
●背面，θ∈(3π/4,5π/4]
●左侧面，θ∈(5π/4,7π/4]
●右侧面，θ∈(π/4,3π/4]
对每一个朝向，可以提取下列外观特征中的一种或多种：
●颜色直方图
●LBP直方图
●步态
颜色直方图，LBP直方图，步态是图像处理领域公知的特征。颜色直方图区分不同颜色信息。LBP区分不同类型的纹理信息，具体可参考***上下述网页上的介绍http://en.wikipedia.org/wiki/LBP。步态是识别人的一种重要特征，图8示出了两个不同人的步态特征的例子的示意图。
利用上述对象的特征，能够很好地刻画对象，提高对象跟踪和识别的准确度。
在跟踪结果可信度评估部件140评估第一对象的跟踪结果正常（即可信）的情况下（步骤S140中的是），在步骤S150中，可信分支模型建立或更新部件150利用该高质量的跟踪结果来更新第一对象的朝向对应特征模型。
下面参考图9描述根据本发明一个实施例的可信分支模型建立或更新部件150建立或更新对象的朝向对应特征模型的方法示例，其可以应用于图4中的步骤S150。
如图9所示，在步骤S151中，使用人的方向信息提取特征。
具体地，物理尺寸中的高度h可以从高度投影图的人的区域中找到最高点的值获得，人的表面积可以从累加投影图的人的区域计算获得，从而可以算得表面积和高度比r。高度h以及表面积和高度比r的值与朝向相关性不大，因此在一个示例中，可以对于所有不同方向使用相同的h和r值。因此，在首次提取出了高度h以及表面积和高度比r的值之后，在以后可以不进行该对象的高度h以及表面积和高度比r的提取和更新，由此可以提高计算效率。
颜色直方图可以从颜色图像中人的区域提取，例如表示为256维（或64维）的向量。
LBP直方图特征可以通过对颜色图像使用LBP算子进行一遍滤波计算，然后再从滤波后的颜色图像中提取，也例如表示为一个向量。
步态可以直接从前景图像中获得，是一个二值图像。
颜色直方图，LBP直方图和步态均和朝向有关，一般朝向不同会导致取值不同。因此，对于不同的朝向，分别进行这些特征的提取和模型更新。
上述示例性特征按照数据结构分类可以分为3类：
●变量类型：h，r
●向量类型：颜色直方图，LBP直方图
●二维向量类型：步态
不同类型的数据结果在后续的模型建立步骤或模型更新步骤中计算方法不同。
需要说明的是，在步骤S151的使用对象的方向信息提取特征的操作中，可以对于已经跟踪到的特定对象，找出将该特定对象与其他对象区分开的能力最强的一个或多个特征，并对该一个或多个特征赋予最高的权重，甚至可以在后续针对该对象来建立朝向对应特征模型时，以及在后续识别某对象是否为该特定对象（例如图4中的步骤S160中）时，仅使用这里找到的区分能力最强的一个或多个特征。
在一个示例中，两个对象间某特征的区分能力强弱可以用该特征在两个对象之间的匹配程度来表示，特征在两个对象之间越不匹配（越不相似）或者说差异越大，则该特征对该两个对象的区分能力最强。关于特征的区分能力，可以例如通过归一化的巴氏距离（参见后文公式(7)）等来衡量，此非本发明重点，这里不再赘述。
可信分支模型建立或更新部件在步骤S152中判断该对象的模型是否已经存在，如果不存在，则前进到模型建立步骤S153；如果存在，则前进到模型更新步骤S154。
在步骤S153创建新的模型。
在一个示例中，要创建一个新模型，一般需要连续k帧的特征作为输入，比如k=100，当然根据需要k可以为更小或更大的数目。
每一种数据类型的特征的创建方法一般不同，下面分别予以说明。
●变量类型：h，r，可以根据公式(3)建立：
h ~ = &Sigma; h i / k &Delta;h = &Sigma; ( h i - h ) 2 / k - - - ( 3 )
其中表示计算对象的平均高度作为模型中对象的高度值，hi表示每帧图像中得到的该对象的高度，而Δh表示高度的标准差，也作为描述对象的高度的信息之一进行计算。与高度h的计算方法类似，可以计算表面积和高度比r。i=1…K，表示图像的标号。
●向量类型：颜色直方图，LBP直方图，可以根据公式(4)来建立：
V[x]=∑vi[x]/k            (4)
其中v表示直方图向量，而索引x表示某个向量中的一个值所在的位置编号，i=1…K，表示图像的编号。
●二维向量类型：步态：
方法同公式(4)，但是需要在计算前进行尺寸归一化，对于步态的图像，可以规定全部归一化到128×64的大小。
如前所述，如果在步骤S152中确定不存在该对象的朝向对应特征模型（例如，因为是一个新检测出的对象），则前进到模型更新分支，即步骤S154
在步骤S154中，进行特征一致性的判断。此步骤是可选的，可以跳过该步骤而直接前进到模型更新步骤S155。
在步骤S154中检查特征一致性，目的是保证所提取的特征是稳定特征。该步骤可以去除掉随机的错误，保证模型的健壮性。在一个示例中，可以通过下述公式（5）比较最新获得的特征和已有的特征的一致性：consistency(feauture[j])=match(feature[j],model[j])        (5)
其中j表示特征的索引，feature表示最新获得的特征，model表示与朝向检测部件130检测的朝向相关联的已有模型，model[j]表示该模型中的该标号j对应的特征,这尤其适合于模型为对象的模板的情况。
对于每一种数据类型，用于评价特征一致性的公式(5)的具体形式可以不同，如下所述。
●变量类型：h，r，可以根据公式(6)判断特征一致性：
match ( h , h ~ ) &equiv; h ~ - 3 &Delta;h < h < h ~ + 3 &Delta;h - - - ( 6 )
其中h表示新获得的高度值，表示模型中的高度值而Δh表示模型中高度的标准差。r的计算方法可以类似进行。
●向量类型：颜色直方图，LBP直方图，可以根据公式(7)判断特征一致性：
match ( v , V ) &equiv; Bhattacharyyacoefficient ( v , V ) = &Sigma; i = 1 n &Sigma; v i * &Sigma; V i < 0.5 - - - ( 7 )
其中v表示最新的向量，V表示模型中的向量值而i表示索引值。
公式(7)使用了巴氏距离（Bhattacharyya coefficient）计算匹配度。巴氏距离是计算向量距离时常用的一种方法，关于其介绍可参考***中的下述网页中的介绍
http://en.wikipedia.org/wiki/Bhattacharyya_distance。不过采用巴氏距离计算匹配度仅为示例，可以采用其它的距离计算方法来计算匹配度，以及还可以采用其它不借助于距离计算的匹配度计算方法。
●二维向量类型：步态：可以类似地参考公式(7)来判断特征一致性。
对于某个特征，在进行特征一致性检测之后，可以仅在一致性达到预定标准时，才对该特征进行步骤S155更新模型的操作，反之，如果该特征的一致性未达到预定标准，则跳过步骤S155的操作，即不进行模型中关于该特征的更新操作。以高度为例，更新方法可以如公式(8)所示：
h ~ &prime; = &alpha; * h + ( 1 - &alpha; ) * h ~ - - - ( 8 )
其中α是更新率，比如α=0.05。
其中是更新后的模型中的高度，h是当前跟踪到的对象的高度，是更新前的模型中的高度。
如果是向量或二维向量类型特征，更新方法同公式(8)，但需要对向量的每一个值各自通过公式(8)进行更新。
回到图4，在步骤S160中，在跟踪结果可信度评估部件140得到的该第一对象的初始跟踪结果的可信度低于预定阈值的情况下，不可信分支对象识别和模型建立更新部件160基于朝向检测部件130检测到的该第一对象的朝向，获取与该第一对象的朝向对应的各个候选对象的朝向对应特征模型，基于如此获取到的与该第一对象的朝向对应的各个候选对象的朝向对应特征模型和该第一对象的特征来识别该第一对象，并根据识别结果来更新或建立第一对象的第一跟踪方法的模型，以及更新或建立第一对象的朝向对应特征模型。
如前所述，步骤S160作用在于，在第一跟踪方法的跟踪质量不高，因而可能出现跟踪失败或者已经出现跟踪失败的情况下，启动对象识别，基于识别出该对象是已有对象还是新对象，来进行新模型建立或者已有模型更新。
这里的候选对象，是指先前已经标识的对象（即，已经被赋予了ID的对象），并已经具有相关联的朝向对象特征模型。需要说明的是，这里的候选对象可以是全部先前标识的对象，也可以是部分先前标识的对象，例如，可以是在图4的步骤S120中利用第一跟踪方法跟踪得到的与待识别对象匹配度较高的已标识对象。另外，如果先前标识的对象中的某些已经在当前帧被成功跟踪到，则也可以将这些成功跟踪到的对象从候选对象中排除。
下面参考图10描述可以通过不可信分支对象识别和模型建立更新部件160实现的识别对象以及建立或更新模型的示例性方法。
如图10所示，在步骤S161中，基于朝向检测部件130检测到的该第一对象的朝向，获取与该第一对象的朝向对应的各个候选对象的朝向对应特征模型。
这里，如前所述，关于候选对象，可以是先前识别或跟踪到的所有已标识对象。也可以不是场景中的所有已标识对象，而是基于在先跟踪历史和该待识别对象相似度较高的已标识对象，而且可以不包括在本帧图像中已经跟踪到的对象。
在步骤S162中，对待识别对象（即，在图4的步骤S140中被判定跟踪质量不高的对象，也即第一对象）提取特征。
如前所述，这里，提取的特征可以根据步骤S161中确定的候选对象的朝向特征模型中所涉特征的不同而不同。
例如，在一个示例中，如前所述，对于不同的候选对象的朝向特征模型，选用的特征可能不同。例如，候选对象1的区别性特征为高度，如候选对象1已经被标识为一个身高非常高的人，则此时对于待识别对象，要判定其是否是候选对象1时，可以先提取高度特征，如果其高度特征与候选对象1的高度相差甚远，则可以直接判定待识别对象不是候选对象1。再例如，候选对象2的区别性特征为颜色特征，因为候选对象2是一个穿了一个非常特殊颜色的衣服的人，则此时对于待识别对象，要判定其是否是候选对象2时，可以先提取颜色特征，如果其颜色特征与候选对象2的颜色特征相差甚远，则可以直接判定待识别对象不是候选对象2。利用这样的依赖于候选对象的区别性特征，可以大大提高对象识别的效率。
在步骤S163中，基于相关候选对象的朝向特征模型和待识别对象的特征，来识别对象。这里，识别方法可以模型的不同而不同。例如，在模型即为对象模板的情况下，识别对象可以通过计算待识别对象和模板之间的相似度或匹配程度来进行；在模型为概率模型的情况下，识别对象可以通过计算待识别对象为某已标识对象的概率来进行。
在步骤S164中，判断待识别对象是否被识别为一个已经存在的对象。如果不是已有对象，则前进到步骤S165，否则前进到步骤S166。
在步骤S165中，为识别的对象赋予新ID，并根据所检测的朝向、所提取的特征，为其建立与朝向相关联的朝向对应特征模型。
在步骤S166中，基于该对象的特征，来更新已有的对象的模型，可以包括更新已有的对象的第一跟踪方法模型，以及更新与朝向相关联的朝向对应特征模型。
回到图4，需要说明的是，在S160中，也可以不考虑朝向检测部件130对本帧图像检测的朝向，而是认为对象的朝向当前未定，获取每个候选对象的各个朝向的朝向对应特征模型，然后来基于所有各种朝向的朝向对应特征模型来识别对象。需要说明的是，图4所示的步骤S110-S160可以对后续帧的图像类似执行，从而基于视频流持续进行对象跟踪和识别。
利用本发明实施例的对象跟踪方法和对象跟踪装置，在对象跟踪过程中，检测对象的朝向，将对象的模型应该与对象的朝向相关联；并随时评估跟踪质量，并在跟踪质量较高时维护与朝向对应的对象的朝向对应特征模型，而在发现跟踪质量不高时，基于在先前跟踪质量较高的情况下所维护的对象的朝向对应特征模型，而启动更复杂和精确的对象识别方法来进行对象识别，从而能够及时发现甚至***跟踪失败的发生，很好地将对象跟踪和对象识别融合在一起，维持较高的跟踪质量。
需要说明的是，上述实施例中，以跟踪对象是人为例进行了说明，不过本发明可以应用于跟踪其它的对象，例如动物等。
另外，优选地，前面实施例中的第一跟踪方法的计算复杂度低于利用朝向对应特征模型识别对象的方法。从而，可以利用计算复杂度低的第一跟踪方法进行跟踪，只有在跟踪质量较低时才启动朝向对应特征模型识别方法，由此能够提高计算效率。
本发明实施例的先检测对象的朝向，基于对象的朝向来建立和维护对象的朝向对应特征模型的思想也可以单独用于对象的识别。
下面参考图11描述根据本发明一个实施例的识别图像中的对象的示例性对象识别方法200。
在步骤S210中，接收第一图像，该第一图像包括至少一个待识别对象。
在步骤S220中，检测待识别对象的朝向。
在步骤S230中，对于预定的各个特征，提取待识别对象的特征值。
所述各个特征可以包括：描述对象的物理尺寸的特征；以及描述颜色的特征、描述纹理的特征和描述步态的特征中的至少一种。
所述各个特征可以包括对于每个候选对象，将该候选对象与其它候选对象区分开的能力最强的特征。
在步骤S240中，基于检测到的待识别对象的朝向，获得与该朝向对应的候选对象的朝向对应特征模型，其中对象的朝向对应特征模型基于在不同朝向下的对象的各个特征的取值来表征对象，在对象的朝向不同的情况下，对象的各个特征中的至少一个取值会不同。
在步骤S250中，基于提取的待识别对象的特征和所获得的与对象的朝向对应的朝向对应特征模型，识别对象。
上述对象识别方法200中各的图像接收步骤S210、朝向检测步骤S220、特征值提取步骤S230、朝向对应特征模型获得步骤S240和对象识别步骤S250的详细功能和实现可以参考前面结合图4中有关图像接收步骤S110、朝向检测步骤S130、不可信分支对象识别和模型建立更新步骤160的描述，这里不再重复描述。
下面参考图12描述根据本发明的另一实施例的识别图像中的对象的对象识别装置示例300，可以包括：图像接收部件310，接收第一图像，该第一图像包括至少一个待识别对象；朝向检测部件320，检测待识别对象的朝向；特征值提取部件330，对于预定的各个特征，提取待识别对象的特征值；朝向对应特征模型获得部件340，基于检测到的待识别对象的朝向，获得与该朝向对应的候选对象的朝向对应特征模型，其中对象的朝向对应特征模型基于在不同朝向下的对象的各个特征的取值来表征对象，在对象的朝向不同的情况下，对象的各个特征中的至少一个取值会不同；以及350对象识别部件，基于提取的待识别对象的特征和所获得的与对象的朝向对应的朝向对应特征模型，识别对象。
本发明还可以通过一种用于在至少一个视频流的图像中跟踪对象/识别图像中的对象的计算***来实施。图13示出了适于用来实现本发明实施方式的示例性计算***400的框图。如图13所示，计算***400可以包括：CPU（中央处理单元）401、RAM（随机存取存储器）402、ROM（只读存储器）403、***总线404、硬盘控制器405、键盘控制器406、串行接口控制器407、并行接口控制器408、显示控制器409、硬盘410、键盘411、串行外部设备412、并行外部设备413和显示器414。在这些设备中，与***总线404耦合的有CPU401、RAM402、ROM403、硬盘控制器405、键盘控制器406、串行接口控制器407、并行接口控制器408和显示控制器409。硬盘410与硬盘控制器405耦合，键盘411与键盘控制器406耦合，串行外部设备412与串行接口控制器407耦合，并行外部设备413与并行接口控制器48耦合，以及显示器414与显示控制器409耦合。应当理解，图13所述的结构框图仅仅是为了示例的目的，而不是对本发明范围的限制。在某些情况下，可以根据具体情况增加或减少某些设备。
所属技术领域的技术人员知道，本发明可以实现为***、装置、方法或计算机程序产品。因此，本发明可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件（包括固件、驻留软件、微代码等），还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”、“装置”或“***”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。
可以采用一个或多个计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器（RAM）、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
上面参照本发明实施例的方法、装置（***）和计算机程序产品的流程图和/或框图描述了本发明。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，这些计算机程序指令通过计算机或其它可编程数据处理装置执行，产生了实现流程图和/或框图中的方框中规定的功能/操作的装置。
也可以把这些计算机程序指令存储在能使得计算机或其它可编程数据处理装置以特定方式工作的计算机可读介质中，这样，存储在计算机可读介质中的指令就产生出一个包括实现流程图和/或框图中的方框中规定的功能/操作的指令装置(instruction means)的制造品（manufacture）。
也可以把计算机程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机或其它可编程装置上执行的指令能够提供实现流程图和/或框图中的方框中规定的功能/操作的过程。
附图中的流程图和框图显示了根据本发明的多个实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种在至少一个视频流的图像中跟踪对象的对象跟踪方法，包括：
图像接收步骤，从该至少一个视频流接收第一图像，第一图像中包括要跟踪的至少一个对象；
第一跟踪方法跟踪步骤，利用第一跟踪方法跟踪第一图像中的、要跟踪的至少一个对象中的第一对象，并得到初始跟踪结果，该初始跟踪结果包括该第一对象与已被赋予标识符的对象之间的匹配程度或该第一对象是已被赋予标识符的对象的概率；
朝向检测步骤，检测该第一对象的朝向；
跟踪结果可信度评估步骤，评估该第一对象的初始跟踪结果的可信度；
可信分支模型建立或更新步骤，如果该第一对象的初始跟踪结果的可信度不低于预定阈值，则基于检测到的该第一对象的朝向，提取跟踪到的第一图像中的该第一对象的特征，以及建立或更新该第一对象的与该朝向相关联的朝向对应特征模型，对象的朝向对应特征模型基于在不同朝向下的对象的各个特征的取值来表征对象，在对象的朝向不同的情况下，对象的各个特征中的至少一个取值不同；以及
不可信分支对象识别和模型建立更新步骤，如果该第一对象的初始跟踪结果的可信度低于预定阈值，则基于检测到的该第一对象的朝向，获取与该第一对象的朝向对应的各个候选对象的朝向对应特征模型，基于如此获取到的与该第一对象的朝向对应的各个候选对象的朝向对应特征模型和该第一对象的特征来识别该第一对象，并根据识别结果来更新或建立第一对象的第一跟踪方法的模型，以及更新或建立第一对象的朝向对应特征模型。
2.根据权利要求1的对象跟踪方法，在可信分支模型建立或更新步骤中，在更新该第一对象的与该朝向相关联的朝向对应特征模型中，判定提取的跟踪到的第一图像中的该第一对象的特征与朝向对应特征模型中对应特征之间的一致性，并且仅在一致性达到预定标准时，才基于提取的跟踪到的第一图像中的该第一对象的特征来更新朝向对应特征模型中的对应已有特征。
3.根据权利要求1的对象跟踪方法，所述可信分支模型建立或更新步骤中的提取跟踪到的第一图像中的该第一对象的特征包括：
提取将该第一对象与其它对象区分开的能力最强的特征。
4.根据权利要求1的对象跟踪方法，在跟踪结果可信度评估步骤中，如果两个要跟踪的对象之间存在遮挡，或者两个要跟踪的对象之间在各帧之间不断靠近，则将可信度设置为低于预定阈值。
5.根据权利要求1的对象跟踪方法，所述朝向对应特征模型所涉及的特征包括：
描述对象的物理尺寸的特征；以及
描述颜色的特征、描述纹理的特征和描述步态的特征中的至少一种。
6.一种识别图像中的对象的对象识别方法，包括：
图像接收步骤，接收第一图像，该第一图像包括至少一个待识别对象；
朝向检测步骤，检测待识别对象的朝向；
特征值提取步骤，对于预定的各个特征，提取待识别对象的特征值；
朝向对应特征模型获得步骤，基于检测到的待识别对象的朝向，获得与该朝向对应的候选对象的朝向对应特征模型，其中对象的朝向对应特征模型基于在不同朝向下的对象的各个特征的取值来表征对象，在对象的朝向不同的情况下，对象的各个特征中的至少一个取值会不同；以及
对象识别步骤，基于提取的待识别对象的特征和所获得的与对象的朝向对应的朝向对应特征模型，识别对象。
7.根据权利要求6的对象识别方法，其中所述各个特征包括：
描述对象的物理尺寸的特征；以及
描述颜色的特征、描述纹理的特征和描述步态的特征中的至少一种。
8.根据权利要求6的对象识别方法，其中所述各个特征包括：
对于每个候选对象，将该候选对象与其它候选对象区分开的能力最强的特征。
9.一种在至少一个视频流的图像中跟踪对象的对象跟踪装置，包括：
图像接收部件，从该至少一个视频流接收第一图像，第一图像中包括要跟踪的至少一个对象；
第一跟踪方法跟踪部件，利用第一跟踪方法跟踪第一图像中的、要跟踪的至少一个对象中的第一对象，并得到初始跟踪结果，该初始跟踪结果包括该第一对象与已被赋予标识符的对象之间的匹配程度或该第一对象是已被赋予标识符的对象的概率；
朝向检测部件，检测该第一对象的朝向；
跟踪结果可信度评估部件，评估该第一对象的初始跟踪结果的可信度；
可信分支模型建立或更新部件，如果该第一对象的初始跟踪结果的可信度不低于预定阈值，则基于检测到的该第一对象的朝向，提取跟踪到的第一图像中的该第一对象的特征，以及建立或更新该第一对象的与该朝向相关联的朝向对应特征模型，其中对象的朝向对应特征模型基于在不同朝向下的对象的各个特征的取值来表征对象，在对象的朝向不同的情况下，对象的各个特征中的至少一个取值会不同；
不可信分支对象识别和模型建立更新部件，如果该第一对象的初始跟踪结果的可信度低于预定阈值，则基于检测到的该第一对象的朝向，获取与该第一对象的朝向对应的各个候选对象的朝向对应特征模型，基于如此获取到的与该第一对象的朝向对应的各个候选对象的朝向对应特征模型和该第一对象的特征来识别该第一对象，并根据识别结果来更新或建立第一对象的第一跟踪方法的模型，以及更新或建立第一对象的朝向对应特征模型。
10.一种识别图像中的对象的对象识别装置，包括：
图像接收部件，接收第一图像，该第一图像包括至少一个待识别对象；
朝向检测部件，检测待识别对象的朝向；
特征值提取部件，对于预定的各个特征，提取待识别对象的特征值；
朝向对应特征模型获得部件，基于检测到的待识别对象的朝向，获得与该朝向对应的候选对象的朝向对应特征模型，其中对象的朝向对应特征模型基于在不同朝向下的对象的各个特征的取值来表征对象，在对象的朝向不同的情况下，对象的各个特征中的至少一个取值会不同；以及
对象识别部件，基于提取的待识别对象的特征和所获得的与对象的朝向对应的朝向对应特征模型，识别对象。
CN201310533708.9A 2013-11-01 2013-11-01 对象跟踪方法和装置、对象识别方法和装置 Expired - Fee Related CN104599287B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310533708.9A CN104599287B (zh) 2013-11-01 2013-11-01 对象跟踪方法和装置、对象识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310533708.9A CN104599287B (zh) 2013-11-01 2013-11-01 对象跟踪方法和装置、对象识别方法和装置

Publications (2)

Publication Number Publication Date
CN104599287A true CN104599287A (zh) 2015-05-06
CN104599287B CN104599287B (zh) 2018-01-16

Family

ID=53125037

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310533708.9A Expired - Fee Related CN104599287B (zh) 2013-11-01 2013-11-01 对象跟踪方法和装置、对象识别方法和装置

Country Status (1)

Country Link
CN (1) CN104599287B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105518744A (zh) * 2015-06-29 2016-04-20 北京旷视科技有限公司 行人再识别方法及设备
CN105913003A (zh) * 2016-04-07 2016-08-31 国家电网公司 一种多特征多模型的行人检测方法
CN107851318A (zh) * 2015-08-18 2018-03-27 高通股份有限公司 用于对象跟踪的***和方法
CN107924465A (zh) * 2016-03-18 2018-04-17 Jvc 建伍株式会社 物体识别装置、物体识别方法以及物体识别程序
CN108470356A (zh) * 2018-03-15 2018-08-31 浙江工业大学 一种基于双目视觉的目标对象快速测距方法
CN108885684A (zh) * 2016-03-30 2018-11-23 北京市商汤科技开发有限公司 用于检测视频中的对象的方法和***
CN109716256A (zh) * 2016-08-06 2019-05-03 深圳市大疆创新科技有限公司 用于跟踪目标的***和方法
CN109784259A (zh) * 2019-01-08 2019-05-21 江河瑞通（北京）技术有限公司 基于图像识别的水体透明度智能识别方法及塞氏盘组件
CN110163183A (zh) * 2019-05-30 2019-08-23 北京旷视科技有限公司 目标检测算法的评估方法、装置、计算机设备和存储介质
CN110580427A (zh) * 2018-06-08 2019-12-17 杭州海康威视数字技术股份有限公司 一种人脸检测方法、装置及设备
CN110619658A (zh) * 2019-09-16 2019-12-27 北京地平线机器人技术研发有限公司 对象跟踪方法、对象跟踪装置和电子设备
CN110895819A (zh) * 2018-09-12 2020-03-20 长沙智能驾驶研究院有限公司 目标跟踪方法、装置、计算机可读存储介质和计算机设备
CN112041862A (zh) * 2018-04-25 2020-12-04 罗伯特·博世有限公司 用于通过自主车辆进行乘客识别的方法和车辆***
CN113033459A (zh) * 2021-04-09 2021-06-25 平安国际智慧城市科技股份有限公司 图像识别方法、装置、计算机设备及存储介质
WO2024012367A1 (zh) * 2022-07-11 2024-01-18 影石创新科技股份有限公司 视觉目标跟踪方法、装置、设备以及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101996400A (zh) * 2009-08-19 2011-03-30 索尼株式会社 更新目标检测器的方法和装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101996400A (zh) * 2009-08-19 2011-03-30 索尼株式会社 更新目标检测器的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘昊 等: "基于BP神经网络的人脸朝向分类的新思路", 《计算机科学》 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105518744B (zh) * 2015-06-29 2018-09-07 北京旷视科技有限公司 行人再识别方法及设备
WO2017000115A1 (zh) * 2015-06-29 2017-01-05 北京旷视科技有限公司 行人再识别方法及设备
CN105518744A (zh) * 2015-06-29 2016-04-20 北京旷视科技有限公司 行人再识别方法及设备
CN107851318B (zh) * 2015-08-18 2021-08-17 高通股份有限公司 用于对象跟踪的***和方法
CN107851318A (zh) * 2015-08-18 2018-03-27 高通股份有限公司 用于对象跟踪的***和方法
CN107924465A (zh) * 2016-03-18 2018-04-17 Jvc 建伍株式会社 物体识别装置、物体识别方法以及物体识别程序
CN108885684A (zh) * 2016-03-30 2018-11-23 北京市商汤科技开发有限公司 用于检测视频中的对象的方法和***
CN108885684B (zh) * 2016-03-30 2022-04-01 北京市商汤科技开发有限公司 用于检测视频中的对象的方法和***
CN105913003B (zh) * 2016-04-07 2019-06-07 国家电网公司 一种多特征多模型的行人检测方法
CN105913003A (zh) * 2016-04-07 2016-08-31 国家电网公司 一种多特征多模型的行人检测方法
CN109716256A (zh) * 2016-08-06 2019-05-03 深圳市大疆创新科技有限公司 用于跟踪目标的***和方法
US11906983B2 (en) 2016-08-06 2024-02-20 SZ DJI Technology Co., Ltd. System and method for tracking targets
US11148804B2 (en) 2016-08-06 2021-10-19 SZ DJI Technology Co., Ltd. System and method for tracking targets
CN108470356A (zh) * 2018-03-15 2018-08-31 浙江工业大学 一种基于双目视觉的目标对象快速测距方法
CN108470356B (zh) * 2018-03-15 2020-08-11 浙江工业大学 一种基于双目视觉的目标对象快速测距方法
CN112041862A (zh) * 2018-04-25 2020-12-04 罗伯特·博世有限公司 用于通过自主车辆进行乘客识别的方法和车辆***
CN110580427A (zh) * 2018-06-08 2019-12-17 杭州海康威视数字技术股份有限公司 一种人脸检测方法、装置及设备
CN110895819A (zh) * 2018-09-12 2020-03-20 长沙智能驾驶研究院有限公司 目标跟踪方法、装置、计算机可读存储介质和计算机设备
CN110895819B (zh) * 2018-09-12 2022-11-29 长沙智能驾驶研究院有限公司 目标跟踪方法、装置、计算机可读存储介质和计算机设备
CN109784259B (zh) * 2019-01-08 2021-04-13 江河瑞通（北京）技术有限公司 基于图像识别的水体透明度智能识别方法及塞氏盘组件
CN109784259A (zh) * 2019-01-08 2019-05-21 江河瑞通（北京）技术有限公司 基于图像识别的水体透明度智能识别方法及塞氏盘组件
CN110163183A (zh) * 2019-05-30 2019-08-23 北京旷视科技有限公司 目标检测算法的评估方法、装置、计算机设备和存储介质
CN110619658A (zh) * 2019-09-16 2019-12-27 北京地平线机器人技术研发有限公司 对象跟踪方法、对象跟踪装置和电子设备
CN110619658B (zh) * 2019-09-16 2022-04-19 北京地平线机器人技术研发有限公司 对象跟踪方法、对象跟踪装置和电子设备
CN113033459A (zh) * 2021-04-09 2021-06-25 平安国际智慧城市科技股份有限公司 图像识别方法、装置、计算机设备及存储介质
WO2024012367A1 (zh) * 2022-07-11 2024-01-18 影石创新科技股份有限公司 视觉目标跟踪方法、装置、设备以及存储介质

Also Published As

Publication number Publication date
CN104599287B (zh) 2018-01-16

Similar Documents

Publication Publication Date Title
CN104599287A (zh) 对象跟踪方法和装置、对象识别方法和装置
US11727661B2 (en) Method and system for determining at least one property related to at least part of a real environment
CN109076198B (zh) 基于视频的对象跟踪遮挡检测***、方法和设备
US9811721B2 (en) Three-dimensional hand tracking using depth sequences
US9098740B2 (en) Apparatus, method, and medium detecting object pose
CN110782483B (zh) 基于分布式相机网络的多视图多目标跟踪方法及***
CN113196296A (zh) 使用几何上下文检测人群中的对象
Boniardi et al. Robot localization in floor plans using a room layout edge extraction network
CN103679742B (zh) 对象跟踪方法和装置
CA3094424A1 (en) Safety monitoring and early-warning method for man-machine interaction behavior of underground conveyor belt operator
Ko et al. Fire detection and 3D surface reconstruction based on stereoscopic pictures and probabilistic fuzzy logic
JP2012083855A (ja) 物体認識装置及び物体認識方法
Lee et al. Driving recorder based on-road pedestrian tracking using visual SLAM and constrained multiple-kernel
KR101460313B1 (ko) 시각 특징과 기하 정보를 이용한 로봇의 위치 추정 장치 및 방법
Liem et al. Multi-person localization and track assignment in overlapping camera views
JP2016095850A (ja) 物体危険性識別方法と装置
KR101406334B1 (ko) 신뢰도와 지연된 결정을 활용한 다중 객체 추적 시스템 및 방법
US10390799B2 (en) Apparatus and method for interpolating lesion detection
Chowdhury et al. Robust human detection and localization in security applications
Huang et al. Multi‐class obstacle detection and classification using stereovision and improved active contour models
Rougier et al. 3D head trajectory using a single camera
KR20110073924A (ko) 일차원 사영된 에지정보를 이용한 보행자 검출 장치 및 방법
KR101339616B1 (ko) 객체 검출 및 추적 방법과 장치
Lee et al. Recognizing human-vehicle interactions from aerial video without training
Park et al. Robust facial pose estimation using landmark selection method for binocular stereo vision

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180116