CN103177269B - 用于估计对象姿态的设备和方法 - Google Patents

用于估计对象姿态的设备和方法 Download PDF

Info

Publication number
CN103177269B
CN103177269B CN201110458172.XA CN201110458172A CN103177269B CN 103177269 B CN103177269 B CN 103177269B CN 201110458172 A CN201110458172 A CN 201110458172A CN 103177269 B CN103177269 B CN 103177269B
Authority
CN
China
Prior art keywords
probability density
tracking
pose probability
estimation
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110458172.XA
Other languages
English (en)
Other versions
CN103177269A (zh
Inventor
王西颖
高书征
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Original Assignee
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Samsung Telecommunications Technology Research Co Ltd, Samsung Electronics Co Ltd filed Critical Beijing Samsung Telecommunications Technology Research Co Ltd
Priority to CN201110458172.XA priority Critical patent/CN103177269B/zh
Priority to KR1020120122003A priority patent/KR101994316B1/ko
Priority to US13/725,067 priority patent/US9087379B2/en
Publication of CN103177269A publication Critical patent/CN103177269A/zh
Application granted granted Critical
Publication of CN103177269B publication Critical patent/CN103177269B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

提供一种用于估计对象姿态的设备和方法，所述设备包括：对象输入单元，用于将对象输入到对象跟踪单元和对象识别单元；对象跟踪单元，用于基于跟踪方法来获取所述对象的跟踪姿态概率密度；对象识别单元，用于基于训练模型来获取所述对象的识别姿态概率密度；以及结合单元，用于通过将跟踪姿态概率密度与识别姿态概率密度进行融合来获取所述对象的估计姿态概率密度，并基于所述对象的估计姿态概率密度来估计所述对象的对象姿态。通过密度融合，能够纠正对象跟踪过程中的累积误差，取得更为准确的对象估计结果。

Description

用于估计对象姿态的设备和方法
技术领域
本发明涉及用于估计对象姿态的技术，具体说来，涉及一种能够对于对象的连续姿态进行估计的设备和方法。
背景技术
对象姿态估计是计算机视觉、人机交互和其它相关领域的一项重要内容。例如，当用户的头部作为进行估计的对象时，可通过估计用户的连续头部姿态来了解用户所要表达的丰富的个性化信息，比如，演讲者的头部姿态可帮助别人了解他的演讲内容和情绪。此外，对象(例如，头部)姿态的估计结果可用于进行更为友好的人机交互，例如，如果可通过估计头部姿态得出用户视线的焦点，就能够进行更为有效的人机交互。
目前的对象姿态估计方法大致上可分为基于跟踪的方法和基于学习的方法这两种。基于跟踪的方法主要是在视频序列中的当前帧与前一帧之间，以成对配准的方式来估计对象的姿态，其优点是短时间尺度下相对姿态精度较高，但是这种方法由于累积误差容易产生跟踪漂移，而当对象旋转幅度大或者运动快时，又容易由于特征匹配错误而跟踪失败。尽管可利用关键帧技术来解决跟踪漂移问题，但是如何在现实中合理地选取并更新关键帧是个难以解决的问题。
另一方面，基于学习的方法通常将对象姿态估计定义为分类问题或者回归问题，通过具有标签的样本来进行训练，利用得到的训练模型来估计对象的姿态。基于学习的方法的缺点在于：分类方法只能完成对象姿态的粗略估计，而回归方法在现实环境中易受影响，无法取得精确的估计结果。
因此，尽管已就对象姿态估计进行了大量的研究工作，但是在现实世界中用计算机视觉的方法连续稳定地获取对象姿态依然是个难题，特别是在光照变化剧烈，对象旋转角度大或对象运动速度快等情况下更难实现有效的对象姿态估计。
发明内容
本发明的示例性实施例在于提供一种用于估计对象姿态的设备和方法，从而克服现有技术中难以有效地实现对象姿态跟踪的问题。
根据本发明的一方面，提供一种用于估计对象姿态的设备，所述设备包括：对象输入单元，用于将对象输入到对象跟踪单元和对象识别单元；对象跟踪单元，用于基于跟踪方法来获取所述对象的跟踪姿态概率密度；对象识别单元，用于基于训练模型来获取所述对象的识别姿态概率密度；以及结合单元，用于通过将跟踪姿态概率密度与识别姿态概率密度进行融合来获取所述对象的估计姿态概率密度，并基于所述对象的估计姿态概率密度来估计所述对象的对象姿态。
所述设备还可包括：在线更新单元，用于基于由结合单元估计的所述对象姿态来更新对象识别单元的训练模型。
所述对象识别单元可首先对包含输入对象的图像进行Gabor小波变换，然后，从Gabor小波变换后的图像提取对象的亮度分布，作为对象的特征，从而针对所述对象的特征基于训练模型来获取所述对象的识别姿态概率密度。
所述训练模型可以是随机森林模型，并且，在线更新单元可通过以下处理来更新所述随机森林模型：确定所述对象姿态是否为在线关键样本，当所述对象姿态为在线关键样本时，设置该在线关键样本在随机森林中的相应叶节点，并相应地更新整个随机森林模型。
对象识别单元可计算出相邻两帧图像中对象的相对姿态，并利用该相对姿态来指导跟踪姿态概率密度的传播。
所述对象可包括人的头部。
对象识别单元可通过以下处理来计算相邻两帧图像中头部的相对姿态：基于人的头部中的匹配特征点执行POSIT处理，然后，利用正交迭代方法对POIST处理后内围的匹配特征点进行处理。
结合单元可以将跟踪姿态概率密度作为基础，针对识别姿态概率密度中的每个识别姿态进行密度融合来获取所述对象的估计姿态概率密度。
结合单元可将得到的估计姿态概率密度中的每种估计姿态进行随机扩散，并基于随机扩散后的估计姿态概率密度来估计所述对象的对象姿态。
当结合单元基于随机扩散后的估计姿态概率密度来估计所述对象的对象姿态时，所述结合单元可重新获取估计姿态概率密度中每种估计姿态的概率值，其中，所述结合单元可计算每种估计姿态的最大似然值作为它的概率值。
结合单元可将重新获取的最大概率值对应的估计姿态作为所述对象的估计姿态。
根据本发明的另一方面，提供一种用于估计对象姿态的方法，所述方法包括：输入待估计的对象；基于跟踪方法来获取所述对象的跟踪姿态概率密度；基于训练模型来获取所述对象的识别姿态概率密度；以及通过将跟踪姿态概率密度与识别姿态概率密度进行融合来获取所述对象的估计姿态概率密度，并基于所述对象的估计姿态概率密度来估计所述对象的对象姿态。
所述方法还可包括：基于估计的所述对象姿态来更新训练模型。
基于跟踪方法来获取所述对象的跟踪姿态概率密度的步骤可包括：计算出相邻两帧图像中对象的相对姿态，并利用该相对姿态来指导跟踪姿态概率密度的传播。
基于跟踪方法来获取所述对象的跟踪姿态概率密度的步骤可与基于训练模型来获取所述对象的识别姿态概率密度的步骤被并行执行。
根据本发明的所述对象姿态估计设备和方法，能够利用静态的对象识别结果来影响动态的对象跟踪结果，从而解决对象跟踪过程中的跟踪漂移问题。
附图说明
通过下面结合附图进行的对实施例的描述，本发明的上述和/或其它目的和优点将会变得更加清楚，其中：
图1是示出根据本发明示例性实施例的对象姿态估计设备的框图；
图2是示出根据本发明示例性实施例的对象姿态估计方法的流程图；
图3是示出根据本发明示例性实施例的通过将跟踪姿态概率密度与识别姿态概率密度进行融合来估计对象姿态的示图；以及
图4是示出根据本发明示例性实施例对训练模型进行在线更新的效果图。
具体实施方式
现将详细参照本发明的实施例，所述实施例的示例在附图中示出，其中，相同的标号始终指的是相同的部件。以下将通过参照附图来说明所述实施例，以便解释本发明。
图1是示出根据本发明示例性实施例的对象姿态估计设备的框图。如图1所示，根据本发明示例性实施例的对象姿态估计设备可包括：对象输入单元10、对象跟踪单元20、对象识别单元30和结合单元40。
具体说来，对象输入单元10用于将对象输入到对象跟踪单元20和对象识别单元30，应注意，根据本发明示例性实施例的对象姿态可包括各种人体部位(例如，头部、躯干、四肢等)的姿态，还可包括非人体的各种对象的姿态，例如，运动的物体等。
对象跟踪单元20基于跟踪方法来获取所述对象的跟踪姿态概率密度，对象识别单元30基于训练模型来获取所述对象的识别姿态概率密度，结合单元40将跟踪姿态概率密度与识别姿态概率密度进行融合，从而获取所述对象的估计姿态概率密度，基于所述对象的估计姿态概率密度，结合单元40可估计出所述对象的对象姿态。从图1可以看出，在根据本发明示例性实施例的对象姿态估计设备中，融合了动态的姿态跟踪结果和静态的姿态识别结果，通过两者的概率密度融合，可防止动态的姿态跟踪结果中的误差被不断累积，从而解决了跟踪漂移问题。
此外，作为附加部件，图1的对象姿态估计设备还可包括在线更新单元50，该在线更新单元50可基于由结合单元40估计出的对象姿态来更新对象识别单元30中的训练模型。通过这种方式，可实质上扩充训练模型的样本数量，并且所增加的样本更符合真实环境，从而进一步提高了训练模型的泛化性能。此外，这种在线更新的方式不需要对大部分的样本进行存储，对内存的要求较低。
本领域技术人员应理解：本发明并不受限于图1所示的对象姿态估计设备的具体结构，例如，对象输入单元10或结合单元40可被并入对象跟踪单元20或对象识别单元30中，而在线更新单元50也可被并入对象识别单元30中，另外，还可对上述单元进行各种组合，以通过单个控制器来实现所组合的多个单元。也就是说，对于本领域技术人员而言，可对图1所示的设备结构进行各种形式和细节上的变形，以执行基本一致的操作。
图2是示出根据本发明示例性实施例的对象姿态估计方法的流程图，可通过图1所示的对象姿态估计设备来执行所述对象姿态估计方法。
参照图2，在步骤S100，由对象输入单元10将对象输入到对象跟踪单元20和对象识别单元30。这里，所述对象的数据格式不需要受限于某种特定格式，任何能够实现对象跟踪和对象识别的数据格式的图像均可被应用于本发明(例如，灰度图像、RGB图像、红外图像，深度图像等)。此外，优选地，在某些情况下，所述对象输入单元10还可对诸如头部的对象执行AAM(主动外观模型)拟合以及面部定位等处理，以从原始图像中分离出头部，再将头部作为待估计的对象输入到对象跟踪单元20和对象识别单元30。
在步骤S200，由对象跟踪单元200基于跟踪方法来获取所述对象的跟踪姿态概率密度。具体说来，可将跟踪的对象看作一个刚体，然后针对所述对象的每个观测状态，通过最大化对象运动的后验概率来优化跟踪过程，从而得到跟踪姿态概率密度。本领域的技术人员应知晓，可利用诸如粒子滤波等各种跟踪方法来实现对输入对象的连续姿态的跟踪，也就是说，任何能够基于连续输入的对象得出其跟踪姿态概率分布的跟踪方法均可应用于本发明。
优选地，本发明还可采用一种改进的跟踪方式来获取对象的跟踪姿态概率密度，在该优选方式下，对于成功配准的相邻两帧图像，对象跟踪单元20计算出所述相邻两帧图像的相对姿态，并利用该相对姿态来指导跟踪姿态概率密度的传播，从而得到更为准确的跟踪姿态概率密度。
以下将以头部为例来具体说明对象跟踪单元20根据上述优选方式执行操作的示例。
对于成功配准的相邻两帧图像，假设针对前一帧图像估计出的头部姿态概率密度由粒子集Pyaw(N)和Ppitch(N)表示，其中，Pyaw(N)表示头部姿态的N个样本的水平偏转角(yaw)的概率分布，Ppitch(N)表示头部姿态的N个样本的垂直倾斜角(pitch)的概率分布。这里，对于第一帧图像而言，由于其不具有前一帧图像，因此，可选取概率值相同的任意粒子集Pyaw(N)和Ppitch(N)，或其它适当的头部姿态概率密度作为其进行姿态跟踪的基础。
然后，对象跟踪单元20针对所述相邻两帧图像提取人脸上的二维特征点并建立相应的对应关系，然后，借助3D人脸模型，利用3D姿态估计方法(诸如POSIT方法)，得到所述特征点的三维坐标，从而重建所述相邻两帧图像的相对姿态δt(R，T)，其中，t指示当前时刻，R指示相对姿态的旋转矩阵，T指示相对姿态的平移向量。优选地，为了进一步确保收敛性，可在POSIT处理之后，进一步利用正交迭代(OI，orthogonal iteration)方法对内围的匹配特征点进行处理。
在计算相对姿态δt(R，T)时，可选取至少4对匹配的特征点以获取能够有效地影响对象姿态概率密度(即，恢复对象姿态)的相对姿态，为此，对象跟踪单元20可随机选取用于恢复对象姿态的匹配特征点的最小集，然后选取大量的可以计算相对姿态的匹配特征点。对每个恢复的对象姿态，根据3D人脸模型的三维顶点到图像平面的投影误差计算其置信度。最后选取置信度最高的姿态作为重建的相对姿态δt(R，T)。之后，粒子集Pyaw(N)和Ppitch(N)中的所有样本都基于重建的相对姿态δt(R，T)进行调整更新，从而实现密度传播过程。更新后的粒子集Pyaw(N)和Ppitch(N)即为对象跟踪单元20基于跟踪算法得到的当前帧图像的跟踪姿态概率分布。
在步骤S300，由对象识别单元30基于训练模型来获取当前帧图像中所述对象的识别姿态概率密度。根据本发明的示例性实施例，对象识别单元30可采用任意针对静态图像进行对象姿态识别的方式来获取识别姿态概率密度，从而通过与步骤S200中获取的跟踪姿态概率密度进行融合以纠正对象跟踪单元20中产生的累积误差。这里，基于训练模型获取识别姿态概率密度的方式有助于在复杂的真实环境(例如，光照变化强烈或出现严重的对象遮挡问题等)下补偿跟踪失败导致的估计失效问题。
作为示例，对象识别单元30可基于随机森林模型来获取对象的识别姿态概率密度。这里的随机森林模型可以是事先通过离线训练获取的预测树集合，其能够依据回归算法针对每一帧输入对象的特征得出相应的各个姿态的概率密度。利用随机森林的回归来实现对象姿态识别是本领域的公知技术，在此不做赘述。
优选地，根据本发明的示例性实施例，在提取对象的特征之前，首先对原始图像进行Gabor小波变换，这样可在复杂的现实环境下改进特征提取的性能，使得识别结果对光照、漂移和形变等表现出更好的鲁棒性。
针对Gabor变换后的对象，对象识别单元30可提取对象划分为网格(例如，8×8网格)后的亮度分布，作为对象的特征，并基于该特征通过随机森林的回归得到相应的识别姿态概率密度。这里，每个特征都被归一化为零均值和单位方差，以均衡不同Gabor内核的尺度变化。
应注意，步骤S200和步骤S300并不受限于以上描述的顺序，其也可被并行执行。
然后，在步骤S400，由结合单元40将在步骤S200得到的跟踪姿态概率密度与在步骤300得到的识别姿态概率密度进行融合，从而获取对象的估计姿态概率密度，并基于所述对象的估计姿态概率密度来估计所述对象的对象姿态。
图3是示出根据本发明示例性实施例的通过将跟踪姿态概率密度与识别姿态概率密度进行融合来估计对象姿态的示图。在图3示出的(A)、(A’)、(B)、(C)和(C’)中，每个圆圈表示一种姿态，圆圈的大小表示该姿态的概率值。具体说来，图3中的(A)表示针对前一帧图像估计出的对象的姿态概率密度，图3中的(A’)表示基于当前帧与前一帧之间的相对姿态δt(R，T)对前一帧的对象姿态概率密度(A)进行调整更新(即，概率密度传播)而得到的当前帧对象的跟踪姿态概率密度，图3中的(B)表示基于随机森林模型得到的当前帧对象的识别姿态概率密度，图3中的(C)表示通过将跟踪姿态概率密度(A’)与识别姿态概率密度(B)进行融合而得到的估计姿态概率密度，其中，在进行所述融合处理时，结合单元40以跟踪姿态概率密度(A’)作为基础，针对识别姿态概率密度(B)中的每个识别姿态进行密度融合。具体说来，结合单元40可判断跟踪姿态概率密度(A’)中是否存在某种跟踪姿态，使得该跟踪姿态与所述识别姿态之间的距离小于一定阈值(该阈值的取值可根据需要人为设定、或通过其它方式计算而得)，如果存在这样的跟踪姿态，则增加所述跟踪姿态的概率值(例如，将所述跟踪姿态的概率值增加1/M，其中，M为随机森林中随机树的数量)，如果不存在相应的跟踪姿态，则将所述识别姿态作为一种新的跟踪姿态添加到跟踪姿态概率密度中，该新的跟踪姿态的概率值可为1/M。在对识别姿态概率密度(B)中的所有识别姿态执行过上述处理之后，便得到融合后的估计姿态概率密度，其中，各个姿态的概率值被归一化处理。此外，作为优选方式，可删除其中概率较低的姿态，仅根据需要保留概率较高的姿态进行后续处理。
在上述密度融合处理之后，可选地，结合单元40将得到的估计姿态概率密度中的每种估计姿态进行随机扩散(例如，布朗运动)，以获取更为有效的估计姿态概率密度(C’)。
在此基础上，结合单元40将重新获取估计姿态概率密度(C’)中每种估计姿态的概率值，这里，可将每种估计姿态的最大似然值作为它的概率值。优选地，可将每种姿态的似然概率设置为与提取的特征点和二维投影之间的位置差异和成正比，其中，所述二维投影对应于所述特征点的三维坐标。而对于由粒子集Pyaw(N)和Ppitch(N)表示的头部姿态而言，第i个水平偏离样本Pyaw-i的概率值是针对Ppitch(N)中所有垂直倾斜样本估计的极大似然值，第j个垂直倾斜样本Ppitch-j的权重值是针对Pyaw(N)中所有水平偏离样本估计的极大似然值。
在此基础上，结合单元40将概率值最大的姿态作为估计出的对象姿态。
以上示出的是依据结合单元40得到的跟踪姿态来重新计算每种姿态的概率值，从而确定最终估计姿态的示例，然而，本领域技术人员应理解：本发明并不受限于上述示例，任何可用于根据跟踪姿态来估计出每种姿态的概率值的方式均可应用于本发明。
此外，作为优选的附加处理，在步骤S500，在线更新单元50可基于由结合单元40在步骤S400估计出的最终对象姿态来更新对象识别单元30中的训练模型。例如，在随机森林模型作为训练模型的情况下，在线更新单元50可将所述估计出的对象姿态看作袋外(out-of-bag)样本，并计算随机森林中各个树的袋外误差(OOBE，out-of-bag-error)以及整个随机森林的OOBE，如果整个森林的OBBE大于阈值(例如，0.5或其它根据实际应用设置的值)，则将所述对象姿态作为在线关键样本，设置该在线关键样本在随机森林中的相应叶节点，并相应地更新整个随机森林模型。
作为示例，在已经确定在线关键样本S之后，对于随机森林中的当前树Tt而言，可确定该当前树Tt在加入关键样本S后的OOBE值是否大于阈值(例如，0.5)，如果小于阈值，进行叶子节点更新算法。
以下详细描述叶子节点更新算法，对于所述在线关键样本S，如果叶子节点中已经存在与该样本S的姿态一致或近似的节点类别，则将节点类别的个数加1，否则，在叶子节点中增加新的节点类别，该新的节点类别具有样本S，同时，将叶子节点的总类别个数加1。接着，判断是否需要对当前的叶子节点进行分类，例如，确定叶子节点的总类别个数是否大于一定阈值(该阈值可根据实际情况来设置)，如果大于阈值，则按照现有技术中的节点***方法进行节点***，否则，可结束在线更新过程。
图4是示出根据本发明示例性实施例对训练模型进行在线更新的效果图，图4中的(A)示出本领域常用的Boston University的jam7测试图像序列，在图4中的(B)中，Groundtruth示出针对上述测试图像利用磁传感器获得的真实头部yaw姿态，RF示出基于传统的离线随机森林进行识别的结果，OnlineRF-1和OnlineRF-2是基于本发明提出的在线更新的随机森林进行识别的结果，由此可见，本发明提出的基于估计出的对象姿态来更新训练模型的方式能够取得更接近真实对象的识别结果。
在根据本发明示例性实施例的对象姿态估计设备和对象姿态估计方法中，融合了动态的姿态跟踪结果和静态的姿态识别结果，从而有效地防止了姿态跟踪结果中的误差被不断累积，从而解决了跟踪漂移问题。此外，本发明还可利用相邻图像的相对姿态来指导跟踪姿态概率密度的传播，从而得到更为准确的跟踪姿态概率密度。此外，本发明在获取识别姿态概率密度时使用的训练模型可采取在线更新的方式被持续训练，通过这种方式，可实质上扩充训练模型的样本数量，并且所增加的样本更符合真实环境，从而进一步提高了训练模型的泛化性能。此外，这种在线更新的方式不需要对大部分的样本进行存储，对内存的要求较低。
应注意，根据本发明示例性实施例的对象姿态估计设备可被包括在用于进行人机交互的设备中，例如，所述人机交互的设备可根据对象姿态估计设备估计出的头部姿态以及提取的眼睛位置来合成视窗。
本发明的以上各个实施例仅仅是示例性的，而本发明并不受限于此。本领域技术人员应该理解：任何涉及利用跟踪姿态和识别姿态融合以估计对象姿态的方式均落入本发明的范围之中。在不脱离本发明的原理和精神的情况下，可对这些实施例进行改变，其中，本发明的范围在权利要求及其等同物中限定。

Claims (15)

1.一种用于估计对象姿态的设备，所述设备包括：
对象输入单元，用于将对象输入到对象跟踪单元和对象识别单元；
对象跟踪单元，用于基于跟踪方法来获取所述对象的跟踪姿态概率密度；
对象识别单元，用于基于训练模型来获取所述对象的识别姿态概率密度；以及
结合单元，用于通过将跟踪姿态概率密度与识别姿态概率密度进行融合来获取所述对象的估计姿态概率密度，并基于所述对象的估计姿态概率密度来估计所述对象的对象姿态。
2.如权利要求1所述的设备，还包括：
在线更新单元，用于基于由结合单元估计的所述对象姿态来更新对象识别单元的训练模型。
3.如权利要求1所述的设备，其中，所述对象识别单元首先对包含输入对象的图像进行Gabor小波变换，然后，从Gabor小波变换后的图像提取对象的亮度分布，作为对象的特征，从而针对所述对象的特征基于训练模型来获取所述对象的识别姿态概率密度。
4.如权利要求2所述的设备，其中，所述训练模型是随机森林模型，并且，在线更新单元通过以下处理来更新所述随机森林模型：确定所述对象姿态是否为在线关键样本，当所述对象姿态为在线关键样本时，设置该在线关键样本在随机森林中的相应叶节点，并相应地更新整个随机森林模型。
5.如权利要求1所述的设备，其中，对象识别单元计算出相邻两帧图像中对象的相对姿态，并利用该相对姿态来指导跟踪姿态概率密度的传播。
6.如权利要求5所述的设备，其中，所述对象包括人的头部。
7.如权利要求6所述的设备，其中，对象识别单元通过以下处理来计算相邻两帧图像中头部的相对姿态：基于人的头部中的匹配特征点执行POSIT处理，然后，利用正交迭代方法对POIST处理后内围的匹配特征点进行处理。
8.如权利要求1所述的设备，其中，结合单元以跟踪姿态概率密度作为基础，针对识别姿态概率密度中的每个识别姿态进行密度融合来获取所述对象的估计姿态概率密度。
9.如权利要求8所述的设备，其中，结合单元将得到的估计姿态概率密度中的每种估计姿态进行随机扩散，并基于随机扩散后的估计姿态概率密度来估计所述对象的对象姿态。
10.如权利要求9所述的设备，其中，当结合单元基于随机扩散后的估计姿态概率密度来估计所述对象的对象姿态时，所述结合单元重新获取估计姿态概率密度中每种估计姿态的概率值，其中，所述结合单元计算每种估计姿态的最大似然值作为它的概率值。
11.如权利要求10所述的设备，其中，结合单元将重新获取的最大概率值对应的估计姿态作为所述对象的估计姿态。
12.一种用于估计对象姿态的方法，所述方法包括：
输入待估计的对象；
基于跟踪方法来获取所述对象的跟踪姿态概率密度；
基于训练模型来获取所述对象的识别姿态概率密度；以及
通过将跟踪姿态概率密度与识别姿态概率密度进行融合来获取所述对象的估计姿态概率密度，并基于所述对象的估计姿态概率密度来估计所述对象的对象姿态。
13.如权利要求12所述的方法，还包括：
基于估计的所述对象姿态来更新训练模型。
14.如权利要求12所述的方法，其中，基于跟踪方法来获取所述对象的跟踪姿态概率密度的步骤包括：计算出相邻两帧图像中对象的相对姿态，并利用该相对姿态来指导跟踪姿态概率密度的传播。
15.如权利要求14所述的方法，其中，基于跟踪方法来获取所述对象的跟踪姿态概率密度的步骤与基于训练模型来获取所述对象的识别姿态概率密度的步骤被并行执行。
CN201110458172.XA 2011-12-23 2011-12-23 用于估计对象姿态的设备和方法 Active CN103177269B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201110458172.XA CN103177269B (zh) 2011-12-23 2011-12-23 用于估计对象姿态的设备和方法
KR1020120122003A KR101994316B1 (ko) 2011-12-23 2012-10-31 객체 포즈 추정을 위한 장치 및 방법
US13/725,067 US9087379B2 (en) 2011-12-23 2012-12-21 Apparatus and method for estimating pose of object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110458172.XA CN103177269B (zh) 2011-12-23 2011-12-23 用于估计对象姿态的设备和方法

Publications (2)

Publication Number Publication Date
CN103177269A CN103177269A (zh) 2013-06-26
CN103177269B true CN103177269B (zh) 2017-12-15

Family

ID=48637110

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110458172.XA Active CN103177269B (zh) 2011-12-23 2011-12-23 用于估计对象姿态的设备和方法

Country Status (3)

Country Link
US (1) US9087379B2 (zh)
KR (1) KR101994316B1 (zh)
CN (1) CN103177269B (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9418480B2 (en) * 2012-10-02 2016-08-16 Augmented Reailty Lab LLC Systems and methods for 3D pose estimation
KR101933921B1 (ko) * 2013-06-03 2018-12-31 삼성전자주식회사 포즈 추정 방법 및 장치
KR101509934B1 (ko) * 2013-10-10 2015-04-16 재단법인대구경북과학기술원 정면 얼굴 자세 유도 장치, 및 정면 얼굴 자세 유도 방법
KR101515308B1 (ko) * 2013-12-31 2015-04-27 재단법인대구경북과학기술원 얼굴 자세 추정 장치 및 그 방법
KR101982258B1 (ko) * 2014-09-19 2019-05-24 삼성전자주식회사 오브젝트 검출 방법 및 오브젝트 검출 장치
CN104318264B (zh) * 2014-10-14 2018-02-02 武汉科技大学 一种基于人眼优先拟合的人脸特征点跟踪方法
CN104700431B (zh) * 2015-02-10 2017-08-11 浙江工业大学 一种基于显著度的柔性对象自然轮廓跟踪方法
US9576190B2 (en) * 2015-03-18 2017-02-21 Snap Inc. Emotion recognition in video conferencing
US10360718B2 (en) * 2015-08-14 2019-07-23 Samsung Electronics Co., Ltd. Method and apparatus for constructing three dimensional model of object
CN107025661B (zh) * 2016-01-29 2020-08-04 成都理想境界科技有限公司 一种实现增强现实的方法、服务器、终端及***
CN106023211B (zh) * 2016-05-24 2019-02-26 深圳前海勇艺达机器人有限公司 基于深度学习的机器人图像定位方法及***
US10339708B2 (en) * 2016-11-01 2019-07-02 Google Inc. Map summarization and localization
CN106570747A (zh) * 2016-11-03 2017-04-19 济南博图信息技术有限公司 结合手势识别的眼镜在线适配方法及***
CN106599873A (zh) * 2016-12-23 2017-04-26 安徽工程大学机电学院 基于三维姿态信息的人物身份识别方法
US11432879B2 (en) 2017-08-18 2022-09-06 Siemens Healthcare Gmbh Method and apparatus for wide area multi-body 6D pose tracking system
CN110264495B (zh) * 2017-12-29 2024-02-02 华为技术有限公司 一种目标跟踪方法及装置
WO2019129255A1 (zh) 2017-12-29 2019-07-04 华为技术有限公司 一种目标跟踪方法及装置
KR102075745B1 (ko) * 2018-01-10 2020-02-10 국방과학연구소 방위각 추정 장치 및 방법
US10964056B1 (en) 2018-05-18 2021-03-30 Apple Inc. Dense-based object tracking using multiple reference images
CN109255801B (zh) * 2018-08-03 2022-02-22 百度在线网络技术（北京）有限公司 视频中三维物体边缘追踪的方法、装置、设备及存储介质
US11238612B2 (en) * 2018-08-28 2022-02-01 Beijing Jingdong Shangke Information Technology Co., Ltd. Device and method of tracking poses of multiple objects based on single-object pose estimator
US11113823B2 (en) * 2018-10-01 2021-09-07 Seiko Epson Corporation Three-dimensional detection and tracking pipline recommendation using performance prediction
KR102198920B1 (ko) * 2019-02-28 2021-01-06 네이버 주식회사 온라인 학습을 이용한 객체 트래킹을 위한 방법 및 시스템
KR102388335B1 (ko) * 2020-07-28 2022-04-19 계명대학교 산학협력단 샴 랜덤 포레스트를 이용한 다수 객체 추적 방법 및 장치
KR102494659B1 (ko) 2020-11-13 2023-02-06 주식회사 플라잎 6d 포즈 추정 장치 및 방법
KR102478980B1 (ko) 2020-12-07 2022-12-19 주식회사 플라잎 비지도 6d 포즈 추정을 위한 3d 대조학습 장치 및 방법
KR102577663B1 (ko) 2021-01-22 2023-09-13 한길씨앤씨 주식회사 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템 및 이를 이용한 이미지 포즈 추정방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1601549A (zh) * 2003-09-26 2005-03-30 中国科学院自动化研究所 基于多特征融合的人脸定位与头部姿势识别方法
CN101464946A (zh) * 2009-01-08 2009-06-24 上海交通大学 基于头部识别和跟踪特征的检测方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6144755A (en) 1996-10-11 2000-11-07 Mitsubishi Electric Information Technology Center America, Inc. (Ita) Method and apparatus for determining poses
US20030012410A1 (en) * 2001-07-10 2003-01-16 Nassir Navab Tracking and pose estimation for augmented reality using real features
US6937745B2 (en) 2001-12-31 2005-08-30 Microsoft Corporation Machine vision system and method for estimating and tracking facial pose
US6959109B2 (en) 2002-06-20 2005-10-25 Identix Incorporated System and method for pose-angle estimation
JP4546956B2 (ja) * 2003-06-12 2010-09-22 本田技研工業株式会社 奥行き検出を用いた対象の向きの推定
KR100714724B1 (ko) 2005-08-17 2007-05-07 삼성전자주식회사 얼굴 포즈 추정 장치와 추정 방법 그리고 상기 방법에 의한얼굴 인식 시스템
JP2007241478A (ja) 2006-03-06 2007-09-20 Fuji Xerox Co Ltd 画像処理装置、画像処理装置の制御方法及びプログラム
JP2007310707A (ja) 2006-05-19 2007-11-29 Toshiba Corp 姿勢推定装置及びその方法
JP4709723B2 (ja) * 2006-10-27 2011-06-22 株式会社東芝 姿勢推定装置及びその方法
KR100809352B1 (ko) * 2006-11-16 2008-03-05 삼성전자주식회사 파티클 필터 기반의 이동 로봇의 자세 추정 방법 및 장치
KR101037759B1 (ko) 2007-01-22 2011-05-27 뷰웨이 주식회사 활성형상모델과 가버 특징 벡터를 이용한 얼굴 인식 방법
KR20080095680A (ko) 2007-04-25 2008-10-29 포항공과대학교 산학협력단 3차원 실린더 헤드 모델을 이용한 얼굴 제스처 인식 방법
CN101952853B (zh) 2008-01-16 2013-05-15 旭化成株式会社 脸姿势推定装置以及脸姿势推定方法
KR100976584B1 (ko) * 2008-04-21 2010-08-17 중앙대학교 산학협력단 평균 이동 클러스터 및 초기 색상 갱신을 이용한 색상 기반객체 추적 장치 및 방법
US8396263B2 (en) 2008-12-30 2013-03-12 Nokia Corporation Method, apparatus and computer program product for providing face pose estimation
US8217961B2 (en) * 2009-03-27 2012-07-10 Mitsubishi Electric Research Laboratories, Inc. Method for estimating 3D pose of specular objects
KR101068465B1 (ko) * 2009-11-09 2011-09-28 한국과학기술원 삼차원 물체 인식 시스템 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1601549A (zh) * 2003-09-26 2005-03-30 中国科学院自动化研究所 基于多特征融合的人脸定位与头部姿势识别方法
CN101464946A (zh) * 2009-01-08 2009-06-24 上海交通大学 基于头部识别和跟踪特征的检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于椭圆模型和神经网络的人脸姿态估计方法;刘淼等;《吉林大学学报》;20080731;第46卷(第4期);第687-690页 *

Also Published As

Publication number Publication date
KR101994316B1 (ko) 2019-06-28
CN103177269A (zh) 2013-06-26
KR20130073812A (ko) 2013-07-03
US20130182947A1 (en) 2013-07-18
US9087379B2 (en) 2015-07-21

Similar Documents

Publication Publication Date Title
CN103177269B (zh) 用于估计对象姿态的设备和方法
US10803365B2 (en) System and method for relocalization and scene recognition
CN110472554B (zh) 基于姿态分割和关键点特征的乒乓球动作识别方法及***
US10380763B2 (en) Hybrid corner and edge-based tracking
CN108717531B (zh) 基于Faster R-CNN的人体姿态估计方法
CN109934848B (zh) 一种基于深度学习的运动物体精准定位的方法
CN105426827B (zh) 活体验证方法、装置和***
CN104781849B (zh) 单眼视觉同时定位与建图(slam)的快速初始化
CN102663722B (zh) 使用深度图像的活动对象分割
US9330470B2 (en) Method and system for modeling subjects from a depth map
Tulyakov et al. Robust real-time extreme head pose estimation
CN109102547A (zh) 基于物体识别深度学习模型的机器人抓取位姿估计方法
CN110544301A (zh) 一种三维人体动作重建***、方法和动作训练***
CN109685037B (zh) 一种实时动作识别方法、装置及电子设备
EP3304423A1 (en) Method and system for simultaneous scene parsing and model fusion for endoscopic and laparoscopic navigation
CN113850865A (zh) 一种基于双目视觉的人体姿态定位方法、***和存储介质
CN110853073A (zh) 确定关注点的方法、装置、设备、***及信息处理方法
KR20140142037A (ko) 포즈 추정 방법 및 장치
CN110807364A (zh) 三维人脸与眼球运动的建模与捕获方法及***
CN105760809A (zh) 用于头部姿态估计的方法和设备
Ari et al. Facial feature tracking and expression recognition for sign language
Herghelegiu et al. Robust ground plane detection and tracking in stereo sequences using camera orientation
CN114519727A (zh) 一种图像驱动方法、装置、设备和介质
KR101350387B1 (ko) 깊이 정보를 이용한 손 검출 방법 및 그 장치
Kondori et al. Direct hand pose estimation for immersive gestural interaction

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant