CN102638653A - 一种基于Kinect的自动面部追踪方法 - Google Patents
一种基于Kinect的自动面部追踪方法 Download PDFInfo
- Publication number
- CN102638653A CN102638653A CN2012100521067A CN201210052106A CN102638653A CN 102638653 A CN102638653 A CN 102638653A CN 2012100521067 A CN2012100521067 A CN 2012100521067A CN 201210052106 A CN201210052106 A CN 201210052106A CN 102638653 A CN102638653 A CN 102638653A
- Authority
- CN
- China
- Prior art keywords
- kinect
- skeleton point
- camera
- video camera
- shoulder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 239000011159 matrix material Substances 0.000 claims abstract description 13
- 230000009466 transformation Effects 0.000 claims description 8
- 230000001815 facial effect Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000002386 leaching Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims 1
- 210000003625 skull Anatomy 0.000 abstract 2
- 230000001131 transforming effect Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 9
- 230000002452 interceptive effect Effects 0.000 description 7
- 230000003993 interaction Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
一种基于Kinect的自动面部追踪方法,步骤为:(1)将Kinect与可编程旋转摄像机组成为追踪设备并进行标定;(2)通过Kinect获取人体骨骼数据序列,并从中提取头部骨骼点在Kinect坐标系中的坐标;(3)利用当前摄像机的外参数和当前Kinect的外参数得到Kinect坐标系到摄像机坐标系的变换矩阵;(4)利用步骤(3)中获取的变换矩阵将步骤(2)中得到的头部骨骼点坐标变换到摄像机坐标系中,而后计算摄像机在水平和垂直方向需要旋转的角度以及需要缩放的倍数;(5)根据步骤(4)中求得的角度和倍数,驱动摄像机进行相应的旋转和缩放,使得摄像机能够追踪人的面部运动。本发明利用连续获取的骨骼数据序列驱动摄像机旋转和缩放,可有效地实现自动面部追踪。
Description
技术领域
本发明涉及一种自动面部追踪方法,特别涉及一种基于Kinect的自动面部追踪方法,属于人机交互领域。
背景技术
人机交互技术是指通过计算机的输入输出设备,以便于人们使用的方式实现人与计算机之间有效交流的技术。面部追踪技术是人机交互领域的一项重要技术,它在视频会议、面部表情细节获取、消费电子类产品、面部运动捕捉以及自然人机交互环境中具有广泛的应用前景。
现有的自动面部追踪方法通常是基于二维图像的,该类方法不仅涉及到一般的图像处理,而且可能设计到图像的理解和描述,如模式识别、人工智能等,相对复杂。其存在的主要问题在于对图像的分辨率有一定的要求,且该类方法对周围的光照环境敏感,光照条件不佳可能会影响追踪的准确性;人体面部的头发、饰物等遮挡物会减少人脸的部分局部特征,会对面部的追踪造成影响,甚至无法追踪,虽然可以通过人工智能进行补偿,但较为复杂且对实时性有影响;交互应用方面,该类方法只利用了二维的图像信息,无法鲁棒地处理人体部位在深度方向上的交互动作。
微软公司的自然交互设备Kinect,能够实时地捕捉人体20个骨骼点的三维空间位置,这对于人体追踪很有帮助。Kinect采用主动红外线技术进行深度探测,在识别人体骨骼的同时,避免了周围光照条件和遮挡的影响。可编程旋转摄像机能够接收编程命令,按照设定的角度在水平和垂直方向上旋转,摄像机可通过编程命令来实现按需变焦。
Kinect可以实现较为准确的人体骨骼点追踪,可编程旋转摄像机能够实现对于给定位置的图像或视频的捕获。因此,本发明的基于Kinect的自动面部追踪方法将二者进行结合,利用Kinect获取三维骨骼点数据,然后利用该数据驱动摄像机旋转,实现对面部的自动追踪。
发明内容
本发明的目的是:结合可提取骨骼点三维信息的Kinect和可编程旋转摄像机,解决基于图像的自动面部追踪所面临的光照环境问题以及在交互应用中的不足,提供一种自动面部追踪方法,该方法在不同光照条件下和交互应用中,可以有效地利用Kinect提供的骨骼点三维信息,提高自动面部追踪的鲁棒性和准确性。
为了实现上述目的,本发明所采取的技术方案是:本方法通过将Kinect与可编程旋转摄像机标定到同一个坐标空间中,对Kinect获取的人体骨骼数据序列进行处理和提取,来驱动摄像机对人的面部进行自动追踪,具体包含的步骤如下:
(1)将追踪设备放置在稳定的位置,追踪设备由Kinect和可编程旋转摄像机组成,通过标定得到摄像机的内参数、Kinect的内参数以及摄像机的外参数、Kinect的外参数;
(2)通过Kinect获取人体骨骼数据序列,并从中提取头部骨骼点在Kinect坐标系中的坐标,提取方法为直接提取,或者是在提取过程中结合骨骼点之间的约束关系进行优化;
(3)完成步骤(2)以后,利用步骤(1)中得到的摄像机的外参数和Kinect的外参数,按照在步骤(1)中追踪设备位置放置方式,计算当前摄像机的外参数和当前Kinect的外参数并利用它们得到Kinect坐标系到摄像机坐标系的变换矩阵;
(4)利用步骤(3)中获取的变换矩阵将步骤(2)中得到的头部骨骼点在Kinect坐标系中的坐标变换到摄像机坐标系中,得到头部骨骼点在摄像机坐标系中的坐标并利用该坐标计算摄像机在水平和垂直方向需要旋转的角度以及需要缩放的倍数;
(5)根据步骤(4)中求得的角度和倍数,驱动摄像机进行相应的旋转和缩放,使得摄像机能够追踪人的面部运动。
本发明是在将Kinect与摄像机标定到同一坐标空间的基础上,于Kinect的搜索范围内,连续采集人体骨骼数据序列并从中提取头部骨骼点的三维坐标,通过变换矩阵将其变换到摄像机坐标系中,根据该坐标计算摄像机需要旋转的角度和缩放倍数,从而完成自动的面部追踪。
本发明的优点在于:
(1)本发明利用了Kinect主动红外线技术获取的三维信息来驱动摄像机进行自动面部追踪,而红外线技术对于光照环境不敏感,甚至于没有环境光的情况下也能获取三维信息,有效克服了现有基于图像的自动面部追踪在周围光照不满足要求的情况下无法进行面部追踪的问题。
(2)本发明充分利用人体骨骼点的三维信息来实现自动面部追踪,从而有助于交互应用方面,可以鲁棒地处理人体部位在深度方向上的交互动作,克服了现有基于图像的自动面部追踪的不足。
本发明的应用前景包括:可应用于虚拟沉浸式***中对于运动或静止的人体面部细节或面部表情的实时获取;可应用于动态或静态人脸建模中对于面部纹理的实时获取;可应用于自然交互式视频会议中,视频会议环境为三维虚拟场景,与会人员以人偶模型或真实人体模型为替身在虚拟会议场景中活动,同时显示所有与会人员(包括自己)的视频影像,该视频影像通过基于Kinect的自动面部追踪方法获得,与会人员在Kinect可搜索的范围内运动时,仍然可以自动捕获与会人员的面部,并将其显示在视频影像中。
附图说明
图1是本发明中自动面部追踪方法的整体示意图;
图2是本发明中自动面部追踪方法的流程图;
图3是本发明中头部附近骨骼点示意图;
图4是本发明中Kinect坐标系转换到摄像机坐标系的示意图;
图5是本发明中摄像机旋转角计算的示意图;
图6是实际硬件环境;
图7是站立姿势效果图;
图8是蹲姿势效果图。
具体实施方式
下面结合附图和实施示例对本发明作进一步详细地描述:
本发明中自动面部追踪方法的典型实施环境如图1所示,Kinect和可编程旋转摄像机连接至计算机,人***于Kinect的可搜索范围内,即可开始进行自动面部追踪。
本发明基于Kinect的自动面部追踪方法的流程如图2所示,其步骤如下:
(1)首先将追踪设备放置在稳定的位置,追踪设备由Kinect和可编程旋转摄像机组成,Kinect和可编程旋转摄像机可以有两种位置放置方式,第一种是在Kinect上集成或固定摄像机,第二种是将Kinect和摄像机分别独立放置在不同的位置,采用任意一种方法放置后,通过标定得到摄像机的内参数、Kinect的内参数以及摄像机的外参数、Kinect的外参数;
(2)从Kinect的人体骨骼数据序列中直接提取的头部骨骼点坐标可以直接使用,也可利用骨骼点之间的约束关系来进行优化。若采用优化方法,如图3所示,头部骨骼点附近的骨骼点包括肩部中心骨骼点(或说颈部骨骼点)、左肩骨骼点、右肩骨骼点和脊柱中心骨骼点,它们之间存在着一定的约束关系,肩部中间骨骼点、左肩骨骼点和右肩骨骼点可认为是共面,肩部中心骨骼点、脊柱中心骨骼点可认为共线,头部骨骼点受到这二者的约束,虽然头部可以绕轴转动,但活动范围很有限,这意味着其距离肩部中间骨骼点、左肩骨骼点和右肩骨骼点决定的平面以及肩部中心骨骼点、脊柱中心骨骼点决定的直线很近。假设的头部骨骼点、肩部中心骨骼点、左肩骨骼点、右肩骨骼点和脊柱中心骨骼点的坐标分别为(Hx,Hy,Hz,1)、(SCx,SCy,SCz,1)、(SLx,SLy,SLz,1)、(SRx,SRy,SRz,1)、(SPx,SPy,SPz,1),肩部中间骨骼点、左肩骨骼点和右肩骨骼点决定的平面方程如公式(1)所示,肩部中心骨骼点、脊柱中心骨骼点决定的直线方程如公式(2)所示。
Apx+Bpy+Cpz+Dp=0 (1)
其中,平面方程系数Ap、Bp、Cp、Dp可由共面的肩部中间骨骼点、左肩骨骼点和右肩骨骼点在Kinect坐标系中的坐标通过待定系数法计算得到;
由几何知识可以得到头部骨骼点(Hx,Hy,Hz,1)与平面、直线的距离分别为Dplane、Dline。阈值THplane表示头部骨骼点与肩部中间骨骼点、左肩骨骼点、右肩骨骼点决定的平面的距离最大值,THline表示头部骨骼点与肩部中心骨骼点、脊柱中心骨骼点决定的直线的距离最大值,THplane、THline可根据精度要求自行设定。若满足关系式(3),则得到了当前头部骨骼点在Kinect坐标系中的齐次坐标,否则继续利用Kinect进行骨骼点的搜索。
Dplane≤THplane且Dline≤THline (3)
(3)利用步骤(1)中得到的摄像机的外参数和Kinect的外参数,按照在步骤(1)中选择的Kinect和可编程旋转摄像机的位置放置方式,计算当前摄像机的外参数和当前Kinect的外参数并利用它们得到Kinect坐标系到摄像机坐标系的变换矩阵,方法如下:如果选择在Kinect上集成或固定摄像机,则可直接将步骤(1)中摄像机的外参数和Kinect的外参数分别作为当前摄像机的外参数和当前Kinect的外参数,如果步骤(1)中选择将Kinect和摄像机分别独立放置在不同的位置,则需要根据Kinect相对于上一位置转动的俯仰角度对Kinect的外参数进行修正,然后再将步骤(1)中摄像机的外参数和修正后的Kinect的外参数分别作为当前摄像机的外参数和当前Kinect的外参数;
(4)利用步骤(3)中获取的变换矩阵将步骤(2)中得到的头部骨骼点在Kinect坐标系中的坐标变换到摄像机坐标系中,图4展示了从Kinect坐标系转换到摄像机坐标系的过程,其中ES为当前摄像机外参数得到的外参矩阵,为当前Kinect外参数得到的外参矩阵的逆矩阵,即为变换矩阵;而后需要转换为摄像机能够识别的数据格式,即在水平方向和垂直方向上需要旋转的角度以及用于确定缩放倍数的头部骨骼点与摄像机坐标系原点的距离。如图5所示,摄像机在齐次坐标系下的方向向量为头部骨骼点在摄像机中的坐标为H=(Xop,Yop,Zop,1),将其向xOy面投影得到投影点为P=(Xop,0,Zop,1),计算两个向量, 水平方向的旋转角度θpan和垂直方向的旋转角度θtilt分别由公式(4)和(5)得到:
利用公式(6)计算头部骨骼点坐标与摄像机的距离,记作dis,设摄像机未缩放时(即初始状态)面部与摄像机的距离为d0,则缩放倍数Zoom可由公式(7)计算出。
(5)完成步骤(4)以后,需要将得到的摄像机在水平方向和垂直方向的旋转角度、缩放倍数通过编程命令发送给可编程旋转摄像机,驱动摄像机进行面部追踪。
本发明可采用微软提供的Kinect SDK对Kinect进行操作,将计算机与可编程旋转摄像机相连,控制摄像机和实现通信。实际硬件环境如图6所示,站立效果如图7所示,半蹲效果如图8所示,图中矩形框分别标识出设备、真实人体、面部追踪结果(显示在屏幕上)。
本发明中未详细阐述的部分属于本领域技术人员的公知技术。
最后所应说明的是,以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (6)
1.一种基于Kinect的自动面部追踪方法,其特征在于包含如下步骤:
(1)将追踪设备放置在稳定的位置,追踪设备由Kinect和可编程旋转摄像机组成,通过标定得到摄像机的内参数、Kinect的内参数以及摄像机的外参数、Kinect的外参数;
(2)通过Kinect获取人体骨骼数据序列,并从中提取头部骨骼点在Kinect坐标系中的坐标,提取方法为直接提取,或者是在提取过程中结合骨骼点之间的约束关系进行优化;
(3)完成步骤(2)以后,利用步骤(1)中得到的摄像机的外参数和Kinect的外参数,按照在步骤(1)中追踪设备位置放置方式,计算当前摄像机的外参数和当前Kinect的外参数并利用它们得到Kinect坐标系到摄像机坐标系的变换矩阵;
(4)利用步骤(3)中获取的变换矩阵将步骤(2)中得到的头部骨骼点在Kinect坐标系中的坐标变换到摄像机坐标系中,得到头部骨骼点在摄像机坐标系中的坐标并利用该坐标计算摄像机在水平和垂直方向需要旋转的角度以及需要缩放的倍数;
(5)根据步骤(4)中求得的角度和倍数,驱动摄像机进行相应的旋转和缩放,使得摄像机能够追踪人的面部运动。
2.根据权利要求1所述的基于Kinect的自动面部追踪方法,其特征在于:通过将Kinect与可编程旋转摄像机标定到同一个坐标空间中,对Kinect获取的人体骨骼数据序列进行处理和提取,来驱动摄像机对人的面部进行自动追踪。
3.根据权利要求1所述的基于Kinect的自动面部追踪方法,其特征在于:所述步骤(1)的追踪设备中的Kinect和可编程旋转摄像机的位置放置方式有两种,第一种是在Kinect上集成或固定摄像机,第二种是将Kinect和摄像机分别独立放置在不同的位置。
4.根据权利要求1所述的基于Kinect的自动面部追踪方法,其特征在于:所述步骤(2)中若利用骨骼点之间的约束关系进行优化提取头部骨骼点在Kinect坐标系中的坐标,其方法为:头部骨骼点附近的骨骼点包括肩部中心骨骼点、左肩骨骼点、右肩骨骼点和脊柱中心骨骼点,它们之间存在着一定的约束关系,肩部中间骨骼点、左肩骨骼点和右肩骨骼点认为是共面,肩部中心骨骼点、脊柱中心骨骼点认为是共线,头部骨骼点受到这二者的约束,设头部骨骼点、肩部中心骨骼点、左肩骨骼点、右肩骨骼点和脊柱中心骨骼点在Kinect坐标系中的齐次坐标分别为(Hx,Hy,Hz,1)、(SCx,SCy,SCz,1)、(SLx,SLy,SLz,1)、(SRx,SRy,SRz,1)、(SPx,SPy,SPz,1),肩部中间骨骼点、左肩骨骼点和右肩骨骼点决定的平面方程如公式(a)所示,肩部中心骨骼点、脊柱中心骨骼点决定的直线方程如公式(b)所示:
Apx+Bpy+Cpz+Dp=0 (a)
其中,平面方程系数Ap、Bp、Cp、Dp可由共面的肩部中间骨骼点、左肩骨骼点和右肩骨骼点在Kinect坐标系中的坐标通过待定系数法计算得到;
由几何知识可以得到头部骨骼点坐标(Hx,Hy,Hz,1)与前面所述平面、直线的距离分别为Dplane、Dline,阈值THplane表示头部骨骼点与肩部中间骨骼点、左肩骨骼点、右肩骨骼点决定的平面的距离最大值,阈值THline表示头部骨骼点与肩部中心骨骼点、脊柱中心骨骼点决定的直线的距离最大值,THplane、THline可根据精度要求自行设定;若满足关系式(c),则得到了当前头部骨骼点在Kinect坐标系中的齐次坐标,否则继续利用Kinect进行骨骼点的搜索;
Dplane≤THplane且Dline≤THline (c)。
5.根据权利要求1所述的基于Kinect的自动面部追踪方法,其特征在于:所述步骤(3)中计算当前摄像机的外参数和当前Kinect的外参数的方法为:如果选择第一种位置放置方式,则直接将步骤(1)中摄像机的外参数和Kinect的外参数分别作为当前摄像机的外参数和当前Kinect的外参数,如果选择第二种位置放置方式,则需要根据Kinect相对于上一位置转动的俯仰角度对Kinect的外参数进行修正,然后再将步骤(1)中摄像机的外参数和修正后的Kinect的外参数分别作为当前摄像机的外参数和当前Kinect的外参数。
6.根据权利要求1所述的基于Kinect的自动面部追踪方法,其特征在于:所述步骤(4)中利用摄像机坐标系中的头部骨骼点坐标获取摄像机在水平和垂直方向需要旋转的角度和摄像机需要缩放的倍数的方法为:摄像机在齐次坐标系下的方向向量为头部骨骼点在摄像机坐标系中的齐次坐标为H=(Xop,Yop,Zop,1),然后将H向xOy面投影得到投影点P,其坐标为(Xop,0,Zop,1),计算两个向量, 水平方向的旋转角度θpan和垂直方向的旋转角度θtilt分别由公式(d)和(e)得到:
利用公式(f)计算头部骨骼点坐标与摄像机的距离,记作dis,设摄像机未缩放时,即初始状态,面部与摄像机的距离为d0,则缩放倍数Zoom由公式(g)计算出:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210052106.7A CN102638653B (zh) | 2012-03-01 | 2012-03-01 | 一种基于Kinect的自动面部追踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210052106.7A CN102638653B (zh) | 2012-03-01 | 2012-03-01 | 一种基于Kinect的自动面部追踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102638653A true CN102638653A (zh) | 2012-08-15 |
CN102638653B CN102638653B (zh) | 2014-04-16 |
Family
ID=46622879
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210052106.7A Expired - Fee Related CN102638653B (zh) | 2012-03-01 | 2012-03-01 | 一种基于Kinect的自动面部追踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102638653B (zh) |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102867112A (zh) * | 2012-08-24 | 2013-01-09 | 黄敏 | 一种应用在基于Kinect的三维仿真试衣中的人体姿态跟踪方法 |
CN103150559A (zh) * | 2013-03-01 | 2013-06-12 | 南京理工大学 | 基于Kinect三维深度图像的头部识别与跟踪方法 |
CN103170973A (zh) * | 2013-03-28 | 2013-06-26 | 上海理工大学 | 基于Kinect摄像机的人机协作装置及方法 |
CN103268158A (zh) * | 2013-05-21 | 2013-08-28 | 上海速盟信息技术有限公司 | 一种获取重力传感数据的方法、装置及一种电子设备 |
CN103456016A (zh) * | 2013-09-06 | 2013-12-18 | 同济大学 | 一种视角无关的体感摄像机网标定方法 |
CN103646394A (zh) * | 2013-11-26 | 2014-03-19 | 福州大学 | 一种基于Kinect摄像机的混合视觉***标定方法 |
CN103685401A (zh) * | 2012-09-17 | 2014-03-26 | 联想(北京)有限公司 | 信息交换方法、终端设备和信息交换*** |
CN103735268A (zh) * | 2013-09-29 | 2014-04-23 | 沈阳东软医疗***有限公司 | 一种***检测方法及*** |
CN103777748A (zh) * | 2012-10-26 | 2014-05-07 | 华为技术有限公司 | 一种体感输入方法及装置 |
CN105500370A (zh) * | 2015-12-21 | 2016-04-20 | 华中科技大学 | 一种基于体感技术的机器人离线示教编程***及方法 |
CN103971378B (zh) * | 2014-05-29 | 2016-06-29 | 福州大学 | 一种混合视觉***中全景图像的三维重建方法 |
WO2017032180A1 (zh) * | 2015-08-27 | 2017-03-02 | 腾讯科技(深圳)有限公司 | 电子终端中采集的画面的角度切换方法及装置 |
CN106473738A (zh) * | 2015-08-31 | 2017-03-08 | 通用电气公司 | 图像识别方法、磁共振成像方法和成像设备 |
CN106652026A (zh) * | 2016-12-23 | 2017-05-10 | 安徽工程大学机电学院 | 基于多传感器融合的三维空间自动标定的方法 |
CN106644090A (zh) * | 2016-12-29 | 2017-05-10 | 中南大学 | 一种基于kinect的求职仪态测试方法及其*** |
CN106625658A (zh) * | 2016-11-09 | 2017-05-10 | 华南理工大学 | 一种实时模仿人体上半身动作的人形机器人控制方法 |
CN107357432A (zh) * | 2017-07-18 | 2017-11-17 | 歌尔科技有限公司 | 基于vr的交互方法及装置 |
CN107393018A (zh) * | 2017-07-27 | 2017-11-24 | 北京中达金桥技术股份有限公司 | 一种利用Kinect实现实时虚拟影像叠加的方法 |
CN108921000A (zh) * | 2018-04-16 | 2018-11-30 | 深圳市深网视界科技有限公司 | 头部角度标注、预测模型训练、预测方法、设备和介质 |
CN109407709A (zh) * | 2018-09-25 | 2019-03-01 | 国网天津市电力公司 | 一种基于Kinect骨骼跟踪算法的会议摄像自动追踪*** |
CN109919983A (zh) * | 2019-03-16 | 2019-06-21 | 哈尔滨理工大学 | 一种面向Kinect医生视角追踪的卡尔曼滤波器 |
CN110021034A (zh) * | 2019-03-20 | 2019-07-16 | 华南理工大学 | 一种基于头肩检测的跟踪录播方法及*** |
CN111368652A (zh) * | 2020-02-19 | 2020-07-03 | 华南理工大学 | 一种基于Kinect传感器的动作捕捉文件生成方法 |
CN113345010A (zh) * | 2021-06-01 | 2021-09-03 | 北京理工大学 | 基于改进ICP的多Kinect***坐标标定与转换方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101789126A (zh) * | 2010-01-26 | 2010-07-28 | 北京航空航天大学 | 基于体素的三维人体运动跟踪方法 |
US20110085705A1 (en) * | 2009-05-01 | 2011-04-14 | Microsoft Corporation | Detection of body and props |
-
2012
- 2012-03-01 CN CN201210052106.7A patent/CN102638653B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110085705A1 (en) * | 2009-05-01 | 2011-04-14 | Microsoft Corporation | Detection of body and props |
CN101789126A (zh) * | 2010-01-26 | 2010-07-28 | 北京航空航天大学 | 基于体素的三维人体运动跟踪方法 |
Non-Patent Citations (4)
Title |
---|
TAKAYUKI NAKAMURA: "Real-time 3-D Object Tracking Using Kinect Sensor", 《2011 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND BIOMIMETICS》 * |
孙怡: "人体运动跟踪的方法与实验研究", 《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》 * |
张铖伟等: "摄像机标定方法研究", 《计算机技术与发展》 * |
黄康泉等: "Kinect在视频会议***中的应用", 《广西大学学报:自然科学版》 * |
Cited By (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102867112B (zh) * | 2012-08-24 | 2016-02-17 | 黄敏 | 一种应用在基于Kinect的三维仿真试衣中的人体姿态跟踪方法 |
CN102867112A (zh) * | 2012-08-24 | 2013-01-09 | 黄敏 | 一种应用在基于Kinect的三维仿真试衣中的人体姿态跟踪方法 |
CN103685401A (zh) * | 2012-09-17 | 2014-03-26 | 联想(北京)有限公司 | 信息交换方法、终端设备和信息交换*** |
CN103685401B (zh) * | 2012-09-17 | 2019-03-29 | 联想(北京)有限公司 | 信息交换方法、终端设备和信息交换*** |
CN103777748A (zh) * | 2012-10-26 | 2014-05-07 | 华为技术有限公司 | 一种体感输入方法及装置 |
CN103150559A (zh) * | 2013-03-01 | 2013-06-12 | 南京理工大学 | 基于Kinect三维深度图像的头部识别与跟踪方法 |
CN103150559B (zh) * | 2013-03-01 | 2016-07-06 | 南京理工大学 | 基于Kinect三维深度图像的头部识别与跟踪方法 |
CN103170973A (zh) * | 2013-03-28 | 2013-06-26 | 上海理工大学 | 基于Kinect摄像机的人机协作装置及方法 |
CN103170973B (zh) * | 2013-03-28 | 2015-03-11 | 上海理工大学 | 人机协作装置及实现人机协作的方法 |
CN103268158A (zh) * | 2013-05-21 | 2013-08-28 | 上海速盟信息技术有限公司 | 一种获取重力传感数据的方法、装置及一种电子设备 |
CN103268158B (zh) * | 2013-05-21 | 2017-09-08 | 上海速盟信息技术有限公司 | 一种模拟重力传感数据的方法、装置及一种电子设备 |
CN103456016A (zh) * | 2013-09-06 | 2013-12-18 | 同济大学 | 一种视角无关的体感摄像机网标定方法 |
CN103456016B (zh) * | 2013-09-06 | 2016-07-13 | 同济大学 | 一种视角无关的体感摄像机网标定方法 |
CN103735268B (zh) * | 2013-09-29 | 2015-11-25 | 沈阳东软医疗***有限公司 | 一种***检测方法及*** |
CN103735268A (zh) * | 2013-09-29 | 2014-04-23 | 沈阳东软医疗***有限公司 | 一种***检测方法及*** |
CN103646394A (zh) * | 2013-11-26 | 2014-03-19 | 福州大学 | 一种基于Kinect摄像机的混合视觉***标定方法 |
CN103646394B (zh) * | 2013-11-26 | 2016-08-17 | 福州大学 | 一种基于Kinect摄像机的混合视觉***标定方法 |
CN103971378B (zh) * | 2014-05-29 | 2016-06-29 | 福州大学 | 一种混合视觉***中全景图像的三维重建方法 |
CN106488168A (zh) * | 2015-08-27 | 2017-03-08 | 腾讯科技(深圳)有限公司 | 电子终端中采集的画面的角度切换方法及装置 |
WO2017032180A1 (zh) * | 2015-08-27 | 2017-03-02 | 腾讯科技(深圳)有限公司 | 电子终端中采集的画面的角度切换方法及装置 |
US10270963B2 (en) | 2015-08-27 | 2019-04-23 | Tencent Technology (Shenzhen) Company Limited | Angle switching method and apparatus for image captured in electronic terminal |
CN106473738A (zh) * | 2015-08-31 | 2017-03-08 | 通用电气公司 | 图像识别方法、磁共振成像方法和成像设备 |
CN105500370A (zh) * | 2015-12-21 | 2016-04-20 | 华中科技大学 | 一种基于体感技术的机器人离线示教编程***及方法 |
CN106625658A (zh) * | 2016-11-09 | 2017-05-10 | 华南理工大学 | 一种实时模仿人体上半身动作的人形机器人控制方法 |
CN106652026A (zh) * | 2016-12-23 | 2017-05-10 | 安徽工程大学机电学院 | 基于多传感器融合的三维空间自动标定的方法 |
CN106644090A (zh) * | 2016-12-29 | 2017-05-10 | 中南大学 | 一种基于kinect的求职仪态测试方法及其*** |
CN107357432A (zh) * | 2017-07-18 | 2017-11-17 | 歌尔科技有限公司 | 基于vr的交互方法及装置 |
CN107393018A (zh) * | 2017-07-27 | 2017-11-24 | 北京中达金桥技术股份有限公司 | 一种利用Kinect实现实时虚拟影像叠加的方法 |
CN108921000A (zh) * | 2018-04-16 | 2018-11-30 | 深圳市深网视界科技有限公司 | 头部角度标注、预测模型训练、预测方法、设备和介质 |
CN108921000B (zh) * | 2018-04-16 | 2024-02-06 | 深圳市深网视界科技有限公司 | 头部角度标注、预测模型训练、预测方法、设备和介质 |
CN109407709A (zh) * | 2018-09-25 | 2019-03-01 | 国网天津市电力公司 | 一种基于Kinect骨骼跟踪算法的会议摄像自动追踪*** |
CN109407709B (zh) * | 2018-09-25 | 2022-01-18 | 国网天津市电力公司 | 一种基于Kinect骨骼跟踪算法的会议摄像自动追踪*** |
CN109919983A (zh) * | 2019-03-16 | 2019-06-21 | 哈尔滨理工大学 | 一种面向Kinect医生视角追踪的卡尔曼滤波器 |
CN109919983B (zh) * | 2019-03-16 | 2021-05-14 | 哈尔滨理工大学 | 一种面向Kinect医生视角追踪的卡尔曼滤波器 |
CN110021034A (zh) * | 2019-03-20 | 2019-07-16 | 华南理工大学 | 一种基于头肩检测的跟踪录播方法及*** |
CN111368652A (zh) * | 2020-02-19 | 2020-07-03 | 华南理工大学 | 一种基于Kinect传感器的动作捕捉文件生成方法 |
CN111368652B (zh) * | 2020-02-19 | 2023-05-02 | 华南理工大学 | 一种基于Kinect传感器的动作捕捉文件生成方法 |
CN113345010A (zh) * | 2021-06-01 | 2021-09-03 | 北京理工大学 | 基于改进ICP的多Kinect***坐标标定与转换方法 |
CN113345010B (zh) * | 2021-06-01 | 2022-02-11 | 北京理工大学 | 基于改进ICP的多Kinect***坐标标定与转换方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102638653B (zh) | 2014-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102638653B (zh) | 一种基于Kinect的自动面部追踪方法 | |
CN110480634B (zh) | 一种针对机械臂运动控制的手臂引导运动控制方法 | |
CN108154550B (zh) | 基于rgbd相机的人脸实时三维重建方法 | |
CN107423729B (zh) | 一种面向复杂视觉场景下的远距离类脑三维步态识别***及实现方法 | |
CN107688391B (zh) | 一种基于单目视觉的手势识别方法和装置 | |
KR101711736B1 (ko) | 영상에서 동작 인식을 위한 특징점 추출 방법 및 골격 정보를 이용한 사용자 동작 인식 방법 | |
CN109074083A (zh) | 移动控制方法、移动机器人及计算机存储介质 | |
CN109816784B (zh) | 三维重构人体的方法和***及介质 | |
CN104036546A (zh) | 一种基于自适应形变模型的任意视角人脸三维重构方法 | |
US9008442B2 (en) | Information processing apparatus, information processing method, and computer program | |
JP2011186576A (ja) | 動作認識装置 | |
CN108305321A (zh) | 一种基于双目彩色成像***的立体人手3d骨架模型实时重建方法和装置 | |
CN111241940B (zh) | 一种机器人的远程控制方法、人体边界框确定方法及*** | |
Darujati et al. | Facial motion capture with 3D active appearance models | |
Gulde et al. | RoPose: CNN-based 2D pose estimation of industrial robots | |
CN102156994A (zh) | 一种单视角无标记人体运动跟踪的关节定位方法 | |
Weinrich et al. | Appearance-based 3D upper-body pose estimation and person re-identification on mobile robots | |
Haker et al. | Self-organizing maps for pose estimation with a time-of-flight camera | |
Cohen et al. | Inference of 3D human body posture from multiple cameras for vision-based user interface | |
CN110674751A (zh) | 一种基于单目摄像机检测头部姿态的装置及方法 | |
CN110405777B (zh) | 一种机器人的交互控制方法 | |
Singh et al. | Autonomous Multiple Gesture Recognition system for disabled people | |
Lee et al. | AR-based character tracking navigation system development | |
Dai | Modeling and simulation of athlete’s error motion recognition based on computer vision | |
Yang et al. | Synthetic hands generator for RGB hand tracking |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20140416 |
|
CF01 | Termination of patent right due to non-payment of annual fee |