CN101093582A - 动作捕捉装置和动作捕捉方法、以及动作捕捉程序 - Google Patents
动作捕捉装置和动作捕捉方法、以及动作捕捉程序 Download PDFInfo
- Publication number
- CN101093582A CN101093582A CNA2007101085007A CN200710108500A CN101093582A CN 101093582 A CN101093582 A CN 101093582A CN A2007101085007 A CNA2007101085007 A CN A2007101085007A CN 200710108500 A CN200710108500 A CN 200710108500A CN 101093582 A CN101093582 A CN 101093582A
- Authority
- CN
- China
- Prior art keywords
- mentioned
- joint
- posture
- image
- current time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
- A61B5/4528—Joints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Dentistry (AREA)
- Theoretical Computer Science (AREA)
- Physiology (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Rheumatology (AREA)
- Human Computer Interaction (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明的目的在于提供不管人物运动的速度、复杂的背景等如何都能够在实际环境下利用的可靠性高的动作捕捉装置和动作捕捉方法、以及动作捕捉程序。以与运动模型的关节间的连结性约束相应的顺序,由姿势/位置预测部(5)预测关节的预测位置,由姿势/位置投影部(6)将预测位置投影到二维图像上,由可靠性评价部(7)对投影在二维图像上的预测位置的可靠性进行评价,由姿势/位置估计部(8)根据评价结果对估计位置进行估计。然后,将由姿势/位置估计部(8)估计的估计位置使用在后面进行预测的分层关节的预测位置运算中。
Description
技术领域
本发明涉及一种根据用照相机拍摄的图像来识别对象人物的姿势或者动作的动作捕捉装置和动作捕捉方法、以及动作捕捉程序。
背景技术
为了实现人与机器之间的自然的界面,必须综合地解析包括人的手势/姿态的操作者的各种行动、声音等信息来检测并识别人的存在、意图等。为此,一直在探讨与人的运动、行动模式的解析有关的各种技术。作为运动解析技术,可大致区分为使用特殊的标识等获取运动信息的技术和基于无标识图像解析的技术。
使用特殊的标识等的***包括电磁式、机械式、光学式等,作为最近的运动追踪/捕捉***,特别地经常利用光学式的动作捕捉***。例如,Vicon Peaks公司的MX照相机***(商标)、NaturalPoint公司的OptiTrack(商标)、Motion Analysis公司的Hawk DigitalSystem(商标)等的动作捕捉/解析***已经利用在CG(ComputerGraphics:计算机制图)、电影制作等领域中。作为附加标识运动解析***的优点,能够正确地测量人物等的运动信息,因此常常利用在CG、电影制作等需要高精度运动解析的地方。
但是,由于该方式需要大规模的***结构、或者存在由附加标识给人体造成的负担,因此不能称为自然的HMI(HumanMachine Interface:人机界面)。
因此,本发明的发明者们为了实现在一般环境下的自然的HMI,使用了基于无标识的图像解析的运动解析技术。已探讨了若干基于无标识的图像解析的运动解析方法,可以代表性地举出基于人物的三维模型和立体图像的运动与姿势的追踪方法(例如参照非专利文献1)、基于使用多个照相机的人物的三维模型的人物运动追踪方法(例如参照非专利文献2)、基于人物区域和运动模型的运动解析方法(例如参照非专利文献3)等。
非专利文献1:D.Demirdjian,T.Ko,T.Darrell,ConstrainingHuman Body Tracking,Proceedings of the International Conferenceon Computer Vision,2003.
非专利文献2:K.M.Cheung,S.Baker,J.K.Hodgins,and T.Kanade,Markerless Human Motion Transfer,Proceedings of the 2ndInternational Symposium on 3D Data Processing,Visualization andTransmission,September,2004.
非专利文献3:Ramanan,D.,Forsyth,DA,Zisserman,A.“Strikea Pose:Tracking People by Finding Stylized Poses.”ComputerVision and Pattern Recognition(CVPR),San Diego,CA,June 2005.
非专利文献4:D.Demirdjian,T.Darrell,3-D Articulated PoseTracking for Untethered Diectic Reference,Proceedings of theInternational Conference on Multimodal Interfaces,2002.
发明内容
发明要解决的问题
非专利文献1所记载的方法***结构简单,在所限定的环境下可实时地估计人物的运动/姿势,但是需要依赖于距离图像的精度、前后帧间的运动量小等条件。
另外,关于非专利文献2所记载的方法,如果能够很好地估计三维模型,则可认为人物运动的位置/姿势的估计精度高,但是***结构规模很大,为了高精度地构筑三维模型,需要除去人物以外的背景。
另外,关于非专利文献3所记载的方法,虽然算法简单,也可利用在一般背景下,但是为了高精度地估计人物的动作/姿势,需要正确地检测人物的各肢体区域。
另外,在使用这些技术的情况下,如何应用人的身体的模型就成为了重要的问题。例如在非专利文献4中,记载了如下的技术:使用视差图像的Depth信息来提取对象人物作为前景,在此应用3D柱模型,但是难以鉴别头、手臂的位置。
这样,在这些现有的方法中,在一般环境下难以估计/追踪人物的自然的运动/姿势,不能实现自然的HMI。
本发明是鉴于这种以往的实际情况而提出的,目的在于提供不受人物动作的速度、复杂的背景等限制而可在实际环境下利用的可靠的动作捕捉装置和动作捕捉方法、以及动作捕捉程序。
用于解决问题的方案
本发明所涉及的动作捕捉装置,在追踪对象人物的各关节及肢体的三维位置和姿势的动作捕捉装置中,通过具备如下的单元来解决上述问题:生成单元,其从上述对象人物的观测图像生成连结了各关节的运动模型;预测单元,其根据上述运动模型的关节间的连结约束和上一个时刻的预测位置分层算出上述对象人物的各关节的当前时刻的预测位置,并预测当前时刻的各关节与肢体的三维位置和姿势;投影单元,其将由上述预测单元预测出的当前时刻的对象人物的各关节与肢体的三维位置和姿势投影到二维图像上;评价单元,其根据上述对象人物的观测图像来评价由上述投影单元投影的投影位置的可靠性;以及估计单元,其根据上述可靠性的评价结果来估计上述当前时刻的对象人物的各关节与肢体的三维位置和姿势。
另外,本发明所涉及的动作捕捉方法,在追踪对象人物的各关节与肢体的三维位置和姿势的动作捕捉方法中,通过具有如下的工序,解决上述问题:生成工序,从上述对象人物的观测图像生成连结了各关节的运动模型;预测工序,根据上述运动模型的关节间的连结约束和上一个时刻的预测位置分层算出上述对象人物的各关节的当前时刻的预测位置,并预测当前时刻的各关节与肢体的三维位置和姿势;投影工序,将由上述预测工序预测出的当前时刻的对象人物的各关节与肢体的三维位置和姿势投影到二维图像上;评价工序,根据上述对象人物的观测图像评价由上述投影工序投影的投影位置的可靠性;以及估计工序,根据上述可靠性的评价结果估计上述当前时刻的对象人物的各关节与肢体的三维位置和姿势。
另外,本发明所涉及的动作捕捉程序,在执行追踪对象人物的各关节与肢体的三维位置和姿势的处理的动作捕捉程序中,通过具有如下的工序解决上述问题:生成工序,从上述对象人物的观测图像生成连结了各关节的运动模型;预测工序,根据上述运动模型的关节间的连结约束和上一个时刻的预测位置分层算出上述对象人物的各关节的当前时刻的预测位置,并预测当前时刻的各关节与肢体的三维位置和姿势;投影工序,将由上述预测工序预测出的当前时刻的对象人物的各关节与肢体的三维位置和姿势投影到二维图像上;评价工序,根据上述对象人物的观测图像评价由上述投影工序投影的投影位置的可靠性;以及估计工序,根据上述可靠性的评价结果估计上述当前时刻的对象人物的各关节与肢体的三维位置和姿势。
发明的效果
根据本发明,从对象人物的观测图像生成连结了各关节的运动模型,根据运动模型的各关节的连结约束和上一个时刻的预测位置分层算出对象人物的各关节的当前时刻的预测位置,并预测当前时刻的各关节与肢体的三维位置和姿势,将所预测的当前时刻的对象人物的各关节与肢体的三维位置和姿势投影到二维图像上,根据对象人物的观测图像评价投影位置的可靠性,根据该评价结果估计当前时刻的对象人物的各关节与肢体的三维位置和姿势,由此不需要特殊的标识/传感器,并且可以实现自然的人机对话。
附图说明
图1是表示本发明的一个实施方式中的动作捕捉装置的结构的框图。
图2是用于说明本发明的一个实施方式中的动作捕捉处理的概要的示意图。
图3是用于说明对象人物的运动模型生成处理的概要的示意图。
图4是表示用于生成运动模型的初始化部的结构的框图。
图5是表示初始化部中的初始化处理的流程图。
图6是用于说明初始化处理的图。
图7是用于说明本实施方式中的分层预测方法的图。
图8是表示用于预测运动模型的各关节位置的结构的框图。
图9是表示用于预测运动模型的各关节位置的结构的框图。
图10是用于说明评价上一个关节点Sk-1的追踪结果的可靠性,并使Sk的预测模型动态变化的处理例的示意图。
图11是用于说明姿势/位置投影部、可靠性评价部、以及姿势/位置估计部的处理的示意图。
附图标记说明
1L、1R:照相机;2:照相机参数获取部;3:图像/距离信息观测部;4:初始化部;5:姿势/位置预测部;6:姿势/位置投影部;7:可靠性评价部;8:姿势/位置估计部;41:距离测量部;42:面部检测部;43:掩模生成部;44:颜色分布算出部;45:手检测窗口生成部;46:手检测部;47:关节位置算出部。
具体实施方式
下面,参照附图详细说明应用了本发明的具体实施方式。
图1是表示本发明的一个实施方式中的动作捕捉装置的结构的框图。该动作捕捉装置构成为具备以下部分:配置在规定的位置上的照相机1L、1R;通过照相机校准获取照相机参数的照相机参数获取部2;观测由照相机1L、1R拍摄的图像/距离信息的图像/距离信息观测部3;生成连结了各关节的运动模型并保存图像信息的初始化部4;预测当前时刻的对象人物的姿势/位置的姿势/位置预测部5;将所预测的姿势/位置投影到二维图像上的姿势/位置投影部6;评价所投影的二维图像的可靠性评价部7;以及根据评价值估计当前时刻的对象人物的姿势/位置的姿势/位置估计部8。
照相机1L、1R被配置在规定的位置上,使其能够拍摄同一对象人物。此外,在本实施方式中,说明了使用从2台照相机的视差算出对象物的距离的“立体视觉”,但是也可以利用“激光测距仪”等,该“激光测距仪”通过测量从照射激光到检测出该激光的反射光之间的时间来算出距离。
照相机参数获取部2通过照相机校准获取使实际世界坐标与照相机图像坐标之间建立关系的照相机参数。该照相机参数被输出到图像/距离信息观测部3和姿势/位置投影部6。
图像/距离信息观测部3将由照相机1L、1R拍摄的图像输出到初始化部4和可靠性评价部7。另外,根据由照相机参数获取部2获取的照相机参数生成距离信息,将距离信息输出到初始化部4和可靠性评价部7。
初始化部4为了生成运动模型,求出对象人物的各关节点Sk的三维坐标(x,y,z),并且为了评价所预测的姿势/位置,保存关节点、关节点间的肢体(Limbs:肢)、以及面部等的特征点的图像信息(初始图像模型)。该运动模型是连结了各关节的关节模型。此外,在本实施例中,说明了使用以15个关节点(Sk:k=0,1,...,14)表现的运动模型。另外,作为图像信息,例如可使用表现表面的质感的纹理、颜色信息、视差信息、轮廓等的可靠性评价值等。
姿势/位置预测部5使用上一个时刻的各关节和肢体的预测位置与运动模型的关节间的连结性约束,根据概率模型分层预测当前时刻的各关节与肢体的位置来预测身体的姿势(姿势)。具体地说,如后面所述,使关节模型的上一层次的关节的估计位置具有概率分布,运算下一层次的关节的预测位置。
姿势/位置投影部6根据由照相机校准得到的投影矩阵P,将由姿势/位置预测部5预测出的当前时刻的对象人物在三维空间上的各关节与肢体的预测位置和姿势投影到二维图像上,求出与三维坐标(x,y,z)对应的二维图像上的投影位置(u,v)。
可靠性评价部7通过计算由姿势/位置投影部6得到的二维图像(观测图像)上的投影位置(u,v)的图像信息(例如,距离信息/颜色信息/纹理信息等)、与预先保存的图像信息(初始图像模型)之间的相似性,来评价投影位置的正确度。
姿势/位置估计部8根据由可靠性评价部7评价出的二维图像上的投影位置的评价值,估计当前时刻的对象人物在三维空间上的位置和姿势。将该当前时刻的对象人物在三维空间上的位置与姿势的估计信息作为上一个时刻的对象人物的各关节与肢体的位置而输出到姿势/位置预测部5。
在此,使用图2所示的示意图说明上述的动作捕捉处理的概要。
首先,预先配置至少2台以上的照相机1L、1R,使其能够拍摄同一对象人物,通过照相机校准获取它们的位置关系、照相机参数等。将该照相机参数等从照相机参数获取部2输出到图像/距离信息观测部3和姿势/位置投影部6。
在初始化部4中,例如根据从图像/距离信息观测部3输出的如图2的(A)那样的对象人物的观测图像来预测视差图像(u,v,depth),将该视差图像(u,v,depth)逆投影到三维空间上,由此算出对象人物的三维形状以及各关节的三维位置/坐标模型(x,y,z),生成运动模型。另外,根据观测图像保存各关节的图像信息(初始图像模型)。
接着,在姿势/位置预测部5中,例如根据如图2的(B)那样的上一个时刻(t-1)的各关节位置/姿势Pt-1的估计结果,使用运动模型的关节间的连结性约束并根据概率模型来分层预测如图2的(C)那样的当前时刻的各关节的位置/姿势Pt。
姿势/位置投影部6根据通过照相机校准得到的投影矩阵P,例如如图2的(D)那样地将所预测的当前时刻的对象人物的各关节位置/姿势Pt投影到二维图像上,求出与三维坐标(x,y,z)对应的二维图像上的投影位置以及视差(u,v,depth)。
然后,在可靠性评价部7中,计算投影在二维图像(观测图像)上的投影位置的视差(u,v,depth)、颜色信息、纹理信息等的图像信息与预先保存的图像信息(初始图像模型)之间的相似性,从而评价投影到二维图像上的对象人物的各关节的投影位置/姿势的正确度。
姿势/位置估计部8根据由可靠性评价部7算出的评价值,最终如图2的(E)那样求出当前时刻的对象人物在三维空间上的预测位置/姿势Pt。
通过这样进行对象人物的位置/姿势/运动追踪,可实现不给对象人物添加负担的自然的HMI(Human Machine Interface:人机界面)。
接着,详细说明上述的动作捕捉装置中的各处理。首先,说明对象人物的运动模型的生成。如图3所示,通过预先校准的左右照相机1L、1R观测三维空间的对象人物30的图像,使用这些观测图像(u,v,depth)31L、31R来估计视差图像32。然后,根据由照相机校准求出的投影矩阵将视差图像(u,v,depth)32投影到三维空间上,求出该三维空间上的人物的各关节的坐标位置(x,y,z),由此可以生成对象人物的运动模型33。
图4是表示用于初始化运动模型的初始化部4的结构的框图。初始化部4构成为具备如下的部分:生成距离图像的距离测量部41;从输入图像检测面部区域的位置以及距离的面部检测部42;根据距离图像以及面部的距离生成将对象人物作为前景的掩模图像的掩模生成部43;算出面部区域的颜色直方图的颜色分布算出部44;根据面部区域的位置以及距离算出表示手应该存在的位置的窗口位置的手检测窗口生成部45;根据面部区域的色调、彩度、及色调、彩度的各个分散值、手检测窗口的位置、掩模图像来检测手的手检测部46;以及根据面部的位置和距离、手的位置和距离来算出各关节位置的关节位置算出部47。
接着,参照图5所示的流程图和图6所示的示意图,说明初始化部4中的初始化处理。
在步骤S1中,距离测量部41根据从图像/距离信息观测部3输出的图像/距离信息生成距离图像。在此,最好在生成距离图像的同时生成表示该距离的可靠性的图像。由此,可以实现提高后面所述的掩模图像生成的精度。此外,例如在由立体法算出距离并进行了使用标准化相关的匹配的情况下,可靠性可以使用将该匹配代价指数化后的数值。
在步骤S2中,如图6(A)所示,面部检测部42从对象人物的输入图像检测面部F,在判断为检测出面部的情况下,进入步骤S3,在判断为没有检测出面部的情况下,返回步骤S1。
作为面部识别技术,例如如特再WO2003/019475(「ロボツト装置、顔認識方法及び顔認識装置」SONY(株))所记载的那样,可使用如下的方法:用Gabor滤波器提取面部特征量,用支持向量机进行面部识别。
在步骤S3中,颜色分布算出部44如图6(B)所示那样算出由面部检测部42检测的面部区域的颜色直方图。在此,直方图与HSI表色***的H(Hue,色调)以及S(Saturation,彩度)有关,求出该频度最大的H和S,输出分别具有适当的分散值的结果。
在步骤S4中,面部检测部42如图6的(C)所示那样根据检测出的面部F、以及由距离测量部41测量的距离图像来算出面部的距离。在此,为了除去噪声的影响,最好使用面部区域内的中央的距离值即中央值(Median:中间值),而不是平均值。
在步骤S5中,手检测窗口生成部45根据由面部检测部42检测出的面部区域的位置以及距离,例如如图6的(D)所示那样算出表示对象人物水平伸展双手时的手应该存在的位置的窗口W的位置。该手检测窗口的生成方法首先根据由照相机参数获取部2获取的照相机参数等将图像中的面部的位置和距离变换为世界坐标系。然后,从面部的位置起加上头和手臂的长度,决定窗口位置。此外,考虑个人差异,将头的长度规定为270mm±150mm,将手臂的长度规定为900mm±350mm。另外,假设对象人物大致正对动作捕捉装置,设为手的距离与面部的距离大致相同。将这样求出的手检测窗口的世界坐标值逆变换为照相机坐标系,算出图像中的手检测窗口的位置。
在步骤S6中,掩模生成部43根据由距离测量部41生成的距离图像以及由面部检测部42算出的面部的距离,生成将图6(E)所示的对象人物设为前景的掩模图像。在此,在距离测量部41中生成了表示距离的可靠性的图像的情况下,掩模生成部43使用距离的可靠性,将从面部的距离只移动了固定距离的值作为阈值而生成2值化的图像作为掩模图像。由此,可以提高掩模图像生成的精度。并且,在图像上实施标记而取得直方图,只留下频度大的区域,由此可除去噪声。
在步骤S7中,手检测部46根据由颜色分布算出部44算出的色调、彩度、以及色调、彩度的各个分散值、由手检测窗口生成部45生成的窗口位置、由掩模生成部43生成的掩模图像来检测手。具体地说,在手检测窗口内,从通过掩模图像中成为前景的区域检测包括在与面部相同的色调以及彩度的范围内的区域作为手。在此,在手的区域中,如果是右手就在右端应用圆、如果是左手就在左端应用圆,将该中心位置作为手的坐标而输出。另外,将手区域内的中央的坐标的距离值作为手的距离而输出。
在步骤S8中,手检测部46判断是否检测出双手,在检测出了的情况下,设为初始化成功,进入步骤S9。另外,在判断为没有检测出双手的情况下,返回步骤S1。
在步骤S9中,关节位置算出部47根据由面部检测部42检测出的面部的位置和距离、由手检测部46检测出的手的位置和距离来算出各关节的位置。图6(F)是表示各关节位置S1~S8的图像。在此,前提是手在水平的状态下被算出,因此通过使用双手的位置、预先准备的肩、上臂以及下臂的长度的比例,可决定肩和肘的位置。并且,通过使用表示由掩模生成部43生成的距离的可靠性的掩模图像,可以除去噪声,实现肘和肩的位置精度提高。具体地说,首先求出在肘的X坐标上的掩模前景部分的Y坐标,将其中央值作为肘的Y坐标而采用。另外,在上臂部的X坐标中采样几个点,将各个点上的掩模前景部分的Y坐标的中央值作为该点的Y坐标而采用,使用这些点而求出上臂部的近似直线。然后,将在肩的X坐标上的该近似直线上的点作为肩位置而采用。通过这些处理,可以大幅提高关节位置精度。
通过这样求出三维空间的各关节位置,能够高精度地初始化运动模型。另外,在运动模型的初始化时,保存与该模型的各关节点对应的图像信息(纹理、颜色、视差、可靠性评价值等),作为初始图像模型。将该初始模型在后面叙述的追踪处理中与观测图像进行比较,在预测的正确度的评价、追踪结果的算出中使用。
下面说明运动模型的各关节位置的预测方法。图7的(A)表示本实施方式中的分层预测方法的概念图。该分层预测法首先使用最容易观测的人物的头部(面部)的信息,估计头的关节S0和头部中心S1的位置。然后以关节S0的估计结果为基础估计肩的关节S2、S3以及后背的关节S8的位置。之后,使用各个关节S2、S3、S8的估计结果,估计双肘的关节S4、S5以及腰部关节S9、S10的位置。近而,以双肘的关节S4、S5为基础估计双臂的关节S6、S7的位置。另外,以腰部关节S9、S10为基础估计双膝的关节S11、S12的位置。最后,根据双膝的关节S11、S12估计双脚的关节S13、S14的位置。即,该分层预测法根据运动模型的关节间的连结性约束以及上一个时刻的关节位置来依次算出当前时刻的各关节位置。
图7的(B)是用于说明各关节点的预测方法的示意图。当前时刻(t)的各关节S1~S14的预测位置是根据上一个时刻(t-1)的预测结果求出的。另外,当前时刻(t)的各关节的预测位置以正规分布表现,进行可靠性(概率)的评价。另外,根据可靠性的评价值使各关节的估计结果在某范围内变动。由此,防止在直接利用了精度差的估计结果的情况下,对分别连结的关节的估计精度产生较大的影响。
图8和图9是表示用于预测运动模型的各关节位置的结构的框图。在此,关节S0~S8的位置/姿势预测部51~58与姿势/位置预测部5对应,关节S0~S8的位置/姿势估计部81~88与姿势/位置估计部8对应。即,在图1中,以与运动模型的关节间的连结性约束相应的顺序,由姿势/位置预测部5预测关节的预测位置,由姿势/位置投影部6将预测位置投影到二维图像上,由可靠性评价部7对投影在二维图像上的预测位置的可靠性进行评价,由姿势/位置估计部8根据评价结果对估计位置进行估计。并且,将由姿势/位置估计部8估计出的估计位置使用在下面预测的层次的关节的预测位置运算中。
使用基于上一个时刻(t-1)的各关节Sm(m=0,...,14)的各假设{k=1,2,...,K}的姿势的预测函数ωm(t,k)以及位置的预测函数ξm(t,k);来计算当前时刻t的各关节的预测值(位置/姿势)(m=0,...,14)。关于各个时刻t的第m关节,如下述那样计算ωm(t,k)和ξm(t,k)。
式1
在此,是用于得到平均值μ、标准方差σ的标准随机数的函数,v表示时刻(t-1)的各关节点的运动速度,κ表示调整贡献度的常数。
图8所示的用于预测上半身的各关节的结构具备:预测头的关节S0和头部中心S1的位置/姿势的S0与S1的位置/姿势预测部51、S0与S1的位置/姿势估计部81、根据头的关节S0的估计结果预测肩的关节S2、S3的位置/姿势的S2和S3的位置/姿势预测部52、S2和S3的位置/姿势估计部82、根据肩的关节S2、S3的估计结果预测双肘的关节S4、S5的位置/姿势的S4与S5的位置/姿势预测部53、S4与S5的位置/姿势估计部83、根据双肘的关节S4、S5预测双臂的关节S6、S7的位置/姿势的位置/姿势预测部54、以及S6与S7的位置/姿势估计部84。
S0与S1的位置/姿势预测部51接收上一个时刻(t-1)的头的关节位置S0(t-1,k)和头部中心位置S1(t-1,k)作为输入信息,算出当前时刻(t)的头的关节位置S0(t,k)和头部中心位置S1(t,k)的预测值。
式2
S0(t,k)=ξ0(t,k)(S0(t-1,k)) (3)
S1(t,k)=ω1(t,k)(S1(0)-S0(0))+S0(t,k) (4)
S0与S1的位置/姿势估计部81如后面叙述的那样评价当前时刻(t)的头的关节位置S0(t,k)和头部中心位置S1(t,k)的假设{k=1,2,...,K}的可靠性,例如将可靠性最高的头的关节位置的假设S0(t)输出到S2与S3的位置/姿势预测部52。
S2与S3的位置/姿势预测部52接收上一个时刻(t-1)的肩的关节位置S2(t-1,k)、S3(t-1,k)、以及当前时刻(t)的头的关节的估计位置S0(t)作为输入信息,算出当前时刻(t)的肩的关节位置S2(t,k)、S3(t,k)的预测值。
式3
S2(t,k)=ω2(t,k)(S2(0)-S0(0))+ξ2(t,k)(S0(t)) (5)
S3(t,k)=ω2(t,k)(S3(0)-S0(0))+ξ2(t,k)(S0(t)) (6)
S2与S3的位置/姿势估计部82如后面叙述的那样评价当前时刻(t)的肩的关节位置S2(t,k)、S3(t,k)的假设{k=1,2,...,K}的可靠性,例如将可靠性最高的假设S2(t)、S3(t)输出到S4与S5的位置/姿势预测部53。
S4与S5的位置/姿势估计部83接收上一个时刻(t-1)的双肘的关节位置S4(t-1,k)、S5(t-1,k)、以及当前时刻(t)的肩的关节的估计位置S2(t)、S3(t)作为输入信息,算出当前时刻(t)的双肘的关节位置S4(t,k)、S5(t,k)的预测值。
式4
S4(t,k)=ω4(t,k)(S4(0)-S2(0))+ξ4(t,k)(S2(t)) (7)
S5(t,k)=ω5(t,k)(S5(0)-S3(0))+ξ5(t,k)(S3(t)) (8)
S4与S5的位置/姿势估计部83如后面叙述的那样评价当前时刻(t)的双肘的关节位置S4(t,k)、S5(t,k)的假设{k=1,2,...,K}的可靠性,例如将可靠性最高的假设S4(t)、S5(t)输出到S6与S7的位置/姿势预测部54。
S6与S7的位置/姿势预测部54接收上一个时刻(t-1)的双臂的关节位置S6(t-1,k)、S7(t-1,k)、以及当前时刻(t)的双肘的关节位置S4(t)、S5(t)作为输入信息,算出当前时刻(t)的双肘的关节位置S6(t,k)、S7(t,k)的预测值。
式5
S6(t,k)=ω6(t,k)(S6(0)-S4(0))+ξ6(t,k)(S4(t)) (9)
S7(t,k)=ω7(t,k)(S7(0)-S5(0))+ξ7(t,k)(S5(t)) (10)
S6与S7的位置/姿势估计部84如后面叙述的那样评价当前时刻(t)的双臂的关节位置S6(t,k)、S7(t,k)的假设{k=1,2,...,K}的可靠性,例如将可靠性最高的假设S6(t)、S7(t)作为双臂的关节位置而输出。
另外,图9所示的用于预测下半身的各关节的结构具备:预测后背的关节S8的位置/姿势的S8的位置/姿势预测部55、S8的位置/姿势估计部85、根据后背的关节S8的估计结果预测腰部关节S9、S10的位置/姿势的S9与S10的位置/姿势预测部56、S9与S10的位置/姿势估计部86、根据腰部关节S9、S10的估计结果预测双膝的关节S11、S12的位置/姿势的S11与S12的位置/姿势预测部57、S11与S12的位置/姿势估计部87、根据双膝的关节S11、S12预测双脚的关节S13、S14的位置/姿势的位置/姿势预测部58、以及S13与S14的位置/姿势估计部88。
S8的位置/姿势预测部55接收上一个时刻(t-1)的后背的关节位置S8(t-1,k)、以及当前时刻(t)的头的关节位置S0(t)作为输入信息,算出当前时刻(t)的后背的关节位置S8(t,k)的预测值。
式6
S8(t,k)=ω8(t,k)(S8(0)-S0(0))+ξ8(t,k)(S0(t)) (11)
S8的位置/姿势估计部85如后面叙述的那样评价当前时刻(t)的后背的关节位置S8(t,k)的假设{k=1,2,...,K}的可靠性,例如将可靠性最高的假设S8(t)输出到S9与S10的位置/姿势预测部56。
S9与S10的位置/姿势预测部56接收上一个时刻(t-1)的腰部的关节位置S9(t-1,k)、S10(t-1,k)、以及当前时刻(t)的后背的关节位置S8(t)作为输入信息,算出当前时刻(t)的肩的关节位置S9(t,k)、S10(t,k)的预测值。
式7
S9(t,k)=ω9(t,k)(S9(0)-S8(0))+ξ9(t,k)(S8(t)) (12)
S10(t,k)=ω10(t,k)(S10(0)-S8(0))+ξ10(t,k)(S8(t)) (13)
S9与S10的位置/姿势估计部86如后面叙述的那样评价当前时刻(t)的腰部的关节位置S9(t,k)、S10(t,k)的假设{k=1,2,...,K}的可靠性,例如将可靠性最高的假设S9(t)、S10(t)输出到S11与S12的位置/姿势预测部57。
S11与S12的位置/姿势预测部57接收上一个时刻(t-1)的双膝的关节位置S11(t-1,k)、S12(t-1,k)、以及当前时刻(t)的腰部的关节位置S9(t)、S10(t)作为输入信息,算出当前时刻(t)的双膝的关节位置S11(t,k)、S12(t,k)的预测值。
式8
S11(t,k)=ω11(t,k)(S11(0)-S9(0))+ξ11(t,k)(S9(t)) (14)
S12(t,k)=ω12(t,k)(S12(0)-S10(0))+ξ12(t,k)(S10(t)) (15)
S4与S5的位置/姿势估计部87如后面叙述的那样评价当前时刻(t)的双膝的关节位置S11(t,k)、S12(t,k)的假设{k=1,2,...,K}的可靠性,例如将可靠性最高的假设S11(t)、S12(t)输出到S12与S13的位置/姿势预测部58。
S13与S14的位置/姿势预测部58接收上一个时刻(t-1)的双脚的关节位置S13(t-1,k)、S14(t-1,k)、以及当前时刻(t)的双膝的关节位置S11(t)、S12(t)作为输入信息,算出当前时刻(t)的双脚的关节位置S13(t,k)、S14(t,k)的预测值。
式9
S13(t,k)=ω13(t,k)(S13(0)-S11(0))+ξ13(t,k)(S11(t)) (16)
S14(t,k)=ω14(t,k)(S14(0)-S12(0))+ξ14(t,k)(S12(t)) (17)
S13与S14的位置/姿势估计部88评价当前时刻(t)的双脚的关节位置S13(t,k)、S14(t,k)的假设{k=1,2,...,K}的可靠性,例如将可靠性最高的假设S13(t)、S14(t)作为双脚的关节位置而输出。
通过这样根据追踪精度(概率)来预测相邻关节点,能够以较少的假设来预测全身的运动。例如,在将各关节点的假设k(预测滤波器数量)设为10、并同时预测了15关节的动作的情况下,需要1015的假设数量,但是在分层预测了相邻关节点的情况下,只需要10×15=150的假设数量即可。
另外,关于本方法,评价上一个关节点Sk-1的追踪结果的可靠性,使Sk的预测模型(参数)动态地变化,由此可防止例如在S0的估计结果不好的情况下影响到全部的关节点那样的由各层次的误差累积引起的追踪精度的降低。例如,在关节点S4的追踪结果的可靠性的评价值低的情况下,在预测/追踪关节点S6的动作时,如图10所示那样一边使以S4为中心的预测位置(x,y,z)概率性地变化,一边将它作为手臂(S4-S6)的转动中心,进行S6的运动预测和追踪,最终地估计手臂(S4’-S6)的运动,由此可估计新的肘关节点S4’。在该例中,能够将手臂(S4’-S6)的估计结果作为更正确的肘关节位置而得到,因此也可以将肘关节点S4’的结果反馈给上臂(S2-S4)的估计结果。
图11是用于说明姿势/位置投影部6、可靠性评价部7、以及姿势/位置估计部8的处理的示意图。
姿势/位置投影部6将各关节的假设k的预测位置(x,y,z)k投影到2D图像(u,v,depth)k上。即,根据由照相机校准得到的投影矩阵将由图8和图9所示的各位置/姿势预测部51~58所预测的各假设投影到二维图像上。作为具体例,例如对图11的(A)所示的右臂的关节S7的各假设的预测位置(x,y,z),如图11的(B)所示那样,将这些坐标值投影到观测图像上,求出二维图像上的投影位置/视差(u,v,depth)。
可靠性评价部7评价由各假设得到的观测图像上的投影位置的图像信息与预先保存的模型图像的图像信息之间的相似性,计算所预测的各假设的可靠性(概率)。在此,作为模型图像的图像信息,可以使用初始化时保存的图像信息(例如某窗口内的图像纹理、颜色分布、视差等)。另外,作为相似性评价方法,例如可以使用利用这些图像样式的标准化相关、这些图像样式的颜色分布特性的匹配。
匹配评价通过如下的处理进行:在将由分层运动预测单元所预测的当前时刻(t)的各关节点Sm(t,k)的假设(m:关节点编号、k:假设的编号)的三维位置投影到当前时刻(t)的二维图像平面上时,使用假设的运动预测参数(R,T),在与初始化时得到的图像区域对应的三维区域位置上进行旋转(R)、移动(T)处理,求出二维模型图像样式,进行该模型图像样式与假设的投影位置的图像样式之间的相似性评价,计算匹配率。
姿势/位置估计部8对由相似性评价值(概率)得到的各关节Sm的位置/姿势进行估计。也就是说,通过将各假设的预测位置的概率作为贡献度的平均状态的统计处理,决定关节的位置/姿势。具体地说,例如如图11(B)所示,根据由可靠性评价部7的匹配处理评价的可靠性(概率),对右臂的关节S7的各假设的二维图像上的投影位置进行统计处理,由此如图11(C)所示那样估计右臂的关节S7的位置。
如上所述,通过使用对象人物的运动模型来分层预测当前时刻的关节位置,能够强力地估计在一般环境下的对象人物的三维空间的位置/姿势。另外,通过使用2台以上的多个照相机,能够容易地生成对象人物的运动模型,并且能够提高对象人物的位置/姿势的估计精度。另外,由于不使用背景差分、时间差分,因此对环境变化很稳定。另外,由于不使用标识而能够进行对象人物的位置/姿势/运动追踪,因此不给对象人物添加负担,能够实现自然的HMI。
Claims (10)
1.一种动作捕捉装置,追踪对象人物的各关节与肢体的三维位置和姿势,其特征在于,具备:
生成单元,其从上述对象人物的观测图像生成连结了各关节的运动模型;
预测单元,其根据上述运动模型的关节间的连结约束和上一个时刻的预测位置分层地算出上述对象人物的各关节的当前时刻的预测位置,并预测当前时刻的各关节与肢体的三维位置和姿势;
投影单元,其将由上述预测单元预测的当前时刻的对象人物的各关节与肢体的三维位置和姿势投影到二维图像上;
评价单元,其根据上述对象人物的观测图像来评价由上述投影单元投影的投影位置的可靠性;以及
估计单元,其根据上述可靠性的评价结果来估计上述当前时刻的对象人物的各关节与肢体的三维位置和姿势。
2.根据权利要求1所述的动作捕捉装置,其特征在于,还具备:
距离图像生成单元,其从上述观测图像生成距离图像;
面部检测单元,其从上述观测图像检测面部区域的位置和距离;
掩模生成单元,其根据上述距离图像及面部的距离,生成将对象人物作为前景的掩模图像;
颜色分布算出单元,其算出上述面部区域的颜色直方图;
手检测窗口生成单元,其根据上述面部区域的位置和距离,在规定位置上生成手检测窗口;
手检测单元,其根据上述面部区域的颜色直方图、上述手检测窗口的位置以及上述掩模图像来检测手的位置和距离;以及
关节位置算出单元,其根据上述面部的位置和距离、上述手的位置和距离来算出上述运动模型的各关节位置。
3.根据权利要求2所述的动作捕捉装置,其特征在于,
上述关节位置算出单元将上述掩模图像的前景区域的肘关节在Y轴上的中央值作为肘关节的Y坐标、将上述掩模图像的前景区域的上臂部在Y轴上的中央值作为上臂部的Y坐标而求出上臂部的近似直线,将肩关节在X轴上与上述近似直线上的交点作为肩关节的位置而算出。
4.根据权利要求1所述的动作捕捉装置,其特征在于,
上述生成单元从上述观测图像估计对象人物的视差图像,将该视差图像逆投影到三维空间,由此算出上述对象人物的各关节与肢体的三维位置和姿势,生成运动模型。
5.根据权利要求1所述的动作捕捉装置,其特征在于,
上述投影单元根据由照相机校准得到的投影矩阵求出与三维空间上的位置对应的二维图像上的投影位置,由此将由上述预测单元预测的当前时刻的各关节与肢体的三维位置和姿势投影到上述二维图像上。
6.根据权利要求1所述的动作捕捉装置,其特征在于,
上述评价单元计算对应于上述投影位置的观测图像的图像信息与预先保存的各关节及肢体的图像信息之间的相似性,评价上述可靠性。
7.根据权利要求1所述的动作捕捉装置,其特征在于,
上述估计单元根据针对由上述投影单元投影的投影位置的评价值,估计上述当前时刻的对象人物的各关节与肢体的三维位置和姿势。
8.根据权利要求1所述的动作捕捉装置,其特征在于,
还具备图像观测单元,该图像观测单元配置至少2台以上的照相机使得能够拍摄同一对象人物,并且预先具有它们的位置关系以及照相机参数。
9.一种动作捕捉方法,追踪对象人物的各关节与肢体的三维位置和姿势,其特征在于,具有以下工序:
生成工序,从上述对象人物的观测图像生成连结了各关节的运动模型;
预测工序,根据上述运动模型的关节间的连结约束和上一个时刻的预测位置,分层地算出上述对象人物的各关节的当前时刻的预测位置,预测当前时刻的各关节与肢体的三维位置和姿势;
投影工序,将由上述预测工序预测的当前时刻的对象人物的各关节与肢体的三维位置和姿势投影到二维图像上;
评价工序,根据上述对象人物的观测图像,评价由上述投影工序投影的投影位置的可靠性;以及
估计工序,根据上述可靠性的评价结果,估计上述当前时刻的对象人物的各关节与肢体的三维位置和姿势。
10.一种动作捕捉程序,执行追踪对象人物的各关节与肢体的三维位置和姿势的处理,其特征在于具有以下工序:
生成工序,从上述对象人物的观测图像生成连结了各关节的运动模型;
预测工序,根据上述运动模型的关节间的连结约束和上一个时刻的预测位置分层算出上述对象人物的各关节的当前时刻的预测位置,并预测当前时刻的各关节与肢体的三维位置和姿势;
投影工序,将由上述预测工序预测出的当前时刻的对象人物的各关节与肢体的三维位置和姿势投影到二维图像上;
评价工序,根据上述对象人物的观测图像评价由上述投影工序投影的投影位置的可靠性;以及
估计工序,根据上述可靠性的评价结果估计上述当前时刻的对象人物的各关节与肢体的三维位置和姿势。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006-169070 | 2006-06-19 | ||
JP2006169070A JP4148281B2 (ja) | 2006-06-19 | 2006-06-19 | モーションキャプチャ装置及びモーションキャプチャ方法、並びにモーションキャプチャプログラム |
JP2006169070 | 2006-06-19 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101093582A true CN101093582A (zh) | 2007-12-26 |
CN101093582B CN101093582B (zh) | 2010-06-02 |
Family
ID=38353959
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2007101085007A Expired - Fee Related CN101093582B (zh) | 2006-06-19 | 2007-06-19 | 动作捕捉装置和动作捕捉方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US8355529B2 (zh) |
EP (1) | EP1870038B1 (zh) |
JP (1) | JP4148281B2 (zh) |
KR (1) | KR20070120443A (zh) |
CN (1) | CN101093582B (zh) |
DE (1) | DE602007001104D1 (zh) |
Cited By (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101872476A (zh) * | 2009-04-24 | 2010-10-27 | 索尼株式会社 | 估计图像中对象姿势视角的方法、设备 |
CN102103457A (zh) * | 2009-12-18 | 2011-06-22 | 深圳富泰宏精密工业有限公司 | 简报操作***及方法 |
CN102156994A (zh) * | 2011-04-19 | 2011-08-17 | 上海摩比源软件技术有限公司 | 一种单视角无标记人体运动跟踪的关节定位方法 |
CN102163077A (zh) * | 2010-02-16 | 2011-08-24 | 微软公司 | 使用碰撞体来捕捉屏幕对象 |
CN102171726A (zh) * | 2008-10-01 | 2011-08-31 | 索尼计算机娱乐公司 | 信息处理装置、信息处理方法、程序以及信息存储介质 |
CN102208014A (zh) * | 2010-03-29 | 2011-10-05 | 索尼公司 | 信息处理设备、信息处理方法和程序 |
CN102378992A (zh) * | 2009-12-28 | 2012-03-14 | 松下电器产业株式会社 | 关节状区域检测装置及其方法 |
CN102779347A (zh) * | 2012-06-14 | 2012-11-14 | 清华大学 | 一种用于飞行器的目标跟踪与定位方法和装置 |
CN102981603A (zh) * | 2011-06-01 | 2013-03-20 | 索尼公司 | 图像处理装置、图像处理方法和程序 |
CN103003846A (zh) * | 2011-01-26 | 2013-03-27 | 松下电器产业株式会社 | 关节区域显示装置、关节区域检测装置、关节区域归属度计算装置、关节状区域归属度计算装置以及关节区域显示方法 |
CN103038727A (zh) * | 2010-06-29 | 2013-04-10 | 微软公司 | 骨架关节识别和跟踪*** |
CN103155003A (zh) * | 2010-10-08 | 2013-06-12 | 松下电器产业株式会社 | 姿势估计装置及姿势估计方法 |
CN103221977A (zh) * | 2010-12-09 | 2013-07-24 | 松下电器产业株式会社 | 姿势状态估计装置及姿势状态估计方法 |
CN103718175A (zh) * | 2011-07-27 | 2014-04-09 | 三星电子株式会社 | 检测对象姿势的设备、方法和介质 |
CN103988150A (zh) * | 2011-03-25 | 2014-08-13 | 奥布隆工业有限公司 | 用于初始化基于视觉的手***的快速指尖检测 |
CN104048674A (zh) * | 2013-03-15 | 2014-09-17 | 康耐视公司 | 利用不准确的校准靶的机器视觉***校准 |
CN104274183A (zh) * | 2013-07-01 | 2015-01-14 | 株式会社东芝 | 动作信息处理装置 |
CN104635917A (zh) * | 2013-11-08 | 2015-05-20 | 中国电信股份有限公司 | 动作捕捉方法和装置、用于非接触输入的方法和装置 |
CN104756045A (zh) * | 2012-10-04 | 2015-07-01 | 微软公司 | 用于跟踪由关节连接的身体部位的可佩戴传感器 |
CN105912982A (zh) * | 2016-04-01 | 2016-08-31 | 北京明泰朗繁精密设备有限公司 | 一种基于肢体动作识别的控制方法及装置 |
CN106105184A (zh) * | 2014-03-10 | 2016-11-09 | 微软技术许可有限责任公司 | 相机投影***中的延时降低 |
CN106964150A (zh) * | 2011-02-11 | 2017-07-21 | 漳州市爵晟电子科技有限公司 | 一种动作定位点控制***及其穿套式定点控制设备 |
CN107832713A (zh) * | 2017-11-13 | 2018-03-23 | 南京邮电大学 | 一种基于OptiTrack的人体姿态识别方法 |
CN107920229A (zh) * | 2017-11-14 | 2018-04-17 | 国网黑龙江省电力有限公司信息通信公司 | 机房监控记录生成***及方法 |
CN108781267A (zh) * | 2016-03-24 | 2018-11-09 | 索尼公司 | 图像处理设备和方法 |
CN109008993A (zh) * | 2018-07-13 | 2018-12-18 | 武汉久乐科技有限公司 | 一种生命体征数据采集控制方法和装置 |
CN109800645A (zh) * | 2018-12-18 | 2019-05-24 | 武汉西山艺创文化有限公司 | 一种动作捕捉***及其方法 |
CN110349180A (zh) * | 2019-07-17 | 2019-10-18 | 深圳前海达闼云端智能科技有限公司 | 人体关节点预测方法及装置、动作类型识别方法及装置 |
CN110445982A (zh) * | 2019-08-16 | 2019-11-12 | 深圳特蓝图科技有限公司 | 一种基于六自由度设备的追踪拍摄方法 |
CN110442153A (zh) * | 2019-07-10 | 2019-11-12 | 佛山科学技术学院 | 一种被动式光学动捕***摄像机校正控制方法及*** |
WO2020223940A1 (zh) * | 2019-05-06 | 2020-11-12 | 深圳大学 | 姿势预测方法、计算机设备和存储介质 |
Families Citing this family (100)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006086508A2 (en) | 2005-02-08 | 2006-08-17 | Oblong Industries, Inc. | System and method for genture based control system |
US20140035805A1 (en) * | 2009-04-02 | 2014-02-06 | David MINNEN | Spatial operating environment (soe) with markerless gestural control |
US9823747B2 (en) | 2006-02-08 | 2017-11-21 | Oblong Industries, Inc. | Spatial, multi-modal control device for use with spatial operating system |
US8370383B2 (en) | 2006-02-08 | 2013-02-05 | Oblong Industries, Inc. | Multi-process interactive systems and methods |
US8537111B2 (en) | 2006-02-08 | 2013-09-17 | Oblong Industries, Inc. | Control system for navigating a principal dimension of a data space |
US9910497B2 (en) | 2006-02-08 | 2018-03-06 | Oblong Industries, Inc. | Gestural control of autonomous and semi-autonomous systems |
US8531396B2 (en) | 2006-02-08 | 2013-09-10 | Oblong Industries, Inc. | Control system for navigating a principal dimension of a data space |
GB0622451D0 (en) * | 2006-11-10 | 2006-12-20 | Intelligent Earth Ltd | Object position and orientation detection device |
EP2150893A4 (en) | 2007-04-24 | 2012-08-22 | Oblong Ind Inc | PROTEINS, POOLS AND SLAWX IN PROCESSING ENVIRONMENTS |
KR100940860B1 (ko) * | 2007-12-18 | 2010-02-09 | 한국전자통신연구원 | 디지털 크리쳐의 이동 동작 생성 방법 및 장치 |
US8437549B2 (en) | 2008-03-14 | 2013-05-07 | Panasonic Corporation | Image processing method and image processing apparatus |
US9952673B2 (en) | 2009-04-02 | 2018-04-24 | Oblong Industries, Inc. | Operating environment comprising multiple client devices, multiple displays, multiple users, and gestural control |
US9740922B2 (en) | 2008-04-24 | 2017-08-22 | Oblong Industries, Inc. | Adaptive tracking system for spatial input devices |
US9495013B2 (en) | 2008-04-24 | 2016-11-15 | Oblong Industries, Inc. | Multi-modal gestural interface |
US8723795B2 (en) | 2008-04-24 | 2014-05-13 | Oblong Industries, Inc. | Detecting, representing, and interpreting three-space input: gestural continuum subsuming freespace, proximal, and surface-contact modes |
US10642364B2 (en) | 2009-04-02 | 2020-05-05 | Oblong Industries, Inc. | Processing tracking and recognition data in gestural recognition systems |
US9740293B2 (en) | 2009-04-02 | 2017-08-22 | Oblong Industries, Inc. | Operating environment with gestural control and multiple client devices, displays, and users |
US9684380B2 (en) | 2009-04-02 | 2017-06-20 | Oblong Industries, Inc. | Operating environment with gestural control and multiple client devices, displays, and users |
KR101483713B1 (ko) | 2008-06-30 | 2015-01-16 | 삼성전자 주식회사 | 모션 캡쳐 장치 및 모션 캡쳐 방법 |
JP4613994B2 (ja) * | 2008-09-16 | 2011-01-19 | ソニー株式会社 | 動態推定装置、動態推定方法、プログラム |
JP5066047B2 (ja) * | 2008-10-01 | 2012-11-07 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置、情報処理方法、プログラム及び情報記憶媒体 |
KR101221451B1 (ko) | 2008-12-22 | 2013-01-11 | 한국전자통신연구원 | 다시점 영상기반 동적 개체의 디지털 클론 생성 방법 |
JP2010176380A (ja) * | 2009-01-29 | 2010-08-12 | Sony Corp | 情報処理装置および方法、プログラム、並びに記録媒体 |
US8487938B2 (en) * | 2009-01-30 | 2013-07-16 | Microsoft Corporation | Standard Gestures |
US20150309581A1 (en) * | 2009-04-02 | 2015-10-29 | David MINNEN | Cross-user hand tracking and shape recognition user interface |
US9317128B2 (en) | 2009-04-02 | 2016-04-19 | Oblong Industries, Inc. | Remote devices used in a markerless installation of a spatial operating environment incorporating gestural control |
US10824238B2 (en) | 2009-04-02 | 2020-11-03 | Oblong Industries, Inc. | Operating environment with gestural control and multiple client devices, displays, and users |
KR101586007B1 (ko) | 2009-06-25 | 2016-01-21 | 삼성전자주식회사 | 데이터 처리 장치 및 방법 |
KR101616926B1 (ko) | 2009-09-22 | 2016-05-02 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
KR101626065B1 (ko) | 2009-10-13 | 2016-05-31 | 삼성전자주식회사 | 마커리스 모션 캡쳐링 장치 및 방법 |
US9933852B2 (en) | 2009-10-14 | 2018-04-03 | Oblong Industries, Inc. | Multi-process interactive systems and methods |
US9971807B2 (en) | 2009-10-14 | 2018-05-15 | Oblong Industries, Inc. | Multi-process interactive systems and methods |
JP5387856B2 (ja) * | 2010-02-16 | 2014-01-15 | ソニー株式会社 | 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置 |
RU2534892C2 (ru) * | 2010-04-08 | 2014-12-10 | Самсунг Электроникс Ко., Лтд. | Устройство и способ для захвата безмаркерных движений человека |
US9033810B2 (en) | 2010-08-26 | 2015-05-19 | Blast Motion Inc. | Motion capture element mount |
US9746354B2 (en) | 2010-08-26 | 2017-08-29 | Blast Motion Inc. | Elastomer encased motion sensor package |
US9052201B2 (en) | 2010-08-26 | 2015-06-09 | Blast Motion Inc. | Calibration system for simultaneous calibration of multiple motion capture elements |
US8613676B2 (en) | 2010-08-26 | 2013-12-24 | Blast Motion, Inc. | Handle integrated motion capture element mount |
US9028337B2 (en) | 2010-08-26 | 2015-05-12 | Blast Motion Inc. | Motion capture element mount |
US10254139B2 (en) | 2010-08-26 | 2019-04-09 | Blast Motion Inc. | Method of coupling a motion sensor to a piece of equipment |
US9622361B2 (en) | 2010-08-26 | 2017-04-11 | Blast Motion Inc. | Enclosure and mount for motion capture element |
US9643049B2 (en) | 2010-08-26 | 2017-05-09 | Blast Motion Inc. | Shatter proof enclosure and mount for a motion capture element |
JP2012053606A (ja) * | 2010-08-31 | 2012-03-15 | Sony Corp | 情報処理装置および方法、並びにプログラム |
JP2012098988A (ja) * | 2010-11-04 | 2012-05-24 | Sony Corp | 画像処理装置および方法、並びにプログラム |
JP2012113460A (ja) * | 2010-11-24 | 2012-06-14 | Sony Corp | 情報処理装置および方法、並びにプログラム |
EP3751517A1 (en) * | 2011-05-16 | 2020-12-16 | Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. | Fast articulated motion tracking |
AU2011203028B1 (en) * | 2011-06-22 | 2012-03-08 | Microsoft Technology Licensing, Llc | Fully automatic dynamic articulated model calibration |
JP5898199B2 (ja) * | 2011-07-15 | 2016-04-06 | パナソニック株式会社 | 姿勢推定装置、姿勢推定方法、および姿勢推定プログラム |
TWI437467B (zh) * | 2011-10-11 | 2014-05-11 | Ind Tech Res Inst | 顯示控制裝置及顯示控制方法 |
KR101305694B1 (ko) * | 2011-10-20 | 2013-09-09 | 엘지이노텍 주식회사 | 목표물을 검출하기 위한 영상 처리 방법, 장치, 사용자 인터페이스를 위한 방법 및 장치 |
US8457357B2 (en) * | 2011-11-09 | 2013-06-04 | Disney Enterprises, Inc. | Relative pose estimation of non-overlapping cameras using the motion of subjects in the camera fields of view |
EP2842131B1 (en) * | 2012-04-27 | 2016-11-02 | Blast Motion, Inc. | Calibration system for simultaneous calibration of multiple motion capture elements |
CN103908293B (zh) * | 2012-12-28 | 2018-03-27 | 通用电气公司 | 用于测量医学图像的医学成像***和方法 |
JP6181373B2 (ja) * | 2013-01-18 | 2017-08-16 | 東芝メディカルシステムズ株式会社 | 医用情報処理装置及びプログラム |
US9202353B1 (en) | 2013-03-14 | 2015-12-01 | Toyota Jidosha Kabushiki Kaisha | Vibration modality switching system for providing navigation guidance |
US20140276095A1 (en) * | 2013-03-15 | 2014-09-18 | Miriam Griggs | System and method for enhanced goniometry |
KR101933921B1 (ko) * | 2013-06-03 | 2018-12-31 | 삼성전자주식회사 | 포즈 추정 방법 및 장치 |
US8700354B1 (en) | 2013-06-10 | 2014-04-15 | Blast Motion Inc. | Wireless motion capture test head system |
JP6162517B2 (ja) * | 2013-07-18 | 2017-07-12 | 東芝メディカルシステムズ株式会社 | ***決定支援装置及び医用画像診断装置 |
JP6433149B2 (ja) * | 2013-07-30 | 2018-12-05 | キヤノン株式会社 | 姿勢推定装置、姿勢推定方法およびプログラム |
US9091561B1 (en) | 2013-10-28 | 2015-07-28 | Toyota Jidosha Kabushiki Kaisha | Navigation system for estimating routes for users |
CN103559708B (zh) * | 2013-10-30 | 2016-08-17 | 同济大学 | 基于方靶模型的工业定焦相机参数标定装置 |
KR101394276B1 (ko) * | 2013-12-31 | 2014-05-13 | (주) 골프존 | 뎁스 영상 분석을 통한 사용자의 골프 스윙 자세 분석을 위한 영상 생성 방법과 이를 이용한 골프 스윙 자세 분석 방법 및 장치 |
US9990046B2 (en) | 2014-03-17 | 2018-06-05 | Oblong Industries, Inc. | Visual collaboration interface |
US11013451B2 (en) | 2014-09-19 | 2021-05-25 | Brigham Young University | Marker-less monitoring of movement disorders |
US9552070B2 (en) | 2014-09-23 | 2017-01-24 | Microsoft Technology Licensing, Llc | Tracking hand/body pose |
US9613505B2 (en) | 2015-03-13 | 2017-04-04 | Toyota Jidosha Kabushiki Kaisha | Object detection and localized extremity guidance |
KR101654156B1 (ko) | 2015-06-12 | 2016-09-05 | ㈜리커시브소프트 | 센서 모듈의 데이터 송수신을 이용한 모션 캡쳐 시스템 및 이를 이용한 모션 캡쳐 방법 |
WO2017005591A1 (en) * | 2015-07-07 | 2017-01-12 | Koninklijke Philips N.V. | Apparatus and method for motion tracking of at least a portion of a limb |
WO2017086032A1 (ja) | 2015-11-20 | 2017-05-26 | ソニー株式会社 | 画像処理装置および方法 |
JP2017102808A (ja) * | 2015-12-04 | 2017-06-08 | ソニー株式会社 | 画像処理装置および方法 |
JP2017144490A (ja) * | 2016-02-15 | 2017-08-24 | オムロン株式会社 | 制御装置、制御システム、制御方法およびプログラム |
CN105832342B (zh) * | 2016-03-14 | 2018-08-21 | 深圳市第二人民医院 | 基于光学运动捕捉***可视空间扩展的运动学参数捕捉方法 |
US11006856B2 (en) * | 2016-05-17 | 2021-05-18 | Harshavardhana Narayana Kikkeri | Method and program product for multi-joint tracking combining embedded sensors and an external sensor |
US10529302B2 (en) | 2016-07-07 | 2020-01-07 | Oblong Industries, Inc. | Spatially mediated augmentations of and interactions among distinct devices and applications via extended pixel manifold |
WO2018087933A1 (ja) * | 2016-11-14 | 2018-05-17 | 富士通株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP6760656B2 (ja) * | 2017-11-24 | 2020-09-23 | 国立大学法人 岡山大学 | 物体識別方法 |
JP6933110B2 (ja) * | 2017-11-29 | 2021-09-08 | 富士通株式会社 | カメラの外部パラメータの推定方法、推定装置および推定プログラム |
CN108229332B (zh) * | 2017-12-08 | 2020-02-14 | 华为技术有限公司 | 骨骼姿态确定方法、装置及计算机可读存储介质 |
US10529085B2 (en) * | 2018-03-30 | 2020-01-07 | Samsung Electronics Co., Ltd. | Hardware disparity evaluation for stereo matching |
JP7209333B2 (ja) * | 2018-09-10 | 2023-01-20 | 国立大学法人 東京大学 | 関節位置の取得方法及び装置、動作の取得方法及び装置 |
CN112889092A (zh) * | 2018-11-09 | 2021-06-01 | 三星电子株式会社 | 有纹理的神经化身 |
CN111460871B (zh) * | 2019-01-18 | 2023-12-22 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、存储介质 |
KR102198920B1 (ko) * | 2019-02-28 | 2021-01-06 | 네이버 주식회사 | 온라인 학습을 이용한 객체 트래킹을 위한 방법 및 시스템 |
KR20220061054A (ko) * | 2019-05-13 | 2022-05-12 | 홀인원 미디어 인코포레이티드 | 자율 활동 모니터링 시스템 및 방법 |
KR20210087680A (ko) * | 2020-01-03 | 2021-07-13 | 네이버 주식회사 | 입력 영상에 포함된 객체의 3차원 포즈를 추정하기 위한 데이터를 생성하는 방법 및 장치와 3차원 포즈 추정을 위한 추론 모델 |
US20230355117A9 (en) * | 2020-01-10 | 2023-11-09 | Yur Inc. | Energy expense determination using probabilistic inference |
CN111524183A (zh) * | 2020-04-07 | 2020-08-11 | 上海交通大学 | 一种基于透视投影变换的目标行列定位方法 |
CN111598995B (zh) * | 2020-04-23 | 2023-04-28 | 浙江工商大学 | 一种基于原型分析的自监督多目三维人体姿态估计方法 |
CN111738220B (zh) * | 2020-07-27 | 2023-09-15 | 腾讯科技(深圳)有限公司 | 三维人体姿态估计方法、装置、设备及介质 |
CN111938658B (zh) * | 2020-08-10 | 2023-09-01 | 陈雪丽 | 一种用于手部、腕部与前臂的关节活动度监测***及方法 |
WO2022149190A1 (ja) | 2021-01-05 | 2022-07-14 | 富士通株式会社 | 骨格推定装置、骨格推定方法および体操採点支援システム |
JP7468871B2 (ja) | 2021-03-08 | 2024-04-16 | 国立大学法人 東京大学 | 3d位置取得方法及び装置 |
KR102540744B1 (ko) * | 2021-03-30 | 2023-06-12 | 와이폴라리스 주식회사 | 사람의 3d좌표를 생성하고 3d좌표의 타당성을 검토하는 장치 및 방법 |
CN113358383B (zh) * | 2021-05-08 | 2022-10-18 | 中国标准化研究院 | 一种空调室外机工效学实验***及工效学测试方法 |
JPWO2023008087A1 (zh) | 2021-07-30 | 2023-02-02 | ||
WO2023007858A1 (ja) | 2021-07-30 | 2023-02-02 | 日東電工株式会社 | 赤外線セキュリティシステム |
WO2023195099A1 (ja) * | 2022-04-06 | 2023-10-12 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、情報処理方法及びプログラム |
EP4360547A1 (en) * | 2022-10-27 | 2024-05-01 | Koninklijke Philips N.V. | Patient pose detection apparatus |
CN118135070B (zh) * | 2024-05-10 | 2024-06-28 | 江苏物润船联网络股份有限公司 | 一种基于动作捕捉技术的数字人驱动方法及*** |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6295367B1 (en) * | 1997-06-19 | 2001-09-25 | Emtera Corporation | System and method for tracking movement of objects in a scene using correspondence graphs |
US6324296B1 (en) * | 1997-12-04 | 2001-11-27 | Phasespace, Inc. | Distributed-processing motion tracking system for tracking individually modulated light points |
US6269172B1 (en) * | 1998-04-13 | 2001-07-31 | Compaq Computer Corporation | Method for tracking the motion of a 3-D figure |
US6681031B2 (en) | 1998-08-10 | 2004-01-20 | Cybernet Systems Corporation | Gesture-controlled interfaces for self-service machines and other applications |
JP4351808B2 (ja) | 1998-09-22 | 2009-10-28 | モーテック・ビー.ブイ. | 人間の機能的行動をダイナミックに登録・評価・修正するためのシステム |
US6774885B1 (en) * | 1999-01-20 | 2004-08-10 | Motek B.V. | System for dynamic registration, evaluation, and correction of functional human behavior |
KR100426313B1 (ko) | 2001-12-28 | 2004-04-06 | 한국전자통신연구원 | 영상 제작에서 관절형 객체 자세 변경 방법 |
JP2003214182A (ja) * | 2002-01-24 | 2003-07-30 | Mitsubishi Heavy Ind Ltd | ガスタービンコンバインドプラント、およびその運転方法 |
US20030215130A1 (en) | 2002-02-12 | 2003-11-20 | The University Of Tokyo | Method of processing passive optical motion capture data |
KR100507780B1 (ko) | 2002-12-20 | 2005-08-17 | 한국전자통신연구원 | 고속 마커프리 모션 캡쳐 장치 및 방법 |
JP2005040556A (ja) | 2003-07-25 | 2005-02-17 | Yoshihito Ono | モーション・キャプチャーを用いた運動機能並びに運動能力の分析 |
WO2005125210A1 (en) | 2004-06-14 | 2005-12-29 | Arizona Board Of Regents For And On Behalf Of Arizona State University | Methods and apparatus for motion capture |
CN1271574C (zh) * | 2004-12-09 | 2006-08-23 | 上海交通大学 | 基于标记点的人肢体三维建模方法 |
US8023726B2 (en) * | 2006-11-10 | 2011-09-20 | University Of Maryland | Method and system for markerless motion capture using multiple cameras |
-
2006
- 2006-06-19 JP JP2006169070A patent/JP4148281B2/ja not_active Expired - Fee Related
-
2007
- 2007-06-18 KR KR1020070059441A patent/KR20070120443A/ko not_active Application Discontinuation
- 2007-06-18 US US11/764,407 patent/US8355529B2/en active Active
- 2007-06-18 DE DE602007001104T patent/DE602007001104D1/de active Active
- 2007-06-18 EP EP07252472A patent/EP1870038B1/en not_active Expired - Fee Related
- 2007-06-19 CN CN2007101085007A patent/CN101093582B/zh not_active Expired - Fee Related
Cited By (59)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8724849B2 (en) | 2008-10-01 | 2014-05-13 | Sony Corporation | Information processing device, information processing method, program, and information storage medium |
CN102171726A (zh) * | 2008-10-01 | 2011-08-31 | 索尼计算机娱乐公司 | 信息处理装置、信息处理方法、程序以及信息存储介质 |
CN102171726B (zh) * | 2008-10-01 | 2014-06-18 | 索尼电脑娱乐公司 | 信息处理装置、信息处理方法、程序以及信息存储介质 |
WO2010121568A1 (zh) * | 2009-04-24 | 2010-10-28 | 索尼公司 | 训练方法、设备和估计图像中对象姿势视角的方法、设备 |
CN101872476A (zh) * | 2009-04-24 | 2010-10-27 | 索尼株式会社 | 估计图像中对象姿势视角的方法、设备 |
CN102103457A (zh) * | 2009-12-18 | 2011-06-22 | 深圳富泰宏精密工业有限公司 | 简报操作***及方法 |
CN102103457B (zh) * | 2009-12-18 | 2013-11-20 | 深圳富泰宏精密工业有限公司 | 简报操作***及方法 |
CN102378992B (zh) * | 2009-12-28 | 2014-12-24 | 松下电器产业株式会社 | 关节状区域检测装置及其方法 |
CN102378992A (zh) * | 2009-12-28 | 2012-03-14 | 松下电器产业株式会社 | 关节状区域检测装置及其方法 |
CN102163077A (zh) * | 2010-02-16 | 2011-08-24 | 微软公司 | 使用碰撞体来捕捉屏幕对象 |
CN102208014A (zh) * | 2010-03-29 | 2011-10-05 | 索尼公司 | 信息处理设备、信息处理方法和程序 |
CN103038727A (zh) * | 2010-06-29 | 2013-04-10 | 微软公司 | 骨架关节识别和跟踪*** |
US9355305B2 (en) | 2010-10-08 | 2016-05-31 | Panasonic Corporation | Posture estimation device and posture estimation method |
CN103155003A (zh) * | 2010-10-08 | 2013-06-12 | 松下电器产业株式会社 | 姿势估计装置及姿势估计方法 |
CN103155003B (zh) * | 2010-10-08 | 2016-09-28 | 松下电器产业株式会社 | 姿势估计装置及姿势估计方法 |
US9262674B2 (en) | 2010-12-09 | 2016-02-16 | Panasonic Corporation | Orientation state estimation device and orientation state estimation method |
CN103221977B (zh) * | 2010-12-09 | 2015-10-14 | 松下电器产业株式会社 | 姿势状态估计装置及姿势状态估计方法 |
CN103221977A (zh) * | 2010-12-09 | 2013-07-24 | 松下电器产业株式会社 | 姿势状态估计装置及姿势状态估计方法 |
CN103003846A (zh) * | 2011-01-26 | 2013-03-27 | 松下电器产业株式会社 | 关节区域显示装置、关节区域检测装置、关节区域归属度计算装置、关节状区域归属度计算装置以及关节区域显示方法 |
CN103003846B (zh) * | 2011-01-26 | 2016-07-06 | 松下知识产权经营株式会社 | 关节区域显示装置、关节区域检测装置、关节区域归属度计算装置、关节状区域归属度计算装置以及关节区域显示方法 |
CN106964150B (zh) * | 2011-02-11 | 2021-03-02 | 漳州市爵晟电子科技有限公司 | 一种动作定位点控制***及其穿套式定点控制设备 |
CN106964150A (zh) * | 2011-02-11 | 2017-07-21 | 漳州市爵晟电子科技有限公司 | 一种动作定位点控制***及其穿套式定点控制设备 |
CN103988150A (zh) * | 2011-03-25 | 2014-08-13 | 奥布隆工业有限公司 | 用于初始化基于视觉的手***的快速指尖检测 |
CN102156994A (zh) * | 2011-04-19 | 2011-08-17 | 上海摩比源软件技术有限公司 | 一种单视角无标记人体运动跟踪的关节定位方法 |
CN102156994B (zh) * | 2011-04-19 | 2013-03-20 | 上海摩比源软件技术有限公司 | 一种单视角无标记人体运动跟踪的关节定位方法 |
CN102981603A (zh) * | 2011-06-01 | 2013-03-20 | 索尼公司 | 图像处理装置、图像处理方法和程序 |
CN102981603B (zh) * | 2011-06-01 | 2017-06-09 | 索尼公司 | 图像处理装置和图像处理方法 |
CN103718175B (zh) * | 2011-07-27 | 2018-10-12 | 三星电子株式会社 | 检测对象姿势的设备、方法和介质 |
CN103718175A (zh) * | 2011-07-27 | 2014-04-09 | 三星电子株式会社 | 检测对象姿势的设备、方法和介质 |
CN102779347A (zh) * | 2012-06-14 | 2012-11-14 | 清华大学 | 一种用于飞行器的目标跟踪与定位方法和装置 |
CN102779347B (zh) * | 2012-06-14 | 2014-08-06 | 清华大学 | 一种用于飞行器的目标跟踪与定位方法和装置 |
CN104756045A (zh) * | 2012-10-04 | 2015-07-01 | 微软公司 | 用于跟踪由关节连接的身体部位的可佩戴传感器 |
US10234941B2 (en) | 2012-10-04 | 2019-03-19 | Microsoft Technology Licensing, Llc | Wearable sensor for tracking articulated body-parts |
CN104756045B (zh) * | 2012-10-04 | 2018-06-08 | 微软技术许可有限责任公司 | 用于跟踪由关节连接的身体部位的可佩戴传感器 |
CN104048674B (zh) * | 2013-03-15 | 2018-10-26 | 康耐视公司 | 利用不准确的校准靶的机器视觉***校准 |
CN104048674A (zh) * | 2013-03-15 | 2014-09-17 | 康耐视公司 | 利用不准确的校准靶的机器视觉***校准 |
CN104274183A (zh) * | 2013-07-01 | 2015-01-14 | 株式会社东芝 | 动作信息处理装置 |
CN104274183B (zh) * | 2013-07-01 | 2017-08-04 | 东芝医疗***株式会社 | 动作信息处理装置 |
CN104635917B (zh) * | 2013-11-08 | 2018-09-11 | 中国电信股份有限公司 | 动作捕捉方法和装置、用于非接触输入的方法和装置 |
CN104635917A (zh) * | 2013-11-08 | 2015-05-20 | 中国电信股份有限公司 | 动作捕捉方法和装置、用于非接触输入的方法和装置 |
CN106105184A (zh) * | 2014-03-10 | 2016-11-09 | 微软技术许可有限责任公司 | 相机投影***中的延时降低 |
US10181193B2 (en) | 2014-03-10 | 2019-01-15 | Microsoft Technology Licensing, Llc | Latency reduction in camera-projection systems |
CN106105184B (zh) * | 2014-03-10 | 2019-10-18 | 微软技术许可有限责任公司 | 相机投影***中的延时降低 |
CN108781267A (zh) * | 2016-03-24 | 2018-11-09 | 索尼公司 | 图像处理设备和方法 |
CN108781267B (zh) * | 2016-03-24 | 2021-02-09 | 索尼公司 | 图像处理设备和方法 |
CN105912982A (zh) * | 2016-04-01 | 2016-08-31 | 北京明泰朗繁精密设备有限公司 | 一种基于肢体动作识别的控制方法及装置 |
CN105912982B (zh) * | 2016-04-01 | 2020-07-14 | 北京明泰朗繁精密设备有限公司 | 一种基于肢体动作识别的控制方法及装置 |
CN107832713A (zh) * | 2017-11-13 | 2018-03-23 | 南京邮电大学 | 一种基于OptiTrack的人体姿态识别方法 |
CN107832713B (zh) * | 2017-11-13 | 2021-11-16 | 南京邮电大学 | 一种基于OptiTrack的人体姿态识别方法 |
CN107920229A (zh) * | 2017-11-14 | 2018-04-17 | 国网黑龙江省电力有限公司信息通信公司 | 机房监控记录生成***及方法 |
CN109008993A (zh) * | 2018-07-13 | 2018-12-18 | 武汉久乐科技有限公司 | 一种生命体征数据采集控制方法和装置 |
CN109800645A (zh) * | 2018-12-18 | 2019-05-24 | 武汉西山艺创文化有限公司 | 一种动作捕捉***及其方法 |
WO2020223940A1 (zh) * | 2019-05-06 | 2020-11-12 | 深圳大学 | 姿势预测方法、计算机设备和存储介质 |
US11348304B2 (en) | 2019-05-06 | 2022-05-31 | Shenzhen University | Posture prediction method, computer device and storage medium |
CN110442153A (zh) * | 2019-07-10 | 2019-11-12 | 佛山科学技术学院 | 一种被动式光学动捕***摄像机校正控制方法及*** |
CN110442153B (zh) * | 2019-07-10 | 2022-03-25 | 佛山科学技术学院 | 一种被动式光学动捕***摄像机校正控制方法及*** |
CN110349180A (zh) * | 2019-07-17 | 2019-10-18 | 深圳前海达闼云端智能科技有限公司 | 人体关节点预测方法及装置、动作类型识别方法及装置 |
CN110349180B (zh) * | 2019-07-17 | 2022-04-08 | 达闼机器人有限公司 | 人体关节点预测方法及装置、动作类型识别方法及装置 |
CN110445982A (zh) * | 2019-08-16 | 2019-11-12 | 深圳特蓝图科技有限公司 | 一种基于六自由度设备的追踪拍摄方法 |
Also Published As
Publication number | Publication date |
---|---|
CN101093582B (zh) | 2010-06-02 |
EP1870038B1 (en) | 2009-05-13 |
JP4148281B2 (ja) | 2008-09-10 |
US20080112592A1 (en) | 2008-05-15 |
KR20070120443A (ko) | 2007-12-24 |
US8355529B2 (en) | 2013-01-15 |
DE602007001104D1 (de) | 2009-06-25 |
EP1870038A1 (en) | 2007-12-26 |
JP2007333690A (ja) | 2007-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101093582B (zh) | 动作捕捉装置和动作捕捉方法 | |
Kamal et al. | A hybrid feature extraction approach for human detection, tracking and activity recognition using depth sensors | |
JP5380789B2 (ja) | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム | |
Knoop et al. | Sensor fusion for 3D human body tracking with an articulated 3D body model | |
US6674877B1 (en) | System and method for visually tracking occluded objects in real time | |
US20150117708A1 (en) | Three Dimensional Close Interactions | |
Engelmann et al. | SAMP: shape and motion priors for 4d vehicle reconstruction | |
CN112750198B (zh) | 一种基于非刚性点云的稠密对应预测方法 | |
Iwasawa et al. | Real-time, 3D estimation of human body postures from trinocular images | |
CN110286749A (zh) | 基于深度数据的手部姿势估计和追踪方法 | |
CN106952292A (zh) | 基于6自由度场景流聚类的3d运动目标检测方法 | |
Ong et al. | Tracking hybrid 2D-3D human models from multiple views | |
Krzeszowski et al. | Gait recognition based on marker-less 3D motion capture | |
Darujati et al. | Facial motion capture with 3D active appearance models | |
Yamauchi et al. | Recognition of walking humans in 3D: Initial results | |
Du et al. | 3D contact point cloud reconstruction from vision-based tactile flow | |
Weinrich et al. | Appearance-based 3D upper-body pose estimation and person re-identification on mobile robots | |
Iwasawa et al. | Human body postures from trinocular camera images | |
Iwasawa et al. | Real-time human posture estimation using monocular thermal images | |
JP2002218449A (ja) | 移動物体追跡装置 | |
JP3401512B2 (ja) | 移動物体追跡装置 | |
Senior | Real-time articulated human body tracking using silhouette information | |
Qi et al. | 3D human pose tracking approach based on double Kinect sensors | |
Liu et al. | Cascaded particle filter for real-time tracking using RGB-D sensor | |
Du et al. | A virtual keyboard system based on multi-level feature matching |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20100602 Termination date: 20150619 |
|
EXPY | Termination of patent right or utility model |