CN113421286B - 一种动作捕捉***及方法 - Google Patents
一种动作捕捉***及方法 Download PDFInfo
- Publication number
- CN113421286B CN113421286B CN202110786864.0A CN202110786864A CN113421286B CN 113421286 B CN113421286 B CN 113421286B CN 202110786864 A CN202110786864 A CN 202110786864A CN 113421286 B CN113421286 B CN 113421286B
- Authority
- CN
- China
- Prior art keywords
- human body
- joint
- motion capture
- point
- positioning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000004364 calculation method Methods 0.000 claims abstract description 28
- 239000003550 marker Substances 0.000 claims description 12
- 230000009471 action Effects 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 9
- 210000000746 body region Anatomy 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000003287 optical effect Effects 0.000 abstract description 2
- 230000036544 posture Effects 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种动作捕捉***及方法，该***包括至少一个动作捕捉装置，人体目标检测器，人体目标***，人体动作姿态计算器，人体定位计算器，自定位计算器以及人体定位转换器。采用本发明提供的动作捕捉方法最少需要两个光学相机即可准确实现在地面坐标系中人体的定位和动作姿态解算，在室内和室外拍摄场景受限的情况下也能保证动作捕捉结果的精度，极大提升了动作捕捉技术的实用性、便捷性、准确性、稳定性和适用性。
Description
技术领域
本发明属于人体动作捕捉技术领域，具体涉及一种便携式多目相机动作捕捉***及方法。
背景技术
人体动作捕捉是将计算机采集到的人体图像序列通过视觉原理计算出人体的动作轨迹和空间姿态等信息。根据原理不同将动作捕捉技术分为标记点式和无标记点式两大类。
标记点是标记点式动作捕捉***的重要组成部分，用于标记人体关节或目标物体，通过对标记点的采集和计算获取人体关节的动作信息，具有高速、高精度、高可靠性的特点。标记点式动作捕捉是多相机动作捕捉中采用最为广泛的方法，根据标记点形态不同分为二维标记和三维标记两大类，实际根据应用场景不同各有侧重，三维标记点通常应用在室内动作捕捉场景，二维标记点常用在户外动作捕捉场景。目前，多相机标记点动作捕捉技术在影视CG制作、工业测量、虚拟现实、机器人等领域得到广泛的应用。
近年来，得益于深度学习算法的突破，动作捕捉技术得到有效简化，只使用单相机就可以基于2D图像/视频直接生成3D人体模型数据，使得单相机AI动作捕捉算法在娱乐消费、虚拟现实、体育训练等领域有广阔的应用空间。
多相机动作捕捉***为了精确计算标记点的空间位置，拍摄时需要在不同位置架设多台图像采集传感器，通过增加捕获视角提高标记点的重建质量，在室外等光照变化复杂的情况下也能适用，但是因需图像采集传感器太多，其在拍摄空间受限时无法使用。单相机动作捕捉算法只依靠2D图像生成3D人体模型，其生成的人体3D模型只能粗略给出人体关节的空间姿态和3D位置，空间姿态不够准确，并且3D位置无法表达人体在地面坐标系中的真实位置，因此难以满足高精度动作捕捉***的应用，比如影视CG制作等。
发明内容
与单相机动作捕捉***相比，便携式多目动作捕捉***具有可以单帧定位相机位姿并进行人体动作姿态优化的优势，并且多目动作捕捉***还自带尺度信息。
本发明以双目结构便携式动作捕捉***为例，利用双目***上述优势和单相机AI动作捕捉结果，在计算人体各关节的空间姿态和3D位置时是非常有益并且可行的。同时，可供选择地，将人体标记点作为辅助信息进一步提升动作捕捉***的精度和稳定度。
本发明的目的是提供一种动作捕捉***，此***能在标记点式和无标记点式两种情况下都能准确计算人体各关节的空间姿态和3D坐标。
本发明的另一个目的是提供一种动作捕捉方法。
本发明的具体技术方案如下。
一种动作捕捉***，所述***包含：
动作捕捉装置，此装置包括至少两个图像采集传感器，所述动作捕捉装置通过所述图像采集传感器提供图像；
人体目标检测器，其包括至少一个人体关节点检测器和至少一个人体标记点检测器，所述人体关节点检测器用于对所述动作捕捉设备采集的图像中的人体进行检测，得到图像上人体的2D关节特征点集，所述人体标记点检测器用于对所述动作捕捉设备采集的图像中的人物进行检测，得到图像上人物表面的2D标记特征点集；
人体目标***，其包括至少一个人体关节点***和至少一个人体标记点***，所述人体关节点***用于对所述人体关节点检测器检测的2D关节特征点集进行跟踪，得到人体不同时刻的2D关节特征点集信息，所述人体标记点***用于对所述人体标记点检测器检测的2D标记特征点集进行跟踪，得到人体不同时刻各关节的2D标记特征点集信息；
人体动作姿态计算器，用于对所述人体目标检测器检测的人体进行动作姿态解算，得到人体各关节的空间姿态角和3D坐标；
人体定位计算器，其包括至少一个人体标记点***和至少一个人体关节点位置优化器以及至少一个人体关节点***，所述人体标记点***用于计算人体所有标记特征点在第一坐标系下的3D坐标，所述人体关节点位置优化器用于对所述人体动作姿态计算器计算得到的人体关节点的空间位姿进行优化，所述人体关节点***计算人体各关节在所述第一坐标系下的3D坐标；
自定位计算器，用于所述动作捕捉装置自身的定位计算，即计算所述动作捕捉装置在第二坐标系下的3D坐标以及姿态角；
人体定位转换器，用于将人体空间位姿从所述第一坐标系下转换到所述第二坐标系中。
进一步，所述动作捕捉装置是一种便携装置，便于安装和拆卸。
进一步，还包括一种用于交换数据的无线通信装置。
进一步，所述动作捕捉装置包括至少一种光源，用于照亮场景、环境或者动作捕捉目标。
进一步，所述动作捕捉装置包括至少一个电子芯片处理器，所述电子芯片处理器执行如下功能的全部或者一个子集：人体目标检测器，人体目标***，人体动作姿态计算器，人体定位计算器，自定位计算器，人体定位转换器。
进一步，所述动作捕捉装置包括至少一种惯性传感器，可提供位姿信息，用于辅助所述动作捕捉装置进行自定位。
进一步，所述动作捕捉装置包括至少一种深度图像传感器，可提供位姿信息，用于辅助所述动作捕捉装置进行自定位。
本发明还提出一种动作捕捉方法。其包含如下步骤：
1)通过动作捕捉装置获得至少两个图像采集传感器采集的图像序列；
2)通过人体目标检测器，对所述图像采集传感器获取的每帧图像进行人体检测及人体标记点检测，得到图像上人体的区域分割、2D关节特征点集和2D标记特征点集；
3)通过人体目标***，分别对所述人体目标检测得到的2D关节特征点集和2D标记特征点集进行跟踪，得到在不同视角所有时刻同一人体的2D关节特征点集和不同视角所有时刻同一人体关节部位的2D标记特征点集；
4)通过人体动作姿态解算器，利用单帧图像对人体3D模型和动作姿态进行回归计算，得到第一坐标系下人体模型和各关节的空间姿态角；
5)通过自定位计算器，利用所述采集图像传感器在空间不同视角下采集的多帧图像进行空间自定位计算，获取所述动作捕捉装置在第二坐标系中的位姿，包括3D坐标以及姿态角；
6)通过人体定位计算器，对检测到的人物进行空间定位计算，获取人体各关节和人体表面特征点在所述第一坐标系下的3D坐标；
7)通过人体定位转换器，利用所述动作捕捉装置在所述第二坐标系中的位姿将人体空间位姿从所述第一坐标系下转换到第二坐标系中。
进一步，所述图像中人体上相对固定布置一种或几种空间几何形状和尺寸已知的标记点或标记图案，用于求取或辅助求取人体各关节在所述第一坐标系下的3D坐标。
进一步，所述人体***采用立体视觉原理通过同一时刻两个以上图像采集传感器对人体表面标记点进行三维重建，得到标记点的空间位置。
进一步，所述人体定位计算，利用所述人体标记点***得到的标记点定位结果和所述人体关节点位置优化器得到的人体3D模型和各关节的空间姿态，即可获取人体各关节在所述第一坐标系下的3D坐标。
进一步，所述人体关节点位置优化器，利用所述至少两个图像采集传感器采集的不同视角的人体关节点跟踪结果和自定位计算结果，得到优化后的人体各关节点在所述第一坐标系下的空间姿态和3D位置。
进一步，所述人体关节点位置优化器，利用所述人体标记点***得到的标记点定位结果，获取人体各关节在所述第一坐标系下的3D坐标。
进一步，所述人体目标跟踪，对所述人体目标检测得到的2D关节特征点集和2D标记特征点集进行不同视角的跟踪，得到不同视角下同一时刻的同名标识点。
进一步，包括提取图像上场景中的自然纹理特征2D点集，采用SFM原理进行所述自定位计算。
进一步，所述图像上场景中固定布置一种或几种标记点或标记图案，提供特征信息用于所述自定位计算。
进一步，利用所述人体目标检测得到的人体区域分割结果，滤除人体区域内的2D特征干扰，提供背景有效特征信息用于所述自定位计算。
进一步，采用所述动作捕捉装置中的一种或多种惯性传感器，提供位姿信息，实现自定位计算。
进一步，采用所述动作捕捉装置上的一种或多种深度图像传感器，通过3D特征配准至所述第二坐标系，实现自定位计算。
本发明的有益效果，本发明使用两个光学相机即可准确实现在地面坐标系中人体的定位和动作姿态解算，在室内和室外拍摄场景受限的情况下也能保证动作捕捉结果的精度，极大提升了动作捕捉技术的实用性、便捷性、准确性、稳定性和适用性。
附图说明
图1为本发明动作捕捉***框图。
具体实施方式
下面结合附图，对本发明进一步详细说明。
参考图1，本发明动作捕捉***框图，所述动作捕捉***以10表示。
此***包含一个动作捕捉装置12，包含两个图像采集传感器设备13和14。图像采集传感器13和14同步采集和传送待测场景的图像集(也就是帧)15和16到人体目标检测器20中。两个图像集15和16分别具有自己的投影中心，并且大部分时刻有共同的观测人物目标。包含在图像中的相关信息由在人物表面反射的图像采集传感器投影图像和关节位置特征以及关节标记特征产生，所述关节位置特征和关节标记特征用于计算图像采集传感器设备间的相对位置和人体关节的空间位置。因为在给定帧中的所有图像是被同时捕获的并且包括关节位置特征、关节标记特征，所以关节位置特征、关节标记特征的同步是固有的。
关节标记特征固定在人体关节上，从而所述关节标记特征在该人体上保持静止不动的同时该人物可以在关于物体坐标系的空间内移动。这使得人物可以在其表面被图像采集传感器设备扫描的同时在空间内移动。
人体目标检测器20包含一个人体关节点检测器21和一个人体标记点检测器22，从每一帧图像中提取人体关节位置特征和关节标记特征点。对每一帧图像，均输出2D关节特征点集23和2D关节标记点集24。这些点和特征在图像中基于他们的内在特性被标识。人体关节位置特征是人体各关节连接处的像素表达，是人体关节姿态的物理特征在图像空间的描述，可以使用2D人体姿态估计方法(参阅Cao Z,Hidalgo G,Simon T,et al.OpenPose:realtime multi-person 2D pose estimation using PartAffinity Fields[J].IEEEtransactions on pattern analysis and machine intelligence,2019,43(1):172-186.)在图像中检测人体关节特征点的2D位置。人体关节标记特征是固定在人体关节部位附近的已知固定尺寸的标记图案，是动作捕捉技术中用来标记关节位置和姿态的辅助信息，可以使用基于图像几何特征和灰度特征的目标检测和边缘提取的方法获取图像中人体关节标记特征点的2D位置。
人体目标***30包含一个人体关节点***31和一个人体标记点***32，分别对2D关节特征点集23和2D关节标记点集24进行跟踪得到不同视角和不同时刻同一人体的2D关节特征信息集33和2D关节标记信息集34。根据人体动作时序的连续性和空间的唯一性，对2D关节特征点集23中每一时刻的2D点进行时域和空域跟踪，时域跟踪可以使用最近邻方法，空域跟踪可以基于对极约束原理，确定同一人体在不同视角和所有时刻的所有2D关节特征信息集33。2D关节标记点集与2D关节特征点集位置高度相关，由2D关节特征信息集33和对极约束原理，可以使用距离评价准则或者点和平面的相对关系以及预置的标记点排布规则确定每一2D关节标记点的人体关节和关节内跟踪结果34。
人体动作姿态计算器40根据2D关节特征信息集33得到每一帧图像的人体区域，对图像中的人体区域部分和2D关节特征信息集33通过端到端的神经网络进行回归计算得到人体3D模型结果41，即人体各关节的空间姿态角(θ)、体型(β)和人体3D模型。
人体定位计算器50包含一个人体标记点***51、一个人体关节点位置优化器52和一个人体关节点***53。人体标记点***51采用双目重建原理，根据自定位计算器60得到的结果61计算得到2D关节标记点信息集34中每一2D点在动作装置坐标系下的3D关节标记点结果54。人体关节点位置优化器52根据自定位计算器60得到的动作捕捉装置内图像采集传感器参数结果61采用立体视觉三角测量原理和对极约束原理，对人体动作姿态计算器得到的人体3D模型结果41进行多视角优化，得到准确的人体3D模型结果55(各关节空间姿态角(θ)和人体3D模型)，优化目标函数为E(β,θ)＝EJ(β,θ；K,Jop)+λθEθ(θ)+λαEα(θ)+λβEβ(θ)，对于各关节部分优化目标函数选取合适的权重(λθ，λα，λβ)。人体关节点***53根据人体3D关节标记点结果54对人体3D模型结果55进行人***置和尺度优化并变换为动作捕捉装置坐标系下的各关节3D坐标56，也可以直接对人体3D关节标记点结果54进行关节位置标定得到以在动作捕捉装置坐标系下的3D关节标记点表示的人体各关节3D坐标57。
自定位计算器60根据所述图像采集传感器获取的图像背景中相对地面固定的自然纹理特征点或人工标记点得到动作捕捉装置内图像采集传感器间的位姿关系61和动作捕捉装置在地面坐标系中的位姿62(即3D坐标和姿态角)。根据标定板双目标定方法计算动作捕捉装置中图像采集传感器间的位姿关系61。根据人体目标检测器20得到的人体区域分割结果，滤除人体区域部分的2D标记特征干扰，提取背景中相对地面固定的自然纹理特征，用以计算动作捕捉装置在地面坐标系下的位姿。具体原理为：
通过SIFT等特征提取算法提取图像中非人体区域的图像特征，用kdtree模型计算单帧图像对的匹配特征点，对每一单帧图像对计算对极几何估计F矩阵并通过随机采样一致性算法(RANSAC)优化改善匹配对，这样背景中相对地面固定的自然纹理特征可以在匹配对中链式传递下去。然后根据Bundle Adjustment(BA)方法计算动作捕捉装置在地面坐标系下的位姿。
BA计算分为三个过程：纯动作BA，通过最小化背景自然纹理特征点xi和匹配的地面坐标系下的3D点Xi的重投影误差优化动作捕捉装置中图像采集传感器的旋转矩阵R和位置t；局部BA：根据局部关键帧KL和图像对可共见的背景自然纹理特征点PL优化局部视野范围内动作捕捉装置中图像采集传感器的旋转矩阵R和位置t；全局BA，根据所有图像对的背景自然纹理特征点优化动作捕捉装置中图像采集传感器的旋转矩阵R和位置t，最终得到动作捕捉装置在地面坐标系下的位姿62。
人体定位转换器70，通过3D坐标系转换将动作捕捉装置坐标系下的人体各关节3D结果56和57转换为地面坐标系下的各关节3D结果71和72。
根据框图所示，通过不同的数字信号连接而彼此通信的离散部件组，对于本领域普通技术人员来说容易理解。由于一些部件是通过给定的硬件或软件***的函数或操作而执行功能的，并且所示的许多数据通信通道通过在计算机操作***或应用程序中的数据通信***而执行功能，所以优选实施例是由硬件和软件部件的组合而构成的。因此，提供所示的结构以便有效地说明本优选实施例。
本领域普通技术人员可以理解标记特征点，这些标记特征点被放置在人体表面上以供扫描，也可以通过其他方式提供由传感器设备检测的目标。
可以理解对于本领域的技术人员来说在本***基础上可能存在多种的改进类型。因而，上述描述和相关的附图只是本发明的示意而不局限于此。也可以理解本发明覆盖任何基于本发明的改进，使用和调整。通常来说，本发明的原理以及基于本申请所公开的实施例和公知的或惯用技术的其他改进***或者可以应用前述***的本质特征的其他***都受到所附权利要求书的保护。
Claims (19)
1.一种动作捕捉***，其特征在于，包括：
动作捕捉装置，此装置包括至少两个图像采集传感器，所述动作捕捉装置通过所述图像采集传感器提供图像；
人体目标检测器，其包括至少一个人体关节点检测器和至少一个人体标记点检测器，所述人体关节点检测器用于对所述动作捕捉设备采集的图像中的人体进行检测，得到图像上人体的2D关节特征点集，所述人体标记点检测器用于对所述动作捕捉设备采集的图像中的人物进行检测，得到图像上人物表面的2D标记特征点集；
人体目标***，其包括至少一个人体关节点***和至少一个人体标记点***，所述人体关节点***用于对所述人体关节点检测器检测的2D关节特征点集进行跟踪，得到人体不同时刻的2D关节特征点集信息，所述人体标记点***用于对所述人体标记点检测器检测的2D标记特征点集进行跟踪，得到人体不同时刻各关节的2D标记特征点集信息；
人体动作姿态计算器，用于对所述人体目标检测器检测的人体进行动作姿态解算，得到人体各关节的空间姿态角和3D坐标；
人体定位计算器，其包括至少一个人体标记点***和至少一个人体关节点位置优化器以及至少一个人体关节点***，所述人体标记点***用于计算人体所有标记特征点在第一坐标系下的3D坐标，所述人体关节点位置优化器用于对所述人体动作姿态计算器计算得到的人体关节点的空间位姿进行优化，所述人体关节点***计算人体各关节在所述第一坐标系下的3D坐标；
自定位计算器，用于所述动作捕捉装置自身的定位计算，即计算所述动作捕捉装置在第二坐标系下的3D坐标以及姿态角；
人体定位转换器，用于将人体空间位姿从所述第一坐标系下转换到所述第二坐标系中。
2.根据权利要求1所述的***，其特征在于，所述动作捕捉装置是一种便携装置，便于安装和拆卸。
3.根据权利要求1所述的***，其特征在于，还包括一种用于交换数据的无线通信装置。
4.根据权利要求1所述的***，其特征在于，所述动作捕捉装置包括至少一种光源，用于照亮场景、环境或者动作捕捉目标。
5.根据权利要求1所述的***，其特征在于，所述动作捕捉装置包括至少一个电子芯片处理器，所述电子芯片处理器执行如下功能的全部或者一个子集：人体目标检测器，人体目标***，人体动作姿态计算器，人体定位计算器，自定位计算器，人体定位转换器。
6.根据权利要求1所述的***，其特征在于，所述动作捕捉装置包括至少一种惯性传感器，可提供位姿信息，用于辅助所述动作捕捉装置进行自定位。
7.根据权利要求1所述的***，其特征在于，所述动作捕捉装置包括至少一种深度图像传感器，可提供位姿信息，用于辅助所述动作捕捉装置进行自定位。
8.一种动作捕捉方法，其特征在于，包含如下步骤：
1)通过动作捕捉装置获得至少两个图像采集传感器采集的图像序列；
2)通过人体目标检测器，对所述图像采集传感器获取的每帧图像进行人体检测及人体标记点检测，得到图像上人体的区域分割、2D关节特征点集和2D标记特征点集；
3)通过人体目标***，分别对所述人体目标检测得到的2D关节特征点集和2D标记特征点集进行跟踪，得到在不同视角所有时刻同一人体的2D关节特征点集和不同视角所有时刻同一人体关节部位的2D标记特征点集；
4)通过人体动作姿态解算器，利用单帧图像对人体3D模型和动作姿态进行回归计算，得到第一坐标系下人体模型和各关节的空间姿态角；
5)通过自定位计算器，利用所述采集图像传感器在空间不同视角下采集的多帧图像进行空间自定位计算，获取所述动作捕捉装置在第二坐标系中的位姿，包括3D坐标以及姿态角；
6)通过人体定位计算器，对检测到的人物进行空间定位计算，获取人体各关节和人体表面特征点在所述第一坐标系下的3D坐标；
7)通过人体定位转换器，利用所述动作捕捉装置在所述第二坐标系中的位姿将人体空间位姿从所述第一坐标系下转换到第二坐标系中。
9.根据权利要求8所述的方法，其特征在于，所述图像中人体上相对固定布置一种或几种空间几何形状和尺寸已知的标记点或标记图案，用于求取或辅助求取人体各关节在所述第一坐标系下的3D坐标。
10.根据权利要求8所述的方法，其特征在于，所述人体***采用立体视觉原理通过同一时刻两个以上图像采集传感器对人体表面标记点进行三维重建，得到标记点的空间位置。
11.根据权利要求8所述的方法，其特征在于，所述人体定位计算，利用所述人体标记点***得到的标记点定位结果和所述人体关节点位置优化器得到的人体3D模型和各关节的空间姿态，即可获取人体各关节在所述第一坐标系下的3D坐标。
12.根据权利要求11所述的方法，其特征在于，所述人体关节点位置优化器，利用所述至少两个图像采集传感器采集的不同视角的人体关节点跟踪结果和自定位计算结果，得到优化后的人体各关节点在所述第一坐标系下的空间姿态和3D位置。
13.根据权利要求11所述的方法，其特征在于，所述人体关节点位置优化器，利用所述人体标记点***得到的标记点定位结果，获取人体各关节在所述第一坐标系下的3D坐标。
14.根据权利要求8所述的方法，其特征在于，所述人体目标跟踪，对所述人体目标检测得到的2D关节特征点集和2D标记特征点集进行不同视角的跟踪，得到不同视角下同一时刻的同名标识点。
15.根据权利要求8所述的方法，其特征在于，进一步包括提取图像上场景中的自然纹理特征2D点集，采用SFM原理进行所述自定位计算。
16.根据权利要求15所述的方法，其特征在于，所述图像上场景中固定布置一种或几种标记点或标记图案，提供特征信息用于所述自定位计算。
17.根据权利要求8或14所述的方法，其特征在于，利用所述人体目标检测得到的人体区域分割结果，滤除人体区域内的2D特征干扰，提供背景有效特征信息用于所述自定位计算。
18.根据权利要求8所述的方法，其特征在于，采用所述动作捕捉装置中的一种或多种惯性传感器，提供位姿信息，实现自定位计算。
19.根据权利要求8所述的方法，其特征在于，采用所述动作捕捉装置上的一种或多种深度图像传感器，通过3D特征配准至所述第二坐标系，实现自定位计算。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110786864.0A CN113421286B (zh) | 2021-07-12 | 2021-07-12 | 一种动作捕捉***及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110786864.0A CN113421286B (zh) | 2021-07-12 | 2021-07-12 | 一种动作捕捉***及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113421286A CN113421286A (zh) | 2021-09-21 |
| CN113421286B true CN113421286B (zh) | 2024-01-02 |
Family
ID=77720772
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110786864.0A Active CN113421286B (zh) | 2021-07-12 | 2021-07-12 | 一种动作捕捉***及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113421286B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114283447B (zh) * | 2021-12-13 | 2024-03-26 | 北京元客方舟科技有限公司 | 一种动作捕捉***及方法 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101982836A (zh) * | 2010-10-14 | 2011-03-02 | 西北工业大学 | 运动捕获***中基于pca的标记点标识初始化方法 |
| CN102855470A (zh) * | 2012-07-31 | 2013-01-02 | 中国科学院自动化研究所 | 基于深度图像的人体姿态估计方法 |
| CN103198492A (zh) * | 2013-03-28 | 2013-07-10 | 沈阳航空航天大学 | 一种人体运动捕获方法 |
| CN104700433A (zh) * | 2015-03-24 | 2015-06-10 | 中国人民解放军国防科学技术大学 | 一种基于视觉的实时人体全身体运动捕捉方法及其*** |
| CN105631861A (zh) * | 2015-12-21 | 2016-06-01 | 浙江大学 | 结合高度图从无标记单目图像中恢复三维人体姿态的方法 |
| CN108376405A (zh) * | 2018-02-22 | 2018-08-07 | 国家体育总局体育科学研究所 | 基于双体感追踪***的人体运动捕捉***及捕捉方法 |
| CN108564642A (zh) * | 2018-03-16 | 2018-09-21 | 中国科学院自动化研究所 | 基于ue引擎的无标记表演捕捉*** |
| CN109000582A (zh) * | 2018-03-15 | 2018-12-14 | 杭州思看科技有限公司 | 跟踪式三维扫描装置的扫描方法及***、存储介质、设备 |
| CN110544302A (zh) * | 2019-09-06 | 2019-12-06 | 广东工业大学 | 基于多目视觉的人体动作重建***、方法和动作训练*** |
| CN110633005A (zh) * | 2019-04-02 | 2019-12-31 | 北京理工大学 | 一种光学式无标记的三维人体动作捕捉方法 |
| CN111489392A (zh) * | 2020-03-30 | 2020-08-04 | 清华大学 | 多人环境下单个目标人体运动姿态捕捉方法及*** |
| CN111932678A (zh) * | 2020-08-13 | 2020-11-13 | 北京未澜科技有限公司 | 多视点实时人体运动、手势、表情、纹理重建*** |
| CN212729816U (zh) * | 2019-12-12 | 2021-03-19 | 中国科学院深圳先进技术研究院 | 一种人体动作捕捉*** |
| CN112907631A (zh) * | 2021-02-20 | 2021-06-04 | 北京未澜科技有限公司 | 一种引入反馈机制的多rgb相机实时人体动作捕捉*** |
| CN113033369A (zh) * | 2021-03-18 | 2021-06-25 | 北京达佳互联信息技术有限公司 | 动作捕捉方法、装置、电子设备及计算机可读存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8023726B2 (en) * | 2006-11-10 | 2011-09-20 | University Of Maryland | Method and system for markerless motion capture using multiple cameras |
| US8755569B2 (en) * | 2009-05-29 | 2014-06-17 | University Of Central Florida Research Foundation, Inc. | Methods for recognizing pose and action of articulated objects with collection of planes in motion |
-
2021
- 2021-07-12 CN CN202110786864.0A patent/CN113421286B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101982836A (zh) * | 2010-10-14 | 2011-03-02 | 西北工业大学 | 运动捕获***中基于pca的标记点标识初始化方法 |
| CN102855470A (zh) * | 2012-07-31 | 2013-01-02 | 中国科学院自动化研究所 | 基于深度图像的人体姿态估计方法 |
| CN103198492A (zh) * | 2013-03-28 | 2013-07-10 | 沈阳航空航天大学 | 一种人体运动捕获方法 |
| CN104700433A (zh) * | 2015-03-24 | 2015-06-10 | 中国人民解放军国防科学技术大学 | 一种基于视觉的实时人体全身体运动捕捉方法及其*** |
| CN105631861A (zh) * | 2015-12-21 | 2016-06-01 | 浙江大学 | 结合高度图从无标记单目图像中恢复三维人体姿态的方法 |
| CN108376405A (zh) * | 2018-02-22 | 2018-08-07 | 国家体育总局体育科学研究所 | 基于双体感追踪***的人体运动捕捉***及捕捉方法 |
| CN109000582A (zh) * | 2018-03-15 | 2018-12-14 | 杭州思看科技有限公司 | 跟踪式三维扫描装置的扫描方法及***、存储介质、设备 |
| CN108564642A (zh) * | 2018-03-16 | 2018-09-21 | 中国科学院自动化研究所 | 基于ue引擎的无标记表演捕捉*** |
| CN110633005A (zh) * | 2019-04-02 | 2019-12-31 | 北京理工大学 | 一种光学式无标记的三维人体动作捕捉方法 |
| CN110544302A (zh) * | 2019-09-06 | 2019-12-06 | 广东工业大学 | 基于多目视觉的人体动作重建***、方法和动作训练*** |
| CN212729816U (zh) * | 2019-12-12 | 2021-03-19 | 中国科学院深圳先进技术研究院 | 一种人体动作捕捉*** |
| CN111489392A (zh) * | 2020-03-30 | 2020-08-04 | 清华大学 | 多人环境下单个目标人体运动姿态捕捉方法及*** |
| CN111932678A (zh) * | 2020-08-13 | 2020-11-13 | 北京未澜科技有限公司 | 多视点实时人体运动、手势、表情、纹理重建*** |
| CN112907631A (zh) * | 2021-02-20 | 2021-06-04 | 北京未澜科技有限公司 | 一种引入反馈机制的多rgb相机实时人体动作捕捉*** |
| CN113033369A (zh) * | 2021-03-18 | 2021-06-25 | 北京达佳互联信息技术有限公司 | 动作捕捉方法、装置、电子设备及计算机可读存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| Human Motion Capture Algorithm Based on Inertial Sensors;Pengzhan Chen et al.;《Journal of Sensors》;全文 * |
| 基于无线惯性传感器的人体动作捕捉***;张洪超 等;《电脑知识与技术》;全文 * |
| 基于视频和三维动作捕捉数据的人体动作识别方法的研究;赵琼;《CNKI》;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113421286A (zh) | 2021-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9235753B2 (en) | Extraction of skeletons from 3D maps | |
| CN111881887A (zh) | 基于多摄像头的运动姿态监测和指导方法及装置 | |
| US8848035B2 (en) | Device for generating three dimensional surface models of moving objects | |
| CN102135236B (zh) | 双目视觉管道内壁自动无损检测方法 | |
| CN109059895A (zh) | 一种基于手机摄像头和传感器的多模态室内测距及定位方法 | |
| CN107167073A (zh) | 一种线阵结构光三维快速测量装置及其测量方法 | |
| CN110146030A (zh) | 基于棋盘格标志法的边坡表面变形监测***和方法 | |
| CN106996748A (zh) | 一种基于双目视觉的轮径测量方法 | |
| CN110084243A (zh) | 一种基于二维码和单目相机的档案识别与定位方法 | |
| CN108209926A (zh) | 基于深度图像的人体身高测量*** | |
| KR101126626B1 (ko) | 광역 3차원 복원을 위한 시스템 및 방법 | |
| CN107729893A (zh) | 一种合模机的视觉定位方法、***和存储介质 | |
| CN109373912A (zh) | 一种基于双目视觉的非接触式六自由度位移测量方法 | |
| CN109341668A (zh) | 基于折射投影模型和光束追踪法的多相机测量方法 | |
| CN110675453A (zh) | 一种已知场景中运动目标的自定位方法 | |
| Wong et al. | Fast acquisition of dense depth data by a new structured light scheme | |
| CN113487726B (zh) | 动作捕捉***和方法 | |
| CN109613974A (zh) | 一种大场景下的ar家居体验方法 | |
| CN113421286B (zh) | 一种动作捕捉***及方法 | |
| CN113487674B (zh) | 一种人***姿估计***和方法 | |
| EP3776338A1 (en) | Pose estimation using radio frequency signals | |
| Su et al. | Obtaining obstacle information by an omnidirectional stereo vision system | |
| CN111860275B (zh) | 手势识别数据采集***、方法 | |
| Kollmitzer | Object detection and measurement using stereo images | |
| CN114548224A (zh) | 一种用于强交互人体运动的2d人***姿生成方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |