CN114283447B - 一种动作捕捉***及方法 - Google Patents
一种动作捕捉***及方法 Download PDFInfo
- Publication number
- CN114283447B CN114283447B CN202111520595.XA CN202111520595A CN114283447B CN 114283447 B CN114283447 B CN 114283447B CN 202111520595 A CN202111520595 A CN 202111520595A CN 114283447 B CN114283447 B CN 114283447B
- Authority
- CN
- China
- Prior art keywords
- pose
- feature
- point set
- target object
- relation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000001514 detection method Methods 0.000 claims abstract description 6
- 230000000007 visual effect Effects 0.000 claims abstract description 6
- 238000004364 calculation method Methods 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 11
- 239000003550 marker Substances 0.000 claims description 7
- 230000008569 process Effects 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 abstract description 6
- 239000011159 matrix material Substances 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本申请公开一种动作捕捉***及方法,包括至少两个图像采集器,用于同步采集相同目标对象在不同视角对应的图像;2D特征检测计算器,用于提取每个图像中的2D特征点;***自标定计算器,用于根据2D特征点集,计算第一位姿关系;3D特征定位计算器,用于根据第一位姿关系以及所有2D特征点,生成3D特征点集;人体运动解算器,用于根据3D特征点集,解算目标对象中每个人的人体运动信息。本申请通过分析并处理基于采集的自然视频的原始图像解析出图像中人体的姿态特征,无需人员穿戴任何设备,与传统人体捕捉技术相比,不仅降低了硬件设备的成本,而且由于没有了穿戴特殊服饰的束缚,动作捕捉过程更加高效、自由。
Description
技术领域
本申请属于视觉处理技术领域,尤其涉及一种动作捕捉***及方法。
背景技术
近些年,影视特效制作、动漫游戏、虚拟现实等相关技术发展迅速,其中,动作捕捉技术是一项关键性技术。动作捕捉***主要分为基于光学图像的动作捕捉***和基于惯性传感器的动作捕捉***。
目前,基于光学图像的动作捕捉***,通过跟踪粘贴于人体的标记点来获取人体运动信息,这样,在动作捕捉时,使用者就需要穿戴专业的服装以及在专业的服装上粘贴标记点,这在一定程度上束缚了使用者。
因此,如何提供一种更加便捷的动作捕捉方法是目前亟需解决的技术问题。
发明内容
为解决上述技术问题,本申请提供一种动作捕捉***及方法。
第一方面,本申请提供一种动作捕捉***,包括至少两个图像采集器,用于同步采集相同目标对象在不同视角对应的图像;
2D特征检测计算器,用于提取每个所述图像中的2D特征点;
***自标定计算器,用于根据2D特征点集,计算第一位姿关系,其中,所述2D特征点集为预设时间段内所有所述图像中2D特征点的集合,所述第一位姿关系为所述至少两个图像采集器之间的位姿关系;
3D特征定位计算器,用于根据所述第一位姿关系以及所有所述2D特征点,生成3D特征点集,其中,所述3D特征点集为所述目标对象上特征点的3D坐标集合;
人体运动解算器,用于根据所述3D特征点集,解算目标对象中每个人的人体运动信息。
在一种可实现方式中,所述2D特征点为所述目标对象中人体关节点的2D坐标。
在一种可实现方式中,所述2D特征点为标记于所述目标对象上的标记点的2D坐标。
在一种可实现方式中,所述***还包括同步器,所述同步器用于同步触发所述至少两个图像采集器。
在一种可实现方式中,所述***还包括校准模块,所述校准模块包括获取模块、计算模块和更新模块;
所述获取模块,用于按照预设规则,获取所述2D特征点集;
所述计算模块,用于以所述2D特征点集作为SFM算法的输入,计算第二位姿关系,其中,所述第二位姿关系为当前所述至少两个图像采集器之间的位姿关系;
所述更新模块,用于将所述第一位姿关系更新为第二位姿关系。
在一种可实现方式中,所述3D特征定位计算器,用于根据所述第一位姿关系以及所有所述2D特征点,采用三角计算,生成3D特征点集。
在一种可实现方式中,所述人体运动解算器,用于根据所述3D特征点集,采用反向动力学算法,解算目标对象中每个人的人体运动信息。
第二方面,本申请还提供一种动作捕捉方法,所述方法包括:
通过至少两个图像采集器,同步采集相同目标对象在不同视角对应的图像;
提取每个所述图像中的2D特征点;
根据2D特征点集,计算第一位姿关系,其中,所述2D特征点集为预设时间段内所有所述图像中2D特征点的集合,所述第一位姿关系为所述至少两个图像采集器之间的位姿关系;
根据所述第一位姿关系以及所有所述2D特征点,生成3D特征点集,其中,所述3D特征点集为所述目标对象上特征点的3D坐标集合;
根据所述3D特征点集,解算目标对象中每个人的人体运动信息。
在一种可实现方式中,还包括:
按照预设规则,获取所述2D特征点集;
以所述2D特征点集作为SFM算法的输入,计算第二位姿关系,其中,所述第二位姿关系为当前所述至少两个图像采集器之间的位姿关系;
将所述第一位姿关系更新为第二位姿关系。
在一种可实现方式中,根据所述第一位姿关系以及所有所述2D特征点,采用三角计算,生成3D特征点集。
综上,本申请提供的动作捕捉***及方法,首先,在动作捕捉的同时,可依据人体关节点等特征,进行实时相机标定和自动校准,避免因为环境震动、触碰等原因导致的至少两个图像采集器形成的相机***参数变化引起的精度下降甚至捕捉失败等问题。其次,本申请通过分析并处理基于采集的自然视频的原始图像解析出图像中人体的姿态特征,无需人员穿戴任何设备,与传统人体捕捉技术相比,不仅降低了硬件设备的成本,而且由于没有了穿戴特殊服饰的束缚,动作捕捉过程更加高效、自由。另外,基于多视角自然视频分析人体姿态信息,视场覆盖整个场地和人体全身,大大减少了由于人体被遮挡导致的人体姿态误识别和骨架错位等现象,提高了多人交互动作的稳定性和准确性,降低了遮挡造成的错误匹配。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种动作捕捉场景图;
图2为本申请实施例提供的一种动作捕捉方法的工作流程示意图;
图3为本申请实施例提供的一种人体关节点的展示图;
图4为本申请实施例提供的一种动作捕捉***的结构框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
为便于对本申请技术方案的理解,首先对应用场景进行介绍。
如图1所示,本申请通过至少两个图像采集器100搭建的多视角图像采集***,对场景中的目标对象进行动作捕捉,其中,目标对象可以是一个人或多人,这样,可以通过至少两个图像采集器采集到相同目标对象在不同视角下对应的图像,进而通过计算平台200,利用本申请提供的动作捕捉方法对采集到的图像,解算出场景中每个人的运动信息,从而可以应用于影视制作、虚拟现实等技术领域。
下面对本申请实施例提供的一种动作捕捉方法进行介绍。
如图2所示,本申请实施例提供的一种动作捕捉方法,包括以下步骤:
步骤100、通过至少两个图像采集器,同步采集相同目标对象在不同视角对应的图像。
本申请首先通过至少两个图像采集器,分别从不同的角度同步采集相同目标对象的图像,这样可以大大减少由于人体被遮挡导致的人体姿态误识别和骨架错位等现象,提高多人交互动作的稳定性和准确性,降低遮挡造成的错误匹配。
本申请对选用的图像采集器不进行限定,例如可以根据实际的应用场景中场地大小适配对应的工业相机和镜头。其中,图像采集器可以通过USB转光纤线缆的方式与处理器进行数据传输,这样可以打破USB线长度的限制。其中,每个图像采集器的图像采集与数据传输是独立的,为了保证所有图像采集器采集的图像在时域上具有一致性,可以将各图像采集装置通过触发线与同步器连通,然后通过同步器发送触发同步信号到各个图像采集装置,从而保证各个图像采集装置同步采集图像。
步骤200、提取每个所述图像中的2D特征点。
本申请中目标对象上可以设置标记点,也可以不设置标记点,本申请对此不进行限定。
如果目标对象上没有任何标记点,则2D特征点可以是目标对象中人体关节点的2D坐标。例如,提取图像中采集到的人体关节点如头、肩、手、腰、膝、足等对应的2D坐标。
如果目标对象上设有标记点,则2D特征点可以是目标对象上的标记点的2D坐标。其中,标记点可以是编码标记点或非编码标记点,编码标记点可以是二维码或数字编号的形式,非编码标记点可以是标记在目标对象上的荧光点。
需要说明的是,如果目标对象上设有标记点,则2D特征点可以既包括目标对象上的标记点的2D坐标,还包括目标对象中人体关节点的2D坐标,本申请对此不进行限定。
对应的,可以预先训练一个收敛的2D特征检测计算器,该2D特征检测计算器可以用于提取每个所述图像中的2D特征点。
本申请对提取每个所述图像中的2D特征点的方法不进行限定,在一种可实现方式中,可以基于开源库OpenPose实现2D特征点的提取。
利用开源库OpenPose提取2D特征点时,以各图像采集器采集到的图像为输入,可以得到每个图像中捕捉到的人体关节点(如图3所示)的2D坐标,还可以展示具有2D特征点的图像。
步骤300、根据2D特征点集,计算第一位姿关系,其中,2D特征点集是指预设时间段内所有图像中2D特征点的集合,第一位姿关系为所述至少两个图像采集器之间的位姿关系。
首先需要说明的是,步骤300相当于利用动作捕捉过程中提取到的2D特征点,对至少两个图像采集器进行相机标定,也就可以确定各个图像采集器之间的位姿关系。
其中,图像采集器的位姿包括图像采集器的位置信息和姿态信息,其中,姿态信息表示图像采集器的转轴对应的参数信息,如图像采集器的三个转轴的位置、方向和角度等。
在图像采集器确定后,便可以获得图像采集器的内参数,如焦距、光学坐标中心等,进而可以根据2D特征点集以及图像采集器的内参数,计算图像采集器之间的位姿关系。
这样,本申请提供的相机标定方法,一方面不需要采用传统相机标定中的标定板,另一方面本申请通过利用动作捕捉过程中动态的特征点进行相机标定,能够更精准地反映图像采集器之间的位姿关系。
本申请对利用2D特征点集,计算第一位姿关系的方法不进行限定,在一种可实现方式中,可以结合SFM算法计算第一位姿关系。
下面对利用2D特征点集结合SFM算法,计算第一位姿关系的方法进行说明。
常规的SFM算法,首先需要选取标定板图像,然后对标定板图像进行特征点提取,再对提取的特征点进行特征点匹配,得到互相匹配特征点对;最后,以确定特征点对作为输入,执行SFM算法,计算得到图像采集器的内参数、外参数等。
本申请与常规的SFM算法的不同之处在于,常规的SFM算法中基于标定板图像进行特征提取和匹配,而本申请直接利用动作捕捉过程中目标对象上的2D特征点作为输入执行SFM算法。
其中,本申请提取的2D特征点为人体关节点,例如每个人体设定包括25个人体关节点,这样,提取出的2D特征点实际上有自己的ID,如2D特征点A为左肩、2D特征点B为右肩、2D特征点C为左眼、2D特征点D为右眼等,此处不进行一一列举。由此可知,本申请提取到的2D特征点实际上相当于已经完成了特征匹配后的特征点,因此,可以直接作为SFM算法输入进行计算,这样相当于减少了标定时间和操作的复杂度。
将2D特征点作为输入,执行SFM算法的步骤可以包括:估计基础矩阵、估计本质矩阵、本质矩阵分解为R和T(其中,世界坐标系与相机坐标系之间的相对旋转为矩阵R,相对位移为向量T)、三维点云计算、重投影、计算第三个摄像机到到世界坐标系的变换矩阵、更多摄像相机的变换矩阵计算、利用光束法平差对三维点云的位置和图像采集器的位置优化等。执行SFM算法的步骤,可以参照现有技术中任一可行方法,此处不再赘述。
本申请上述提供的相机标定方法,虽然能够精确的确定一定时间内图像采集器之间的位姿关系,但是,随着时间推移和***硬件的晃动等因素产生变化,之前的标定结果可能不再准确,因此,本申请还提供一种校准图像采集器之间的位姿关系的方法。
本申请提供的校准图像采集器之间的位姿关系的方法,可以包括如下步骤:
步骤310、按照预设规则,获取2D特征点集。
本申请对预设规则不进行限定,例如可以是每隔一定时间,自动获取一段时间内所有图像采集器对应的2D特征点;又例如可以实时自动获取一段时间内所有图像采集器对应的2D特征点。具体的,可以在后台单独开设一个线程,该线程用于按照预设规则,获取所述2D特征点集。
由此可知,步骤310可以及时获取到最新的2D特征点集,也就是说,步骤310获取的2D特征点集能够及时反映当前各图像采集器的真实情况。
步骤320、以2D特征点集作为SFM算法的输入,计算第二位姿关系,其中,所述第二位姿关系为当前所述至少两个图像采集器之间的位姿关系。
为便于与上述第一位姿关系区分,本申请将根据最新获取的2D特征点集,最近一次计算得到的当前图像采集器之间的位姿关系称为第二位姿关系。
这样,本申请可以自动每隔一段时间或者可以实时重新计算图像采集器之间的位姿关系。
步骤330、将所述第一位姿关系更新为第二位姿关系。
本申请对位姿关系更新方法不进行限定。例如:步骤330中,计算得到最近一次的位姿关系后,可以直接更新上一次的位姿关系;或者,在计算得到最近一次的位姿关系后,先与上一次的位姿关系进行比较,如果两次位姿关系差别在允许范围内,可以保持上一次的位姿关系,如果两次位姿关系差别不在允许范围内,则更新上一次的位姿关系。
综上,本申请在执行动作捕捉的同时,可以实现在线相机标定以及图像采集器之间的位姿关系自动校准,从而保证整个动作捕捉过程中,图像采集器之间的位姿关系都是精确的,进而保证最终动作捕捉结果的准确性。
需要说明的是,如果更新了之前确定的各图像采集器之间位姿关系,则步骤400和步骤500则以更新后的各图像采集器之间位姿关系为基础进行对应的计算。
步骤400、根据第一位姿关系以及所有所述2D特征点,生成3D特征点集,其中,所述3D特征点集是指所述目标对象上特征点的3D坐标集合。
本申请可以基于图像采集器之间的第一位姿关系,将不同视角图像对应的2D特征点进行立体匹配,从而确定目标对象中特征点的3D坐标,进而可以生成3D特征点集。
其中,如果步骤200中提取的2D特征点是目标对象中人体关节点,则对应的步骤400中生成的是目标对象中人体关节点的3D坐标集合;如果步骤200中提取的2D特征点是目标对象上的标记点,则对应的步骤400中生成的是目标对象上标记点的3D坐标集合。
以目标对象的特征点为人体关节点为例,由于已知各个图像采集器之间的位姿关系,因此可以匹配出不同视角图像中2D特征点之间的对应关系,从而可以生成目标对象中每个人员的人体关节点对应的3D坐标。进一步的,目标对象中所有人员的人体关节点对应的3D坐标,形成3D特征点集。
本申请对计算目标对象上特征点的3D坐标的方法不进行限定,在一种可实现方式中,本申请可以采用三角计算法,计算目标对象上特征点的3D坐标。
步骤500、用于根据所述3D特征点集,解算目标对象中每个人的人体运动信息。
其中,人体运动信息是指各关节之间的运动关系,例如小臂与小腿之间的运动关系,具体包括位置关系、旋转关系等。
人体各关节之间具有一定的几何关系,以及人体各关节之间具有约束条件,因此,基于此可以根据每个人体关节点的3D特征,采用反向动力学算法IK、Unity或Maya等软件工具,可以解算出人体运动信息,从而实现目标对象的三维动作捕捉。
进一步的,本申请可以将解算得到的同一人体各个特征关节点数据进行组合,按照人体结构特征进行关联,将各个特征关节点连接,组成当前状态下人体骨架动作,建立人体模型结构记录骨架数据。
本申请还可以将步骤500解算得到的人体运行信息,实时转换到应用端相关坐标系下的3D特征,并能够实时进行广播,从而使应用端能够实时的接收到人体捕捉动作信息。
本申请还可以包括显示模块,显示模块能够将解算出来的人体动作信息和采集到的二维图像信息实时的显示在***界面的中,能够进行实时观测,具体的,可以包括2D多视角图像显示模块和3D立体空间显示模块。
综上,本申请提供的动作捕捉方法,首先,在动作捕捉的同时,可依据人体关节点等特征,进行实时相机标定和自动校准,避免因为环境震动、触碰等原因导致的至少两个图像采集器形成的相机***参数变化引起的精度下降甚至捕捉失败等问题。其次,本申请通过分析并处理基于采集的自然视频的原始图像解析出图像中人体的姿态特征,无需人员穿戴任何设备,与传统人体捕捉技术相比,不仅降低了硬件设备的成本,而且由于没有了穿戴特殊服饰的束缚,动作捕捉过程更加高效、自由。另外,基于多视角自然视频分析人体姿态信息,视场覆盖整个场地和人体全身,大大减少了由于人体被遮挡导致的人体姿态误识别和骨架错位等现象,提高了多人交互动作的稳定性和准确性,降低了遮挡造成的错误匹配。
本申请还提供的动作捕捉***,如图4所示,包括至少两个图像采集器100和计算平台200,其中,计算平台200包括2D特征检测计算器210、***自标定计算器220、3D特征定位计算器230和人体运动解算器240。
至少两个图像采集器100,用于同步采集相同目标对象在不同视角对应的图像;
2D特征检测计算器210,用于提取每个所述图像中的2D特征点;
***自标定计算器220,用于根据2D特征点集,计算第一位姿关系,其中,所述2D特征点集为预设时间段内所有所述图像中2D特征点的集合,所述第一位姿关系为所述至少两个图像采集器之间的位姿关系;
3D特征定位计算器230,用于根据所述第一位姿关系以及所有所述2D特征点,生成3D特征点集,其中,所述3D特征点集为所述目标对象上特征点的3D坐标集合;
人体运动解算器240,用于根据所述3D特征点集,解算目标对象中每个人的人体运动信息。
进一步的,所述2D特征点为所述目标对象中人体关节点的2D坐标。
进一步的,所述2D特征点为标记于所述目标对象上的标记点的2D坐标。
进一步的,所述***还包括同步器300,所述同步器300用于同步触发所述至少两个图像采集器100。
进一步的,所述***还包括校准模块,所述校准模块包括获取模块、计算模块和更新模块;
所述获取模块,用于按照预设规则,获取所述2D特征点集;
所述计算模块,用于以所述2D特征点集作为SFM算法的输入,计算第二位姿关系,其中,所述第二位姿关系为当前所述至少两个图像采集器之间的位姿关系;
所述更新模块,用于将所述第一位姿关系更新为第二位姿关系。
进一步的,所述3D特征定位计算器230,用于根据所述第一位姿关系以及所有所述2D特征点,采用三角计算,生成3D特征点集。
进一步的,所述人体运动解算器240,用于根据所述3D特征点集,采用反向动力学算法,解算目标对象中每个人的人体运动信息。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其,对于***的实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例中的说明即可。
具体实现中,本申请实施例还提供一种计算机可读存储介质,其中,该计算机可读存储介质可存储有程序,该程序执行时可包括本申请提供的动作捕捉方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory,ROM)或随机存储记忆体(random access memory,RAM)等。
本领域的技术人员可以清楚地了解到本申请实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本申请实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
此外,本申请可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的,其本身不指示所讨论各种实施例和/或设置之间的关系。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如100、200等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。
还需要说明的是,在本文中,诸如“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含。
以上结合具体实施方式和范例性实例对本申请进行了详细说明,不过这些说明并不能理解为对本申请的限制。本领域技术人员理解,在不偏离本申请精神和范围的情况下,可以对本申请技术方案及其实施方式进行多种等价替换、修饰或改进,这些均落入本申请的范围内。本申请的保护范围以所附权利要求为准。
Claims (7)
1.一种动作捕捉***,其特征在于,包括:
至少两个图像采集器,用于同步采集相同目标对象在不同视角对应的图像;
2D特征检测计算器,用于提取每个所述图像中的2D特征点,所述2D特征点为所述目标对象中人体关节点的2D坐标;
***自标定计算器,用于根据2D特征点集,计算第一位姿关系,其中,所述2D特征点集为第一预设时间段内所有所述图像中2D特征点的集合,所述第一位姿关系为所述至少两个图像采集器之间的位姿关系;
3D特征定位计算器,用于根据所述第一位姿关系以及所有所述2D特征点,生成3D特征点集,其中,所述3D特征点集为所述目标对象上特征点的3D坐标集合;
人体运动解算器,用于根据所述3D特征点集,解算目标对象中每个人的人体运动信息;
所述***还包括校准模块,所述校准模块包括获取模块、计算模块和更新模块;
所述获取模块,用于按照预设规则,获取所述2D特征点集;
所述计算模块,用于以第一预设时间段对应的所述2D特征点集作为SFM算法的输入,计算所述第一位姿关系,以及,以第二预设时间段对应的所述2D特征点集作为SFM算法的输入,计算所述第二位姿关系;其中,所述第二预设时间段位于所述第一预设时间段之后;
所述更新模块,用于在所述第一位姿关系与所述第二位姿关系之间的位姿变化大于位姿变化阈值时,将所述第一位姿关系更新为第二位姿关系,以使所述3D特征定位计算器根据所述第二位姿关系以及所有所述2D特征点,生成3D特征点集;在所述第一位姿关系与所述第二位姿关系之间的位姿变化小于或者等于位姿变化阈值时,保持所述第一位姿关系。
2.根据权利要求1所述的动作捕捉***,其特征在于,所述2D特征点还包括标记于所述目标对象上的标记点的2D坐标。
3.根据权利要求1所述的动作捕捉***,其特征在于,所述***还包括同步器,所述同步器用于同步触发所述至少两个图像采集器。
4.根据权利要求1所述的动作捕捉***,其特征在于,所述3D特征定位计算器,用于根据所述第一位姿关系以及所有所述2D特征点,采用三角计算,生成3D特征点集。
5.根据权利要求1所述的动作捕捉***,其特征在于,所述人体运动解算器,用于根据所述3D特征点集,采用反向动力学算法,解算目标对象中每个人的人体运动信息。
6.一种动作捕捉方法,其特征在于,所述方法包括:
通过至少两个图像采集器,同步采集相同目标对象在不同视角对应的图像;
提取每个所述图像中的2D特征点,所述2D特征点为所述目标对象中人体关节点的2D坐标;
以第一预设时间段对应的所述2D特征点集作为SFM算法的输入,计算所述第一位姿关系,其中,所述2D特征点集为所述第一预设时间段内所有所述图像中2D特征点的集合,所述第一位姿关系为所述至少两个图像采集器之间的位姿关系;
根据所述第一位姿关系以及所有所述2D特征点,生成3D特征点集,其中,所述3D特征点集为所述目标对象上特征点的3D坐标集合;
根据所述3D特征点集,解算目标对象中每个人的人体运动信息;
以第二预设时间段对应的2D特征点集作为SFM算法的输入,计算第二位姿关系;其中,所述第二预设时间段位于所述第一预设时间段之后;
在所述第一位姿关系与所述第二位姿关系之间的位姿变化大于位姿变化阈值时,将所述第一位姿关系更新为第二位姿关系,以根据所述第二位姿关系以及所有所述2D特征点,生成3D特征点集;在所述第一位姿关系与所述第二位姿关系之间的位姿变化小于或者等于位姿变化阈值时,保持所述第一位姿关系。
7.根据权利要求6所述的动作捕捉方法,其特征在于,根据所述第一位姿关系以及所有所述2D特征点,采用三角计算,生成3D特征点集。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111520595.XA CN114283447B (zh) | 2021-12-13 | 2021-12-13 | 一种动作捕捉***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111520595.XA CN114283447B (zh) | 2021-12-13 | 2021-12-13 | 一种动作捕捉***及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114283447A CN114283447A (zh) | 2022-04-05 |
CN114283447B true CN114283447B (zh) | 2024-03-26 |
Family
ID=80871829
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111520595.XA Active CN114283447B (zh) | 2021-12-13 | 2021-12-13 | 一种动作捕捉***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114283447B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110321754A (zh) * | 2018-03-28 | 2019-10-11 | 西安铭宇信息科技有限公司 | 一种基于计算机视觉的人体运动姿态纠正方法及*** |
CN110977985A (zh) * | 2019-12-23 | 2020-04-10 | ***股份有限公司 | 一种定位的方法及装置 |
CN111199576A (zh) * | 2019-12-25 | 2020-05-26 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于移动平台的室外大范围人体姿态重建方法 |
CN111447340A (zh) * | 2020-05-29 | 2020-07-24 | 深圳市瑞立视多媒体科技有限公司 | 混合现实虚拟预演拍摄*** |
CN112639883A (zh) * | 2020-03-17 | 2021-04-09 | 华为技术有限公司 | 一种相对位姿标定方法及相关装置 |
CN113421286A (zh) * | 2021-07-12 | 2021-09-21 | 北京未来天远科技开发有限公司 | 一种动作捕捉***及方法 |
CN113487674A (zh) * | 2021-07-12 | 2021-10-08 | 北京未来天远科技开发有限公司 | 一种人***姿估计***和方法 |
-
2021
- 2021-12-13 CN CN202111520595.XA patent/CN114283447B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110321754A (zh) * | 2018-03-28 | 2019-10-11 | 西安铭宇信息科技有限公司 | 一种基于计算机视觉的人体运动姿态纠正方法及*** |
CN110977985A (zh) * | 2019-12-23 | 2020-04-10 | ***股份有限公司 | 一种定位的方法及装置 |
CN111199576A (zh) * | 2019-12-25 | 2020-05-26 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于移动平台的室外大范围人体姿态重建方法 |
CN112639883A (zh) * | 2020-03-17 | 2021-04-09 | 华为技术有限公司 | 一种相对位姿标定方法及相关装置 |
CN111447340A (zh) * | 2020-05-29 | 2020-07-24 | 深圳市瑞立视多媒体科技有限公司 | 混合现实虚拟预演拍摄*** |
WO2021238804A1 (zh) * | 2020-05-29 | 2021-12-02 | 深圳市瑞立视多媒体科技有限公司 | 混合现实虚拟预演拍摄*** |
CN113421286A (zh) * | 2021-07-12 | 2021-09-21 | 北京未来天远科技开发有限公司 | 一种动作捕捉***及方法 |
CN113487674A (zh) * | 2021-07-12 | 2021-10-08 | 北京未来天远科技开发有限公司 | 一种人***姿估计***和方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114283447A (zh) | 2022-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104680582B (zh) | 一种面向对象定制的三维人体模型创建方法 | |
CN113706699B (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
CN110544301A (zh) | 一种三维人体动作重建***、方法和动作训练*** | |
CN106843507B (zh) | 一种虚拟现实多人互动的方法及*** | |
KR101711736B1 (ko) | 영상에서 동작 인식을 위한 특징점 추출 방법 및 골격 정보를 이용한 사용자 동작 인식 방법 | |
JP7015152B2 (ja) | キーポイントデータに関する加工装置、方法及びプログラム | |
US20170330375A1 (en) | Data Processing Method and Apparatus | |
CN110598590A (zh) | 基于多视角相机的紧密交互人体姿态估计方法及装置 | |
JP5795250B2 (ja) | 被写体姿勢推定装置および映像描画装置 | |
US20160210761A1 (en) | 3d reconstruction | |
CN110633005A (zh) | 一种光学式无标记的三维人体动作捕捉方法 | |
CN113449570A (zh) | 图像处理方法和装置 | |
KR20230078777A (ko) | 3차원 재구성 방법, 장치와 시스템, 매체 및 컴퓨터 기기 | |
CN108564653A (zh) | 基于多Kinect的人体骨架追踪***及方法 | |
CN111539300A (zh) | 一种基于ik算法的人体运动捕捉方法、装置、介质及设备 | |
WO2024094227A1 (zh) | 一种基于卡尔曼滤波和深度学习的手势姿态估计方法 | |
CN109740659A (zh) | 一种图像匹配方法及装置、电子设备、存储介质 | |
CN114882106A (zh) | 位姿确定方法和装置、设备、介质 | |
CN111539299B (zh) | 一种基于刚体的人体运动捕捉方法、装置、介质及设备 | |
WO2017003424A1 (en) | Metric 3d stitching of rgb-d data | |
CN114283447B (zh) | 一种动作捕捉***及方法 | |
JP4667900B2 (ja) | 二次元画像からの三次元解析方法とそれを実行するシステム | |
CN113610969B (zh) | 一种三维人体模型生成方法、装置、电子设备及存储介质 | |
WO2018173205A1 (ja) | 情報処理システム、その制御方法、及びプログラム | |
CN109328459B (zh) | 智能终端及其3d成像方法、3d成像*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20230423 Address after: 418-436, 4th Floor, Building 1, Jinanqiao, No. 68 Shijingshan Road, Shijingshan District, Beijing, 100041 Applicant after: Beijing Yuanke Fangzhou Technology Co.,Ltd. Address before: 100094 701, 7 floor, 7 building, 13 Cui Hunan Ring Road, Haidian District, Beijing. Applicant before: Lingyunguang Technology Co.,Ltd. Applicant before: Shenzhen Lingyun Shixun Technology Co.,Ltd. |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |