CN111681281B - 肢体动作捕捉的校准方法、装置、电子设备及存储介质 - Google Patents

肢体动作捕捉的校准方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111681281B
CN111681281B CN202010301553.6A CN202010301553A CN111681281B CN 111681281 B CN111681281 B CN 111681281B CN 202010301553 A CN202010301553 A CN 202010301553A CN 111681281 B CN111681281 B CN 111681281B
Authority
CN
China
Prior art keywords
posture
limb
coordinate system
calibration
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010301553.6A
Other languages
English (en)
Other versions
CN111681281A (zh
Inventor
刘维甫
马浩
刘昊扬
戴若犁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING NOITOM TECHNOLOGY Ltd
Original Assignee
BEIJING NOITOM TECHNOLOGY Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING NOITOM TECHNOLOGY Ltd filed Critical BEIJING NOITOM TECHNOLOGY Ltd
Priority to CN202010301553.6A priority Critical patent/CN111681281B/zh
Publication of CN111681281A publication Critical patent/CN111681281A/zh
Application granted granted Critical
Publication of CN111681281B publication Critical patent/CN111681281B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本申请涉及一种肢体动作捕捉的校准方法、装置、电子设备及存储介质,所述方法包括:通过位置固定的视频动捕设备获取被测对象在设备坐标系下在朝向相同的多种预设姿势下的参考位置和参考姿态;获取被测对象在多种预设姿势下运动传感器在世界坐标系下的空间姿态;确定设备坐标系和世界坐标系之间的坐标转换参数;根据参考位置、参考姿态和坐标转换参数确定被测对象的各肢体的位置校准参数和姿态校准参数;利用位置校准参数执行对被测对象的各肢体在世界坐标系下的空间位置的计算操作,利用姿态校准参数执行对运动传感器相对各自所安装的肢体的安装姿态的计算操作。本申请实现了被测对象的位置校准、姿态校准的精确校准和肢体尺寸的精确测量。

Description

肢体动作捕捉的校准方法、装置、电子设备及存储介质
技术领域
本申请涉及动作捕捉技术领域,尤其涉及一种肢体动作捕捉的校准方法、装置、电子设备及存储介质。
背景技术
目前动作捕捉已经逐渐在人们生活中应用越来越广泛,在传统的对惯性动作捕捉***中的运动传感器的安装姿态校准方法中,需要确定被测对象的姿态以及确定运动传感器的安装姿态,上述过程需要测量被测对象的肢体信息以及让被测对象做相应的校准姿势来实现对佩戴在被测对象的肢体上的运动传感器的安装姿态校准,例如让被测对象做Apose、T pose、S pose等校准姿势。
但是,由于测量人的测量方法不同以及校准人的校准准确度不同,导致上述方法存在测量和校准过程中精度较低的缺陷。
发明内容
为了解决上述技术问题,本申请提供了一种肢体动作捕捉的校准方法、装置、电子设备及存储介质。
有鉴于此,第一方面,本申请提供了一种肢体动作捕捉的校准方法,所述方法包括以下步骤:
通过视频动捕设备获取被测对象在设备坐标系下在朝向相同的多种预设姿势下的参考位置和参考姿态,其中,所述视频动捕设备为位置固定的设备,任意两种预设姿势不相同;
获取所述被测对象在朝向相同的多种预设姿势下动作捕捉***中运动传感器在世界坐标系下的空间姿态,所述动作捕捉***中包括多个运动传感器,不同运动传感器分布佩戴在所述被测对象的不同肢体上;
确定所述设备坐标系和所述世界坐标系之间的坐标转换参数;
根据所述参考位置、参考姿态和所述坐标转换参数确定所述被测对象的各肢体的位置校准参数和姿态校准参数;
利用所述位置校准参数执行对所述被测对象的各肢体在世界坐标系下的空间位置的计算操作,以及,利用所述姿态校准参数执行对所述运动传感器相对各自所安装的肢体的安装姿态的计算操作。
结合第一方面,在第一方面第一种可能的实施方式中,所述通过视频动捕设备获取被测对象在设备坐标系下在朝向相同的多种预设姿势下的参考位置和参考姿态,包括:
获取所述视频动捕设备采集的所述被测对象在朝向相同的多种预设姿势下的图像信息;
从所述图像信息中提取出所述被测对象在所述预设姿势下的图像特征;
根据所述图像特征构建所述被测对象的三维模型;
根据所述三维模型,确定出所述被测对象在所述设备坐标系下的不同肢体的参考位置和参考姿态。
结合第一方面,在第一方面第二种可能的实施方式中,所述朝向相同的多种预设姿势包括:A pose姿势、T pose姿势、S pose姿势、C pose姿势和K pose姿势,其中,所述Apose姿势时所述被测对象的正面朝向所述视频动捕设备,双脚并拢站立且双臂垂直在体侧;所述T pose姿势时所述被测对象的正面朝向所述视频动捕设备,双脚并拢站立,双臂左右平伸;所述S pose姿势时所述被测对象的侧面朝向所述视频动捕设备,双脚并拢并曲膝,双臂并拢平伸胸前;所述C pose姿势时所述被测对象的侧面朝向所述视频动捕设备,双脚并拢站立,双臂并拢并弯曲;所述K pose姿势时所述被测对象的侧面朝向所述视频动捕设备,单脚伸直于胸前且双手叉腰。
结合第一方面,在第一方面第三种可能的实施方式中,所述方法还包括:
根据至少两种所述预设姿势下所述被测对象在所述设备坐标系下的参考位置,确定出所述被测对象的所述肢体的尺寸信息。
结合第一方面,在第一方面第四种可能的实施方式中,所述利用所述姿态校准参数执行对所述运动传感器相对各自所安装的肢体的安装姿态的计算操作,包括:
在预设四元数模型中确定与所述运动传感器的空间姿态对应的Qsensor;
在预设四元数模型中确定与所述被测对象的各肢体的参考姿态对应的Qbone;
利用旋转矩阵计算所述Qbone与Qsensor的姿态差值Qs-b;
将所述Qs-b确定为所述运动传感器相对各自所安装的肢体的安装姿态。
结合第一方面,在第一方面第五种可能的实施方式中,所述确定所述设备坐标系和所述世界坐标系之间的坐标转换参数,包括:
将空间中的一个预设坐标轴确定为所述设备坐标系与所述世界坐标系相重合的基准轴;
计算所述A pose姿势和T pose姿势下所述被测对象沿着所述基准轴的上肢旋转参数以及所述A pose姿势和S pose姿势下所述被测对象沿着所述基准轴的下肢旋转参数;
根据所述上肢旋转参数和下肢旋转参数计算所述设备坐标系和所述世界坐标系的坐标轴之间的夹角关系;
利用所述夹角关系确定所述设备坐标系和所述世界坐标系之间的坐标转换参数。
结合第一方面,在第一方面第六种可能的实施方式中,所述方法还包括:
获取所述运动传感器佩戴在所述被测对象的肢体的历史安装姿态;
利用计算得到的安装姿态对所述历史安装姿态进行更新。
第二方面,本申请提供了一种肢体动作捕捉的校准装置,所述装置包括:
参考位置和参考姿态获取单元,用于通过视频动捕设备获取被测对象在设备坐标系下在朝向相同的多种预设姿势下的参考位置和参考姿态,其中,所述视频动捕设备为位置固定的设备,任意两种预设姿势不相同;
空间姿态获取单元,用于获取所述被测对象在朝向相同的多种预设姿势下所述动作捕捉***中运动传感器在世界坐标系下的空间姿态,所述动作捕捉***中包括多个运动传感器,不同运动传感器分布佩戴在所述被测对象的不同肢体上;
坐标转换参数确定单元,用于根据所述参考姿态和所述空间姿态,确定所述设备坐标系和所述世界坐标系之间的坐标转换参数;
校准参数确定单元,用于根据所述参考位置、参考姿态和所述坐标转换参数确定所述被测对象的各肢体的位置校准参数和姿态校准参数;
计算单元,用于利用所述位置校准参数执行对所述被测对象的各肢体在世界坐标系下的空间位置的计算操作,以及,利用所述姿态校准参数执行对所述运动传感器相对各自所安装的肢体的安装姿态的计算操作。
第三方面,本申请提供了电子设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如第一方面所述的肢体动作捕捉的校准方法的步骤。
第四方面,本申请提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面所述的肢体动作捕捉的校准方法的步骤。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点:
本申请实施例提供的一种肢体尺寸信息确定方法、装置及计算机存储介质,该方法通过视频动捕设备获取被测对象在设备坐标系下在朝向相同的多种预设姿势下的参考位置和参考姿态,其中,所述视频动捕设备为位置固定的设备,任意两种预设姿势不相同;获取所述被测对象在朝向相同的多种预设姿势下动作捕捉***中运动传感器在世界坐标系下的空间姿态,所述动作捕捉***中包括多个运动传感器,不同运动传感器分布佩戴在所述被测对象的不同肢体上;确定所述设备坐标系和所述世界坐标系之间的坐标转换参数;根据所述参考位置、参考姿态和所述坐标转换参数确定所述被测对象的各肢体的位置校准参数和姿态校准参数;利用所述位置校准参数执行对所述被测对象的各肢体在世界坐标系下的空间位置的计算操作,以及,利用所述姿态校准参数执行对所述运动传感器相对各自所安装的肢体的安装姿态的计算操作。
本申请实施例利用视频动捕设备在可视范围内,无遮挡的情况下,获取被测对象在设备坐标系下在朝向相同的多种预设姿势下的参考位置和参考姿态,进行尺寸测量、位置校准和姿态校准,提高了测量和校准精度。避免由于测量人的测量方法不同或者校准人的校准准确度不同而导致的被测对象在动作捕捉过程中的测量和校准精度较低的缺陷,从而实现被测对象的位置校准、姿态校准的精确校准和肢体尺寸的精确测量。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种肢体动作捕捉的校准方法的流程示意图;
图2为本申请实施例提供的另一种肢体动作捕捉的校准方法的流程示意图;
图3为本申请实施例提供的另一种肢体动作捕捉的校准方法的流程示意图;
图4为本申请实施例提供的一种肢体动作捕捉的校准装置的结构示意图;
图5为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
现在将参考附图描述实现本发明各个实施例的服务器。在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明,其本身并没有特定的意义。因此,“模块”与“部件”可以混合地使用。
本申请实施例提供了一种肢体动作捕捉的校准方法,如图1所示,该方法可以包括以下步骤:
S101、通过视频动捕设备获取被测对象在设备坐标系下在朝向相同的多种预设姿势下的参考位置和参考姿态,其中,所述视频动捕设备为位置固定的设备,任意两种预设姿势不相同。
可选的,获取被测对象在多种预设姿势下的参考位置和参考姿态,预设姿势包括但不限于A pose姿势、T pose姿势、S pose姿势、C pose姿势和K pose姿势,下面对这多种预设姿势进行详细描述。
所述朝向相同的多种预设姿势包括:A pose姿势、T pose姿势、S pose姿势、Cpose姿势和K pose姿势,其中,所述A pose姿势时所述被测对象的正面朝向所述动作捕捉设备,双脚并拢站立且双臂垂直在体侧;所述T pose姿势时所述被测对象的正面朝向所述动作捕捉设备,双脚并拢站立,双臂左右平伸;所述S pose姿势时所述被测对象的侧面朝向所述动作捕捉设备,双脚并拢并曲膝,双臂并拢平伸胸前;所述C pose姿势时所述被测对象的侧面朝向所述动作捕捉设备,双脚并拢站立,双臂并拢并弯曲;所述K pose姿势时所述被测对象的侧面朝向所述动作捕捉设备,单脚伸直于胸前且双手叉腰。
S102、获取所述被测对象在朝向相同的多种预设姿势下动作捕捉***中运动传感器在世界坐标系下的空间姿态,所述动作捕捉***中包括多个运动传感器,不同运动传感器分布佩戴在所述被测对象的不同肢体上。
可选的,被测对象的待测量的肢体包括但不限于胳膊(大臂、小臂)、大腿、小腿、头部、颈部、肩部(测量肩宽)、胯部(测量跨宽)、躯干等关节点,每一个关节点都对应有相应的标识。
S103、确定所述设备坐标系和所述世界坐标系之间的坐标转换参数。
S104、根据所述参考位置、参考姿态和所述坐标转换参数确定所述被测对象的各肢体的位置校准参数和姿态校准参数。
S105、利用所述位置校准参数执行对所述被测对象的各肢体在世界坐标系下的空间位置的计算操作,以及,利用所述姿态校准参数执行对所述运动传感器相对各自所安装的肢体的安装姿态的计算操作。
可选的,利用所述姿态校准参数执行对所述运动传感器相对各自所安装的肢体的安装姿态的计算操作,包括:
在预设四元数模型中确定与所述运动传感器的空间姿态对应的Qsensor;
在预设四元数模型中确定与所述被测对象的各肢体的参考姿态对应的Qbone;
利用旋转矩阵计算所述Qbone与Qsensor的姿态差值Qs-b;
将所述Qs-b确定为所述运动传感器相对各自所安装的肢体的安装姿态。
本申请实施例利用视频动捕设备在可视范围内,无遮挡的情况下,获取被测对象在设备坐标系下在朝向相同的多种预设姿势下的参考位置和参考姿态,进行尺寸测量、位置校准和姿态校准,提高了测量和校准精度。避免由于测量人的测量方法不同或者校准人的校准准确度不同而导致的被测对象在动作捕捉过程中的测量和校准精度较低的缺陷,从而实现被测对象的位置校准、姿态校准的精确校准和肢体尺寸的精确测量。
可选地,如图2所示,图2示出了另一种肢体动作捕捉的校准方法,该方法包括:
S201、获取所述视频动捕设备采集的所述被测对象在朝向相同的多种预设姿势下的图像信息,其中,所述视频动捕设备为位置固定的设备,任意两种预设姿势不相同。
S202、从所述图像信息中提取出所述被测对象在所述预设姿势下的图像特征。
S203、根据所述图像特征构建所述被测对象的三维模型。
S204、根据所述三维模型,确定出所述被测对象在所述设备坐标系下的不同肢体的参考位置和参考姿态。
S205、获取所述被测对象在朝向相同的多种预设姿势下动作捕捉***中运动传感器在世界坐标系下的空间姿态,所述动作捕捉***中包括多个运动传感器,不同运动传感器分布佩戴在所述被测对象的不同肢体上。
S206、确定所述设备坐标系和所述世界坐标系之间的坐标转换参数。
S207、根据所述参考位置、参考姿态和所述坐标转换参数确定所述被测对象的各肢体的位置校准参数和姿态校准参数。
S208、利用所述位置校准参数执行对所述被测对象的各肢体在世界坐标系下的空间位置的计算操作,以及,利用所述姿态校准参数执行对所述运动传感器相对各自所安装的肢体的安装姿态的计算操作。
在本申请另一实施例中,所述方法还包括:
根据至少两种所述预设姿势下所述被测对象在所述设备坐标系下的参考位置,确定出所述被测对象的所述肢体的尺寸信息。
例如,利用所述A pose姿势和T pose姿势下所述预设模型的上肢姿态的差异,确定所述被测对象的上肢的尺寸信息,被测对象的上肢包括被测对象的大臂和小臂;利用所述A pose姿势和C pose姿势下所述预设模型的小臂姿态的差异,确定所述被测对象的小臂的尺寸信息;根据所述被测对象的上肢和小臂的尺寸信息,确定所述被测对象的大臂的尺寸信息;利用所述A pose姿势和K pose姿势下所述预设模型的下肢姿态的差异,确定所述被测对象的下肢的尺寸信息,被测对象的下肢包括被测对象的大腿和小腿;利用所述Apose姿势和S pose姿势下所述预设模型的下肢姿态的差异,确定所述被测对象的大腿的尺寸信息和小腿的尺寸信息;利用所述A pose姿势、T pose姿势、C pose姿势、K pose姿势和Spose姿势下所述预设模型的关节姿态的差异以及上述肢体的尺寸信息,确定所述被测对象的头部、颈部、肩部、胯部以及躯干的尺寸信息。
本申请实施例利用被测对象在多种不同预设姿势下的肢体姿态,可以更精确的测量出不同肢体的尺寸信息,解决了动作捕捉设备由于使用的空间范围较小而导致的遮挡问题。
需要说明的是,本领域技术人员应当知晓上述对预设姿势的举例仅用于解释说明本申请实施例而不用于限定本申请实施例,还可以采用其它预设姿势实现对被测对象的不同肢体的尺寸信息的测量以及位置和姿态的校准。
可选地,如图3所示,图3示出了另一种肢体尺寸信息确定方法,确定所述设备坐标系和所述世界坐标系之间的坐标转换参数,包括:
S301、将空间中的一个预设坐标轴确定为所述设备坐标系与所述世界坐标系相重合的基准轴。
S302、计算所述A pose姿势和T pose姿势下所述被测对象沿着所述基准轴的上肢旋转参数以及所述A pose姿势和S pose姿势下所述被测对象沿着所述基准轴的下肢旋转参数。
S303、根据所述上肢旋转参数和下肢旋转参数计算所述设备坐标系和所述世界坐标系的坐标轴之间的夹角关系。
S304、利用所述夹角关系确定所述设备坐标系和所述世界坐标系之间的坐标转换参数。
本申请实施例,采用易用性好,精度高的动作捕捉设备,获取被测对象在不同预设姿势下的参考位置和参考姿态,根据参考位置和参考姿态确定出被测对象不同肢体的尺寸信息以及利用参考位置和参考姿态对被测对象的位置和姿态进行校准,避免由于测量人的测量方法不同或者校准人的校准准确度不同而导致的被测对象动作捕捉过程中的测量和校准精度较低的缺陷,从而实现被测对象的肢体尺寸的精确测量和位置、姿态的精确校准。
可选的,所述方法还包括:
获取所述运动传感器佩戴在所述被测对象的肢体历史安装姿态;
利用计算得到的安装姿态对所述历史安装姿态进行更新。
本申请实施例通过对运动传感器的肢体历史安装姿态进行实时更新,确保肢体历史安装姿态的准确性和实时性,进一步提高测量精度。
如图4所示,本申请实施例还提供了一种肢体动作捕捉的校准装置,所述装置包括:
参考位置和参考姿态获取单元41,用于通过视频动捕设备获取被测对象在设备坐标系下在朝向相同的多种预设姿势下的参考位置和参考姿态,其中,所述视频动捕设备为位置固定的设备,任意两种预设姿势不相同;
空间姿态获取单元42,用于获取所述被测对象在朝向相同的多种预设姿势下所述动作捕捉***中运动传感器在世界坐标系下的空间姿态,所述动作捕捉***中包括多个运动传感器,不同运动传感器分布佩戴在所述被测对象的不同肢体上;
坐标转换参数确定单元43,用于根据所述参考姿态和所述空间姿态,确定所述设备坐标系和所述世界坐标系之间的坐标转换参数;
校准参数确定单元44,用于根据所述参考位置、参考姿态和所述坐标转换参数确定所述被测对象的各肢体的位置校准参数和姿态校准参数;
计算单元45,用于利用所述位置校准参数执行对所述被测对象的各肢体在世界坐标系下的空间位置的计算操作,以及,利用所述姿态校准参数执行对所述运动传感器相对各自所安装的肢体的安装姿态的计算操作。
本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如个方法实施例所述的肢体动作捕捉的校准方法的步骤,例如包括:
通过视频动捕设备获取被测对象在设备坐标系下在朝向相同的多种预设姿势下的参考位置和参考姿态,其中,所述视频动捕设备为位置固定的设备,任意两种预设姿势不相同;
获取所述被测对象在朝向相同的多种预设姿势下动作捕捉***中运动传感器在世界坐标系下的空间姿态,所述动作捕捉***中包括多个运动传感器,不同运动传感器分布佩戴在所述被测对象的不同肢体上;
确定所述设备坐标系和所述世界坐标系之间的坐标转换参数;
根据所述参考位置、参考姿态和所述坐标转换参数确定所述被测对象的各肢体的位置校准参数和姿态校准参数;
利用所述位置校准参数执行对所述被测对象的各肢体在世界坐标系下的空间位置的计算操作,以及,利用所述姿态校准参数执行对所述运动传感器相对各自所安装的肢体的安装姿态的计算操作。
图4是本发明另一个实施例提供的电子设备的结构示意图。图4所示的电子设备400包括:至少一个处理器401、存储器402、至少一个网络接口404和其他用户接口403。电子设备400中的各个组件通过总线***405耦合在一起。可理解,总线***405用于实现这些组件之间的连接通信。总线***405除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图4中将各种总线都标为总线***405。
其中,用户接口403可以包括显示器、键盘或者点击设备(例如,鼠标,轨迹球(trackball)、触感板或者触摸屏等。
可以理解,本发明实施例中的存储器402可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-OnlyMemory,ROM)、可编程只读存储器(ProgrammableROM,PROM)、可擦除可编程只读存储器(ErasablePROM,EPROM)、电可擦除可编程只读存储器(ElectricallyEPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(RandomAccessMemory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(StaticRAM,SRAM)、动态随机存取存储器(DynamicRAM,DRAM)、同步动态随机存取存储器(SynchronousDRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(DoubleDataRateSDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(SynchlinkDRAM,SLDRAM)和直接内存总线随机存取存储器(DirectRambusRAM,DRRAM)。本文描述的存储器402旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中,存储器402存储了如下的元素,可执行单元或者数据结构,或者他们的子集,或者他们的扩展集:操作***4021和应用程序4022。
其中,操作***4021,包含各种***程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务。应用程序4022,包含各种应用程序,例如媒体播放器(MediaPlayer)、浏览器(Browser)等,用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序4022中。
在本发明实施例中,通过调用存储器402存储的程序或指令,具体的,可以是应用程序4022中存储的程序或指令,处理器401用于执行各方法实施例所提供的方法步骤,例如包括:
通过视频动捕设备获取被测对象在设备坐标系下在朝向相同的多种预设姿势下的参考位置和参考姿态,其中,所述视频动捕设备为位置固定的设备,任意两种预设姿势不相同;
获取所述被测对象在朝向相同的多种预设姿势下动作捕捉***中运动传感器在世界坐标系下的空间姿态,所述动作捕捉***中包括多个运动传感器,不同运动传感器分布佩戴在所述被测对象的不同肢体上;
确定所述设备坐标系和所述世界坐标系之间的坐标转换参数;
根据所述参考位置、参考姿态和所述坐标转换参数确定所述被测对象的各肢体的位置校准参数和姿态校准参数;
利用所述位置校准参数执行对所述被测对象的各肢体在世界坐标系下的空间位置的计算操作,以及,利用所述姿态校准参数执行对所述运动传感器相对各自所安装的肢体的安装姿态的计算操作。
上述本发明实施例揭示的方法可以应用于处理器401中,或者由处理器401实现。处理器401可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器401中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器401可以是通用处理器、数字信号处理器(DigitalSignalProcessor,DSP)、专用集成电路(ApplicationSpecific IntegratedCircuit,ASIC)、现成可编程门阵列(FieldProgrammableGateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器402,处理器401读取存储器402中的信息,结合其硬件完成上述方法的步骤。
可以理解的是,本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现,处理单元可以实现在一个或多个专用集成电路(ApplicationSpecificIntegratedCircuits,ASIC)、数字信号处理器(DigitalSignalProcessing,DSP)、数字信号处理设备(DSPDevice,DSPD)、可编程逻辑设备(ProgrammableLogicDevice,PLD)、现场可编程门阵列(Field-ProgrammableGateArray,FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现,可通过执行本文所述功能的单元来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置或***实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的装置及***实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
可以理解的是,本发明可用于众多通用或专用的计算***环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器***、基于微处理器的***、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何***或设备的分布式计算环境等等。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式,使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种肢体动作捕捉的校准方法,其特征在于,所述方法包括以下步骤:
通过视频动捕设备获取被测对象在设备坐标系下在朝向相同的多种预设姿势下的参考位置和参考姿态,其中,所述视频动捕设备为位置固定的设备,任意两种预设姿势不相同,所述朝向相同的多种预设姿势包括:A pose姿势、T pose姿势、S pose姿势;
获取所述被测对象在朝向相同的多种预设姿势下动作捕捉***中运动传感器在世界坐标系下的空间姿态,所述动作捕捉***中包括多个运动传感器,不同运动传感器分布佩戴在所述被测对象的不同肢体上;
将空间中的一个预设坐标轴确定为所述设备坐标系与所述世界坐标系相重合的基准轴;
计算所述A pose姿势和T pose姿势下所述被测对象沿着所述基准轴的上肢旋转参数以及所述A pose姿势和S pose姿势下所述被测对象沿着所述基准轴的下肢旋转参数;
根据所述上肢旋转参数和下肢旋转参数计算所述设备坐标系和所述世界坐标系的坐标轴之间的夹角关系;
利用所述夹角关系确定所述设备坐标系和所述世界坐标系之间的坐标转换参数;
根据所述参考位置、参考姿态和所述坐标转换参数确定所述被测对象的各肢体的位置校准参数和姿态校准参数;
利用所述位置校准参数执行对所述被测对象的各肢体在世界坐标系下的空间位置的计算操作,以及,利用所述姿态校准参数执行对所述运动传感器相对各自所安装的肢体的安装姿态的计算操作。
2.根据权利要求1所述的方法,其特征在于,所述通过视频动捕设备获取被测对象在设备坐标系下在朝向相同的多种预设姿势下的参考位置和参考姿态,包括:
获取所述视频动捕设备采集的所述被测对象在朝向相同的多种预设姿势下的图像信息;
从所述图像信息中提取出所述被测对象在所述预设姿势下的图像特征;
根据所述图像特征构建所述被测对象的三维模型;
根据所述三维模型,确定出所述被测对象在所述设备坐标系下的不同肢体的参考位置和参考姿态。
3.根据权利要求1所述的方法,其特征在于,所述朝向相同的多种预设姿势包括:Cpose姿势和K pose姿势,其中,所述A pose姿势时所述被测对象的正面朝向所述视频动捕设备,双脚并拢站立且双臂垂直在体侧;所述T pose姿势时所述被测对象的正面朝向所述视频动捕设备,双脚并拢站立,双臂左右平伸;所述S pose姿势时所述被测对象的侧面朝向所述视频动捕设备,双脚并拢并曲膝,双臂并拢平伸胸前;所述C pose姿势时所述被测对象的侧面朝向所述视频动捕设备,双脚并拢站立,双臂并拢并弯曲;所述K pose姿势时所述被测对象的侧面朝向所述视频动捕设备,单脚伸直于胸前且双手叉腰。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据至少两种所述预设姿势下所述被测对象在所述设备坐标系下的参考位置,确定出所述被测对象的所述肢体的尺寸信息。
5.根据权利要求1所述的方法,其特征在于,所述利用所述姿态校准参数执行对所述运动传感器相对各自所安装的肢体的安装姿态的计算操作,包括:
在预设四元数模型中确定与所述运动传感器的空间姿态对应的Qsensor;
在预设四元数模型中确定与所述被测对象的各肢体的参考姿态对应的Qbone;
利用旋转矩阵计算所述Qbone与Qsensor的姿态差值Qs-b;
将所述Qs-b确定为所述运动传感器相对各自所安装的肢体的安装姿态。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取所述运动传感器佩戴在所述被测对象的肢体的历史安装姿态;
利用计算得到的安装姿态对所述历史安装姿态进行更新。
7.一种肢体动作捕捉的校准装置,其特征在于,所述装置包括:
参考位置和参考姿态获取单元,用于通过视频动捕设备获取被测对象在设备坐标系下在朝向相同的多种预设姿势下的参考位置和参考姿态,其中,所述视频动捕设备为位置固定的设备,任意两种预设姿势不相同,所述朝向相同的多种预设姿势包括:A pose姿势、Tpose姿势、S pose姿势;
空间姿态获取单元,用于获取所述被测对象在朝向相同的多种预设姿势下所述动作捕捉***中运动传感器在世界坐标系下的空间姿态,所述动作捕捉***中包括多个运动传感器,不同运动传感器分布佩戴在所述被测对象的不同肢体上;
坐标转换参数确定单元,用于将空间中的一个预设坐标轴确定为所述设备坐标系与所述世界坐标系相重合的基准轴;计算所述A pose姿势和T pose姿势下所述被测对象沿着所述基准轴的上肢旋转参数以及所述A pose姿势和S pose姿势下所述被测对象沿着所述基准轴的下肢旋转参数;根据所述上肢旋转参数和下肢旋转参数计算所述设备坐标系和所述世界坐标系的坐标轴之间的夹角关系;利用所述夹角关系确定所述设备坐标系和所述世界坐标系之间的坐标转换参数;
校准参数确定单元,用于根据所述参考位置、参考姿态和所述坐标转换参数确定所述被测对象的各肢体的位置校准参数和姿态校准参数;
计算单元,用于利用所述位置校准参数执行对所述被测对象的各肢体在世界坐标系下的空间位置的计算操作,以及,利用所述姿态校准参数执行对所述运动传感器相对各自所安装的肢体的安装姿态的计算操作。
8.一种电子设备,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述的肢体动作捕捉的校准方法的步骤。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的肢体动作捕捉的校准方法的步骤。
CN202010301553.6A 2020-04-16 2020-04-16 肢体动作捕捉的校准方法、装置、电子设备及存储介质 Active CN111681281B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010301553.6A CN111681281B (zh) 2020-04-16 2020-04-16 肢体动作捕捉的校准方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010301553.6A CN111681281B (zh) 2020-04-16 2020-04-16 肢体动作捕捉的校准方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111681281A CN111681281A (zh) 2020-09-18
CN111681281B true CN111681281B (zh) 2023-05-09

Family

ID=72433320

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010301553.6A Active CN111681281B (zh) 2020-04-16 2020-04-16 肢体动作捕捉的校准方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111681281B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112416133B (zh) * 2020-11-30 2021-10-15 魔珐(上海)信息科技有限公司 手部动作捕捉方法、装置、电子设备及存储介质
CN112515661B (zh) * 2020-11-30 2021-09-14 魔珐(上海)信息科技有限公司 姿态捕捉方法、装置、电子设备及存储介质
CN113776575A (zh) * 2021-08-16 2021-12-10 深圳市睿联技术股份有限公司 零点校准方法、设备、装置、电子设备及计算机可读存储介质
CN113900516A (zh) * 2021-09-27 2022-01-07 阿里巴巴达摩院(杭州)科技有限公司 数据处理方法、装置、电子设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103706106A (zh) * 2013-12-30 2014-04-09 南京大学 一种基于Kinect的自适应连续动作训练方法
CN107314778A (zh) * 2017-08-04 2017-11-03 广东工业大学 一种相对姿态的标定方法、装置及***
CN108268129A (zh) * 2016-12-30 2018-07-10 北京诺亦腾科技有限公司 对动作捕捉手套上的多个传感器进行校准的方法和装置及动作捕捉手套
CN109814714A (zh) * 2019-01-21 2019-05-28 北京诺亦腾科技有限公司 运动传感器的安装姿态确定方法、装置以及存储介质
CN109859280A (zh) * 2019-03-31 2019-06-07 深圳市普渡科技有限公司 摄像头标定***及方法
CN110146869A (zh) * 2019-05-21 2019-08-20 北京百度网讯科技有限公司 确定坐标系转换参数的方法、装置、电子设备和存储介质
CN110490942A (zh) * 2019-08-23 2019-11-22 苏州精速智能科技有限公司 一种基于scara机械手第二臂的移动相机标定方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103706106A (zh) * 2013-12-30 2014-04-09 南京大学 一种基于Kinect的自适应连续动作训练方法
CN108268129A (zh) * 2016-12-30 2018-07-10 北京诺亦腾科技有限公司 对动作捕捉手套上的多个传感器进行校准的方法和装置及动作捕捉手套
CN107314778A (zh) * 2017-08-04 2017-11-03 广东工业大学 一种相对姿态的标定方法、装置及***
CN109814714A (zh) * 2019-01-21 2019-05-28 北京诺亦腾科技有限公司 运动传感器的安装姿态确定方法、装置以及存储介质
CN109859280A (zh) * 2019-03-31 2019-06-07 深圳市普渡科技有限公司 摄像头标定***及方法
CN110146869A (zh) * 2019-05-21 2019-08-20 北京百度网讯科技有限公司 确定坐标系转换参数的方法、装置、电子设备和存储介质
CN110490942A (zh) * 2019-08-23 2019-11-22 苏州精速智能科技有限公司 一种基于scara机械手第二臂的移动相机标定方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
G. Pons-Moll等.Multisensor-fusion for 3D full-body human motion capture.《2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition》.2010,663-670. *
陈新隽等.多MEMS传感器的嵌入式姿态测量***设计.《单片机与嵌入式***应用》.2011,第11卷(第11期),58-61. *
顾玄龙等.任意旋转参数下的坐标转换算法及其在高铁测量中的应用.《测绘科学技术学报》.2018,第35卷(第35期),451-456. *
马下平等.基准旋转中心的坐标转换方法研究.《大地测量与地球动力学》.2018,第38卷(第38期),310-314. *

Also Published As

Publication number Publication date
CN111681281A (zh) 2020-09-18

Similar Documents

Publication Publication Date Title
CN111681281B (zh) 肢体动作捕捉的校准方法、装置、电子设备及存储介质
Choe et al. A sensor-to-segment calibration method for motion capture system based on low cost MIMU
CN111240468B (zh) 手部动作捕捉的校准方法、装置、电子设备及存储介质
CN111240469A (zh) 手部动作捕捉的校准方法、装置、电子设备及存储介质
WO2016078131A1 (zh) 人体姿态数据的获取方法、***以及数据处理装置
CN110609621B (zh) 姿态标定方法及基于微传感器的人体运动捕获***
CN110398256B (zh) 一种人体单一姿态的初始校正方法
CN109781104B (zh) 运动姿态确定及定位方法、装置、计算机设备及介质
JP2016006415A (ja) 光学式モーションキャプチャにおける光学式マーカーの位置の推定方法及び装置
CN104679229A (zh) 一种手势识别方法和装置
KR101503046B1 (ko) 다축 감지 장치 및 이의 교정 방법
CN107534202B (zh) 一种测量天线姿态的方法和装置
CN114663463A (zh) 关节活动度的测量方法、***、设备、电子设备和存储介质
CN115049744A (zh) 机器人手眼坐标转换方法、装置、计算机设备和存储介质
CN109814714B (zh) 运动传感器的安装姿态确定方法、装置以及存储介质
CN115919250A (zh) 一种人体动态关节角测量***
CN109711302B (zh) 模型参数校准方法、装置、计算机设备和存储介质
CN111275769A (zh) 一种单目视觉参数的校正方法及装置
US11020024B2 (en) System and method for evaluating range of motion of a subject
CN114587346B (zh) 一种基于imu的人体下肢运动监测方法及***
CN111241983A (zh) 一种姿势检测方法、装置、***、电子设备及存储介质
CN108073283B (zh) 手部关节的计算方法及手套
JP2016206081A (ja) 動作推測装置および動作推測方法
JP6205387B2 (ja) 仮想マーカーの位置情報の取得方法及び装置、動作計測方法
CN114748306A (zh) 一种外骨骼设备穿戴误差校正方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant