CN109815930A - 一种动作模仿拟合度评价方法 - Google Patents
一种动作模仿拟合度评价方法 Download PDFInfo
- Publication number
- CN109815930A CN109815930A CN201910102088.0A CN201910102088A CN109815930A CN 109815930 A CN109815930 A CN 109815930A CN 201910102088 A CN201910102088 A CN 201910102088A CN 109815930 A CN109815930 A CN 109815930A
- Authority
- CN
- China
- Prior art keywords
- fugleman
- fitting
- imitator
- degree
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000009471 action Effects 0.000 title claims abstract description 85
- 238000011156 evaluation Methods 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 claims description 57
- 230000008569 process Effects 0.000 claims description 25
- 210000000988 bone and bone Anatomy 0.000 claims description 3
- 229910006119 NiIn Inorganic materials 0.000 claims 1
- 238000012549 training Methods 0.000 abstract description 31
- 230000036544 posture Effects 0.000 abstract description 23
- 230000002452 interceptive effect Effects 0.000 abstract description 13
- 238000004364 calculation method Methods 0.000 abstract description 11
- 230000000694 effects Effects 0.000 abstract description 10
- 210000003414 extremity Anatomy 0.000 description 40
- 238000005516 engineering process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003238 somatosensory effect Effects 0.000 description 2
- 230000037007 arousal Effects 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000007596 consolidation process Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 230000000392 somatic effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种动作模仿拟合度评价方法,以人体各肢体的单位向量描述人体姿态,在统一的坐标系下,通过示范者关键帧与设定范围内的多个模仿者对比帧的拟合计算,获取模仿者最接近示范者的姿态,避免了模仿者与示范者动作时间延迟带来的比较误差,更接近动作交互训练中模仿者跟随示范者学习的实际情况,处理效果优于DTW算法。本发明通过引入时间差指数衰减函数,考虑了示范者姿态和模仿者姿态出现的时间差异,弥补了模仿者多个姿态比较可能引起的拟合度计算误差。可以用于长时间连续动作的拟合度评价,可实时评价和显示拟合度,通过拟合度曲线和示范者关键帧的对照,可以有针对性地指导模仿者提高训练效果。
Description
技术领域
本发明属于人体测量和人机交互技术领域,具体地涉及一种肢体运动姿态相似程度的评价方法。
背景技术
人机交互技术已经用于各种训练和娱乐当中。通过实际的示范者视频或示范者的人体三维模型运动,对学习和模仿者提供指导;通过测量获得学习和模仿者的肢体数据,对学习和模仿效果和成绩进行评价。这种技术已经在多种训练和娱乐场合得到应用,如体育训练、技能动作训练、交互游戏等。其中,对学习和模仿者进行肢体动作的测量有多种方法,可以获得被测量者肢体的位置和方向信息;将得到的这些信息与示范者的对应信息进行比较也存在一些方法,这些方法就可以评价学习和模仿的效果,从而指导学习和模仿者改进肢体动作,获得好的训练和娱乐效果。本专利所述的动作模仿拟合度,就是评价学习和模仿者与示范者肢体相似程度的一种方法。通过调研分析,可以获得这方面的现有技术状况如下:
申请号201310084753.0提出了一种基于相关性几何特征的运动相似性评估方法:该方法通过时间变形,进行两段动作序列的数据对齐;通过Adaboost算法对运动数据进行特征选择;基于曲线拟合方法,计算得到不同类型特征的相似性得分。该方法解决了运动序列的时间变形、特征选择、相似性计算问题。但是存在必须事先获取动作序列、无法对连续的多个动作实时计算相似度、无法考虑两个人体连续动作时间过程不均衡(快慢不一,时快时慢)等不足。
申请号201510434511.9提出了一种运动人体姿态相似性度量方法:该方法以距离度量模型为基础,构建了人体姿态特征向量,构建了融合主姿态特征和细节特征稀疏表示的姿态距离度量模型,运用二次规划优化求解获得最优度量矩阵,可以在视频帧数据库中检索出与目标图像人体姿态相似度最高的帧图像,适用于从众多数据中辨别特定姿态的静态图片。但由于要经过大量样本数据进行算法学习,姿态相似度计算量很大,无法用于一系列连续动作的实时相似度计算,而且该方法也无法解决需对比的两个人体连续动作的时间不一致问题。
申请号201610341941.0提出了一种人体运动数据相似度自动评价方法:通过计算两个姿态序列在时间和空间的统计信息的巴氏距离,获得两个姿态序列的相似性函数,用该函数值表示两个姿态序列的相似度。该方法给出的是一个确定的时间段中两个姿态序列的相似度,不能在人体姿态采集过程中连续地计算相似度。如果在姿态采集过程中连续地分时间段截取人体姿态序列,则截取点必然导致姿态序列的统计信息失真,使该算法失效。可见该算法无法满足连续实时地采集和计算人体运动相似度的要求,当然也无法解决两个人体动作时间过程不均衡 (快慢不一,时快时慢)问题。
申请号201710454684.6给出了一种基于人体骨架信息的动作完成度识别方法:通过Kinect拍摄人体完成动作流程的视频并提取人体骨架信息,按时间间隔不断移动时间窗口,计算时间窗口内视频的人体信息与各模板片段的匹配相似度,以模板视频相似度最高片段的识别结果计算动作完成度(即完成了多少种训练)。在专利说明书中可见,该技术方案在计算人体视频与各段模板的相似度时采用了DTW算法(即动态时间归整)。可见,该专利申请是基于DTW算法对不同时间长度的数据序列进行处理并对比评价的,其评价结果是针对各模板段(有多个动作训练的模板段)的,获得的结果是完成了哪些模板段的训练,而不是对某个模板段的训练过程进行实时评价。显然,该技术解决不了交互训练中的实时评价问题,也不能两个人体动作时间过程不均衡(快慢不一,时快时慢)时的评价问题。
申请号201710549163.9提出一种基于太极拳的康复训练的动作评价方法:通过建立的太极***互训练模型提供训练引导,通过采集训练者的肢体动作数据进行评价,获得评价分数。但该专利申请只叙述了按“匹配程度进行训练评分”,动作一致时,动作部位变为绿色,绿色面积达到80%时自动加分,并没有给出具体方法。可见,该技术方案仅停留于提出通过观看屏幕,进行太极拳训练的方法,以及通过实时评价分数为训练提供指导,并没有解决如何依据人体数据进行实时评价的方法问题,当然对两个人体动作时间过程不均衡(快慢不一,时快时慢) 状况下的评价问题更是无法解决。
综上所述,人体动作拟合度或相似度评价的现有技术主要包括三个方面:一是识别人体固定姿态的技术方法,比如给定一个要识别的人体姿态(瞬间的姿态,或者说是人体动作的一帧),通过这些方法可以从一系列的人体姿态中计算得出哪种姿态(站、卧、座、躺等)与所要识别的人体姿态更为接近。比如,申请号201510434511.9就是这类的技术。二是识别人体一个动作过程的技术方法,比如给定一个要识别的人体单个动作过程(人体单个动作的多帧数据),通过这些方法可以从一系列的人体姿态中计算得出哪种动作(站起、躺倒、翻滚、旋转等人体单个动作)与所要识别的人体动作更为接近。申请号201310084753.0就属于这类技术。三是评价人体一系列动作过程的技术方法,通过这些方法可以对另一个人体动作过程进行比较计算,得出评价两个人体动作过程相似程度的数值。申请号201610341941.0、申请号201710549163.9、申请号20170454684.6就属于这类技术。
目前,人机交互训练和娱乐需要一种在交互训练过程中实时评价人体动作拟合度(或称相似度,后续叙述等同)的方法,不但能够对模仿者与示范者动作在空间的拟合度(空间相互位置的准确度)进行评价,而且可以对模仿者与示范者动作在时间的拟合度(动作时间关系的准确度)进行评价。从上述分析可知,现有的技术都无法全面解决这些问题。在空间的拟合度方面,有位置距离的评价方法,也有方向差异的评价方法,这些方法都存在受测量误差影响大、计算复杂、直观性差等问题,不适宜用于实时评价人体空间拟合度;在时间的拟合度方面,均基于DTW算法进行时间变形,由于人体姿态数据维数多,在进行时间变形时很难找到一种对各维数据都适宜的变形算法,只能是综合的指标(如最小二乘,数字规划),特别是对于长时间的多个连续动作,效果更不理想,实际上并不能很好地解决两个人体动作时间过程不均衡(快慢不一,时快时慢)的问题,更不要说这一方法的复杂性和计算量。所以,目前需要解决上述两个技术难题,为人机交互训练和娱乐提供一种交互训练过程中的实时人体动作拟合度评价方法。
发明内容
为了克服现有技术的不足,解决人机交互训练和娱乐时人体动作拟合度评价问题,本发明提出一种动作模仿拟合度评测方法,不但可以用于实时的拟合度评价,而且可以用于整体的拟合度评价。
一种动作模仿拟合度评价方法,包括步骤:
(1)采用动作捕捉装置获得示范者和模仿者的肢***置数据或骨骼关节数据,并变换为统一参考坐标系下的肢体单位向量表达,即肢体单位向量,示范者的肢体单位向量为模仿者的肢体单位向量为其中k为统一的肢体编号, k=1,2,3…u,u为人体肢体总数;
(2)采用同一时间轴表示示范者的动作帧和模仿者的动作帧,在示范者的动作帧中选择定一系列关键帧时刻tsi,i=1,2,3…l,l为示范者关键帧总数;
(3)在关键帧时刻tsi,设置tq为与示范者关键帧所对应的前时间点,th为示范者关键帧所对应的后时间点,tq、th之间作为模仿者的动作比较时间段;
(4)获取当前关键帧时刻tsi的示范者肢体单位向量并在tq、th比较时间段内,获取模仿者的所有比较帧tmj的肢体矢量数据,j=1,2,3…p,p为tq、th时间段内模仿者的比较帧总数;按如下公式计算示范者与模仿者的备选拟合度Nbj:
式中,Nbj为模仿者当前对比帧tmj与示范者关键帧tsi的备选拟合度,B为示范者和模仿者的肢体总数,wk为编号为k的肢体向量点积的权重值,
(5)从备选拟合度中选最大值作为拟合度基值NB:
NB=Max{Nbj j=1,2,3…p}
如果Nbj的最大值多于1个,则选择最接近当前示范者关键帧tsi的Nbj作为NB;
(6)计算模仿者对示范者关键帧tsi的时间偏离ΔT,即NB对应的时间与tsi的差值:
ΔT=tsi-tNB
式中,ΔT为关键帧的时间偏离,tNB为NB所对应的模仿者动作帧时刻;
(7)按下式计算模仿者对示范者关键帧tsi的拟合度Ni:
Ni=NBe-c|ΔT|
式中,c为时间常数,其值为大于等于零的常数;
(8)检查是否到达示范者的动作终止时刻,如果没有到达示范者的动作终止时刻,则将示范者的关键帧后移,返回步骤(4),并继续后续计算,如果到达示范者的动作终止时刻,则结束动作拟合度计算,得到对示范者关键帧拟合度的时间序列值:{N1,N2,…,Ni}。
所述的示范者为真实的人,或者通过动作捕捉装置和虚拟现实平台构建的真实人的动作的再现。
所述的关键帧时刻tsi根据示范者动作的重要程度人为设定,或按照等分的时间间隔选取。
所述的前时间点tq、后时间点th根据模仿者的熟练度确定:对于初级、中级模仿者,前时间点tq选择为与示范者关键帧tsi相同,后时间点th-tsi的差值在3 秒之内选择;对于高级模仿者,前时间点tq选择在示范者关键帧tsi之前小于1秒之内选择,后时间点th-tsi的差值小于1秒。
所述的拟合度Ni在模仿者模仿过程中通过显示设备实时显示。
通过拟合度Ni时间序列值绘制拟合度Ni随时间变化的曲线。
由所述的拟合度时间序列值Ni计算整个动作过程的总拟合度N,总拟合度可通过Ni按下式计算获得:
式中,Qi为示范者各关键帧的权重值。
由所述的拟合度时间序列值的1至5个最小的Ni值,确定模仿者拟合差的关键动作帧,进行针对性指导。
采用FOHEART C1惯性动作捕捉***对示范者的示范动作数据进行采集,并储存为FBX数据格式;通过Unity根据时间对其动画进行动画插值,插值后通过游戏对象获取指定的示范者的肢***置数据或骨骼关节数据;所述坐标以 Unity参考坐标系为基准;模仿者学习和模仿示范者的动作,同时通过Kinect v2 For Unity插件实时获取模仿者的肢***置数据或骨骼关节数据,将模仿者骨骼关节数据由Kinect参考坐标系为基准的表示转换为以Unity参考坐标系为基准的表示。
本发明与现有技术相比具有如下有益的技术效果:
(1)以人体各肢体的单位向量描述人体姿态,通过统一的坐标系,简化了示范者和模仿者相互姿态一致性的描述,与人***置描述和人体肢体方向角描述相比,既简单又完整。
(2)用单位向量描述肢体,避免了肢***置信息获取时的视觉远近失真、不同人体尺寸差异等带来的测量误差,数据处理既高效又准确。
(3)通过示范者关键帧与设定范围内的多个模仿者对比帧的拟合计算,获取模仿者最接近示范者的姿态,避免了模仿者与示范者动作时间延迟带来的比较误差,更接近动作交互训练中模仿者跟随示范者学习的实际情况,处理效果优于 DTW算法。
(4)通过引入时间差指数衰减函数,考虑了示范者姿态和模仿者姿态出现的时间差异,弥补了模仿者多个姿态比较可能引起的拟合度计算误差。
(5)该方法可以用于长时间连续动作的拟合度评价,可实时评价和显示拟合度,通过拟合度曲线和示范者关键帧的对照,可以有针对性地指导模仿者提高训练效果。
(6)该方法将长时间连续动作实时评价与整体评价方法统一到一起,可以对整个训练过程的效果进行评价。
(7)该方法概念清晰、过程直观、全面准确、计算简单,可显著提高动作交互训练***的运行效率。
附图说明
图1为交互式训练界面示意图。
图2为参考坐标系变换关系。
图3为人体与骨骼示意图。
图4为人体骨骼关节示意图。
图5为人体的肢体矢量表达示意图。
图6为示范者动作帧与模仿者动作帧关系示意图。
图7为拟合度计算流程图。
图8为示范者关键帧示例。
图9为拟合度时间序列曲线图。
图10为示范者的肢体矢量计算示例。
图11为模仿者的肢体矢量计算示例。
图12为备选拟合度计算示例。
图13为拟合度Ni计算示例。
图14为拟合度Ni数据序列及总拟合度计算示例。
具体实施方式
下面结合附图和具体实施例,进一步阐明本发明。
本发明的动作模仿拟合度评价方法,包括步骤:
(1)采用动作捕捉装置获得示范者和模仿者的肢***置数据或骨骼关节数据。在此实施例中采用FOHEART C1***采集示范者的肢体动作数据,采用 FOHEART C1装置获取示范者的示范动作数据,采用Kinect体感装置获取模仿者的肢体动作数据。将采集得到的示范者动作数据储存为人体动作数据文件(此实例采用FBX数据格式文件),采用虚拟现实应用程序开发引擎构建一个交互式训练界面(此处实例采用Unity),构成一个如图1所示的动作交互学习界面:模仿者跟随显示屏中示范者的动作视频,学习和模仿示范者的动作。模仿者学习过程中,不断得到示范者和模仿者的肢体动作数据(在此为骨骼关节数据),并变换为统一的UNITY***中的参考坐标系下的肢体单位向量表达,即肢体单位向量,如图5所示。示范者的肢体单位向量为模仿者的肢体单位向量为其中k为统一的肢体编号,k=1,2,3…u,u为人体肢体总数。图2表示了Kinect 参考坐标系与Unity参考坐标的转换关系。
在本发明中,所述的示范者可以实真实的人,也可以是通过动作捕捉装置和虚拟现实平台构建的真实人的动作的再现。
模仿者跟随显示屏中示范者的动作视频,学习和模仿示范者的动作,同时采用Kinect体感装置,通过Kinect v2 For Unity插件实时获取模仿者的人***置数据,这些数据在Unity中进行计算,将模仿者骨骼关节数据由Kinect参考坐标系为基准的表示转换为以Unity参考坐标系为基准的表示。
图2表示了Kinect参考坐标系与Unity参考坐标的转换关系。图3和图4 表示了示范者和模仿者的人体外观与人体骨骼关节模型的关系,某时刻人体骨骼关节数据表示了人体的姿态,人体姿态的连续变化,表示了人体的动作过程。
(2)采用同一时间轴表示示范者的动作帧和模仿者的动作帧,在示范者的动作帧中选择定一系列关键帧时刻tsi(i=1,2,3…l),l为示范者关键帧总数。图6所示为采用同一时间轴表示的示范者的动作帧和模仿者的动作帧的关系。其中,tsi(i=1,2,3…l)为示范者的一系列动作关键帧。在本发明中,关键帧时刻 tsi可以根据示范者动作的重要程度人为设定,也可以按照等分的时间间隔选取。
(3)在关键帧时刻tsi,设置tq为与示范者关键帧所对应的前时间点,th为示范者关键帧所对应的后时间点,tq、th之间作为模仿者的动作比较时间段。图 6中,tq为与示范者的关键帧所对应的前时间点,th为与示范者的关键帧所对应的后时间点,tq、th之间为模仿者的动作比较时间段。在本发明中,前时间点tq、后时间点th根据模仿者的熟练度确定:对于初级、中级模仿者,前时间点tq选择为与示范者关键帧tsi相同,后时间点th-tsi的差值可在3秒之内选择;对于高级模仿者,前时间点tq选择在示范者关键帧tsi之前1秒之内选择,后时间点th-tsi的差值应小于1秒。所述初级、中级以及高级模仿者的划分根据模仿者模仿这个动作的熟练程度来确定。
(4)如图7所示,获取当前示范者的关键帧tsi的肢体矢量数据,,在tq、th比较时间段内,获取模仿者所有比较帧tmj的肢体矢量数据,按如下公式计算示范者与模仿者的备选拟合度Nbj:
式中,Nbj为模仿者当前对比帧tmj与示范者关键帧tsi的备选拟合度,k为示范者和模仿者肢体的统一编号,B为示范者和模仿者的肢体总数,为示范者编号为k的肢体的单位矢量,为模仿者编号为k的肢体的单位矢量,wk为编号为k的肢体向量点积的权重值。wk的选择应满足公式应根据对动作的要求,确定哪个肢体拥有更大的权重,一般来说权重由大到小的顺序应是:躯干、大腿、小腿、上臂、下臂…。
(5)如图7所示,从备选拟合度中选最大值作为拟合度基值NB:
NB=Max{Nbj j=1,2,3…p}
如果Nbj的最大值多于1个,则选择最接近当前示范者关键帧tsi的Nbj作为 NB。
(6)如图7所示,计算模仿者对示范者关键帧tsi的时间偏离ΔT,即NB对应的时间与tsi的差值。即
ΔT=tsi-tNB
其中,ΔT为关键帧的时间偏离,tsi为示范者当前关键帧时刻,tNB为模仿者 NB所在的动作帧时刻。
(7)如图7所示,按下式计算模仿者对示范者关键帧tsi的拟合度Ni:
Ni=NBe-c|ΔT|
式中,c为时间常数,其值为大于等于0的常数。时间常数c评价了模仿者与示范者时间同步性,c越大,对模仿者跟随示范者动作的时间准确性要求越严; c越小,对模仿者跟随示范者动作的时间准确性要求越松。这可以体现在交互训练的难度等级中,比如难度等级高的训练,c的取值可大些,得高分的更不容易;难度等级低的训练,c的取值可小些,得高分更容易些。对不同的训练者可以提升训练的激励效果。
(8)如图7所示,检查是否到达示范者的动作终止时刻。如果没有到达示范者的动作终止时刻,则将示范者的关键帧后移,返回步骤(4),并继续后续计算。如果到达示范者的动作终止时刻,则结束动作拟合度计算,得到对示范者关键帧拟合度的时间序列值:{N1,N2,…,Ni}。
(9)当前示范者关键帧拟合度Ni值可以通过显示设备实时显示,模仿学习结束后可绘制随示范者关键帧而变的拟合度Ni曲线,并计算总拟合度数值N。
总拟合度数值N按下式计算:
式中,l为示范者关键帧总数,Qi为示范者各关键帧的权重值,在此实施例中取Qi=1。
在本发明中,由所述的拟合度时间序列值的数个最小的Ni值(在本发明中,选用1至5个最小的Ni值),可确定模仿者拟合差的关键动作帧,进行针对性指导。
实际计算示例
示范者1的关键帧如图8所示。采用固定时间间隔的示范者1的动作帧作为关键帧。
图10为示范者1肢体单位矢量数据的计算过程与结果。
图11为模仿者2肢体单位矢量数据的计算过程与结果。
图12为备选拟合度计算过程与结果。
图13为拟合度Ni计算过程与结果。
图14为拟合度序列数据及总拟合度计算过程与结果。
图9为根据拟合度序列数据绘制的拟合度时间变化曲线。
以上详细描述了本发明的优选实施方式,本实施例是对本发明的应用性说明,而非限制性的,本发明并不限于上述实施方式中的具体细节,本专业技术人员应理解实施例中的所用的具体设备、***平台和参数选择等是描述性的,本专业技术人员在权利要求限定的范围内,可根据具体应用需要,按照该方法的要求,对实施方案进行应用性变化,这些都将落入本发明的保护范围内,均属于本发明的保护范围。
Claims (9)
1.一种动作模仿拟合度评价方法,其特征在于:包括步骤:
(1)采用动作捕捉装置获得示范者和模仿者的肢***置数据或骨骼关节数据,并变换为统一参考坐标系下的肢体单位向量表达,即肢体单位向量,示范者的肢体单位向量为模仿者的肢体单位向量为其中k为统一的肢体编号,k=1,2,3…u,u为人体肢体总数;
(2)采用同一时间轴表示示范者的动作帧和模仿者的动作帧,在示范者的动作帧中选择定一系列关键帧时刻tsi,i=1,2,3…l,l为示范者关键帧总数;
(3)在关键帧时刻tsi,设置tq为与示范者关键帧所对应的前时间点,th为示范者关键帧所对应的后时间点,tq、th之间作为模仿者的动作比较时间段;
(4)获取当前关键帧时刻tsi的示范者肢体单位向量并在tq、th比较时间段内,获取模仿者的所有比较帧tmj的肢体矢量数据,j=1,2,3…p,p为tq、th时间段内模仿者的比较帧总数;按如下公式计算示范者与模仿者的备选拟合度Nbj:
式中,Nbj为模仿者当前对比帧tmj与示范者关键帧tsi的备选拟合度,B为示范者和模仿者的肢体总数,wk为编号为k的肢体向量点积的权重值,
(5)从备选拟合度中选最大值作为拟合度基值NB:
NB=Max{Nbj j=1,2,3…p}
如果Nbj的最大值多于1个,则选择最接近当前示范者关键帧tsi的Nbj作为NB;
(6)计算模仿者对示范者关键帧tsi的时间偏离ΔT,即NB对应的时间与tsi的差值:
ΔT=tsi-tNB
式中,ΔT为关键帧的时间偏离,tNB为NB所对应的模仿者动作帧时刻;
(7)按下式计算模仿者对示范者关键帧tsi的拟合度Ni:
Ni=NBe-c|ΔT|
式中,c为时间常数,其值为大于等于零的常数;
(8)检查是否到达示范者的动作终止时刻,如果没有到达示范者的动作终止时刻,则将示范者的关键帧后移,返回步骤(4),并继续后续计算,如果到达示范者的动作终止时刻,则结束动作拟合度计算,得到对示范者关键帧拟合度的时间序列值:{N1,N2,…,Ni}。
2.根据权利要求1所述的动作模仿拟合度评价方法,其特征在于:所述的示范者为真实的人,或者通过动作捕捉装置和虚拟现实平台构建的真实人的动作的再现。
3.根据权利要求1所述的动作模仿拟合度评价方法,其特征在于:所述的关键帧时刻tsi根据示范者动作的重要程度人为设定,或按照等分的时间间隔选取。
4.根据权利要求1所述的动作模仿拟合度评价方法,其特征在于:所述的前时间点tq、后时间点th根据模仿者的熟练度确定:对于初级、中级模仿者,前时间点tq选择为与示范者关键帧tsi相同,后时间点th-tsi的差值在3秒之内选择;对于高级模仿者,前时间点tq选择在示范者关键帧tsi之前小于1秒之内选择,后时间点th-tsi的差值小于1秒。
5.根据权利要求1所述的动作模仿拟合度评价方法,其特征在于:所述的拟合度Ni在模仿者模仿过程中通过显示设备实时显示。
6.根据权利要求1所述的动作模仿拟合度评价方法,其特征在于:通过拟合度Ni时间序列值绘制拟合度Ni随时间变化的曲线。
7.根据权利要求1所述的动作模仿拟合度评价方法,其特征在于:由所述的拟合度时间序列值Ni计算整个动作过程的总拟合度N,总拟合度通过Ni按下式计算获得:
式中,Qi为示范者各关键帧的权重值。
8.根据权利要求1所述的动作模仿拟合度评价方法,其特征在于:由所述的拟合度时间序列值的1至5个最小的Ni值,确定模仿者拟合差的关键动作帧,进行针对性指导。
9.根据权利要求1所述的动作模仿拟合度评价方法,其特征在于:采用FOHEART C1惯性动作捕捉***对示范者的示范动作数据进行采集,并储存为FBX数据格式;通过Unity根据时间对其动画进行动画插值,插值后通过游戏对象获取指定的示范者的肢***置数据或骨骼关节数据;所述坐标以Unity参考坐标系为基准;模仿者学习和模仿示范者的动作,同时通过Kinect v2For Unity插件实时获取模仿者的肢***置数据或骨骼关节数据,将模仿者骨骼关节数据由Kinect参考坐标系为基准的表示转换为以Unity参考坐标系为基准的表示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910102088.0A CN109815930B (zh) | 2019-02-01 | 2019-02-01 | 一种动作模仿拟合度评价方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910102088.0A CN109815930B (zh) | 2019-02-01 | 2019-02-01 | 一种动作模仿拟合度评价方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109815930A true CN109815930A (zh) | 2019-05-28 |
CN109815930B CN109815930B (zh) | 2021-04-09 |
Family
ID=66606544
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910102088.0A Active CN109815930B (zh) | 2019-02-01 | 2019-02-01 | 一种动作模仿拟合度评价方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109815930B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110534199A (zh) * | 2019-07-24 | 2019-12-03 | 中国人民解放军总医院第六医学中心 | 一种身心训练效果评价方法 |
CN110595479A (zh) * | 2019-09-23 | 2019-12-20 | 云南电网有限责任公司电力科学研究院 | 一种基于icp算法的slam轨迹评估方法 |
CN110751050A (zh) * | 2019-09-20 | 2020-02-04 | 郑鸿 | 一种基于ai视觉感知技术的运动教学*** |
CN110929641A (zh) * | 2019-11-21 | 2020-03-27 | 三星电子(中国)研发中心 | 一种动作示范方法和*** |
CN111523517A (zh) * | 2020-05-26 | 2020-08-11 | 北京奇艺世纪科技有限公司 | 动作评分方法、装置、电子设备及可读存储介质 |
CN112641441A (zh) * | 2020-12-18 | 2021-04-13 | 河南翔宇医疗设备股份有限公司 | 一种体态评估方法、***、装置及计算机可读存储介质 |
CN113678137A (zh) * | 2019-08-18 | 2021-11-19 | 聚好看科技股份有限公司 | 显示设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020019258A1 (en) * | 2000-05-31 | 2002-02-14 | Kim Gerard Jounghyun | Methods and apparatus of displaying and evaluating motion data in a motion game apparatus |
US20090322763A1 (en) * | 2008-06-30 | 2009-12-31 | Samsung Electronics Co., Ltd. | Motion Capture Apparatus and Method |
JP5604225B2 (ja) * | 2010-08-25 | 2014-10-08 | Kddi株式会社 | 人体姿勢推定装置、人体姿勢推定方法およびコンピュータプログラム |
CN104598867A (zh) * | 2013-10-30 | 2015-05-06 | 中国艺术科技研究所 | 一种人体动作自动评估方法及舞蹈评分*** |
CN107349594A (zh) * | 2017-08-31 | 2017-11-17 | 华中师范大学 | 一种虚拟舞蹈***的动作评价方法 |
-
2019
- 2019-02-01 CN CN201910102088.0A patent/CN109815930B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020019258A1 (en) * | 2000-05-31 | 2002-02-14 | Kim Gerard Jounghyun | Methods and apparatus of displaying and evaluating motion data in a motion game apparatus |
US20090322763A1 (en) * | 2008-06-30 | 2009-12-31 | Samsung Electronics Co., Ltd. | Motion Capture Apparatus and Method |
JP5604225B2 (ja) * | 2010-08-25 | 2014-10-08 | Kddi株式会社 | 人体姿勢推定装置、人体姿勢推定方法およびコンピュータプログラム |
CN104598867A (zh) * | 2013-10-30 | 2015-05-06 | 中国艺术科技研究所 | 一种人体动作自动评估方法及舞蹈评分*** |
CN107349594A (zh) * | 2017-08-31 | 2017-11-17 | 华中师范大学 | 一种虚拟舞蹈***的动作评价方法 |
Non-Patent Citations (3)
Title |
---|
MUHAMMAD LATIF ANJUM,ET AL: "《Skeleton Tracking Based Complex Human Activity Recognition Using Kinect Camera》", 《ICSR2014:SOCIAL ROBOTICS》 * |
刘扬: "《2018年媒体新技术发展与应用综述》", 《新闻战线》 * |
孙光民,等: "《基于Kinect的上肢康复网络***的设计与实现》", 《计算机测量与控制》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110534199A (zh) * | 2019-07-24 | 2019-12-03 | 中国人民解放军总医院第六医学中心 | 一种身心训练效果评价方法 |
CN113678137A (zh) * | 2019-08-18 | 2021-11-19 | 聚好看科技股份有限公司 | 显示设备 |
CN113678137B (zh) * | 2019-08-18 | 2024-03-12 | 聚好看科技股份有限公司 | 显示设备 |
CN110751050A (zh) * | 2019-09-20 | 2020-02-04 | 郑鸿 | 一种基于ai视觉感知技术的运动教学*** |
CN110595479A (zh) * | 2019-09-23 | 2019-12-20 | 云南电网有限责任公司电力科学研究院 | 一种基于icp算法的slam轨迹评估方法 |
CN110595479B (zh) * | 2019-09-23 | 2023-11-17 | 云南电网有限责任公司电力科学研究院 | 一种基于icp算法的slam轨迹评估方法 |
CN110929641A (zh) * | 2019-11-21 | 2020-03-27 | 三星电子(中国)研发中心 | 一种动作示范方法和*** |
CN111523517A (zh) * | 2020-05-26 | 2020-08-11 | 北京奇艺世纪科技有限公司 | 动作评分方法、装置、电子设备及可读存储介质 |
CN111523517B (zh) * | 2020-05-26 | 2023-08-04 | 北京奇艺世纪科技有限公司 | 动作评分方法、装置、电子设备及可读存储介质 |
CN112641441A (zh) * | 2020-12-18 | 2021-04-13 | 河南翔宇医疗设备股份有限公司 | 一种体态评估方法、***、装置及计算机可读存储介质 |
CN112641441B (zh) * | 2020-12-18 | 2024-01-02 | 河南翔宇医疗设备股份有限公司 | 一种体态评估方法、***、装置及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109815930B (zh) | 2021-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109815930A (zh) | 一种动作模仿拟合度评价方法 | |
KR102529604B1 (ko) | 정신운동 학습의 동시 피드백을 위한 증강된 인지 방법 및 장치 | |
CN113706960B (zh) | 一种基于vr技术的护理操作练习平台及使用方法 | |
US8314840B1 (en) | Motion analysis using smart model animations | |
Kwon et al. | Combining body sensors and visual sensors for motion training | |
CN105512621A (zh) | 一种基于Kinect的羽毛球动作指导*** | |
CN113762133A (zh) | 基于人体姿态识别的自重健身辅助教练***、方法、终端 | |
JP5575652B2 (ja) | レンダリングされた像の表示設定を選択するための方法及びシステム | |
Noiumkar et al. | Use of optical motion capture in sports science: A case study of golf swing | |
CN107240049A (zh) | 一种沉浸式环境中远程动作教学质量的自动评价方法和*** | |
CN112933581A (zh) | 一种基于虚拟现实技术的体育动作评分方法与装置 | |
WO2008023250A1 (en) | Motion coaching device, method and system | |
CN115641232A (zh) | 一种基于数字孪生技术的课堂教学***及方法 | |
CN112007343A (zh) | 一种双臂型拳击陪练机器人 | |
JP2014133015A (ja) | 身体動作学習支援装置 | |
CN115964933A (zh) | 基于数字孪生的虚实训练装置构建方法 | |
CN116611969B (zh) | 传统武术智能学习与评分*** | |
CN109745688A (zh) | 应用于高尔夫挥杆动作定量计算的方法、装置及电子设备 | |
CN112836945A (zh) | 一种师范生教态量化评价体系 | |
CN116271757A (zh) | 一种基于ai技术的篮球练习的辅助***和方法 | |
Goncalves et al. | Reach out and touch space (motion learning) | |
CN115530814A (zh) | 一种基于视觉姿态检测及计算机深度学习的儿童运动康复训练方法 | |
CN110534199A (zh) | 一种身心训练效果评价方法 | |
Preston-Dunlop | A notation system for recording observable motion | |
JP2021099666A (ja) | 学習モデルの生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |