CN113516005B - 一种基于深度学习和姿态估计的舞蹈动作评价*** - Google Patents

一种基于深度学习和姿态估计的舞蹈动作评价*** Download PDF

Info

Publication number
CN113516005B
CN113516005B CN202110341970.8A CN202110341970A CN113516005B CN 113516005 B CN113516005 B CN 113516005B CN 202110341970 A CN202110341970 A CN 202110341970A CN 113516005 B CN113516005 B CN 113516005B
Authority
CN
China
Prior art keywords
dance
video
motion
evaluation
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110341970.8A
Other languages
English (en)
Other versions
CN113516005A (zh
Inventor
吴子朝
陈豪
张�成
杨萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202110341970.8A priority Critical patent/CN113516005B/zh
Publication of CN113516005A publication Critical patent/CN113516005A/zh
Application granted granted Critical
Publication of CN113516005B publication Critical patent/CN113516005B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学***。

Description

一种基于深度学习和姿态估计的舞蹈动作评价***
技术领域
本发明涉及深度学习技术领域，特别是涉及一种基于深度学习和姿态估计的舞蹈动作评价***。
背景技术
现今，舞蹈越来越融入人们的日常生活，更多的人开始接触并练***，从而有效提高舞蹈水平。
现有的舞蹈评价方式大多是人工评价，舞蹈动作学习仍是以舞蹈教师言传身教为主，评价与教学方式都存在诸多制约；由舞蹈老师评价的评价体系往往受限于人的精力，随着时间的推移，注意力不集中容易出现误判的现象，且由于评价人的评价标准不一，往往同一舞蹈动作会得到不同的评价，其次通过舞蹈老师评价受到空间和时间上的制约，而数字化评价则不会受到精力、空间与时间等因素的制约。
目前已经出现通过舞者穿戴的动作捕捉设备捕捉舞者的动作数据，再通过得到的动作数据与标准舞蹈数据进行对比给出评价的数字化评价方式，但这种方式不仅在技术上复杂低效，且动作捕捉设备成本较高，穿戴设备进行舞蹈也会妨碍舞者的发挥。如果通过舞者佩戴LED灯饰对动作数据进行选择性采集，又存在数据量不足的问题，进而影响到数字化评价的结果。
发明内容
针对现有技术的不足，本发明提出了一种基于深度学习和姿态估计的舞蹈动作评价***，能够解决目前舞蹈评价***中缺少数字化统一化评价标准和需额外穿戴设备来实现数字化评价的问题。
一种基于深度学习和姿态估计的舞蹈动作评价***，包括数据采集单元、VideoPose3D关节点坐标提取模块、动作分析神经网络舞蹈编码模块和舞蹈评价模块；
所述数据采集单元通过RGB摄像装置采集舞蹈视频，作为评价使用的数据输入到VideoPose3D关节点坐标提取模块；
作为优选，所述RGB摄像装置为手机、摄像机等拍摄装置；
作为优选，所述数据采集模块拍摄的舞蹈视频数据中，舞者位于视频中央，占视频中的主体部分。
VideoPose3D关节点坐标提取模块，将接收的舞蹈视频通过VideoPose3D的处理，提取得到人体骨架图，然后获得人体关节点的坐标数据信息；将人体关节点的坐标数据信息输入到动作分析神经网络舞蹈编码模块；
所述动作分析神经网络舞蹈编码模块接收人体关节点的坐标数据信息，采用动作分析神经网络算法对坐标数据信息进行编码。将舞蹈动作序列中的每一帧按时间顺序依次输入LSTM网络中，在对动作编码的同时，LSTM网络中同层之间还有时间序列上的信息交互；LSTM网络的输出经过归一化后进入Attention层，进一步集合关节点之间的信息，最后，该层输出E经过数据归一化层和多个全连接层后得到最终的舞蹈动作编码。
作为优选，动作分析神经网络中全连接层的数量为2个。
动作分析神经网络算法使用MMD_NCA损失函数LMMD_NCA作为约束，其公式如下：
其中，X、Y为两个不同分布的序列，xi,x′i表示来自X分布的采样，yi,y′i表示来自Y分布的采样，MMD[K,X,Y]2的计算结果为分布X,Y在编码空间中的距离，n、m分别为被X，Y的序列长度，K为高斯核函数；X+表示和X为同一类舞蹈动作的舞蹈序列,与X是正例关系；M表示舞蹈动作的数量，C＝{C1,C2,…,CM}为数据集中的与X不是同一类的舞蹈动作集，表示C中的一个舞蹈序列，与X是负例关系。动作分析神经网络算法将坐标数据映射到编码空间中。
所述损失函数LMMD_NCA通过反向传播约束网络，优化网络参数，在编码空间中将同类舞蹈聚类在一起，将不同类舞蹈在编码空间中的距离拉远，从而达到优化舞蹈动作编码的目的。
所述舞蹈评价模块将动作分析神经网络舞蹈编码模块输出的编码与标准舞蹈动作序列编码进行对比，计算余弦相似度θ：
其中，xi为输入的舞者动作中的一帧的编码，yi表示对应的标准舞蹈动作片段中的一帧的编码，n为帧数。
将相似度计算结果对应转化成相应的评价，从而完成对舞者舞蹈动作的正确评价，实现舞蹈姿势的教学和矫正，调高跳舞者的舞蹈水平。
本发明具有以下有益效果：
1、使用RGB摄像装置获取用于评价的动作数据，拍摄难度小，表演者无需额外穿戴用于动作捕捉的体感设备，简单快捷；
2、使用VideoPose3D提取人体的骨架关节点坐标数据，根据输入动作分析神经网络的数据，得到正确的评价，可对舞蹈表演者的舞蹈姿态进行教学和矫正，从而有效的提高舞者的舞蹈水平。
3、在动作分析神经网络中使用了MMD_NCA损失对网络编码结果进行约束，降低最终网络编码结果的误差，从而极大程度优化了舞蹈姿态评价的准确性。
附图说明
图1为舞蹈评价***的工作流程图；
图2为动作分析神经网络的结构图；
图3为动作分析神经网络训练示意图；
具体实施方式
以下结合附图对本发明作进一步的解释说明；
一种基于深度学习和姿态估计的舞蹈动作评价***，包括数据采集单元、VideoPose3D关节点坐标提取模块、动作分析神经网络舞蹈编码模块和舞蹈评价模块；如图1所示为基于深度学习和姿态估计的舞蹈评价***的工作流程示意图，包括4个主要步骤：
S1、以一台摄像设备作为数据采集设备，拍摄以舞者为画面中心主体的舞蹈视频作为输入数据，或通过摄像头实时采集数据；
S2、使用VideoPose3D作为骨架关节点提取工具，处理采集到的舞蹈视频数据，获得视频中舞者的骨架关节点坐标数据；
所述的VideoPose3D是一种自顶向下的算法，所述自顶向下的算法即先探测视频帧中的每一个人体检测框，在从舞蹈视频中提取每一帧人体骨架的过程中，VideoPose3D先在视频中探测人物，产生人体检测框，再从人体检测框内提取人体骨架，最后计算得到关节点坐标数据。
S3、采用动作分析神经网络算法对步骤S2处理后得到的数据进行编码；图2为动作分析神经网络结构的示意图，当VideoPose3D成功从输入的舞蹈视频中提取出舞者的人体关节点坐标数据后，将坐标数据作为动作分析神经网络的输入，输入为一个动作序列，序列中的每一帧的动作由某一时刻的人体关节点坐标集表示；
所述的动作分析神经网络包含一个LSTM网络、Attention层、多个归一化层和少量全连接层；
所述的LSTM网络为循环神经网络的一个变种，其在处理长序列内容时效果更好，LSTM网络种的每个隐藏神经元接受来自外部或是前一层的输入，同时接受来自同一层前后时间帧上的神经元的单元记忆和单元状态，处理、计算输入后将结果传向下一层。
所述attention结构通过提高动作序列中动作区分度较大的动作帧在编码过程中的权重，实现LSTM计算过程中区分度较高的舞蹈姿态的区分，attention的数学计算公式如下：
r＝Ws2tanh(Ws1ST) (4)
其中S为动作序列，ST表示动作序列矩阵的转置，r表示attention map，ri为r中的第i个元素，Ws1和Ws2是需要学习的权重矩阵，ai为得分，聚合为向量A＝[a1,a2,…],计算得到最后的输出为E＝A*S；
舞蹈动作序列中的每一帧按时间顺序依次输入LSTM网络的神经元中，LSTM中同层之间有信息上的交互，从而能够获取更多时间序列上的信息减少动作编码过程中的信息损失，所述的同层之间的信息交互，不仅是按时间方向有交互，在逆时间方向同样有信息上的交互；将LSTM的输出结果进行归一化操作，防止网络梯度***，直接将计算结果传入Attention层中；Attention层的输入E再进过归一化层对数据归一化和2个全连接层后得到最终的舞蹈动作编码。
图3为动作分析神经网络的训练示意图，使用MMD_NCA损失函数作为约束来更好的实现舞蹈动作的编码与区分。
MMD_NCA损失LMMD_NCA用于优化不同舞蹈动作直接的区分和相同舞蹈动作的聚合，该损失使得动作相似的动作在编码空间中的距离尽可能的相近，不相同的动作在编码空间中将被尽可能的拉远，其中计算不同分布序列之间X,Y的距离使用的是MMD算法即最大均方误差，数学计算公式如下：
上述公式中X、Y为两个不同分布的序列，xi,x′i表示来自X分布的采样，yi,y′i表示来自Y分布的采样，MMD[K,X,Y]2的计算结果为分布X,Y在编码空间中的距离，n、m分别为被X，Y的序列长度，K为高斯核函数；
再加入NCA即最近邻成分分析算法来提高区分的准确率，损失函数LMMD_NCA为：
X+表示和X为同一类舞蹈动作的舞蹈序列,C＝{C1,C2,…,CM}为数据集中的与X不是同一类的舞蹈动作集，表示与C中的一个舞蹈序列，与X是负例关系。
对动作分析神经网络进行多次重复训练的过程，每一次训练从训练数据中随机采样一个锚定样本，少量正样本，和相对多的负样本，再将三类样本的样本数据编码同时输入网络的损失函数中对网络参数进行优化。
S4、将动作分析神经网络算法输出的编码与标准舞蹈动作序列编码进行比对，给出评价。

Claims (6)

1.一种基于深度学习和姿态估计的舞蹈动作评价***，其特征在于：该***包括数据采集单元、VideoPose3D关节点坐标提取模块、动作分析神经网络舞蹈编码模块和舞蹈评价模块；
所述数据采集单元通过RGB摄像装置采集舞蹈视频，作为评价使用的数据输入到VideoPose3D关节点坐标提取模块；
所述VideoPose3D关节点坐标提取模块将接收的舞蹈视频通过VideoPose3D的处理，提取得到人体骨架图，然后获得人体关节点的坐标数据信息；将人体关节点的坐标数据信息输入到动作分析神经网络舞蹈编码模块；
所述动作分析神经网络舞蹈编码模块接收人体关节点的坐标数据信息，采用动作分析神经网络算法对坐标数据信息进行编码，并且使用MMD_NCA损失函数LMMD_NCA作为约束，通过反向传播约束网络，优化网络参数；
编码过程为：将舞蹈动作序列中的每一帧按时间顺序依次输入LSTM网络中，在对动作编码的同时，LSTM网络中同层之间还有时间序列上的信息交互；LSTM网络的输出归一化后进入Attention层，进一步集合关节点之间的信息，最后，该层输出E经过数据归一化层和多个全连接层后得到舞蹈动作编码；
损失函数LMMD_NCA为：
其中，X、Y为两个不同分布的序列，xi,x′i表示来自X分布的采样，yi,y′i表示来自Y分布的采样，MMD[K,X,Y]2的计算结果为分布X,Y在编码空间中的距离，n、m分别为被X，Y的序列长度，K为高斯核函数；X+表示和X为同一类舞蹈动作的舞蹈序列,与X是正例关系；M表示舞蹈动作的数量，C＝{C1,C2,…,CM}为数据集中的与X不是同一类的舞蹈动作集，表示C中的一个舞蹈序列，与X是负例关系；动作分析神经网络算法将坐标数据映射到编码空间中；
所述舞蹈评价模块将动作分析神经网络舞蹈编码模块输出的编码与标准舞蹈动作序列编码进行对比，计算余弦相似度，再将相似度计算结果转化成相应的指标，完成舞蹈动作评价。
2.如权利要求1所述一种基于深度学习和姿态估计的舞蹈动作评价***，其特征在于：所述的RGB摄像装置为手机或摄像机。
3.如权利要求1所述一种基于深度学习和姿态估计的舞蹈动作评价***，其特征在于：采集的舞蹈视频中，舞者位于视频中央。
4.如权利要求1所述一种基于深度学习和姿态估计的舞蹈动作评价***，其特征在于：VideoPose3D先探测舞蹈视频中人***置，产生人体检测框，再提取人体骨架，计算得到人体关节点的坐标数据信息。
5.如权利要求1所述一种基于深度学习和姿态估计的舞蹈动作评价***，其特征在于：动作分析神经网络中全连接层的数量为2个。
6.如权利要求1所述一种基于深度学习和姿态估计的舞蹈动作评价***，其特征在于：余弦相似度计算公式为：
其中，xi为输入的舞者动作中的一帧的编码，yi表示对应的标准舞蹈动作片段中的一帧的编码，n为帧数，θ为相似度。
CN202110341970.8A 2021-03-30 2021-03-30 一种基于深度学习和姿态估计的舞蹈动作评价*** Active CN113516005B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110341970.8A CN113516005B (zh) 2021-03-30 2021-03-30 一种基于深度学习和姿态估计的舞蹈动作评价***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110341970.8A CN113516005B (zh) 2021-03-30 2021-03-30 一种基于深度学习和姿态估计的舞蹈动作评价***

Publications (2)

Publication Number Publication Date
CN113516005A CN113516005A (zh) 2021-10-19
CN113516005B true CN113516005B (zh) 2024-02-09

Family

ID=78062332

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110341970.8A Active CN113516005B (zh) 2021-03-30 2021-03-30 一种基于深度学习和姿态估计的舞蹈动作评价***

Country Status (1)

Country Link
CN (1) CN113516005B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115527264B (zh) * 2022-01-24 2023-05-05 温州医科大学 一种啦啦操训练效果的智能评价方法及***
CN114582029B (zh) * 2022-05-06 2022-08-02 山东大学 一种非专业舞蹈运动序列增强方法及***
CN116612310B (zh) * 2023-07-17 2023-09-26 长春医学高等专科学校(长春职工医科大学长春市医学情报所) 基于多媒体舞蹈动作图像分解处理方法
CN117496409B (zh) * 2023-11-15 2024-05-07 广东新裕信息科技有限公司 一种基于多视角三维人体重建的细粒度舞蹈动作评分方法
CN118135069B (zh) * 2024-05-08 2024-07-09 江西师范大学 一种真实人物舞蹈视频合成方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107349594A (zh) * 2017-08-31 2017-11-17 华中师范大学 一种虚拟舞蹈***的动作评价方法
CN109589563A (zh) * 2018-12-29 2019-04-09 南京华捷艾米软件科技有限公司 一种基于3d体感摄像头的舞蹈姿态教辅方法及***
CN111667510A (zh) * 2020-06-17 2020-09-15 常州市中环互联网信息技术有限公司 一种基于深度学习和姿态估计的攀岩动作评价***
CN111709284A (zh) * 2020-05-07 2020-09-25 西安理工大学 基于cnn-lstm的舞蹈情感识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107349594A (zh) * 2017-08-31 2017-11-17 华中师范大学 一种虚拟舞蹈***的动作评价方法
CN109589563A (zh) * 2018-12-29 2019-04-09 南京华捷艾米软件科技有限公司 一种基于3d体感摄像头的舞蹈姿态教辅方法及***
CN111709284A (zh) * 2020-05-07 2020-09-25 西安理工大学 基于cnn-lstm的舞蹈情感识别方法
CN111667510A (zh) * 2020-06-17 2020-09-15 常州市中环互联网信息技术有限公司 一种基于深度学习和姿态估计的攀岩动作评价***

Also Published As

Publication number Publication date
CN113516005A (zh) 2021-10-19

Similar Documents

Publication Publication Date Title
CN113516005B (zh) 一种基于深度学习和姿态估计的舞蹈动作评价***
CN108520216B (zh) 一种基于步态图像的身份识别方法
CN110135249B (zh) 基于时间注意力机制和lstm的人体行为识别方法
CN111814661B (zh) 基于残差-循环神经网络的人体行为识别方法
CN108921107B (zh) 基于排序损失和Siamese网络的行人再识别方法
CN109522793A (zh) 基于机器视觉的多人异常行为检测与识别方法
CN110097029B (zh) 基于Highway网络多视角步态识别的身份认证方法
CN114067358A (zh) 一种基于关键点检测技术的人体姿态识别方法及***
CN111582092B (zh) 一种基于人体骨架的行人异常行为检测方法
CN111639616A (zh) 一种基于深度学习的重身份识别方法
CN112131970A (zh) 一种基于多通道时空网络和联合优化损失的身份识别方法
CN108537181A (zh) 一种基于大间距深度度量学习的步态识别方法
CN114998934B (zh) 基于多模态智能感知和融合的换衣行人重识别和检索方法
CN111914643A (zh) 一种基于骨骼关键点检测的人体动作识别方法
CN113378649A (zh) 身份、位置和动作识别方法、***、电子设备及存储介质
CN112818790A (zh) 一种基于注意力机制与空间几何约束的行人重识别方法
CN107038400A (zh) 人脸识别装置及方法和利用其的目标人跟踪装置及方法
CN111639580A (zh) 一种结合特征分离模型和视角转换模型的步态识别方法
CN115294655A (zh) 一种基于非局部机制的多级模块特征的对抗生成行人再识别方法、装置和设备
CN112989889A (zh) 一种基于姿态指导的步态识别方法
CN113569639B (zh) 一种基于样本中心损失函数的跨模态行人重识别方法
US11854306B1 (en) Fitness action recognition model, method of training model, and method of recognizing fitness action
CN114360058B (zh) 一种基于行走视角预测的跨视角步态识别方法
CN114639168B (zh) 一种用于跑步姿态识别的方法和***
CN115393963A (zh) 运动动作纠正方法、***、存储介质、计算机设备及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant