CN106096720A - 一种舞蹈动作自动合成的方法 - Google Patents

一种舞蹈动作自动合成的方法 Download PDF

Info

Publication number
CN106096720A
CN106096720A CN201610410516.2A CN201610410516A CN106096720A CN 106096720 A CN106096720 A CN 106096720A CN 201610410516 A CN201610410516 A CN 201610410516A CN 106096720 A CN106096720 A CN 106096720A
Authority
CN
China
Prior art keywords
action
fragment
music
dance movement
action fragment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610410516.2A
Other languages
English (en)
Inventor
王晓磊
邓际锋
雷涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Rulei Technology Co Ltd
Original Assignee
Hangzhou Rulei Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Rulei Technology Co Ltd filed Critical Hangzhou Rulei Technology Co Ltd
Priority to CN201610410516.2A priority Critical patent/CN106096720A/zh
Publication of CN106096720A publication Critical patent/CN106096720A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Robotics (AREA)
  • Toys (AREA)

Abstract

本发明公开了一种舞蹈动作自动合成的方法，包括如下步骤：S1:识别音乐中的速度和节拍特征；S2:从动作库中选取符合音乐特征的动作片段，经过变换处理，连接形成连续的舞蹈动作。本发明通过识别音乐的特征，根据音乐特征选取动作片段、对动作片段作变换处理，合成出的舞蹈动作能符合音乐速度、风格；舞蹈动作连贯、不重复，具有很好的观赏性。简单地实现了智能玩具自动合成舞蹈动作的需求。

Description

一种舞蹈动作自动合成的方法
技术领域
本发明涉及一种舞蹈动作自动合成的方法，属于智能玩具技术领域。
背景技术
在计算机图形学和机器人、玩具等领域，有自动合成舞蹈动作的需求。常见的应用场景如：在计算机上虚拟人物形象随音乐节拍跳舞；机器人或玩具伴随音乐节拍跳舞。
常见的现有技术如计算机游戏中的人物舞蹈动作。通常的做法是针对整首乐曲，编写舞蹈动作。在播放乐曲时，播放预设的动作。这种方法不具有灵活性，不能自动合成舞蹈动作，只能预先设定好动作。因此这种方法制作的舞蹈动作只能搭配特定的乐曲，应用场景单一。
另外如中国专利200910101046所披露的现有技术，使用机器学习的方法，选择匹配音乐特征的舞蹈动作，以自动合成舞蹈动作。该发明的优点是，所选取的舞蹈动作能较好地符合乐曲风格和速度。其缺点是，所使用的技术方案复杂，运算量大，不适用于小型机器人、玩具等设备，也不适用于对实时性要求高的使用场景。
发明内容
本发明针对现有技术存在的上述不足，提供一种舞蹈动作自动合成的方法，简单地实现智能玩具自动合成舞蹈动作的需求，且舞蹈动作连贯、不重复、观赏性好。
为此，本发明采用如下技术方案：
一种舞蹈动作自动合成的方法，包括如下步骤：
S1:识别音乐中的速度和节拍特征；
S2:从动作库中选取符合音乐特征的动作片段，经过变换处理，连接形成连续的舞蹈动作；
所述动作片段为一小段可表演的动作，定义了表演者的身体姿态变化方式，其中，动作片段的起始和结束姿态是少数几个基准姿态，动作片段包含速度属性，描述了该段动作符合什么速度的音乐，定义方式同音乐的速度特征；动作片段还包含节拍属性，描述了该段动作适合于什么节拍类型的音乐，定义方式同音乐的节拍特征；动作片段还包含是否可镜像属性；所述基准姿态是指，将某几种身体姿态定义为基准的，所有动作片段的起始和结束姿态都是这几种基准姿态中的一种。
进一步地，在步骤S2中，从动作库中选取动作片段的步骤为：
S2-1：根据音乐中识别出的速度特征，筛选出速度属性值位于某个范围内的动作片段；
S2-2：根据音乐中识别出的节拍特征，再筛选出若干节拍属性等于音乐节拍的动作片段；
S2-3：在筛选出的动作片段里随机选取一个，并且该动作片段的开始姿态等于表演者前一个动作的结束姿态。
进一步地，在步骤S2中，所述动作片段的变换处理为：在经过步骤S2-3后选取出新动作片段之后，根据其速度属性值T1，与音乐中识别出的速度特征T2，对该动作片段做变速处理，变速比例为T1/T2；
进一步地，在经过步骤S2-3后选取出新动作片段之后，如果该动作片段是可镜像的，则将此动作做镜像处理，作为下一个动作片段，拼接到经变换处理的动作片段之后。
进一步地，所述动作片段的变速处理是指，将动作片段的整体时间按比例变快或变慢。
进一步地，所述动作片段的镜像处理是指，将动作片段沿表演者身体中轴线左右镜像，成为一个新的动作片段。
进一步地，所述两个动作片段的连接方法中，前一动作的结束姿态等同于后一动作的开始姿态。
本发明通过识别音乐的特征，并根据音乐特征选取动作片段、对动作片段作变换处理，合成出的舞蹈动作能符合音乐速度、风格；且舞蹈动作连贯、不重复，具有很好的观赏性。通过定义几个基准动作，使动作片段之间的拼接平滑，没有不自然的姿态突变，没有生硬的动作切换；通过从动作库中选取动作片段，并经过变速、镜像等拼接，使合成的舞蹈动作较丰富，不是简单重复。相比于现有技术，本发明还具有运算量小的优点，适用于小型机器人、玩具等低速设备上的应用。简单地实现了自动合成舞蹈动作的需求。
附图说明
图1为本发明的工作流程图；
图2为本发明动作库中对动作片段的特征的示意性描述；
图3为本发明中基准动作的特征的示意性描述。
具体实施方式
为了使本技术领域的人员更好的理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。
如图1所示，本发明的舞蹈动作自动合成的方法，包括如下步骤：
S1:识别音乐中的速度和节拍特征：其中，速度的度量方式是“拍/分钟”，节拍是指2/4拍、3/4拍等节拍类型；对音乐特征的识别可采用相关领域的现有技术，在此不赘述；通过识别音乐特征，将自动合成的舞蹈动作对应到音乐的速度、节拍上，保证舞蹈动作合乎音乐；
S2:从动作库中选取符合音乐特征的动作片段，经过变换处理，连接形成连续的舞蹈动作；
动作库包含了若干预设的动作片段，其中，动作片段为一小段可表演的动作，定义了表演者（机器人、玩具或计算机上的虚拟形象）的身体姿态变化方式，其中，动作片段的起始和结束姿态是少数几个基准姿态，动作片段包含速度属性，描述了该段动作符合什么速度的音乐，定义方式同音乐的速度特征；动作片段还包含节拍属性，描述了该段动作适合于什么节拍类型的音乐，定义方式同音乐的节拍特征；动作片段还包含是否可镜像属性；所述基准姿态是指，将某几种身体姿态定义为基准的，所有动作片段的起始和结束姿态都是这几种基准姿态中的一种。
动作片段对表演者身体姿态的描述方式，可以使用本领域现有的方法，例如，在3D建模软件中对表演者身体每个部件定义一系列关键帧，每个关键帧定义了时长、关节旋转方向等，通过这些方式，可以用一系列数字定义一段时间内身体的姿态变化。
在步骤S2中，从动作库中选取动作片段的具体步骤可以为：
S2-1：根据音乐中识别出的速度特征，筛选出速度属性值位于某个范围内的动作片段；
S2-2：根据音乐中识别出的节拍特征，再筛选出若干节拍属性等于音乐节拍的动作片段；
S2-3：在筛选出的动作片段里随机选取一个，并且该动作片段的开始姿态等于表演者前一个动作的结束姿态。
在步骤S2中，所述动作片段的变换处理为：在经过步骤S2-3后选取出新动作片段之后，根据其速度属性值T1，与音乐中识别出的速度特征T2，对该动作片段做变速处理，变速比例为T1/T2，形成；
在经过步骤S2-3后选取出新动作片段之后，如果该动作片段是可镜像的，则将此动作做镜像处理，作为下一个动作片段，拼接到经变换处理的动作片段之后。
所述动作片段的变速处理是指，将动作片段的整体时间按比例变快或变慢。
所述动作片段的镜像处理是指，将动作片段沿表演者身体中轴线左右镜像，成为一个新的动作片段。
所述两个动作片段的连接方法中，前一动作的结束姿态等同于后一动作的开始姿态。这样两个动作能平滑拼接，
如图1-3所示，下面以一个能随音乐自动跳舞的机器人为例，详细舞蹈动作自动合成的方法：
在本实施例中，机器人使用单片机（MCU）控制，机器人的身体具有三个可活动的关节，每个关节的运动范围由一个数字定义，数字的范围是0到100；机器人当前的动作为图2中编号为1的动作片段，需要合成下一个动作。
图1中的“音乐”由机器人内部的麦克风拾取外部的声音，格式为PCM；“音乐特征识别”步骤采用现有技术，识别出音乐速度为126拍/分钟，节拍为2/4拍。
“动作选取”的步骤为：
首先根据音乐的速度126拍/分钟，从图2所示的动作库中筛选出速度在90-150拍/分钟范围内的动作片段，编号为1和2的动作片段符合该条件；
随后，根据音乐的节拍为2/4拍，筛选出动作节拍等于2/4拍的动作，编号为1、2的动作片段符合该条件；
然后，根据机器人当前动作的结束姿态“姿态B”，筛选出起始姿态为姿态B的动作，编号为2的动作片段符合该条件；
由于筛选结果只有一个动作了，所以选取动作片段2作为下一个动作。
“动作变换处理”的步骤为：
首先根据音乐的速度126拍/分钟，以及动作片段2的速度为120拍/分钟，将动作片段2做加快处理，使动作片段2的时间长度变为120/126≈0.95倍；处理后的动作为“动作片段2a”；
然后，因为动作片段2是可镜像的，将动作片段2a的姿态描述按照机器人身体中轴线做左右镜像处理，成为“动作片段2b”；
“动作拼接”的步骤为：将动作片段2a、动作片段2b依次拼接在当前动作之后，成为连贯的舞蹈动作。
在实施例的整个步骤中，机器人通过接受外部声音，使用本发明的方法，自动合成出符合音乐的舞蹈动作，然后驱动机器人的关节做出相应的运动。从而让机器人随音乐跳舞。
显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

Claims (7)

1.一种舞蹈动作自动合成的方法，包括如下步骤：
S1:识别音乐中的速度和节拍特征；
S2:从动作库中选取符合音乐特征的动作片段，经过变换处理，连接形成连续的舞蹈动作；
所述动作片段为一小段可表演的动作，定义了表演者的身体姿态变化方式，其中，动作片段的起始和结束姿态是少数几个基准姿态，动作片段包含速度属性，描述了该段动作符合什么速度的音乐，定义方式同音乐的速度特征；动作片段还包含节拍属性，描述了该段动作适合于什么节拍类型的音乐，定义方式同音乐的节拍特征；动作片段还包含是否可镜像属性；所述基准姿态是指，将某几种身体姿态定义为基准的，所有动作片段的起始和结束姿态都是这几种基准姿态中的一种。
2.根据权利要求1所述的舞蹈动作自动合成的方法，其特征在于：在步骤S2中，从动作库中选取动作片段的步骤为：
S2-1：根据音乐中识别出的速度特征，筛选出速度属性值位于某个范围内的动作片段；
S2-2：根据音乐中识别出的节拍特征，再筛选出若干节拍属性等于音乐节拍的动作片段；
S2-3：在筛选出的动作片段里随机选取一个，并且该动作片段的开始姿态等于表演者前一个动作的结束姿态。
3.根据权利要求1所述的舞蹈动作自动合成的方法，其特征在于：在步骤S2中，所述动作片段的变换处理为：在经过步骤S2-3后选取出新动作片段之后，根据其速度属性值T1，与音乐中识别出的速度特征T2，对该动作片段做变速处理，变速比例为T1/T2。
4.根据权利要求1所述的舞蹈动作自动合成的方法，其特征在于：在经过步骤S2-3后选取出新动作片段之后，如果该动作片段是可镜像的，则将此动作做镜像处理，作为下一个动作片段，拼接到经变换处理的动作片段之后。
5.根据权利要求1所述的舞蹈动作自动合成的方法，其特征在于：所述动作片段的变速处理是指，将动作片段的整体时间按比例变快或变慢。
6.根据权利要求1所述的舞蹈动作自动合成的方法，其特征在于：所述动作片段的镜像处理是指，将动作片段沿表演者身体中轴线左右镜像，成为一个新的动作片段。
7.根据权利要求1所述的舞蹈动作自动合成的方法，其特征在于：所述两个动作片段的连接方法中，前一动作的结束姿态等同于后一动作的开始姿态。
CN201610410516.2A 2016-06-12 2016-06-12 一种舞蹈动作自动合成的方法 Pending CN106096720A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610410516.2A CN106096720A (zh) 2016-06-12 2016-06-12 一种舞蹈动作自动合成的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610410516.2A CN106096720A (zh) 2016-06-12 2016-06-12 一种舞蹈动作自动合成的方法

Publications (1)

Publication Number Publication Date
CN106096720A true CN106096720A (zh) 2016-11-09

Family

ID=57229172

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610410516.2A Pending CN106096720A (zh) 2016-06-12 2016-06-12 一种舞蹈动作自动合成的方法

Country Status (1)

Country Link
CN (1) CN106096720A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107594739A (zh) * 2017-09-03 2018-01-19 泉州迪特工业产品设计有限公司 一种智能炫酷鞋及其实现方法
CN107682654A (zh) * 2017-09-30 2018-02-09 北京金山安全软件有限公司 视频录制方法、拍摄装置、电子设备及介质
CN108052250A (zh) * 2017-12-12 2018-05-18 北京光年无限科技有限公司 基于多模态交互的虚拟偶像演绎数据处理方法及***
CN108527376A (zh) * 2018-02-27 2018-09-14 深圳狗尾草智能科技有限公司 控制机器人舞蹈动作的方法、装置、设备及介质
CN110992449A (zh) * 2019-11-29 2020-04-10 网易（杭州）网络有限公司 舞蹈动作合成方法、装置、设备及存储介质
CN112365568A (zh) * 2020-11-06 2021-02-12 广州小鹏汽车科技有限公司 音频处理方法、装置、电子设备和存储介质
WO2021134942A1 (zh) * 2019-12-31 2021-07-08 网易（杭州）网络有限公司 一种舞蹈动画的处理方法及装置、电子设备、存储介质
CN113590872A (zh) * 2021-07-28 2021-11-02 广州艾美网络科技有限公司 跳舞谱面生成的方法、装置以及设备
CN113643442A (zh) * 2021-08-06 2021-11-12 福建凯米网络科技有限公司 一种虚拟对象舞蹈生成方法及计算机存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101524594A (zh) * 2009-04-17 2009-09-09 中国地质大学（武汉） 随节奏自主舞蹈的人形机器人
CN101615302A (zh) * 2009-07-30 2009-12-30 浙江大学 音乐数据驱动的基于机器学习的舞蹈动作生成方法
CN101693371A (zh) * 2009-09-30 2010-04-14 深圳先进技术研究院 跟踪音乐节拍跳舞的机器人

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101524594A (zh) * 2009-04-17 2009-09-09 中国地质大学（武汉） 随节奏自主舞蹈的人形机器人
CN101615302A (zh) * 2009-07-30 2009-12-30 浙江大学 音乐数据驱动的基于机器学习的舞蹈动作生成方法
CN101693371A (zh) * 2009-09-30 2010-04-14 深圳先进技术研究院 跟踪音乐节拍跳舞的机器人

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107594739A (zh) * 2017-09-03 2018-01-19 泉州迪特工业产品设计有限公司 一种智能炫酷鞋及其实现方法
CN107682654A (zh) * 2017-09-30 2018-02-09 北京金山安全软件有限公司 视频录制方法、拍摄装置、电子设备及介质
CN107682654B (zh) * 2017-09-30 2019-11-26 北京金山安全软件有限公司 视频录制方法、拍摄装置、电子设备及介质
CN108052250A (zh) * 2017-12-12 2018-05-18 北京光年无限科技有限公司 基于多模态交互的虚拟偶像演绎数据处理方法及***
CN108527376A (zh) * 2018-02-27 2018-09-14 深圳狗尾草智能科技有限公司 控制机器人舞蹈动作的方法、装置、设备及介质
CN110992449B (zh) * 2019-11-29 2023-04-18 网易（杭州）网络有限公司 舞蹈动作合成方法、装置、设备及存储介质
CN110992449A (zh) * 2019-11-29 2020-04-10 网易（杭州）网络有限公司 舞蹈动作合成方法、装置、设备及存储介质
WO2021134942A1 (zh) * 2019-12-31 2021-07-08 网易（杭州）网络有限公司 一种舞蹈动画的处理方法及装置、电子设备、存储介质
CN112365568A (zh) * 2020-11-06 2021-02-12 广州小鹏汽车科技有限公司 音频处理方法、装置、电子设备和存储介质
CN113590872A (zh) * 2021-07-28 2021-11-02 广州艾美网络科技有限公司 跳舞谱面生成的方法、装置以及设备
CN113590872B (zh) * 2021-07-28 2023-11-28 广州艾美网络科技有限公司 跳舞谱面生成的方法、装置以及设备
CN113643442A (zh) * 2021-08-06 2021-11-12 福建凯米网络科技有限公司 一种虚拟对象舞蹈生成方法及计算机存储介质
CN113643442B (zh) * 2021-08-06 2024-05-14 福建凯米网络科技有限公司 一种虚拟对象舞蹈生成方法及计算机存储介质

Similar Documents

Publication Publication Date Title
CN106096720A (zh) 一种舞蹈动作自动合成的方法
CN108202334B (zh) 一种能够识别音乐节拍和风格的舞蹈机器人
Jordà Sonigraphical Instruments: From FMOL to the reacTable*.
Hoffman et al. Shimon: an interactive improvisational robotic marimba player
Schöllig et al. A platform for dance performances with multiple quadrocopters
Caspersen It starts from any point: bill and the Frankfurt ballet
CN105243682B (zh) 一种肢体元件模型、角色以及二维动画制作的方法
Landry et al. Participatory design research methodologies: A case study in dancer sonification
Willett et al. Reasons for rhythm: Multimodal perspectives on musical play
CN108829253A (zh) 一种模拟音乐指挥播放方法及装置
CN102799749B (zh) 分布式音乐灯光表演方案自动生成方法及生成***
Copeland Cunningham, Collage, and the computer
Angulo et al. Aibo jukeBox–A robot dance interactive experience
Ilsar The AirSticks: a new instrument for live electronic percussion within an ensemble
Oh et al. Crafting mechatronic percussion with everyday materials
Kumra et al. Dual flexible 7 dof arm robot learns like a child to dance using q-learning
Anbarsanti et al. Dance learning and recognition system based on hidden Markov model. a case study: aceh traditional dance
Demian Disdance-new artistic environment
Shinozaki et al. Study of dance entertainment using robots
Hamilton Perceptually coherent mapping schemata for virtual space and musical method
Saltz Plays are games, movies are pictures: Ludic vs. pictorial representation
Jung CHOREOGRAPHIC SOUND COMPOSITION: Towards a poetics of restriction
Morris Snake in the Labyrinth: Scenes from the Machine’s Deep Q-Learning Experience
Montgomery Becoming burlesque: Performer training in contemporary burlesque
CN117219078A (zh) 基于人工智能的摆件语音识别方法及***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20161109