CN111104964A - 音乐与动作的匹配方法、设备及计算机存储介质 - Google Patents

音乐与动作的匹配方法、设备及计算机存储介质 Download PDF

Info

Publication number
CN111104964A
CN111104964A CN201911158848.6A CN201911158848A CN111104964A CN 111104964 A CN111104964 A CN 111104964A CN 201911158848 A CN201911158848 A CN 201911158848A CN 111104964 A CN111104964 A CN 111104964A
Authority
CN
China
Prior art keywords
music
action
segments
segment
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911158848.6A
Other languages
English (en)
Other versions
CN111104964B (zh
Inventor
林超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yonghang Technology Co Ltd
Original Assignee
Beijing Yonghang Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yonghang Technology Co Ltd filed Critical Beijing Yonghang Technology Co Ltd
Priority to CN201911158848.6A priority Critical patent/CN111104964B/zh
Publication of CN111104964A publication Critical patent/CN111104964A/zh
Application granted granted Critical
Publication of CN111104964B publication Critical patent/CN111104964B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/076—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

本公开公开了一种音乐与动作的匹配方法、设备及计算机存储介质，属于音乐舞蹈领域。方法包括：获取多个音乐舞蹈片段以及对应的节奏特征；确定音乐片段与动作片段的距离；确定距离最大以及距离最小的的音乐片段与动作片段；以动作片段的特征序列、音乐片段的特征序列、音乐片段与动作片段的距离作为训练样本，训练得到音乐片段与动作片段匹配距离模型，该模型的输出为音乐片段与动作片段的匹配距离；获取动作过渡距离；将匹配距离与动作过渡距离的和作为音乐片段与动作片段的距离；获取待匹配音乐；确定与待匹配音乐的总距离最小的多个目标动作片段并与待匹配音乐进行匹配。本公开解决了相关技术中动作片段与待匹配音乐的匹配程度较差的问题。

Description

音乐与动作的匹配方法、设备及计算机存储介质
技术领域
本公开涉及音乐舞蹈领域，特别涉及一种音乐与动作的匹配方法、设备及计算机存储介质。
背景技术
根据给定音乐演绎与之匹配的舞蹈动作在音乐舞蹈游戏以及其他领域中有着广泛地应用。
相关技术中一种音乐与动作的匹配方法中，首先获取待匹配音乐以及动作片段库，该动作片段库中可以包括多个动作片段，之后将从这动作片段库中随机选取多个动作片段与该待匹配音乐进行匹配。
但是，上述方法中，动作片段是从动作片段库中随机选择的，动作片段与待匹配音乐的匹配程度较差。
发明内容
本公开实施例提供了一种音乐与动作的匹配方法，能够解决相关技术中，动作片段与待匹配音乐的匹配程度较差的问题。所述技术方案如下：
根据本公开的第一方面，提供了一种音乐与动作的匹配方法，所述音乐与动作的匹配方法包括：
获取人工编舞的多个音乐舞蹈片段，每个所述音乐舞蹈片段包括音乐片段以及对应的动作片段；
获取所述多个音乐舞蹈片段对应的多个节奏特征；
将所述多个节奏特征中，任意两个节奏特征的欧式距离确定为所述任意两个节奏特征中第一节奏特征对应的音乐片段与第二节奏特征对应的动作片段的距离；
确定所述多个节奏特征对应音乐片段与动作片段中，距离最大的n个音乐片段与动作片段，以及距离最小的m个音乐片段与动作片段，所述m和n均为大于0的整数；
获取所述n个音乐片段与动作片段的特征序列，以及所述m个音乐片段与动作片段的特征序列；
以所述n个音乐片段与动作片段的特征序列、所述m个音乐片段与动作片段的特征序列、所述n个音乐片段与动作片段的距离以及所述m个音乐片段与动作片段的距离作为训练样本，训练得到音乐片段与动作片段匹配距离模型，所述音乐片段与动作片段匹配距离模型的输出为音乐片段与动作片段的匹配距离；
获取动作过渡距离公式，所述动作过渡距离公式用于输出动作过渡距离；
将所述音乐片段与动作片段的匹配距离与所述动作过渡距离的和作为音乐片段与动作片段的距离；
获取待匹配音乐，所述待匹配音乐包括多个待匹配音乐片段；
确定动作片段库中与所述多个待匹配音乐片段的总距离最小的多个目标动作片段，所述动作片段库中包括多个动作片段；
将所述多个目标动作片段与所述待匹配音乐进行匹配。
可选的，所述获取所述多个音乐舞蹈片段对应的多个节奏特征，包括：
根据节奏特征公式确定所述节奏特征，所述节奏特征公式包括：
z(M)＝hz(fmotion(M))＝[z1，z2，…，zzdim]T；
其中，所述M为任一所述动作片段，所述z(M)为与所述M对应的所述节奏特征，所述hz为特征映射，所述zdim为所述z(M)的维度，所述fmotion(M)＝[fanim(M，t1)，fanim(M，t2)，…，fanim(M，tN)]为矩阵形式的所述M的特征序列，所述t为所述M的任一时刻，所述N为所述M的采样数，所述fanim(M，t)＝[p(M，t)，q1(M，t)，q2(M，t)，…，qr(M，t)]T为矩阵形式的所述M在所述t时刻的特征，所述p(M，t)为根节点的三维空间位置，所述q(M，t)为角色的关节的旋转信息，所述r为所述关节的序号。
可选的，所述将所述多个节奏特征中，任意两个节奏特征的欧式距离确定为所述任意两个节奏特征中第一节奏特征对应的音乐片段与第二节奏特征对应的动作片段的距离，包括：
根据第一距离公式确定所述任意两个节奏特征中第一节奏特征对应的音乐片段与第二节奏特征对应的动作片段的距离，所述第一距离公式包括：
Dmatch(Ai，Mj)＝Dmotion(Mi，Mj)＝||z(Mi)-z(Mj)||；
其中，所述Ai为所述第一节奏特征对应的音乐片段，所述Mj为所述第二节奏特征对应的动作片段，所述Dmatch为所述任意两个节奏特征中第一节奏特征对应的音乐片段与第二节奏特征对应的动作片段的距离，所述Mi为所述第一节奏特征对应的动作片段，所述Dmotion为所述任意两个节奏特征中第一节奏特征对应的动作片段与第二节奏特征对应的动作片段的距离，所述z(Mi)为所述第一节奏特征，所述z(Mj)为所述第二节奏特征。
可选的，所述获取所述n个音乐片段与动作片段的特征序列，以及所述m个音乐片段与动作片段的特征序列，包括：
根据所述fmotion(M)＝[fanim(M，t1)，fanim(M，t2)，…，fanim(M，tN)]确定矩阵形式的动作片段的特征序列；
根据faudio(A)＝[fmfcc(A，t1)，fmfcc(A，t2)，…，fmfcc(A，tN)]确定矩阵形式的音乐片段的特征序列；
其中，所述A为任一所述音乐片段，所述t为所述M与所述A的任一时刻，所述N为所述M与所述A的采样数，所述fmfcc(A，t)为所述任一时刻t的所述A的梅尔频率倒谱系数。
可选的，所述以所述n个音乐片段与动作片段的特征序列、所述m个音乐片段与动作片段的特征序列、所述n个音乐片段与动作片段的距离以及所述m个音乐片段与动作片段的距离作为训练样本，训练得到音乐片段与动作片段匹配距离模型，包括：
获取训练数据，所述训练数据包括所述n个音乐片段与动作片段的特征序列、所述m个音乐片段与动作片段的特征序列、所述n个音乐片段与动作片段的距离以及所述m个音乐片段与动作片段的距离；
根据所述训练数据对初始神经网络模型进行训练，得到关于音乐片段的特征映射以及关于动作片段的特征映射；
根据所述关于音乐片段的特征映射以及所述关于动作片段的特征映射得到音乐片段与动作片段匹配距离模型，所述音乐片段与动作片段匹配距离模型包括：
Dmatch(Ai，Mj)＝hmatch(faudio(Ai)，fmotion(Mj))；
hmatch(faudio(Ai)，fmotion(Mj))＝||haudio(faudio(Ai))-hmotion(fmotion(Mj))||；
其中，所述haudio为关于音乐片段的特征映射，所述hmotion为关于动作片段的特征映射，所述hmatch为音乐片段与动作片段匹配距离的映射。
可选的，所述动作过渡距离公式，包括：
Figure BDA0002285519770000041
cost(Mi，Mj)＝max{speed(ftrans(Mi，Mj))}；
ftrans(Mi，Mj)＝blend(ffrom(Mi)，fto(Mj))；
ffrom(M)＝[fanim(M，tN-s)，fanim(M，tN-s+1)，…，fanim(M，tN+s-1)，fanim(M，tN+s)]；
fto(M)＝[fanim(M，t-s)，fanim(M，t-s+1)，…，fanim(M，ts-1)，fanim(M，ts)]；
其中，所述Dtrans为所述动作过渡距离，所述cost(Mi，Mj)为在所有关节速度中取最大值作为所述Mi过渡到所述Mj的代价，所述θ为第一阈值，所述speed为所述关节速度，所述ftrans为过渡动作，所述blend为动作混合算法，所述ffrom为以所述Mi最后一帧的时刻为中心，以半拍的长度为窗口，从所述Mi中截取半拍的动作，所述fto为以所述Mj第一帧的时刻为中心，以半拍的长度为窗口，从所述Mj中截取半拍的动作，所述s为窗口的半径。
可选的，所述将所述音乐片段与动作片段的匹配距离与所述动作过渡距离的和作为音乐片段与动作片段的距离，包括：
根据音乐片段与动作片段的距离公式确定所述音乐片段与动作片段的距离，所述音乐片段与动作片段的距离公式包括：
Figure BDA0002285519770000042
其中，所述D为所述音乐片段与动作片段的距离，所述{Mx1，Mx2，…，Mxn}为所述动作片段库中多个所述动作片段。
可选的，所述确定动作片段库中与所述多个待匹配音乐片段的总距离最小的多个目标动作片段，包括：
通过动态规划算法确定所述动作片段库中与所述多个待匹配音乐片段的总距离最小的所述多个目标动作片段。
另一方面，提供了一种音乐与动作的匹配设备，所述音乐与动作的匹配设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如第一方面所述的音乐与动作的匹配方法。
又一方面，提供了一种计算机存储介质，其特征在于，所述计算机存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如第一方面所述的音乐与动作的匹配方法。
本公开实施例提供的技术方案带来的有益效果至少包括：
提供了一种音乐与动作的匹配方法，该方法通过将音乐片段的特征序列、动作片段的特征序列以及音乐片段与动作片段的距离作为训练样本，训练得到音乐片段与动作片段匹配距离模型，该模型的输出为音乐片段与动作片段的匹配距离，获取动作过渡距离，将匹配距离与动作过渡距离的和作为音乐片段与动作片段的距离，获取包括多个待匹配音乐片段的待匹配音乐，确定与待匹配音乐片段的总距离最小的多个目标动作片段，将多个目标动作片段与待匹配音乐进行匹配，动作片段与待匹配音乐的匹配程度较高。解决了相关技术中动作片段与待匹配音乐的匹配程度较差的问题。
附图说明
为了更清楚地说明本公开实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本公开实施例提供的音乐与动作的匹配方法的实施环境的示意图；
图2是本公开实施例提供的一种音乐与动作的匹配方法的流程图；
图3是本公开实施例提供的另一种音乐与动作的匹配方法的流程图；
图4是本公开实施例提供的一种音乐与动作的匹配装置的结构示意图。
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开实施方式作进一步地详细描述。
目前的一种音乐与动作的匹配方法中，首先获取待匹配音乐以及动作片段库，该动作片段库中可以包括多个动作片段，之后将从这动作片段库中随机选取多个动作片段与该待匹配音乐进行匹配。
但是，这种音乐与动作的匹配方法动作片段是从动作片段库中随机选择的，动作片段与待匹配音乐的匹配程度较差。
本公开实施例提供了一种音乐与动作的匹配方法、设备及计算机存储介质。
图1是本公开实施例提供的音乐与动作的匹配方法的实施环境的示意图，该实施环境可以包括服务器11以及终端12。
服务器11可以为一个服务器或服务器集群。
终端12可以为手机、平板电脑、笔记本电脑、智能可穿戴设备等各种终端。终端12可以通过有线或无线的方式(图1示出的是以无线的方式进行连接的情况)与服务器连接。
图2是本公开实施例提供的一种音乐与动作的匹配方法的流程图。该音乐与动作的匹配方法可以应用于上述实施环境的服务器中。该音乐与动作的匹配方法可以包括：
步骤201，获取人工编舞的多个音乐舞蹈片段，每个音乐舞蹈片段包括音乐片段以及对应的动作片段。
步骤202，获取多个音乐舞蹈片段对应的多个节奏特征。
步骤203，将多个节奏特征中，任意两个节奏特征的欧式距离确定为任意两个节奏特征中第一节奏特征对应的音乐片段与第二节奏特征对应的动作片段的距离。
步骤204，确定多个节奏特征对应音乐片段与动作片段中，距离最大的n个音乐片段与动作片段，以及距离最小的m个音乐片段与动作片段，m和n均为大于0的整数。
步骤205，获取n个音乐片段与动作片段的特征序列，以及m个音乐片段与动作片段的特征序列。
步骤206，以n个音乐片段与动作片段的特征序列、m个音乐片段与动作片段的特征序列、n个音乐片段与动作片段的距离以及m个音乐片段与动作片段的距离作为训练样本，训练得到音乐片段与动作片段匹配距离模型，音乐片段与动作片段匹配距离模型的输出为音乐片段与动作片段的匹配距离。
步骤207，获取动作过渡距离公式，动作过渡距离公式用于输出动作过渡距离。
步骤208，将音乐片段与动作片段的匹配距离与动作过渡距离的和作为音乐片段与动作片段的距离。
步骤209，获取待匹配音乐，待匹配音乐包括多个待匹配音乐片段。
步骤210，确定动作片段库中与多个待匹配音乐片段的总距离最小的多个目标动作片段，动作片段库中包括多个动作片段。
步骤211，将多个目标动作片段与待匹配音乐进行匹配。
综上所述，本公开实施例提供了一种音乐与动作的匹配方法，该方法通过将音乐片段的特征序列、动作片段的特征序列以及音乐片段与动作片段的距离作为训练样本，训练得到音乐片段与动作片段匹配距离模型，该模型的输出为音乐片段与动作片段的匹配距离，获取动作过渡距离，将匹配距离与动作过渡距离的和作为音乐片段与动作片段的距离，获取包括多个待匹配音乐片段的待匹配音乐，确定与待匹配音乐片段的总距离最小的多个目标动作片段，将多个目标动作片段与待匹配音乐进行匹配，动作片段与待匹配音乐的匹配程度较高。解决了相关技术中动作片段与待匹配音乐的匹配程度较差的问题。
图3是本公开实施例提供的另一种音乐与动作的匹配方法的流程图，该音乐与动作的匹配方法可以应用于上述实施环境的服务器中。本公开实施例提供的音乐与动作的匹配方法可以应用于音乐舞蹈游戏中，音乐舞蹈游戏可以通过骨骼动画的方式实现。参考图3可以看出，该音乐与动作的匹配方法可以包括：
步骤301，获取人工编舞的多个音乐舞蹈片段，每个音乐舞蹈片段包括音乐片段以及对应的动作片段。
由人对给定的音乐进行编舞，获取人工编舞的多个音乐舞蹈片段。其中，可以将音乐舞蹈按照一定的步距或长度拆分成多个片段，得到多个音乐舞蹈片段。每个音乐片段与动作片段对应。
示例性的，可以由人穿戴动作捕捉设备对音乐进行编舞，通过获取动作捕捉设备捕捉到的动作，并将获取到的动作进行处理，得到音乐舞蹈。可以按照一小节步距，一小节时长和一小节步距，两小节时长拆分音乐舞蹈，得到多个音乐舞蹈片段。
步骤302，根据节奏特征公式确定节奏特征。
节奏特征公式包括：
z(M)＝hz(fmotion(M))＝[z1，z2，…，zzdim]T；
fmotion(M)＝[fanim(M，t1)，fanim(M，t2)，…，fanim(M，tN)]；
fanim(M，t)＝[p(M，t)，q1(M，t)，q2(M，t)，…，qr(M，t)]T；
其中，M为任一动作片段，z(M)为与M对应的节奏特征，hz为特征映射，zdim为z(M)的维度，示例性的，zdim可以取128。fmotion为矩阵形式的M的特征序列，t为M的任一时刻，N为M的采样数，采样数可以为每拍8个采样点，1小节为4拍，则一小节的动作的采样数可以为32。fanim为矩阵形式的M在t时刻的特征，p(M，t)为根节点的三维空间位置，q(M，t)为角色的关节的旋转信息，r为关节的序号。
fmotion包含了动作片段在一定时间内的姿态信息，姿态信息也即是动作片段在某一时刻由多个关节的信息构成的动作信息，z(M)可以反映动作片段M的节奏特征，进而可以将动作片段与音乐片段关联。特征映射hz可以采用非监督训练的方法学习。非监督训练可以包括自编码器。特征映射hz的训练过程可以包括：将源特征编码到不同维度的特征空间，再通过解码器将压缩的特征恢复源特征，最小化恢复的特征与源特征的差距，最终得到的中间编码特征即为较好的特征映射hz。
示例性的，角色的关节如表1所示。
表1
序号 关节 名称
1 Bip01 根节点
2 Bip01 Neck 脖子
3 Bip01 Spine 脊柱
4 Bip01 L Thigh 左大腿
5 Bip01 R Thigh 右大腿
6 Bip01 L Calf 左小腿
7 Bip01 R Calf 右小腿
8 Bip01 L UpperArm 左上臂
9 Bip01 R UpperArm 右上臂
10 Bip01 L Forearm 左前臂
11 Bip01 R Forearm 右前臂
12 Bip01 L Hand 左手
13 Bip01 R Hand 右手
14 Bip01 L Foot 左脚
15 Bip01 R Foot 右脚
示例性的，fmotion可以包括一个二维矩阵。首先将fmotion输入一个2层3*3卷积神经网络得到一组局部特征flocal，接着将floca1输入一个2层3*3卷积神经网络以及一个全连接层得到全局特征fglobal。最后fglobal输入一个全连接层得到节奏特征z。之后可以连接fglobal(Mi)和flocal(Mi)作为正样本，通过负采样的方式，连接fglobal(Mi)和随机选取的flocal(Mj)，作为负样本，通过训练判别器区分正样本和负样本，优化节奏特征z。判别器可以包括3层的全连接层神经网络。节奏特征z能够区分不同动作片段在时间上的节奏变化。
步骤303，根据第一距离公式确定任意两个节奏特征中第一节奏特征对应的音乐片段与第二节奏特征对应的动作片段的距离。
第一距离公式包括：
Dmatch(Ai，Mj)＝Dmotion(Mi，Mj)＝||z(Mi)-z(Mj)||；
其中，Ai为第一节奏特征对应的音乐片段，Mj为第二节奏特征对应的动作片段，Dmatch为任意两个节奏特征中第一节奏特征对应的音乐片段与第二节奏特征对应的动作片段的距离，Mi为第一节奏特征对应的动作片段，Dmotion为任意两个节奏特征中第一节奏特征对应的动作片段与第二节奏特征对应的动作片段的距离，z(Mi)为第一节奏特征，z(Mj)为第二节奏特征。
根据第一节奏特征与第二节奏特征之间的欧式距离，可以确定第一节奏特征对应的音乐片段与第二节奏特征对应的动作片段的距离。欧式距离也即是欧几里得度量，在二维和三维空间中的欧氏距离就是两点之间的实际距离。
示例性的，可以采用欧式距离计算第一节奏特征与第二节奏特征之间的差值，也即是第一节奏特征对应的动作片段与第二节奏特征对应的动作片段的距离Dmotion，进而得到第一节奏特征对应的音乐片段与第二节奏特征对应的动作片段的距离Dmatch。
步骤304，确定多个节奏特征对应音乐片段与动作片段中，距离最大的n个音乐片段与动作片段，以及距离最小的m个音乐片段与动作片段。m和n均为大于0的整数。
对于Y段人工编舞的音乐舞蹈片段，可以得到Y2个音乐片段与动作片段的距离，Y2个距离可能会存在数据较多的问题，因此，可以根据第一距离公式确定多个节奏特征对应音乐片段与动作片段中，距离最大的n个音乐片段与动作片段，以及距离最小的m个音乐片段与动作片段，这样不仅可以减少数据，也可以使得数据更具有代表性。
步骤305，获取n个音乐片段与动作片段的特征序列，以及m个音乐片段与动作片段的特征序列。
根据所述fmotion(M)＝[fanim(M，t1)，fanim(M，t2)，…，fanim(M，tN)]确定矩阵形式的动作片段的特征序列；
根据faudio(A)＝[fmfcc(A，t1)，fmfcc(A，t2)，…，fmfcc(A，tN)]确定矩阵形式的音乐片段的特征序列；
其中，A为任一音乐片段，t为M与A的任一时刻，N为M与A的采样数，fmfcc(A，t)为任一时刻t的A的梅尔频率倒谱系数。
梅尔频率倒谱系数(Mel-Frequency Cepstral Coefficients，MFCC)是组成梅尔频率倒谱的系数，梅尔频率倒谱的频带更能近似人类的听觉***。
步骤306，获取训练数据。
训练数据包括n个音乐片段与动作片段的特征序列、m个音乐片段与动作片段的特征序列、n个音乐片段与动作片段的距离以及m个音乐片段与动作片段的距离。
其中，音乐片段与动作片段的距离可以包括距离最远的n个距离以及距离最近的m个距离，这样可以使训练数据更具有代表性。
步骤307，根据训练数据对初始神经网络模型进行训练，得到关于音乐片段的特征映射以及关于动作片段的特征映射。
其中，初始神经网络模型可以包括3层长短期记忆网络(Long Short-TermMemory，LSTM)。
步骤308，根据关于音乐片段的特征映射以及关于动作片段的特征映射得到音乐片段与动作片段匹配距离模型。
音乐片段与动作片段匹配距离模型包括：
Dmatch(Ai，Mj)＝hmatch(faudio(Ai)，fmotion(Mj))；
hmatch(faudio(Ai)，fmotion(Mj))＝||haudio(faudio(Ai))-hmotion(fmotion(Mj))||；
其中，haudio为关于音乐片段的特征映射，hmotion为关于动作片段的特征映射hmatch为音乐片段与动作片段匹配距离的映射。
在本公开实施例中，可以采用欧式距离计算关于音乐片段的特征映射与关于动作片段的特征映射之间的距离，进而得到音乐片段与动作片段匹配距离。
步骤309，根据动作过渡距离公式确定动作过渡距离。
动作过渡距离公式包括：
Figure BDA0002285519770000101
cost(Mi，Mj)＝max{speed(ftrans(Mi，Mj))}；
ftrans(Mi，Mj)＝blend(ffrom(Mi)，fto(Mj))；
ffrom(M)＝[fanim(M，tN-s)，fanim(M，tN-s+1)，…，fanim(M，tN+s-1)，fanim(M，tN+s)]；
fto(M)＝[fanim(M，t-s)，fanim(M，t-s+1)，…，fanim(M，ts-1)，fanim(M，ts)]；
其中，Dtrans为动作过渡距离，cost(Mi，Mj)为在所有关节速度中取最大值作为Mi过渡到Mj的代价，θ为第一阈值，speed为关节速度，ftrans为过渡动作，blend为动作混合算法，ffrom为以Mi最后一帧的时刻为中心，以半拍的长度为窗口，从Mi中截取半拍的动作，fto为以Mj第一帧的时刻为中心，以半拍的长度为窗口，从Mj中截取半拍的动作，s为窗口的半径。
动作混合算法blend可以将两个动作片段合成为一个动作片段。
在本公开实施例中，采样数可以为每拍8个采样点，则窗口的半径s为4。
步骤310，根据音乐片段与动作片段的距离公式确定音乐片段与动作片段的距离。
音乐片段与动作片段的距离公式包括：
Figure BDA0002285519770000111
其中，D为音乐片段与动作片段的距离，{Mx1，Mx2，...，Mxn}为动作片段库中的多个动作片段。
将音乐片段与动作片段匹配距离Dmatch与动作片段之间的过渡距离Dtrans相加可以得到音乐片段与动作片段的距离D。
步骤311，获取待匹配音乐。
待匹配音乐为未进行人工编舞的音乐，待匹配音乐包括多个待匹配音乐片段。该待匹配音乐可以由用户通过终端来选取，或者可以由服务器的操作人员来选取，也可以由服务器直接在包括多个待匹配音乐的音乐库中选取。
步骤312，通过动态规划算法确定动作片段库中与多个待匹配音乐片段的总距离最小的多个目标动作片段。
其中，动作片段库中包括多个动作片段。动态规划算法是解决最优化问题的一种方法，可以用于确定动作片段库中与多个待匹配音乐片段的总距离最小的多个目标动作片段。
步骤313，将多个目标动作片段与待匹配音乐进行匹配。
将动作片段库中与多个待匹配音乐片段的总距离最小的多个目标动作片段与待匹配音乐进行匹配。匹配完成之后，连接多个目标动作片段得到与待匹配音乐匹配的舞蹈动作。
本公开提供的音乐与动作的匹配方法，可以由服务器对大批量的待匹配音乐进行编舞，减小了音乐与动作的匹配时间。
综上所述，本公开提供了一种音乐与动作的匹配方法，该方法通过将音乐片段的特征序列、动作片段的特征序列以及音乐片段与动作片段的距离作为训练样本，训练得到音乐片段与动作片段匹配距离模型，该模型的输出为音乐片段与动作片段的匹配距离，获取动作过渡距离，将匹配距离与动作过渡距离的和作为音乐片段与动作片段的距离，获取包括多个待匹配音乐片段的待匹配音乐，确定与待匹配音乐片段的总距离最小的多个目标动作片段，将多个目标动作片段与待匹配音乐进行匹配，动作片段与待匹配音乐的匹配程度较高。解决了相关技术中动作片段与待匹配音乐的匹配程度较差的问题。
在一个示例性实施例中，由人穿戴动作捕捉设备对音乐进行编舞，通过获取动作捕捉设备捕捉到的动作，并将获取到的动作进行处理，得到音乐舞蹈。按照一小节步距，一小节时长和一小节步距，两小节时长拆分音乐舞蹈，得到多个音乐舞蹈片段，服务器获取多个音乐舞蹈片段。根据上述节奏特征公式确定节奏特征，根据上述第一距离公式确定任意两个节奏特征中第一节奏特征对应的音乐片段与第二节奏特征对应的动作片段的欧式距离，确定多个节奏特征对应音乐片段与动作片段中，距离最大的n个音乐片段与动作片段，以及距离最小的m个音乐片段与动作片段(m和n均为大于0的整数)，获取n个音乐片段与动作片段的特征序列，以及m个音乐片段与动作片段的特征序列。
获取n个音乐片段与动作片段的特征序列、m个音乐片段与动作片段的特征序列、n个音乐片段与动作片段的距离以及m个音乐片段与动作片段的距离作为训练数据。根据训练数据对初始神经网络模型进行训练，得到关于音乐片段的特征映射以及关于动作片段的特征映射，根据关于音乐片段的特征映射以及关于动作片段的特征映射得到音乐片段与动作片段匹配距离模型，该模型的输出为音乐片段与动作片段的匹配距离。根据上述动作过渡距离公式确定动作过渡距离。根据上述音乐片段与动作片段的匹配距离模型的输出，确定音乐片段与动作片段的距离。
获取待匹配音乐，待匹配音乐包括多个待匹配音乐片段。通过动态规划算法确定动作片段库中与多个待匹配音乐片段的总距离最小的多个目标动作片段。将多个目标动作片段与待匹配音乐进行匹配。
请参考图4，其示出了本公开实施例提供的一种音乐与动作的匹配装置400的结构示意图，该音乐与动作的匹配装置400可以为服务器。示例地，如图4所示，该装置400包括中央处理单元(CPU)401、包括随机存取存储器(RAM)402和只读存储器(ROM)403的***存储器404，以及连接***存储器404和中央处理单元401的***总线405。装置400还包括帮助计算机内的各个器件之间传输信息的基本输入/输出***(I/O***)406，和用于存储操作***413、应用程序414和其他程序模块415的大容量存储设备407。
基本输入/输出***406包括有用于显示信息的显示器408和用于用户输入信息的诸如鼠标、键盘之类的输入设备409。其中显示器408和输入设备409都通过连接到***总线405的输入输出控制器410连接到中央处理单元401。基本输入/输出***406还可以包括输入输出控制器410以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入/输出控制器410还提供输出到显示屏、打印机或其他类型的输出设备。
大容量存储设备407通过连接到***总线405的大容量存储控制器(未示出)连接到中央处理单元401。大容量存储设备407及其相关联的计算机可读介质为装置400提供非易失性存储。也就是说，大容量存储设备407可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。
不失一般性，计算机可读存储介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术，CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知计算机存储介质不局限于上述几种。上述的***存储器404和大容量存储设备407可以统称为存储器。
根据本公开的各种实施例，装置400还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即装置400可以通过连接在***总线405上的网络接口单元411连接到网络412，或者说，也可以使用网络接口单元411来连接到其他类型的网络或远程计算机***(未示出)。
上述存储器还包括一个或者一个以上的程序，一个或者一个以上程序存储于存储器中，被配置由CPU执行，以实现本公开实施例提供的方法。
本申请实施例还提供了一种计算机存储介质，该计算机存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由处理器加载并执行以实现如上述方法实施例所提供的音乐与动作的匹配方法。
以上仅为本公开的可选实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (10)

1.一种音乐与动作的匹配方法，其特征在于，所述方法包括：
获取人工编舞的多个音乐舞蹈片段，每个所述音乐舞蹈片段包括音乐片段以及对应的动作片段；
获取所述多个音乐舞蹈片段对应的多个节奏特征；
将所述多个节奏特征中，任意两个节奏特征的欧式距离确定为所述任意两个节奏特征中第一节奏特征对应的音乐片段与第二节奏特征对应的动作片段的距离；
确定所述多个节奏特征对应音乐片段与动作片段中，距离最大的n个音乐片段与动作片段，以及距离最小的m个音乐片段与动作片段，所述m和n均为大于0的整数；
获取所述n个音乐片段与动作片段的特征序列，以及所述m个音乐片段与动作片段的特征序列；
以所述n个音乐片段与动作片段的特征序列、所述m个音乐片段与动作片段的特征序列、所述n个音乐片段与动作片段的距离以及所述m个音乐片段与动作片段的距离作为训练样本，训练得到音乐片段与动作片段匹配距离模型，所述音乐片段与动作片段匹配距离模型的输出为音乐片段与动作片段的匹配距离；
获取动作过渡距离公式，所述动作过渡距离公式用于输出动作过渡距离；
将所述音乐片段与动作片段的匹配距离与所述动作过渡距离的和作为音乐片段与动作片段的距离；
获取待匹配音乐，所述待匹配音乐包括多个待匹配音乐片段；
确定动作片段库中与所述多个待匹配音乐片段的总距离最小的多个目标动作片段，所述动作片段库中包括多个动作片段；
将所述多个目标动作片段与所述待匹配音乐进行匹配。
2.根据权利要求1所述的方法，其特征在于，所述获取所述多个音乐舞蹈片段对应的多个节奏特征，包括：
根据节奏特征公式确定所述节奏特征，所述节奏特征公式包括：
z(M)＝hz(fmotion(M))＝[z1，z2，…，zzdin]T；
fmotion(M)＝[fanim(M，t1)，fanim(M，t2)，…，fanim(M，tN)]；
fanim(M，t)＝[p(M，t)，q1(M，t)，q2(M，t)，…，qr(M，t)]T；
其中，所述M为任一所述动作片段，所述z(M)为与所述M对应的所述节奏特征，所述hz为特征映射，所述zdim为所述z(M)的维度,所述fmotion为矩阵形式的所述M的特征序列，所述t为所述M的任一时刻，所述N为所述M的采样数，所述fanim为矩阵形式的所述M在所述t时刻的特征，所述p(M,t)为根节点的三维空间位置，所述q(M,t)为角色的关节的旋转信息，所述r为所述关节的序号。
3.根据权利要求1所述的方法，其特征在于，所述将所述多个节奏特征中，任意两个节奏特征的欧式距离确定为所述任意两个节奏特征中第一节奏特征对应的音乐片段与第二节奏特征对应的动作片段的距离，包括：
根据第一距离公式确定所述任意两个节奏特征中第一节奏特征对应的音乐片段与第二节奏特征对应的动作片段的距离，所述第一距离公式包括：
Dmatch(Ai，Mj)＝Dmotion(Mi，Mj)＝||z(Mi)-z(Mj)||；
其中，所述Ai为所述第一节奏特征对应的音乐片段，所述Mj为所述第二节奏特征对应的动作片段，所述Dmatch为所述任意两个节奏特征中第一节奏特征对应的音乐片段与第二节奏特征对应的动作片段的距离，所述Mi为所述第一节奏特征对应的动作片段，所述Dmotion为所述任意两个节奏特征中第一节奏特征对应的动作片段与第二节奏特征对应的动作片段的距离，所述z(Mi)为所述第一节奏特征，所述z(Mj)为所述第二节奏特征。
4.根据权利要求1所述的方法，其特征在于，所述获取所述n个音乐片段与动作片段的特征序列，以及所述m个音乐片段与动作片段的特征序列，包括：
根据所述fmotion(M)＝[fanim(M，t1)，fanim(M，t2)，…，fanim(M，tN)]确定矩阵形式的动作片段的特征序列；
根据faudio(A)＝[fmfcc(A，t1)，fmfcc(A，t2)，…，fmfcc(A，tN)]确定矩阵形式的音乐片段的特征序列；
其中，所述A为任一所述音乐片段，所述t为所述M与所述A的任一时刻，所述N为所述M与所述A的采样数，所述fmfcc(A,t)为所述任一时刻t的所述A的梅尔频率倒谱系数。
5.根据权利要求1所述的方法，其特征在于，所述以所述n个音乐片段与动作片段的特征序列、所述m个音乐片段与动作片段的特征序列、所述n个音乐片段与动作片段的距离以及所述m个音乐片段与动作片段的距离作为训练样本，训练得到音乐片段与动作片段匹配距离模型，包括：
获取训练数据，所述训练数据包括所述n个音乐片段与动作片段的特征序列、所述m个音乐片段与动作片段的特征序列、所述n个音乐片段与动作片段的距离以及所述m个音乐片段与动作片段的距离；
根据所述训练数据对初始神经网络模型进行训练，得到关于音乐片段的特征映射以及关于动作片段的特征映射；
根据所述关于音乐片段的特征映射以及所述关于动作片段的特征映射得到音乐片段与动作片段匹配距离模型，所述音乐片段与动作片段匹配距离模型包括：
Dmatch(Ai，Mj)＝hmatch(faudio(Ai)，fmotion(Mj))；
hmatch(faudio(Ai)，fmotion(Mj))＝||haudio(faudio(Ai))-hmotion(fmotion(Mj))||；
其中，所述haudio为关于音乐片段的特征映射，所述hmotion为关于动作片段的特征映射，所述hmatch为音乐片段与动作片段匹配距离的映射。
6.根据权利要求1所述的方法，其特征在于，所述动作过渡距离公式，包括：
Figure FDA0002285519760000031
cost(Mi，Mj)＝max{speed(ftrans(Mi，Mj))}；
ftrans(Mi，Mj)＝blend(ffrom(Mi)，fto(Mj))；
ffrom(M)＝[fanim(M，tN-s)，fanim(M，tN-s+1)，…，fanim(M，tN+s-1)，fanim(M，tN+s)]；
fto(M)＝[fanim(M，t-s)，fanim(M，t-s+1)，…，fanim(M，ts-1)，fanim(M，ts)]；
其中，所述Dtrans为所述动作过渡距离，所述cost(Mi，Mj)为在所有关节速度中取最大值作为所述Mi过渡到所述Mj的代价，所述θ为第一阈值，所述speed为所述关节速度，所述ftrans为过渡动作，所述blend为动作混合算法，所述ffrom为以所述Mi最后一帧的时刻为中心，以半拍的长度为窗口，从所述Mi中截取半拍的动作，所述fto为以所述Mj第一帧的时刻为中心，以半拍的长度为窗口，从所述Mj中截取半拍的动作，所述s为窗口的半径。
7.根据权利要求6所述的方法，其特征在于，所述将所述音乐片段与动作片段的匹配距离与所述动作过渡距离的和作为音乐片段与动作片段的距离，包括：
根据音乐片段与动作片段的距离公式确定所述音乐片段与动作片段的距离，所述音乐片段与动作片段的距离公式包括：
Figure FDA0002285519760000041
其中，所述D为所述音乐片段与动作片段的距离，所述{Mx1，Mx2，...，Mxn}为所述动作片段库中多个所述动作片段。
8.根据权利要求1所述的方法，其特征在于，所述确定动作片段库中与所述多个待匹配音乐片段的总距离最小的多个目标动作片段，包括：
通过动态规划算法确定所述动作片段库中与所述多个待匹配音乐片段的总距离最小的所述多个目标动作片段。
9.一种音乐与动作的匹配设备，其特征在于，所述音乐与动作的匹配设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至8任一所述的音乐与动作的匹配方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至8任一所述的音乐与动作的匹配方法。
CN201911158848.6A 2019-11-22 2019-11-22 音乐与动作的匹配方法、设备及计算机存储介质 Active CN111104964B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911158848.6A CN111104964B (zh) 2019-11-22 2019-11-22 音乐与动作的匹配方法、设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911158848.6A CN111104964B (zh) 2019-11-22 2019-11-22 音乐与动作的匹配方法、设备及计算机存储介质

Publications (2)

Publication Number Publication Date
CN111104964A true CN111104964A (zh) 2020-05-05
CN111104964B CN111104964B (zh) 2023-10-17

Family

ID=70421341

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911158848.6A Active CN111104964B (zh) 2019-11-22 2019-11-22 音乐与动作的匹配方法、设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN111104964B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112989071A (zh) * 2020-12-14 2021-06-18 北京航空航天大学 一种基于人体舞蹈情感的音乐选择方法
CN115035221A (zh) * 2022-06-17 2022-09-09 广州虎牙科技有限公司 一种舞蹈动画合成方法、装置、设备及存储介质
CN116830158A (zh) * 2020-09-30 2023-09-29 斯纳普公司 人类角色的音乐反应动画

Citations (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005231012A (ja) * 2004-02-23 2005-09-02 Sony Corp ロボット装置及びその制御方法
AU2006292461A1 (en) * 2005-09-16 2007-03-29 Flixor, Inc. Personalizing a video
JP2007292847A (ja) * 2006-04-21 2007-11-08 Victor Co Of Japan Ltd 楽曲編集・再生装置
TW200746040A (en) * 2005-12-19 2007-12-16 David John Lumsden Digital music composition device, composition software and method of use
CN101615302A (zh) * 2009-07-30 2009-12-30 浙江大学 音乐数据驱动的基于机器学习的舞蹈动作生成方法
US20100175538A1 (en) * 2009-01-15 2010-07-15 Ryoichi Yagi Rhythm matching parallel processing apparatus in music synchronization system of motion capture data and computer program thereof
WO2013086534A1 (en) * 2011-12-08 2013-06-13 Neurodar, Llc Apparatus, system, and method for therapy based speech enhancement and brain reconfiguration
US20160110453A1 (en) * 2014-10-16 2016-04-21 Electronics And Telecommunications Research Institute System and method for searching choreography database based on motion inquiry
CN106292424A (zh) * 2016-08-09 2017-01-04 北京光年无限科技有限公司 针对人形机器人的音乐数据处理方法及装置
US20170092248A1 (en) * 2015-09-30 2017-03-30 Apple Inc. Automatic composer
CN106598062A (zh) * 2016-07-29 2017-04-26 深圳曼塔智能科技有限公司 无人机的飞行动作控制方法及装置
US20170148176A1 (en) * 2015-11-24 2017-05-25 Fujitsu Limited Non-transitory computer-readable storage medium, evaluation method, and evaluation device
CN106875930A (zh) * 2017-02-09 2017-06-20 深圳市韵阳科技有限公司 基于歌曲伴音和话筒人声实时检测的灯光控制方法及***
CN107193551A (zh) * 2017-04-19 2017-09-22 北京永航科技有限公司 一种生成图像帧的方法和装置
CN108202334A (zh) * 2018-03-22 2018-06-26 东华大学 一种能够识别音乐节拍和风格的舞蹈机器人
CN108369799A (zh) * 2015-09-29 2018-08-03 安泊音乐有限公司 采用基于语言学和/或基于图形图标的音乐体验描述符的自动音乐合成和生成的机器、***和过程
CN108527376A (zh) * 2018-02-27 2018-09-14 深圳狗尾草智能科技有限公司 控制机器人舞蹈动作的方法、装置、设备及介质
CN108733508A (zh) * 2017-04-17 2018-11-02 伊姆西Ip控股有限责任公司 用于控制数据备份的方法和***
CN108744542A (zh) * 2018-06-08 2018-11-06 武汉蛋玩科技有限公司 一种机器人舞蹈动作设计方法及一种机器人
CN108877838A (zh) * 2018-07-17 2018-11-23 黑盒子科技（北京）有限公司 音乐特效匹配方法及装置
CN109176541A (zh) * 2018-09-06 2019-01-11 南京阿凡达机器人科技有限公司 一种实现机器人跳舞的方法、设备和储存介质
CN109189979A (zh) * 2018-08-13 2019-01-11 腾讯科技（深圳）有限公司 音乐推荐方法、装置、计算设备和存储介质
CN109522959A (zh) * 2018-11-19 2019-03-26 哈尔滨理工大学 一种乐谱识别分类及演奏控制方法
CN109833608A (zh) * 2018-12-29 2019-06-04 南京华捷艾米软件科技有限公司 一种基于3d体感摄像头的舞蹈动作教辅方法及***
CN109948796A (zh) * 2019-03-13 2019-06-28 腾讯科技（深圳）有限公司 自编码器学习方法、装置、计算机设备及存储介质
CN110324728A (zh) * 2019-06-28 2019-10-11 浙江传媒学院 基于深度强化学习的体育赛事全场回顾短视频生成方法

Patent Citations (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005231012A (ja) * 2004-02-23 2005-09-02 Sony Corp ロボット装置及びその制御方法
AU2006292461A1 (en) * 2005-09-16 2007-03-29 Flixor, Inc. Personalizing a video
TW200746040A (en) * 2005-12-19 2007-12-16 David John Lumsden Digital music composition device, composition software and method of use
JP2007292847A (ja) * 2006-04-21 2007-11-08 Victor Co Of Japan Ltd 楽曲編集・再生装置
US20100175538A1 (en) * 2009-01-15 2010-07-15 Ryoichi Yagi Rhythm matching parallel processing apparatus in music synchronization system of motion capture data and computer program thereof
CN101615302A (zh) * 2009-07-30 2009-12-30 浙江大学 音乐数据驱动的基于机器学习的舞蹈动作生成方法
WO2013086534A1 (en) * 2011-12-08 2013-06-13 Neurodar, Llc Apparatus, system, and method for therapy based speech enhancement and brain reconfiguration
US20160110453A1 (en) * 2014-10-16 2016-04-21 Electronics And Telecommunications Research Institute System and method for searching choreography database based on motion inquiry
CN108369799A (zh) * 2015-09-29 2018-08-03 安泊音乐有限公司 采用基于语言学和/或基于图形图标的音乐体验描述符的自动音乐合成和生成的机器、***和过程
US20170092248A1 (en) * 2015-09-30 2017-03-30 Apple Inc. Automatic composer
US20170148176A1 (en) * 2015-11-24 2017-05-25 Fujitsu Limited Non-transitory computer-readable storage medium, evaluation method, and evaluation device
CN106598062A (zh) * 2016-07-29 2017-04-26 深圳曼塔智能科技有限公司 无人机的飞行动作控制方法及装置
CN106292424A (zh) * 2016-08-09 2017-01-04 北京光年无限科技有限公司 针对人形机器人的音乐数据处理方法及装置
CN106875930A (zh) * 2017-02-09 2017-06-20 深圳市韵阳科技有限公司 基于歌曲伴音和话筒人声实时检测的灯光控制方法及***
CN108733508A (zh) * 2017-04-17 2018-11-02 伊姆西Ip控股有限责任公司 用于控制数据备份的方法和***
CN107193551A (zh) * 2017-04-19 2017-09-22 北京永航科技有限公司 一种生成图像帧的方法和装置
CN108527376A (zh) * 2018-02-27 2018-09-14 深圳狗尾草智能科技有限公司 控制机器人舞蹈动作的方法、装置、设备及介质
CN108202334A (zh) * 2018-03-22 2018-06-26 东华大学 一种能够识别音乐节拍和风格的舞蹈机器人
CN108744542A (zh) * 2018-06-08 2018-11-06 武汉蛋玩科技有限公司 一种机器人舞蹈动作设计方法及一种机器人
CN108877838A (zh) * 2018-07-17 2018-11-23 黑盒子科技（北京）有限公司 音乐特效匹配方法及装置
CN109189979A (zh) * 2018-08-13 2019-01-11 腾讯科技（深圳）有限公司 音乐推荐方法、装置、计算设备和存储介质
CN109176541A (zh) * 2018-09-06 2019-01-11 南京阿凡达机器人科技有限公司 一种实现机器人跳舞的方法、设备和储存介质
CN109522959A (zh) * 2018-11-19 2019-03-26 哈尔滨理工大学 一种乐谱识别分类及演奏控制方法
CN109833608A (zh) * 2018-12-29 2019-06-04 南京华捷艾米软件科技有限公司 一种基于3d体感摄像头的舞蹈动作教辅方法及***
CN109948796A (zh) * 2019-03-13 2019-06-28 腾讯科技（深圳）有限公司 自编码器学习方法、装置、计算机设备及存储介质
CN110324728A (zh) * 2019-06-28 2019-10-11 浙江传媒学院 基于深度强化学习的体育赛事全场回顾短视频生成方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
方丹芳;李学明;柳杨;李荣锋;: "基于过渡帧插值的音乐驱动舞蹈动作合成", no. 03 *
樊儒昆;傅晶;程司雷;张翔;耿卫东;: "动作与音乐的节奏特征匹配模型", no. 06 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116830158A (zh) * 2020-09-30 2023-09-29 斯纳普公司 人类角色的音乐反应动画
CN112989071A (zh) * 2020-12-14 2021-06-18 北京航空航天大学 一种基于人体舞蹈情感的音乐选择方法
CN115035221A (zh) * 2022-06-17 2022-09-09 广州虎牙科技有限公司 一种舞蹈动画合成方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111104964B (zh) 2023-10-17

Similar Documents

Publication Publication Date Title
CN108615055B (zh) 一种相似度计算方法、装置及计算机可读存储介质
Tsuchida et al. AIST Dance Video Database: Multi-Genre, Multi-Dancer, and Multi-Camera Database for Dance Information Processing.
CN109462776B (zh) 一种视频特效添加方法、装置、终端设备及存储介质
CN111104964B (zh) 音乐与动作的匹配方法、设备及计算机存储介质
CN111679949A (zh) 基于设备指标数据的异常检测方法及相关设备
CN111444967B (zh) 生成对抗网络的训练方法、生成方法、装置、设备及介质
CN109065008B (zh) 一种音乐演奏曲谱匹配方法、存储介质及智能乐器
WO2019100754A1 (zh) 人体动作的识别方法、装置和电子设备
CN110298220B (zh) 动作视频直播方法、***、电子设备、存储介质
WO2021098616A1 (zh) 运动姿态识别方法、运动姿态识别装置、终端设备及介质
CN111597975B (zh) 人员动作检测方法、装置及电子设备
Liu et al. Optimization-based key frame extraction for motion capture animation
WO2021213008A1 (zh) 一种视频的音画匹配方法、相关装置以及存储介质
JP2021140780A (ja) 地図作成のためのコンピュータ実施方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム
CN108491754A (zh) 一种基于骨骼特征的动态表示和匹配的人体行为识别方法
CN110516749A (zh) 模型训练方法、视频处理方法、装置、介质和计算设备
CN115691544A (zh) 虚拟形象口型驱动模型的训练及其驱动方法、装置和设备
CN113569753A (zh) 视频中的动作比对方法、装置、存储介质与电子设备
CN110827789B (zh) 音乐生成方法、电子装置及计算机可读存储介质
CN111858891A (zh) 问答库构建方法、装置、电子设备及存储介质
CN114708660A (zh) 基于平均序列求法的网球动作评分方法、***及设备
CN111353347B (zh) 动作识别纠错方法、电子设备、存储介质
CN106297807A (zh) 训练声纹识别***的方法和装置
CN110717539A (zh) 基于人工智能的降维模型训练方法、检索方法及装置
CN114401439B (zh) 一种舞蹈视频生成方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant