CN110781820B - 游戏角色的动作生成方法、装置、计算机设备及存储介质 - Google Patents

游戏角色的动作生成方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN110781820B
CN110781820B CN201911025146.0A CN201911025146A CN110781820B CN 110781820 B CN110781820 B CN 110781820B CN 201911025146 A CN201911025146 A CN 201911025146A CN 110781820 B CN110781820 B CN 110781820B
Authority
CN
China
Prior art keywords
action
information
audio
key
recording file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911025146.0A
Other languages
English (en)
Other versions
CN110781820A (zh
Inventor
陈佳丽
丁彧
刘杨
范长杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN201911025146.0A priority Critical patent/CN110781820B/zh
Publication of CN110781820A publication Critical patent/CN110781820A/zh
Application granted granted Critical
Publication of CN110781820B publication Critical patent/CN110781820B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/56—Computing the motion of game characters with respect to other game characters, game objects or elements of the game scene, e.g. for simulating the behaviour of a group of virtual soldiers or for path finding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/205—3D [Three Dimensional] animation driven by audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Acoustics & Sound (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请提供了一种游戏角色的动作生成方法、装置、计算机设备及存储介质，其中，该方法包括：获取用户输入的用于播放音乐的按键信息；将获取的所述按键信息输入至预先训练的动作生成模型中，得到与所述按键信息对应的骨骼动作信息；基于所述骨骼动作信息，生成游戏角色的动作信息。采用上述方案，能够通过预先训练出的动作生成模型自动生成与用户输入的按键信息相匹配的游戏动作，省时省力，且生成的游戏动作与用户输入的按键所对应的音乐是同步的，从而提升了游戏交互的准确度。

Description

游戏角色的动作生成方法、装置、计算机设备及存储介质
技术领域
本申请涉及计算机技术领域，具体而言，涉及一种游戏角色的动作生成方法、装置、计算机设备及存储介质。
背景技术
随着互联网技术的发展，出现了各种各样的三维(3-Dimensions，3D)在线网游。在3D在线网游的开发过程中，为了增加游戏交互的趣味性，通常可以为游戏角色设置各种动作。特别是在一些与音乐相关的游戏中，为了给用户带来听觉和视觉的双重体验，在用户利用按键进行乐器弹奏时，需要游戏角色进行弹奏动作的表现。
相关技术中提供了一种有关弹琴动作的生成方法，该方法依赖于特效师的制作水平，也即，特效师可以基于美工技能设计出若干弹奏动作(如弹奏指法)。这样，在应用到相关音乐游戏中时，可以将若干弹奏动作加载到对应的游戏人物模型中，并以循环展现弹奏动作的方式呈现人物动画效果。
可见，上述生成方法需要特效师人工设计弹奏动作，费时费力，且设计的弹奏动作与音乐本身是不同步的，降低了游戏交互的准确度。
发明内容
有鉴于此，本申请至少提供一种游戏角色的动作生成方案，能够基于预先训练的动作生成模型自动生成与用户输入按键相匹配的游戏动作，省时省力，且游戏交互的准确度较佳。
主要包括以下几个方面：
第一方面，本申请提供了一种游戏角色的动作生成方法，所述方法包括：
获取用户输入的用于播放音乐的按键信息；
将获取的所述按键信息输入至预先训练的动作生成模型中，得到与所述按键信息对应的骨骼动作信息；
基于所述骨骼动作信息，生成游戏角色的动作信息。
在一种实施方式中，根据以下步骤训练所述动作生成模型：
获取真实人物进行乐器弹奏时产生的至少一个音频录制文件，以及与每个音频录制文件对应的多个动作视频；多个动作视频是由对应的多个拍摄设备通过从不同拍摄角度捕捉真实人物进行乐器弹奏时的弹奏动作所得到的视频；
针对每个音频录制文件，基于该音频录制文件对应的多个动作视频确定所述真实人物的骨骼动作序列信息；以及，基于音频信息与按键信息之间的对应关系，确定与该音频录制文件对应的按键序列信息；
基于每个音频录制文件对应的按键序列信息以及骨骼动作序列信息，训练得到所述动作生成模型。
在一种实施方式中，所述针对每个音频录制文件，基于该音频录制文件对应的多个动作视频确定所述真实人物的骨骼动作序列信息，包括：
针对每个音频录制文件，从该音频录制文件对应的每个动作视频中提取动作图片；
针对提取的每个动作图片，基于该动作图片对应的动作视频中的动作时间点，确定所述真实人物在所述动作视频中的该动作时间点的骨骼动作信息；
将确定的各个骨骼动作信息按照对应的动作时间点的先后顺序进行排列组合，得到所述真实人物的骨骼动作序列信息。
在一种实施方式中，每个动作图片中携带有至少一个反光部件标记点；所述针对提取的每个动作图片，基于该动作图片对应的动作视频中的动作时间点，确定所述真实人物在所述动作视频中的该动作时间点的骨骼动作信息，包括：
从每个动作图片中提取出至少一个反光部件标记点；其中，在真实人物身上的关键位置粘贴有反光部件；
针对提取出的每个反光部件标记点，基于该反光部件标记点在所述动作图片中的位置信息，计算所述动作图片对应的拍摄设备与所述反光部件标记点所对应的真实人物身上的关键位置之间的距离；基于所述距离以及所述拍摄设备的拍摄参数信息，确定该反光部件标记点所对应的真实人物身上的关键位置信息；
通过将各个反光部件标记点所对应的真实人物身上的关键位置信息映射至三维骨骼驱动模型中，确定所述真实人物在所述动作视频中的每个动作时间点的骨骼动作信息。
在一种实施方式中，所述基于音频信息与按键信息之间的对应关系，确定与该音频录制文件对应的按键序列信息，包括：
针对每个音频录制文件，从该音频录制文件中提取与各个音频发生时间点对应的音频信息；
基于音频信息与按键信息之间的对应关系，确定与提取的每个音频信息对应的按键信息；
基于每个音频信息对应的在所述音频录制文件中的音频发生时间点，将各个音频信息对应的按键信息按照对应的音频发生时间点的先后顺序进行排列组合，得到与所述音频录制文件对应的按键序列信息。
在一种实施方式中，在针对每个音频录制文件，从该音频录制文件中提取与各个音频发生时间点对应的音频信息之后，还包括：
针对每个音频录制文件中的每个音频信息，基于该音频信息对应的音频发生时间点以及该音频信息之后的下一个音频信息对应的音频发生时间点，确定该音频信息的持续时长；确定与所述音频录制文件对应的动作视频中在该音频信息的持续时长内的动作图片的个数；
在所述基于音频信息与按键信息之间的对应关系，确定与提取的每个音频信息对应的按键信息之后，还包括：
针对每个音频信息，基于该音频信息对应的动作图片的个数，将该音频信息对应的按键信息进行扩展，得到扩展后的按键信息；
所述基于每个音频信息对应的在所述音频录制文件中的音频发生时间点，将各个音频信息对应的按键信息按照对应的音频发生时间点的先后顺序进行排列组合，得到与所述音频录制文件对应的按键序列信息，包括：
基于每个音频信息对应的在所述音频录制文件中的音频发生时间点，将各个音频信息对应扩展后的按键信息按照对应的音频发生时间点的先后顺序进行排列组合，得到与所述音频录制文件对应的按键序列信息。
在一种实施方式中，所述基于每个音频录制文件对应的按键序列信息以及骨骼动作序列信息，训练得到所述动作生成模型，包括：
将每个音频录制文件对应的按键序列信息输入至待训练的动作生成模型中，确定该待训练的动作生成模型输出的骨骼动作序列信息，将输出的骨骼动作序列信息与所述音频录制文件对应的骨骼动作序列信息进行对比，若不一致，则基于误差反向传播调整所述待训练的动作生成模型的参数信息，直至在输出的骨骼动作序列信息与所述音频录制文件对应的骨骼动作序列信息之间的匹配度达到预设阈值时，停止训练，得到训练后的动作生成模型。
在一种实施方式中，所述基于所述骨骼动作信息，生成游戏角色的动作信息，包括：
从各个三维骨骼驱动模型中查找与游戏角色匹配的目标三维骨骼驱动模型；
将所述骨骼动作信息输入至所述目标三维骨骼驱动模型中，生成游戏角色的动作信息。
第二方面，本申请还提供了一种游戏角色的动作生成方法，所述方法包括：
获取真实人物进行乐器弹奏时产生的至少一个音频录制文件，以及与每个音频录制文件对应的多个动作视频；多个动作视频是由对应的多个拍摄设备通过从不同拍摄角度捕捉真实人物进行乐器弹奏时的弹奏动作所得到的视频；
针对每个音频录制文件，基于该音频录制文件对应的多个动作视频确定所述真实人物的骨骼动作序列信息；以及，基于音频信息与按键信息之间的对应关系，确定与该音频录制文件对应的按键序列信息；
基于每个音频录制文件对应的按键序列信息以及骨骼动作序列信息，训练得到动作生成模型，以根据训练得到的所述动作生成模型对用户输入的用于播放音乐的按键信息进行骨骼动作预测。
第三方面，本申请还提供了一种游戏角色的动作生成装置，所述装置包括：
获取模块，用于获取用户输入的用于播放音乐的按键信息；
第一生成模块，用于将获取的所述按键信息输入至预先训练的动作生成模型中，得到与所述按键信息对应的骨骼动作信息；
第二生成模块，用于基于所述骨骼动作信息，生成游戏角色的动作信息。
第四方面，本申请还提供了一种游戏角色的动作生成装置，所述装置包括：
获取模块，用于获取真实人物进行乐器弹奏时产生的至少一个音频录制文件，以及与每个音频录制文件对应的多个动作视频；多个动作视频是由对应的多个拍摄设备通过从不同拍摄角度捕捉真实人物进行乐器弹奏时的弹奏动作所得到的视频；
确定模块，用于针对每个音频录制文件，基于该音频录制文件对应的多个动作视频确定所述真实人物的骨骼动作序列信息；以及，基于音频信息与按键信息之间的对应关系，确定与该音频录制文件对应的按键序列信息；
训练模块，用于基于每个音频录制文件对应的按键序列信息以及骨骼动作序列信息，训练得到动作生成模型，以根据训练得到的所述动作生成模型对用户输入的用于播放音乐的按键信息进行骨骼动作预测。
第五方面，本申请还提供了一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如第一方面、第一方面的各种实施方式及第二方面任一所述的动作生成方法的步骤。
第六方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面、第一方面的各种实施方式及第二方面任一所述的动作生成方法的步骤。
采用上述方案，首先获取用户输入的用于播放音乐的按键信息，然后将该按键信息输入至预先训练的动作生成模型中，得到与按键信息对应的骨骼动作信息，最后基于骨骼动作信息，生成游戏角色的动作信息，也即，本申请通过预先训练出的动作生成模型自动生成与用户输入的按键信息相匹配的游戏动作，省时省力，且生成的游戏动作与用户输入的按键所对应的音乐是同步的，从而提升了游戏交互的准确度。
为使本申请的上述方案、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例一所提供的一种游戏角色的动作生成方法的流程图；
图2示出了本申请实施例一所提供的一种游戏角色的动作生成方法中，训练动作生成模型的具体示例的示意图；
图3示出了本申请实施例一所提供的一种游戏角色的动作生成方法中，确定骨骼动作序列信息的具体示例的示意图；
图4示出了本申请实施例一所提供的一种游戏角色的动作生成方法中，确定骨骼动作信息的具体示例的示意图；
图5示出了本申请实施例一所提供的一种游戏角色的动作生成方法中，确定按键序列信息的具体示例的示意图；
图6示出了本申请实施例二所提供的一种游戏角色的动作生成方法的流程图；
图7示出了本申请实施例三所提供的一种游戏角色的动作生成装置的示意图；
图8示出了本申请实施例三所提供的另一种游戏角色的动作生成装置的示意图；
图9示出了本申请实施例四所提供的一种计算机设备的示意图；
图10示出了本申请实施例四所提供的另一种计算机设备的示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
在相关弹琴动作生成的方案中，需要特效师依赖于特效师的美工技能，人工设计弹奏动作，费时费力，且设计的弹奏动作与音乐本身是不同步的，降低了游戏交互的准确度。
基于上述研究，本申请提供了一种游戏角色的动作生成方法、装置、计算机设备及存储介质，能够基于预先训练的动作生成模型自动生成与用户输入按键相匹配的游戏动作，省时省力，且游戏交互的准确度较佳。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本申请针对上述问题所提出的解决方案，都属于发明人在本申请过程中对本申请做出的贡献性内容。
下面将结合本申请中附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为了便于理解本申请所提供的游戏角色的动作生成方法、装置、计算机设备及存储介质，接下来通过如下几个实施例进行具体描述。
实施例一
参见图1，为本申请实施例一提供的一种游戏角色的动作生成方法的流程图，该动作生成方法的执行主体可以是计算机设备，该计算机设备可以是用户端设备，还可以是服务端设备，其中，服务端设备可以是游戏服务器，用户端设备可以是移动设备(如手机、平板电脑等)，还可以是个人计算机，还可以是其它具有信息输入功能的设备，本申请实施例对此不做具体的限制。上述动作生成方法具体通过如下S101～S103的步骤进行实现：
S101、获取用户输入的用于播放音乐的按键信息；
S102、将获取的按键信息输入至预先训练的动作生成模型中，得到与按键信息对应的骨骼动作信息；
S103、基于骨骼动作信息，生成游戏角色的动作信息。
这里，首先获取用户输入的按键信息，该按键信息可以播放对应的音乐，这样，将该按键信息输入到预先训练的动作生成模型，即可得到与按键信息对应的骨骼动作信息，然后基于该骨骼动作信息生成游戏角色的动作信息。
可选的，用于播放音乐的按键信息，为用于控制游戏中的游戏角色弹奏虚拟乐器以播放音乐的按键信息；生成的动作信息为游戏角色弹奏虚拟乐器的动作信息。
其中，上述按键信息可以基于用户端的图像用户界面中呈现的虚拟键盘进行获取，也即，在用户针对虚拟按键上的任意按键执行动作(如点击、连击等)之后，本申请实施例可以获取对应的按键信息。由于该按键信息与播放出的音乐之间是预先配对的(如按键1对应于弹琴的do音)，这样，用户每执行一次按键动作，本申请均可以基于预先配对关系确定对应的音乐，并进行音乐播放，也即，在用户执行按键输入的过程中可以伴随有音乐。
另外，本申请实施例中的动作生成模型可以是预先基于真实人物进行乐器弹奏时产生的音频录制文件，所对应的按键序列信息以及骨骼动作序列信息训练得到的，之后，就可以基于该动作生成模型为用户提供服务了，此时只需要将上述用户输入的按键信息输入到训练好的动作生成模型中即可得到与按键信息对应的骨骼动作信息，该骨骼动作信息能够用于渲染出图形用户界面中游戏角色的动作信息，也即，在用户在图像用户界面上输入按键信息后，不仅可以伴随有音乐，其图形用户界面中的游戏角色也可以同步执行弹奏动作，也即，按键、音乐和动作达到同步，用户的游戏沉浸感大大提升，实用性较佳。
本申请实施例中，为了便于渲染出游戏角色动作信息，可以通过将骨骼动作信息输入三维骨骼驱动模型中来实现。
在具体应用中，可以从各个预先设置的各个三维骨骼驱动模型中查找与当前图形用户界面中的游戏角色对应的三维骨骼驱动模型，将当前按键对应的骨骼动作信息输入到查找的该三维骨骼驱动模型中即可确定游戏角色的动作信息。
本申请实施例中，动作生成模型的训练过程是执行动作生成方法的关键步骤，接下来结合图2进行详细说明。
如图2所示，本申请实施例提供的动作生成模型的训练方法具体包括如下步骤：
S201、获取真实人物进行乐器弹奏时产生的至少一个音频录制文件，以及与每个音频录制文件对应的多个动作视频；多个动作视频是由对应的多个拍摄设备通过从不同拍摄角度捕捉真实人物进行乐器弹奏时的弹奏动作所得到的视频；
S202、针对每个音频录制文件，基于该音频录制文件对应的多个动作视频确定真实人物的骨骼动作序列信息；以及，基于音频信息与按键信息之间的对应关系，确定与该音频录制文件对应的按键序列信息；
S203、基于每个音频录制文件对应的按键序列信息以及骨骼动作序列信息，训练得到动作生成模型。
这里，音频录制文件可以是在真实人物进行乐器弹奏时通过录音设备录制的。在进行音频录制文件录制的同时，为了确保能够全方位的对进行乐器弹奏的真实人物进行弹奏动作的捕捉，可以通过多个拍摄设备通过从不同拍摄角度捕捉真实人物进行乐器弹奏时的弹奏动作，这样，利用获取到针对音频录制文件的多个动作视频便可以确定真实人物的骨骼动作序列信息。
在动作生成模型训练阶段，以S202中确定每个音频录制文件对应的按键序列信息作为待训练的动作生成模型的输入，以每个音频录制文件对应的骨骼动作序列信息作为输出，训练得到动作生成模型的参数信息，也即得到训练好的动作生成模型。
本申请实施例提供的动作生成方法在基于上述按键序列信息和骨骼动作信息进行模型训练之前，可以基于数学化的方法将上述按键序列信息和骨骼动作序列信息转化为向量形式的数字信息，以便于机器识别，此过程称为编码(Encoder)。也即，本申请实施例采用向量来表征一个按键序列，然后将该向量作为待训练的动作生成模型的输入特征，同理，本申请实施例还可以采用向量来表征一个骨骼动作序列，然后将该向量作为待训练的动作生成模型的输出特征。
在具体的训练过程中，本申请实施例可以将每个音频录制文件对应的按键序列信息输入至待训练的动作生成模型中，确定该待训练的动作生成模型输出的骨骼动作序列信息，然后将输出的骨骼动作序列信息与音频录制文件对应的骨骼动作序列信息进行对比，若一致则结束训练，若不一致，则基于误差反向传播调整待训练的动作生成模型的参数信息，直至在输出的骨骼动作序列信息与音频录制文件对应的骨骼动作序列信息之间的匹配度达到预设阈值时，停止训练，得到训练后的动作生成模型。
其中，可以基于两个骨骼动作序列信息对应的向量表征形式进行差值运算，来确定两个骨骼动作序列信息之间的匹配度。在具体应用中，模型输出的骨骼动作序列信息的向量维度与音频录制文件对应的骨骼动作序列信息的向量维度一致，这样，可以确定每个向量维度对应的差值运算，在各个向量维度对应的差值运算达到足够小时，可以认为两个骨骼动作序列信息之间的匹配度足够大。
本申请实施例可以采用神经网络模型作为动作生成模型，模型训练阶段也就是训练神经网络模型中一些未知的参数信息的过程。之后，就可以基于该训练好的动作生成模型为用户输入的按键信息进行骨骼动作预测了。
在具体实施中，动作生成模型将一个输入序列(即上述确定的按键序列信息)映射为一个输出序列(即上述确定的骨骼动作序列信息)。本申请实施例可以采用一种特殊类型的循环神经网络(Recurrent Neural Networks，RNN)—长短期记忆(Long Short-TermMemory，LSTM)网络进行模型训练。也即，本申请实施例采用LSTM网络通过反复迭代学习，逐渐掌握各种基础知识，并最终学习到如何根据按键信息生成一个对应的骨骼动作信息。
其中，按键序列信息可以是基于音频信号与按键信息之间的对应关系确定的，如一个音频录制文件包括依次录制的{do、mi、so、xi}，基于按键1与do、按键2与rai、按键3与mi、按键4与fa、按键5与so、按键6与la、按键7与xi之间的对应关系，可以确定其按键序列为{1357}。
另外，骨骼动作序列信息可以是基于音频录制文件对应的多个动作视频确定，这里，该骨骼动作序列信息可以是由各个动作时间点的骨骼动作信息组成的，而每个骨骼动作信息均可以基于人体骨骼所包括的各个关节的旋转角度信息来表征，从而可以表征真实人物在进行乐器弹奏的过程中的弹奏动作的变化。
本申请实施例中，骨骼动作序列信息和按键序列信息的确定是动作生成模型训练的关键步骤，接下里分别通过如下两个方面进行具体描述。
第一方面：如图3所示，本申请实施例提供了一种确定骨骼动作序列信息的步骤，包括如下步骤：
S301、针对每个音频录制文件，从该音频录制文件对应的每个动作视频中提取动作图片；
S302、针对提取的每个动作图片，基于该动作图片对应的动作视频中的动作时间点，确定真实人物在动作视频中的该动作时间点的骨骼动作信息；
S303、将确定的各个骨骼动作信息按照对应的动作时间点的先后顺序进行排列组合，得到真实人物的骨骼动作序列信息。
这里，有关音频录制文件对应的骨骼动作序列信息可以由该音频录制文件对应的动作视频中的各个动作时间点所对应的骨骼动作信息组合得到。本申请实施例提供的动作生成方法，针对每个音频录制文件对应有多个动作视频，为了确定真实人物在每个动作时间点所对应的骨骼动作信息，可以首先将音频录制文件对应的每个动作视频按照动作时间点进行动作图片的提取，通过对动作图片的分析，可以确定每个动作时间点的骨骼动作信息，基于动作时间点的先后顺序将各个骨骼动作信息进行排列组合即可得到骨骼动作序列信息。
本申请实施例中可以基于动作图片中携带的反光部件标记点确定每个动作时间点对应的骨骼动作信息，如图4所示，有关骨骼动作信息的确定具体包括如下步骤：
S401、从每个动作图片中提取出至少一个反光部件标记点；其中，在真实人物身上的关键位置粘贴有反光部件；
S402、针对提取出的每个反光部件标记点，基于该反光部件标记点在动作图片中的位置信息，计算动作图片对应的拍摄设备与反光部件标记点所对应的真实人物身上的关键位置之间的距离；基于距离以及拍摄设备的拍摄参数信息，确定该反光部件标记点所对应的真实人物身上的关键位置信息；
S403、通过将各个反光部件标记点所对应的真实人物身上的关键位置信息映射至三维骨骼驱动模型中，确定真实人物在动作视频中的每个动作时间点的骨骼动作信息。
这里，在真实人物进行乐器弹奏之前，可以在真实人物身上的关键位置粘贴上反光部件，这样，利用不同角度的拍摄设备对着进行乐器弹奏的真实人物进行拍摄即可得到对应的多个动作视频，且每个动作视频均是由各个动作时间点对应的动作图片组合得到的。由于真实人物身上粘贴有反光部件，这样，在进行动作图片拍摄时也可以同时摄取到反光部件，该反光部件可以以反光部件标记点的形式显示在动作图片中。
在具体应用中，上述反光部件可以是球状的反光球，还可以其它形状的能够反光的部件，本申请实施例对此不做具体的限制。本申请实施例中，可以在真实人物身上的各个关键位置(如手指、小臂、大臂、大腿等)设置反光部件，由于真实人物的弹奏动作主要集中在上半身，因此可以重点在上半身设置更多的反光部件以更好的捕捉真实人物的弹奏动作。可见，反光部件设置的位置和位置对骨骼动作信息的确认至关重要。
这里，针对真实人物身上设置的反光部件而言，本申请实施例可以基于每个反光部件在动作图片中呈现的反光部件标记点的位置信息来确定该反光部件标记点所对应的真实人物身上的关键位置信息，这样，将各个反光部件标记点所对应的真实人物身上的关键位置信息映射至三维骨骼驱动模型中，确定真实人物在动作视频中的每个动作时间点的骨骼动作信息，这里的骨骼动作信息可以基于人体骨骼所包括的各个关节的旋转角度信息来表征，如将人体骨骼划分为颅骨、躯干骨和四肢骨这三个大部分，针对每部分可以利用该部分包括的关节的旋转角度信息来确定对应的骨骼动作信息，将三个部分对应的骨骼动作信息组合起来即构成了与人体骨骼对应的骨骼动作信息。
其中，为了确定各反光部件标记点所对应的真实人物身上的关键位置信息，本申请实施例可以首先基于每个反光部件标记点在动作图片中的位置信息，计算动作图片对应的拍摄设备与反光部件标记点所对应的真实人物身上的关键位置之间的距离，而后基于距离以及拍摄设备的拍摄参数信息来确定每个反光部件标记点对应的关键位置信息。
在具体应用中，可以将红外摄像机作为拍摄设备，通过对红外摄像机摄取的动作图片进行处理可以确定反光部件标记点在该动作图片中的位置信息。这里，主要是利用反光部件的反光原理使得摄取到的反光部件标记点相对其它人体摄取图像区域而言更为突出，以在提升位置信息确定的准确性。在确定位置信息之后，可以基于三角测距原理得到每个反光部件标记点对应的关键位置信息，该关键位置信息用于表征捕捉的弹奏动作。
为了进一步提升弹琴动作捕捉的完整性，本申请实施例才设置了不同角度的拍摄设备来进行动作图片的获取，这样，即使一个拍摄设备当前抓取的动作图片中携带的反光部件标记点的个数小于真实人物身上设置的反光部件的个数，也可以利用该拍摄设备与其它拍摄设备之间的关系，推理出对应缺失的反光部件标记点的对应的关键位置信息，从而提升了弹奏动作捕捉的完整性。
第二方面：如图5所示，本申请实施例提供了一种确定按键序列信息的步骤，包括如下步骤：
S501、针对每个音频录制文件，从该音频录制文件中提取与各个音频发生时间点对应的音频信息；
S502、基于音频信息与按键信息之间的对应关系，确定与提取的每个音频信息对应的按键信息；
S503、基于每个音频信息对应的在音频录制文件中的音频发生时间点，将各个音频信息对应的按键信息按照对应的音频发生时间点的先后顺序进行排列组合，得到与音频录制文件对应的按键序列信息。
这里，针对每个音频录制文件，可以首先从该音频录制文件中提取与各个音频发生时间点对应的音频信息，然后确定与提取的每个音频信息对应的按键信息，最后将各个音频信息对应的按键信息按照对应的音频发生时间点的先后顺序进行排列组合，得到与音频录制文件对应的按键序列信息。
这里，仍以录制的{do、mi、so、xi}作为音频录制文件为例，针对该音频录制文件，可以确定第一个音频发生时间点对应的do音、第二个音频发生点对应的mi音、第三个音频发生点对应的so音、以及第四个音频发生点对应的xi音，这样，基于按键1与do、按键2与rai、按键3与mi、按键4与fa、按键5与so、按键6与la、按键7与xi之间的对应关系，可以确定该音频录制文件对应的按键序列为{1357}。
在实际应用中，考虑到针对一个音频信息而言，其通常具有一定的持续时长，在这个持续时长内由动作视频捕捉到的弹奏动作(对应骨骼动作信息)通常会发生一些比较小的变化，为了更好的捕捉这些变化，本申请实施例可以对提取的每个按键信息进行扩展。
这里，可以首先针对每个音频录制文件中的每个音频信息，基于该音频信息对应的音频发生时间点以及该音频信息之后的下一个音频信息对应的音频发生时间点，确定该音频信息的持续时长，这样，在该音频信息的持续时长内，可以确定与音频录制文件对应的动作视频中动作图片的个数，然后，针对每个音频信息，可以基于该音频信息的持续时长内的动作图片的个数，将该音频信息对应的按键信息进行扩展，得到扩展后的按键信息。
这里，仍以录制的{do、mi、so、xi}作为音频录制文件为例，针对该音频录制文件中的do音，若确定该do音对应的音频发生时间点以及mi音对应的音频发生时间点所对应的持续时长为0.08秒，且图片采集频率预设为每秒25帧，这样，0.5秒将对应有动作图片2张，这时针对do音对应的扩展后的按键信息为11；同理，针对mi音，若持续时长为0.2s，则对应动作图片为5张，这时扩展后的按键信息为33333；同理可以确定so音、xi音对应的扩展后的按键信息，如分别为555和77，这时将各个音频信息对应扩展后的按键信息按照对应的音频发生时间点的先后顺序进行排列组合后，得到的按键序列信息为{113333355577}。
实施例二
如图6所示，为本申请实施例二提供的一种游戏角色的动作生成方法的流程图，该方法具体包括如下步骤：
S601、获取真实人物进行乐器弹奏时产生的至少一个音频录制文件，以及与每个音频录制文件对应的多个动作视频；多个动作视频是由对应的多个拍摄设备通过从不同拍摄角度捕捉真实人物进行乐器弹奏时的弹奏动作所得到的视频；
S602、针对每个音频录制文件，基于该音频录制文件对应的多个动作视频确定真实人物的骨骼动作序列信息；以及，基于音频信息与按键信息之间的对应关系，确定与该音频录制文件对应的按键序列信息；
S603、基于每个音频录制文件对应的按键序列信息以及骨骼动作序列信息，训练得到动作生成模型，以根据训练得到的动作生成模型对用户输入的用于播放音乐的按键信息进行骨骼动作预测。
这里，本申请实施例提供了一种训练动作生成模型的方法，在动作生成模型训练阶段，以S602中确定每个音频录制文件对应的按键序列信息作为待训练的动作生成模型的输入，以每个音频录制文件对应的骨骼动作序列信息作为输出，训练得到动作生成模型的参数信息，也即得到训练好的动作生成模型。之后，就可以基于该训练好的动作生成模型为用户输入的按键信息进行骨骼动作预测了。
有关模型训练的具体过程具体参见上述实施例一所描述的内容，在此不再赘述。
基于同一发明构思，本申请实施例还提供了与上述实施例提供的游戏角色的动作生成方法对应的装置，由于本申请实施例中的装置解决问题的原理与本申请实施例上述游戏角色的动作生成方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
实施例三
参照图7所示，为本申请实施例三提供的一种游戏角色的动作生成装置的示意图，该装置包括：
获取模块701，用于获取用户输入的用于播放音乐的按键信息；
第一生成模块702，用于将获取的按键信息输入至预先训练的动作生成模型中，得到与按键信息对应的骨骼动作信息；
第二生成模块703，用于基于骨骼动作信息，生成游戏角色的动作信息。
在一种实施方式中，第一生成模块702用于根据以下步骤训练动作生成模型：
获取真实人物进行乐器弹奏时产生的至少一个音频录制文件，以及与每个音频录制文件对应的多个动作视频；多个动作视频是由对应的多个拍摄设备通过从不同拍摄角度捕捉真实人物进行乐器弹奏时的弹奏动作所得到的视频；
针对每个音频录制文件，基于该音频录制文件对应的多个动作视频确定真实人物的骨骼动作序列信息；以及，基于音频信息与按键信息之间的对应关系，确定与该音频录制文件对应的按键序列信息；
基于每个音频录制文件对应的按键序列信息以及骨骼动作序列信息，训练得到动作生成模型。
在一种实施方式中，第一生成模块702用于按照如下步骤确定真实人物的骨骼动作序列信息：
针对每个音频录制文件，从该音频录制文件对应的每个动作视频中提取动作图片；
针对提取的每个动作图片，基于该动作图片对应的动作视频中的动作时间点，确定真实人物在动作视频中的该动作时间点的骨骼动作信息；
将确定的各个骨骼动作信息按照对应的动作时间点的先后顺序进行排列组合，得到真实人物的骨骼动作序列信息。
在一种实施方式中，每个动作图片中携带有至少一个反光部件标记点；第一生成模块702用于按照如下步骤确定真实人物在动作视频中的该动作时间点的骨骼动作信息：
从每个动作图片中提取出至少一个反光部件标记点；其中，在真实人物身上的关键位置粘贴有反光部件；
针对提取出的每个反光部件标记点，基于该反光部件标记点在动作图片中的位置信息，计算动作图片对应的拍摄设备与反光部件标记点所对应的真实人物身上的关键位置之间的距离；基于距离以及拍摄设备的拍摄参数信息，确定该反光部件标记点所对应的真实人物身上的关键位置信息；
通过将各个反光部件标记点所对应的真实人物身上的关键位置信息映射至三维骨骼驱动模型中，确定真实人物在动作视频中的每个动作时间点的骨骼动作信息。
在一种实施方式中，第一生成模块702用于按照如下步骤确定每个音频录制文件对应的按键序列信息：
针对每个音频录制文件，从该音频录制文件中提取与各个音频发生时间点对应的音频信息；
基于音频信息与按键信息之间的对应关系，确定与提取的每个音频信息对应的按键信息；
基于每个音频信息对应的在音频录制文件中的音频发生时间点，将各个音频信息对应的按键信息按照对应的音频发生时间点的先后顺序进行排列组合，得到与音频录制文件对应的按键序列信息。
在一种实施方式中，第一生成模块702用于按照如下步骤确定与音频录制文件对应的按键序列信息：
在针对每个音频录制文件，从该音频录制文件中提取与各个音频发生时间点对应的音频信息之后，针对每个音频录制文件中的每个音频信息，基于该音频信息对应的音频发生时间点以及该音频信息之后的下一个音频信息对应的音频发生时间点，确定该音频信息的持续时长；确定与音频录制文件对应的动作视频中在该音频信息的持续时长内的动作图片的个数；
在基于音频信息与按键信息之间的对应关系，确定与提取的每个音频信息对应的按键信息之后，针对每个音频信息，基于该音频信息对应的动作图片的个数，将该音频信息对应的按键信息进行扩展，得到扩展后的按键信息；
基于每个音频信息对应的在音频录制文件中的音频发生时间点，将各个音频信息对应扩展后的按键信息按照对应的音频发生时间点的先后顺序进行排列组合，得到与音频录制文件对应的按键序列信息。
在一种实施方式中，第一生成模块702用于按照如下步骤训练动作生成模型，包括：
将每个音频录制文件对应的按键序列信息输入至待训练的动作生成模型中，确定该待训练的动作生成模型输出的骨骼动作序列信息，将输出的骨骼动作序列信息与音频录制文件对应的骨骼动作序列信息进行对比，若不一致，则基于误差反向传播调整待训练的动作生成模型的参数信息，直至在输出的骨骼动作序列信息与音频录制文件对应的骨骼动作序列信息之间的匹配度达到预设阈值时，停止训练，得到训练后的动作生成模型。
在一种实施方式中，第二生成模块703用于按照如下步骤生成游戏角色的动作信息：
从各个三维骨骼驱动模型中查找与游戏角色匹配的目标三维骨骼驱动模型；
将骨骼动作信息输入至目标三维骨骼驱动模型中，生成游戏角色的动作信息。
参照图8所示，为本申请实施例三提供的一种游戏角色的动作生成装置的示意图，该装置包括：
获取模块801，用于获取真实人物进行乐器弹奏时产生的至少一个音频录制文件，以及与每个音频录制文件对应的多个动作视频；多个动作视频是由对应的多个拍摄设备通过从不同拍摄角度捕捉真实人物进行乐器弹奏时的弹奏动作所得到的视频；
确定模块802，用于针对每个音频录制文件，基于该音频录制文件对应的多个动作视频确定真实人物的骨骼动作序列信息；以及，基于音频信息与按键信息之间的对应关系，确定与该音频录制文件对应的按键序列信息；
训练模块803，用于基于每个音频录制文件对应的按键序列信息以及骨骼动作序列信息，训练得到动作生成模型，以根据训练得到的动作生成模型对用户输入的用于播放音乐的按键信息进行骨骼动作预测。
实施例四
本申请实施例四提供了一种计算机设备，如图9所示，为本申请实施例提供的计算机设备的结构示意图，包括：处理器901、存储器902和总线903。存储器902存储有处理器901可执行的机器可读指令(比如，图7中的游戏角色的动作生成装置中获取模块701、第一生成模块702以及第二生成模块703对应的执行指令等)，当计算机设备运行时，处理器901与存储器902之间通过总线903通信，机器可读指令被处理器901执行时执行以下指令：
获取用户输入的用于播放音乐的按键信息；
将获取的按键信息输入至预先训练的动作生成模型中，得到与按键信息对应的骨骼动作信息；
基于骨骼动作信息，生成游戏角色的动作信息。
在一种实施方式中，上述处理器901执行的指令中，根据以下步骤训练动作生成模型：
获取真实人物进行乐器弹奏时产生的至少一个音频录制文件，以及与每个音频录制文件对应的多个动作视频；多个动作视频是由对应的多个拍摄设备通过从不同拍摄角度捕捉真实人物进行乐器弹奏时的弹奏动作所得到的视频；
针对每个音频录制文件，基于该音频录制文件对应的多个动作视频确定真实人物的骨骼动作序列信息；以及，基于音频信息与按键信息之间的对应关系，确定与该音频录制文件对应的按键序列信息；
基于每个音频录制文件对应的按键序列信息以及骨骼动作序列信息，训练得到动作生成模型。
在一种实施方式中，上述处理器901执行的指令中，针对每个音频录制文件，基于该音频录制文件对应的多个动作视频确定真实人物的骨骼动作序列信息，包括：
针对每个音频录制文件，从该音频录制文件对应的每个动作视频中提取动作图片；
针对提取的每个动作图片，基于该动作图片对应的动作视频中的动作时间点，确定真实人物在动作视频中的该动作时间点的骨骼动作信息；
将确定的各个骨骼动作信息按照对应的动作时间点的先后顺序进行排列组合，得到真实人物的骨骼动作序列信息。
在一种实施方式中，每个动作图片中携带有至少一个反光部件标记点；上述处理器901执行的指令中，针对提取的每个动作图片，基于该动作图片对应的动作视频中的动作时间点，确定真实人物在动作视频中的该动作时间点的骨骼动作信息，包括：
从每个动作图片中提取出至少一个反光部件标记点；其中，在真实人物身上的关键位置粘贴有反光部件；
针对提取出的每个反光部件标记点，基于该反光部件标记点在动作图片中的位置信息，计算动作图片对应的拍摄设备与反光部件标记点所对应的真实人物身上的关键位置之间的距离；基于距离以及拍摄设备的拍摄参数信息，确定该反光部件标记点所对应的真实人物身上的关键位置信息；
通过将各个反光部件标记点所对应的真实人物身上的关键位置信息映射至三维骨骼驱动模型中，确定真实人物在动作视频中的每个动作时间点的骨骼动作信息。
在一种实施方式中，上述处理器901执行的指令中，基于音频信息与按键信息之间的对应关系，确定与该音频录制文件对应的按键序列信息，包括：
针对每个音频录制文件，从该音频录制文件中提取与各个音频发生时间点对应的音频信息；
基于音频信息与按键信息之间的对应关系，确定与提取的每个音频信息对应的按键信息；
基于每个音频信息对应的在音频录制文件中的音频发生时间点，将各个音频信息对应的按键信息按照对应的音频发生时间点的先后顺序进行排列组合，得到与音频录制文件对应的按键序列信息。
在一种实施方式中，在针对每个音频录制文件，从该音频录制文件中提取与各个音频发生时间点对应的音频信息之后，上述处理器901执行的指令还包括：
针对每个音频录制文件中的每个音频信息，基于该音频信息对应的音频发生时间点以及该音频信息之后的下一个音频信息对应的音频发生时间点，确定该音频信息的持续时长；确定与音频录制文件对应的动作视频中在该音频信息的持续时长内的动作图片的个数；
在基于音频信息与按键信息之间的对应关系，确定与提取的每个音频信息对应的按键信息之后，上述处理器901执行的指令还包括：
针对每个音频信息，基于该音频信息对应的动作图片的个数，将该音频信息对应的按键信息进行扩展，得到扩展后的按键信息；
上述处理器901执行的指令中，基于每个音频信息对应的在音频录制文件中的音频发生时间点，将各个音频信息对应的按键信息按照对应的音频发生时间点的先后顺序进行排列组合，得到与音频录制文件对应的按键序列信息，包括：
基于每个音频信息对应的在音频录制文件中的音频发生时间点，将各个音频信息对应扩展后的按键信息按照对应的音频发生时间点的先后顺序进行排列组合，得到与音频录制文件对应的按键序列信息。
在一种实施方式中，上述处理器901执行的指令中，基于每个音频录制文件对应的按键序列信息以及骨骼动作序列信息，训练得到动作生成模型，包括：
将每个音频录制文件对应的按键序列信息输入至待训练的动作生成模型中，确定该待训练的动作生成模型输出的骨骼动作序列信息，将输出的骨骼动作序列信息与音频录制文件对应的骨骼动作序列信息进行对比，若不一致，则基于误差反向传播调整待训练的动作生成模型的参数信息，直至在输出的骨骼动作序列信息与音频录制文件对应的骨骼动作序列信息之间的匹配度达到预设阈值时，停止训练，得到训练后的动作生成模型。
在一种实施方式中，上述处理器901执行的指令中，基于骨骼动作信息，生成游戏角色的动作信息，包括：
从各个三维骨骼驱动模型中查找与游戏角色匹配的目标三维骨骼驱动模型；
将骨骼动作信息输入至目标三维骨骼驱动模型中，生成游戏角色的动作信息。
本申请实施例四还提供了一种计算机设备，如图10所示，为本申请实施例提供的计算机设备的结构示意图，包括：处理器1001、存储器1002和总线1003。存储器1002存储有处理器1001可执行的机器可读指令(比如，图8中的游戏角色的动作生成装置中获取模块801、确定模块802以及训练模块803对应的执行指令等)，当计算机设备运行时，处理器1001与存储器1002之间通过总线1003通信，机器可读指令被处理器1001执行时执行以下指令：
获取真实人物进行乐器弹奏时产生的至少一个音频录制文件，以及与每个音频录制文件对应的多个动作视频；多个动作视频是由对应的多个拍摄设备通过从不同拍摄角度捕捉真实人物进行乐器弹奏时的弹奏动作所得到的视频；
针对每个音频录制文件，基于该音频录制文件对应的多个动作视频确定真实人物的骨骼动作序列信息；以及，基于音频信息与按键信息之间的对应关系，确定与该音频录制文件对应的按键序列信息；
基于每个音频录制文件对应的按键序列信息以及骨骼动作序列信息，训练得到动作生成模型，以根据训练得到的动作生成模型对用户输入的用于播放音乐的按键信息进行骨骼动作预测。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器901运行时执行上述方法实施例一所述游戏角色的动作生成方法的步骤或者被处理器1001运行时执行上述方法实施例二所述游戏角色的动作生成方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使响应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (13)

1.一种游戏角色的动作生成方法，其特征在于，所述方法包括：
获取用户输入的用于播放音乐的按键信息；
将获取的所述按键信息输入至预先训练的动作生成模型中，得到与所述按键信息对应的骨骼动作信息；预先训练的动作生成模型是预先基于真实人物进行乐器弹奏时产生的音频录制文件，所对应的按键序列信息以及骨骼动作序列信息训练得到的；
基于所述骨骼动作信息，生成游戏角色的动作信息。
2.根据权利要求1所述的动作生成方法，其特征在于，根据以下步骤训练所述动作生成模型：
获取真实人物进行乐器弹奏时产生的至少一个音频录制文件，以及与每个音频录制文件对应的多个动作视频；多个动作视频是由对应的多个拍摄设备通过从不同拍摄角度捕捉真实人物进行乐器弹奏时的弹奏动作所得到的视频；
针对每个音频录制文件，基于该音频录制文件对应的多个动作视频确定所述真实人物的骨骼动作序列信息；以及，基于音频信息与按键信息之间的对应关系，确定与该音频录制文件对应的按键序列信息；
基于每个音频录制文件对应的按键序列信息以及骨骼动作序列信息，训练得到所述动作生成模型。
3.根据权利要求2所述的动作生成方法，其特征在于，所述针对每个音频录制文件，基于该音频录制文件对应的多个动作视频确定所述真实人物的骨骼动作序列信息，包括：
针对每个音频录制文件，从该音频录制文件对应的每个动作视频中提取动作图片；
针对提取的每个动作图片，基于该动作图片对应的动作视频中的动作时间点，确定所述真实人物在所述动作视频中的该动作时间点的骨骼动作信息；
将确定的各个骨骼动作信息按照对应的动作时间点的先后顺序进行排列组合，得到所述真实人物的骨骼动作序列信息。
4.根据权利要求3所述的动作生成方法，其特征在于，每个动作图片中携带有至少一个反光部件标记点；所述针对提取的每个动作图片，基于该动作图片对应的动作视频中的动作时间点，确定所述真实人物在所述动作视频中的该动作时间点的骨骼动作信息，包括：
从每个动作图片中提取出至少一个反光部件标记点；其中，在真实人物身上的关键位置粘贴有反光部件；
针对提取出的每个反光部件标记点，基于该反光部件标记点在所述动作图片中的位置信息，计算所述动作图片对应的拍摄设备与所述反光部件标记点所对应的真实人物身上的关键位置之间的距离；基于所述距离以及所述拍摄设备的拍摄参数信息，确定该反光部件标记点所对应的真实人物身上的关键位置信息；
通过将各个反光部件标记点所对应的真实人物身上的关键位置信息映射至三维骨骼驱动模型中，确定所述真实人物在所述动作视频中的每个动作时间点的骨骼动作信息。
5.根据权利要求2所述的动作生成方法，其特征在于，所述基于音频信息与按键信息之间的对应关系，确定与该音频录制文件对应的按键序列信息，包括：
针对每个音频录制文件，从该音频录制文件中提取与各个音频发生时间点对应的音频信息；
基于音频信息与按键信息之间的对应关系，确定与提取的每个音频信息对应的按键信息；
基于每个音频信息对应的在所述音频录制文件中的音频发生时间点，将各个音频信息对应的按键信息按照对应的音频发生时间点的先后顺序进行排列组合，得到与所述音频录制文件对应的按键序列信息。
6.根据权利要求5所述的动作生成方法，其特征在于，在针对每个音频录制文件，从该音频录制文件中提取与各个音频发生时间点对应的音频信息之后，还包括：
针对每个音频录制文件中的每个音频信息，基于该音频信息对应的音频发生时间点以及该音频信息之后的下一个音频信息对应的音频发生时间点，确定该音频信息的持续时长；
确定与所述音频录制文件对应的动作视频中在该音频信息的持续时长内的动作图片的个数；
在所述基于音频信息与按键信息之间的对应关系，确定与提取的每个音频信息对应的按键信息之后，还包括：
针对每个音频信息，基于该音频信息对应的动作图片的个数，将该音频信息对应的按键信息进行扩展，得到扩展后的按键信息；
所述基于每个音频信息对应的在所述音频录制文件中的音频发生时间点，将各个音频信息对应的按键信息按照对应的音频发生时间点的先后顺序进行排列组合，得到与所述音频录制文件对应的按键序列信息，包括：
基于每个音频信息对应的在所述音频录制文件中的音频发生时间点，将各个音频信息对应扩展后的按键信息按照对应的音频发生时间点的先后顺序进行排列组合，得到与所述音频录制文件对应的按键序列信息。
7.根据权利要求2所述的动作生成方法，其特征在于，所述基于每个音频录制文件对应的按键序列信息以及骨骼动作序列信息，训练得到所述动作生成模型，包括：
将每个音频录制文件对应的按键序列信息输入至待训练的动作生成模型中，确定该待训练的动作生成模型输出的骨骼动作序列信息，将输出的骨骼动作序列信息与所述音频录制文件对应的骨骼动作序列信息进行对比，若不一致，则基于误差反向传播调整所述待训练的动作生成模型的参数信息，直至在输出的骨骼动作序列信息与所述音频录制文件对应的骨骼动作序列信息之间的匹配度达到预设阈值时，停止训练，得到训练后的动作生成模型。
8.根据权利要求1所述的动作生成方法，其特征在于，所述基于所述骨骼动作信息，生成游戏角色的动作信息，包括：
从各个三维骨骼驱动模型中查找与游戏角色匹配的目标三维骨骼驱动模型；
将所述骨骼动作信息输入至所述目标三维骨骼驱动模型中，生成所述游戏角色的动作信息。
9.一种游戏角色的动作生成方法，其特征在于，所述方法包括：
获取真实人物进行乐器弹奏时产生的至少一个音频录制文件，以及与每个音频录制文件对应的多个动作视频；多个动作视频是由对应的多个拍摄设备通过从不同拍摄角度捕捉真实人物进行乐器弹奏时的弹奏动作所得到的视频；
针对每个音频录制文件，基于该音频录制文件对应的多个动作视频确定所述真实人物的骨骼动作序列信息；以及，基于音频信息与按键信息之间的对应关系，确定与该音频录制文件对应的按键序列信息；
基于每个音频录制文件对应的按键序列信息以及骨骼动作序列信息，训练得到动作生成模型，以根据训练得到的所述动作生成模型对用户输入的用于播放音乐的按键信息进行骨骼动作预测。
10.一种游戏角色的动作生成装置，其特征在于，所述装置包括：
获取模块，用于获取用户输入的用于播放音乐的按键信息；
第一生成模块，用于将获取的所述按键信息输入至预先训练的动作生成模型中，得到与所述按键信息对应的骨骼动作信息；预先训练的动作生成模型是预先基于真实人物进行乐器弹奏时产生的音频录制文件，所对应的按键序列信息以及骨骼动作序列信息训练得到的；
第二生成模块，用于基于所述骨骼动作信息，生成游戏角色的动作信息。
11.一种游戏角色的动作生成装置，其特征在于，所述装置包括：
获取模块，用于获取真实人物进行乐器弹奏时产生的至少一个音频录制文件，以及与每个音频录制文件对应的多个动作视频；多个动作视频是由对应的多个拍摄设备通过从不同拍摄角度捕捉真实人物进行乐器弹奏时的弹奏动作所得到的视频；
确定模块，用于针对每个音频录制文件，基于该音频录制文件对应的多个动作视频确定所述真实人物的骨骼动作序列信息；以及，基于音频信息与按键信息之间的对应关系，确定与该音频录制文件对应的按键序列信息；
训练模块，用于基于每个音频录制文件对应的按键序列信息以及骨骼动作序列信息，训练得到动作生成模型，以根据训练得到的所述动作生成模型对用户输入的用于播放音乐的按键信息进行骨骼动作预测。
12.一种计算机设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至9任一所述的动作生成方法的步骤。
13.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至9任一所述的动作生成方法的步骤。
CN201911025146.0A 2019-10-25 2019-10-25 游戏角色的动作生成方法、装置、计算机设备及存储介质 Active CN110781820B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911025146.0A CN110781820B (zh) 2019-10-25 2019-10-25 游戏角色的动作生成方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911025146.0A CN110781820B (zh) 2019-10-25 2019-10-25 游戏角色的动作生成方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN110781820A CN110781820A (zh) 2020-02-11
CN110781820B true CN110781820B (zh) 2022-08-05

Family

ID=69386651

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911025146.0A Active CN110781820B (zh) 2019-10-25 2019-10-25 游戏角色的动作生成方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN110781820B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114741561A (zh) * 2022-02-28 2022-07-12 商汤国际私人有限公司 动作生成方法、装置、电子设备及存储介质
CN114998491B (zh) * 2022-08-01 2022-11-18 阿里巴巴（中国）有限公司 数字人驱动方法、装置、设备及存储介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010004884A1 (ja) * 2008-07-09 2010-01-14 株式会社コナミデジタルエンタテインメント ゲーム装置、楽曲検索方法、情報記録媒体、および、プログラム
CN102693091A (zh) * 2012-05-22 2012-09-26 深圳市环球数码创意科技有限公司 一种三维虚拟角色的实现方法及其***
CN102800126A (zh) * 2012-07-04 2012-11-28 浙江大学 基于多模态融合的实时人体三维姿态恢复的方法
CN106780681A (zh) * 2016-12-01 2017-05-31 北京像素软件科技股份有限公司 一种角色动作生成方法和装置
CN108074441A (zh) * 2016-11-18 2018-05-25 北京酷我科技有限公司 一种钢琴演奏的纠错方法及***
CN108510577A (zh) * 2018-01-31 2018-09-07 中国科学院软件研究所 一种基于已有动作数据的真实感动作迁移和生成方法及***
CN108960078A (zh) * 2018-06-12 2018-12-07 温州大学 一种基于单目视觉、从动作识别身份的方法
CN109065008A (zh) * 2018-05-28 2018-12-21 森兰信息科技（上海）有限公司 一种音乐演奏曲谱匹配方法、存储介质及智能乐器
CN109102784A (zh) * 2018-06-14 2018-12-28 森兰信息科技（上海）有限公司 一种ar辅助乐器练习方法、***以及一种智能设备
CN109176541A (zh) * 2018-09-06 2019-01-11 南京阿凡达机器人科技有限公司 一种实现机器人跳舞的方法、设备和储存介质
CN109243248A (zh) * 2018-09-29 2019-01-18 南京华捷艾米软件科技有限公司 一种基于3d深度摄像模组的虚拟钢琴及其实现方法
CN109325440A (zh) * 2018-09-19 2019-02-12 深圳市赢世体育科技有限公司 人体动作识别方法及***
CN109432753A (zh) * 2018-09-26 2019-03-08 Oppo广东移动通信有限公司 动作矫正方法、装置、存储介质及电子设备
CN109816773A (zh) * 2018-12-29 2019-05-28 深圳市瑞立视多媒体科技有限公司 一种虚拟人物的骨骼模型的驱动方法、插件及终端设备
CN110298220A (zh) * 2018-03-23 2019-10-01 上海形趣信息科技有限公司 动作视频直播方法、***、电子设备、存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7174510B2 (en) * 2001-10-20 2007-02-06 Hal Christopher Salter Interactive game providing instruction in musical notation and in learning an instrument
US20090258700A1 (en) * 2008-04-15 2009-10-15 Brian Bright Music video game with configurable instruments and recording functions
WO2009128028A1 (en) * 2008-04-18 2009-10-22 Koninklijke Philips Electronics N.V. Musical keyboard instrument with training capabilities
US8715031B2 (en) * 2009-08-06 2014-05-06 Peter Sui Lun Fong Interactive device with sound-based action synchronization

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010004884A1 (ja) * 2008-07-09 2010-01-14 株式会社コナミデジタルエンタテインメント ゲーム装置、楽曲検索方法、情報記録媒体、および、プログラム
CN102693091A (zh) * 2012-05-22 2012-09-26 深圳市环球数码创意科技有限公司 一种三维虚拟角色的实现方法及其***
CN102800126A (zh) * 2012-07-04 2012-11-28 浙江大学 基于多模态融合的实时人体三维姿态恢复的方法
CN108074441A (zh) * 2016-11-18 2018-05-25 北京酷我科技有限公司 一种钢琴演奏的纠错方法及***
CN106780681A (zh) * 2016-12-01 2017-05-31 北京像素软件科技股份有限公司 一种角色动作生成方法和装置
CN108510577A (zh) * 2018-01-31 2018-09-07 中国科学院软件研究所 一种基于已有动作数据的真实感动作迁移和生成方法及***
CN110298220A (zh) * 2018-03-23 2019-10-01 上海形趣信息科技有限公司 动作视频直播方法、***、电子设备、存储介质
CN109065008A (zh) * 2018-05-28 2018-12-21 森兰信息科技（上海）有限公司 一种音乐演奏曲谱匹配方法、存储介质及智能乐器
CN108960078A (zh) * 2018-06-12 2018-12-07 温州大学 一种基于单目视觉、从动作识别身份的方法
CN109102784A (zh) * 2018-06-14 2018-12-28 森兰信息科技（上海）有限公司 一种ar辅助乐器练习方法、***以及一种智能设备
CN109176541A (zh) * 2018-09-06 2019-01-11 南京阿凡达机器人科技有限公司 一种实现机器人跳舞的方法、设备和储存介质
CN109325440A (zh) * 2018-09-19 2019-02-12 深圳市赢世体育科技有限公司 人体动作识别方法及***
CN109432753A (zh) * 2018-09-26 2019-03-08 Oppo广东移动通信有限公司 动作矫正方法、装置、存储介质及电子设备
CN109243248A (zh) * 2018-09-29 2019-01-18 南京华捷艾米软件科技有限公司 一种基于3d深度摄像模组的虚拟钢琴及其实现方法
CN109816773A (zh) * 2018-12-29 2019-05-28 深圳市瑞立视多媒体科技有限公司 一种虚拟人物的骨骼模型的驱动方法、插件及终端设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于情感标注的自动编舞***;吕蓬飞;《电子技术》;20080825(第08期);全文 *

Also Published As

Publication number Publication date
CN110781820A (zh) 2020-02-11

Similar Documents

Publication Publication Date Title
CN109462776B (zh) 一种视频特效添加方法、装置、终端设备及存储介质
CN110163054B (zh) 一种人脸三维图像生成方法和装置
KR20210123399A (ko) 인공 지능에 기초한 애니메이션 이미지 구동 방법, 및 관련 디바이스
JP7457806B2 (ja) レンズ分割の実現方法、装置および関連製品
SG173496A1 (en) Method and system for rendering an entertainment animation
US11557269B2 (en) Information processing method
JP2022505998A (ja) 拡張現実データの提示方法、装置、電子機器及び記憶媒体
CN110517340B (zh) 一种基于人工智能的脸部模型确定方法和装置
US20230177755A1 (en) Predicting facial expressions using character motion states
CN110781820B (zh) 游戏角色的动作生成方法、装置、计算机设备及存储介质
Asaad et al. Proposed system for education augmented reality self English learning
KR20200042143A (ko) 댄싱 룸 서비스 시스템 및 그 방법
JP6431259B2 (ja) カラオケ装置、ダンス採点方法、およびプログラム
CN112973130B (zh) 虚拟场景的回放模型构建方法、装置、设备及存储介质
US20230162458A1 (en) Information processing apparatus, information processing method, and program
CN116115995A (zh) 图像渲染处理方法、装置及电子设备
Magalhäes et al. Physics-based concatenative sound synthesis of photogrammetric models for aural and haptic feedback in virtual environments
CN111638794A (zh) 一种虚拟文物的显示控制方法及装置
CN114900738B (zh) 一种观影互动方法、装置及计算机可读存储介质
CN115193039A (zh) 游戏剧情的交互方法、装置及***
CN114554111A (zh) 视频生成方法和装置、存储介质及电子设备
CN111625102A (zh) 一种建筑物展示方法及装置
CN117876550B (zh) 一种基于大数据的虚拟数字人渲染方法、***及终端设备
CN113559500B (zh) 动作数据的生成方法、装置、电子设备及存储介质
CN114693848B (zh) 一种生成二维动画的方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant