CN110675474B - 虚拟角色模型的学习方法、电子设备和可读存储介质 - Google Patents
虚拟角色模型的学习方法、电子设备和可读存储介质 Download PDFInfo
- Publication number
- CN110675474B CN110675474B CN201910758741.9A CN201910758741A CN110675474B CN 110675474 B CN110675474 B CN 110675474B CN 201910758741 A CN201910758741 A CN 201910758741A CN 110675474 B CN110675474 B CN 110675474B
- Authority
- CN
- China
- Prior art keywords
- virtual character
- character model
- video image
- image frame
- bone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000009471 action Effects 0.000 claims abstract description 32
- 210000000988 bone and bone Anatomy 0.000 claims description 120
- 239000013598 vector Substances 0.000 claims description 81
- 238000004590 computer program Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 abstract description 10
- 238000012549 training Methods 0.000 abstract description 6
- 238000011161 development Methods 0.000 abstract description 4
- 230000002452 interceptive effect Effects 0.000 abstract description 4
- 230000033001 locomotion Effects 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 210000003423 ankle Anatomy 0.000 description 2
- 210000001217 buttock Anatomy 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000004197 pelvis Anatomy 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 210000000115 thoracic cavity Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例涉及计算机领域，公开了一种虚拟角色模型的学习方法、电子设备和可读存储介质。本发明中，上述虚拟角色模型的学习方法，包括：获取当前视频图像帧中目标人物的动作对应的第一骨骼姿态信息；根据所述第一骨骼姿态信息和第二骨骼姿态信息，获取所述当前视频图像帧对应的虚拟角色模型的骨骼姿态调整信息；其中，所述第二骨骼姿态信息为上一视频图像帧对应的虚拟角色模型的骨骼姿态信息；根据所述骨骼姿态调整信息驱动所述虚拟角色模型，以供所述虚拟角色模型学习所述当前视频图像帧中目标人物的动作，使得可以模拟虚拟角色模型与人之间的学习过程，以形成人与虚拟角色之间的训练、教育、养成等交互体验。
Description
技术领域
本发明实施例涉及计算机领域，特别涉及一种虚拟角色模型的学习方法、电子设备和可读存储介质。
背景技术
人体姿态识别是计算机视觉的一个重要研究方向，它最终目的是输出人的整体或者局部肢体的3D结构参数，如人体轮廓、头部的位置与朝向、人体关节点的位置或者部位类别。依据已知的人体姿态动作3D数据，可以有效的模拟已知的人体姿态动作。
然而，发明人发现相关技术中至少存在如下问题：现有的3D骨骼动作拟合方法多用于虚拟角色完全模拟人的已知动作，其目标通常为准确动作模拟。
发明内容
本发明实施方式的目的在于提供一种虚拟角色模型的学习方法、电子设备和可读存储介质，使得可以模拟虚拟角色模型与人之间的学习过程，以形成人与虚拟角色之间的训练、教育、养成等交互体验。
为解决上述技术问题，本发明的实施方式提供了一种虚拟角色模型的学习方法，包括以下步骤：获取当前视频图像帧中目标人物的动作对应的第一骨骼姿态信息；根据所述第一骨骼姿态信息和第二骨骼姿态信息，获取所述当前视频图像帧对应的虚拟角色模型的骨骼姿态调整信息；其中，所述第二骨骼姿态信息为上一视频图像帧对应的虚拟角色模型的骨骼姿态信息；根据所述骨骼姿态调整信息驱动所述虚拟角色模型，以供所述虚拟角色模型学习所述当前视频图像帧中目标人物的动作。
本发明的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的虚拟角色模型的学习方法。
本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的虚拟角色模型的学习方法。
本发明实施方式相对于现有技术而言，获取当前视频图像帧中目标人物的动作对应的第一骨骼姿态信息；根据第一骨骼姿态信息和第二骨骼姿态信息，获取当前视频图像帧对应的虚拟角色模型的骨骼姿态调整信息；其中，第二骨骼姿态信息为上一视频图像帧对应的虚拟角色模型的骨骼姿态信息；根据骨骼姿态调整信息驱动虚拟角色模型，以供虚拟角色模型学习当前视频图像帧中目标人物的动作。由于，虚拟角色模型总是被骨骼姿态调整信息驱动，而骨骼姿态调整信息是根据上一视频图像帧对应的虚拟角色模型的骨骼姿态信息和当前视频图像帧中目标人物的动作对应的骨骼姿态信息得到。也就是说，虚拟角色模型的当前帧的骨骼姿态总是基于其上一帧的骨骼姿态调整而来，因此可以体现出虚拟角色模型学习目标人物的动作的学习过程，有利于形成目标人物与虚拟角色模型之间的训练、教育、养成等交互体验。
另外，在所述根据所述第一类空间指向向量和所述第二类空间指向向量，计算所述当前视频图像帧对应的虚拟角色模型的各相邻两个骨骼关键点的空间指向调整向量之前，还包括：获取期望的所述虚拟角色模型与所述目标人物的姿态拟合相似度；所述根据所述第一类空间指向向量和所述第二类空间指向向量，计算所述当前视频图像帧对应的虚拟角色模型的各相邻两个骨骼关键点的空间指向调整向量，包括：根据获取的所述姿态拟合相似度、所述第一类空间指向向量和所述第二类空间指向向量，计算所述当前视频图像帧对应的虚拟角色模型的各相邻两个骨骼关键点的空间指向调整向量。通过引入期望的姿态拟合相似度，有利于使虚拟角色模型学习的动作与目标人物的动作的相似度符合期望。
另外，所述根据获取的姿态拟合相似度、所述第一类空间指向向量和所述第二类空间指向向量，计算所述当前视频图像帧对应的虚拟角色模型的各相邻两个骨骼关键点的空间指向调整向量，具体通过以下公式计算：
其中，所述
为所述当前视频图像帧对应的虚拟角色模型的相邻两个骨骼关键点的空间指向调整向量，所述
为所述第二类空间指向向量，所述prob为所述姿态拟合相似度，所述
为所述第一类空间指向向量，所述i和所述j为用于表示两个相邻的骨骼关键点的序号。提供了一种空间指向调整向量的计算公式，方便准确的计算出当前视频图像帧对应的虚拟角色模型的相邻两个骨骼关键点的空间指向调整向量。
另外，所述骨骼姿态调整信息包括：所述当前视频图像帧对应的虚拟角色模型的各骨骼关键点的空间坐标；所述根据各所述相邻两个骨骼关键点的距离和各所述相邻两个骨骼关键点的空间指向调整向量，获取所述当前视频图像帧对应的虚拟角色模型的骨骼姿态调整信息，包括：根据预设的参考骨骼关键点的空间坐标、各所述相邻两个骨骼关键点的距离和各所述相邻两个骨骼关键点的空间指向调整向量，依次计算所述当前视频图像帧对应的虚拟角色模型的各骨骼关键点的空间坐标；其中，所述参考骨骼关键点为所述虚拟角色模型的各骨骼关键点中的一个。预设的一个参考骨骼关键点的空间坐标，为调整当前视频图像帧对应的虚拟角色模型的其他骨骼关键点的空间坐标提供了合理的调整依据，有利于准确的计算当前视频图像帧对应的虚拟角色模型的各骨骼关键点的空间坐标，使得虚拟角色模型能够准确的学习目标人物的动作。
另外，所述根据所述参考骨骼关键点的空间坐标、所述参考骨骼关键点和第一骨骼关键点的距离、所述参考骨骼关键点和所述第一骨骼关键点的空间指向调整向量，计算所述当前视频图像帧对应的虚拟角色模型的所述第一骨骼关键点的空间坐标，具体通过以下公式计算：
其中，所述newQm为所述当前视频图像帧对应的虚拟角色模型的所述第一骨骼关键点的空间坐标，所述newQroot为所述参考骨骼关键点的空间坐标，所述
为所述参考骨骼关键点与所述第一骨骼关键点的距离，所述
为所述参考骨骼关键点和所述第一骨骼关键点的空间指向调整向量，所述root为所述参考骨骼关键点的序号，所述m为所述第一骨骼关键点的序号。提供了一种具体的计算公式，使得可以方便准确的获取到当前视频图像帧对应的虚拟角色模型的所述第一骨骼关键点的空间坐标。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定。
图1是根据本发明第一实施方式中的虚拟角色模型的学习方法的流程图；
图2是根据本发明第一实施方式中的人体各骨骼关键点的示意图；
图3是根据本发明第一实施方式中的步骤102的实现过程的流程图；
图4是根据本发明第三实施方式中的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本发明的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。
本发明的第一实施方式涉及一种虚拟角色模型的学习方法，应用于电子设备，电子设备可以为手机、电脑等。其中，虚拟角色模型可以为3D数字模型，该虚拟角色模型可以预先存储在电子设备中，也可以根据实际需要实时生成，对此本实施方式不做具体限定。本实施方式中主要介绍虚拟角色模型学习目标人物的动作的学习过程，在学习过程中虚拟角色模型一开始学习的动作与目标人物的动作的相似度较低，通过学习相似度越来越高。下面对本实施方式的虚拟角色模型的学习方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。
本实施方式中的虚拟角色模型的学习方法如图1所示，具体包括：
步骤101：获取当前视频图像帧中目标人物的动作对应的第一骨骼姿态信息。
其中，第一骨骼姿态信息可以包括当前视频图像帧中目标人物的各骨骼关键点的空间坐标。人体的骨骼关键点的示意图可以参考图2，其中，各骨骼关键点均对应有各自的编号，如图2中的各骨骼关键点从编号0到编号15，各骨骼关键点的编号及名称可以参考表1所示：
表1
| 编号 | 名称 | 编号 | 名称 | 编号 | 名称 |
| 0 | 右脚踝 | 6 | 骨盆 | 12 | 右肩 |
| 1 | 右膝盖 | 7 | 胸腔 | 13 | 左肩 |
| 2 | 右臀部 | 8 | 颈椎 | 14 | 左手肘 |
| 3 | 左臀部 | 9 | 头顶 | 15 | 左手腕 |
| 4 | 左膝盖 | 10 | 右手腕 | ||
| 5 | 左脚踝 | 11 | 右手肘 |
目标人物的每个动作均对应有各骨骼关键点的空间坐标，可以理解的是，当目标人物的动作发生变化时，各骨骼关键点的空间坐标也随之变化。需要说明的是，人体各骨骼关键点的示意图只是以图2为例，在具体实现中并不以此为限。
在一个例子中，当前视频图像帧中的目标人物可以为训练、教导虚拟角色模型的自然人，该自然人在训练虚拟角色模型时，带有摄像功能的电子设备比如手机可以拍摄视频图像，主要拍摄自然人的动作。例如，目标人物为人物A，人物A训练虚拟角色模型学习跳舞，手机可以拍摄人物A跳舞的视频图像，然后使用人工智能深度学习技术处理拍摄的视频图像，获取当前视频图像帧中人物A的动作对应的第一骨骼姿态信息，即当前视频图像帧中人物A的动作对应的各骨骼关键点的空间坐标。在具体实现中，手机还可以将拍摄的视频图像发送给服务器，由服务器对视频图像进行处理，计算当前视频图像帧中目标人物的动作对应的各骨骼关键点的空间坐标，然后将计算的各骨骼关键点的空间坐标发送给手机。
在一个例子中，当前视频图像帧中的目标人物可以为手机上的视频播放软件在线播放的视频文件中的人物。该视频文件可以是存储于手机上的存储器内的离线视频文件，也可以是手机从服务器获取的在线视频文件。例如，视频文件可以是手机从服务器获取的在线视频文件，此时，当用户通过手机上的视频播放软件请求播放指定视频文件时，手机可以通过网络将该视频播放请求传送至服务器，服务器可以返回指定视频文件的播放地址等，从而可以在手机上播放该指定的视频文件。假设，手机当前播放的视频文件为健身指导视频，若该健身指导视频中有一个指导老师，则该指导老师为目标人物；若该健身指导视频中有多个指导老师，可以选定其中一个为目标人物。手机可以根据播放的健身指导视频，获取健身指导视频中选定的目标人物的动作对应的各骨骼关键点的空间坐标。
步骤102：根据第一骨骼姿态信息和第二骨骼姿态信息，获取当前视频图像帧对应的虚拟角色模型的骨骼姿态调整信息。
其中，第二骨骼姿态信息为上一视频图像帧对应的虚拟角色模型的骨骼姿态信息，第二骨骼姿态信息可以包括上一视频图像帧对应的虚拟角色模型的各骨骼关键点的空间坐标。虚拟角色模型的各骨骼关键点的示意图同样可以参考图2，上一视频图像帧对应的虚拟角色模型的各骨骼关键点的空间坐标可以理解为，虚拟角色模型在学习上一视频图像帧中的目标人物的动作时所比划的动作对应的各骨骼关键点的空间坐标。
在一个例子中，获取当前视频图像帧对应的虚拟角色模型的骨骼姿态调整信息的流程图可以参考图3，包括：
步骤1021：根据第一骨骼姿态信息中的各骨骼关键点的空间坐标，计算当前视频图像帧中目标人物的各相邻两个骨骼关键点的第一类空间指向向量。
具体的说，首先，可以计算当前视频图像帧中目标人物的各相邻两个骨骼关键点之间的距离。参考图2，以计算编号分别为0和1的两个骨骼关键点之间的距离为例，骨骼关键点0的空间坐标记为P0＝(x0，y0，z0)，骨骼关键点1的空间坐标记为P1＝(x1，y1，z1)，P1到P0之间的距离记作：
其次，可以根据当前视频图像帧中目标人物的各相邻两个骨骼关键点之间的距离和各相邻两个骨骼关键点的空间坐标计算第一类空间指向向量。比如P1指向P0的第一类空间指向向量，记作：
参考上述编号为1与0两个相邻的骨骼关键点的第一类空间指向向量的计算公式和图2中所示的各骨骼关键点的分布图，可以依次计算当前视频图像帧中目标人物的所有相邻两个骨骼关键点的第一类空间指向向量。
步骤1022：根据第二骨骼姿态信息中的各骨骼关键点的空间坐标，计算上一视频图像帧对应的虚拟角色模型的各相邻两个骨骼关键点的第二类空间指向向量。
具体的说，第二类空间指向向量与上述第一类空间指向向量的计算方式类似，同样可以参考步骤1021中编号为1与0两个相邻的骨骼关键点的第一类空间指向向量的计算公式，不同之处在于，各骨骼关键点的空间坐标为上一视频图像帧对应的虚拟角色模型的各骨骼关键点的空间坐标。因此，为避免重复在此不再一一赘述。
步骤1023：根据第一类空间指向向量和第二类空间指向向量，计算当前视频图像帧对应的虚拟角色模型的各相邻两个骨骼关键点的空间指向调整向量。
具体的说，可以先获取期望的虚拟角色模型与目标人物的姿态拟合相似度，姿态拟合相似度可以表示虚拟角色模型学习的动作与目标人物实际的动作之间的相似程度。期望的姿态拟合相似度可以根据实际需要人工输入进电子设备中。本实施方式中可以根据第一类空间指向向量、第二类空间指向向量和姿态拟合相似度，计算当前视频图像帧对应的虚拟角色模型的各相邻两个骨骼关键点的空间指向调整向量。
在一个例子中，可以通过以下公式计算当前视频图像帧对应的虚拟角色模型的各相邻两个骨骼关键点的空间指向调整向量：
其中，
为计算的当前视频图像帧对应的虚拟角色模型的相邻两个骨骼关键点的空间指向调整向量。
为第二类空间指向向量，即可以表示上一视频图像帧对应的虚拟角色模型的各相邻骨骼关键点的空间指向向量。prob为姿态拟合相似度。
为第一类空间指向向量，即可以表示当前视频图像帧中目标人物的各相邻骨骼关键点的空间指向向量。所述i和所述j为用于表示两个相邻的骨骼关键点的序号。为方便理解，下面以计算编号分别为0和1的两个骨骼关键点的空间指向调整向量
为例对上述公式进行说明，也就是说上述公式中i＝0，j＝1：
其中，
参考上述计算编号分别为0和1的两个骨骼关键点的空间指向调整向量
的公式，依次计算其他相邻的骨骼关键点的空间指向调整向量。
步骤1024：根据各相邻两个骨骼关键点的空间指向调整向量，获取当前视频图像帧对应的虚拟角色模型的骨骼姿态调整信息。
具体的说，可以根据各相邻两个骨骼关键点的距离和各相邻两个骨骼关键点的空间指向调整向量，获取当前视频图像帧对应的虚拟角色模型的骨骼姿态调整信息。
在一个例子中，可以在虚拟角色模型的各骨骼关键点中选择一个作为参考骨骼关键点。然后根据参考骨骼关键点的空间坐标、各相邻两个骨骼关键点的距离和各相邻两个骨骼关键点的空间指向调整向量，依次计算当前视频图像帧对应的虚拟角色模型的各骨骼关键点的空间坐标。比如，可以先计算与参考骨骼关键点相邻的各第一骨骼关键点的空间坐标，具体的，可以根据参考骨骼关键点的空间坐标、参考骨骼关键点和第一骨骼关键点的距离、参考骨骼关键点和所述第一骨骼关键点的空间指向调整向量，计算当前视频图像帧对应的虚拟角色模型的第一骨骼关键点的空间坐标。接着将第一骨骼关键点作为新的参考骨骼关键点，按照各骨骼关键点之间的相邻关系，依次计算当前视频图像帧对应的虚拟角色模型的各剩余骨骼关键点的空间坐标。
在一个例子中，根据参考骨骼关键点的空间坐标、参考骨骼关键点和第一骨骼关键点的距离、参考骨骼关键点和第一骨骼关键点的空间指向调整向量，计算当前视频图像帧对应的虚拟角色模型的第一骨骼关键点的空间坐标，可以通过以下公式计算：
其中，newQm为当前视频图像帧对应的虚拟角色模型的第一骨骼关键点的空间坐标，newQroot为参考骨骼关键点的空间坐标，
为参考骨骼关键点与第一骨骼关键点的距离，
为参考骨骼关键点和第一骨骼关键点的空间指向调整向量，root为参考骨骼关键点的序号，m为第一骨骼关键点的序号。比如，可以参考图2，假设选取的参考骨骼关键点为骨骼关键点8，那么第一骨骼关键点可以包括与骨骼关键点8相邻的骨骼关键点7、9、12、13，通过下面的公式可以依次计算得到当前视频图像帧对应的虚拟角色模型的骨骼关键点7、9、12、13的空间坐标：
进一步的，可以将骨骼关键点12作为新的参考骨骼关键点，通过以下公式计算与骨骼关键点12相邻的骨骼关键点11的空间坐标：
接着，可以将骨骼关键点11作为新的参考骨骼关键点，通过以下公式计算与骨骼关键点11相邻的骨骼关键点10的空间坐标：
类似的，以骨骼关键点7作为参考骨骼关键点，可以计算与骨骼关键点7相邻的骨骼关键点6的空间坐标。以骨骼关键点6作为参考骨骼关键点，可以计算与骨骼关键点6相邻的骨骼关键点2和3的空间坐标。通过上述方式，可以以此计算得到当前视频图像帧对应的虚拟角色模型的所有骨骼关键点的空间坐标。
步骤103：根据骨骼姿态调整信息驱动虚拟角色模型，以供虚拟角色模型学习当前视频图像帧中目标人物的动作。
具体的说，骨骼姿态调整信息包括当前视频图像帧对应的虚拟角色模型的各骨骼关键点的空间坐标，即步骤102中计算得到的各骨骼关键点的空间坐标。
在一个例子中，根据骨骼姿态调整信息驱动虚拟角色模型，以供虚拟角色模型学习当前视频图像帧中目标人物的动作，可以理解为：将计算的各骨骼关键点的空间坐标作为虚拟角色模型的输入数据，并渲染展示。虚拟角色模型的输出表现为虚拟角色模型的各骨骼关键点的空间坐标调整为输入的各骨骼关键点的空间坐标，各骨骼关键点共同呈现出的动作近似于当前视频图像帧中目标人物的动作。
需要说明的是，本实施方式中的上述各示例均为为方便理解进行的举例说明，并不对本发明的技术方案构成限定。
与现有技术相比，本实施方式，由于虚拟角色模型总是被骨骼姿态调整信息驱动，而骨骼姿态调整信息是根据上一视频图像帧对应的虚拟角色模型的骨骼姿态信息和当前帧视频图像帧中目标人物的动作对应的骨骼姿态信息得到。也就是说，虚拟角色模型的当前帧的骨骼姿态总是基于其上一帧的骨骼姿态调整而来，因此可以体现出虚拟角色模型学习目标人物的动作的学习过程，以形成目标人物与虚拟角色模型之间的训练、教育、养成等交互体验。
本发明的第二实施方式涉及一种虚拟角色模型的学习方法。第二实施方式与第一实施方式大致相同，主要区别之处在于：在第一实施方式中，姿态拟合相似度可以根据实际需要人工输入进电子设备中。而在本发明第二实施方式中，姿态拟合相似度可以根据预设的学习时长与姿态拟合相似度的对应关系获取。下面对本实施方式的虚拟角色模型的学习方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。
具体的说，获取期望的虚拟角色模型与目标人物的姿态拟合相似度的方式可以为：先获取期望的虚拟角色模型的学习时长，然后根据预设的学习时长与姿态拟合相似度的对应关系，获取与虚拟角色模型的学习时长对应的姿态拟合相似度。预设的对应关系中，学习时长越长，对应的姿态拟合度可以越高，也就是说，虚拟角色模型的学习时长越长，学习的动作与目标人物的动作越像。学习时长可以根据实际需要选择输入，比如根据虚拟角色模型需要学习的动作的难易程度确定学习时长，可以理解的是，学习的动作越难，确定的学习时长可以越长，以保证虚拟角色模型的学习效果。
在一个例子中，预设的学习时长与姿态拟合相似度的对应关系还可以为：姿态拟合相似度根据学习时长的变化持续增加。也就是说，虚拟角色模型在学习的过程中，随着学习时长的增加，姿态拟合相似度动态增加，更容易模拟出学习的实际过程，即从刚开始学习的不太像，到越来越像的过程。
在一个例子中，目标人物可以教导虚拟角色模型学习跳舞，目标人物在教导时，可以将一个完整的舞蹈重复跳多次，来训练虚拟角色模型，来达到确定的学习时长。在另一个例子中,目标人物在教导时也可以对舞蹈动作进行分解，通过重复各个分解动作，每个分解动作保持一段时间，来训练虚拟角色模型，以达到确定的学习时长。
需要说明的是，本实施方式中的上述各示例均为为方便理解进行的举例说明，并不对本发明的技术方案构成限定。
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
本发明第三实施方式涉及一种服务器，如图4所示，包括至少一个处理器201；以及，与至少一个处理器201通信连接的存储器202；其中，存储器202存储有可被至少一个处理器201执行的指令，指令被至少一个处理器201执行，以使至少一个处理器201能够执行第一、或第二实施方式中的虚拟角色模型的学习方法。
其中，存储器202和处理器201采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器201和存储器202的各种电路连接在一起。总线还可以将诸如***设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器201处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器201。
处理器201负责管理总线和通常的处理，还可以提供各种功能，包括定时，***接口，电压调节、电源管理以及其他控制功能。而存储器202可以被用于存储处理器201在执行操作时所使用的数据。
本发明第四实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。
Claims (10)
1.一种虚拟角色模型的学习方法，其特征在于，包括：
获取当前视频图像帧中目标人物的动作对应的第一骨骼姿态信息；
根据所述第一骨骼姿态信息和第二骨骼姿态信息，获取所述当前视频图像帧对应的虚拟角色模型的骨骼姿态调整信息；其中，所述第二骨骼姿态信息为上一视频图像帧对应的虚拟角色模型的骨骼姿态信息；
根据所述骨骼姿态调整信息驱动所述虚拟角色模型，以供所述虚拟角色模型学习所述当前视频图像帧中目标人物的动作；
其中，所述第一骨骼姿态信息包括所述当前视频图像帧中所述目标人物的各骨骼关键点的空间坐标，所述第二骨骼姿态信息包括所述上一视频图像帧对应的虚拟角色模型的各骨骼关键点的空间坐标；
所述根据所述第一骨骼姿态信息和第二骨骼姿态信息，获取所述当前视频图像帧对应的虚拟角色模型的骨骼姿态调整信息，包括：
根据所述第一骨骼姿态信息中的各骨骼关键点的空间坐标，计算所述当前视频图像帧中目标人物的各相邻两个骨骼关键点的第一类空间指向向量；
根据所述第二骨骼姿态信息中的各骨骼关键点的空间坐标，计算所述上一视频图像帧对应的虚拟角色模型的各相邻两个骨骼关键点的第二类空间指向向量；
根据所述第一类空间指向向量和所述第二类空间指向向量，计算所述当前视频图像帧对应的虚拟角色模型的各相邻两个骨骼关键点的空间指向调整向量；
根据各所述相邻两个骨骼关键点的空间指向调整向量，获取所述当前视频图像帧对应的虚拟角色模型的骨骼姿态调整信息。
2.根据权利要求1所述的虚拟角色模型的学习方法，其特征在于，在所述根据所述第一类空间指向向量和所述第二类空间指向向量，计算所述当前视频图像帧对应的虚拟角色模型的各相邻两个骨骼关键点的空间指向调整向量之前，还包括：
获取期望的所述虚拟角色模型与所述目标人物的姿态拟合相似度；
所述根据所述第一类空间指向向量和所述第二类空间指向向量，计算所述当前视频图像帧对应的虚拟角色模型的各相邻两个骨骼关键点的空间指向调整向量，包括：
根据获取的所述姿态拟合相似度、所述第一类空间指向向量和所述第二类空间指向向量，计算所述当前视频图像帧对应的虚拟角色模型的各相邻两个骨骼关键点的空间指向调整向量。
3.根据权利要求2所述的虚拟角色模型的学习方法，其特征在于，所述获取期望的所述虚拟角色模型与所述目标人物的姿态拟合相似度，包括：
获取期望的所述虚拟角色模型的学习时长；
根据预设的学习时长与姿态拟合相似度的对应关系，获取与所述虚拟角色模型的学习时长对应的姿态拟合相似度。
4.根据权利要求2或3所述的虚拟角色模型的学习方法，其特征在于，所述根据获取的姿态拟合相似度、所述第一类空间指向向量和所述第二类空间指向向量，计算所述当前视频图像帧对应的虚拟角色模型的各相邻两个骨骼关键点的空间指向调整向量，具体通过以下公式计算：
其中，所述
为所述当前视频图像帧对应的虚拟角色模型的相邻两个骨骼关键点的空间指向调整向量，所述
为所述第二类空间指向向量，所述prob为所述姿态拟合相似度，所述
为所述第一类空间指向向量，所述i和所述j为用于表示两个相邻的骨骼关键点的序号。
5.根据权利要求1所述的虚拟角色模型的学习方法，其特征在于，在所述根据各所述相邻两个骨骼关键点的空间指向调整向量，获取所述当前视频图像帧对应的虚拟角色模型的骨骼姿态调整信息之前，还包括：
获取各所述相邻两个骨骼关键点的距离；
所述根据各所述相邻两个骨骼关键点的空间指向调整向量，获取所述当前视频图像帧对应的虚拟角色模型的骨骼姿态调整信息，具体为：
根据各所述相邻两个骨骼关键点的距离和各所述相邻两个骨骼关键点的空间指向调整向量，获取所述当前视频图像帧对应的虚拟角色模型的骨骼姿态调整信息。
6.根据权利要求5所述的虚拟角色模型的学习方法，其特征在于，所述骨骼姿态调整信息包括：所述当前视频图像帧对应的虚拟角色模型的各骨骼关键点的空间坐标；
所述根据各所述相邻两个骨骼关键点的距离和各所述相邻两个骨骼关键点的空间指向调整向量，获取所述当前视频图像帧对应的虚拟角色模型的骨骼姿态调整信息，包括：
根据预设的参考骨骼关键点的空间坐标、各所述相邻两个骨骼关键点的距离和各所述相邻两个骨骼关键点的空间指向调整向量，依次计算所述当前视频图像帧对应的虚拟角色模型的各骨骼关键点的空间坐标；其中，所述参考骨骼关键点为所述虚拟角色模型的各骨骼关键点中的一个。
7.根据权利要求6所述的虚拟角色模型的学习方法，其特征在于，所述根据预设的参考骨骼关键点的空间坐标、各所述相邻两个骨骼关键点的距离和各所述相邻两个骨骼关键点的空间指向调整向量，依次计算所述当前视频图像帧对应的虚拟角色模型的各骨骼关键点的空间坐标，包括：
根据所述参考骨骼关键点的空间坐标、所述参考骨骼关键点和第一骨骼关键点的距离、所述参考骨骼关键点和所述第一骨骼关键点的空间指向调整向量，计算所述当前视频图像帧对应的虚拟角色模型的所述第一骨骼关键点的空间坐标；其中，所述第一骨骼关键点与所述参考骨骼关键点互为相邻的两个骨骼关键点；
将所述第一骨骼关键点作为所述参考骨骼关键点，按照各骨骼关键点之间的相邻关系，依次计算所述当前视频图像帧对应的虚拟角色模型的各剩余骨骼关键点的空间坐标。
8.根据权利要求7所述的虚拟角色模型的学习方法，其特征在于，所述根据所述参考骨骼关键点的空间坐标、所述参考骨骼关键点和第一骨骼关键点的距离、所述参考骨骼关键点和所述第一骨骼关键点的空间指向调整向量，计算所述当前视频图像帧对应的虚拟角色模型的所述第一骨骼关键点的空间坐标，具体通过以下公式计算：
其中，所述newQm为所述当前视频图像帧对应的虚拟角色模型的所述第一骨骼关键点的空间坐标，所述newQroot为所述参考骨骼关键点的空间坐标，所述
为所述参考骨骼关键点与所述第一骨骼关键点的距离，所述
为所述参考骨骼关键点和所述第一骨骼关键点的空间指向调整向量，所述root为所述参考骨骼关键点的序号，所述m为所述第一骨骼关键点的序号。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至8中任一所述的虚拟角色模型的学习方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的虚拟角色模型的学习方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910758741.9A CN110675474B (zh) | 2019-08-16 | 2019-08-16 | 虚拟角色模型的学习方法、电子设备和可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910758741.9A CN110675474B (zh) | 2019-08-16 | 2019-08-16 | 虚拟角色模型的学习方法、电子设备和可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110675474A CN110675474A (zh) | 2020-01-10 |
| CN110675474B true CN110675474B (zh) | 2023-05-02 |
Family
ID=69075361
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910758741.9A Active CN110675474B (zh) | 2019-08-16 | 2019-08-16 | 虚拟角色模型的学习方法、电子设备和可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110675474B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111260764B (zh) * | 2020-02-04 | 2021-06-25 | 腾讯科技（深圳）有限公司 | 一种制作动画的方法、装置及存储介质 |
| CN111383309B (zh) * | 2020-03-06 | 2023-03-17 | 腾讯科技（深圳）有限公司 | 一种骨骼动画驱动方法、装置及存储介质 |
| CN111639612A (zh) * | 2020-06-04 | 2020-09-08 | 浙江商汤科技开发有限公司 | 姿态矫正的方法、装置、电子设备及存储介质 |
| CN111652983A (zh) * | 2020-06-10 | 2020-09-11 | 上海商汤智能科技有限公司 | 一种增强现实ar特效生成方法、装置及设备 |
| CN111885419B (zh) * | 2020-07-24 | 2022-12-06 | 青岛海尔科技有限公司 | 姿态处理方法及装置、存储介质、电子装置 |
| CN112348931B (zh) * | 2020-11-06 | 2024-01-30 | 网易（杭州）网络有限公司 | 脚部反向运动控制方法、装置、设备及存储介质 |
| CN113793409A (zh) * | 2021-09-10 | 2021-12-14 | 上海幻电信息科技有限公司 | 虚拟道具展示方法及装置 |
| CN113791687B (zh) * | 2021-09-15 | 2023-11-14 | 咪咕视讯科技有限公司 | Vr场景中的交互方法、装置、计算设备及存储介质 |
| CN114602177A (zh) * | 2022-03-28 | 2022-06-10 | 百果园技术(新加坡)有限公司 | 虚拟角色的动作控制方法、装置、设备和存储介质 |
| CN114862992A (zh) * | 2022-05-19 | 2022-08-05 | 北京百度网讯科技有限公司 | 虚拟数字人处理方法、模型训练方法及其装置 |
| CN114900738B (zh) * | 2022-06-02 | 2024-07-16 | 咪咕文化科技有限公司 | 一种观影互动方法、装置及计算机可读存储介质 |
| CN114821006B (zh) | 2022-06-23 | 2022-09-20 | 盾钰（上海）互联网科技有限公司 | 交互式间接推理的孪生体态检测方法及*** |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101154289A (zh) * | 2007-07-26 | 2008-04-02 | 上海交通大学 | 基于多目相机的三维人体运动跟踪的方法 |
| CN108876815A (zh) * | 2018-04-28 | 2018-11-23 | 深圳市瑞立视多媒体科技有限公司 | 骨骼姿态计算方法、人物虚拟模型驱动方法及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2421461B1 (en) * | 2009-04-25 | 2015-07-15 | Siemens Aktiengesellschaft | System for assessing the relative pose of an implant and a bone of a creature |
-
2019
- 2019-08-16 CN CN201910758741.9A patent/CN110675474B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101154289A (zh) * | 2007-07-26 | 2008-04-02 | 上海交通大学 | 基于多目相机的三维人体运动跟踪的方法 |
| CN108876815A (zh) * | 2018-04-28 | 2018-11-23 | 深圳市瑞立视多媒体科技有限公司 | 骨骼姿态计算方法、人物虚拟模型驱动方法及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 基于骨骼信息的虚拟角色控制方法;李红波等;《重庆邮电大学学报(自然科学版)》;20160215(第01期);第79-83页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110675474A (zh) | 2020-01-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110675474B (zh) | 虚拟角色模型的学习方法、电子设备和可读存储介质 | |
| JP7001841B2 (ja) | 画像処理方法及び装置、画像デバイス並びに記憶媒体 | |
| US20240153187A1 (en) | Virtual character posture adjustment | |
| CN110827383B (zh) | 三维模型的姿态模拟方法、装置、存储介质和电子设备 | |
| US9330502B2 (en) | Mixed reality simulation methods and systems | |
| US20210349529A1 (en) | Avatar tracking and rendering in virtual reality | |
| CN111967407B (zh) | 动作评价方法、电子设备和计算机可读存储介质 | |
| CN111124102B (zh) | 混合现实全息头显四肢和脊柱运动康复***及方法 | |
| Papagiannakis et al. | Transforming medical education and training with vr using mages | |
| Liang | Evaluation of fitness state of sports training based on self-organizing neural network | |
| WO2023185703A1 (zh) | 虚拟角色的动作控制方法、装置、设备和存储介质 | |
| CN113516064A (zh) | 体育运动的动作判定方法、装置、设备及存储介质 | |
| JP2022501732A (ja) | 画像処理方法及び装置、画像デバイス並びに記憶媒体 | |
| CN113409651B (zh) | 直播健身方法、***、电子设备、存储介质 | |
| Xie et al. | Visual feedback for core training with 3d human shape and pose | |
| Chen | Research on college physical education model based on virtual crowd simulation and digital media | |
| CN115485737A (zh) | 信息处理装置、信息处理方法和程序 | |
| CN113869186B (zh) | 模型训练方法、装置、电子设备和计算机可读存储介质 | |
| CN114373034A (zh) | 图像处理方法、装置、设备、存储介质及计算机程序 | |
| CN114724723A (zh) | 一种基于元球模型驱动的软组织变形方法 | |
| CN114356100B (zh) | 健身动作指导方法、装置、电子设备及存储介质 | |
| Qu et al. | Gaussian process latent variable models for inverse kinematics | |
| Han et al. | Intelligent Action Recognition and Dance Motion Optimization Based on Multi‐Threshold Image Segmentation | |
| Antoni et al. | Augmented Virtuality Training for Special Education Teachers | |
| Liu et al. | Application of VR technology in sports training in colleges and universities |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |