CN108335345B - 面部动画模型的控制方法及装置、计算设备 - Google Patents
面部动画模型的控制方法及装置、计算设备 Download PDFInfo
- Publication number
- CN108335345B CN108335345B CN201810145903.7A CN201810145903A CN108335345B CN 108335345 B CN108335345 B CN 108335345B CN 201810145903 A CN201810145903 A CN 201810145903A CN 108335345 B CN108335345 B CN 108335345B
- Authority
- CN
- China
- Prior art keywords
- model
- image
- key points
- group
- key point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种面部动画模型的控制方法及装置、计算设备。其中，该方法包括：确定获取到的图像数据中包含的各个图像关键点的第一位置信息，以及面部动画模型中包含的各个模型关键点的第二位置信息；根据预设的关键点映射规则，确定各个图像关键点与各个模型关键点之间的对应关系，根据对应关系将各个图像关键点的第一位置信息与各个模型关键点的第二位置信息进行比较；根据比较结果控制面部动画模型中包含的各个模型关键点发生位移，以使面部动画模型的表情发生改变。根据该方法，能够利用人脸表情驱动面部动画模型做出对应的表情或动作，提升了模型与用户之间的交互性，使动画模型的娱乐性大幅增加。
Description
技术领域
本发明涉及图像处理领域，具体涉及一种面部动画模型的控制方法及装置、计算设备。
背景技术
以3D动画模型技术为基础的人物动画已被广泛应用在各个行业中的各种虚拟场景***中，应用3D动画模型技术可以塑造各种各样栩栩如生的生物，从而有效地提高了虚拟场景的逼真性。在现有技术中，大多利用动画模型制作出虚拟生物，然后再通过预先设定的程序来控制该动画模型所对应的虚拟生物做出各种表情或动作。
但是，发明人在实现本发明的过程中发现：通过预先设定的程序来控制动画模型的方式较为死板，只能使动画模型根据程序员的设定进行改变，导致用户体验较差。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的面部动画模型的控制方法及装置、计算设备。
根据本发明的一个方面，提供了一种面部动画模型的控制方法，其包括：
确定获取到的图像数据中包含的各个图像关键点的第一位置信息，以及面部动画模型中包含的各个模型关键点的第二位置信息；
根据预设的关键点映射规则，确定各个图像关键点与各个模型关键点之间的对应关系，根据对应关系将各个图像关键点的第一位置信息与各个模型关键点的第二位置信息进行比较；
根据比较结果控制面部动画模型中包含的各个模型关键点发生位移，以使面部动画模型的表情发生改变。
可选地，其中，所述图像数据中包含的各个图像关键点进一步包括：根据面部部位划分的多组图像部位关键点，且所述面部动画模型中包含的各个模型关键点进一步包括：根据模型部位划分的多组模型部位关键点；
则所述将各个图像关键点的第一位置信息与各个模型关键点的第二位置信息进行比较的步骤具体包括：
分别针对每组图像部位关键点，确定与该组图像部位关键点相对应的一组模型部位关键点，并分别确定与该组图像部位关键点相对应的第一部位表情系数以及与该组模型部位关键点相对应的第二部位表情系数；
分别将每组图像部位关键点的第一部位表情系数与该组图像部位关键点所对应的一组模型部位关键点的第二部位表情系数进行比较。
可选地，其中，所述分别确定与该组图像部位关键点相对应的第一部位表情系数以及与该组模型部位关键点相对应的第二部位表情系数的步骤具体包括：
根据所述各个图像关键点的第一位置信息确定该组图像部位关键点的第一分布信息，根据预设的第一表情计算规则确定与所述第一分布信息相对应的第一部位表情系数；
根据所述各个模型关键点的第二位置信息确定该组模型部位关键点的第二分布信息，根据预设的第二表情计算规则确定与所述第二分布信息相对应的第二部位表情系数。
可选地，其中，所述根据比较结果控制所述面部动画模型中包含的各个模型关键点发生位移的步骤具体包括：
分别针对每组图像部位关键点，判断该组图像部位关键点的第一部位表情系数与该组图像部位关键点所对应的一组模型部位关键点的第二部位表情系数之间的差值是否大于预设阈值；
若是，将与该组图像部位关键点相对应的一组模型部位关键点确定为目标部位关键点，控制所述目标部位关键点发生位移。
可选地，其中，所述控制所述目标部位关键点发生位移的步骤具体包括：
根据所述第一部位表情系数以及预设的模型联动规则，确定所述目标部位关键点的目标表情系数，根据所述目标表情系数确定所述目标部位关键点的位移方向和/或位移幅度；
其中，所述模型联动规则用于设置各组图像部位关键点的第一部位表情系数与对应的模型部位关键点的目标表情系数之间的对应关系。
可选地，其中，所述模型联动规则进一步用于设置与每组模型部位关键点相关联的关联部位点以及所述关联部位点的关联位移规则；
则所述控制所述目标部位关键点发生位移的步骤进一步包括：确定与所述目标部位关键点相关联的关联部位点以及所述关联部位点的关联位移规则，控制所述关联部位点按照所述关联位移规则发生位移。
可选地，其中，所述模型部位关键点包括眼睛部位关键点、和/或嘴巴部位关键点；所述关联部位点包括：眉毛部位点、脸部部位点和/或耳朵部位点。
可选地，其中，所述确定获取到的图像数据中包含的各个图像关键点的第一位置信息的步骤具体包括：
实时获取直播视频流中包含的当前帧图像所对应的图像数据，确定所述当前帧图像所对应的图像数据中包含的各个图像关键点的第一位置信息。
可选地，其中，所述确定获取到的图像数据中包含的各个图像关键点的第一位置信息的步骤具体包括：
依次获取已录制的视频流中包含的各帧图像所对应的图像数据，确定该帧图像所对应的图像数据中包含的各个图像关键点的第一位置信息。
可选地，其中，所述面部动画模型为骨骼动画模型，且所述面部动画模型中的各个模型关键点与预设的骨骼部位相对应。
可选地，其中，所述骨骼动画模型进一步包括：动物骨骼动画模型，且所述动物骨骼动画模型包括：猫咪骨骼动画模型、骏马骨骼动画模型、以及兔子骨骼动画模型。
根据本发明的另一个方面，提供了一种面部动画模型的控制装置，包括：
确定模块，适于确定获取到的图像数据中包含的各个图像关键点的第一位置信息，以及面部动画模型中包含的各个模型关键点的第二位置信息；
比较模块，适于根据预设的关键点映射规则，确定各个图像关键点与各个模型关键点之间的对应关系，根据对应关系将各个图像关键点的第一位置信息与各个模型关键点的第二位置信息进行比较；
改变模块，适于根据比较结果控制面部动画模型中包含的各个模型关键点发生位移，以使面部动画模型的表情发生改变。
可选地，其中，所述图像数据中包含的各个图像关键点进一步包括：根据面部部位划分的多组图像部位关键点，且所述面部动画模型中包含的各个模型关键点进一步包括：根据模型部位划分的多组模型部位关键点；
则所述比较模块具体适于：
分别针对每组图像部位关键点，确定与该组图像部位关键点相对应的一组模型部位关键点，并分别确定与该组图像部位关键点相对应的第一部位表情系数以及与该组模型部位关键点相对应的第二部位表情系数；
分别将每组图像部位关键点的第一部位表情系数与该组图像部位关键点所对应的一组模型部位关键点的第二部位表情系数进行比较。
可选地，其中，所述比较模块具体适于：
根据所述各个图像关键点的第一位置信息确定该组图像部位关键点的第一分布信息，根据预设的第一表情计算规则确定与所述第一分布信息相对应的第一部位表情系数；
根据所述各个模型关键点的第二位置信息确定该组模型部位关键点的第二分布信息，根据预设的第二表情计算规则确定与所述第二分布信息相对应的第二部位表情系数。
可选地，其中，所述改变模块具体适于：
分别针对每组图像部位关键点，判断该组图像部位关键点的第一部位表情系数与该组图像部位关键点所对应的一组模型部位关键点的第二部位表情系数之间的差值是否大于预设阈值；
若是，将与该组图像部位关键点相对应的一组模型部位关键点确定为目标部位关键点，控制所述目标部位关键点发生位移。
可选地，其中，所述改变模块具体适于：
根据所述第一部位表情系数以及预设的模型联动规则，确定所述目标部位关键点的目标表情系数，根据所述目标表情系数确定所述目标部位关键点的位移方向和/或位移幅度；
其中，所述模型联动规则用于设置各组图像部位关键点的第一部位表情系数与对应的模型部位关键点的目标表情系数之间的对应关系。
可选地，其中，所述模型联动规则进一步用于设置与每组模型部位关键点相关联的关联部位点以及所述关联部位点的关联位移规则；
则所述改变模块进一步适于：确定与所述目标部位关键点相关联的关联部位点以及所述关联部位点的关联位移规则，控制所述关联部位点按照所述关联位移规则发生位移。
可选地，其中，所述模型部位关键点包括眼睛部位关键点、和/或嘴巴部位关键点；所述关联部位点包括：眉毛部位点、脸部部位点和/或耳朵部位点。
可选地，其中，所述确定模块具体适于：
实时获取直播视频流中包含的当前帧图像所对应的图像数据，确定所述当前帧图像所对应的图像数据中包含的各个图像关键点的第一位置信息。
可选地，其中，所述确定模块具体适于：
依次获取已录制的视频流中包含的各帧图像所对应的图像数据，确定该帧图像所对应的图像数据中包含的各个图像关键点的第一位置信息。
可选地，其中，所述面部动画模型为骨骼动画模型，且所述面部动画模型中的各个模型关键点与预设的骨骼部位相对应。
可选地，其中，所述骨骼动画模型进一步包括：动物骨骼动画模型，且所述动物骨骼动画模型包括：猫咪骨骼动画模型、骏马骨骼动画模型、以及兔子骨骼动画模型。
根据本发明的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述面部动画模型的控制方法对应的操作。
根据本发明的再一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述面部动画模型的控制方法对应的操作。
根据本发明提供的面部动画模型的控制方法及装置、计算设备，通过确定获取到的图像数据中包含的各个图像关键点的第一位置信息以及面部动画模型中包含的各个模型关键点的第二位置信息，然后根据图像关键点与模型关键点之间的对应关系将上述第一位置信息和第二位置信息进行比较，并且根据比较结果控制面部动画模型中包含的各个模型关键点发生位移，以使面部动画模型的表情发生改变。根据该方法，能够实现根据获取到的图像数据中的人脸面部表情相对应地控制各种面部动画模型做出相似的表情或者其它的各种表情和动作，增加了趣味性。由此可见，根据该方法，能够利用人脸表情驱动面部动画模型做出对应的表情或动作，提升了模型与用户之间的交互性，使动画模型的娱乐性大幅增加。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明一个实施例的面部动画模型的控制方法的流程图；
图2示出了根据本发明另一个实施例的面部动画模型的控制方法的流程图；
图3示出了根据本发明一个实施例的面部动画模型的控制装置的功能框图；
图4示出了根据本发明一个实施例的一种计算设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明一个实施例的面部动画模型的控制方法的流程图。如图1所示，面部动画模型的控制方法具体包括如下步骤：
步骤S101，确定获取到的图像数据中包含的各个图像关键点的第一位置信息，以及面部动画模型中包含的各个模型关键点的第二位置信息。
其中，上述获取到的图像数据可以为实时获取的直播视频流中包含的当前帧图像所对应的图像数据，也可以为依次获取已录制的视频流中包含的各帧图像所对应的图像数据。获取到的图像数据中包含的图像关键点可以包括：与面部五官或者面部轮廓相对应的特征点，上述各个图像关键点可以通过深度学习的方式获取到，也可以通过其它的方式获取到。当获取到各个图像关键点之后，则可以获取各个图像关键点的第一位置信息，第一位置信息可以以图像关键点在设置在图像数据中的坐标系中的位置坐标的形式来表示，其中，坐标体系设置的具***置和设置方式可以由本领域人员根据实际情况具体地进行设置。第一位置信息除了以位置坐标的形式来表示外，还可以以其它的形式来表示，具体地可以依据图像关键点的位置表示方式来确定。相应地，面部动画模型中包含的各个模型关键点可以包括：与动画模型的面部五官或者面部轮廓相对应的特征点。第二位置信息可以以各个模型关键点在设置于动画模型中的坐标系中的位置坐标的形式来表示，还可以以其它的形式来表示，在这里不予以限制。
步骤S102，根据预设的关键点映射规则，确定各个图像关键点与各个模型关键点之间的对应关系，根据对应关系将各个图像关键点的第一位置信息与各个模型关键点的第二位置信息进行比较。
其中，各个图像关键点可以包括针对面部部位划分的多组图像部位关键点，相应地，面部动画模型中包含的各个模型关键点可以包括：根据模型部位划分的多组模型部位关键点。图像部位关键点可以根据面部部位的类型划分为图像眼睛部位关键点、图像嘴巴部位关键点等，相应地，模型部位关键点也可以根据面部模型部位的类型划分为模型眼睛部位关键点、模型嘴巴部位关键点等。除了上述划分方式，还可以根据其它的方式来进行划分。由于面部动画模型和获取到的各个图像相比，可以是等比例的大小或者是进行等比例的缩放后的大小，则预设的关键点映射规则可以是针对上述任意一种大小的面部动画模型，各个图像部位关键点和其相同类型的模型部位关键点一一对应的规则，比如图像眼睛部位关键点和模型眼睛部位关键点相互对应的规则。根据这种对应关系，将各个图像关键点的第一位置信息与各个模型关键点的第二位置信息进行比较。在将各个图像关键点的第一位置信息与各个模型关键点的第二位置信息进行比较时，可以将各个图像或者面部动画模型进行缩放，从而获得可以直接进行比较的第一位置信息或者第二位置信息，然后将其进行比较。或者确定各组图像部位关键点相对应的第一部位表情系数和其对应的该组模型部位关键点相对应的第二部位表情系数；然后分别将每组图像部位关键点的第一部位表情系数与该组图像部位关键点所对应的一组模型部位关键点的第二部位表情系数进行比较。除了上述比较方式外，本领域人员还可以根据其它的方式将各个图像关键点的第一位置信息与各个模型关键点的第二位置信息进行比较。
步骤S103，根据比较结果控制面部动画模型中包含的各个模型关键点发生位移，以使面部动画模型的表情发生改变。
具体地，以分别将每组图像部位关键点的第一部位表情系数与该组图像部位关键点所对应的一组模型部位关键点的第二部位表情系数进行比较的比较方式为例。可以只要第一部位表情系数与第二部位表情系数不同，则控制面部动画模型中包含的各个模型关键点发生位移，以使面部动画模型的表情发生改变；或者第一部位表情系数和第二部位表情系数相差的数值大于某个预设阈值时，则控制面部动画模型中包含的各个模型关键点发生位移，以使面部动画模型的表情发生改变。上述预设阈值可以根据要求控制的精度来具体设置，当对控制精度要求的比较高时，预设阈值可以设置为较小的值，以图像眼睛部位关键点的第一部位表情系数和模型眼睛部位关键点相对应的第二部位表情系数为例，当图像中眼睛部位的表情只要和面部模型中眼睛部位的表情稍微不同则可以控制面部动画模型中包含的眼睛部位关键点和与之关联的各个模型关键点发生位移，从而使面部动画模型的表情发生改变；当对控制精度要求的比较低时，预设阈值可以设置为较大的值，以图像眼睛部位关键点的第一部位表情系数和模型眼睛部位关键点相对应的第二部位表情系数为例，当图像中眼睛部位的表情和面部模型中眼睛部位的表情相差较大时，才可以控制面部动画模型中包含的眼睛部位关键点和与之关联的各个模型关键点发生位移，以使面部动画模型的表情发生改变。如果根据其它的方式进行比较，也可以根据具体的比较结果以其他的方式来控制面部动画模型中包含的各个模型关键点发生位移，以使面部动画模型的表情发生改变。
另外，控制面部动画模型中包含的各个模型关键点发生位移，以使面部动画模型的表情发生改变时，可以控制面部动画模型中包含的各个模型关键点发生位移以使面部动画模型的表情和图像中的面部表情相同或者相似，以模仿图像中的人脸的面部表情；即当图像中人脸眨眼的时候，面部动画模型中也随着眨眼，当图像中人脸张嘴或者闭嘴的时候，面部动画模型也相应地张嘴或者闭嘴。除了上述移动方式外，还可以由本领域技术人员自定义控制面部动画模型中包含的各个模型关键点发生位移的移动方式，以使面部动画模型的表情发生任意的改变，比如当图像中人脸哭的时候，面部动画模型中面部可以做出笑的表情，并且做出耳朵竖起来的动作等。
根据本实施例提供的面部动画模型的控制方法，通过确定获取到的图像数据中包含的各个图像关键点的第一位置信息以及面部动画模型中包含的各个模型关键点的第二位置信息，然后根据图像关键点与模型关键点之间的对应关系将上述第一位置信息和第二位置信息进行比较，并且根据比较结果控制面部动画模型中包含的各个模型关键点发生位移，以使面部动画模型的表情发生改变。根据该方法，能够实现根据获取到的图像数据中的人脸面部表情相对应地控制各种面部动画模型做出相似的表情或者其它的各种表情和动作，增加了趣味性。由此可见，根据该方法，能够利用人脸表情驱动面部动画模型做出对应的表情或动作，提升了模型与用户之间的交互性，使动画模型的娱乐性大幅增加。
图2示出了根据本发明一个实施例的面部动画模型的控制方法的流程图。如图2所示，面部动画模型的控制方法具体包括如下步骤：
步骤S201，确定获取到的图像数据中包含的各个图像关键点的第一位置信息，以及面部动画模型中包含的各个模型关键点的第二位置信息。
具体地，可以实时获取直播视频流中包含的当前帧图像所对应的图像数据，确定当前帧图像数据中包含的各个图像关键点的第一位置信息；或者依次获取已录制的视频流中包含的各帧图像所对应的图像数据，确定该帧图像所对应的图像数据中包含的各个图像关键点的第一位置信息。当为实时获取的直播视频流中包含的各个当前帧图像所对应的图像数据时，可以为上传至如爱奇艺、优酷、快视频等云视频平台服务器，以供视频平台服务器在云视频平台进行展示视频数据的各个当前帧图像所对应的图像数据。可选地，还可以为上传至云直播服务器，以供云直播服务器将当前帧图像实时推送给观看用户客户端的各个当前帧图像所对应的图像数据。可选地，还可以为上传至云公众号服务器，以供云公众号服务器将当前帧图像推送给公众号关注客户端的各个当前帧图像所对应的图像数据。当有用户关注该公众号时，由云公众号服务器将上述视频数据推送给公众号关注客户端；进一步，云公众号服务器还可以根据关注公众号的用户的观看习惯，推送符合用户习惯的视频数据给公众号关注客户端。总之，本发明中的图像数据既可以实时获取也可以非实时获取，本发明不限定具体的应用场景。
另外，本实施例提供的面部动画模型可以为骨骼动画模型或者其它类型的面部动画模型。当为骨骼动画模型时，上述动画模型中的各个模型关键点与预设的骨骼部位相对应。比如动画模型中的眼睛部位的各个模型关键点和预设的眼睛部位的骨骼相对应。上述骨骼动画模型可以为人类骨骼动画模型，还可以为各种动物骨骼动画模型，比如为猫咪骨骼动画模型、骏马骨骼动画模型以及兔子骨骼动画模型。通过将骨骼动画模型设置为各种生物的骨骼动画模型，从而丰富了所控制的面部动画模型的种类，这样当人脸做表情的时候可以控制各种面部动画模型随之做相同或者相似的表情以及其它的各式各样的表情及动作，提高了趣味性。
具体地，上述各个图像关键点可以包括：与面部五官或者面部轮廓相对应的特征点。另外，图像数据中包含的各个图像关键点可以进一步包括根据面部部位划分的多组图像部位关键点。具体的划分方式，可以根据面部五官或者面部轮廓的种类进行划分，比如划分为眼睛部位关键点、鼻子部位关键点、嘴巴部位关键点等，还可以根据面部五官或轮廓可以发生变化程度的大小进行划分。相应地，面部动画模型中包含的各个模型关键点进一步包括：根据模型部位划分的多组模型部位关键点，并且模型部位关键点可以包括眼睛部位关键点、和/或嘴巴部位关键点。上述各个图像关键点可以通过深度学习的方法获取到，还可以根据其它的方式获得。比如可以预先针对一帧图像的脸部五官的位置和脸部轮廓的位置布置95个或者任意多个关键点，然后建立坐标系，以获取上述这一帧图像各个关键点的坐标信息即第一位置信息，上述坐标系原点的位置可以由本领域技术人员根据实际情况具体设置，在此不做限定。其它帧的图像所对应的图像数据中包含的图像关键点的第一位置信息也可以根据该方法获取。相对应地，也可以在面部动画模型中五官的位置和脸部轮廓的位置相应地布置95个或者任意多个关键点。在一种可选的实现方式中，为了实现更好的视觉效果，面部动画模型是由3D网格构成的三维模型，相应地，通过获取上述各个模型关键点在3D网格上的分布，则可以确定出各个模型关键点与三维模型相对应的三维坐标信息，根据上述信息则可以获取各个模型关键点的第二位置信息。由此可见，根据该步骤，即使在没有深度摄像头的情况下也能通过获取到的图像数据中包含的各个图像关键点的第一位置信息，以及面部动画模型中包含的各个模型关键点的第二位置信息，并通过执行后续的步骤来实现对面部动画模型的控制，从而降低了对设备摄像头的硬性条件的要求，更加的简单实用。
步骤S202，根据预设的关键点映射规则，确定各个图像关键点与各个模型关键点之间的对应关系。
上述预设的关键点映射规则可以为各个图像关键点与其相同类型的各个模型关键点一一对应的映射规则，还可以为各组图像部位关键点和其相同类型的各组模型部位关键点一一对应的映射规则，比如图像眼睛部位关键点和模型眼睛部位关键点相互对应，图像嘴巴部位关键点和模型嘴巴部位关键点相互对应等。根据上述预设的关键点映射规则，可以确定各个图像关键点与各个模型关键点之间的对应关系以及各组图像部位关键点与各组模型部位关键点之间的对应关系。
步骤S203，分别针对每组图像部位关键点，确定与该组图像部位关键点相对应的一组模型部位关键点，并分别确定与该组图像部位关键点相对应的第一部位表情系数以及与该组模型部位关键点相对应的第二部位表情系数。
具体地，根据上述各个图像关键点的第一位置信息可以确定该组图像部位关键点的第一分布信息，然后根据预设的第一表情计算规则确定与上述第一分布信息相对应的第一部位表情系数。比如可以在嘴巴部位设置21个图像关键点，根据嘴巴上各个图像关键点的第一位置信息可以确定该组图像嘴巴部位关键点的第一分布信息，比如当嘴唇闭合的时候，相互接触的上下嘴唇表面分布的各个图像关键点基本处于重合的状态，当嘴唇逐渐张开的时候，嘴唇上分布的各个图像关键点的距离和位置也随着嘴唇的张开相应地发生变化。通过确定该组图像嘴巴部位关键点的第一分布信息，然后根据预设的第一表情计算规则确定与上述的嘴巴部位关键点的第一分布信息相对应的第一部位表情系数。根据上述各个模型关键点的第二位置信息可以确定该组模型部位关键点的第二分布信息，根据预设的第二表情计算规则可以确定与上述第二分布信息相对应的第二部位表情系数。其中，上述第一表情计算规则与第二表情计算规则可以为根据第一分布信息中以及第二分布信息中各个关键点的相互的位置关系以及距离关系来计算第一表情系数与第二表情系数的规则。并且上述第一表情系数与第二表情系数可以为以建立的表情体系中的表情系数为标准，数值范围为0到1之间的数值，上述建立的表情体系可以为blendship表情体系，还可以为其它类型的表情体系。比如当嘴巴张开到最大的时候，对应的表情系数为1；当嘴巴闭上的时候，对应的表情系数为0。
步骤S204，分别将每组图像部位关键点的第一部位表情系数与该组图像部位关键点所对应的一组模型部位关键点的第二部位表情系数进行比较。
在步骤S203中分别确定与该组图像部位关键点相对应的第一部位表情系数以及与该组模型部位关键点相对应的第二部位表情系数之后，在本步骤中分别将每组图像部位关键点的第一部位表情系数与该组图像部位关键点所对应的一组模型部位关键点的第二部位表情系数进行比较。
步骤S205，分别针对每组图像部位关键点，判断该组图像部位关键点的第一部位表情系数与该组图像部位关键点所对应的一组模型部位关键点的第二部位表情系数之间的差值是否大于预设阈值。
当一组图像的人脸面部表情和此时的面部模型的面部表情完全一样或者相差不大时，则图像中各组图像部位关键点的第一部位表情系数与面部模型中各组模型部位关键点的第二部位表情系数数值相等或者相差不大，此时无需控制模型部位关键点发生位移，以使面部动画模型的表情发生改变。可选地，当图像中一种或者多种器官的变化程度和此时面部模型中相对应的该种器官的变化程度一样或者相差不大时，比如图像中的人脸的嘴巴的开合程度和动画模型中的嘴巴部位的开合程度一样或者相差不大时，则该组图像部位关键点的第一部位表情系数与该组图像关键点所对应的一组模型部位关键点的第二表情系数值相等或者相差很小，此时也无需控制该组模型部位关键点发生位移就可以使该模型中该组图像部位关键点所对应的表情和该组模型部位关键点所对应的表情相同。因此针对上述情况，为了设置控制面部动画模型的精度，可以分别针对每组图像部位关键点，判断该组图像部位关键点的第一部位表情系数与该组图像部位关键点所对应的一组模型部位关键点的第二部位表情系数之间的差值是否大于预设阈值。预设阈值可以由本领域人员根据需要控制的精度自行设置，比如当对控制精度要求的比较高时，上述预设阈值可以设置为0或者较小的数值，这样各组图像部位关键点的第一部位表情系数和其相应的各组模型部位关键点的第二表情系数相差很小时也能实现对面部模型的控制，相反地，当控制精度要求的比较低时，上述预设阈值也可以设置为较大的数值，这样各组图像部位关键点的第一部位表情系数和其相应的各组模型部位关键点的第二部位表情系数相差较大时才能实现对面部模型的控制。通过实施该步骤，能够比较灵活地根据需要的控制精度来实现对动画模型的控制或者局部控制，并且能够更加准确地实现对面部动画模型的控制，减少不必要的操作。并且，可选的，上述的预设阈值还可以为多个分别对应于不同的模型部位关键点的阈值。具体地，可以根据各个模型部位的可变形程度来确定对应的阈值大小。例如，对于眼睛部位和嘴巴部位而言，其变化较为明显，因此，可以将阈值设置得较小，以提升控制精度；又如，对于耳朵部位和脸颊部位而言，其变化不明显，因此，可以将阈值设置得较大，以减少用户不易察觉的调整操作所带来的性能损耗。
步骤S206，若是，将与该组图像部位关键点相对应的一组模型部位关键点确定为目标部位关键点，控制目标部位关键点发生位移，以使面部动画模型的表情发生改变。
如果分别针对每组图像部位关键点，判断该组图像部位关键点的第一部位表情系数与该组图像部位关键点所对应的一组模型部位关键点的第二部位表情系数之间的差值大于预设阈值，则可以将该组图像部位关键点相对应的一组模型部位关键点确定为目标部位关键点，并且控制目标部位关键点发生位移，以使面部动画模型的表情发生改变。
具体地，可以根据上述第一部位表情系数以及预设的模型联动规则，确定目标关键点的目标表情系数，并且根据上述目标表情系数确定目标关键点的位移方向、位移幅度。其中模型联动规则用于设置各组图像部位关键点的第一部位表情系数与对应的模型部位关键点的目标表情系数之间的对应关系。这种对应关系可以是一一对应相等的关系，还可以为由本领域人员根据需要自行设置的各种对应关系，比如可以将各组图像部位关键点的第一部位表情系数与对应的模型部位关键点的目标表情系数设置为相等的数值，这样可以实现对面部模型中各组模型部位关键点和其相对应的各组图像部位关键点同步的控制，比如当图像人脸张开嘴巴的时候，可以实现对面部模型中嘴巴也相应地等比例地张开的控制，当图像人脸眼睛张开的时候也可以实现对面部模型中眼睛也相应地等比例地张开的控制。可选地，也可以将各组图像部位关键点的第一部位表情系数与对应的模型部位关键点的目标表情系数设置为不相等的数值，这样当图像中人眼睁开的时候，也可以实现对面部模型中人眼眼球的转动的控制或者眼睛闭合动作的控制；当图像中嘴巴张开的时候，实现对面部模型中嘴巴闭合的控制。总之，模型联动规则是为了设置各组图像部位关键点的第一部位表情系数与对应的模型部位关键点的目标表情系数之间的对应关系，但是本发明并不限制对应关系的具体设置方式。根据上述第一部位表情系数以及预设的模型联动规则确定目标关键点的目标表情系数之后，则可以根据上述目标表情系数以及表情系数计算规则，确定目标关键点相应的位移方向、位移幅度，从而根据上述位移方向、位移幅度控制目标部位关键点发生位移，以使面部动画模型的表情发生改变。
另外，上述模型联动规则还可以进一步用于设置与每组模型部位关键点相关联的关联部位点以及关联部位点的关联位移规则。其中，关联部位点包括：眉毛部位点、脸部部位点和/或耳朵部位点。则上述控制目标部位关键点发生位移时，可以确定与上述目标部位关键点相关联的关联部位点以及关联部位点的关联位移规则，并且控制上述关联部位点按照关联位移规则发生位移。具体地，上述关联移动规则可以根据各组模型部位关键点和关联部位点之间的连接关系以及联动规律进行设置，由于骨骼动画模型中的各个骨骼之间的连接关系可以根据人类面部的各个骨骼的连接关系或者各类动物中的面部的骨骼的连接关系预先设定，这样骨骼动画模型中的各个骨骼的运动规律符合实际的人类面部或者动物面部骨骼的运动规律，从而使面部骨骼动画模型的仿真效果更好。因此，当模型面部发出笑的表情时，由于其骨骼的联动规律，随着嘴角的上扬则面部脸蛋也会向上提，眼睛的形状会弯曲；当人脸哭的时候，由于其骨骼的联动规律，随着嘴巴的下拉，则面部脸蛋会随着向下，眉毛也会皱起。可以根据上述联动规律设定关联移动规则，当目标关键点发生位移时，可以确定与上述目标部位关键点相关联的关联部位点以及关联部位点的关联位移规则，并控制关联部位点按照关联位移规则发生位移。比如当模型嘴巴为目标关键点，当嘴巴向上翘起时，可以确定与目标关键点相关联的关联部位点为眉毛部位点、脸部部位点等，并且确定上述关联部位点的具体的关联位移规则，比如随着嘴巴的上翘，眉毛部位点会上扬、脸部部位点随着上提的位移规则，从而控制上述关联部位点按照上述关联移动规则发生位移。
除了以上述方式来设置关联移动规则外，本领域技术人员还可以自定义设置与每组模型部位关键点相关联的关联部位点以及关联部位点的关联位移规则。比如设置与模型嘴巴部位关键点相关联的关联部位点除了眉毛部位点、脸部部位点还可以为耳朵部位点。这样，当图像人脸做笑的表情时，随着嘴角上扬的可以控制动画模型中耳朵竖起来或者做其它的动作，当图像人脸做哭的表情时，随着嘴角的下垂可以控制动画模型中耳朵耷拉下来或者做其它的动作，通过自定义设置与每组模型部位关键点相关联的关联部位点以及关联部位点的关联位移规则，使得与每组模型部位关键点相关联的关联部位点以及关联部位点的关联移动规则并不限制于骨骼动画模型中的骨骼的连接关系以及联动规律，而是更加地多元化和丰富化，大大地增强了趣味性。
其中，关联部位点既可以是关键点，也可以是非关键点。因此，通过设置关联移动规则，能够使模型中原本不会动的部位也发生表情变化，从而丰富了模型的动画效果。例如，原本人的耳朵不会动，因此，若不设置关联移动规则，则模型中的耳朵也将始终保持静止不动。但是，对于一些卡通模型(例如兔子模型)而言，耳朵的变化能够非常灵动地反映对应的表情特征，因此，本发明通过设置关联移动规则能够使原本无法变化的部位也随着人脸的表情变化而变化，从而提升了视觉效果。
另外，实质上，面部动画模型中包含的五官也可以与人脸的五官不一致，例如，也可以是小鱼动画模型，相应地，可以通过关键点映射规则，使人的嘴巴与小鱼的腮部相互映射，以实现较好的娱乐效果。总之，关键点映射规则可以根据需要灵活定义图像关键点与模型关键点之间的对应关系。同理，模型联动规则及其包含的关联位移规则也都可以灵活设置。
根据本实施例提供的面部动画模型的控制装置方法，通过确定获取到的图像数据中包含的各个图像关键点的第一位置信息，以及面部动画模型中包含的各个模型关键点的第二位置信息；并分别针对每组图像部位关键点，确定与该组图像部位关键点相对应的一组模型部位关键点，并分别确定与该组图像部位关键点相对应的第一部位表情系数以及与该组模型部位关键点相对应的第二部位表情系数；然后通过将每组图像部位关键点的第一部位表情系数与该组图像部位关键点所对应的一组模型部位关键点的第二部位表情系数进行比较，判断其差值是否大于预设阈值，通过预设阈值可以比较灵活地根据需要的控制精度来实现对动画模型的控制或者局部控制，并且能够更加准确地实现对面部动画模型的控制。最后，如果判断上述差值超过预设阈值则将与该组图像部位关键点相对应的一组模型部位关键点确定为目标部位关键点，控制目标部位关键点发生位移，以使面部动画模型的表情发生改变。根据该方法，能够实现根据获取到的图像数据中的人脸面部表情相对应地控制各种面部动画模型做出相似的表情或者其它的各种表情和动作，增加了趣味性。由此可见，根据该方法，能够利用人脸表情驱动面部动画模型做出对应的表情或动作，提升了模型与用户之间的交互性，使动画模型的娱乐性大幅增加。
图3示出了根据本发明一个实施例的面部动画模型的控制装置的功能框图。如图3所示，所述装置包括:
确定模块31，适于确定获取到的图像数据中包含的各个图像关键点的第一位置信息，以及所述面部动画模型中包含的各个模型关键点的第二位置信息；
比较模块32，适于根据预设的关键点映射规则，确定各个图像关键点与各个模型关键点之间的对应关系，根据所述对应关系将各个图像关键点的第一位置信息与各个模型关键点的第二位置信息进行比较；
改变模块33，适于根据比较结果控制所述面部动画模型中包含的各个模型关键点发生位移，以使所述面部动画模型的表情发生改变。
可选地，其中，所述图像数据中包含的各个图像关键点进一步包括：根据面部部位划分的多组图像部位关键点，且所述面部动画模型中包含的各个模型关键点进一步包括：根据模型部位划分的多组模型部位关键点；
则所述比较模块32具体适于：
分别针对每组图像部位关键点，确定与该组图像部位关键点相对应的一组模型部位关键点，并分别确定与该组图像部位关键点相对应的第一部位表情系数以及与该组模型部位关键点相对应的第二部位表情系数；
分别将每组图像部位关键点的第一部位表情系数与该组图像部位关键点所对应的一组模型部位关键点的第二部位表情系数进行比较。
可选地，其中，所述比较模块32具体适于：
根据所述各个图像关键点的第一位置信息确定该组图像部位关键点的第一分布信息，根据预设的第一表情计算规则确定与所述第一分布信息相对应的第一部位表情系数；
根据所述各个模型关键点的第二位置信息确定该组模型部位关键点的第二分布信息，根据预设的第二表情计算规则确定与所述第二分布信息相对应的第二部位表情系数。
可选地，其中，所述改变模块33具体适于：
分别针对每组图像部位关键点，判断该组图像部位关键点的第一部位表情系数与该组图像部位关键点所对应的一组模型部位关键点的第二部位表情系数之间的差值是否大于预设阈值；
若是，将与该组图像部位关键点相对应的一组模型部位关键点确定为目标部位关键点，控制所述目标部位关键点发生位移。
可选地，其中，所述改变模块33具体适于：
根据所述第一部位表情系数以及预设的模型联动规则，确定所述目标部位关键点的目标表情系数，根据所述目标表情系数确定所述目标部位关键点的位移方向和/或位移幅度；
其中，所述模型联动规则用于设置各组图像部位关键点的第一部位表情系数与对应的模型部位关键点的目标表情系数之间的对应关系。
可选地，其中，所述模型联动规则进一步用于设置与每组模型部位关键点相关联的关联部位点以及所述关联部位点的关联位移规则；
则所述改变模块进一步适于：确定与所述目标部位关键点相关联的关联部位点以及所述关联部位点的关联位移规则，控制所述关联部位点按照所述关联位移规则发生位移。
可选地，其中，所述模型部位关键点包括眼睛部位关键点、和/或嘴巴部位关键点；所述关联部位点包括：眉毛部位点、脸部部位点和/或耳朵部位点。
可选地，其中，所述确定模块31具体适于：
实时获取直播视频流中包含的当前帧图像所对应的图像数据，确定所述当前帧图像所对应的图像数据中包含的各个图像关键点的第一位置信息。
可选地，其中，所述确定模块31具体适于：
依次获取已录制的视频流中包含的各帧图像所对应的图像数据，确定该帧图像所对应的图像数据中包含的各个图像关键点的第一位置信息。
可选地，其中，所述面部动画模型为骨骼动画模型，且所述面部动画模型中的各个模型关键点与预设的骨骼部位相对应。
可选地，其中，所述骨骼动画模型进一步包括：动物骨骼动画模型，且所述动物骨骼动画模型包括：猫咪骨骼动画模型、骏马骨骼动画模型、以及兔子骨骼动画模型。
图4示出了根据本发明一个实施例的一种计算设备的结构示意图，本发明具体实施例并不对计算设备的具体实现做限定。
如图4所示，该计算设备可以包括：处理器(processor)402、通信接口(Communications Interface)404、存储器(memory)406、以及通信总线408。
其中：
处理器402、通信接口404、以及存储器406通过通信总线408完成相互间的通信。
通信接口404，用于与其它设备比如客户端或其它服务器等的网元通信。
处理器402，用于执行程序410，具体可以执行上述面部动画模型的控制方法实施例中的相关步骤。
具体地，程序410可以包括程序代码，该程序代码包括计算机操作指令。
处理器402可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器406，用于存放程序410。存储器406可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序410具体可以用于使得处理器402执行以下操作：
确定获取到的图像数据中包含的各个图像关键点的第一位置信息，以及所述面部动画模型中包含的各个模型关键点的第二位置信息；
根据预设的关键点映射规则，确定各个图像关键点与各个模型关键点之间的对应关系，根据所述对应关系将各个图像关键点的第一位置信息与各个模型关键点的第二位置信息进行比较；
根据比较结果控制所述面部动画模型中包含的各个模型关键点发生位移，以使所述面部动画模型的表情发生改变。
在一种可选的方式中，所述图像数据中包含的各个图像关键点进一步包括：根据面部部位划分的多组图像部位关键点，且所述面部动画模型中包含的各个模型关键点进一步包括：根据模型部位划分的多组模型部位关键点；
则程序410具体可以进一步用于使得处理器402执行以下操作：
分别针对每组图像部位关键点，确定与该组图像部位关键点相对应的一组模型部位关键点，并分别确定与该组图像部位关键点相对应的第一部位表情系数以及与该组模型部位关键点相对应的第二部位表情系数；
分别将每组图像部位关键点的第一部位表情系数与该组图像部位关键点所对应的一组模型部位关键点的第二部位表情系数进行比较。
在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：
根据所述各个图像关键点的第一位置信息确定该组图像部位关键点的第一分布信息，根据预设的第一表情计算规则确定与所述第一分布信息相对应的第一部位表情系数；
根据所述各个模型关键点的第二位置信息确定该组模型部位关键点的第二分布信息，根据预设的第二表情计算规则确定与所述第二分布信息相对应的第二部位表情系数。
在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：
分别针对每组图像部位关键点，判断该组图像部位关键点的第一部位表情系数与该组图像部位关键点所对应的一组模型部位关键点的第二部位表情系数之间的差值是否大于预设阈值；
若是，将与该组图像部位关键点相对应的一组模型部位关键点确定为目标部位关键点，控制所述目标部位关键点发生位移。
在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：
根据所述第一部位表情系数以及预设的模型联动规则，确定所述目标部位关键点的目标表情系数，根据所述目标表情系数确定所述目标部位关键点的位移方向和/或位移幅度；
其中，所述模型联动规则用于设置各组图像部位关键点的第一部位表情系数与对应的模型部位关键点的目标表情系数之间的对应关系。
在一种可选的方式中，其中，所述模型联动规则进一步用于设置与每组模型部位关键点相关联的关联部位点以及所述关联部位点的关联位移规则；
则程序410具体可以进一步用于使得处理器402执行以下操作：
确定与所述目标部位关键点相关联的关联部位点以及所述关联部位点的关联位移规则，控制所述关联部位点按照所述关联位移规则发生位移。
在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：其中，所述模型部位关键点包括眼睛部位关键点、和/或嘴巴部位关键点；所述关联部位点包括：眉毛部位点、脸部部位点和/或耳朵部位点。
在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：实时获取直播视频流中包含的当前帧图像所对应的图像数据，确定所述当前帧图像所对应的图像数据中包含的各个图像关键点的第一位置信息。
在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：依次获取已录制的视频流中包含的各帧图像所对应的图像数据，确定该帧图像所对应的图像数据中包含的各个图像关键点的第一位置信息。
在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：其中，所述面部动画模型为骨骼动画模型，且所述面部动画模型中的各个模型关键点与预设的骨骼部位相对应。
在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：其中，所述骨骼动画模型进一步包括：动物骨骼动画模型，且所述动物骨骼动画模型包括：猫咪骨骼动画模型、骏马骨骼动画模型、以及兔子骨骼动画模型。
在此提供的算法和显示不与任何特定计算机、虚拟***或者其它设备固有相关。各种通用***也可以与基于在此的示教一起使用。根据上面的描述，构造这类***所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的视频数据实时处理的装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
Claims (18)
1.一种面部动画模型的控制方法，包括：
确定获取到的图像数据中包含的各个图像关键点的第一位置信息，以及所述面部动画模型中包含的各个模型关键点的第二位置信息；
根据预设的关键点映射规则，确定各个图像关键点与各个模型关键点之间的对应关系，根据所述对应关系将各个图像关键点的第一位置信息与各个模型关键点的第二位置信息进行比较；
根据比较结果控制所述面部动画模型中包含的各个模型关键点发生位移，以使所述面部动画模型的表情发生改变；
其中，所述图像数据中包含的各个图像关键点进一步包括：根据面部部位划分的多组图像部位关键点，且所述面部动画模型中包含的各个模型关键点进一步包括：根据模型部位划分的多组模型部位关键点；
则所述将各个图像关键点的第一位置信息与各个模型关键点的第二位置信息进行比较的步骤具体包括：
分别针对每组图像部位关键点，确定与该组图像部位关键点相对应的一组模型部位关键点，并分别确定与该组图像部位关键点相对应的第一部位表情系数以及与该组模型部位关键点相对应的第二部位表情系数；
其中，所述分别确定与该组图像部位关键点相对应的第一部位表情系数以及与该组模型部位关键点相对应的第二部位表情系数的步骤具体包括：
根据所述各个图像关键点的第一位置信息确定该组图像部位关键点的第一分布信息，根据预设的第一表情计算规则确定与所述第一分布信息相对应的第一部位表情系数；根据所述各个模型关键点的第二位置信息确定该组模型部位关键点的第二分布信息，根据预设的第二表情计算规则确定与所述第二分布信息相对应的第二部位表情系数，所述第一表情计算规则与所述第二表情计算规则为根据所述第一分布信息中以及所述第二分布信息中各个关键点的相互的位置关系以及距离关系来计算第一表情系数与第二表情系数的规则，所述第一表情系数与所述第二表情系数数值范围为0到1之间的数值；
分别将每组图像部位关键点的第一部位表情系数与该组图像部位关键点所对应的一组模型部位关键点的第二部位表情系数进行比较；
所述根据比较结果控制所述面部动画模型中包含的各个模型关键点发生位移的步骤具体包括：
分别针对每组图像部位关键点，判断该组图像部位关键点的第一部位表情系数与该组图像部位关键点所对应的一组模型部位关键点的第二部位表情系数之间的差值是否大于预设阈值，其中，所述预设阈值为多个且分别对应于不同组模型部位关键点的阈值；
若是，将与该组图像部位关键点相对应的一组模型部位关键点确定为目标部位关键点，控制所述目标部位关键点发生位移。
2.根据权利要求1所述的方法，其中，所述控制所述目标部位关键点发生位移的步骤具体包括：
根据所述第一部位表情系数以及预设的模型联动规则，确定所述目标部位关键点的目标表情系数，根据所述目标表情系数确定所述目标部位关键点的位移方向和/或位移幅度；
其中，所述模型联动规则用于设置各组图像部位关键点的第一部位表情系数与对应的模型部位关键点的目标表情系数之间的对应关系。
3.根据权利要求2所述的方法，其中，所述模型联动规则进一步用于设置与每组模型部位关键点相关联的关联部位点以及所述关联部位点的关联位移规则；
则所述控制所述目标部位关键点发生位移的步骤进一步包括：确定与所述目标部位关键点相关联的关联部位点以及所述关联部位点的关联位移规则，控制所述关联部位点按照所述关联位移规则发生位移。
4.根据权利要求3所述的方法，其中，所述模型部位关键点包括眼睛部位关键点、和/或嘴巴部位关键点；所述关联部位点包括：眉毛部位点、脸部部位点和/或耳朵部位点。
5.根据权利要求1-4任一所述的方法，其中，所述确定获取到的图像数据中包含的各个图像关键点的第一位置信息的步骤具体包括：
实时获取直播视频流中包含的当前帧图像所对应的图像数据，确定所述当前帧图像所对应的图像数据中包含的各个图像关键点的第一位置信息。
6.根据权利要求1-4任一所述的方法，其中，所述确定获取到的图像数据中包含的各个图像关键点的第一位置信息的步骤具体包括：
依次获取已录制的视频流中包含的各帧图像所对应的图像数据，确定该帧图像所对应的图像数据中包含的各个图像关键点的第一位置信息。
7.根据权利要求1-6任一所述的方法，其中，所述面部动画模型为骨骼动画模型，且所述面部动画模型中的各个模型关键点与预设的骨骼部位相对应。
8.根据权利要求7所述的方法，其中，所述骨骼动画模型进一步包括：动物骨骼动画模型，且所述动物骨骼动画模型包括：猫咪骨骼动画模型、骏马骨骼动画模型、以及兔子骨骼动画模型。
9.一种面部动画模型的控制装置，包括：
确定模块，适于确定获取到的图像数据中包含的各个图像关键点的第一位置信息，以及所述面部动画模型中包含的各个模型关键点的第二位置信息；
比较模块，适于根据预设的关键点映射规则，确定各个图像关键点与各个模型关键点之间的对应关系，根据所述对应关系将各个图像关键点的第一位置信息与各个模型关键点的第二位置信息进行比较；
改变模块，适于根据比较结果控制所述面部动画模型中包含的各个模型关键点发生位移，以使所述面部动画模型的表情发生改变；
其中，所述图像数据中包含的各个图像关键点进一步包括：根据面部部位划分的多组图像部位关键点，且所述面部动画模型中包含的各个模型关键点进一步包括：根据模型部位划分的多组模型部位关键点；
则所述比较模块具体适于：
分别针对每组图像部位关键点，确定与该组图像部位关键点相对应的一组模型部位关键点，并分别确定与该组图像部位关键点相对应的第一部位表情系数以及与该组模型部位关键点相对应的第二部位表情系数；
其中，所述分别确定与该组图像部位关键点相对应的第一部位表情系数以及与该组模型部位关键点相对应的第二部位表情系数具体包括：
根据所述各个图像关键点的第一位置信息确定该组图像部位关键点的第一分布信息，根据预设的第一表情计算规则确定与所述第一分布信息相对应的第一部位表情系数；根据所述各个模型关键点的第二位置信息确定该组模型部位关键点的第二分布信息，根据预设的第二表情计算规则确定与所述第二分布信息相对应的第二部位表情系数，所述第一表情计算规则与所述第二表情计算规则为根据所述第一分布信息中以及所述第二分布信息中各个关键点的相互的位置关系以及距离关系来计算第一表情系数与第二表情系数的规则，所述第一表情系数与所述第二表情系数数值范围为0到1之间的数值；
分别将每组图像部位关键点的第一部位表情系数与该组图像部位关键点所对应的一组模型部位关键点的第二部位表情系数进行比较；
所述改变模块具体适于：
分别针对每组图像部位关键点，判断该组图像部位关键点的第一部位表情系数与该组图像部位关键点所对应的一组模型部位关键点的第二部位表情系数之间的差值是否大于预设阈值，其中，所述预设阈值为多个且分别对应于不同组模型部位关键点的阈值；
若是，将与该组图像部位关键点相对应的一组模型部位关键点确定为目标部位关键点，控制所述目标部位关键点发生位移。
10.根据权利要求9所述的装置，其中，所述改变模块具体适于：
根据所述第一部位表情系数以及预设的模型联动规则，确定所述目标部位关键点的目标表情系数，根据所述目标表情系数确定所述目标部位关键点的位移方向和/或位移幅度；
其中，所述模型联动规则用于设置各组图像部位关键点的第一部位表情系数与对应的模型部位关键点的目标表情系数之间的对应关系。
11.根据权利要求10所述的装置，其中，所述模型联动规则进一步用于设置与每组模型部位关键点相关联的关联部位点以及所述关联部位点的关联位移规则；
则所述改变模块进一步适于：确定与所述目标部位关键点相关联的关联部位点以及所述关联部位点的关联位移规则，控制所述关联部位点按照所述关联位移规则发生位移。
12.根据权利要求11所述的装置，其中，所述模型部位关键点包括眼睛部位关键点、和/或嘴巴部位关键点；所述关联部位点包括：眉毛部位点、脸部部位点和/或耳朵部位点。
13.根据权利要求9-12任一所述的装置，其中，所述确定模块具体适于：
实时获取直播视频流中包含的当前帧图像所对应的图像数据，确定所述当前帧图像所对应的图像数据中包含的各个图像关键点的第一位置信息。
14.根据权利要求9-12任一所述的装置，其中，所述确定模块具体适于：
依次获取已录制的视频流中包含的各帧图像所对应的图像数据，确定该帧图像所对应的图像数据中包含的各个图像关键点的第一位置信息。
15.根据权利要求9-14任一所述的装置，其中，所述面部动画模型为骨骼动画模型，且所述面部动画模型中的各个模型关键点与预设的骨骼部位相对应。
16.根据权利要求15所述的装置，其中，所述骨骼动画模型进一步包括：动物骨骼动画模型，且所述动物骨骼动画模型包括：猫咪骨骼动画模型、骏马骨骼动画模型、以及兔子骨骼动画模型。
17.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-8中任一项所述的面部动画模型的控制方法对应的操作。
18.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-8中任一项所述的面部动画模型的控制方法对应的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810145903.7A CN108335345B (zh) | 2018-02-12 | 2018-02-12 | 面部动画模型的控制方法及装置、计算设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810145903.7A CN108335345B (zh) | 2018-02-12 | 2018-02-12 | 面部动画模型的控制方法及装置、计算设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108335345A CN108335345A (zh) | 2018-07-27 |
| CN108335345B true CN108335345B (zh) | 2021-08-24 |
Family
ID=62929265
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810145903.7A Active CN108335345B (zh) | 2018-02-12 | 2018-02-12 | 面部动画模型的控制方法及装置、计算设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108335345B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109117770A (zh) * | 2018-08-01 | 2019-01-01 | 吉林盘古网络科技股份有限公司 | 面部动画采集方法、装置及终端设备 |
| CN109191548A (zh) * | 2018-08-28 | 2019-01-11 | 百度在线网络技术（北京）有限公司 | 动画制作方法、装置、设备及存储介质 |
| CN109147017A (zh) * | 2018-08-28 | 2019-01-04 | 百度在线网络技术（北京）有限公司 | 动态图像生成方法、装置、设备及存储介质 |
| CN109147012B (zh) * | 2018-09-20 | 2023-04-14 | 麒麟合盛网络技术股份有限公司 | 图像处理方法和装置 |
| CN111507143B (zh) | 2019-01-31 | 2023-06-02 | 北京字节跳动网络技术有限公司 | 表情图像效果生成方法、装置和电子设备 |
| CN110321008B (zh) * | 2019-06-28 | 2023-10-24 | 北京百度网讯科技有限公司 | 基于ar模型的交互方法、装置、设备和存储介质 |
| CN110728621B (zh) * | 2019-10-17 | 2023-08-25 | 北京达佳互联信息技术有限公司 | 一种面部图像的换脸方法、装置、电子设备及存储介质 |
| WO2021083133A1 (zh) * | 2019-10-29 | 2021-05-06 | 广州虎牙科技有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN110941332A (zh) * | 2019-11-06 | 2020-03-31 | 北京百度网讯科技有限公司 | 表情驱动方法、装置、电子设备及存储介质 |
| CN110941333A (zh) * | 2019-11-12 | 2020-03-31 | 北京字节跳动网络技术有限公司 | 基于眼部动作的交互方法、装置、介质和电子设备 |
| CN111553286B (zh) * | 2020-04-29 | 2024-01-26 | 北京攸乐科技有限公司 | 用于捕捉耳朵动画特征的方法、电子设备 |
| CN111614925B (zh) * | 2020-05-20 | 2022-04-26 | 广州视源电子科技股份有限公司 | 人物图像处理方法、装置、相应终端及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104205171A (zh) * | 2012-04-09 | 2014-12-10 | 英特尔公司 | 用于化身生成、渲染和动画的***和方法 |
| CN105900144A (zh) * | 2013-06-07 | 2016-08-24 | 费斯史福特股份公司 | 实时面部动画的在线建模 |
| CN107154069A (zh) * | 2017-05-11 | 2017-09-12 | 上海微漫网络科技有限公司 | 一种基于虚拟角色的数据处理方法及*** |
| CN107291214A (zh) * | 2016-04-01 | 2017-10-24 | 掌赢信息科技（上海）有限公司 | 一种驱动嘴巴运动的方法及电子设备 |
| CN107679519A (zh) * | 2017-10-27 | 2018-02-09 | 北京光年无限科技有限公司 | 一种基于虚拟人的多模态交互处理方法及*** |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9552510B2 (en) * | 2015-03-18 | 2017-01-24 | Adobe Systems Incorporated | Facial expression capture for character animation |
-
2018
- 2018-02-12 CN CN201810145903.7A patent/CN108335345B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104205171A (zh) * | 2012-04-09 | 2014-12-10 | 英特尔公司 | 用于化身生成、渲染和动画的***和方法 |
| CN105900144A (zh) * | 2013-06-07 | 2016-08-24 | 费斯史福特股份公司 | 实时面部动画的在线建模 |
| CN107291214A (zh) * | 2016-04-01 | 2017-10-24 | 掌赢信息科技（上海）有限公司 | 一种驱动嘴巴运动的方法及电子设备 |
| CN107154069A (zh) * | 2017-05-11 | 2017-09-12 | 上海微漫网络科技有限公司 | 一种基于虚拟角色的数据处理方法及*** |
| CN107679519A (zh) * | 2017-10-27 | 2018-02-09 | 北京光年无限科技有限公司 | 一种基于虚拟人的多模态交互处理方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108335345A (zh) | 2018-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108335345B (zh) | 面部动画模型的控制方法及装置、计算设备 | |
| US11276216B2 (en) | Virtual animal character generation from image or video data | |
| US20210390767A1 (en) | Computing images of head mounted display wearer | |
| CN108961369B (zh) | 生成3d动画的方法和装置 | |
| CN110163054B (zh) | 一种人脸三维图像生成方法和装置 | |
| WO2018103220A1 (zh) | 一种图像处理的方法及装置 | |
| US11514638B2 (en) | 3D asset generation from 2D images | |
| EP3341919A1 (en) | Image regularization and retargeting system | |
| CN109035415B (zh) | 虚拟模型的处理方法、装置、设备和计算机可读存储介质 | |
| CN109816758B (zh) | 一种基于神经网络的二维角色动画生成方法和装置 | |
| JP2011159329A (ja) | 自動３ｄモデリングシステム及び方法 | |
| US20230177755A1 (en) | Predicting facial expressions using character motion states | |
| CN112085835A (zh) | 三维卡通人脸生成方法、装置、电子设备及存储介质 | |
| CN114332374A (zh) | 一种虚拟显示方法、设备以及存储介质 | |
| JP4842242B2 (ja) | キャラクタアニメーション時の皮膚のしわのリアルタイム表現方法及び装置 | |
| CN114630738A (zh) | 用于模拟感测数据和创建感知的***和方法 | |
| CN114202615A (zh) | 人脸表情的重建方法、装置、设备和存储介质 | |
| CN115699099A (zh) | 使用生成对抗网络的视觉资产开发 | |
| CN113781611B (zh) | 一种动画制作方法、装置、电子设备及存储介质 | |
| Xu | Face reconstruction based on multiscale feature fusion and 3d animation design | |
| US20220172431A1 (en) | Simulated face generation for rendering 3-d models of people that do not exist | |
| CN114373034A (zh) | 图像处理方法、装置、设备、存储介质及计算机程序 | |
| Cai et al. | Immersive interactive virtual fish swarm simulation based on infrared sensors | |
| CN110717373A (zh) | 图像模拟方法、电子设备和计算机可读存储介质 | |
| WO2023169023A1 (zh) | 表情模型的生成方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |