CN109859297A - 一种无标记点面部捕捉装置及方法 - Google Patents

Abstract

本发明提供了一种无标记点面部捕捉装置及方法，包括面捕头盔、计算机以及移动设备，所述计算机包括UE引擎软件，所述面捕头盔用于拍摄面部视频，并将所述面部视频发送至所述计算机显示，所述移动设备用于捕捉计算机显示的面部视频获取面部表情，生成虚拟人物角色的表情动画，并将所述表情动画传输到所述UE引擎软件。本发明能够在无标记点的情况下实现高标准的面部捕捉精度，同时本发明操作简单，装置的稳定性好。

Description

一种无标记点面部捕捉装置及方法

技术领域

本发明属于影视动漫AR面部捕捉领域，尤其是涉及一种无标记点面部捕捉装置及方法。

背景技术

面部表情的制作在三维制作中占有很重要的地位，所以对于面部表情的制作技术也在不断发展中。由于在三维特效和影视动漫的应用越来越频繁，动画的制作就需要大量的时间，传统的动画制作方法是动画师手动调整，动画的调整要达到一个很高的水平就必须要有经验丰富的动画师，而动画师要制作出非常好的动画效果又需要大量的时间，这最终导致了硬件面部捕捉***的出现。传统的面部捕捉***无论是贴点或面罩，都存在着一定的局限性，面部贴点需要在每次拍摄之前给演员的面部重新贴点，无法避免点的差异带来的细微差别的不连贯性，而且消耗了极大的时间与精力；采用面罩可以通过在面罩上面确定点，来消除人工的不确定性，但是价格惊人的昂贵，提高了特效制作的成本。因此如何在无标记点的情况下完成高标准的面部捕捉精度，并能降低面部捕捉成本成为亟待解决的问题。

面部捕捉***应用于影视动漫领域时，通常需要让摄像头与人脸的距离和位置尽量保持不变，由此提出将面捕头盔应用到面部捕捉***中，摄像头连接到面捕头盔的探臂的一端，探臂的另一端连接面捕头盔的固定头盔，使用这样的固定方式来代替演员手持摄像头进行拍摄，能够有效提高面捕头盔与摄像头设备连接的稳定性。

发明内容

有鉴于此，本发明旨在提出一种无标记点面部捕捉装置及方法，在无标记点的情况下实现高标准的面部捕捉精度。

为达到上述目的，本发明的技术方案是这样实现的：

一种无标记点面部捕捉装置，包括面捕头盔、计算机以及移动设备，所述计算机包括UE引擎软件，所述面捕头盔用于拍摄面部视频，并将所述面部视频发送至所述计算机显示，所述移动设备用于捕捉计算机显示的面部视频获取面部表情，生成虚拟人物角色的表情动画，并将所述表情动画传输到所述UE引擎软件。

进一步的，所述移动设备为智能终端，包括景深摄像头和面部捕捉软件。

进一步的，所述面部捕捉软件包括数据传输模块，所述面部捕捉软件通过所述数据传输模块与所述UE引擎软件进行数据传输。

进一步的，所述UE引擎软件为UE4。

一种采用上述装置的无标记点面部捕捉方法，包括如下步骤：

S1：所述面捕头盔获取面部视频，并将所述面部视频发送至所述计算机显示出来；

S2：所述景深摄像头捕捉所述计算机显示的面部视频；

S3：在所述面部捕捉软件中获取人脸表情；

S4：将S3所述的人脸表情与所述面部捕捉软件中提供的表情通道进行对比，计算出虚拟人物角色表情通道的值；

S5：在所述面部捕捉软件中，通过所述虚拟人物角色表情通道的值驱动虚拟人物角色运动，生成虚拟人物角色的表情动画；

S6：通过所述面部捕捉软件的数据传输模块将所述虚拟人物角色的表情动画传输到所述UE引擎软件中。

进一步的，所述步骤S4包括：

S41：在所述面部捕捉软件中设置若干个表情通道；

S42：在所述每个表情通道中根据表情的变化设置若干个表情偏移系数；

S43：景深摄像头监测到人脸表情接近所述表情通道时，所述面部捕捉软件根据该表情通道的表情偏移系数计算出虚拟人物角色的表情通道的值。

相对于现有技术，本发明所述的一种无标记点面部捕捉装置及方法具有以下优势：本发明所述的面部捕捉软件配合智能终端的景深摄像头，完成面部检测和图像追踪，生成虚拟人物角色的表情动画并传输到计算机中，在无标记点的情况下实现高标准的面部捕捉精度；另外，本发明将面捕头盔应用到面部捕捉***中，保证了面捕摄像头和人脸的距离和位置尽量保持不变；由于智能终端自身的重量和体积无法安装在面捕头盔上，本发明将面捕摄像头上的面部视频传输至计算机中并显示出来，再用所述景深摄像头捕捉计算机显示的面部视频，保证了面捕头盔的稳定性。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例所述的一种无标记点面部捕捉装置原理图；

图2为本发明实施例所述的一种无标记点面部捕捉方法示意图。

附图标记说明：

图1中：10-计算机；11-显示设备；12-虚幻引擎软件；20-移动设备；21-面部捕捉软件；22-景深摄像头；30-面捕头盔；31-面捕摄像头；32-探臂；33-固定头盔。

具体实施方式

下面将参考附图并结合实施例来详细说明本发明。

如图1所示，一种无标记点面部捕捉装置，包括面捕头盔30、计算机10以及移动设备20，面捕头盔30为现有技术，包括固定头盔33、探臂32，探臂32的一端连接固定头盔33，另一端连接面捕摄像头31，探臂32能够上下左右运动，从而方便的调节面部摄像头的位置；面捕摄像头31通过无线连接计算机10，计算机10包括显示设备11、UE引擎软件12，移动设备20为智能终端，所述智能终端包括面部捕捉软件21和景深摄像头22；具体的，UE引擎软件12为UE4，基于UE4结合ARKit技术开发出面部捕捉软件项目，ARKit技术对于硬件的要求为配备有景深摄像头的IOS***的设备，根据***和摄像头的要求，所述智能终端采用iPhoneX及以上机型的苹果手机，所述面部捕捉软件项目通过UE4安装到所述苹果手机上，形成所述面部捕捉软件21。

面部捕捉软件21包括数据传输模块，所述面部捕捉软件21通过所述数据传输模块与UE引擎软件12进行数据传输，所述数据传输模块采用LiveLink连接模块，具体操作为：面部捕捉软件启动后进入到面部捕捉画面，当需要将面部捕捉的动画传回计算机中的UE引擎软件中时，选择开启LiveLink连接模块，输入要连接的计算机的IP地址，即可完成动画传输。

如图2所示，应用上述无标记点面部捕捉装置的一种无标记点面部捕捉方法，包括如下步骤：

S1：所述面捕摄像头拍摄面部视频，并将所述面部视频发送至所述计算机显示出来；

S2：所述景深摄像头捕捉所述计算机显示的面部视频；

S3：在所述面部捕捉软件中获取人脸表情；

S4：将S3所述的人脸表情与所述面部捕捉软件中提供的表情通道进行对比，计算出虚拟人物角色表情通道的值；

S5：在所述面部捕捉软件中，通过所述虚拟人物角色表情通道的值驱动虚拟人物角色运动，生成虚拟人物角色的表情动画；

S6：通过所述面部捕捉软件的数据传输模块将所述虚拟人物角色的表情动画传输到所述UE引擎软件中，以便在所述UE引擎软件中，对所述表情动画进行其他相关操作。

所述步骤S4具体包括以下步骤：

S41：在所述面部捕捉软件中设置若干个表情通道，具体的，包括左右眨眼、左右挤眼、眼球的上下左右运动、下巴的前后左右运动、张嘴、撇嘴、微笑、酒窝、眼眉内外侧上下运动、脸颊鼓出和收缩、鼻子动作等，另外，为保证一个表情通道不会被另一个表情通道影响，为动画人物建立一个无任何表情的“中立表情”作为基准，使表情通道不相互干扰；

S42：在所述每个表情通道中根据表情的变化设置若干个表情偏移系数，具体的，在所述每个表情通道中设置无表情时的表情系数为0.0，表情极限是的表情系数为1.0，例如左眼全睁的表情系数为0.0，左眼全闭的表情系数为1.0，在0.0与1.0之间，根据表情的偏移程度，设置若干个不同的表情偏移系数；

S43：景深摄像头监测到人脸表情接近所述表情通道时，所述面部捕捉软件根据该表情通道的表情偏移系数计算出虚拟人物角色的表情通道的值，例如，演员做眨左眼这一动作，景深摄像头监测到眼睛、嘴角、脸颊都产生了运动，ARKit便根据上述动作各自归属的表情通道的表情偏移系数计算出虚拟人物角色对应的表情通道的值，多个虚拟人物角色的表情通道的值共同组成虚拟人物角色眨左眼的表情。

另外，所述面部捕捉软件捕捉所述人脸表情的方法为：所述景深摄像头的位置数据对应的类为ARFrame，计算出的位置数据交给ARSession去管理，ARSession会自动添加ARFaceAnchor对象到anchor list中，每一个face anchor中提供了人脸表情。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种无标记点面部捕捉装置，其特征在于：包括面捕头盔、计算机以及移动设备，所述计算机包括UE引擎软件，所述面捕头盔用于拍摄面部视频，并将所述面部视频发送至所述计算机显示，所述移动设备用于捕捉计算机显示的面部视频获取面部表情，生成虚拟人物角色的表情动画，并将所述表情动画传输到所述UE引擎软件。

2.根据权利要求1所述的一种无标记点面部捕捉装置，其特征在于：所述移动设备为智能终端，包括景深摄像头和面部捕捉软件。

3.根据权利要求2所述的一种无标记点面部捕捉装置，其特征在于：所述面部捕捉软件包括数据传输模块，并通过所述数据传输模块与所述UE引擎软件进行数据传输。

4.根据权利要求1所述的一种无标记点面部捕捉装置，其特征在于：所述UE引擎软件为UE4。

5.一种采用权利要求1-4所述的装置的无标记点面部捕捉方法，其特征在于：包括如下步骤：

S1：所述面捕头盔获取面部视频，并将所述面部视频发送至所述计算机显示出来；

S2：所述景深摄像头捕捉所述计算机显示的面部视频；

S3：在所述面部捕捉软件中获取人脸表情；

S4：将S3所述的人脸表情与所述面部捕捉软件中提供的表情通道进行对比，计算出虚拟人物角色表情通道的值；

S5：在所述面部捕捉软件中，通过所述虚拟人物角色表情通道的值驱动虚拟人物角色运动，生成虚拟人物角色的表情动画；

S6：通过所述面部捕捉软件的数据传输模块将所述虚拟人物角色的表情动画传输到所述UE引擎软件中。

6.根据权利要求5所述的一种无标记点面部捕捉方法，其特征在于：所述步骤S4包括：

S41：在所述面部捕捉软件中设置若干个表情通道；

S42：在所述每个表情通道中根据表情的变化设置若干个表情偏移系数；

S43：景深摄像头监测到人脸表情接近所述表情通道时，所述面部捕捉软件根据该表情通道的表情偏移系数计算出虚拟人物角色的表情通道的值。