CN108876879B

CN108876879B - 人脸动画实现的方法、装置、计算机设备及存储介质

Info

Publication number: CN108876879B
Application number: CN201710335509.5A
Authority: CN
Inventors: 陈静聪; 王新亮; 李斌
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2017-05-12
Filing date: 2017-05-12
Publication date: 2022-06-14
Anticipated expiration: 2037-05-12
Also published as: WO2018205801A1; US11087519B2; US20190333262A1; CN108876879A

Abstract

本发明提出了一种人脸动画实现的方法，所述方法包括：采集人脸图像；提取所述人脸图像中的人脸特征点；将所述人脸特征点与标准特征点进行比对得到几何特征上对应的第一形变系数；根据所述人脸特征点提取局部区域进行处理得到外貌特征上对应的第二形变系数；根据所述第一形变系数和所述第二形变系数驱动三维虚拟对象执行相应的表情。整个过程中不需要用户做任何预设值，操作简便，而且通过结合更精细的外貌特征上的识别能够得到更加准确的识别效果，且该方法采用普通的单目摄像头就可以实现，大大降低了使用的成本。此外，还提出了一种人脸动画实现的装置、计算机设备及存储介质。

Description

人脸动画实现的方法、装置、计算机设备及存储介质

技术领域

本发明涉及计算机处理领域，特别是涉及一种人脸动画实现的方法、装置、计算机设备及存储介质。

背景技术

人脸动画(Facial Animation)是指通过表情捕捉传感器捕捉人脸表情，然后映射、转移到虚拟动画人物的一种技术，其已经广泛应用于电影、游戏等领域，随着最近几年虚拟现实(VR)和现实增强(AR)技术的发展，该技术更是有广泛的应用前景。传统的人脸动画的实现，要么设备昂贵(比如，需要基于深度摄像头)，很难应用于普通消费领域；要么识别精确差，且往往使用前需要用户做一系列的预设置，比如，录入不同姿态、表情的照片，操作繁琐，这也一定程度上提高了用户使用门槛。

发明内容

基于此，有必要针对上述操作繁琐，识别精确差、成本高的问题，提供了一种操作简便、识别精度高且成本低的人脸动画实现的方法、装置、计算机设备及存储介质。

一种人脸动画实现的方法，所述方法包括：

采集人脸图像；

提取所述人脸图像中的人脸特征点；

将所述人脸特征点与标准特征点进行比对得到几何特征上对应的第一形变系数；

根据所述人脸特征点提取局部区域进行处理得到外貌特征上对应的第二形变系数；

根据所述第一形变系数和所述第二形变系数驱动三维虚拟对象执行相应的表情。

一种人脸动画实现的装置，所述装置包括：

采集模块，用于采集人脸图像；

提取模块，用于提取所述人脸图像中的人脸特征点；

比对模块，用于将所述人脸特征点与标准特征点进行比对得到几何特征上对应的第一形变系数；

处理模块，用于根据所述人脸特征点提取局部区域进行处理得到外貌特征上对应的第二形变系数；

驱动模块，用于根据所述第一形变系数和所述第二形变系数驱动三维虚拟对象执行相应的表情。

一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行所述计算机程序时实现以下步骤：

采集人脸图像；

提取所述人脸图像中的人脸特征点；

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以下步骤：

采集人脸图像；

提取所述人脸图像中的人脸特征点；

上述人脸动画实现的方法、装置、计算机设备及存储介质，通过摄像头采集人脸图像，然后提取人脸图像中的人脸特征点，通过将人脸特征点与标准特征点进行比对得到几何特征上对应的第一形变系数，由于该基于几何特征的识别方法对某些区域无法识别或不能识别的准确，所以还需要根据人脸特征点提取局部区域进行处理得到外貌特征上对应的第二形变系数，之后，根据第一形变系数和第二形变系数共同来驱动三维虚拟对象执行相应的表情。整个过程中不需要用户做任何预设值，操作简便，而且通过结合更精细的外貌特征上的识别能够得到更加准确的识别效果，且该方法采用普通的单目摄像头就可以实现，大大降低了使用的成本。

附图说明

图1为一个实施例中计算机设备的内部结构示意图；

图2为一个实施例中人脸动画实现的方法流程图；

图3为一个实施例中标记定位得到的人脸特征点的示意图；

图4为一个实施例中根据人脸特征点提取局部区域进行处理得到外貌特征上对应的第二形变系数的方法流程图；

图5为一个实施例中左眼局部区域的HOG特征的示意图；

图6为一个实施例中确定眼球中心位置的示意图；

图7为一个实施例中计算眼球转动角度的示意图；

图8为一个实施例中三角形进行仿射变形的示意图；

图9为一个实施例中转换成标准人脸图像的示意图；

图10为一个实施例中根据纹理特征确定局部区域对应的第三形变系数的方法流程图；

图11为一个实施例中SVM分类器的原理示意图；

图12为一个实施例中将人脸特征点与标准特征点进行比对得到几何特征上对应的第一形变系数的方法流程图；

图13为一个实施例中人脸特征点对应的三维坐标与标准特征点对应的标准三维坐标进行比对得到几何特征上对应的第一形变系数的方法流程图；

图14为一个实施例中根据第一形变系数和第二形变系数驱动三维虚拟对象执行相应的表情的方法流程图；

图15为一个实施例中最小二乘滤波器平滑原理的示意图；

图16为一个实施例中平滑处理前后的对比示意图；

图17为一个实施例中三维虚拟对象执行相应表情的示意图；

图18为一个实施例中实现人脸动画的流程架构图；

图19为一个实施例中人脸动画实现的装置结构框图；

图20为一个实施例中处理模块的结构框图；

图21为一个实施例中比对模块的结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，为一个实施例中计算机设备的内部结构示意图。该计算机设备可以是终端，终端可以是个人计算机或者移动电子设备，移动电子设备包括手机、平板电脑、个人数字助理或者穿戴式设备等中的至少一种。参照图1，该计算机设备包括通过***总线连接的处理器、非易失性存储介质、内存储器、网络接口、显示屏、输入装置和图像采集装置。其中，该计算机设备的非易失性存储介质可存储操作***和计算机可读指令，该计算机可读指令被执行时，可使得处理器执行一种人脸动画实现的方法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该内存储器中可储存有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行一种人脸动画实现的方法。计算机设备的网络接口用于进行网络通信。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。触摸层和显示屏构成触控屏。图像采集装置可以是摄像头。本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

如图2所示，在一个实施例中，提出了一种人脸动画实现的方法，该方法应用于计算机设备中，具体包括以下步骤：

步骤202，采集人脸图像。

在本实施例中，人脸图像是指包含有人脸部信息的图像。其中，人脸图像的采集可以通过终端中的前置或后置摄像头来进行采集。采集的方式可以通过拍摄照片的形式，也可以是通过拍摄视频的形式来获取，因为视频本身是由图像序列组成的。

步骤204，提取人脸图像中的人脸特征点。

在本实施例中，人脸特征点也称人脸关键点，是指人脸区域中能够体现表情状态的脸部位置，包括但不限于眼睛、嘴巴、鼻子、眉毛等脸部位置。可以采用人脸标记定位技术来提取人脸图像中的人脸特征点，具体可以分为两个步骤，一个是人脸检测，一个是人脸标记。首先通过人脸检测获取图像中人脸所处的粗略位置，一般是框住人脸的一个矩形框，然后在该矩形框的基础上，通过人脸标记寻找更精密的位置，然后返回一系列人脸特征点位置的坐标。如图3所示，为一个实施例中，通过标记定位得到的人脸特征点的示意图。人脸标记定位的方法可以采用现有的方法，比如可以采用AAM(Active Appearance Models人脸外观模型)、ERT(Ensemble of Regression tree，回归树组合)等。这里并不对人脸标记定位的方法进行限制。

步骤206，将人脸特征点与标准特征点进行比对得到几何特征上对应的第一形变系数。

在本实施例中，几何特征是指人脸特征点发生几何形变得到的特征，比如，张嘴时，嘴巴附近的人脸特征点会发生明显的位移和形变。而人脸的几何特征的变化是需要与标准特征点进行比对才能得到的，即需要有一个参考值。为了能够更好的体现人脸表情的变化，采用中性脸对应的人脸特征点作为标准特征点，中性脸是指人在无表情的情况下的人脸状态。通过将人脸特征点与中性脸对应的标准特征点进行比对就可以得到脸部各个部位的位移和形变，进而就可以确定各个部位对应的形变系数，比如，眉毛抬高的系数，嘴巴张开的系数等，上述各个部位对应的形变系数都是几何特征上的形变系数，为了与后文中外貌特征上的形变系数进行区分，将几何特征上的形变系数称为“第一形变系数”。

步骤208，根据人脸特征点提取局部区域进行处理得到外貌特征上对应的第二形变系数。

在本实施例中，外貌特征是指人脸在外貌形态上发生的变化，仅仅用几何特征难以识别得到的特征。比如，眨眼、伸舌头等用几何特征难以识别得到，所以需要采用基于外貌特征的识别方法来识别该外貌特征上的变化。为了更精细的识别外貌特征，可以通过提取脸部局部图像来进行外貌特征的识别。根据识别得到的外貌特征上的变化确定相应的形变系数，称为“第二形变系数”。具体地，根据人脸特征点进行局部区域的提取，继而计算局部区域对应的纹理特征，采用训练好的分类模型根据纹理特征来预测局部区域对应的识别结果。比如，提取眼部区域，根据提取的眼部区域的纹理特征来预测眼睛是睁开的还是闭合的，进而确定相应的形变系数，如果眼睛是闭合的，可以将形变系数设为0，如果是睁开的，将形变系数设为100。通过将难以用几何特征识别的局部区域提取出来，采用外貌特征上的方法对该提取的局部区域进行处理，弥补了基于几何特征识别的不足，将基于几何特征的识别和基于外貌特征的识别进行结合，提高了表情识别的精细度和准确度。

步骤210，根据第一形变系数和第二形变系数驱动三维虚拟对象执行相应的表情。

在本实施例中，三维虚拟对象是指网络虚拟动画(Avatar)，其中，Avatar是3D形象。三维虚拟对象可以是卡通形象，也可以是真实还原的真人形象。通过该三维虚拟对象来展示捕获到的人脸的表情。将计算得到的第一形变系数和第二形变系数作为三维虚拟对象模型的形变参数控制三维虚拟对象执行相应的表情。具体地，通过识别得到的第一形变系数和第二形变系数来控制三维虚拟对象的脸部执行相应的表情，比如，执行相应的微笑、张嘴、眨眼等表情。也就是说，通过采用识别真实人脸表情得到的形变系数通过动画渲染引擎控制三维虚拟对象的脸部执行相应的表情，从而实现了将人脸表情真实还原到三维虚拟对象(Avatar)的脸部。

具体地，三维虚拟对象的表情是由若干个Blendshape(表情形变)对应的数值来控制的。Blendshape用于控制面部细节表情，一般脸部可以设置几十个Blendshape，每个Blendshape只控制一个面部细节，比如，眼角、嘴巴、嘴角等可以分别采用不同的Blendshape来进行控制，每个Blendshape的取值范围是0-100，举个例子，一个控制眼皮的Blendshape，如果取值为0时表示闭着眼，取值为100时表示完全张开。通过几十个Blendshape组合就可以合成非常复杂的面部表情。上述对人脸图像进行识别的过程就是确定人脸各个部位对应的Blendshape的值，通过将基于几何特征和基于外貌特征进行结合能够得到更加准确的识别效果，从而根据第一形变系数和第二形变系数就可以驱动三维虚拟对象执行更加精细的表情。

在一个实施例中，为了防止出现大幅度抖动，在根据第一形变系数和第二形变系数控制三维虚拟对象执行相应的表情之前，还需要对得到的第一形变系数和第二形变系数进行平滑处理，比如，可以采用最小二乘滤波器法对相应的形变系数进行平滑处理。

在本实施例中，通过摄像头采集人脸图像，然后提取人脸图像中的人脸特征点，通过将人脸特征点与中性脸对应的标准特征点进行比对得到几何特征上对应的第一形变系数，由于该基于几何特征的识别方法对某些区域无法识别或不能识别的准确，所以还需要根据人脸特征点提取局部区域进行处理得到外貌特征上对应的第二形变系数，之后，根据第一形变系数和第二形变系数共同来驱动三维虚拟对象执行相应的表情。整个过程中不需要用户做任何预设值，操作简便，而且通过结合更精细的外貌特征上的识别能够得到更加准确的识别效果，且该方法采用普通的单目摄像头就可以实现，大大降低了使用的成本。

如图4所示，在一个实施例中，第二形变系数包括第三形变系数和第四形变系数。根据人脸特征点提取局部区域进行处理得到外貌特征上对应的第二形变系数的步骤208包括：

步骤208A，根据人脸特征点从人脸图像中提取局部区域。

在本实施例中，由于几何特征的识别是基于人脸特征点发生的几何形变来进行识别的，对于一些更细微的表情则难以识别，比如，是否眨眼，是否伸舌头等难以识别。所以还需要对一些不容易识别的区域进行外貌特征上的识别。由于人脸特征点可以标识脸部的位置，包括眼睛、嘴巴、鼻子、眉毛等位置，所以根据人脸特征点就可以从人脸图像中提取到相应的局部区域，比如，提取眼部区域，可以分别提取左眼区域和右眼区域。

步骤208B，计算局部区域对应的纹理特征。

在本实施例中，纹理特征是指通过一定的图像处理技术提取的可以代表该图像属性的特征参数，用于描述图像的信息。从人脸图像中提取到待识别的局部区域后，计算该局部区域对应的纹理特征，便于后续根据纹理特征进行分类。具体地，可以采用HOG(Histogram of Oriented Gradient，方向梯度直方图)特征作为局部区域的纹理特征，其中，HOG特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子，它通过计算和统计图像局部区域的梯度方向直方图来构成特征，在一副图像中，局部目标的表象和形状(appearance and shape)能够被梯度或边缘的方向密度分布很好地描述。如图5所示，为一个实施例中，左眼局部图像(左眼是闭着的)经过计算HOG特征得到的可视化结果。从图中可以看到中间区域的水平方向梯度分布较多，而闭眼的图像中间会有一条明显的水平边缘，所以HOG特征能很好的反应图像局部的纹理特征。

步骤208C，根据纹理特征确定局部区域对应的第三形变系数。

在本实施例中，计算得到局部区域对应的纹理特征后，采用训练好的分类器根据该纹理特征对局部区域进行外貌特征的预测，其中，分类器是通过对标记样本中的纹理特征进行学习得到的。比如，若局部区域为眼部，可以采用训练好的分类器根据得到的纹理特征预测是否闭眼，进而确定该局部区域对应的第三形变系数。若得到的结果为闭眼，那么相应的形变系数可以设置为0，若得到的结果为睁眼，那么相应的形变系数可以设置为100。

步骤208D，采用眼球跟踪算法确定眼球中心位置，根据眼球中心位置计算眼球相对于平视状态下的转动角度，根据转动角度确定第四形变系数。

在本实施例中，为了更加形象地识别相应的表情，外貌特征上的识别还包括识别眼球的转动，将眼睛平视状态下的眼球作为参考标准，采用眼球跟踪算法确定眼球中心位置，然后根据眼球中心位置计算眼球相对于平视状态下的转动角度，比如，计算得到左眼球分别在X轴上旋转25度，在Y轴上旋转5度。根据该转动角度来确定第四形变系数，比如，可以直接将25和5作为对应的形变系数。具体地，首先，确定眼球中心位置。如图6所示，在不知道眼球中心的情况下，假设c为可能的眼球中心，gi为位置xi的梯度向量，如果c为眼球中心，那么c到xi的向量d和gi有相同的方向。由于向量di和gi之间的角度可以采用点积来表示，因为眼球的虹膜是近似圆形，那么计算得到di和gi点积的和最大时对应的c^*点就是虹膜的中心，即眼球的中心。用数学公式表示如下：

其中，

表示di的转置矩阵；其次，通过上述目标函数求出来的极大值只是眼球中心位置在2D图像上的中心，基于此，还需要估计出眼球的转动角度α。具体地，如图7所示，假设眼球模型是一个近似的球型，摄像机是基于针孔的弱透视模型，头部相对于摄像机焦平面的的垂直方向(Y轴)转角为θ，眼角x方向的投影坐标为x1和x2，眼球平视情况下的中心在焦平面的X方向的投影为x’眼球转动情况下的中心在焦平面的X方向投影为x，假设眼球的半径为r，应用几何学可以求得α，公式如下：

其中，a为常数。α为求得的在X轴上的转动角度，基于同样的方法，可以求得在Y轴上的转动角度，根据计算得到的转动角度确定相应的第四形变系数。

在一个实施例中，根据人脸特征点从人脸图像中提取局部区域的步骤208A包括：根据人脸特征点采用分段仿射变形将人脸图像转变为标准人脸图像，从标准人脸图像中提取局部区域。

在本实施例中，由于人脸图像存在不同的角度、姿态，直接使用这些图像会导致图像处理的鲁棒性变差，所以需要将人脸图像通过变形转变为标准人脸图像，即将人脸图像变形到一个标准的形状，然后再提取图像的局部区域。可以根据人脸特征点采用分段仿射变形(Piecewise Affine Warping)方法将人脸图像转变为标准人脸图像。

具体地，由于针对不同的人脸图像提取的人脸特征点的个数是相同的，比如，可以设置提取的人脸特征点都是68个。那么可以按照预设的划分规则预先设置标准人脸图像对应的标准三角形网格，提取到人脸图像的人脸特征点后，按照同样的连接规则根据人脸特征点划分得到人脸特征点对应的三角形网格，由于两者划分的方式是一致的，那么该三角形网格和标准三角形网格就有了一一对应的关系。然后针对每一个三角形的像素做一个仿射变形，即源三角形网格的每一个像素(x，y)^T通过仿射变形到W(x，p)，如图8所示为一个实施例中三角形进行仿射变形的示意图。通过对每个三角形像素都进行仿射变形就可以将采集到的人脸图像转变为标准人脸图像，如图9所示，上面为一个实施例中人脸特征点对应的三角形网格转换成标准三角形网格的示意图，下面为相应的人脸图像转变为标准人脸图像的示意图。

如图10所示，在一个实施例中，根据纹理特征确定局部区域对应的第三形变系数的步骤208C包括：

步骤1002，采用训练好的分类器根据纹理特征确定局部区域对应的识别结果，分类器是通过对标记样本中的纹理特征进行学习得到的。

在本实施例中，在计算得到局部区域对应的纹理特征后，采用预先训练好的分类器根据该计算得到的纹理特征来预测该局部区域对应的识别结果。其中，分类器是通过对标记样本中的纹理特征进行学习得到的，通过发现其中规律，进而根据学习到的规律来预测新的样本属于哪一类。具体地，基于外貌特征的预测可以看作一个二分类的问题，比如，是否闭眼，是否伸舌头等。建立分类器的方法有很多，比如，可以采用决策树、SVM(支持向量机)、神经网络等算法来实现。

下面以SVM分类器为例来说明如何建立分类器。首先，获取训练样本，每个样本被标记属于哪一类，比如，一张人脸图片为一个样本，该人脸图片中眼睛是否闭眼为对应的标记；为了提高预测的鲁棒性，在一个实施例中，还需要对样本进行预处理，其中，预处理包括对提取的局部图像做镜像处理(Y轴方向旋转)，镜像处理的目的是为了提高训练的效果和速度。因为人脸可以看作是左右对称的，为了提高训练的速度，可以通过镜像处理来同时预测另一边。比如，训练一个眨眼的分类器，希望能够同时来预测左眼和右眼，经过镜像处理后再进行学***面，以使两类样本间的间隔最大，间隔越大，相应的预测效果越准确。其中，如果样本是二维，则为一条直线，三维为一个平面，大于三维位为超平面。

步骤1004，根据识别结果确定纹理特征对应的第三形变系数。

在本实施例中，采用训练好的分类器根据纹理特征对提取的局部区域进行预测，输出相应的识别结果，根据识别结果来确定纹理特征对应的第三形变系数。其中，对于二分类的问题，输出结果为1或-1(对应真和假)两个数值，比如，对是否闭眼进行预测，如果输出结果为1，则说明为闭眼，如果输出结果为-1，则说明为睁眼。相应的闭眼的形变系数可以设为0，睁眼的形变系数为100。

在另一个实施例中，为了能够得到更加精确的预测结果，可以训练一个概率模型来表示输出为真的概率，而不仅仅是输出1和-1，这样便于后续通过调整阈值来提高预测的准确性。举个例子，对于有些眼睛很小的用户，可能睁眼和闭眼的HOG特征不是很明显，那么预测的时候很容易误判，所以如果得到的是一个闭眼的概率数值，那么通过调整闭眼的阈值，就能提高预测准确率。比如，原来闭眼的阈值设为60％，即当预测到闭眼的概率数值大于60％时，则判定眼睛为闭着的。而对于眼睛很小的用户，可以调整闭眼的阈值，比如，将阈值调整为70％，这样只有当预测闭眼概率数值大于70％时，才判定眼睛是闭着的，也就是说，判断闭眼的条件更加严格。具体地，可以采用以下公式来预测输出结果的概率，P(y＝1|f)＝1/[1+exp(Af+B)]，其中，A和B为拟合得到的参数，f为原始SVM分类器的输出结果，P为预测得到的结果为真的概率。

如图12所示，在一个实施例中，将人脸特征点与标准特征点进行比对得到几何特征上对应的第一形变系数的步骤206包括：

步骤206A，计算人脸特征点对应的三维坐标。

在本实施例中，由于真实人脸存在不同的角度、位移和缩放等刚性参数的干扰，为了能够更好的得到几何特征上对应的第一形变系数，通过将得到的2D人脸图像转换为人脸的3D图像后再进行比对，具体比对的是人脸特征点对应的三维坐标和标准特征点对应的三维坐标。所以需要计算人脸特征点对应的三维坐标。首先，获取人脸特征点对应的二维坐标，然后采用3D重建技术来获取与人脸特征点的二维坐标对应的三维坐标。具体地，3D点分布模型能被参数p＝[s，R，q，t]描述，其中，s为缩放参数，R为模型旋转参数，t为2D位移参数，q为3D柔性参数。具体实现公式如下：

其中，x_i＝(x,y)表示第i个人脸特征点的二维坐标，

表示第i个人脸特征点对应的三维坐标。Φ_i表示从训练集中得到的第i个特征向量，用来描述柔性形状的线性变化，Φ_i可以看作柔性形状变化的基，q是变化的参数。所以在已知参数p＝[s，R，q，t]的情况下，就可以采用上述公式计算得到人脸特征点对应的三维坐标。而参数p＝[s，R，q，t]可以采用最优化以下代价函数求得:

其中，

其中下标2代表向量范数，向量的2范数是向量中各个平方之和再开根号，即目标函数J(p)取最小值时，参数p＝[s，R，q，t]对应的值为确定的参数值。也就是将人脸特征点对应的三维坐标经过一定的缩放、旋转、位移和局部变形，然后投影得到二维坐标与之前计算得到的实际的二维坐标y_i之间的误差平方和最小时对应的参数就是要确定的参数p＝[s，R，q，t]。这用通常的优化方法都可以求解，比如梯度下降方法、牛顿法。

在一个实施例中，使用梯度下降方法的计算过程如下：(1)初始化形变参数p＝[s，R，q，t]全为0；(2)应用以下公式求得模型的3D柔性形状：

(3)应用以下公式求得刚性变换以后的2D投影形状：

其中，

为2D投影坐标，s为缩放参数，R为模型旋转参数，Φ可以看作柔性形状变化的基，q是变化的参数；(4)对J(p)中的参数向量p求偏导数：

(5)更新参数p：p＝p-α·Δp，α称为学习率，比如，可以设置α＝0.5；(6)计算2D投影坐标

和人脸检测到的二维坐标y之间的距离(残差)ε是否收敛，

即判断ε是否小于某个阈值(比如，0.001)，如果收敛则计算到的参数p为最优化值，否则继续步骤上述步骤(2)。

步骤206B，将得到的人脸特征点对应的三维坐标与标准特征点对应的标准三维坐标进行比对得到几何特征上对应的第一形变系数。

在本实施例中，计算得到人脸特征点对应的三维坐标后，将计算得到的三维坐标与标准特征点对应的三维特征点进行比对得到脸部各个部位相对于标准三维坐标的变化值，比如，眉毛相对于标准三维坐标的位移变化，嘴巴相对于标准三维坐标的宽度变化等。根据得到的变化值确定相应的形变系数，进而确定在几何特征上对应的第一形变系数。

如图13所示，在一个实施例中，将得到的人脸特征点对应的三维坐标与标准特征点对应的标准三维坐标进行比对得到几何特征上对应的第一形变系数的步骤206B包括：

步骤1302，计算标准特征点对应的标准三维坐标。

在本实施例中，为了将人脸特征点对应的三维坐标与标准特征点对应的三维坐标进行比对，首先需要计算标准特征点对应的标准三维坐标。标准特征点是指中性脸对应的标准特征点，所以标准三维坐标实际上就是中性脸对应的三维坐标，中性脸是指人在无表情的情况下的人脸状态。标准三维坐标的计算可以采用基于中值的在线预测算法，当然也可以采用别的方法，比如，可以直接将录入的中性脸对应的三维坐标作为标准三维坐标，这里并不对计算标准三维坐标的方法进行限制。下面以基于中值在线预测方法为例来进行说明，具体地，获取一段时间窗口上的视频数据(比如，100帧视频数据)，获取该100帧视频数据中每一帧视频中人脸特征点对应的三维坐标，将同一位置的人脸特征点的三维坐标按照从小到大或从大到小的顺序进行排序，然后取中间的值作为标准的三维坐标。该方法是基于一个简单的假设，即用户在大多数时间内都是无表情状态，因此按照大小进行排序后，两端的数据看作是有表情的特殊状态，中值即为无表情的中性状态。举个例子，在获取到的连续的视频数据中，每一帧视频数据对应一张人脸图像，提取人脸图像中的人脸特征点，计算人脸特征点对应的三维坐标，每一张人脸图片对应的人脸特征点的数目是相同的，将处于同一位置的人脸特征点对应的三维坐标进行排序，比如，将嘴巴对应的一个特征点的三维坐标(X，Y，Z)进行排序，默认提取的视频数据在大多数情况下都是无表情的状态，所以将三维坐标进行排序后，取中间的值作为标准三维坐标。依次类推，获取所有特征点对应的标准三维坐标。

步骤1304，将得到的人脸特征点对应的三维坐标与标准三维坐标进行比对确定脸部各个部位对应的变化值。

在本实施例中，计算得到标准特征点对应的标准三维坐标后，就可以将该标准三维坐标作为参考值来计算用户脸部中各个人脸特征点相对于标准三维坐标的变化，进而确定脸部各个部位对应的变化值，比如，眉毛、嘴巴等的位移变化。

步骤1306，对确定的变化值进行规范化处理得到第一形变系数。

在本实施例中，为了对得到的数值采用统一的标准衡量，在得到脸部各个部位相对于中性脸的变化值后，还需要对该变化值进行规范化处理，比如，得到眉毛的相对位移后，将该位移规范化到0到1之间。规范化的方法可以简单的除以最大值：θ'＝θ/max(θ)，其中，θ代表规范前的值，max(θ)代表相应的最大值。举个例子，假设获取到眉毛抬高的位移为1mm，而根据经验值眉毛抬高的最大位移为5mm，那么规范化后的眉毛对应的值为0.2。由于驱动三维虚拟对象的形变系数Blendshape的取值范围为0-100，所以在对变化值进行规范化处理后，可以相应的乘以100作为相应的形变系数。

如图14所示，在一个实施例中，根据第一形变系数和第二形变系数驱动三维虚拟对象执行相应的表情的步骤210包括：

步骤210A，采用最小二乘滤波器法对第一形变系数和第二形变系数进行系数平滑处理。

在本实施例中，由于提取到的人脸特征点的二维坐标会存在误差，那么根据二维坐标计算得到的三维坐标在视频帧之间会存在局部抖动，使得预测出来的形变系数很不平滑，严重影响动画效果。所以还需要对得到的形变系数进行平滑处理。在本实施例中采用最小二乘滤波器法对第一形变系数和第二形变系数进行系数平滑处理。具体处理的方法如下：如图15，假设滤波器处理窗口为5帧，则需要保留4帧的历史数据。假设t时刻的系数值为y1，采用最小二乘法利用t，t-1，t-2，t-3，t-4时刻的历史数据拟合一条直线y＝ax+b，求得参数a和b。t时刻落在该直线上的点y’即为滤波输出的结果，针对每一帧不断应用该滤波器，并且更新历史数据就能得到很平滑的系数。如图16所示，为一个X方向的头部转动系数平滑的效果，其中，图中黑色细线表示的是原始的系数，抖动很大，黑色粗线表示的是平滑处理后的结果，相对平滑很多。

步骤210B，采用系数平滑处理过的第一形变系数和第二形变系数驱动三维虚拟对象执行相应的表情。

在本实施例中，三维虚拟对象是指网络虚拟动画(Avatar)，可以是卡通形象，也可以是真实还原的真人形象。采用系数平滑处理过的第一形变系数和第二形变系数驱动三维虚拟对象执行相应的表情。具体地，形变系数可以采用Blendshape来表示，上述识别人脸表情的过程就是为了确定脸部中各个Blendshape所对应的数值，根据各个Blendshape的值组合成人的真实表情。然后根据该Blendshape的值驱动三维虚拟对象执行相应的表情，即将采集到的真实人脸的表情还原到三维虚拟对象的脸部，实现相应的人脸动画。如图17为一个实施例中三维虚拟对象展示的眨眼(右眼闭着)的表情。

如图18，为一个实施例中，实现人脸动画的流程架构图。首先，采用人脸标记定位技术提取采集到的人脸图像的人脸特征点，然后根据人脸特征点分别进行几何特征和外貌特征上的识别，其中，几何特征上的识别的过程包括：采用3D重建技术根据提取到的人脸特征点的二维坐标计算得到相应的三维坐标，并计算得到中性脸对应的标准三维坐标，通过将三维坐标与中性脸对应的标准三维坐标进行比对得到脸部各个部位对应的变化值，并将该变化值通过系数转换转变为规范化的系数，进而确定相应的第一形变系数。外貌特征上的识别过程包括：根据人脸特征点采用仿射变形得到标准的人脸图像，然后提取人脸图像中的局部区域，之后一方面是通过计算提取局部区域的HOG特征，采用训练好的SVM分类器得到相应的预测结果，确定第三形变系数；另一方面采用眼球跟踪算法进行眼球跟踪确定眼球中心位置，根据眼球中心位置计算眼球相对于平视状态下的转动角度，根据转动角度确定第四形变系数。其中，第三形变系数和第四形变系数共同构成了与外貌特征对应的第二形变系数。之后，采用最小二乘滤波器法对计算得到的第一形变系数和第二形变系数进行平滑处理，根据平滑处理的第一形变系数和第二形变系数驱动三维虚拟对象执行相应的表情，即生成形变动画。

如图19所示，在一个实施例中，提出了一种人脸动画实现的装置，该装置包括：

采集模块1902，用于采集人脸图像。

提取模块1904，用于提取人脸图像中的人脸特征点。

比对模块1906，用于将人脸特征点与标准特征点进行比对得到几何特征上对应的第一形变系数。

处理模块1908，用于根据人脸特征点提取局部区域进行处理得到外貌特征上对应的第二形变系数。

驱动模块1910，用于根据第一形变系数和第二形变系数驱动三维虚拟对象执行相应的表情。

如图20所示，在一个实施例中，第二形变系数包括第三形变系数和第四形变系数。处理模块1908包括：

局部区域提取模块1908A，用于根据人脸特征点从人脸图像中提取局部区域。

纹理特征计算模块1908B，用于计算局部区域对应的纹理特征。

第三形变系数确定模块1908C，用于根据纹理特征确定局部区域对应的第三形变系数。

第四形变系数确定模块1910D，用于采用眼球跟踪算法确定眼球中心位置，根据眼球中心位置计算眼球相对于平视状态下的转动角度，根据转动角度确定第四形变系数。

在一个实施例中，局部区域提取模块1908A还用于根据人脸特征点采用分段仿射变形将人脸图像转变为标准人脸图像，从标准人脸图像中提取局部区域。

在一个实施例中，第三形变系数确定模块1908C还用于采用训练好的分类器根据纹理特征确定局部区域对应的识别结果，分类器是通过对标记样本中的纹理特征进行学习得到的，根据识别结果确定纹理特征对应的第三形变系数。

如图21所示，在一个实施例中，比对模块1906包括：

三维坐标计算模块1906A，用于计算人脸特征点对应的三维坐标。

三维坐标比对模块1906B，用于将得到的人脸特征点对应的三维坐标与标准特征点对应的标准三维坐标进行比对得到几何特征上对应的第一形变系数。

在一个实施例中，三维坐标比对模块1906A还用于计算标准特征点对应的标准三维坐标，将得到的人脸特征点对应的三维坐标与标准三维坐标进行比对确定脸部各个部位对应的变化值，对确定的变化值进行规范化处理得到第一形变系数。

在一个实施例中，驱动模块1910还用于采用最小二乘滤波器法对第一形变系数和第二形变系数进行系数平滑处理，采用系数平滑处理过的第一形变系数和第二形变系数驱动三维虚拟对象执行相应的表情。

在一个实施例中，提出一种计算机设备，包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行计算机程序时实现以下步骤：采集人脸图像；提取人脸图像中的人脸特征点；将人脸特征点与标准特征点进行比对得到几何特征上对应的第一形变系数；根据人脸特征点提取局部区域进行处理得到外貌特征上对应的第二形变系数；根据第一形变系数和第二形变系数驱动三维虚拟对象执行相应的表情。

在一个实施例中，第二形变系数包括第三形变系数和第四形变系数；处理器执行的根据人脸特征点提取局部区域进行处理得到外貌特征上对应的第二形变系数，包括：根据人脸特征点从人脸图像中提取局部区域；计算局部区域对应的纹理特征；根据纹理特征确定局部区域对应的第三形变系数；采用眼球跟踪算法确定眼球中心位置，根据眼球中心位置计算眼球相对于平视状态下的转动角度，根据转动角度确定第四形变系数。

在一个实施例中，处理器执行的根据人脸特征点从人脸图像中提取局部区域，包括：根据人脸特征点采用分段仿射变形将人脸图像转变为标准人脸图像；从标准人脸图像中提取局部区域。

在一个实施例中，处理器执行的根据纹理特征确定局部区域对应的第三形变系数，包括：采用训练好的分类器根据纹理特征确定局部区域对应的识别结果，分类器是通过对标记样本中的纹理特征进行学习得到的；根据识别结果确定纹理特征对应的第三形变系数。

在一个实施例中，处理器执行的将人脸特征点与标准特征点进行比对得到几何特征上对应的第一形变系数，包括：计算人脸特征点对应的三维坐标；将得到的人脸特征点对应的三维坐标与标准特征点对应的标准三维坐标进行比对得到几何特征上对应的第一形变系数。

在一个实施例中，处理器执行的将得到的人脸特征点对应的三维坐标与标准特征点对应的标准三维坐标进行比对得到几何特征上对应的第一形变系数，包括：计算标准特征点对应的标准三维坐标；将得到的人脸特征点对应的三维坐标与标准三维坐标进行比对确定脸部各个部位对应的变化值；对确定的变化值进行规范化处理得到第一形变系数。

在一个实施例中，处理器执行的根据第一形变系数和第二形变系数驱动三维虚拟对象执行相应的表情，包括：采用最小二乘滤波器法对第一形变系数和第二形变系数进行系数平滑处理；采用系数平滑处理过的第一形变系数和第二形变系数驱动三维虚拟对象执行相应的表情。

在一个实施例中，提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以下步骤：采集人脸图像；提取人脸图像中的人脸特征点；将人脸特征点与标准特征点进行比对得到几何特征上对应的第一形变系数；根据人脸特征点提取局部区域进行处理得到外貌特征上对应的第二形变系数；根据第一形变系数和第二形变系数驱动三维虚拟对象执行相应的表情。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims

1.一种人脸动画实现的方法，所述方法包括：

采集人脸图像；

提取所述人脸图像中的人脸特征点；

将所述人脸特征点与标准特征点进行比对得到脸部各个部位的位移和形变，确定各个部位在几何特征上对应的第一形变系数，所述标准特征点是中性脸对应的人脸特征点，所述中性脸是人在无表情的情况下的人脸状态，包括：计算所述人脸特征点对应的三维坐标；将得到的所述人脸特征点对应的三维坐标与所述标准特征点对应的标准三维坐标进行比对得到几何特征上对应的第一形变系数，所述标准三维坐标的计算采用基于中值的在线预测算法；

根据所述人脸特征点提取局部区域进行处理得到外貌特征上对应的第二形变系数，所述第二形变系数包括第三形变系数和第四形变系数，包括：根据所述人脸特征点采用分段仿射变形将所述人脸图像转变为标准人脸图像，从所述标准人脸图像中提取局部区域，计算所述局部区域对应的纹理特征；根据所述纹理特征确定所述局部区域对应的第三形变系数；采用眼球跟踪算法确定眼球中心位置，根据所述眼球中心位置计算眼球相对于平视状态下的转动角度，根据转动角度确定第四形变系数，包括：获取头部相对于摄像机焦平面的垂直方向Y轴转角，眼角X轴的投影坐标，眼球平视情况下的中心在焦平面的X轴方向的投影，眼球转动情况下的中心在焦平面的X轴投影，应用几何学求得在X轴上的转动角度，基于同样的方法，求得在Y轴上的转动角度，根据计算得到的转动角度得到第四形变系数；

2.根据权利要求1所述的方法，其特征在于，所述根据所述纹理特征确定所述局部区域对应的第三形变系数包括：采用训练好的分类器根据纹理特征对局部区域进行外貌特征的预测，确定局部区域对应的第三形变系数。

3.根据权利要求2所述的方法，其特征在于，所述根据所述人脸特征点从人脸图像中提取局部区域，包括：

按照预设的划分规则预先设置标准人脸图像对应的标准三角形网格，提取到人脸图像的人脸特征点后，按照同样的连接规则根据人脸特征点划分得到人脸特征点对应的三角形网格；

针对每一个三角形的像素做一个仿射变形，将采集到的人脸图像转变为标准人脸图像。

4.根据权利要求2所述的方法，其特征在于，根据所述纹理特征确定所述局部区域对应的第三形变系数，包括：

采用训练好的分类器根据所述纹理特征确定所述局部区域对应的识别结果，所述分类器是通过对标记样本中的纹理特征进行学习得到的；

根据所述识别结果确定所述纹理特征对应的第三形变系数。

5.根据权利要求1所述的方法，其特征在于，所述将所述人脸特征点与标准特征点进行比对得到几何特征上对应的第一形变系数，包括：

获取人脸特征点对应的二维坐标，用3D重建技术获取与人脸特征点的二维坐标对应的三维坐标。

6.根据权利要求5所述的方法，其特征在于，所述将得到的所述人脸特征点对应的三维坐标与所述标准特征点对应的标准三维坐标进行比对得到几何特征上对应的第一形变系数，包括：

计算所述标准特征点对应的标准三维坐标；

将得到的所述人脸特征点对应的三维坐标与所述标准三维坐标进行比对确定脸部各个部位对应的变化值；

对确定的所述变化值进行规范化处理得到第一形变系数。

7.根据权利要求1所述的方法，其特征在于，所述根据所述第一形变系数和所述第二形变系数驱动三维虚拟对象执行相应的表情，包括：

采用最小二乘滤波器法对所述第一形变系数和第二形变系数进行系数平滑处理；

采用系数平滑处理过的第一形变系数和第二形变系数驱动三维虚拟对象执行相应的表情。

8.一种人脸动画实现的装置，其特征在于，所述装置包括：

采集模块，用于采集人脸图像；

提取模块，用于提取所述人脸图像中的人脸特征点；

比对模块，用于将所述人脸特征点与标准特征点进行比对得到脸部各个部位的位移和形变，确定各个部位在几何特征上对应的第一形变系数，所述标准特征点是中性脸对应的人脸特征点，所述中性脸是人在无表情的情况下的人脸状态，包括：计算所述人脸特征点对应的三维坐标；将得到的所述人脸特征点对应的三维坐标与所述标准特征点对应的标准三维坐标进行比对得到几何特征上对应的第一形变系数，所述标准三维坐标的计算采用基于中值的在线预测算法；

处理模块，用于根据所述人脸特征点提取局部区域进行处理得到外貌特征上对应的第二形变系数，所述第二形变系数包括第三形变系数和第四形变系数，包括：根据所述人脸特征点采用分段仿射变形将所述人脸图像转变为标准人脸图像，从所述标准人脸图像中提取局部区域，包括：纹理特征计算模块，用于计算所述局部区域对应的纹理特征；第三形变系数确定模块，用于根据所述纹理特征确定所述局部区域对应的第三形变系数；第四形变系数确定模块，用于采用眼球跟踪算法确定眼球中心位置，根据所述眼球中心位置计算眼球相对于平视状态下的转动角度，根据转动角度确定第四形变系数，包括：获取头部相对于摄像机焦平面的垂直方向Y轴转角，眼角X轴的投影坐标，眼球平视情况下的中心在焦平面的X轴方向的投影，眼球转动情况下的中心在焦平面的X轴投影，应用几何学求得在X轴上的转动角度，基于同样的方法，求得在Y轴上的转动角度，根据计算得到的转动角度得到第四形变系数；

9.根据权利要求8所述的装置，其特征在于，所述处理模块还用于采用训练好的分类器根据纹理特征对局部区域进行外貌特征的预测，确定局部区域对应的第三形变系数。

10.根据权利要求8所述的装置，其特征在于，所述局部区域提取模块还用于按照预设的划分规则预先设置标准人脸图像对应的标准三角形网格，提取到人脸图像的人脸特征点后，按照同样的连接规则根据人脸特征点划分得到人脸特征点对应的三角形网格；针对每一个三角形的像素做一个仿射变形，将采集到的人脸图像转变为标准人脸图像。

11.根据权利要求8所述的装置，其特征在于，第三形变系数确定模块还用于采用训练好的分类器根据所述纹理特征确定所述局部区域对应的识别结果，所述分类器是通过对标记样本中的纹理特征进行学习得到的，根据所述识别结果确定所述纹理特征对应的第三形变系数。

12.根据权利要求8所述的装置，其特征在于，所述比对模块包括：

三维坐标计算模块，用于计算所述人脸特征点对应的三维坐标；

三维坐标比对模块，用于将得到的所述人脸特征点对应的三维坐标与所述标准特征点对应的标准三维坐标进行比对得到几何特征上对应的第一形变系数。

13.根据权利要求12所述的装置，其特征在于，所述三维坐标比对模块还用于计算所述标准特征点对应的标准三维坐标，将得到的所述人脸特征点对应的三维坐标与所述标准三维坐标进行比对确定脸部各个部位对应的变化值，对确定的所述变化值进行规范化处理得到第一形变系数。

14.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行所述计算机程序时实现权利要求1-7任意一项所述方法的步骤。

15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7任意一项所述方法的步骤。