CN107369174A - 一种人脸图像的处理方法及计算设备 - Google Patents

Abstract

本发明公开了一种人脸图像的处理方法及执行该方法的计算设备，包括步骤：当检测到视频中的人脸时，将人脸所在图像帧记作初始图像帧，按第一计算方式计算初始图像帧中人脸的投影矩阵；计算出初始图像帧对应的三维人脸模型、三维表情模型、三维脸型模型；按第一计算方式计算当前图像帧的投影矩阵；计算当前图像帧的三维表情模型；比较当前图像帧的投影矩阵和三维表情模型与上一图像帧的投影矩阵和三维表情模型；若比较结果满足预定条件，则计算当前图像帧的三维脸型模型，若不满足则保持三维脸型模型不变；计算当前图像帧的三维人脸模型；计算当前图像帧的纹理坐标；根据纹理坐标将预设面具渲染到当前图像帧上。

Description

一种人脸图像的处理方法及计算设备

技术领域

本发明涉及图像处理技术领域，尤其是一种人脸图像的处理方法及计算设备。

背景技术

随着移动通讯和互联网技术的发展，用户不再只满足于通过移动设备(如手机、相机、平板等)进行拍照、分享，在日常社交中，用户常希望能够对一些照片进行有趣的处理，以增加拍照的趣味性。例如，对包含人脸的图像(简称“人脸图像”)进行一些处理，诸如在人脸上添加眼镜、猫胡须、兔耳朵之类的特殊妆容。一般地做法是，通过定位人脸特征点把相应的妆容贴到对应位置，实现起来较为简单，不需要考虑不同人脸的脸型和表情等因素。

另外一种处理方式是在人脸上贴面具，例如，为一段视频或一张照片上的人脸实时生成合适的面具。面具可以认为是新的脸皮，不同的人脸对应的面具也是不一样的，比如国字脸对应的面具也会相对较方，圆脸对应的面具则相对较圆，瓜子脸对应的面具会比较尖，等等。即便是同一个人，在一段视频中，当他/她做出不同表情时其对应的面具也应该随着表情变化而变化，比如当闭眼时对应面具的眼睛也是闭着的，当张嘴时对应面具的嘴巴也应是张开的，等等。基于这些需求，仅仅通过定位人脸特征点的方案会导致生成的面具无法适应不同人脸的脸型，并且还会有无法跟踪人脸表情的缺陷。

因此，需要一种能够兼顾不同人脸的脸型、姿态和表情的人脸面具生成方法，能够实时地处理视频中的人脸图像。

发明内容

为此，本发明提供了一种人脸图像的处理方法及计算设备，以力图解决或者至少缓解上面存在的至少一个问题。

根据本发明的一个方面，提供了一种人脸图像的处理方法，该方法用于实时为视频中的人脸图像生成面具，包括步骤：当检测到视频中的人脸时，将人脸所在图像帧记作初始图像帧，按第一计算方式计算初始图像帧中人脸的投影矩阵；根据初始图像帧的投影矩阵计算出初始图像帧对应的三维人脸模型、三维表情模型、三维脸型模型；对于该视频中的后续每一图像帧，按第一计算方式计算当前图像帧的投影矩阵；根据当前图像帧的投影矩阵计算当前图像帧的三维表情模型；将当前图像帧的投影矩阵和三维表情模型分别与上一图像帧的投影矩阵和三维表情模型进行比较；若比较结果满足预定条件，则计算当前图像帧的三维脸型模型，若不满足则将上一图像帧的三维脸型模型作为当前图像帧的三维脸型模型；根据当前图像帧的三维脸型模型和三维表情模型计算当前图像帧的三维人脸模型；根据当前图像帧的投影矩阵和三维人脸模型计算当前图像帧的纹理坐标；以及根据纹理坐标将预设面具渲染到当前图像帧上。

可选地，在根据本发明的人脸图像处理方法中，还包括步骤：根据预先采集的三维人脸数据建立人脸空间基底，其中人脸空间基底包括三维平均脸、构成三维脸型模型的脸型基和构成三维表情模型的表情基。

可选地，在根据本发明的人脸图像处理方法中，还包括生成预设面具的步骤：根据三维平均脸的UV展开图生成预设面具。

可选地，在根据本发明的人脸图像处理方法中，按第一计算方式计算图像帧中人脸的投影矩阵的步骤包括：提取图像帧中的人脸特征点；以及通过所提取的人脸特征点拟合得到图像帧中人脸的投影矩阵。

可选地，在根据本发明的人脸图像处理方法中，根据图像帧的投影矩阵计算该图像帧的三维人脸模型或三维表情模型或三维脸型模型的步骤包括：利用最小二乘法根据图像帧的投影矩阵和人脸特征点计算该图像帧的三维人脸模型或三维表情模型或三维脸型模型。

可选地，在根据本发明的人脸图像处理方法中，预定条件包括：当前图像帧的投影矩阵中旋转参数比上一图像帧的投影矩阵中旋转参数更接近三维平均脸的旋转参数；且当前图像帧的三维表情模型中表情基系数比上一图像帧的三维表情模型中表情基的系数更接近三维平均脸中表情基系数。

可选地，在根据本发明的人脸图像处理方法中，当比较结果满足预定条件时计算当前图像帧的三维脸型模型的步骤包括：当比较结果满足预定条件时，根据当前图像帧的投影矩阵计算当前图像帧的三维脸型模型。

可选地，在根据本发明的人脸图像处理方法中，根据当前图像帧的三维脸型模型和三维表情模型计算当前图像帧的三维人脸模型的步骤包括：在当前图像帧的三维脸型模型和三维表情模型的基础上，减去三维平均脸，得到当前图像帧的三维人脸模型。

可选地，在根据本发明的人脸图像处理方法中，第t个图像帧的三维人脸模型M_t为：

M_t＝E_t+F_t-meanEF

其中，E_t表示第t个图像帧的三维表情模型，F_t表示第t个图像帧的三维脸型模型，meanEF表示三维平均脸。

可选地，在根据本发明的人脸图像处理方法中，根据当前图像帧的投影矩阵和三维人脸模型计算当前图像帧的纹理坐标的步骤包括：将当前图像帧的投影矩阵和当前图像帧的三维人脸模型相乘，得到当前图像帧的纹理坐标。

可选地，在根据本发明的人脸图像处理方法中，在根据当前图像帧的投影矩阵和三维人脸模型计算当前图像帧的纹理坐标的步骤之前，还包括步骤：利用上一图像帧的投影矩阵和三维人脸模型分别对当前图像帧的投影矩阵和三维人脸模型进行平滑处理，将平滑处理后的投影矩阵和三维人脸模型作为当前图像帧的投影矩阵和三维人脸模型。

可选地，在根据本发明的人脸图像处理方法中，第t个图像帧平滑处理后的投影矩阵MVP_t'和三维人脸模型M_t'分别为：

其中，MVP_t表示第t个图像帧平滑处理前的投影矩阵，MVP_t-1表示第t-1个图像帧的投影矩阵，M_t表示第t个图像帧平滑处理前的三维人脸模型，M_t-1表示第t-1个图像帧的三维人脸模型。

根据本发明的另一方面，提供了一种计算设备，包括：一个或多个处理器；和存储器；一个或多个程序，其中一个或多个程序存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序包括用于执行如上所述方法中的任一方法的指令。

根据本发明的再一方面，提供了一种存储一个或多个程序的计算机可读存储介质，一个或多个程序包括指令，该指令当计算设备执行时，使得计算设备执行如上所述的方法中的任一方法。

本方案基于三维人脸重建技术实现了视频的实时贴面具，解决了只根据人脸特征点定位导致面具无法适应不同脸型、不同姿态，以及无法跟踪表情的缺陷。

附图说明

为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。

图1示出了根据本发明一个实施例的计算设备100的构造示意图；

图2示出了根据本发明一个实施例的人脸图像的处理方法200的流程图；以及

图3示出了UV展开图的一个示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1是示例计算设备100的框图。在基本的配置102中，计算设备100典型地包括***存储器106和一个或者多个处理器104。存储器总线108可以用于在处理器104和***存储器106之间的通信。

取决于期望的配置，处理器104可以是任何类型的处理，包括但不限于：微处理器(μP)、微控制器(μC)、数字信息处理器(DSP)或者它们的任何组合。处理器104可以包括诸如一级高速缓存110和二级高速缓存112之类的一个或者多个级别的高速缓存、处理器核心114和寄存器116。示例的处理器核心114可以包括运算逻辑单元(ALU)、浮点数单元(FPU)、数字信号处理核心(DSP核心)或者它们的任何组合。示例的存储器控制器118可以与处理器104一起使用，或者在一些实现中，存储器控制器118可以是处理器104的一个内部部分。

取决于期望的配置，***存储器106可以是任意类型的存储器，包括但不限于：易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或者它们的任何组合。***存储器106可以包括操作***120、一个或者多个应用122以及程序数据124。在一些实施方式中，应用122可以布置为在操作***上利用程序数据124进行操作。程序数据124包括指令，在根据本发明的计算设备100中，程序数据124包含用于执行基于人脸图像处理方法的指令。

计算设备100还可以包括有助于从各种接口设备(例如，输出设备142、外设接口144和通信设备146)到基本配置102经由总线/接口控制器130的通信的接口总线140。示例的输出设备142包括图形处理单元148和音频处理单元150。它们可以被配置为有助于经由一个或者多个A/V端口152与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口144可以包括串行接口控制器154和并行接口控制器156，它们可以被配置为有助于经由一个或者多个I/O端口158和诸如输入设备(例如，键盘、鼠标、笔、语音输入设备、触摸输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备146可以包括网络控制器160，其可以被布置为便于经由一个或者多个通信端口164与一个或者多个其他计算设备162通过网络通信链路的通信。

网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块，并且可以包括任何信息递送介质。“调制数据信号”可以这样的信号，它的数据集中的一个或者多个或者它的改变可以在信号中编码信息的方式进行。作为非限制性的示例，通信介质可以包括诸如有线网络或者专线网络之类的有线介质，以及诸如声音、射频(RF)、微波、红外(IR)或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者，如存储一个或多个程序的计算机可读存储介质。

计算设备100可以实现为小尺寸便携(或者移动)电子设备的一部分，这些电子设备可以是诸如蜂窝电话、个人数字助理(PDA)、个人媒体播放器设备、无线网络浏览设备、个人头戴设备、应用专用设备、或者可以包括上面任何功能的混合设备。计算设备100还可以实现为包括桌面计算机和笔记本计算机配置的个人计算机。在一些实施例中，计算设备100被配置为执行人脸图像处理方法200。

如前文所述，在日常生活中，假设这样的场景，用户通过计算设备100自拍了一段小视频，且在这段小视频中根据用户的脸部实时生成了各种好玩的面具，用户希望将这样富有趣味性的小视频分享给好友。下文将结合图2，详细描述根据本发明一个实施例实现这样效果的方法人脸图像处理方法200的流程图。

图2示出了根据本发明一个实施例的人脸图像的处理方法200的流程图。

如图2所示，该方法200始于步骤S210，当检测到视频中的人脸时，将人脸所在图像帧记作初始图像帧，按第一计算方式计算该初始图像帧中人脸的投影矩阵。根据一种实现方式，可以通过用户打开相应应用程序或触发相机应用中特定按键开启检测视频中的人脸，本方案对此方面不作限制。

根据本发明的实施例，按第一计算方式计算图像帧中人脸的投影矩阵的步骤包括：

①提取图像帧中的人脸特征点。按照本发明的实施方式，将人脸图像划分成两个区域，分别是：包括人脸的人脸区域和人脸区域以外的背景区域。人脸特征点包括但不限于人脸中表征眉毛、鼻子、眼角、嘴巴、脸外轮廓等特征的关键点。需要说明的是，提取人脸特征点已属于本领域比较成熟的算法，任何目前已知或者将来开发的人脸检测方法/人脸特征点提取方法均可与本发明的实施例结合使用，本发明的范围在此方面不受限制。

②通过所提取的人脸特征点拟合得到该图像帧中人脸的投影矩阵。根据本发明的实现方式，人脸三维模型和其对应的投影矩阵均通过三维形变模型(3DMM)求得。其中，3DMM模型是1999年由Blanz和Vetter发表的《A Morphable Model For The Synthesis Of 3DFaces》论文提到的方法，该方法的基本思想是：将人脸空间看作一个线性空间，用事先建立好的三维人脸数据的线性组合的投影逼近二维图片上的人脸。

考虑到本发明的实施过程中，需要对人脸脸型、人脸表情进行实时跟踪，因此，在本发明的实施例中，根据预先采集的三维人脸数据构建人脸空间基底时，将三维人脸模型看作是由三维平均脸、三维脸型模型和三维表情模型构成的，3DMM的基本公式表示如式(1)：

其中，M表示最终拟合得到的三维人脸模型，meanEF表示三维平均脸，表示构成三维脸型模型的脸型基，表示构成三维表情模型的表情基，n和m分别代表了脸型基和表情基的个数，a_i和b_j分别表示脸型基和表情基对应的系数。

而投影矩阵的初始参数是根据人脸空间基底的特征点预估的，其初始参数包括相机的位置、图像平面的旋转角度、直射光和环境光的各个分量、图像对比度等等。对于给定的具体人脸(即提取得到的人脸特征点)，根据人脸空间基底和投影矩阵初始参数的反复迭代，拟合出该人脸图像的三维人脸模型，换句话说，根据已有的具有相同顶点数和拓扑结构的三维人脸模型数据的相应的三维特征点，通过最小化三维模型线性组合的特征点投影后和二维特征点的距离，求解得到组合的参数，由该参数进一步得到拟合的三维人脸模型和投影矩阵。如下式(2)所述：

err＝MVP*M-P (2)

式中，MVP表示投影矩阵，P表示人脸特征点，结合式(1)，通过最小化err即可求得初始图像帧的投影矩阵。可选地，考虑到视频处理的实时性，采用最小二乘法最小化err。

随后在步骤S220中，根据初始图像帧的投影矩阵计算出初始图像帧对应的三维人脸模型、三维表情模型和三维脸型模型。根据本发明的实施例，将三维表情模型E和三维脸型模型F表述为：

因此，计算三维表情模型E和三维脸型模型F也就是计算相应系数a_i和b_j，如上文所述，在利用最小二乘法计算出投影矩阵时，也就得到了相应的系数a_i和b_j，即可得到初始图像帧的三维人脸模型M，同样，由式(3)、式(4)即可计算出初始图像帧的三维表情模型E和三维脸型模型F。

随后的步骤中，对该视频中的后续每一包含该人脸的图像帧，进行相应的处理，以生成相应的面具。在步骤S230中，按第一计算方式计算当前图像帧的投影矩阵。根据本发明的实现方式，对后续图像帧执行与初始图像帧同样的计算步骤(如上述步骤S210所描述的那样)，计算后续图像帧的投影矩阵。

随后在步骤S240中，根据当前图像帧的投影矩阵计算当前图像帧的三维表情模型。同样，根据图像帧的投影矩阵计算该图像帧的三维表情模型的方法在前面已经具体阐述，此处亦不再累述。

根据本发明的实施例，在实际应用中，一段视频中人脸保持不变，那么其脸型一般是固定的，但是表情会随时间逐帧不断变化，因此，需要计算每一图像帧的三维表情模型E，以跟踪视频中人脸表情的变化，但对于三维脸型模型F，则根据需要进行有选择地计算。这样做可以在保证计算准确的基础上，有效减少计算量。

随后在步骤S250中，将当前图像帧的投影矩阵和三维表情模型分别与上一图像帧的投影矩阵和三维表情模型进行比较。设当前图像帧为第t帧图像，则比较当前图像帧的投影矩阵MVP_t和上一图像帧的投影矩阵MVP_t-1的旋转参数，以及，比较当前图像帧的三维表情模型E_t和上一图像帧的三维表情模型E_t-1中的表情基及表情基系数。

随后在步骤S260中，若比较结果满足预定条件，则计算当前图像帧的三维脸型模型，若不满足则将上一图像帧的三维脸型模型作为当前图像帧的三维脸型模型。

根据本发明的实施例，预定条件包括：①当前图像帧的投影矩阵MVP_t中旋转参数比上一图像帧的投影矩阵MVP_t-1中旋转参数更接近三维平均脸的旋转参数，换句话说，MVP_t的旋转参数比MVP_t-1的旋转参数更接近于标准正脸，即当前图像帧的人脸的姿态比上一图像帧的人脸姿态“更正”；②当前图像帧的三维表情模型E_t中表情基系数比上一图像帧的三维表情模型E_t-1中表情基的系数更接近三维平均脸中表情基系数，即，E_t中部分更接近0，这是因为越大，表情越夸张，所以当这部分接近0时，判断表情“更中性”。

综上，当判断当前图像帧比上一图像帧的人脸姿态“更正”且人脸表情“更中性”时，认为满足预定条件，就重新计算当前图像帧的三维脸型模型F_t，可选地，根据当前图像帧的投影矩阵(由步骤S230得到)计算当前图像帧的三维脸型模型F_t，计算方法在前面已经具体阐述，此处不再累述。反之，则不计算当前图像帧的三维脸型模型，保持上一图像帧的三维脸型模型，即F_t＝F_t-1。

通过这样逐帧比较的计算方式，可以不断的优化该视频中人脸的三维脸型模型，使其尽可能地和用户脸型保持一致。

随后在步骤S270中，根据当前图像帧的三维脸型模型F_t和三维表情模型E_t再计算当前图像帧的三维人脸模型M_t。根据本发明的一个实施方式，可以直接在当前图像帧的三维脸型模型F_t和三维表情模型E_t的基础上，减去三维平均脸meanEF，得到当前图像帧的三维人脸模型M_t，如式(5)所示：

M_t＝E_t+F_t-meanEF (5)

随后在步骤S280中，根据当前图像帧的投影矩阵和三维人脸模型计算当前图像帧的纹理坐标。根据本发明的实施例，将当前图像帧的投影矩阵和当前图像帧的三维人脸模型相乘，得到当前图像帧的纹理坐标。

根据本发明的又一实施例，在步骤S270之后、步骤S280之前，还包括对投影矩阵和三维人脸模型进行平滑处理的步骤。具体地，利用上一图像帧的投影矩阵和三维人脸模型分别对当前图像帧的投影矩阵和三维人脸模型进行平滑处理，将平滑处理后的投影矩阵和三维人脸模型作为当前图像帧的投影矩阵和三维人脸模型，再计算当前图像帧的纹理坐标。

平滑处理的具体计算方式可参照式(6)、式(7)：

第t个图像帧平滑处理后的投影矩阵MVP_t'和三维人脸模型M_t'为：

式中，MVP_t表示第t个图像帧平滑处理前的投影矩阵，MVP_t-1表示第t-1个图像帧的投影矩阵，M_t表示第t个图像帧平滑处理前的三维人脸模型，M_t-1表示第t-1个图像帧的三维人脸模型。

随后在步骤S290中，根据纹理坐标将预设面具渲染到当前图像帧上。当视频中连续多个图像帧完成上述步骤S230到步骤S290后，便将预设面具通过3D渲染到视频上了。

根据本发明的实施例，预设面具是根据三维平均脸的UV展开图生成的。UV展开图作为3D渲染的一种常见方式，本实施例中不再对其进行详细描述，如图3，示出了UV展开图的一个示例。

本领域的技术人员应当会想到，在本方案的基础上，对预设面具进行进一步的处理，例如，为预设面具戴上墨镜、画上小红脸等装饰，以增加贴面具的趣味性，都是可实现的，本发明的实施例对此方面不作限制。

根据本发明的又一些实施例，若是一段视频中出现镜头切换，可继续检测切换后的图像内容中是否出现人脸，当再次检测到人脸时，可能已经换了一个人脸，故将再次检测到人脸的这一图像帧作为一个新的初始图像帧，重复方法200进行实时贴面具。本发明在此方面不作限制。

本方案基于三维人脸重建技术实现了视频的实时贴面具，解决了只根据人脸特征点定位导致面具无法适应不同脸型、不同姿态，以及无法跟踪表情的缺陷。同时，本方案通过利用最小二乘法求解方程、有选择地计算图像帧的三维脸型模型等方式，有效减少计算量，以达到实时处理的效果，不会给用户带来卡顿感觉，提升用户体验。

这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如软盘、CD-ROM、硬盘驱动器或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被所述机器执行时，所述机器变成实践本发明的设备。

在程序代码在可编程计算机上执行的情况下，计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)，至少一个输入装置，和至少一个输出装置。其中，存储器被配置用于存储程序代码；处理器被配置用于根据该存储器中存储的所述程序代码中的指令，执行本发明的方法。

以示例而非限制的方式，计算机可读介质包括计算机存储介质和通信介质。计算机可读介质包括计算机存储介质和通信介质。计算机存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在计算机可读介质的范围之内。

应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

本发明一并公开了：

A9、如A8所述的方法，其中，第t个图像帧的三维人脸模型M_t为：

M_t＝E_t+F_t-meanEF

其中，E_t表示第t个图像帧的三维表情模型，F_t表示第t个图像帧的三维脸型模型，meanEF表示三维平均脸。

A10、如A1-9中任一项所述的方法，其中，根据当前图像帧的投影矩阵和三维人脸模型计算当前图像帧的纹理坐标的步骤包括：将当前图像帧的投影矩阵和当前图像帧的三维人脸模型相乘，得到当前图像帧的纹理坐标。

A11、如A1-10中任一项所述的方法，其中，在根据当前图像帧的投影矩阵和三维人脸模型计算当前图像帧的纹理坐标的步骤之前，还包括步骤：利用上一图像帧的投影矩阵和三维人脸模型分别对当前图像帧的投影矩阵和三维人脸模型进行平滑处理，将平滑处理后的投影矩阵和三维人脸模型作为当前图像帧的投影矩阵和三维人脸模型。

A12、如A11所述的方法，其中，第t个图像帧平滑处理后的投影矩阵MVP_t'为：

其中，MVP_t表示第t个图像帧平滑处理前的投影矩阵，MVP_t-1表示第t-1个图像帧的投影矩阵。

A13、如A11所述的方法，其中，第t个图像帧平滑处理后的三维人脸模型M_t'为：

其中，M_t表示第t个图像帧平滑处理前的三维人脸模型，M_t-1表示第t-1个图像帧的三维人脸模型。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

此外，所述实施例中的一些在此被描述成可以由计算机***的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。

如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (10)

1.一种人脸图像的处理方法，所述方法用于实时为视频中的人脸图像生成面具，所述方法包括步骤：

当检测到视频中的人脸时，将人脸所在图像帧记作初始图像帧，按第一计算方式计算所述初始图像帧中人脸的投影矩阵；

根据初始图像帧的投影矩阵计算出初始图像帧对应的三维人脸模型、三维表情模型、三维脸型模型；

对于该视频中的后续每一图像帧，

按第一计算方式计算当前图像帧的投影矩阵；

根据当前图像帧的投影矩阵计算当前图像帧的三维表情模型；

将当前图像帧的投影矩阵和三维表情模型分别与上一图像帧的投影矩阵和三维表情模型进行比较；

若比较结果满足预定条件，则计算当前图像帧的三维脸型模型，若不满足则将上一图像帧的三维脸型模型作为当前图像帧的三维脸型模型；

根据当前图像帧的三维脸型模型和三维表情模型计算当前图像帧的三维人脸模型；

根据当前图像帧的投影矩阵和三维人脸模型计算当前图像帧的纹理坐标；以及

根据所述纹理坐标将预设面具渲染到当前图像帧上。

2.如权利要求1所述的方法，其中，还包括步骤：

根据预先采集的三维人脸数据建立人脸空间基底，其中所述人脸空间基底包括三维平均脸、构成三维脸型模型的脸型基和构成三维表情模型的表情基。

3.如权利要求2所述的方法，其中，还包括生成预设面具的步骤：

根据所述三维平均脸的UV展开图生成预设面具。

4.如权利要求1-3中任一项所述的方法，其中，按第一计算方式计算图像帧中人脸的投影矩阵的步骤包括：

提取图像帧中的人脸特征点；以及

通过所提取的人脸特征点拟合得到所述图像帧中人脸的投影矩阵。

5.如权利要求4所述的方法，其中，根据图像帧的投影矩阵计算该图像帧的三维人脸模型或三维表情模型或三维脸型模型的步骤包括：

利用最小二乘法根据图像帧的投影矩阵和人脸特征点计算该图像帧的三维人脸模型或三维表情模型或三维脸型模型。

6.如权利要求1-5中任一项所述的方法，其中，所述预定条件包括：

当前图像帧的投影矩阵中旋转参数比上一图像帧的投影矩阵中旋转参数更接近三维平均脸的旋转参数；且

当前图像帧的三维表情模型中表情基系数比上一图像帧的三维表情模型中表情基的系数更接近三维平均脸中表情基系数。

7.如权利要求5或6所述的方法，其中，当比较结果满足预定条件时计算当前图像帧的三维脸型模型的步骤包括：

当比较结果满足预定条件时，根据当前图像帧的投影矩阵计算当前图像帧的三维脸型模型。

8.如权利要求1-7中任一项所述的方法，其中，根据当前图像帧的三维脸型模型和三维表情模型计算当前图像帧的三维人脸模型的步骤包括：

在当前图像帧的三维脸型模型和三维表情模型的基础上，减去所述三维平均脸，得到当前图像帧的三维人脸模型。

9.一种计算设备，包括：

一个或多个处理器；和

存储器；

一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行如权利要求1-8所述方法中的任一方法的指令。

10.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当计算设备执行时，使得所述计算设备执行如权利要求1-8所述的方法中的任一方法。