CN104978764A - 三维人脸网格模型处理方法和设备 - Google Patents

Abstract

本发明提供一种三维人脸网格模型处理方法和设备，该方法包括：获取与原始二维人脸图像对应的原始三维人脸网格模型，原始三维人脸网格模型中包括与原始二维人脸图像的第一表情特征点对应的第二表情特征点；根据公式（1）计算原始三维人脸网格模型的相机参数矩阵；根据相机参数矩阵将第二表情特征点映射到原始二维人脸图像上，以判断第二表情特征点与第一表情特征点的匹配程度，并根据判断结果对原始三维人脸网格模型进行调整。根据相机参数对原始三维人脸网格模型与原始二维人脸图像进行匹配度的判断，在匹配度低的情况下调整原始三维人脸网格模型，从而能够保证调整后的三维人脸网格模型与原始二维人脸图像具有更好的匹配程度。

Description

三维人脸网格模型处理方法和设备

技术领域

本发明属于图像图形处理技术领域，具体是涉及一种三维人脸网格模型处理方法和设备。

背景技术

人脸的面部表情是一种微妙的形体语言，是传递情感信息的重要手段，在在诸如人脸表情动画制作、照片处理等应用中，经常会涉及到将一副图片上的人脸表情转移到另一幅与其不同表情的人脸图片上，比如某人照了一张相片，但是对该相片上的表情不太满意，此时他可以将以前的某张相片上的满意的表情经过一定图像处理技术转移到当前的相片上。

随着三维建模与获取技术的发展，三维模型相比于二维图像而言，能够提供更多细节信息，因此，在人脸表情转移的处理过程中，一般需要对初始的目标二维人脸图像和参考二维人脸图像分别进行相应三维人脸网格模型的建模，进而基于相应的三维人脸网格模型进行图像扭曲、融合等处理，以最终实现人脸表情转移的目的。因此，建立的三维人脸网格模型与对应二维人脸图像的匹配程度对人脸表情处理的效果具有重要影响。

现有的三维人脸网格模型的建立多是基于人脸表情数据库的。即通过对人脸表情数据库中存储的三维人脸表情模型进行整体变形，以与初始的二维人脸图像上标记的人脸表情特征点相匹配。但是，这种整体变形的方式建立的三维人脸网格模型往往与对应的二维人脸图像具有较低的匹配度。

发明内容

针对现有技术中存在的问题，本发明提供一种三维人脸网格模型处理方法和设备，用以克服现有技术中基于人脸表情数据库进行整体变形导致建立的三维人脸网格模型与对应的二维人脸图像的匹配度较低的缺陷。

本发明第一方面提供了一种三维人脸网格模型处理方法，包括：

获取与原始二维人脸图像对应的原始三维人脸网格模型，所述原始三维人脸网格模型中包括与所述原始二维人脸图像的第一表情特征点对应的第二表情特征点；

根据公式（1）计算所述原始三维人脸网格模型的相机参数矩阵：

$\min \underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\left|\right|P\·X_i-x_i\left|\right|}^2---\left(1\right)$

其中，P为所述相机参数矩阵，X_i为所述原始三维人脸网格模型上的第i个第二表情特征点，x_i为与所述第二表情特征点X_i对应的所述原始二维人脸图像上的第i个第一表情特征点，N为第一表情特征点和第二表情特征点的个数；

根据计算得到的所述相机参数矩阵将所述原始三维人脸网格模型上的第二表情特征点映射到所述原始二维人脸图像上，以判断所述第二表情特征点与所述第一表情特征点的匹配程度，并根据判断结果对所述原始三维人脸网格模型进行调整。

在第一方面的第一种可能的实现方式中，所述根据计算得到的所述相机参数矩阵将所述原始三维人脸网格模型上的第二表情特征点映射到所述原始二维人脸图像上，以判断所述第二表情特征点与所述第一表情特征点的匹配程度，并根据判断结果对所述待处理模型进行调整，包括：

根据公式（2）计算所述第二表情特征点与所述第一表情特征点的匹配误差：

$\mathrm{Err}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i{\left|\right|P\·X_i-x_i\left|\right|}^2---\left(2\right)$

其中，Err为所述匹配误差，w_i为第i对特征点X_i和x_i的权重系数；

判断所述匹配误差是否大于等于预设阈值；

若大于等于，则对所述原始三维人脸网格模型进行调整，以使调整后的三维人脸网格模型上的第二表情特征点与所述第一表情特征点的匹配误差小于所述预设阈值。

根据第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，所述对所述原始三维人脸网格模型进行调整，包括：

计算第二表情特征点X_i到所述原始三维人脸网格模型上各网格顶点X_j的测地线距离，其中，i不等于j；

固定所述原始三维人脸网格模型上的第二表情特征点X_i的z坐标，采用第一预设算法改变所述第二表情特征点X_i的x，y坐标，得到与所述第二表情特征点X_i对应的第三表情特征点X_i’；

以所述测地线距离为约束，采用第二预设算法确定与所述第三表情特征点X_i’对应的各网格顶点X_j’；

根据所述第三表情特征点X_i’和与所述第三表情特征点X_i’对应的各网格顶点X_j’调整所述原始三维人脸网格模型。

根据第一方面、第一方面的第一种或第二种可能的实现方式，在第一方面的第三种可能的实现方式中，所述原始二维人脸图像包括目标二维人脸图像和参考二维人脸图像；

所述获取与原始二维人脸图像对应的原始三维人脸网格模型，包括：

提取所述目标二维人脸图像的人脸表情特征点和所述参考二维人脸图像的人脸表情特征点，所述人脸表情特征点包括脸部轮廓特征点和第一表情特征点；

根据所述目标二维人脸图像的脸部轮廓特征点和所述参考二维人脸图像的脸部轮廓特征点确定近正面人脸图像，所述近正面人脸图像为所述目标二维人脸图像或所述参考二维人脸图像；

根据所述近正面人脸图像的脸部轮廓特征点和第一表情特征点，对从中性人脸库中确定的目标中性人脸模型进行变形，得到与所述正面人脸图像对应的中性人脸模型；

根据所述近正面人脸图像的中性人脸模型分别对预设表情库中包含的各预设表情模型进行变形，得到与所述正面人脸图像对应的各表情模型；

根据所述目标二维人脸图像的第一表情特征点确定所述各表情模型的第一权重系数，并根据所述参考二维人脸图像的第一表情特征点确定所述各表情模型的第二权重系数；

根据所述第一权重系数合并所述各表情模型，以得到与所述目标二维人脸图像对应的三维人脸网格模型，并根据所述第二权重系数合并所述各表情模型，以得到与所述参考二维人脸图像对应的三维人脸网格模型。

根据第一方面的第三种可能的实现方式，在第一方面的第四种可能的实现方式中，所述预设表情库包括通用blendshape模型。

根据第一方面的第三种或第四种可能的实现方式，在第一方面的第五种可能的实现方式中，所述根据所述目标二维人脸图像的脸部轮廓特征点和所述参考二维人脸图像的脸部轮廓特征点确定近正面人脸图像，包括：

根据所述目标二维人脸图像的脸部轮廓特征点计算所述目标二维人脸图像的脸部轮廓曲率，以及根据所述参考二维人脸图像的脸部轮廓特征点计算所述参考二维人脸图像的脸部轮廓曲率；

确定所述脸部轮廓曲率小的图像为近正面人脸图像。

根据第一方面的第三种、第四种或第五种可能的实现方式，在第一方面的第六种可能的实现方式中，所述根据判断结果对所述原始三维人脸网格模型进行调整之后，还包括：

根据与所述目标二维人脸图像对应的三维人脸网格模型对所述目标二维人脸图像进行变形，并根据与所述参考二维人脸图像对应的三维人脸网格模型对所述参考二维人脸图像进行变形；

将变形后的目标二维人脸图像和参考二维人脸图像进行合并，以将所述参考二维人脸图像上的表情转移到所述目标二维人脸图像上。

本发明第二方面提供了一种三维人脸网格模型处理设备，包括：

获取模块，用于获取与原始二维人脸图像对应的原始三维人脸网格模型，所述原始三维人脸网格模型中包括与所述原始二维人脸图像的第一表情特征点对应的第二表情特征点；

计算模块，根据公式（1）计算所述原始三维人脸网格模型的相机参数矩阵：

$\min \underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\left|\right|P\·X_i-x_i\left|\right|}^2---\left(1\right)$

其中，P为所述相机参数矩阵，X_i为所述原始三维人脸网格模型上的第i个第二表情特征点，x_i为与所述第二表情特征点X_i对应的所述原始二维人脸图像上的第i个第一表情特征点，N为第一表情特征点和第二表情特征点的个数；

判断模块，用于根据计算得到的所述相机参数矩阵将所述原始三维人脸网格模型上的第二表情特征点映射到所述原始二维人脸图像上，以判断所述第二表情特征点与所述第一表情特征点的匹配程度，并根据判断结果对所述原始三维人脸网格模型进行调整。

在第二方面的第一种可能的实现方式中，所述判断模块，包括：

计算单元，用于根据公式（2）计算所述第二表情特征点与所述第一表情特征点的匹配误差：

$\mathrm{Err}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i{\left|\right|P\·X_i-x_i\left|\right|}^2---\left(2\right)$

其中，Err为所述匹配误差，w_i为第i对特征点X_i和x_i的权重系数；

判断单元，用于判断所述匹配误差是否大于等于预设阈值；

调整单元，用于若大于等于，则对所述原始三维人脸网格模型进行调整，以使调整后的三维人脸网格模型上的第二表情特征点与所述第一表情特征点的匹配误差小于所述预设阈值。

根据第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式中，所述调整单元，包括：

计算子单元，用于计算第二表情特征点X_i到所述原始三维人脸网格模型上各网格顶点X_j的测地线距离，其中，i不等于j；

第一调整子单元，用于固定所述原始三维人脸网格模型上的第二表情特征点X_i的z坐标，采用第一预设算法改变所述第二表情特征点X_i的x，y坐标，得到与所述第二表情特征点X_i对应的第三表情特征点X_i’；

确定子单元，用于以所述测地线距离为约束，采用第二预设算法确定与所述第三表情特征点X_i’对应的各网格顶点X_j’；

第二调整子单元，用于根据所述第三表情特征点X_i’和与所述第三表情特征点X_i’对应的各网格顶点X_j’调整所述原始三维人脸网格模型。

根据第二方面、第二方面的第一种或第二种可能的实现方式，在第二方面的第三种可能的实现方式中，所述原始二维人脸图像包括目标二维人脸图像和参考二维人脸图像；

所述获取模块，包括：

提取单元，用于提取所述目标二维人脸图像的人脸表情特征点和所述参考二维人脸图像的人脸表情特征点，所述人脸表情特征点包括脸部轮廓特征点和第一表情特征点；

第一确定单元，用于根据所述目标二维人脸图像的脸部轮廓特征点和所述参考二维人脸图像的脸部轮廓特征点确定近正面人脸图像，所述近正面人脸图像为所述目标二维人脸图像或所述参考二维人脸图像；

第一变形单元，用于根据所述近正面人脸图像的脸部轮廓特征点和第一表情特征点，对从中性人脸库中确定的目标中性人脸模型进行变形，得到与所述正面人脸图像对应的中性人脸模型；

第二变形单元，用于根据所述近正面人脸图像的中性人脸模型分别对预设表情库中包含的各预设表情模型进行变形，得到与所述正面人脸图像对应的各表情模型；

第二确定单元，用于根据所述目标二维人脸图像的第一表情特征点确定所述各表情模型的第一权重系数，并根据所述参考二维人脸图像的第一表情特征点确定所述各表情模型的第二权重系数；

合并单元，用于根据所述第一权重系数合并所述各表情模型，以得到与所述目标二维人脸图像对应的三维人脸网格模型，并根据所述第二权重系数合并所述各表情模型，以得到与所述参考二维人脸图像对应的三维人脸网格模型。

根据第二方面的第三种可能的实现方式，在第二方面的第四种可能的实现方式中，所述预设表情库包括通用blendshape模型。

根据第二方面的第三种或第四种可能的实现方式，在第二方面的第五种可能的实现方式中，所述第一确定单元，具体用于：

根据所述目标二维人脸图像的脸部轮廓特征点计算所述目标二维人脸图像的脸部轮廓曲率，以及根据所述参考二维人脸图像的脸部轮廓特征点计算所述参考二维人脸图像的脸部轮廓曲率；

确定所述脸部轮廓曲率小的图像为近正面人脸图像。

根据第二方面的第三种、第四种或第五种可能的实现方式，在第二方面的第六种可能的实现方式中，所述设备还包括：

变形模块，用于根据与所述目标二维人脸图像对应的三维人脸网格模型对所述目标二维人脸图像进行变形，并根据与所述参考二维人脸图像对应的三维人脸网格模型对所述参考二维人脸图像进行变形；

合并模块，用于将变形后的目标二维人脸图像和参考二维人脸图像进行合并，以将所述参考二维人脸图像上的表情转移到所述目标二维人脸图像上。

本发明提供的三维人脸网格模型处理方法和设备，在获取与原始二维人脸图像对应的原始三维人脸网格模型后，根据该原始三维人脸网格模型的相机参数，将所述原始三维人脸网格模型上的第二表情特征点映射到所述原始二维人脸图像上，以判断所述第二表情特征点与所述第一表情特征点的匹配程度，并根据判断结果对所述原始三维人脸网格模型进行调整。根据相机参数对原始三维人脸网格模型与原始二维人脸图像进行匹配度的判断，使得在匹配程度低的情况下调整原始三维人脸网格模型，从而能够保证调整后的三维人脸网格模型与原始二维人脸图像具有更好的匹配程度。

附图说明

图1为本发明实施例一提供的三维人脸网格模型处理方法的流程图；

图2为图1所示实施例的步骤103的处理过程的流程图；

图3为本发明实施例二提供的三维人脸网格模型处理方法的流程图；

图4为本发明实施例三提供的三维人脸网格模型处理设备的结构示意图；

图5为本发明实施例四提供的三维人脸网格模型处理设备的结构示意图；

图6为本发明实施例五提供的处理设备的结构示意图。

具体实施方式

图1为本发明实施例一提供的三维人脸网格模型处理方法的流程图，如图1所示，该方法包括：

步骤101、获取与原始二维人脸图像对应的原始三维人脸网格模型，所述原始三维人脸网格模型中包括与所述原始二维人脸图像的第一表情特征点对应的第二表情特征点；

本实施例中，由一处理装置来执行上述三维人脸网格模型处理方法，该处理装置优选地集成设置于诸如PC机、笔记本电脑等终端设备中，可以用于对输入的两幅图像进行人脸表情转移的处理。本实施例提供的所述方法适用于对采用现有技术的方式获得的三维人脸网格模型进行调整，或者，也适用于对采用如图3所示的实施例提供的方法获得的三维人脸网格模型的进行调整，不以本实施例为限。

为描述简单起见，本实施例中将不论采用上述何种方法获得的三维人脸网格模型统称为原始三维人脸网格模型进行说明。该原始三维人脸网格模型对应着一个原始的二维人脸图像。本实施例提供的所述方法优选地适用于人脸表情转移的应用场景中，在人脸表情转移的处理过程中，是需要将参考二维人脸图像上的人脸表情转移到目标二维人脸图像上。若想进行人脸表情转移，首先要分别实现目标二维人脸图像和参考二维人脸图像的三维人脸网格模型的重建。因此，本实施例中所述的原始二维人脸图像例如可以是参考二维人脸图像或者是目标二维人脸图像，相应的，原始三维人脸网格模型例如可以是与参考二维人脸图像对应的三维人脸网格模型或者是与目标二维人脸图像对应的三维人脸网格模型，由于本实施例提供的所述方法对于这两种三维人脸网格模型都适用，以下不区分说明。

处理装置首先获取与原始二维人脸图像对应的原始三维人脸网格模型，所述原始三维人脸网格模型中包括与所述原始二维人脸图像的第一表情特征点对应的第二表情特征点。本实施例中例如以现有技术中获得的三维人脸网格模型作为所述原始三维人脸网格模型，输入该处理装置，以使该处理装置根据该始三维人脸网格模型中包括的第二表情特征点进行后续的调整处理。

其中，原始二维人脸图像的第一表情特征点主要是指人脸在表现不同表情时会引起不同的五官变化，这些五官的运动形态即构成该人脸表情的第一表情特征点，比如鼻子、嘴巴、眉毛、眼睛等的形态。而与该第一表情特征点对应的第二表情特征点可以是人工或自动标记在原始三维人脸网格模型上的。

步骤102、根据公式（1）计算所述原始三维人脸网格模型的相机参数矩阵：

$\min \underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\left|\right|P\·X_i-x_i\left|\right|}^2---\left(1\right)$

其中，P为所述相机参数矩阵，X_i为所述原始三维人脸网格模型上的第i个第二表情特征点，x_i为与所述第二表情特征点X_i对应的所述原始二维人脸图像上的第i个第一表情特征点，N为第一表情特征点和第二表情特征点的个数；

步骤103、根据计算得到的所述相机参数矩阵将所述原始三维人脸网格模型上的第二表情特征点映射到所述原始二维人脸图像上，以判断所述第二表情特征点与所述第一表情特征点的匹配程度，并根据判断结果对所述原始三维人脸网格模型进行调整。

本实施例中，为了对原始三维人脸网格模型是否与其对应的原始二维人脸图像是否匹配进行判断，首先需要将原始三维人脸网格模型上的第二表情特征点映射到对应的原始二维人脸图像上，进而判断该第二表情特征点与对应的原始二维人脸图像上的第一表情特征点间的匹配误差，之后根据判断结果对所述原始三维人脸网格模型进行调整。

而在将原始三维人脸网格模型上的第二表情特征点映射到对应的原始二维人脸图像上时，需要用到一个参数，即相机参数，该参数一般以一个参数矩阵的形式表示。具体地，可以通过求解公式（1）来得到相机参数矩阵，公式（1）意味着该相机参数矩阵需尽量满足第二表情特征点与第一表情特征点的距离最小。在得到该相机参数矩阵之后，利用该矩阵将原始三维人脸网格模型上的第二表情特征点映射到对应的二维人脸图像上，以判断所述第二表情特征点与所述第一表情特征点的匹配程度，并根据判断结果对所述原始三维人脸网格模型进行调整。

本实施例中，根据相机参数对原始三维人脸网格模型与原始二维人脸图像进行匹配度的判断，使得在匹配程度低的情况下调整原始三维人脸网格模型，从而能够保证调整后的三维人脸网格模型与原始二维人脸图像具有更好的匹配程度。

进一步地，图2为图1所示实施例的步骤103的处理过程的流程图，如图2所示，图1中步骤103中根据计算得到的所述相机参数矩阵将所述原始三维人脸网格模型上的第二表情特征点映射到所述原始二维人脸图像上，以判断所述第二表情特征点与所述第一表情特征点的匹配程度，并根据判断结果对所述原始三维人脸网格模型进行调整，包括：

步骤201、根据公式（2）计算所述第二表情特征点与所述第一表情特征点的匹配误差：

$\mathrm{Err}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i{\left|\right|P\·X_i-x_i\left|\right|}^2---\left(2\right)$

其中，Err为所述匹配误差，w_i为第i对特征点X_i和x_i的权重系数；

步骤202、判断所述匹配误差是否大于等于预设阈值，若大于等于，则执行步骤203，否则结束；

在得到原始三维人脸网格模型的相机参数之后，根据计算得到的所述相机参数矩阵将所述原始三维人脸网格模型上的第二表情特征点映射到所述原始二维人脸图像上，以根据公式（2）来判断原始三维人脸网格模型上的第二表情特征点与原始二维人脸图像上的第一表情特征点的匹配误差。公式（2）中，由于每对表情特征点的深度、像素灰度各有不同，因此，每对表情特征点具有不同的权重系数。

进而，判断所述匹配误差是否大于等于预设阈值，若大于等于，则需根据步骤203～206对该原始三维人脸网格模型进行调整，否则无需进行调整。

步骤203、计算第二表情特征点X_i到所述原始三维人脸网格模型上各网格顶点X_j的测地线距离，其中，i不等于j；

步骤204、固定所述原始三维人脸网格模型上的第二表情特征点X_i的z坐标，采用第一预设算法改变所述第二表情特征点X_i的x，y坐标，得到与所述第二表情特征点X_i对应的第三表情特征点X_i’；

步骤205、以所述测地线距离为约束，采用第二预设算法确定与所述第三表情特征点X_i’对应的各网格顶点X_j’；

步骤206、根据所述第三表情特征点X_i’和与所述第三表情特征点X_i’对应的各网格顶点X_j’调整所述原始三维人脸网格模型。

在判断出匹配误差大于等于预设阈值时，需对原始三维人脸网格模型进行调整。具体地，首先计算该原始三维人脸网格模型上各第二表情特征点到该原始三维人脸网格模型上除对应的当前第二表情特征点之外的其他网格顶点的测地线距离。由于原始三维人脸网格模型是一个三维的网格模型，是由一个个网格构成的，该测地线距离可以理解成是当前第二表情特征点沿不同网格线到达某个网格顶点时最短网格线的长度，即路径距离。

之后，固定原始三维人脸网格模型上的第二表情特征点X_i的z坐标，采用第一预设算法改变所述第二表情特征点X_i的x，y坐标，得到与该第二表情特征点X_i对应的第三表情特征点X_i’，其中，该第一预设算法例如为Nelder-Mead单纯形算法。

进而，以该测地线距离为约束，采用第二预设算法确定与所述第三表情特征点Xi’对应的各网格顶点X_j’，并根据所述第三表情特征点X_i’和与所述第三表情特征点X_i’对应的各网格顶点X_j’调整所述原始三维人脸网格模型。其中，该第二预设算法例如为径向基函数、拉普拉斯网格变形算法等。

可以理解的是，之所以以测地线距离为约束，是因为要尽量保持第二表情特征点周围的其他非特征点的网格顶点，在第二表情特征点变更为第三表情特征点之后，仍在变更后根据测地线距离，保持与第三表情特征点的相关位置关系。

本实施例中，在原始三维人脸网格模型与对应的二维人脸图像的匹配程度较低时，以上述测地线距离为约束来调整原始三维人脸网格模型，在对表情特征点进行调整的同时，有利于保证其他非表情特征点在调整前后保持与相应表情特征点的相对位置关系，使得调整后的三维人脸网格模型与对应的二维人脸图像具有更好的匹配程度。

图3为本发明实施例二提供的三维人脸网格模型处理方法的流程图，如图3所示，该处理方法为对现有技术中获得原始三维人脸网格模型的过程的改进，现有技术中基于人脸表情数据库来建立与源始二维人脸图像相匹配的三维人脸网格模型的方案中，由于该人脸表情数据库中的各人脸表情模型是根据不同个体的年龄、性别、脸型、情绪、表情等统计建立的，具有明显的个人差异，如果原始的二维人脸图像中的表情超出了该人脸表情数据库的范围，将无法通过人脸表情数据库获得与之匹配的三维人脸网格模型。为此，本实施例提供的所述方法用于建立与原始二维人脸图像对应的三维人脸网格模型。其中，上述图1或图2所示实施例中所述的原始二维人脸图像在本实施例中具体包括目标二维人脸图像和参考二维人脸图像，在人脸表情转移的应用场景中，是需要将参考二维人脸图像中的人脸表情转移到目标二维人脸图像中。

本实施例提供的所述方法包括：

步骤301、提取所述目标二维人脸图像的人脸表情特征点和所述参考二维人脸图像的人脸表情特征点，所述人脸表情特征点包括脸部轮廓特征点和所述第一表情特征点；

步骤302、根据所述目标二维人脸图像的脸部轮廓特征点和所述参考二维人脸图像的脸部轮廓特征点确定近正面人脸图像，所述近正面人脸图像为所述目标二维人脸图像或所述参考二维人脸图像；

步骤303、根据所述近正面人脸图像的脸部轮廓特征点和第一表情特征点，对从中性人脸库中确定的目标中性人脸模型进行变形，得到与所述正面人脸图像对应的中性人脸模型；

步骤304、根据所述近正面人脸图像的中性人脸模型分别对预设表情库中包含的各预设表情模型进行变形，得到与所述正面人脸图像对应的各表情模型；

步骤305、根据所述目标二维人脸图像的第一表情特征点确定所述各表情模型的第一权重系数，并根据所述参考二维人脸图像的第一表情特征点确定所述各表情模型的第二权重系数；

步骤306、根据所述第一权重系数合并所述各表情模型，以得到与所述目标二维人脸图像对应的三维人脸网格模型，并根据所述第二权重系数合并所述各表情模型，以得到与所述参考二维人脸图像对应的三维人脸网格模型。

该方法仍可以由上述处理装置来执行，此时该处理装置输入的两幅图像分别称为目标二维人脸图像和参考二维人脸图像，在人脸表情转移的处理过程中，是需要将参考二维人脸图像上的人脸表情转移到目标二维人脸图像上。

首先分别提取目标二维人脸图像和参考二维人脸图像的人脸表情特征点。在提取人脸表情特征点的时候可以采用比如主动形状模型（Active ShapeModel，以下简称ASM）等成熟算法来精确地检测出人脸表情特征点，该人脸表情特征点包括脸部轮廓特征点和第一表情特征点，其中，脸部轮廓特征点指的是能够清晰辨识出人脸轮廓的一些特征点，第一表情特征点主要是指人脸在表现不同表情时会引起不同的五官变化，这些五官的运动形态即构成该人脸表情的第一表情特征点，比如鼻子、嘴巴、眉毛、眼睛等的形态。

本实施例中，由于脸部轮廓特征点能够体现出对应的图像上人脸的朝向，因此，可以分别根据目标二维人脸图像的人脸表情特征点中的脸部轮廓特征点和参考二维人脸图像的人脸表情特征点中的脸部轮廓特征点，在这两个图像中选择一个作为近正面人脸图像。本实施例中具体是根据目标二维人脸图像的脸部轮廓特征点计算目标二维人脸图像的脸部轮廓曲率，以及根据参考二维人脸图像的脸部轮廓特征点计算参考二维人脸图像的脸部轮廓曲率，之后选择脸部轮廓曲率小的图像为正面人脸图像。脸部轮廓曲率小意味着脸部朝向更面向正面。

进而，根据该近正面人脸图像的脸部轮廓特征点和第一表情特征点，对从中性人脸库中确定的目标中性人脸模型进行变形，得到该近正面人脸图像的中性人脸模型。举例来说，比如选择确定以参考二维人脸图像作为近正面人脸图像，那么将对从中性人脸库中确定的目标中性人脸模型按照该参考二维人脸图像的脸部轮廓特征点和第一表情特征点进行比如缩放、旋转等变形，以得到与该参考二维人脸图像对应的中性人脸模型。其中，中性人脸库中包含有多个摒除性别、年龄、种族等个体差异的三维中性人脸模型，从中性人脸库中确定的目标中性人脸模型既可以是随机地选择的一个三维中性人脸模型，也可以是对中性人脸库中包含的全部或部分三维中性人脸模型的加权融合后的三维中性人脸模型。

本实施例中，获得的近正面人脸图像的中性人脸模型具有与该近正面人脸图像基本一致的脸部轮廓，只是在该中性人脸模型上没有详细的表情特征。因此，本实施中以该中性人脸模型为中介，进而进行后续表情模型的处理。

进而，根据所述近正面人脸图像的中性人脸模型分别对预设表情库中包含的各预设表情模型进行变形，得到与所述正面人脸图像对应的各表情模型。具体地，该预设表情库优选地为通用blendshape模型，其中包含有多种不同的表情模型，本实施例中，采用通用blendshape模型来为上述中性人脸模型添加表情特征。需根据近正面人脸图像的中性人脸模型对该多种表情模型进行变形，以得到与该近正面人脸图像对应的各blendshape表情模型。各个blendshape表情模型中既包含了其自身的表情特征，又包含了正面人脸图像的脸部轮廓特征。

进而，需要根据目标二维人脸图像的第一表情特征点来确定与该目标二维人脸图像对应的各blendshape表情模型的第一权重系数，以及根据参考二维人脸图像的第一表情特征点来确定与该参考二维人脸图像对应的各blendshape表情模型的第二权重系数，也就是说，由于各个blendshape表情模型上的表情特征各不相同，需要分别针对目标二维人脸图像和参考二维人脸图像，来确定各blendshape表情模型所占的比重，进而根据所述第一权重系数合并所述各blendshape表情模型，以得到与所述目标二维人脸图像对应的三维人脸网格模型，并根据所述第二权重系数合并所述各blendshape表情模型，以得到与所述参考二维人脸图像对应的三维人脸网格模型。所谓合并，即按照各自的权重系数将各blendshape表情模型叠加到一起，即是将各blendshape表情模型中与每个第一表情特征点对应的器官按照对应的blendshape表情模型的权重系数进行叠加。

以确定第一权重系数为例说明如何确定权重系数，针对目标二维人脸图像中的某个第一表情特征点而言，依次遍历各blendshape表情模型与该第一表情特征点对应的器官的特征点，该特征点可以为人工手动标记，也可初始划定，比如眉毛，进而根据该器官的特征点与该第一表情特征点的相近程度来确定该blendshape表情模型的权重系数。

在执行完步骤306获得与目标二维人脸图像对应的三维人脸网格模型，以及与参考二维人脸图像对应的三维人脸网格模型之后，可选的，还可以执行如图1或图2所示的方法，对获得的三维人脸网格模型进行调整。

可选的，在执行完步骤306，或者根据如图1或图2所示的方法，对获得的三维人脸网格模型进行调整之后，还可以执行如下步骤以实现人脸表情转移的目的。

步骤307、根据与所述目标二维人脸图像对应的三维人脸网格模型对所述目标二维人脸图像进行变形，并根据与所述参考二维人脸图像对应的三维人脸网格模型对所述参考二维人脸图像进行变形；

步骤308、将变形后的目标二维人脸图像和参考二维人脸图像进行合并，以将所述参考二维人脸图像上的表情转移到所述目标二维人脸图像上。

本实施例中，分别提取目标二维人脸图像和参考二维人脸图像的人脸表情特征点，并根据该人脸表情特征点中的脸部轮廓特征点从目标二维人脸图像和参考二维人脸图像中选择一个作为近正面人脸图像，进而根据该近正面人脸图像对从中性人脸库中确定的目标中性人脸模型进行变形，得到中性人脸模型，该中性人脸库中不依赖于具体的个体特征；之后根据该中性人脸模型分别对通用blendshape模型中包含的各blendshape表情模型进行变形，进而分别根据目标二维人脸图像和参考二维人脸图像的各第一表情特征点分别确定各blendshape表情模型的第一权重系数和第二权重系数，以根据不同的权重系数对各blendshape表情模型进行融合，最终得到分别与目标二维人脸图像和参考二维人脸图像对应的三维人脸网格模型。由于中性人脸库和通用blendshape模型都摒除了人的个体差异，克服现有技术中基于人脸表情数据库建立三维人脸网格模型容易失败的缺陷。

图4为本发明实施例三提供的三维人脸网格模型处理设备的结构示意图，如图4所示，该处理设备包括：

获取模块11，用于获取与原始二维人脸图像对应的原始三维人脸网格模型，所述原始三维人脸网格模型中包括与所述原始二维人脸图像的第一表情特征点对应的第二表情特征点；

计算模块12，根据公式（1）计算所述原始三维人脸网格模型的相机参数矩阵：

$\min \underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\left|\right|P\·X_i-x_i\left|\right|}^2---\left(1\right)$

其中，P为所述相机参数矩阵，X_i为所述原始三维人脸网格模型上的第i个第二表情特征点，x_i为与所述第二表情特征点X_i对应的所述原始二维人脸图像上的第i个第一表情特征点，N为第一表情特征点和第二表情特征点的个数；

判断模块13，用于根据计算得到的所述相机参数矩阵将所述原始三维人脸网格模型上的第二表情特征点映射到所述原始二维人脸图像上，以判断所述第二表情特征点与所述第一表情特征点的匹配程度，并根据判断结果对所述原始三维人脸网格模型进行调整。

本实施例的处理设备可以用于执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图5为本发明实施例四提供的三维人脸网格模型处理设备的结构示意图，如图5所示，该处理设备在图4所示实施例的基础上，所述判断模块13，包括：

计算单元131，用于根据公式（2）计算所述第二表情特征点与所述第一表情特征点的匹配误差：

$\mathrm{Err}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i{\left|\right|P\·X_i-x_i\left|\right|}^2---\left(2\right)$

其中，Err为所述匹配误差，w_i为第i对特征点X_i和x_i的权重系数；

判断单元132，用于判断所述匹配误差是否大于等于预设阈值；

调整单元133，用于若大于等于，则对所述原始三维人脸网格模型进行调整，以使调整后的三维人脸网格模型上的第二表情特征点与所述第一表情特征点的匹配误差小于所述预设阈值。

进一步地，所述调整单元133，包括：

计算子单元1331，用于计算第二表情特征点X_i到所述原始三维人脸网格模型上各网格顶点X_j的测地线距离，其中，i不等于j；

第一调整子单元1332，用于固定所述原始三维人脸网格模型上的第二表情特征点X_i的z坐标，采用第一预设算法改变所述第二表情特征点X_i的x，_y坐标，得到与所述第二表情特征点X_i对应的第三表情特征点X_i’；

确定子单元1333，用于以所述测地线距离为约束，采用第二预设算法确定与所述第三表情特征点X_i’对应的各网格顶点X_j’；

第二调整子单元1334，用于根据所述第三表情特征点X_i’和与所述第三表情特征点X_i’对应的各网格顶点X_j’调整所述原始三维人脸网格模型。

进一步地，所述原始二维人脸图像包括目标二维人脸图像和参考二维人脸图像；

所述获取模块11，包括：

提取单元111，用于提取所述目标二维人脸图像的人脸表情特征点和所述参考二维人脸图像的人脸表情特征点，所述人脸表情特征点包括脸部轮廓特征点和所述第一表情特征点；

第一确定单元112，用于根据所述目标二维人脸图像的脸部轮廓特征点和所述参考二维人脸图像的脸部轮廓特征点确定近正面人脸图像，所述近正面人脸图像为所述目标二维人脸图像或所述参考二维人脸图像；

第一变形单元113，用于根据所述近正面人脸图像的脸部轮廓特征点和第一表情特征点，对从中性人脸库中确定的目标中性人脸模型进行变形，得到与所述正面人脸图像对应的中性人脸模型；

第二变形单元114，用于根据所述近正面人脸图像的中性人脸模型分别对预设表情库中包含的各预设表情模型进行变形，得到与所述正面人脸图像对应的各表情模型；

第二确定单元115，用于根据所述目标二维人脸图像的第一表情特征点确定所述各表情模型的第一权重系数，并根据所述参考二维人脸图像的第一表情特征点确定所述各表情模型的第二权重系数；

合并单元116，用于根据所述第一权重系数合并所述各表情模型，以得到与所述目标二维人脸图像对应的三维人脸网格模型，并根据所述第二权重系数合并所述各表情模型，以得到与所述参考二维人脸图像对应的三维人脸网格模型。

具体地，所述预设表情库包括通用blendshape模型。

进一步地，所述第一确定单元112，具体用于：

根据所述目标二维人脸图像的脸部轮廓特征点计算所述目标二维人脸图像的脸部轮廓曲率，以及根据所述参考二维人脸图像的脸部轮廓特征点计算所述参考二维人脸图像的脸部轮廓曲率；

确定所述脸部轮廓曲率小的图像为近正面人脸图像。

进一步地，所述处理设备还包括：

变形模块21，用于根据与所述目标二维人脸图像对应的三维人脸网格模型对所述目标二维人脸图像进行变形，并根据与所述参考二维人脸图像对应的三维人脸网格模型对所述参考二维人脸图像进行变形；

合并模块22，用于将变形后的目标二维人脸图像和参考二维人脸图像进行合并，以将所述参考二维人脸图像上的表情转移到所述目标二维人脸图像上。

本实施例的处理设备可以用于执行图2或图3所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图6为本发明实施例五提供的处理设备的结构示意图，如图6所示，该处理设备包括：

存储器31以及与所述存储器31连接的处理器32，其中，所述存储器31用于存储一组程序代码，所述处理器32用于调用所述存储器31中存储的程序代码，以执行如图1所示三维人脸网格模型处理方法中的：获取与原始二维人脸图像对应的原始三维人脸网格模型，所述原始三维人脸网格模型中包括与所述原始二维人脸图像的第一表情特征点对应的第二表情特征点；根据公式（1）计算所述原始三维人脸网格模型的相机参数矩阵：

$\min \underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\left|\right|P\·X_i-x_i\left|\right|}^2---\left(1\right)$

其中，P为所述相机参数矩阵，X_i为所述原始三维人脸网格模型上的第i个第二表情特征点，x_i为与所述第二表情特征点X_i对应的所述原始二维人脸图像上的第i个第一表情特征点，N为第一表情特征点和第二表情特征点的个数；根据计算得到的所述相机参数矩阵将所述原始三维人脸网格模型上的第二表情特征点映射到所述原始二维人脸图像上，以判断所述第二表情特征点与所述第一表情特征点的匹配程度，并根据判断结果对所述原始三维人脸网格模型进行调整。

进一步地，所述处理器32还用于根据公式（2）计算所述第二表情特征点与所述第一表情特征点的匹配误差：

$\mathrm{Err}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i{\left|\right|P\·X_i-x_i\left|\right|}^2---\left(2\right)$

其中，Err为所述匹配误差，w_i为第i对特征点X_i和x_i的权重系数；

判断所述匹配误差是否大于等于预设阈值；若大于等于，则对所述原始三维人脸网格模型进行调整，以使调整后的三维人脸网格模型上的第二表情特征点与所述第一表情特征点的匹配误差小于所述预设阈值。

进一步地，所述处理器32还用于计算第二表情特征点X_i到所述原始三维人脸网格模型上各网格顶点X_j的测地线距离，其中，i不等于j；固定所述原始三维人脸网格模型上的第二表情特征点X_i的z坐标，采用第一预设算法改变所述第二表情特征点X_i的x，y坐标，得到与所述第二表情特征点X_i对应的第三表情特征点X_i’；以所述测地线距离为约束，采用第二预设算法确定与所述第三表情特征点X_i’对应的各网格顶点X_j’；根据所述第三表情特征点X_i’和与所述第三表情特征点X_i’对应的各网格顶点X_j’调整所述原始三维人脸网格模型。

进一步地，所述原始二维人脸图像包括目标二维人脸图像和参考二维人脸图像，所述处理器32还用于提取所述目标二维人脸图像的人脸表情特征点和所述参考二维人脸图像的人脸表情特征点，所述人脸表情特征点包括脸部轮廓特征点和所述第一表情特征点；根据所述目标二维人脸图像的脸部轮廓特征点和所述参考二维人脸图像的脸部轮廓特征点确定近正面人脸图像，所述近正面人脸图像为所述目标二维人脸图像或所述参考二维人脸图像；根据所述近正面人脸图像的脸部轮廓特征点和第一表情特征点，对从中性人脸库中确定的目标中性人脸模型进行变形，得到与所述正面人脸图像对应的中性人脸模型；根据所述近正面人脸图像的中性人脸模型分别对预设表情库中包含的各预设表情模型进行变形，得到与所述正面人脸图像对应的各表情模型；根据所述目标二维人脸图像的第一表情特征点确定所述各表情模型的第一权重系数，并根据所述参考二维人脸图像的第一表情特征点确定所述各表情模型的第二权重系数；根据所述第一权重系数合并所述各表情模型，以得到与所述目标二维人脸图像对应的三维人脸网格模型，并根据所述第二权重系数合并所述各表情模型，以得到与所述参考二维人脸图像对应的三维人脸网格模型。

进一步地，所述处理器32还用于根据所述目标二维人脸图像的脸部轮廓特征点计算所述目标二维人脸图像的脸部轮廓曲率，以及根据所述参考二维人脸图像的脸部轮廓特征点计算所述参考二维人脸图像的脸部轮廓曲率；确定所述脸部轮廓曲率小的图像为近正面人脸图像。

进一步地，所述处理器32还用于根据与所述目标二维人脸图像对应的三维人脸网格模型对所述目标二维人脸图像进行变形，并根据与所述参考二维人脸图像对应的三维人脸网格模型对所述参考二维人脸图像进行变形；将变形后的目标二维人脸图像和参考二维人脸图像进行合并，以将所述参考二维人脸图像上的表情转移到所述目标二维人脸图像上。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (14)

1.一种三维人脸网格模型处理方法，其特征在于，包括：

获取与原始二维人脸图像对应的原始三维人脸网格模型，所述原始三维人脸网格模型中包括与所述原始二维人脸图像的第一表情特征点对应的第二表情特征点；

根据公式（1）计算所述原始三维人脸网格模型的相机参数矩阵：

$\min \underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\left|\right|P\·X_i-x_i\left|\right|}^2---\left(1\right)$

其中，P为所述相机参数矩阵，X_i为所述原始三维人脸网格模型上的第i个第二表情特征点，x_i为与所述第二表情特征点X_i对应的所述原始二维人脸图像上的第i个第一表情特征点，N为第一表情特征点和第二表情特征点的个数；

根据计算得到的所述相机参数矩阵将所述原始三维人脸网格模型上的第二表情特征点映射到所述原始二维人脸图像上，以判断所述第二表情特征点与所述第一表情特征点的匹配程度，并根据判断结果对所述原始三维人脸网格模型进行调整。

2.根据权利要求1所述的方法，其特征在于，所述根据计算得到的所述相机参数矩阵将所述原始三维人脸网格模型上的第二表情特征点映射到所述原始二维人脸图像上，以判断所述第二表情特征点与所述第一表情特征点的匹配程度，并根据判断结果对所述待处理模型进行调整，包括：

根据公式（2）计算所述第二表情特征点与所述第一表情特征点的匹配误差：

$\mathrm{Err}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i{\left|\right|P\·X_i-x_i\left|\right|}^2---\left(2\right)$

其中，Err为所述匹配误差，w_i为第i对特征点X_i和x_i的权重系数；

判断所述匹配误差是否大于等于预设阈值；

若大于等于，则对所述原始三维人脸网格模型进行调整，以使调整后的三维人脸网格模型上的第二表情特征点与所述第一表情特征点的匹配误差小于所述预设阈值。

3.根据权利要求2所述的方法，其特征在于，所述对所述原始三维人脸网格模型进行调整，包括：

计算第二表情特征点X_i到所述原始三维人脸网格模型上各网格顶点X_j的测地线距离，其中，i不等于j；

固定所述原始三维人脸网格模型上的第二表情特征点X_i的z坐标，采用第一预设算法改变所述第二表情特征点X_i的x，y坐标，得到与所述第二表情特征点X_i对应的第三表情特征点X_i’；

以所述测地线距离为约束，采用第二预设算法确定与所述第三表情特征点X_i’对应的各网格顶点X_j’；

根据所述第三表情特征点X_i’和与所述第三表情特征点X_i’对应的各网格顶点X_j’调整所述原始三维人脸网格模型。

4.根据权利要求1～3中任一项所述的方法，其特征在于，所述原始二维人脸图像包括目标二维人脸图像和参考二维人脸图像；

所述获取与原始二维人脸图像对应的原始三维人脸网格模型，包括：

提取所述目标二维人脸图像的人脸表情特征点和所述参考二维人脸图像的人脸表情特征点，所述人脸表情特征点包括脸部轮廓特征点和所述第一表情特征点；

根据所述目标二维人脸图像的脸部轮廓特征点和所述参考二维人脸图像的脸部轮廓特征点确定近正面人脸图像，所述近正面人脸图像为所述目标二维人脸图像或所述参考二维人脸图像；

根据所述近正面人脸图像的脸部轮廓特征点和第一表情特征点，对从中性人脸库中确定的目标中性人脸模型进行变形，得到与所述正面人脸图像对应的中性人脸模型；

根据所述近正面人脸图像的中性人脸模型分别对预设表情库中包含的各预设表情模型进行变形，得到与所述正面人脸图像对应的各表情模型；

根据所述目标二维人脸图像的第一表情特征点确定所述各表情模型的第一权重系数，并根据所述参考二维人脸图像的第一表情特征点确定所述各表情模型的第二权重系数；

根据所述第一权重系数合并所述各表情模型，以得到与所述目标二维人脸图像对应的三维人脸网格模型，并根据所述第二权重系数合并所述各表情模型，以得到与所述参考二维人脸图像对应的三维人脸网格模型。

5.根据权利要求4所述的方法，其特征在于，所述预设表情库包括通用blendshape模型。

6.根据权利要求4或5所述的方法，其特征在于，所述根据所述目标二维人脸图像的脸部轮廓特征点和所述参考二维人脸图像的脸部轮廓特征点确定近正面人脸图像，包括：

根据所述目标二维人脸图像的脸部轮廓特征点计算所述目标二维人脸图像的脸部轮廓曲率，以及根据所述参考二维人脸图像的脸部轮廓特征点计算所述参考二维人脸图像的脸部轮廓曲率；

确定所述脸部轮廓曲率小的图像为近正面人脸图像。

7.根据权利要求4～6中任一项所述的方法，其特征在于，所述根据判断结果对所述原始三维人脸网格模型进行调整之后，还包括：

根据与所述目标二维人脸图像对应的三维人脸网格模型对所述目标二维人脸图像进行变形，并根据与所述参考二维人脸图像对应的三维人脸网格模型对所述参考二维人脸图像进行变形；

将变形后的目标二维人脸图像和参考二维人脸图像进行合并，以将所述参考二维人脸图像上的表情转移到所述目标二维人脸图像上。

8.一种三维人脸网格模型处理设备，其特征在于，包括：

获取模块，用于获取与原始二维人脸图像对应的原始三维人脸网格模型，所述原始三维人脸网格模型中包括与所述原始二维人脸图像的第一表情特征点对应的第二表情特征点；

计算模块，根据公式（1）计算所述原始三维人脸网格模型的相机参数矩阵：

$\min \underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\left|\right|P\·X_i-x_i\left|\right|}^2---\left(1\right)$

其中，P为所述相机参数矩阵，X_i为所述原始三维人脸网格模型上的第i个第二表情特征点，x_i为与所述第二表情特征点X_i对应的所述原始二维人脸图像上的第i个第一表情特征点，N为第一表情特征点和第二表情特征点的个数；

判断模块，用于根据计算得到的所述相机参数矩阵将所述原始三维人脸网格模型上的第二表情特征点映射到所述原始二维人脸图像上，以判断所述第二表情特征点与所述第一表情特征点的匹配程度，并根据判断结果对所述原始三维人脸网格模型进行调整。

9.根据权利要求8所述的设备，其特征在于，所述判断模块，包括：

计算单元，用于根据公式（2）计算所述第二表情特征点与所述第一表情特征点的匹配误差：

$\mathrm{Err}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i{\left|\right|P\·X_i-x_i\left|\right|}^2---\left(2\right)$

其中，Err为所述匹配误差，w_i为第i对特征点X_i和x_i的权重系数；

判断单元，用于判断所述匹配误差是否大于等于预设阈值；

调整单元，用于若大于等于，则对所述原始三维人脸网格模型进行调整，以使调整后的三维人脸网格模型上的第二表情特征点与所述第一表情特征点的匹配误差小于所述预设阈值。

10.根据权利要求9所述的设备，其特征在于，所述调整单元，包括：

计算子单元，用于计算第二表情特征点X_i到所述原始三维人脸网格模型上各网格顶点X_j的测地线距离，其中，i不等于j；

第一调整子单元，用于固定所述原始三维人脸网格模型上的第二表情特征点X_i的z坐标，采用第一预设算法改变所述第二表情特征点X_i的x，y坐标，得到与所述第二表情特征点X_i对应的第三表情特征点X_i’；

确定子单元，用于以所述测地线距离为约束，采用第二预设算法确定与所述第三表情特征点X_i’对应的各网格顶点X_j’；

第二调整子单元，用于根据所述第三表情特征点X_i’和与所述第三表情特征点X_i’对应的各网格顶点X_j’调整所述原始三维人脸网格模型。

11.根据权利要求8～10中任一项所述的设备，其特征在于，所述原始二维人脸图像包括目标二维人脸图像和参考二维人脸图像；

所述获取模块，包括：

提取单元，用于提取所述目标二维人脸图像的人脸表情特征点和所述参考二维人脸图像的人脸表情特征点，所述人脸表情特征点包括脸部轮廓特征点和所述第一表情特征点；

第一确定单元，用于根据所述目标二维人脸图像的脸部轮廓特征点和所述参考二维人脸图像的脸部轮廓特征点确定近正面人脸图像，所述近正面人脸图像为所述目标二维人脸图像或所述参考二维人脸图像；

第一变形单元，用于根据所述近正面人脸图像的脸部轮廓特征点和第一表情特征点，对从中性人脸库中确定的目标中性人脸模型进行变形，得到与所述正面人脸图像对应的中性人脸模型；

第二变形单元，用于根据所述近正面人脸图像的中性人脸模型分别对预设表情库中包含的各预设表情模型进行变形，得到与所述正面人脸图像对应的各表情模型；

第二确定单元，用于根据所述目标二维人脸图像的第一表情特征点确定所述各表情模型的第一权重系数，并根据所述参考二维人脸图像的第一表情特征点确定所述各表情模型的第二权重系数；

合并单元，用于根据所述第一权重系数合并所述各表情模型，以得到与所述目标二维人脸图像对应的三维人脸网格模型，并根据所述第二权重系数合并所述各表情模型，以得到与所述参考二维人脸图像对应的三维人脸网格模型。

12.根据权利要求11所述的设备，其特征在于，所述预设表情库包括通用blendshape模型。

13.根据权利要求11或12所述的设备，其特征在于，所述第一确定单元，具体用于：

根据所述目标二维人脸图像的脸部轮廓特征点计算所述目标二维人脸图像的脸部轮廓曲率，以及根据所述参考二维人脸图像的脸部轮廓特征点计算所述参考二维人脸图像的脸部轮廓曲率；

确定所述脸部轮廓曲率小的图像为近正面人脸图像。

14.根据权利要求11～13中任一项所述的设备，其特征在于，还包括：

变形模块，用于根据与所述目标二维人脸图像对应的三维人脸网格模型对所述目标二维人脸图像进行变形，并根据与所述参考二维人脸图像对应的三维人脸网格模型对所述参考二维人脸图像进行变形；

合并模块，用于将变形后的目标二维人脸图像和参考二维人脸图像进行合并，以将所述参考二维人脸图像上的表情转移到所述目标二维人脸图像上。