CN108363973A - 一种无约束的3d表情迁移方法 - Google Patents

Abstract

本发明公开了一种无约束的3D表情迁移方法，使用基于计算机视觉以及概率统计方法进行实现；首先使用adaboost+harr特征检测人脸区域，然后在人脸区域根据受约束的局部模型(Constrained Local Model，CLM)方法提取人脸几何特征，接着使用支持向量回归(Support Vector Regression,SVR)提取人脸表情参数，最后输入表情参数控制3D模型的面部BlendShape，合成表情动画，实现一种无约束的3D表情迁移方法。

Description

一种无约束的3D表情迁移方法

技术领域

本发明属于图像处理技术领域，更为具体地讲，涉及一种无约束的3D表情迁移方法。

背景技术

面部表情在人与人之间交流上有着重要作用，人脸的表情相对于文字语音等媒介，在表达人的情感方面具有更加直观，准确的优势。人的这种情感交互模式现在已经用于如虚拟现实、数字娱乐领域、通信与视频会议、人机交互等场景，相对于传统的语音、控制面板等交互方式，具有表现力强，交互更加自然等优势。表情迁移方法大致包含以下三个方面：人脸表情捕捉，人脸表情参数提取，参数化目标人脸动画合成。

目前人脸表情捕捉技术可分为无标记点的表情捕捉技术与有记点的表情捕捉技术，基于标记点的表情捕捉技术能捕捉精确的表情细节，但往往需要复杂的硬件设备辅助且在捕捉过程中需要对用户脸上使用画笔等对用户的人脸进行标记，具有一定侵入性。无标记的表情捕捉技术对硬件及用户的约束则较少，通过2D人脸图像提取人脸表情信息。

表情特征参数化方法大多数使用机器学习算法，通过大量数据集训练模型，学习捕捉到的表情信息到表情控制参数之间的映射关系，但是该类方法受限于用户的个体差异性，分类器的表现结果相当程度上依赖于训练数据以及对自然状态下的人脸表情检测能力，针对这一问题，有学者通过额外的初始化步骤学习当前用户的表情特征，有效的减弱了个性化差异带来的影响，但是却增大了算法执行复杂度。

动画合成方法根据目标人脸类型可分为2D人脸动画以及3D模型人脸动画，2D人脸动画基于图像，可获得高真实感的2D人脸动画，但在合成的动画中，很难改变人脸的光照条件，人脸的姿态，也很难无缝拼接到3D场景中。3D模型人脸动画中的肌肉模型驱动方式很难通过计算机视觉算法获取控制参数，人工控制以及建立该3D模型的人工消耗都非常高，混合样本的人脸动画方式又需要预置各个基本表情的表情库，该表情库需要满足正交性与全面性，构建该表情库的人工代价很高。

本发明使用无标记的表情捕捉算法，根据人脸表情的普适性特征，辅以全面的训练数据使用机器学习算法实现自动的参数化表情特征提取，最后使用正交化的混合样本合成人脸动画。

发明内容

本发明的目的在于克服现有技术的不足，提供一种无约束的3D表情迁移方法，根据用户人脸图像特征，提取用户表情参数，映射到虚拟3D模型，合成人脸动画，实现无约束的3D表情迁移。

为实现上述发明目的，本发明一种无约束的3D表情迁移方法，其特征在于，包括以下步骤：

(1)、离线训练人脸形状模型并获取模型中的相关参数

(1.1)、从人脸数据库中下载带特征点标注的人脸图像，作为人脸图像集；

(1.2)、构建人脸形状模型：其中，表示平均脸形状，P是人脸形状变化的主成分组成的矩阵，P＝[P₁,P₂...P_k]，B是人脸形状变化的权重向量，B＝[b₁,b₂.,..,b_k]^T；

(1.3)、利用人脸图像集计算人脸形状模型相关参数

设人脸图像集共有M张人脸图，每张人脸图共有N个特征点，第i个特征点的坐标记为(x_i,yi)，i＝1,2,…,N；

第j张人脸图组成的特征点向量用x^(j)＝[x₁ y₁ x₂ y₂...x_N y_N]^T表示，则平均脸形状为：

将每张人脸图组成的特征点向量都减去平均脸形状，得到均值为0的形状变化矩阵

然后利用主成分分析法PCA提取矩阵的特征向量P_c以及对应的特征值λ_c，c＝1,2,…,min(M,N)再选择前k个特征向量以列排放形式组成人脸形状变化的主成分组成的矩阵P；

(1.4)、以每个特征点坐标位置处为中心，在m×m的邻域范围内分别进行建模，然后利用支持向量机SVM训练打分模型，再通过训练好的打分模型对邻域范围内的m×m个点打分，得到m×m个打分结果，再由这m×m个打分结果组成每个特征点的打分响应图；

将每一幅打分响应图拟合成一个二次函数r(x,y)＝a(x-x₀)²+b(y-y₀)²+c，其中，(x₀,y₀)表示该响应图中心点的位置坐标，即每个特征点的坐标，a,b,c为拟合参数，(x,y)表示该响应图中除中心点外其余点的位置坐标；

将其余各点的位置坐标分别代入到上述二次函数中，求出该响应图中最大值R(x,y)，再通过最小化代价函数:∑(R(x,y)-r(x,y))²，求解出a,b,c的值；

(2)、实时采集包含用户人脸的图像，标记为源图像；

(3)、在源图像中，使用haar特征+adaboost人脸检测算法检测出源图像中用户的人脸区域；

(4)、使用训练阶段求解的P,λ_j,a,b,c，检测出当前人脸区域的特征点

(4.1)、根据人脸形状模型：以及参数P，使用形状变化的权重向量B＝[b₁,b₂.,..,b_k]^T获取人脸区域中的所有初始特征点；

(4.2)、按照步骤(1.4)所述方法获取每个初始特征点的打分响应图；

(4.3)、以作为目标函数，其中，(x_p,y_p)表示打分响应图中第p个点的位置坐标，β是指形状约束的权重值；通过迭代使f(x)收敛到最大值，并将此时对应的形状变化的权重向量代入到人脸形状模型中，获取到人脸区域中的所有特征点；

(4.4)、将更新后的形状变化权重向量B作为新的形状模型参数，重复步骤(4.2)-(4.3)，直到更新后的形状变化权重向量B保持不变为止，输出最终的人脸形状模型对应的人脸特征点位置；

(5)、根据人脸特征点位置，采用个人特性归一化的面部运动单元(Action Unit，AU)检测算法参数化用户表情特征

(5.1)、提取人脸表观特征

使用多个数据库中的带有AU参数标注的人脸图像集，将每张人脸图像的人脸区域尺度放缩至固定大小，然后提取每张人脸图像的梯度直方图，再利用主成分分析法PCA提取梯度直方图中的梯度特征，选出前k个特征作为人脸表观特征；

(5.2)、提取人脸几何特征

将步骤(4)中提取出人脸特征点作为人脸几何特征；

(5.3)、提取自然状态下的表情

通过SEMAINE数据集中的序列自然状态下的人脸图像，计算容量图像中的表观特征和几何特征的平均值，作为自然表情描述子，然后对自然表情描述子进行归一化操作，生成自然表情特征；

(5.4)、根据多个数据库中的人脸图像集提取出的表观特征、几何特征以及自然表情特征，使用线性核的支持向量回归方法SVR训练AU检测模型；

(5.5)、在源图像的用户人脸区域，提取出其表观特征，几何特征以及自然表情特征，输入AU检测模型，获取当前源图像用户人脸的AU表情参数；

(6)、使用AU表情参数，输入至包含形状差值模型(BlendShape)的3D模型，使用Unity3D引擎驱动模型表情，实现用户无约束的3D模型表情迁移。

本发明的发明目的是这样实现的：

本发明是一种无约束的3D表情迁移方法，使用基于计算机视觉以及概率统计方法进行实现；首先使用adaboost+harr特征检测人脸区域，然后在人脸区域根据受约束的局部模型(Constrained Local Model，CLM)方法提取人脸几何特征，接着使用支持向量回归(Support Vector Regression,SVR)提取人脸表情参数，最后输入表情参数控制3D模型的面部BlendShape，合成表情动画，实现一种无约束的3D表情迁移方法。

同时，本发明一种无约束的3D表情迁移方法还具有以下有益效果：

(1)、由于目前应用于3D影视制作的表情迁移方法需要利用额外的硬件辅助设备捕捉表情信息，这就造成***复杂度高，难于普及等问题，本发明仅采用普通网络摄像头，具有良好的可迁移性；

(2)、由于许多方法在提取用户表情参数时，需要对用户人脸特定位置进行标记，这对用户具有侵入性，本发明则不对用户进行任何限制，仅需用户面对摄像头即可。；

(3)、本发明具有硬件成本低，实时性良好，相应速度快，对用户无约束等优点；

附图说明

图1是本发明一种无约束的3D表情迁移方法流程图；

图2是检测人脸区域特征的流程图；

图3是表情参数提取的流程图；

图4是预制3D模型表情状态示意图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图1是本发明一种无约束的3D表情迁移方法流程图。

在本实施例中，如图1所示，本发明一种无约束的3D表情迁移方法，包括以下步骤：

S1、离线训练人脸形状模型并获取模型中的相关参数

S1.1、训练人脸形状模型相关参数需要人工标定关键点坐标的人脸图像，本发明使用AFLW数据库，从AFLW数据库中下载带特征点标注的人脸图像，作为人脸图像集；

S1.2、构建人脸形状模型：其中，表示平均脸形状，P是人脸形状变化的主成分组成的矩阵，P＝[P₁,P₂...P_k]，B是人脸形状变化的权重向量，B＝[b₁,b₂.,..,b_k]^T；

S1.3、利用人脸图像集作为输入，通过图像集中标注的特征点真实值与模型输出结果比对，迭代更新人脸模型参数的值靠向真实值：

设人脸图像集共有M张人脸图，每张人脸图共有N个特征点，第i个特征点的坐标记为(x_i,yi)，i＝1,2,…,N；

第j张人脸图组成的特征点向量用x^(j)＝[x₁ y₁ x₂ y₂...x_N y_N]^T表示，则平均脸形状为：

将每张人脸图组成的特征点向量都减去平均脸形状，得到均值为0的形状变化矩阵

然后利用主成分分析法PCA提取矩阵的特征向量P_c以及对应的特征值λ_c，c＝1,2,…,min(M,N)再选择前k个特征向量以列排放形式组成人脸形状变化的主成分组成的矩阵P；

S1.4、以每个特征点坐标位置处为中心，在m×m的邻域范围内分别进行建模，然后利用支持向量机SVM训练打分模型，再通过训练好的打分模型对邻域范围内的m×m个点打分，得到m×m个打分结果，再由这m×m个打分结果组成每个特征点的打分响应图；

将每一幅打分响应图拟合成一个二次函数r(x,y)＝a(x-x₀)²+b(y-y₀)²+c，其中，(x₀,y₀)表示该响应图中心点的位置坐标，即每个特征点的坐标，a,b,c为拟合参数，(x,y)表示该响应图中除中心点外其余点的位置坐标；

将其余各点的位置坐标分别代入到上述二次函数中，求出该响应图中最大值R(x,y)，再通过最小化代价函数:∑(R(x,y)-r(x,y))²，求解出a,b,c的值；

S2、摄像头实时采集包含用户人脸的图像，作为数据源输入，并标记为源图像；

S3、在源图像中，使用haar特征+adaboost人脸检测算法检测出源图像中用户的人脸区域；

S4、使用训练阶段求解的形状模型相关参数：P，λ_j，a，b，c，结合人脸区域图像信息，将初始化的关键点位置输入模型，模型输出，从而检测出当前人脸区域的特征点，下面结合图2，对检测具体流程进行说明。

根据构建的人脸形状模型，能够在检测到的人脸区域上初始化一个人脸形状模型，根据人脸形状模型计算出的人脸特征点位置，让每个点在其邻域范围内寻找最佳匹配点，具体步骤如下：

S4.1、根据人脸形状模型：以及参数P，使用形状变化的权重向量B＝[b₁,b₂.,..,b_k]^T获取人脸区域中的所有初始特征点；

S4.2、按照步骤S1.4所述方法获取每个初始特征点的打分响应图；

S4.3、以作为目标函数，其中，(x_p,y_p)表示打分响应图中第p个点的位置坐标，β是指形状约束的权重值；通过迭代使f(x)收敛到最大值，最大值对应的点即为邻域范围内寻找的最佳匹配点，并将此时对应的形状变化的权重向量代入到人脸形状模型中，获取到人脸区域中的所有特征点；

S4.4、然后将更新后的形状变化权重向量B作为新的形状模型参数，重复S4.2-S4.3步骤，直到形状变化权重向量更新后的B基本保持不变为止，输出最终的人脸形状模型对应的人脸特征点位置。

S5、根据人脸特征点位置，采用个人特性归一化的面部运动单元(ActionUnit，AU)检测算法参数化用户表情特征，具体流程图如图3所示。

获取到用户的人脸区域中的所有特征点后，需要进一步提取为固定规则下的参数化信息，才能进一步进行表情动画合成。本发明使用常用的人脸表情运动单元(ActionUnit，AU)规则参数化人脸表情。由于个体用户之间巨大的差异性，AU分类器的实际效果非常依赖于训练数据。针对这一问题，本发明结合用户人脸表情的几何特征和表观特征，在跨数据库下训练AU分类器，具体流程为：

S5.1、提取人脸表观特征

使用多个数据库中的带有AU参数标注的人脸图像集，将每张人脸图像的人脸区域尺度放缩至112*112大小，然后提取每张人脸图像的梯度直方图，具体的，提取梯度直方图时使用2*2的单元块，每个单元块为8*8像素，组成描述人脸的4464维矢量特征。为了减少HOGs特征数量，在此基础上再利用主成分分析法PCA提取梯度直方图中的梯度特征主分量，即选出前k个特征作为人脸表观特征；在本实施例中，使用多个数据库的数据是为了使PCA进行数据降维时能够提取出泛化能力更强的表观特征；

S5.2、提取人脸几何特征

将步骤S4中提取出人脸特征点作为人脸几何特征；

S5.3、提取自然状态下的表情

由于个体差异性，例如一些人脸在放松状态下会呈现出类似微笑或者皱眉的不同情况，个体自然表情未知情况下获取某些面部表情是非常困难的，因此在获取了表观特征以及几何特征后，需要提取自然状态下的表情，本发明通过一序列自然状态下的人脸图像，计算特征的中值生成自然表情特征。这个方法依赖于该序列图像中的人脸基本为自然状态，因此，本实施例中通过SEMAINE数据集中的序列自然状态下的人脸图像，计算容量图像中的表观特征和几何特征的平均值，作为自然表情描述子，然后对自然表情描述子进行归一化操作，生成自然表情特征；

S5.4、根据多个数据库中的人脸图像集提取出的表观特征、几何特征以及自然表情特征，使用线性核的支持向量回归方法SVR训练AU检测模型；

S5.5、在源图像的用户人脸区域，根据S5.1-S5.3分别提取出其表观特征，几何特征以及自然表情特征，输入AU检测模型，获取当前源图像用户人脸的AU表情参数；

S6、动画合成方法包含基于肌肉模型驱动方式以及形状差值模型驱动方式等，由于面部表情相对于肢体动作而言，变形复杂度更高，使用骨骼驱动的方式需要设置许多骨骼节点，驱动环节也相当复杂，使用形状差值模型则简单有效许多，一个形状差值模型实例如图4所示，其只需要预设部分表情状态，通过线性融合的方式合成最终的表情动画。因此本发明使用AU表情参数，输入至包含形状差值模型(BlendShape)的3D模型，使用Unity3D引擎驱动模型表情，实现用户无约束的3D模型表情迁移。。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (1)

1.一种无约束的3D表情迁移方法，其特征在于，包括以下步骤：

(1)、离线训练人脸形状模型并获取模型中的相关参数

(1.1)、从人脸数据库中下载带特征点标注的人脸图像，作为人脸图像集；

(1.2)、构建人脸形状模型：其中，表示平均脸形状，P是人脸形状变化的主成分组成的矩阵，P＝[P₁,P₂...P_k]，B是人脸形状变化的权重向量，B＝[b₁,b₂.,..,b_k]^T；

(1.3)、利用人脸图像集计算人脸形状模型相关参数

(2)、实时采集包含用户人脸的图像，标记为源图像；

(3)、在源图像中，使用haar特征+adaboost人脸检测算法检测出源图像中用户的人脸区域；

(4)、使用训练阶段求解的P,λ_j,a,b,c，检测出当前人脸区域的特征点

(5)、根据人脸特征点位置，采用基于面部运动单元(Action Unit，AU)的表情参数提取算法参数化用户表情特征

(5.1)、分别提取人脸表观特征、人脸几何特征和自然状态下的人脸表情；

(5.2)、根据多个数据库中的人脸图像集提取出的表观特征、几何特征以及自然表情表情特征，使用线性核的支持向量回归方法SVR训练AU检测模型；

(5.3)、在源图像的用户人脸区域，提取出其表观特征，几何特征以及自然表情特征，输入AU检测模型，获取当前源图像用户人脸的AU表情参数；

(6)、使用AU表情参数，输入至包含形状差值模型(BlendShape)的3D模型，使用Unity3D引擎驱动模型表情，实现用户无约束的3D模型表情迁移。