CN109978930A - 一种基于单幅图像的风格化人脸三维模型自动生成方法 - Google Patents

Abstract

本发明公开了一种基于单幅图像的风格化人脸三维模型自动生成方法，包括以下步骤：预处理和训练过程，在人像图像数据集上对每张图像提取人脸三维信息，同时对每张图像进行手动风格化人脸三维建模，得到风格化人脸三维模型；根据所述人像图像数据集以及对应的人脸三维信息，训练得到一个多任务人脸特征深度卷积网络。根据所述人像图像数据集，所述风格化人脸三维模型，以及所述人脸特征提取网络，训练得到一个人脸几何风格转化深度卷积网络和一系列人脸纹理风格转化深度卷积网络。本发明输入只需要单幅图像，有很强的通用性,解决了虚拟现实、网络社交等领域中用户数字形象的表达问题。

Description

一种基于单幅图像的风格化人脸三维模型自动生成方法

技术领域

本发明涉及机器视觉、图像处理及三维建模技术领域，尤其涉及一种基于单幅图像的风格化人脸三维模型自动生成方法。

背景技术

人脸的三维建模是一项十分重要的技术，在电影、游戏、虚拟现实、网络社交、人脸识别和追踪等场景中有着广泛应用。根据建模所需要的输入数据，人脸建模方法可以分为三类：基于专业软件的人脸建模，基于专业设备的人脸建模，以及基于单张图像的人脸建模。根据人脸模型的具体应用场景，人脸建模的目标结果可以是人脸模型或者风格化人脸模型。

基于专业软件的人脸三维建模往往适用于电影、CG等专业领域。例如对于3DMax、Maya、Blender等商业或开源软件，用户需要花费大量的时间来学习软件的使用方法，甚至只有专业的艺术家或者设计师才能很好的使用；为了完成一个建模，用户需要花费数小时乃至数天来不断的调整和测试。所以虽然建模软件可以灵活地生成高质量的三维模型，其复杂性和专业性限制了它在普通用户中的推广。

基于专业设备的人脸三维建模一般经由扫描设备提供物体的点云或者深度信息，结合后续的对齐、重建等算法得到完整的物体模型。这种方法可以提供(设备误差范围内)精确真实的模型，但是仍然存在使用上的困难。一方面，高精度的扫描设备如激光扫描仪和多光源几何外观采集***等，成本高昂、建模过程费时费力而且需要较高的技术门槛。另一方面，民用级别的扫描设备成本相对较低，但是对应的扫描精度往往不够高，并且仍然无法避免较复杂的使用流程。特别需要提及的是，在移动平台上，目前只有IPhone X、HuaweiMate20等少量机型可以提供扫描(深度)信息，限制了这类方法的普适程度。

基于单幅图像的三维人脸建模最适合于普通用户的方便使用：用户可以用手机自拍或者从网上下载公众人物照片，然后直接得到想要的三维人脸模型。基于单幅图像的建模存在很多困难与挑战。其中最主要的是，单幅图像无法反映物体的完整信息，如何从不完整的输入最终恢复完整的信息需要得到解决，所以这方面的工作通常都需要一些先验知识。三维人脸建模中，往往会借助于涵盖各种脸型和表情的参数化人脸数据库，然后利用数据库相关的系数拟合输入的二维人脸图像。

人脸的三维建模应用到虚拟现实或者社交领域中时，往往会遇到很多问题。首先，人对于真实人脸的认知非常严格和挑剔，建模结果的非常小的瑕疵也往往无法被容忍；利用单幅图像这样有限的输入生成非常逼真的人脸难度很大。其次，三维人脸建模有可能触发“恐怖谷”效应：随着类人物体的拟人程度增加，人类对之的好感并非一直增加，而会在非常接近而又不完全一致时，表现出非常“恐怖”的感觉。最后，用户本人希望展现的也未必是完全真实的自己，而是能够代表自身主要特点的数字形象(有可能是美化后的数字形象)。

风格化人脸建模就是为了解决人脸建模的这些问题而被引入的，能够让用户展现自我，同时又展示自己想突显的风格。一个相关样例是漫画创作，漫画人物的五官都有一定的艺术处理同时又能够展示不同人物的主要特征。近些年深度神经网络的发展使得二维图像的风格化处理取得了很大的突破，但是如何对三维模型进行风格化处理仍然缺少解决方案。

发明内容

本发明的目的是针对现有技术的不足，提供一种基于单幅图像的风格化人脸三维模型自动生成方法，以解决虚拟现实、网络社交等领域中用户数字形象的表达问题。

为实现上述发明目的，本发明提供以下技术方案：一种基于单幅图像的风格化人脸三维模型自动生成方法，包括以下步骤：

(1)人脸数据库预处理：在人像图像数据集上对每张图像提取人脸三维信息，同时对每张图像进行手动风格化人脸三维建模，得到风格化人脸三维模型。

(2)人脸特征提取网络：根据步骤1所述人像图像数据集以及对应的人脸三维信息，训练得到一个多任务人脸特征深度卷积网络。

(3)人脸风格转化网络：根据步骤1所述人像图像数据集和风格化人脸三维模型，以及步骤2训练得到的人脸特征深度卷积网络，训练得到一个人脸几何风格转化深度卷积网络和一系列人脸纹理风格转化深度卷积网络，所述人脸几何风格转化深度卷积网络和人脸纹理风格转化深度卷积网络构成人脸风格转化网络。

(4)输入待处理图像后，运行步骤2训练得到的人脸特征提取网络和步骤3训练得到的人脸风格转化网络，输出人脸几何结果和纹理结果，对输出的人脸几何结果进行后处理，对输出的纹理结果进行融合，最终得到风格化人脸三维模型。

进一步地，所述步骤(1)中，所述在人像图像数据集上对每张图像提取人脸三维信息具体为：

首先，对输入的人像图像数据集的图像标注人脸的二维信息，包括人脸关键点，以及头发、眉毛、胡须区域掩膜。其中人脸关键点是指包括脸颊边缘，眼睛、眉毛、鼻子、嘴巴轮廓的特征点位置；掩膜是指二值化像素区域，在区域内部取值为1，区域外部取值为0。

然后，结合人脸关键点信息以及图像颜色信息进行三维拟合算法，得到人脸的三维信息，包括三维几何信息和纹理贴图信息；具体操作过程是：把每个人脸信息表示为一个三角形网格，网格每个顶点包含一个顶点几何坐标和一个UV纹理坐标，每个网格对应一张纹理贴图，对人脸的三维信息进行PCA分解，表达为：

其中，是平均人脸的网格顶点几何坐标，W_s是网格顶点几何坐标的PCA向量矩阵，α是几何参数向量；是平均纹理贴图，W_t是纹理贴图的PCA向量矩阵，β是纹理参数向量。

然后优化如下能量方程：

E_fit(M,α,β)＝λ_lE_l(M,α,β)+λ_aE_a(M,α,β)+λ_rE_r(α,β)

其中，M是相机外参，λ_l,λ_a,λ_r分别是三个能量项E_l,E_a,E_r的权重。E_l(M,α,β)最小化人脸关键点的投影位置和图像标注位置的差异：

P(·)代表相机投影函数，s_j表示s在第j个人脸关键点上的顶点几何坐标，是对应的图像标注位置；E_i(M,α,β)最小化人脸绘制结果和图像像素的颜色差异：

R_u,v(·)是绘制函数，表示把三维网格绘制到图像上后在像素u,v的颜色取值，I_u,v表示输入图像在像素u,v的颜色取值；E_r(α,β)是正则项，惩罚过拟合问题：

E_r(α,β)＝||α||²+||β||²

最后，能量方程E_fit(M,α,β)使用标准的Gauss-Newton方法迭代求解。

进一步地，所述步骤2具体为：根据输入图像，以及对应的标注信息，训练一个多任务深度卷积网络，其输入为RGB三通道的图像，输出包括：相机的参数信息，人脸的三维几何信息，人脸的纹理贴图信息，头发区域掩膜，眉毛区域掩膜，胡须区域掩膜。多任务深度卷积网络由两个模块构成，第一个模块输入RGB图像，进行多层卷积相关操作，提取图像的抽象特征；第二个模块以第一个模块提取的抽象特征为输入，包含多个分支，每个分支由卷积、反卷积或全连接相关操作构成，分别预测人脸的不同信息。

进一步地，所述步骤3中，所述训练得到一个人脸几何风格转化深度卷积网络具体为：根据输入图像，在所述多任务人脸特征深度卷积网络输出的人脸三维几何信息上计算每个顶点的位置和法向量，这些位置和法向量按照模型的UV展开可以绘制到一张6通道图像A上；类似地，对所述的该输入图像的风格化人脸三维模型，顶点位置和法向量也可以展开绘制到一张六通道图像B上。人脸几何风格转化网络输入图像A，经过一系列卷积和反卷积相关操作，最小化网络输出图像和B的欧氏距离。

所述训练一系列人脸纹理风格转化深度卷积网络具体为：根据输入图像，结合多任务人脸特征深度卷积网络输出的人脸纹理贴图信息，头发、眉毛、胡须区域掩膜，以及所述风格化人脸三维模型的纹理贴图，分别训练面部非毛发区域纹理风格转化网络，眉毛区域纹理风格转化网络，以及胡须区域纹理风格转化网络。

进一步地，所述步骤4中，所述运行步骤2训练得到的人脸特征提取网络和步骤3训练得到的人脸风格转化网络，输出人脸几何结果和纹理结果具体为：用户输入单幅图像，首先运行所述人脸特征提取网络得到人脸的三维几何信息，纹理贴图，头发、眉毛、胡须区域掩膜；然后运行所述人脸风格转化网络，得到风格化人脸三维模型的法向量UV展开和纹理贴图，包括非毛发区域、眉毛区域、胡须区域的三张贴图。

所述对输出的人脸几何结果进行后处理具体为：根据所述风格化人脸三维模型自动生成方法输出的人脸三维几何模型的顶点位置和法向量UV展开，提取模型每个面片的平均法向量信息，以及每个顶点的位置信息。结合顶点位置信息和面片法向量信息，联合优化输出人脸风格化几何结果。

所述对输出的纹理结果进行融合具体为：根据所述风格化人脸三维模型自动生成方法输出的非毛发区域、眉毛区域、胡须区域的三张风格化纹理贴图，进行半透明混合输出一张人脸整体的风格化纹理结果。

本发名的有益效果是：首先输入只需要单幅图像，有很强的通用性；其次可以运行所述人脸特征提取网络和人脸风格转化网络，对输出的人脸几何结果进行自动后处理，对输出的纹理结果进行自动融合，最终得到风格化人脸三维模型,解决了虚拟现实、网络社交等领域中用户数字形象的表达问题。

附图说明

图1是基于单幅图像的风格化人脸三维模型自动生成方法的流程示意图；

图2是数据预处理，给定输入图像，首先标注特征点和头发区域掩膜，然后标注眉毛和胡须区域掩膜；

图3是三维拟合得到的人脸三维信息，包括几何信息和纹理信息；

图4是输入图像的风格化人脸三维模型，包括几何模型和纹理贴图；

图5是人脸特征提取网络；

图6是人脸几何风格转化深度卷积网络；

图7是面部非毛发区域的纹理风格转化网络；

图8是眉毛区域的纹理风格转化网络；

图9是胡须区域的纹理风格转化网络；

图10是最后生成的风格化人脸三维模型，包括几何模型，纹理结果，以及结合几何模型纹理贴图的最终风格化人脸三维模型绘制结果；

具体实施方式

本发明基于单幅图像的风格化人脸三维模型自动生成方法，包括以下步骤：

1、人脸数据库预处理：在人像图像数据集上对每张图像提取人脸三维信息，同时对每张图像进行手动风格化人脸三维建模，得到风格化人脸三维模型。

所述人像图像数据集可以采用FaceWareHorse三维人脸数据库(FaceWarehouse:a3D Facial Expression Database for Visual Computing.Chen Cao,Yanlin Weng,ShunZhou,Yiying Tong,Kun Zhou IEEE TVCG,20(3):413-425,2014)；其它公开人脸数据集或者自行采集的人脸图像数据也均可以使用。

所述对每张图像提取人脸三维信息包括以下子步骤：

首先，对输入的人像图像数据集的图像标注人脸的二维信息，包括人脸关键点，以及头发、眉毛、胡须区域掩膜。其中人脸关键点是指包括脸颊边缘，眼睛、眉毛、鼻子、嘴巴轮廓的特征点位置；掩膜是指二值化像素区域，在区域内部取值为1，区域外部取值为0。具体关键点和掩膜的定义参考图2。

然后，结合人脸关键点信息以及图像颜色信息进行三维拟合算法，得到人脸的三维信息，包括三维几何信息和纹理贴图信息(如图3所示)；具体操作过程是，把每个人脸信息表示为一个三角形网格，网格每个顶点包含一个顶点几何坐标和一个UV纹理坐标，每个网格对应一张纹理贴图。对人脸的三维信息进行PCA分解，表达为：

其中，是平均人脸的网格顶点几何坐标，W_s是网格顶点几何坐标的PCA向量矩阵，α是几何参数向量，每个α对应一个人脸几何网格；类似的，是平均纹理贴图，W_t是纹理贴图的PCA向量矩阵，β是纹理参数向量。

然后优化如下能量方程：

E_fit(M,α,β)＝λ_lE_l(M,α,β)+λ_aE_a(M,α,β)+λ_rE_r(α,β)

其中，M是相机外参，λ_l,λ_a,λ_r分别是三个能量项E_l,E_a,E_r的权重。具体的，E_l(M,α,β)最小化人脸关键点的投影位置和图像标注位置的差异：

P(·)代表相机投影函数，s_j表示s在第j个人脸关键点上的顶点几何坐标，是对应的图像标注位置；E_i(M,α,β)最小化人脸绘制结果和图像像素的颜色差异：

R_u,v(·)是绘制函数，表示把三维网格绘制到图像上后在像素u,v的颜色取值，I_u,v表示输入图像在像素u,v的颜色取值；E_r(α,β)是正则项，惩罚过拟合问题：

E_r(α,β)＝||α||²+||β||²

最后，能量方程E_fit(M,α,β)使用标准的Gauss-Newton方法迭代求解。

所述对每张图像进行手动风格化人脸三维建模包括：

首先定义一种风格化类型(如大眼睛、小鼻子、小嘴巴、肤色均一这种动漫风格类型)，然后根据所提取人脸三维信息进行风格化修正(拉大眼睛、调整小鼻子和嘴巴比例、磨平人脸肤色等)，得到对应的风格化人脸三维模型。这里风格化类型可以根据实际需要自由指定，图4给出了一种风格示例。需要注意的是，数据处理和预训练过程对于每种给定风格只需进行一次。完成数据处理和预训练后，后续输入一张图像，即可全自动地运行神经网络推导过程，最终生成用户的风格化人脸三维模型。另外需要注意的是，虽然本方法着重关注面部五官区域，但是由于本方法已经分割出头发掩膜，因此头发的自动三维建模可以使用已有的基于轮廓线和方向场匹配的方法简单得到。

2、人脸特征提取网络：根据步骤1所述人像图像数据集以及对应的人脸三维信息，训练得到一个多任务人脸特征深度卷积网络。

所述训练得到一个多任务人脸特征深度卷积网络意思是根据输入图像，以及对应的所述人脸三维信息，训练一个多任务深度卷积网络，其输入为RGB三通道的图像，输出包括：相机的参数信息，人脸的三维几何信息，人脸的纹理贴图信息，头发区域掩膜，眉毛区域掩膜，胡须区域掩膜。多任务深度卷积网络由两个模块构成，第一个模块输入RGB图像，进行多层卷积相关操作，提取图像的抽象特征；第二个模块以第一个模块提取的抽象特征为输入，包含多个分支，每个分支由卷积、反卷积或全连接相关操作构成，分别预测人脸的不同信息(图5)。

具体的，所述第一个模块输入RGB图像，进行多层卷积相关操作，提取图像的抽象特征包括：输入单张RGB图像；首先截取人脸框区域并缩放到224x224大小，然后按顺序进行如下表所示的卷积网络进行特征提取：

上面的网络每个卷积层后面会链接一个Relu激活函数进行非线性变换，这也是深度神经网络中的标准处理方式。

具体的，所述第二个模块以第一个模块提取的抽象特征为输入，包含多个分支，每个分支由卷积、反卷积或全连接相关操作构成，分别预测人脸的不同信息包括：

(1)相机参数估计分支：包含单个全连接层，接受MaxPool的结果作为输入，然后输出一个6维向量，表示相机的旋转和平移。

(2)几何参数向量α估计分支：包含单个全连接层，接受MaxPool的结果作为输入，然后输出n_α维向量，其中n_α是α的维度。

(3)纹理参数向量β估计分支：包含单个全连接层，接受MaxPool的结果作为输入，然后输出n_β维向量，其中n_β是β的维度。

(4)头发区域掩膜分割分支：包含三个反卷积层，接受Conv33的结果作为输入，进行三次3x3/0.5的反卷积，分别输出56x56x64，112x112x32，224x224x1；最终得到和输入图像尺寸一致的掩膜，代表头发所占的像素区域。

(5)胡须区域掩膜分割分支：包含三个反卷积层，接受Conv33的结果作为输入，进行三次3x3/0.5的反卷积，分别输出56x56x64，112x112x32，224x224x1；最终得到和输入图像尺寸一致的掩膜，代表胡须所占的像素区域。

(6)眉毛区域掩膜分割分支：包含三个反卷积层，接受Conv33的结果作为输入，进行三次3x3/0.5的反卷积，分别输出56x56x64，112x112x32，224x224x1；最终得到和输入图像尺寸一致的掩膜，代表眉毛所占的像素区域。

利用深度卷积网络拟合人脸三维信息有很多已有的工作。本方法的处理策略是从输入图像直接回归几何参数向量α和纹理参数向量β，也就是说把这两个向量差异的二范数作为神经网络的损失函数，这样做的主要原因是从两个系数就可以重建人脸三维信息，并且直接回归系数使得网络训练非常简单，有利于快速收敛；在此之上，引入多任务机制，使得同一个网络可以同时给出多个输出。多任务机制一方面使得信息的利用更加充分，减少了计算量，另一方面增强了模型的泛化能力，减少了过拟合；类似的方法和观察在基于深度神经网络的语义分割、目标检测、识别等任务中已经被广泛使用和研究。

3、人脸风格转化网络：根据步骤1所述人像图像数据集和风格化人脸三维模型，以及步骤2训练得到的人脸特征深度卷积网络，训练得到一个人脸几何风格转化深度卷积网络和一系列人脸纹理风格转化深度卷积网络，所述人脸几何风格转化深度卷积网络和人脸纹理风格转化深度卷积网络构成人脸风格转化网络。

所述训练得到一个人脸几何风格转化深度卷积网络包括(图6)：

根据输入图像，在所述人脸特征提取网络输出的人脸三维几何信息上计算每个顶点的位置和法向量，这些位置和法向量按照模型的UV展开可以绘制到一张6通道图像A上；类似地，对所述的该输入图像的手动风格化人脸建模，模型的顶点位置和法向量也可以展开绘制到一张六通道图像B上。人脸几何风格转化网络输入图像A，经过一系列卷积和反卷积相关操作，最小化网络输出图像和B的欧氏距离。

具体的，所述这些位置和法向量按照模型的UV展开可以绘制到一张6通道图像A上包括：

记网格顶点几何位置为(v_x,v_y,v_z)，法向量为(n_x,n_y,n_z)，纹理坐标为(t_u,t_v)；对于网格的所有三角形面片，以(t_u,t_v)为坐标，v_x为颜色进行三角形绘制，可以得到一个通道的图像；类似的可以得到其他五个通道的图像。

具体的，所述经过一系列卷积和反卷积相关操作包括：

根据所述输入图像A；首先放缩到224x224x6大小，然后进行“沙漏”类型的网络模型。这种类型的网络模型首先把图像下采样到较低的分辨率，然后上采样到原分辨率，采样过程中中间层次会允许信息连接，避免了下采样造成的细节丢失。这种模型已经成功应用在了基于卷积神经网络的语义分割任务中，并且在输出精细程度上取得了非常成功的进展。具体网络定义参考下表：

网络层名称	卷积核尺寸/步长	网络层输出
			FConv1	3x3/2	112x112x96
FConv2	3x3/2	56x56x256
			FConv3	3x3/2	28x28x384
FConv4	3x3/1	28x28x384
			FConv5	3x3/1	28x28x256
RConv5	3x3/1	28x28x384
			RConv4	3x3/1	28x28x384
RConv3	3x3/0.5	56x56x256
			RConv2	3x3/0.5	112x112x96
RConv1	3x3/0.5	224x224x6

表格中上一层的输出总是作为下一层的输入外，FConv1的输出会经过一个1x1/1的卷积后同时作为RConv1的输入；FConv2-RConv2，FConv3-RConv3，FConv4-RConv4有类似的连接。

具体的，所述最小化网络输出图像和B的欧式距离意思是定义网络优化的损失函数：

L＝L_rec+λ_regL_reg

I_i是RConv1的输出在像素点i的取值，B_i是图像B在该像素的取值，表示像素i的一环邻域；L_rec约束了网络输出的图像和给定风格图像必须足够相似；L_reg是平滑正则项，约束了输出图像的局部光滑性质，这个约束是必要的，因为人脸几何的局部是光滑的；λ_reg是正则项权重。

所述一系列人脸纹理风格转化深度卷积网络包括：

根据输入图像，结合步骤1所述多任务人脸特征深度卷积网络输出的人脸纹理贴图，头发、眉毛、胡须区域掩膜，以及对应的所述手动风格化人脸三维建模得到的风格化纹理贴图，训练如下几个纹理风格转化网络：

(1)面部非毛发区域纹理风格转化网络输入去除头发、眉毛、胡须区域的人脸纹理，经过一系列卷积和反卷积相关操作，最小化网络输出和对应的去除头发、眉毛、胡须区域的风格化人脸纹理的欧式距离(图7)。

(2)眉毛区域纹理风格转化网络使用眉毛区域掩膜内的图像像素作为输入，其他与面部非毛发区域策略一致(图8)。

(3)胡须区域纹理风格转化网络使用胡须区域掩膜内的图像像素作为输入，与面部非毛发区域策略一致(图9)。

这三个风格转化网络虽然策略一致，但是需要用三个网络分别处理，原因在于非毛发区域、眉毛区域、胡须区域的风格化差异较大，放在一起处理会导致网络的学习难度过大，增加收敛难度且降低泛化能力。

纹理风格转化网络的具体结构与所述人脸几何风格转化网络的“hourglass”结构基本一致，区别在于输入不再是6通道顶点法向量图像，而是3通道颜色图像；另外损失函数不再加入平滑正则项，因为颜色图像不能保证局部平滑性质。

4、输入待处理图像后，运行步骤2训练得到的人脸特征提取网络和步骤3训练得到的人脸风格转化网络，输出人脸几何结果和纹理结果，对输出的人脸几何结果进行后处理，对输出的纹理结果进行融合，最终得到风格化人脸三维模型(图10)。

所述运行步骤2训练得到的人脸特征提取网络和步骤3训练得到的人脸风格转化网络，输出人脸几何结果和纹理结果包括：

用户输入单幅图像，首先运行所述人脸特征提取网络得到人脸的三维几何模型，纹理贴图，头发、眉毛、胡须区域掩膜；然后运行所述人脸风格转化网络，得到风格化人脸三维几何模型的法向量UV展开和风格化纹理贴图，包括非毛发区域、眉毛区域、胡须区域的三张贴图。因为在前面步骤中各个网络已经训练完成，所以这一步骤直接依次运行各个网络即可，没有复杂的额外操作。

所述对输出的几何结果进行自动后处理包括：

根据所述风格化人脸三维模型自动生成方法输出的人脸三维几何模型的顶点位置和法向量UV展开，提取模型每个面片的平均法向量信息，以及每个顶点的位置信息。结合顶点位置信息和面片法向量信息，联合优化得到最终的人脸风格化三维几何模型。

具体的，所述提取模型每个面片的平均法向量信息意思是，对于每个三角形面片f，遍历人脸几何风格转化深度卷积网络输出的图像像素，并计算所有属于面片f纹理空间的像素法向量的平均值，归一化得到面片的平均法向量

具体的，所述以及每个顶点的位置信息意思是，对于每个三角形顶点j，根据其纹理坐标直接在人脸几何风格转化深度卷积网络输出的图像像素上取位置坐标信息，得到

具体的，所述结合顶点位置信息和面片法向量信息，联合优化得到最终的人脸风格化三维几何模型意思是，定义优化问题：

这里表示法向量转置，v_f,k(k＝0,1,2)表示三角形面片f的第k个顶点；λ是权重参数。这个优化问题一方面约束目标三角形网格的顶点坐标和神经网络输出接近，另一方面同时约束目标三角形网格的面法向量和神经网络输出接近。之所以不直接利用神经网络输出的顶点坐标，而要结合利用法向量信息，原因在于法向量信息蕴含了更多的局部信息，而神经网络处理局部信息的能力更强。上述优化问题是一个线性问题，可以直接求解得到闭式解。

所述对输出的纹理结果进行自动融合意思是，根据所述风格化人脸三维模型自动生成方法输出的非毛发区域、眉毛区域、胡须区域的三张风格化纹理贴图，进行半透明混合得到一张人脸整体的风格化纹理贴图。

Claims (5)

1.一种基于单幅图像的风格化人脸三维模型自动生成方法，包括以下步骤：

(1)人脸数据库预处理：在人像图像数据集上对每张图像提取人脸三维信息，同时对每张图像进行手动风格化人脸三维建模，得到风格化人脸三维模型。

(2)人脸特征提取网络：根据步骤1所述人像图像数据集以及对应的人脸三维信息，训练得到一个多任务人脸特征深度卷积网络。

(3)人脸风格转化网络：根据步骤1所述人像图像数据集和风格化人脸三维模型，以及步骤2训练得到的人脸特征深度卷积网络，训练得到一个人脸几何风格转化深度卷积网络和一系列人脸纹理风格转化深度卷积网络，所述人脸几何风格转化深度卷积网络和人脸纹理风格转化深度卷积网络构成人脸风格转化网络。

(4)输入待处理图像后，运行步骤2训练得到的人脸特征提取网络和步骤3训练得到的人脸风格转化网络，输出人脸几何结果和纹理结果，对输出的人脸几何结果进行后处理，对输出的纹理结果进行融合，最终得到风格化人脸三维模型。

2.如权利要求1所述的基于单幅图像的风格化人脸三维模型自动生成方法，其特征在于，所述步骤(1)中，所述在人像图像数据集上对每张图像提取人脸三维信息具体为：

首先，对输入的人像图像数据集的图像标注人脸的二维信息，包括人脸关键点，以及头发、眉毛、胡须区域掩膜。其中人脸关键点是指包括脸颊边缘，眼睛、眉毛、鼻子、嘴巴轮廓的特征点位置；掩膜是指二值化像素区域，在区域内部取值为1，区域外部取值为0。

然后，结合人脸关键点信息以及图像颜色信息进行三维拟合算法，得到人脸的三维信息，包括三维几何信息和纹理贴图信息；具体操作过程是：把每个人脸信息表示为一个三角形网格，网格每个顶点包含一个顶点几何坐标和一个UV纹理坐标，每个网格对应一张纹理贴图，对人脸的三维信息进行PCA分解，表达为：

其中，是平均人脸的网格顶点几何坐标，W_s是网格顶点几何坐标的PCA向量矩阵，α是几何参数向量；是平均纹理贴图，W_t是纹理贴图的PCA向量矩阵，β是纹理参数向量。

然后优化如下能量方程：

E_fit(M，α，β)＝λ_lE_l(M，α，β)+λ_aE_a(M，α，β)+λ_rE_r(α，β)

其中，M是相机外参，λ_l，λ_a，λ_r分别是三个能量项E_l，E_a，E_r的权重。E_l(M，α，β)最小化人脸关键点的投影位置和图像标注位置的差异：

P(·)代表相机投影函数，s_j表示s在第j个人脸关键点上的顶点几何坐标，是对应的图像标注位置；E_i(M，α，β)最小化人脸绘制结果和图像像素的颜色差异：

R_u，v(·)是绘制函数，表示把三维网格绘制到图像上后在像素u，v的颜色取值，I_u，v表示输入图像在像素u，v的颜色取值；E_r(α，β)是正则项，惩罚过拟合问题：

E_r(α，β)＝||α||²+||β||²

最后，能量方程E_fit(M，α，β)使用标准的Gauss-Newton方法迭代求解。

3.如权利要求1所述的基于单幅图像的风格化人脸三维模型自动生成方法，其特征在于，所述步骤2具体为：根据输入图像，以及对应的标注信息，训练一个多任务深度卷积网络，其输入为RGB三通道的图像，输出包括：相机的参数信息，人脸的三维几何信息，人脸的纹理贴图信息，头发区域掩膜，眉毛区域掩膜，胡须区域掩膜。多任务深度卷积网络由两个模块构成，第一个模块输入RGB图像，进行多层卷积相关操作，提取图像的抽象特征；第二个模块以第一个模块提取的抽象特征为输入，包含多个分支，每个分支由卷积、反卷积或全连接相关操作构成，分别预测人脸的不同信息。

4.如权利要求1所述的基于单幅图像的风格化人脸三维模型自动生成方法，其特征在于，所述步骤3中，所述训练得到一个人脸几何风格转化深度卷积网络具体为：根据输入图像，在所述多任务人脸特征深度卷积网络输出的人脸三维几何信息上计算每个顶点的位置和法向量，这些位置和法向量按照模型的UV展开可以绘制到一张6通道图像A上；类似地，对所述的该输入图像的风格化人脸三维模型，顶点位置和法向量也可以展开绘制到一张六通道图像B上。人脸几何风格转化网络输入图像A，经过一系列卷积和反卷积相关操作，最小化网络输出图像和B的欧氏距离。

所述训练一系列人脸纹理风格转化深度卷积网络具体为：根据输入图像，结合多任务人脸特征深度卷积网络输出的人脸纹理贴图信息，头发、眉毛、胡须区域掩膜，以及所述风格化人脸三维模型的纹理贴图，分别训练面部非毛发区域纹理风格转化网络，眉毛区域纹理风格转化网络，以及胡须区域纹理风格转化网络。

5.如权利要求1所述的基于单幅图像的风格化人脸三维模型自动生成方法，其特征在于，所述步骤4中，所述运行步骤2训练得到的人脸特征提取网络和步骤3训练得到的人脸风格转化网络，输出人脸几何结果和纹理结果具体为：用户输入单幅图像，首先运行所述人脸特征提取网络得到人脸的三维几何信息，纹理贴图，头发、眉毛、胡须区域掩膜；然后运行所述人脸风格转化网络，得到风格化人脸三维模型的法向量UV展开和纹理贴图，包括非毛发区域、眉毛区域、胡须区域的三张贴图。

所述对输出的人脸几何结果进行后处理具体为：根据所述风格化人脸三维模型自动生成方法输出的人脸三维几何模型的顶点位置和法向量UV展开，提取模型每个面片的平均法向量信息，以及每个顶点的位置信息。结合顶点位置信息和面片法向量信息，联合优化输出人脸风格化几何结果。

所述对输出的纹理结果进行融合具体为：根据所述风格化人脸三维模型自动生成方法输出的非毛发区域、眉毛区域、胡须区域的三张风格化纹理贴图，进行半透明混合输出一张人脸整体的风格化纹理结果。