CN111553284A - 人脸图像处理方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种人脸图像处理方法、装置、计算机设备和存储介质。所述方法包括：获取第一用户的第一人脸图像；基于所述第一人脸图像的人脸特征生成对应的三维投影图像；获取第二用户的第二人脸视频，基于所述第二人脸视频中的各第二人脸图像提取人脸表情特征；将提取获得的各所述人脸表情特征分别融合至所述三维投影图像中进行表情重构，获得合成人脸视频；将所述合成人脸视频投影至三维实体模型进行播放，经过投影的所述三维实体模型用于人脸识别。采用本方法能够有效提高人脸识别的验证效率。

Description

人脸图像处理方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种人脸图像处理方法、装置、计算机设备和存储介质。

背景技术

人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术。随着计算机技术的迅速发展，越来越多的应用场景中通过采用人脸识别技术进行身份验证。为了验证人脸识别***的识别效果，可以通过真实的试验用户或者3D面具模型进行人脸识别。目前的这些验证方式，通常需要招募大量的志愿者用户，或需要定制大量的3D硅胶面具，需要耗费大量的资源成本，成本较高且验证效率较低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够有效提高人脸识别的验证效率的人脸图像处理方法、装置、计算机设备和存储介质。

一种人脸图像处理方法，所述方法包括：

获取第一用户的第一人脸图像；

基于所述第一人脸图像的人脸特征生成对应的三维投影图像；

获取第二用户的第二人脸视频，基于所述第二人脸视频中的各第二人脸图像提取人脸表情特征；

将提取获得的各所述人脸表情特征分别融合至所述三维投影图像中进行表情重构，获得合成人脸视频；

将所述合成人脸视频投影至三维实体模型进行播放，经过投影的所述三维实体模型用于人脸识别。

一种人脸图像处理装置，所述装置包括：

图像获取模块，用于获取第一用户的第一人脸图像；

图像转换模块，用于基于所述第一人脸图像的人脸特征生成对应的三维投影图像；

表情提取模块，用于获取第二用户的第二人脸视频，基于所述第二人脸视频中的各第二人脸图像提取人脸表情特征；

表情重构模块，用于将提取获得的各所述人脸表情特征分别融合至所述三维投影图像中进行表情重构，获得合成人脸视频；

视频投影模块，用于将所述合成人脸视频投影至三维实体模型进行播放，经过投影的所述三维实体模型用于人脸识别。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取第一用户的第一人脸图像；

基于所述第一人脸图像的人脸特征生成对应的三维投影图像；

获取第二用户的第二人脸视频，基于所述第二人脸视频中的各第二人脸图像提取人脸表情特征；

将提取获得的各所述人脸表情特征分别融合至所述三维投影图像中进行表情重构，获得合成人脸视频；

将所述合成人脸视频投影至三维实体模型进行播放，经过投影的所述三维实体模型用于人脸识别。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取第一用户的第一人脸图像；

基于所述第一人脸图像的人脸特征生成对应的三维投影图像；

获取第二用户的第二人脸视频，基于所述第二人脸视频中的各第二人脸图像提取人脸表情特征；

将提取获得的各所述人脸表情特征分别融合至所述三维投影图像中进行表情重构，获得合成人脸视频；

将所述合成人脸视频投影至三维实体模型进行播放，经过投影的所述三维实体模型用于人脸识别。

上述人脸图像处理方法、装置、计算机设备和存储介质，获取第一用户的第一人脸图像后，基于第一人脸图像的人脸特征生成对应的三维投影图像，由此能够有效地生成用于投影至三维实体模型并展现实体人脸效果的人脸图像。通过获取第二用户的第二人脸视频，基于第二人脸视频中的各第二人脸图像提取人脸表情特征后，将提取获得的各人脸表情特征分别融合至三维投影图像中进行表情重构，由此能够准确有效地对三维投影图像中的表情特征进行表情重构，有效地生成包含表情响应的、真实性较高的合成人脸视频。将合成人脸视频投影至三维实体模型进行播放，经过投影的三维实体模型用于人脸识别。通过对基于第一用户的人脸和第二用户的表情融合的合成人脸视频在三维实体模型的投影进行人脸识别，能够有效地对人脸识别***的效果进行验证。通过生成准确性和真实性较高的合成人脸视频，并投影至可重复使用的三维实体模型上进行人脸识别，能够有效节省验证的成本，并且有效提高了对人脸识别***的效率。

附图说明

图1为一个实施例中人脸图像处理方法的应用环境图；

图2为一个实施例中人脸图像处理方法的流程示意图；

图3为一个实施例中人进行表情重构的流程示意图；

图4为一个实施例中将合成人脸视频投影至三维实体模型的示意图；

图5为另一个实施例中人脸图像处理方法的流程示意图；

图6为又一个实施例中人脸图像处理方法的流程示意图；

图7为再一个实施例中人脸图像处理方法的流程示意图；

图8为一个具体的实施例中人脸图像处理方法的流程示意图；

图9为一个实施例中人脸图像处理装置的结构框图；

图10为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的方案涉及基于人工智能的生物特征识别、计算机视觉和图像处理等技术。人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、技术及应用***。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

本申请提供的人脸图像处理方法，可以应用于终端或者服务器，可以理解的是，也可以应用于包括终端和服务器的***上，并通过终端和服务器的交互实现。参照图1，通过终端和服务器的交互实现使，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。第一人脸图像并发送至服务器104，服务器104获取第一用户的第一人脸图像，基于第一人脸图像的人脸特征生成对应的三维投影图像；服务器104获取通过终端102采集的第二用户的第二人脸视频，基于第二人脸视频中的各第二人脸图像提取人脸表情特征；将提取获得的各人脸表情特征分别融合至三维投影图像中进行表情重构，获得合成人脸视频并发送至终端102。终端102将合成人脸视频投影至三维实体模型进行播放，经过投影的三维实体模型用于人脸识别。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种人脸图像处理方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：

S202，获取第一用户的第一人脸图像。

其中，人脸图像是指包括用户人脸的图像。人脸图像可以从包括用户人脸的图像或视频流中提取出人脸区域对应的人脸图像。

终端可以预先从本地数据库获取包括第一用户人脸的图像或视频，提取出人脸区域对应的第一人脸图像。终端还可以从网络上爬取包括第一用户人脸的图像或视频，并提取出人脸区域对应的第一人脸图像，作为待处理的的第一人脸图像。

在其中一个实施例中，终端还可以直接采集包括第一用户人脸的图像或视频，并从所采集的图像或视频中提取第一用户对应的第一人脸图像。

终端获取包括第一用户人脸的初始人脸图像后，由于获取的原始图像可能存在各种噪声和随机干扰，因此需要对直接获取的初始人脸图像进行灰度校正、噪声过滤等图像预处理。具体地，终端首先检测初始人脸图像中的人脸区域，基于人脸区域检测结果对图像进行预处理。对于人脸图像而言，其预处理过程可以包括对初始人脸图像的光线补偿、灰度变换、直方图均衡化、归一化、几何校正、滤波以及锐化等。对初始人脸图像预处理后，获得第一用户的第一人脸图像。

S204，基于第一人脸图像的人脸特征生成对应的三维投影图像。

其中，第一人脸图像为二维图像，二维图像是指不包含深度信息的平面图像。三维(即3D)是指在平面二维系中又加入了一个方向向量构成的空间系，三维投影图像可以表示三维模型映射在二维(即2D)平面上的图像，投影至三维实体模型后显示对应的立体图像。

第一人脸图像中包括眉毛、眼睛、鼻子、嘴唇、下巴等人脸特征点，人脸特征点主要分布在眉骨、鼻梁、眼睛轮廓、嘴唇轮廓、下颌线等人脸轮廓处，可以反映出人脸的轮廓和表情。终端获得第一用户的第一人脸图像后，首先对第一人脸图像进行特征点提取，并根据特征点估计人脸姿态，基于提取的这些特征点和人脸姿态得到第一人脸图像的人脸特征。

终端获取的人脸图像为二维图像。将图像投影至三维实体模型上使用时，需要建立人脸的2D特征点与3D特征点之间的映射关系。终端可以将第一人脸图像中的特征点的二维坐标信息分别与预设三维人脸模型中的特征点进行匹配和映射，得到对应的得到三维坐标信息。

具体地，终端获得第一人脸图像的人脸特征后，可以基于得到的二维人脸特征点通过三维模型映射进行人脸建模，得到人脸特征对应的三维坐标信息。例如可以采用3D形变模型进行人脸建模。终端并根据人脸方位矫正人脸姿态，得到表情归一化后的人脸特征。终端进而基于通过三维形变映射并矫正后的人脸特征生成三维投影图像，得到的三维投影图像则可以直接用于投影至三维实体模型上。

在一个实施例中，上述人脸图像处理方法还包括：识别第一人脸图像中的遮挡特征点；根据人脸特征中的特征点计算偏侧角度；基于偏侧角度对遮挡特征点进行矫正，得到第一人脸图像的人脸特征。

若人脸图像不是正脸图像时，有一部分人脸特征点可能会被遮挡，则需要对这部分人脸特征点进行还原。终端可以检测第一人脸图像中是否存在被遮挡的特征点，当识别到第一人脸图像中的遮挡特征点时，需要对遮挡特征点进行矫正和还原。假设将人脸近似看作一个圆柱体，当人脸的表情和姿态变换时，特征点的位置会沿着圆柱体表面的一些平行圆弧运动，即会沿着经过该特征点的平行于底面的切面与圆柱表面交线移动，基于此现象原理，可以还原出被遮挡的特征点。

具体地，终端提取得到第一人脸图像中的特征点后，识别第一人脸图像中的遮挡特征点后，根据人脸特征中的特征点计算偏侧角度。具体可以基于可以通过获取在人脸姿态变换过程中不会被遮挡的特征点(如鼻尖、眉心等)，以这些特征点在正脸上的位置为起点，在偏转后人脸上的位置为终点，基于所连弧线对应的圆心角确定人脸的偏侧角度。进而根据偏侧角度和未被遮挡的特征点对遮挡特征点进行矫正，从而能够精准有效地获得第一人脸图像的人脸特征。

S206，获取第二用户的第二人脸视频，基于第二人脸视频中的各第二人脸图像提取人脸表情特征。

其中，第二用户是指区别于第一用户的另一个用户。视频是连续的变化每秒超过预设帧画面以上的图像。第二人脸视频是指包括第二用户人脸区域的视频，第二人脸视频中包括了连续的多帧包括人脸的图像。具体地，第二人脸视频可以是采集的按照指定指令进行表情响应的人脸对应的视频。例如在人脸识别的过程中，需要用户按照身份验证***的指示做出相应的响应，并录制响应视频以进行进一步处理。

终端通过获取第二人脸视频中的各帧第二人脸图像，并对各帧第二人脸图像进行表情识别和表情特征提取，以提取出第二人脸视频中的人脸表情特征。

其中，人脸表情特征表示人脸面部动作对应的表情状态特征，例如眨眼睛、张嘴巴、摇头等。表情识别是指从给定的静态图像或动态视频序列中分离出特定的表情状态。表情特征提取是指对人脸的器官特征、纹理区域和预定义的特征点进行定位和提取。

在其中一个实施例中，终端可以获取各帧静态的第二人脸图像，识别每帧的表情状态特征，进而通过所有帧的表情状态特征确定第二用户整体的人脸表情特征，由此能够有效地从人脸视频中提取出人脸表情特征。

在其中一个实施例中，终端可以直接对连续的动态视频序列中的人脸图像进行分析，从动态的视频帧序列中识别并提前出第二用户对应的整体的人脸表情特征。

S208，将提取获得的各人脸表情特征分别融合至三维投影图像中进行表情重构，获得合成人脸视频。

其中，表情重构是指通过调整人脸中的表情特征，得到新的表情特征，以获得带有特定表情的人脸图像。通过在表情分类和量化的基础上进行表情重构，可以获得各种表情对应的人脸表情图像。

合成人脸是指对两张或两张以上人脸图像进行人脸融合处理，生成的人脸同时具备两张人脸的外貌特征的人脸。人脸融合技术是通过人脸识别算法，识别用户上传照片的形象特征、五官外貌特征以及表情特征等，将识别出的这些特征融合到模板图片上。

具体地，所获得的各人脸表情特征可以为连续的表情特征序列。三维投影图像中还包括第一用户人脸对应的初始表情特征，其中，初始表情特征可以是对第一人脸图像进行表情归一化处理后，所获得的第一人脸表情特征。

终端从第二人脸视频中提取出第二用户的人脸表情特征后，将各人脸表情特征分别融合至三维投影图像中进行表情重构。将各人脸表情特征输入至第一用户的三维投影图像中，在相应的表情区域进行表情特征转换，将三维投影图像中的特征点转换为人脸表情特征，获得带有表情特征的三维人脸图像。得到的三维人脸图像即为一种合成人脸图像。

例如可以采用子空间变形传输方式，在不影响目标人脸特征的前提下，将第二用户的人脸表情特征实时传输至第一用户对应的三维投影图像中。假设第一用户的人脸特征和第二用户的人脸特征都是相对固定的，从第一用户的人脸视频中提取出人脸表情特征后，将人脸表情特征以及三维投影图像和其中的初始表情特征作为输入进行中转换，直接在参数先验的缩减子空间中输出带表情的目标三维人脸图像。由此能够准确有效地对三维投影图像中的表情特征进行表情重构。

由于提取的是连续帧的动态表情特征，将获得的各人脸表情特征分别融合至三维投影图像中进行表情重构后，则可以得到连续帧的包括人脸表情的三维人脸图像。终端进而根据这些连续帧的三维人脸图像生成合成人脸视频，由此可以有效地生成包含表情响应的人脸视频。

S210，将合成人脸视频投影至三维实体模型进行播放，经过投影的三维实体模型用于人脸识别。

其中，三维实体模型是实际存在的指可触知且有形的具体物体对应的立体模型，用于将三维人脸图像投影在三维实体模型后展现实体人脸的效果。例如三维实体模型可以为3D人脸模具、3D硅胶脸膜等。

终端生成带有表情响应的合成人脸视频后，将合成人脸视频投影至三维实体模型进行播放，从而可以在经过投影的三维实体模型上展现出带有表情响应的实体人脸模型。具体地，终端可以通过终端中的投影装置将合成人脸视频投影至三维实体模型进行播放，还可以通过与终端连接的投影设备将合成人脸视频投影至三维实体模型进行播放。例如，可以采用高分辨率(如1080*1920)的微型投影仪进行投影。

具体地，经过投影的三维实体模型用于人脸识别。例如在进行人脸识别时，需要采集用户人脸的图像或视频进行识别。在基于标签应答的人脸识别***中，需要用户根据指示进行表情响应，并采集对应的响应视频以进行人脸识别。在采集人脸识别过程中的响应视频时，可以通过身份验证设备采集本实施例中的经过投影的三维实体模型的视频，从而获得带有表情响应的人脸视频，进而基于采集的人脸视频进行基于人脸识别的身份验证。通过对采用第一用户的人脸和第二用户的表情进行合成的人脸视频进行人脸识别，能够有效地对人脸识别***的效果进行验证，以利于进一步对人脸识别***进行维护和更新，以提高人脸识别的安全性。

参考图3，图3示出了一个实施例中对第一用户人脸图像和第二用户图像进行表情重构的流程示意图。即从第一用的第一人脸图像中提取出人脸特征，从第二用户的各第二人脸图像提取人脸表情特征，将获得的各人脸表情特征转换至第一用户的人脸特征对应的三维投影图像中，进行表情重构，从而得到带有表情响应的合成人脸图像。

在其中一个实施例中，终端将合成人脸视频投影至三维实体模型进行播放之前，还可以首先将获得的第一人脸图像对应的三维投影图像投影到三维实体模型上。通过不断调整投影设备和三维实体模型之间的距离，并保持彼此正对，以保证投影到三维实体模型上的三维投影图像是比较精确的正脸图像。然后通过调整投影设备的焦距，使得投影到三维实体模型上的人脸纹理尽可能清晰。终端可以在进行人脸识别的过程中，获得包含表情响应的合成人脸视频后，直接将合成人脸视频投影至三维实体模型，使身份验证设备采集三维实体模型所展现的人脸图像进行人脸识别认证。参考图4，图4示出了一个实施例中将合成人脸视频投影至三维实体模型的示意图。例如，三维实体模型可以采用普通硅胶脸模，对人脸皮肤的仿真性较高且成本较低，可以通过更换投影的人脸图片进行重复使用。因此能够有效节省对人脸识别***进行验证的成本。

上述人脸图像处理方法中，获取第一用户的第一人脸图像后，基于第一人脸图像的人脸特征生成对应的三维投影图像，由此能够有效地生成用于投影至三维实体模型并展现实体人脸效果的人脸图像。通过获取第二用户的第二人脸视频，基于第二人脸视频中的各第二人脸图像提取人脸表情特征后，将提取获得的各人脸表情特征分别融合至三维投影图像中进行表情重构，由此能够准确有效地对三维投影图像中的表情特征进行表情重构，有效地生成包含表情响应的、真实性较高的合成人脸视频。将合成人脸视频投影至三维实体模型进行播放，经过投影的三维实体模型用于人脸识别。通过对基于第一用户的人脸和第二用户的表情融合的合成人脸视频在三维实体模型的投影进行人脸识别，能够有效地对人脸识别***的效果进行验证，以利于进一步以提高人脸识别的安全性。通过生成准确性和真实性较高的合成人脸视频，并投影至可重复使用的三维实体模型上进行人脸识别，能够有效节省验证的成本，并且有效提高了对人脸识别***的效率。

在一个实施例中，基于第一人脸图像的人脸特征生成三维投影图像包括：获取人脸特征中特征点的二维坐标信息；基于二维坐标信息确定第一人脸图像的三维人脸特征；对三维人脸特征进行三维映射处理，生成第一人脸图像对应的三维投影图像。

其中，二维坐标是指在同一个平面内两条相互垂直且有公共原点的数轴构成的坐标系。三维则是指在平面二维系中加入了一个方向向量构成的空间系。计算机视觉领域的姿态估计用目标相对平移量和旋转矩阵进行表示。姿态估计可以通过根据目标在3维世界坐标系中n个点的坐标和对应投影到2维图像坐标系中的点集之间的变换关系矩阵获得。

终端可以基于预设的透视投影模型，建立人脸的2D特征点与3D特征点之间的映射关系。终端获取第一用户的第一人脸图像后，从第一人脸图像中提取各个面部特征对应的特征点，并建立各个特征点对应的二维坐标信息。终端可以将第一人脸图像中的特征点分别与预设三维人脸基底中的特征点进行匹配映射，得到特征点在预设三维人脸基底中对应的三维坐标点，根据三维坐标点获取二维坐标信息在三维空间内的深度信息，并根据深度信息确定二维坐标信息映射在三维空间内的三维坐标，从而得到人脸特征对应的三维坐标信息。进而基于二维坐标信息和三维坐标信息确定第一人脸图像的三维人脸特征。

终端根据特征点的二维坐标信息基于三维映射关系得到第一人脸图像的三维人脸特征后，进一步对三维人脸图像进行三维映射处理。例如可以基于透视投影模型原理，从而得到第一人脸图像对应的三维投影图像。所获得的三维投影图像可以直接投影至三维实体模型上，从而可以精准有效地在三维实体模型上展现实体人脸的效果。

在一个实施例中，根据二维坐标信息确定第一人脸图像的三维人脸特征包括：根据特征点估计人脸姿态；获取预设三维人脸基底映射在二维平面上的映射坐标信息；根据二维坐标信息和映射坐标信息确定特征点对应的三维映射参数；根据人脸姿态和二维坐标信息更新特征点和对应的三维映射参数；基于更新后的特征点和三维映射参数生成三维人脸特征。

其中，人脸姿态估计主要是获得脸部朝向的角度信息。一般可以用旋转矩阵、旋转向量、四元数或欧拉角表示(这四个量也可以互相转换)。三维人脸基底可以是预先获取的通用三维人脸基底模型，也可以是基于大量人脸模型样本训练得到的三维人脸基底模型。

终端从第一人脸图像中提取各个面部特征对应的特征点后，根据人脸的特征点估计人脸姿态，进而在预设的三维人脸基底模型的基础上，建立二维与三维的映射模型，并矫正人脸姿态，得到对应的3D投影图像。

具体地，终端可以获取预设三维人脸基底映射在二维平面上的映射坐标信息，根据二维坐标信息和映射坐标信息确定特征点对应的三维坐标信息以及三维映射参数。终端进而可以根据特征点对应的三维坐标信息以及三维映射参数估计人脸姿态。终端还可以根据人脸特征点、二维坐标信息以及三维映射参数建立二维与三维的映射模型。终端进而根据人脸姿态和二维坐标信息更新特征点以及对应三维映射参数，由此可以根据更新后的三维映射参数和人脸特征生成第一用户对应的三维人脸特征。获得的三维人脸特征中包括各个特征点的二维坐标点对应的三维坐标信息。

例如，可以在预设的三维形变模型基础上，建立新的2D与3D映射模型，利用3D形变模型映射矫正人脸姿态。具体的映射模型的公式可以如下：

其中，F_2Dloca表示特征点在2维平面上的位置，

表示人脸的平均形状，k是比例因子，M₁是正交投影矩阵，R是3×3旋转矩阵，T_3D表示特征点转换向量，P_id表示此人的脸部形状特征，λ_id表示形状权重，P_exp表示此人的脸部表情特征，λ_exp表示表情权重。

具体地，终端可以首先将λ_id和λ_exp初始化为零，并使用弱透视投影模型，根据提取的面部特征点粗略估计人脸姿态，然后根据人脸方位更新人脸特征点，再通过上述公式计算各个三维映射参数，从而可以有效获得第一用户对应的三维人脸特征。

在一个实施例中，基于三维人脸特征进行三维映射处理，生成第一人脸图像对应的三维投影图像包括：根据三维人脸特征构建三维人脸映射矩阵；对人脸特征的人脸轮廓进行定位；基于人脸特征中的人脸轮廓特征，对三维人脸映射矩阵的边界进行调整，得到第一人脸图像对应的三维投影图像。

其中，矩阵是一个按照长方阵列排列的复数或实数集合。三维人脸映射矩阵可以是一种线性映射矩阵，是线性映射的数量表示，用于表示人脸特征点在二维图像与三维立体模型之间的映射关系。人脸轮廓可以包括五官局部轮廓和人脸外轮廓，人脸轮廓是人脸的面部特征中的重要特征。面部特征可以包括局部的特征点信息和整体的特征信息。

人脸图像经人脸姿态表情归一化后，在背景与人脸之间通常会存在一部分空白区域，终端可以根据人脸轮廓对三维投影图像的边界位置进行调整。

具体地，终端基于人脸特征点、二维坐标信息以及三维映射参数获得第一用户对应的三维人脸特征后，则根据三维人脸特征构建三维人脸映射矩阵，并对人脸特征的人脸轮廓进行定位。终端进而根据人脸特征中的人脸轮廓特征，对三维人脸映射矩阵的边界进行调整，由此得到精准度较高的第一用户的人脸对应的三维投影图像。

具体地，对三维人脸映射矩阵的边界进行调整的公式可以如下：

其中，(x_{2_new},y_{2_new})表示需要求解的连接锚点2的新位置，(x_{1_con},y_{1_con})表示边界锚点1的预定义面部轮廓位置，(x₁，y₁)和(x₂，y₂)表示调整前的坐标。

在其中一个实施例中，终端可以自动化根据预设程序对三维人脸映射矩阵的边界进行调整，从而有效获得第一用户的人脸对应的三维投影图像。

在另一个实施例中，还可以在终端上进行手动锚点调整。通过调整人脸周围的锚点，使这些锚点与人脸轮廓尽量重合，即将边界锚点移动到3D人脸模型上的预定义位置，并尝试保持空间距离不变。以实现对三维人脸映射矩阵的边界进行调整，从而有效获得第一用户的人脸对应的三维投影图像。

在一个实施例中，上述人脸图像处理方法还包括：提取第一人脸图像对应的光照参数和面部参数；基于光照参数和面部参数对三维人脸映射矩阵进行人脸细节填充。

其中，光照是影响人脸成像和人脸图像构成的因素，光照变化是影响人脸识别性能的关键因素。人脸的光照参数表示人脸在光照反射下的一些参数，如包括光强度、光泽度、高光、环境光、方向光、镜面反射参数以及环境反射参数等参数。面部参数是指人脸面部的一些参数，如包括面部在光照下的光照反射参数，以及面部纹理参数、面部肤色参数等。例如可以通过光照变化建模，基于在一个合适的子空间中表示光照引起的变化，根据第一人脸图像中的人脸特征估计模型参数，以估计人脸的光照参数。例如可以采用子空间投影法、商函数法、光照锥法和基于球面谐波基图像等算法实现。

在原始人脸图像偏中人脸的侧角度过大时，需要进一步对不可见区域进行填充。并模拟人脸在光照下的反射情况获得人脸的光照参数，然后根据人脸的对称性和光照参数等对人脸细节进行填充。

具体地，终端基于人脸特征点、二维坐标信息以及三维映射参数获得第一用户对应的三维人脸特征后，提取第一人脸图像对应的光照参数和面部参数，基于光照反射参数和面部参数对三维人脸映射矩阵进行人脸细节填充。

例如，可以采用基于球谐反射基的线性组合模拟人脸在光照下的反射情况，以获得人脸图像中的光照参数。其中，提取第一人脸图像对应的光照参数的公式可以如下：

其中，β是一个9维光照参数，P对应3D像素点，D表示球谐反射基。

终端进而可以根据人脸的对称性对人脸细节通过镜像进行补充。具体地。终端可以采用基于泊松方程的图像编辑方式，将源对象无缝地***到图像中。以得到具有边界条件的泊松偏微分方程，具体表达式可以如下：

其中，pic表示要求解的处理后图像，△表示Laplacian运算符，

表示要***的纹理的Laplacian值，Ω表示编辑区域，αΩ表示编辑区域的边界，pic₀表示输入的待处理图像。

在一个实施例中，基于第二人脸视频中的各第二人脸图像提取人脸表情特征包括：提取第二人脸视频中的关键帧的第二人脸图像；提取各帧第二人脸图像中的人脸参数；根据各帧第二人脸图像中的人脸参数估计正态表情分布，基于正态表情分布得到第二用户的人脸表情特征。

其中，第二人脸视频可以是按照指定指令进行表情响应的人脸视频，人脸视频中包括连续多帧包括人脸的图像。人脸参数包括人脸特征点、人脸姿态、局部表情特征等参数，局部表情特征如面部各个部分的状态，如睁眼、闭眼、张嘴等。其中，关键帧包括至少两帧以上的视频帧。

终端基于第二人脸视频中的各第二人脸图像提取人脸表情特征时，可以仅提取表情响应所对应的关键帧人脸图像。具体地，终端可以通过识别人脸视频中的表情变化动作，根据表情变化动作确定表情响应所对应的关键帧，进而提取第二人脸视频中的关键帧的第二人脸图像。

在其中一个实施例中，终端识别出人脸视频中的表情变化动作后，根据表情变化动作确定表情响应所对应的视频帧，终端还可以进一步从这些帧中提取与表情变化动作相关的关键帧，例如可以根据表情变化幅度从这些视频帧中提取一部分比较重要的帧，将这些提取的视频帧确定为关键帧。从而可以有效地从人脸视频中获得仅与表情变化动作相关的重要帧，以减少终端对人脸图像进行处理的计算资源。

终端从人脸视频中提取关键帧对应的第二人脸图像，并生成关键帧集。终端则对关键帧集中的各帧第二人脸图像进行特征提取，提取出各帧第二人脸图像中的面部特征点和表情状态特征，根据面部特征点和表情状态特征得到人脸参数。终端进而根据各帧第二人脸图像中的人脸参数估计正态表情分布，基于正态表情分布可以获得第二用户的人脸表情特征。

例如终端可以对输入视频序列的k个关键帧上的所有参数同时进行估算，需要估算的参数主要包括人脸参数、全局标志、内联函数、未知的各帧姿态以及光照参数等，以捕获用户的表情。例如可以采用迭代加权最小二乘(IRLS)求解器，同时解出整个关键帧集的人脸参数对应的正态方程组，以估计正态表情分布，进而根据正态表情分布获取动态的人脸表情特征。

在一个实施例中，将提取获得的各人脸表情特征分别融合至三维投影图像中进行表情重构，获得合成人脸视频包括：基于各第二人脸图像对三维投影图像进行模型重构，得到三维人脸图像；基于各人脸表情特征对三维人脸图像中的人脸特征进行表情转换，得到包括各人脸表情特征的三维人脸图像；根据包括各人脸表情特征的三维人脸图像生成合成人脸视频。

其中，三维人脸图像是指用于投影至三维实体模型后显示三维立体人脸的投影图像。

终端提取出第一用户人脸对应的三维投影图像，以及从人脸视频中提取出第二用户人脸对应的各人脸表情特征后，在不影响第一用户的人脸特征的前提下，将第二用户人脸的表情传输给第一用户人脸。将第二用户人脸的人脸表情特征和第一用户人脸的表情进行转换，以获得带表情的人脸图像。

在对人脸进行人脸建模时，人脸模型可以包括人脸关键特征点(如眉骨、眼廓、鼻子、嘴唇等)的位置坐标、关键特征点的反光度以及人脸表情等部分。人脸关键点的位置坐标和关键特征点的反光度主要用来表征人脸的形状。在进行表情重构时，需要先对第一用户人脸和第二用户人脸建立中性人脸模型，也就是无表情的人脸模型。因此，将第二用户的人脸模型和中性人脸模型做为输入，就可以输出带表情的人脸模型。

具体地，终端获得第二用户的第二人脸图像后，基于第二人脸图像和第一人脸图像对应的三维投影图像进行模型重构，得到目标人脸模型，即第一用户人脸和第二用户人脸之间的中性人脸模型。从而得到重构后的三维人脸图像，三维人脸图像则为三维的目标人脸模型在二维平面投影所得到图像。

终端进一步基于各人脸表情特征对三维人脸图像中的人脸特征进行表情转换。具体地，终端将第二用户的各人脸表情特征输入至三维人脸图像对应的目标人脸模型中，根据动态的各人脸表情特征对原始表情特征进行替换，从而将目标人脸模型的原始表情转换为第二用户的人脸表情。由此能够有效获得包括各人脸表情特征的三维人脸图像。

例如，终端可以采用子空间变形传输技术进行表情重构，通过提取到的第二用户的人脸表情特征，对第二用户人脸重新建模。保持第一用户人脸的关键特征点的位置坐标和反光度不变，通过修改目标人脸模型的原始表情部分，由此可以在不影响人脸形状特征下高效实现表情转换。

通过基于动态的各人脸表情特征对三维人脸图像中的人脸特征进行表情转换后，可以有效得到包括动态人脸表情特征的连续的多帧三维人脸图像。终端则将连续帧的三维人脸图像合成对应的视频，从而生成对应的合成人脸视频。

本实施例中，通过基于第二用户人脸的各人脸表情特征对第一用户人脸对应的三维人脸图像进行表情重构和转换，能够精准有效地得到带表情的第一用户人脸对应的三维人脸图像，进而能够有效地获得带表情响应的合成人脸视频。

在一个实施例中，如图5所示，提供了一种人脸图像处理方法，包括以下步骤：

S502，获取第一用户的第一人脸图像。

S504，基于第一人脸图像的人脸特征生成对应的三维投影图像。

S506，获取第二用户的第二人脸视频，基于第二人脸视频中的各第二人脸图像提取人脸表情特征。

S508，基于各第二人脸图像对三维投影图像进行模型重构，得到三维人脸图像。

S510，识别人脸表情特征对应的表情区域；根据人脸表情特征对三维投影图像中表情区域的特征点进行表情变换，得到包括人脸表情特征的三维人脸图像。

S512，根据包括各人脸表情特征的三维人脸图像生成合成人脸视频。

S514，将合成人脸视频投影至三维实体模型进行播放，经过投影的三维实体模型用于人脸识别。

其中，表情区域是指带有表情的人脸中随表情动作发生变化的关键特征点对应的区域，表情区域可以为局部特征区域，也可以为整体人脸特征区域。例如当表情为“张嘴”或“微笑”时，表情区域仅为嘴唇区域；当“大笑”或“摇头”时，表情区域则可以为整个人脸区域。其中，表情变换可以采用仿射变换的方式，仿射变换又称仿射映射，是指在几何中一个向量空间进行一次线性变换并接上一个平移，变换为另一个向量空间。

终端从第二人脸视频中获得第二人脸图像对应的人脸表情特征后，识别表情特征对应的表情区域，进而对表情区域部分进行表情转换。具体地，终端基于第二人脸图像和第一人脸图像对应的三维投影图像进行模型重构，得到目标人脸模型后，将第二用户的各人脸表情特征输入至三维人脸图像对应的目标人脸模型中，根据人脸表情特征对目标人脸模型中表情区域对应的特征点进行表情变换。具体可以为将人脸表情特征与表情区域对应的特征点进行仿射变换，从而实现表情转换。根据动态的各人脸表情特征对原始表情特征进行表情变换，从而将目标人脸模型的原始表情转换为第二用户的人脸表情。

例如，以第二用户人脸的表情为“张嘴”例，终端从第二人脸视频中获得第二人脸图像对应的人脸表情特征后，可以识别出表情区域为“张嘴”。其中，“张嘴”表情区域对应的人脸表情特征可以包括嘴唇部分和口腔部分。将人脸表情特征与目标人脸模型中表情区域对应的特征点进行变换时，可以保留第一用户的嘴唇特征，仅对口腔部分进行修改和变换，以实现保留嘴部的口腔合成。由此能够有效的将第二用户的表情融入至第一用户的人脸中。

在一个实施例中，如图6所示，提供了一种人脸图像处理方法，包括以下步骤：

S602，获取第一用户的第一人脸图像。

S604，基于第一人脸图像的人脸特征生成对应的三维投影图像。

S606，获取第二用户的第二人脸视频，基于第二人脸视频中的各第二人脸图像提取人脸表情特征。

S608，基于各第二人脸图像对三维投影图像进行模型重构，得到三维人脸图像。

S610，识别人脸表情特征对应的表情区域；获取第一用户与表情区域和人脸表情特征对应的人脸表情图像。

S612，将人脸表情图像中表情区域的目标表情特征拼接至三维人脸图像中，得到包括人脸表情特征的三维人脸图像。

S614，根据包括各人脸表情特征的三维人脸图像生成合成人脸视频。

S616，将合成人脸视频投影至三维实体模型进行播放，经过投影的三维实体模型用于人脸识别。

其中，第一用户的人脸表情图像可以从第一用户对应的表情样本中获取。表情样本可以是预选获取的目标用户的离线样本，包括目标用户的人脸表情图片序列。其中，人脸表情图片序列可以包括完整的人脸，也可以包括局部的表情区域。

终端基于第二人脸图像和第一人脸图像对应的三维投影图像进行模型重构，得到目标人脸模型后，将第二用户的各人脸表情特征输入至三维人脸图像对应的目标人脸模型中，根据人脸表情特征对目标人脸模型中表情区域进行表情变换。具体地，终端根据人脸表情特征从第一用户对应的表情样本中获取与人脸表情特征相匹配的表情图片序列，将获取的表情图片序列中对应的表情区域拼接至第一用户对应的三维人脸图像，并将表情图片序列中的目标表情特征融合至三维人脸图像中的人脸特征中，从而得到第一用户的包括人脸表情特征的三维人脸图像。由此能够有效获得与第二用户的表情一致且逼真度较高的三维人脸图像序列。

例如，以第二用户人脸的表情为“张嘴”例，终端从第二人脸视频中获得第二人脸图像对应的人脸表情特征后，可以识别出表情区域为“张嘴”。其中，“张嘴”表情区域对应的人脸表情特征可以包括上下嘴唇的开合度、左右嘴角的距离和偏转度等特征。终端则根据人脸表情特征从第一用户对应的表情样本中获取与人脸表情特征相匹配的表情图片序列。具体地，终端可以通过计算样本帧与“嘴唇”表情帧的描述矩阵的距离，描述矩阵中包括各个表情特征参数。然后终端可以采用K-means算法，例如以10帧为1簇，提取出每簇中距离最小的帧，也就是跟“嘴唇”表情的目标口型最接近的帧作为该簇的代表，最后在所有簇代表中再选出距离最小的一帧作为最后的匹配结果。通过根据特征相似性测度从离线样本中匹配出与目标人脸匹配度最高的口形，从而可以有效地生成逼真的口腔图像。由此能够提取出于第二用户表情的匹配度较高的第一用户的表情图片序列。以从目标人物的各种口型图片里选择出能匹配指定表情动作的帧，将提取的表情帧拼接至第一用户的三维人脸图像中，由此能够有效获得与第二用户的表情一致且逼真度较高的三维人脸图像序列。

在一个实施例中，上述人脸图像处理还包括：获取第一用户的第一人脸视频；基于第一人脸视频中的各第一人脸图像提取人脸特征；根据各第一人脸图像的人脸特征生成对应的三维投影图像。

其中，第一用户人脸视频是指包括第一用户的人脸的视频，包括连续帧的第一用户人脸图像序列。

终端获取第一用户的第一人脸视频后，从第一用户的人脸视频中提取出连续帧的第一人脸图像。终端分别提取各第一人脸图像中的人脸特征，进而根据各第一人脸图像的人脸特征生成对应的三维投影图像。具体地，终端基于各第一人脸图像对应的动态的特征点估计人脸姿态，并基于二维的特征点通过三维模型映射进行人脸建模，得到人脸特征对应的三维坐标信息。终端根据人脸方位矫正人脸姿态，得到表情归一化后的人脸特征，进而基于通过三维形变映射并矫正后的人脸特征生成三维投影图像。通过从人脸视频中提取第一用户人脸对应动态的人脸特征，由此能够有效地构建精确度较高的三维人脸模型，进而能够有效生成对应的三维投影图像。

在一个实施例中，如图7所示，提供了一种人脸图像处理方法，具体包括以下步骤：

S702，获取第一用户的第一人脸视频。

S704，基于第一人脸视频中的各第一人脸图像提取人脸特征。

S706，根据各第一人脸图像的人脸特征生成对应的三维投影图像。

S708，获取第二用户的第二人脸视频，基于第二人脸视频中的各第二人脸图像提取人脸表情特征。

S710，将提取获得的各人脸表情特征分别融合至各三维投影图像中进行表情重构，获得合成人脸视频。

S712，将合成人脸视频投影至三维实体模型进行播放，经过投影的三维实体模型用于人脸识别。

终端基于第一人脸视频中的各第一人脸图像提取人脸特征后，根据各第一人脸图像的人脸特征分别生成对应的三维投影图像，由此得到连续帧的三维投影图像序列。

终端获取第二用户的第二人脸视频，基于第二人脸视频中的各第二人脸图像提取人脸表情特征后，进一步将提取获得的各人脸表情特征分别融合至各三维投影图像中进行表情重构。具体地，终端可以按照图像帧序列，分别将每一帧对应的人脸表情特征融合至每一帧人脸图像对应的三维投影图像中进行表情重构，分别得到每一帧对应的三维人脸图像。终端进而基于各帧三维人脸图像带有动态表情响应的并合成人脸视频。通过提取第二用户的人脸视频中各帧对应的人脸表情特征，分别将其合成到连续的各帧三维投影图像中，由此能够有效地生成真实性较高的带有动态表情响应的合成人脸视频。

在一个具体的实施例中，如图8所示，提供了一种人脸图像处理方法，包括以下步骤：

S802，获取第一用户的第一人脸图像。

S804，获取人脸特征中特征点对应的二维坐标信息，根据特征点估计人脸姿态。

S806，获取预设三维人脸基底映射在二维平面上的映射坐标信息；根据二维坐标信息和映射坐标信息确定特征点对应的三维映射参数。

S808，根据人脸姿态和二维坐标信息更新特征点和对应的三维映射参数；基于更新后的特征点和三维映射参数生成三维人脸特征。

S810，对三维人脸特征进行三维映射处理，生成第一人脸图像对应的三维投影图像。

S812，根据三维人脸特征构建三维人脸映射矩阵；对人脸特征的人脸轮廓进行定位。

S814，基于人脸特征中的人脸轮廓特征，对三维人脸映射矩阵的边界进行调整，得到第一人脸图像对应的三维投影图像。

S816，提取第二人脸视频中的关键帧的第二人脸图像；提取各帧第二人脸图像中的人脸参数。

S818，根据各帧第二人脸图像中的人脸参数估计正态表情分布，基于正态表情分布得到第二用户的人脸表情特征。

S820，基于各第二人脸图像对三维投影图像进行模型重构，得到三维人脸图像。

S822，基于各人脸表情特征对三维人脸图像中的人脸特征进行表情转换，得到包括各人脸表情特征的三维人脸图像。

S824，根据包括各人脸表情特征的三维人脸图像生成合成人脸视频。

S826，将合成人脸视频投影至三维实体模型进行播放，经过投影的三维实体模型用于人脸识别。

本实施例中，通过对基于第一用户的人脸和第二用户的表情融合的合成人脸视频在三维实体模型的投影进行人脸识别，能够有效地对人脸识别***的效果进行验证，以利于进一步以提高人脸识别的安全性。通过生成准确性和真实性较高的合成人脸视频，并投影至可重复使用的三维实体模型上进行人脸识别，能够有效节省验证的成本，并且有效提高了对人脸识别***的效率。

本申请还提供一种应用场景，该应用场景应用上述的人脸图像处理方法，用于验证人脸识别的效果。具体地，身份验证设备需要对第一用户进行人脸识别以进行身份认证时，终端获取第一用户的第一人脸图像，基于第一人脸图像的人脸特征生成对应的三维投影图像。第二用户根据身份认证发出的指示进行表情响应，终端则获取第二用户响应身份认证的第二人脸视频，基于第二人脸视频中的各第二人脸图像提取人脸表情特征，并将提取获得的各人脸表情特征分别融合至三维投影图像中进行表情重构，生成包含表情响应的合成人脸视频。终端将合成人脸视频投影至三维实体模型进行播放，身份验证设备则获取经过投影的三维实体模型对应的人脸视频，以进行人脸识别，得到识别结果。从而可以根据识别结果验证人脸识别的效果。

本申请还另外提供一种应用场景，该应用场景应用上述的人脸图像处理方法，用于对人脸识别***进行测试。具体地，人脸识别***需要对第一用户进行人脸识别以进行身份认证时，终端获取第一用户的第一人脸图像，基于第一人脸图像的人脸特征生成对应的三维投影图像。第二用户根据身份认证发出的指示进行表情响应，终端则获取第二用户响应身份认证的第二人脸视频，基于第二人脸视频中的各第二人脸图像提取人脸表情特征，并将提取获得的各人脸表情特征分别融合至三维投影图像中进行表情重构，生成包含表情响应的合成人脸视频。终端将合成人脸视频投影至三维实体模型进行播放，通过身份验证设备采集经过投影的三维实体模型对应的人脸视频，利用采集的人脸视频进行人脸识别，以对人脸识别***进行攻击测试，得到人脸识别结果。从而可以利用人脸识别结果以及识别过程中的数据获得测试结果数据。通过对人脸识别***进行攻击测试，能够进一步有效提高人脸识别***的安全性。

应该理解的是，虽然图2、5-8的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、5-8中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图9所示，提供了一种人脸图像处理装置900，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：图像获取模块902、图像转换模块904、表情提取模块906、表情重构模块908和视频投影模块910，其中：

图像获取模块902，用于获取第一用户的第一人脸图像；

图像转换模块904，用于基于第一人脸图像的人脸特征生成对应的三维投影图像；

表情提取模块906，用于获取第二用户的第二人脸视频，基于第二人脸视频中的各第二人脸图像提取人脸表情特征；

表情重构模块908，用于将提取获得的各人脸表情特征分别融合至三维投影图像中进行表情重构，获得合成人脸视频；

视频投影模块910，用于将合成人脸视频投影至三维实体模型进行播放，经过投影的三维实体模型用于人脸识别。

在一个实施例中，图像转换模块904还用于识别第一人脸图像中的遮挡特征点；根据人脸特征中的特征点计算偏侧角度；基于偏侧角度对遮挡特征点进行矫正，得到第一人脸图像的人脸特征。

在一个实施例中，图像转换模块904还用于获取人脸特征中特征点对应的二维坐标信息；基于二维坐标信息确定第一人脸图像的三维人脸特征；对三维人脸特征进行三维映射处理，生成第一人脸图像对应的三维投影图像。

在一个实施例中，图像转换模块904还用于根据特征点估计人脸姿态；获取预设三维人脸基底映射在二维平面上的映射坐标信息；根据二维坐标信息和映射坐标信息确定特征点对应的三维映射参数；根据人脸姿态和二维坐标信息更新特征点和对应的三维映射参数；基于更新后的特征点和三维映射参数生成三维人脸特征。

在一个实施例中，图像转换模块904还用于根据三维人脸特征构建三维人脸映射矩阵；对人脸特征的人脸轮廓进行定位；基于人脸特征中的人脸轮廓特征，对三维人脸映射矩阵的边界进行调整，得到第一人脸图像对应的三维投影图像。

在一个实施例中，图像转换模块904还用于提取第一人脸图像对应的光照参数和面部参数；基于光照参数和面部参数对三维人脸映射矩阵进行人脸细节填充。

在一个实施例中，表情提取模块906还用于提取第二人脸视频中的关键帧的第二人脸图像；提取各帧第二人脸图像中的人脸参数；根据各帧第二人脸图像中的人脸参数估计正态表情分布，基于正态表情分布得到第二用户的人脸表情特征。

在一个实施例中，表情重构模块908还用于基于各第二人脸图像对三维投影图像进行模型重构，得到三维人脸图像；基于各人脸表情特征对三维人脸图像中的人脸特征进行表情转换，得到包括各人脸表情特征的三维人脸图像；根据包括各人脸表情特征的三维人脸图像生成合成人脸视频。

在一个实施例中，表情重构模块908还用于识别人脸表情特征对应的表情区域；根据人脸表情特征对三维投影图像中表情区域的特征点进行表情变换，得到包括人脸表情特征的三维人脸图像。

在一个实施例中，表情重构模块908还用于识别人脸表情特征对应的表情区域；获取第一用户与表情区域和人脸表情特征对应的人脸表情图像；将人脸表情图像中表情区域的目标表情特征拼接至三维人脸图像中，得到包括人脸表情特征的三维人脸图像。

在一个实施例中，图像获取模块902还用于获取第一用户的第一人脸视频；图像转换模块904还用于基于第一人脸视频中的各第一人脸图像提取人脸特征；根据各第一人脸图像的人脸特征生成对应的三维投影图像。

在一个实施例中，表情重构模块908还用于将提取获得的各人脸表情特征分别融合至各三维投影图像中进行表情重构，获得合成人脸视频。

关于人脸图像处理装置的具体限定可以参见上文中对于人脸图像处理方法的限定，在此不再赘述。上述人脸图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图10所示。该计算机设备包括通过***总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种人脸图像处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种人脸图像处理方法，其特征在于，所述方法包括：

获取第一用户的第一人脸图像；

基于所述第一人脸图像的人脸特征生成对应的三维投影图像；

获取第二用户的第二人脸视频，基于所述第二人脸视频中的各第二人脸图像提取人脸表情特征；

将提取获得的各所述人脸表情特征分别融合至所述三维投影图像中进行表情重构，获得合成人脸视频；

将所述合成人脸视频投影至三维实体模型进行播放，经过投影的所述三维实体模型用于人脸识别。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

识别所述第一人脸图像中的遮挡特征点；

根据所述人脸特征中的特征点计算偏侧角度；

基于所述偏侧角度对所述遮挡特征点进行矫正，得到所述第一人脸图像的人脸特征。

3.根据权利要求1所述的方法，其特征在于，所述基于所述第一人脸图像的人脸特征生成三维投影图像包括：

获取所述人脸特征中特征点对应的二维坐标信息；

基于所述二维坐标信息确定所述第一人脸图像的三维人脸特征；

对所述三维人脸特征进行三维映射处理，生成所述第一人脸图像对应的三维投影图像。

4.根据权利要求3所述的方法，其特征在于，所述根据所述二维坐标信息确定所述第一人脸图像的三维人脸特征包括：

根据所述特征点估计人脸姿态；

获取预设三维人脸基底映射在二维平面上的映射坐标信息；

根据所述二维坐标信息和所述映射坐标信息确定所述特征点对应的三维映射参数；

根据所述人脸姿态和所述二维坐标信息更新所述特征点和对应的三维映射参数；

基于更新后的特征点和三维映射参数生成所述三维人脸特征。

5.根据权利要求3所述的方法，其特征在于，所述基于所述三维人脸特征进行三维映射处理，生成所述第一人脸图像对应的三维投影图像包括：

根据所述三维人脸特征构建三维人脸映射矩阵；

对所述人脸特征的人脸轮廓进行定位；

基于所述人脸特征中的人脸轮廓特征，对所述三维人脸映射矩阵的边界进行调整，得到所述第一人脸图像对应的三维投影图像。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

提取所述第一人脸图像对应的光照参数和面部参数；

基于所述光照参数和所述面部参数对所述三维人脸映射矩阵进行人脸细节填充。

7.根据权利要求1所述的方法，其特征在于，所述基于所述第二人脸视频中的各第二人脸图像提取人脸表情特征包括：

提取所述第二人脸视频中的关键帧的第二人脸图像；

提取各帧第二人脸图像中的人脸参数；

根据所述各帧第二人脸图像中的人脸参数估计正态表情分布，基于所述正态表情分布得到所述第二用户的人脸表情特征。

8.根据权利要求1所述的方法，其特征在于，所述将提取获得的各所述人脸表情特征分别融合至所述三维投影图像中进行表情重构，获得合成人脸视频包括：

基于各第二人脸图像对所述三维投影图像进行模型重构，得到三维人脸图像；

基于各所述人脸表情特征对所述三维人脸图像中的人脸特征进行表情转换，得到包括各所述人脸表情特征的三维人脸图像；

根据所述包括各所述人脸表情特征的三维人脸图像生成所述合成人脸视频。

9.根据权利要求8所述的方法，其特征在于，所述基于各所述人脸表情特征对所述三维人脸图像中的人脸特征进行表情转换，得到包括所述人脸表情特征的三维人脸图像包括：

识别所述人脸表情特征对应的表情区域；

根据所述人脸表情特征对所述三维投影图像中表情区域的特征点进行表情变换，得到包括所述人脸表情特征的三维人脸图像。

10.根据权利要求8所述的方法，其特征在于，所述基于各所述人脸表情特征对所述三维人脸图像中的人脸特征进行表情转换，得到包括所述人脸表情特征的三维人脸图像包括：

识别所述人脸表情特征对应的表情区域；

获取所述第一用户与所述表情区域和所述人脸表情特征对应的人脸表情图像；

将所述人脸表情图像中所述表情区域的目标表情特征拼接至所述三维人脸图像中，得到包括所述人脸表情特征的三维人脸图像。

11.根据权利要求1至10任意一项所述的方法，其特征在于，所述方法还包括：

获取第一用户的第一人脸视频；

基于所述第一人脸视频中的各第一人脸图像提取人脸特征；

根据所述各第一人脸图像的人脸特征生成对应的三维投影图像。

12.根据权利要求11所述的方法，其特征在于，所述方法还包括：

将提取获得的各所述人脸表情特征分别融合至各所述三维投影图像中进行表情重构，获得合成人脸视频。

13.一种人脸图像处理装置，其特征在于，所述装置包括：

图像获取模块，用于获取第一用户的第一人脸图像；

图像转换模块，用于基于所述第一人脸图像的人脸特征生成对应的三维投影图像；

表情提取模块，用于获取第二用户的第二人脸视频，基于所述第二人脸视频中的各第二人脸图像提取人脸表情特征；

表情重构模块，用于将提取获得的各所述人脸表情特征分别融合至所述三维投影图像中进行表情重构，获得合成人脸视频；

视频投影模块，用于将所述合成人脸视频投影至三维实体模型进行播放，经过投影的所述三维实体模型用于人脸识别。

14.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至12中任一项所述的方法的步骤。

15.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。

Images