CN110728193B - 一种脸部图像丰富度特征的检测方法及设备 - Google Patents

Abstract

本申请的目的是提供一种脸部图像丰富度特征的检测方法及设备，本申请通过对获取的至少一个脸部样本图像进行人脸检测，得到至少一个脸部样本图像中各图像的待检测区域；对至少一个脸部样本图像中各图像的待检测区域分别进行脸部特征提取和脸部表情识别，得到至少一个脸部样本图像中各图像的脸部特征信息和脸部表情信息；对至少一个脸部样本图像中各图像的脸部特征信息和脸部表情信息进行特征融合，得到至少一个脸部样本图像的丰富度特征，以便后续在脸部图像替换模型的训练时能用来评价用于训练的脸部图像的样本质量，使得训练的脸部图像替换模型能有效贴合用于替换的人脸的各种面部姿态及表情等，从而提高用户的换脸体验度。

Description

一种脸部图像丰富度特征的检测方法及设备

技术领域

本申请涉及图像处理技术领域，尤其涉及一种脸部图像丰富度特征的检测方法及设备。

背景技术

人脸替换技术是计算机视觉领域中一个重要的研究方向，由于人脸替换技术代替了photoshop等软件手工进行图像编辑融合等各种弊端，因而在商业、娱乐及其一些特殊的行业有着巨大的影响。在现有的深度人脸识别技术(如深度换脸)中，对于用户或第三方提供的一批人脸样本，往往没有建立起有效的样本质量评价体系(比如，样本丰富度)，很难保证最终合成样本的可靠性，很容易导致训练模型无法有效贴合模版样本中目标人脸的各种面部姿态，表情等，使得最终的效果很差，从而降低换脸体验度。

发明内容

本申请的一个目的是提供一种脸部图像丰富度特征的检测方法及设备，以解决现有技术中在进行人脸识别过程中缺乏人脸的丰富度特征的问题。

根据本申请的一个方面，提供了一种脸部图像丰富度特征的检测方法，其中，所述方法包括：

获取至少一个脸部样本图像；

对所述至少一个脸部样本图像进行人脸检测，得到所述至少一个脸部样本图像中各图像的待检测区域；

对所述至少一个脸部样本图像中各图像的待检测区域进行脸部特征提取得到所述至少一个脸部样本图像中各图像的脸部特征信息；

对所述至少一个脸部样本图像中各图像的待检测区域进行脸部表情识别得到所述至少一个脸部样本图像中各图像的脸部表情信息；

对所述至少一个脸部样本图像中各图像的脸部特征信息和脸部表情信息进行特征融合，得到所述至少一个脸部样本图像的丰富度特征。

进一步地，上述方法中，所述脸部特征信息包括所述脸部特征点信息和脸部角度信息，其中，

所述对所述至少一个脸部样本图像中各图像的待检测区域进行脸部特征提取得到所述至少一个脸部样本图像中各图像的脸部特征信息，包括：

对所述至少一个脸部样本图像中各图像的待检测区域进行脸部特征点提取，得到所述至少一个脸部样本图像中各图像的脸部特征点信息；

对所述至少一个脸部样本图像中各图像的脸部特征点信息进行脸部角度识别，得到所述至少一个脸部样本图像中各图像的脸部角度信息；

其中，所述对所述至少一个脸部样本图像中各图像的脸部特征信息和脸部表情信息进行特征融合，得到所述至少一个脸部样本图像的丰富度特征，包括：

对所述至少一个脸部样本图像中各图像的脸部特征点信息、脸部角度信息和脸部表情信息进行特征融合，得到所述至少一个脸部样本图像的丰富度特征。

进一步地，上述方法中，所述对所述至少一个脸部样本图像中各图像的待检测区域进行脸部特征点提取，得到所述至少一个脸部样本图像中各图像的脸部特征点信息，包括：

获取用于检测脸部特征的关键点定位模型，其中，所述关键点定位模型由局部二值化特征算法和随机森林算法训练得到；

通过所述关键点定位模型，对所述至少一个脸部样本图像中各图像的待检测区域进行脸部特征点提取，得到所述至少一个脸部样本图像中各图像的脸部特征点信息。

进一步地，上述方法中，所述对所述至少一个脸部样本图像中各图像的脸部特征点信息进行脸部角度识别，得到所述至少一个脸部样本图像中各图像的脸部角度信息，包括：

获取用于识别脸部角度的脸部角度识别模型；

通过所述脸部角度识别模型，对所述至少一个脸部样本图像中各图像的脸部特征点信息进行脸部角度识别，得到所述至少一个脸部样本图像中各图像的脸部角度信息。

进一步地，上述方法中，所述对所述至少一个脸部样本图像中各图像的待检测区域进行脸部表情识别得到所述至少一个脸部样本图像中各图像的脸部表情信息，包括：

获取用于识别脸部表情的脸部表情识别模型，其中，所述脸部表情识别模型由基于深度学习的卷积神经网络训练得到；

通过所述脸部表情识别模型，对所述至少一个脸部样本图像中各图像的待检测区域进行脸部表情识别得到所述至少一个脸部样本图像中各图像的的脸部表情信息。

进一步地，上述方法中，所述对所述至少一个脸部样本图像中各图像的脸部特征信息和脸部表情信息进行特征融合，得到所述至少一个脸部样本图像的丰富度特征，包括：

对所述至少一个脸部样本图像中各图像的脸部特征信息和脸部表情信息进行融合，得到所述至少一个脸部样本图像中各图像的丰富度特征；

根据所述至少一个脸部样本图像中各图像的丰富度特征，得到所述至少一个脸部样本图像的丰富度特征。

进一步地，上述方法中，所述对所述至少一个脸部样本图像中各图像的脸部特征信息和脸部表情信息进行特征融合，得到所述至少一个脸部样本图像的丰富度特征，包括：

根据所述至少一个脸部样本图像中各图像的脸部特征信息，得到所述至少一个脸部样本图像的脸部特征信息；

根据所述至少一个脸部样本图像中各图像的脸部表情信息，得到所述至少一个脸部样本图像的脸部表情信息；

对所述至少一个脸部样本图像的脸部特征信息和脸部表情信息进行融合，得到所述至少一个脸部样本图像的丰富度特征。

进一步地，上述方法中，所述方法还包括：

基于所述待检测区域对对应的所述脸部样本图像进行有效性判断，

若所述待检测区域对应的脸部样本图像为有效脸部样本图像，则对所述脸部样本图像的待检测区域进行脸部特征提取和脸部表情识别。

进一步地，上述方法中，所述基于所述待检测区域对对应的所述脸部样本图像进行有效性判断，包括：

获取所述待检测区域的内容信息、像素信息及尺寸信息；

基于所述待检测区域的内容信息、像素信息及尺寸信息对对应的所述脸部样本图像进行有效性判断。

根据本申请的另一方面，还提供了一种脸部图像丰富度特征的检测设备，其中，该设备包括：

一个或多个处理器；

非易失性存储介质，用于存储一个或多个计算机可读指令，

当所述一个或多个计算机可读指令被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述脸部图像丰富度特征的检测方法。

根据本申请的另一方面，还提供了一种脸部图像丰富度特征的检测设备，其中，该设备包括：

一个或多个处理器；

非易失性存储介质，用于存储一个或多个计算机可读指令，

当所述一个或多个计算机可读指令被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述脸部图像丰富度特征的检测方法。

与现有技术相比，本申请通过获取至少一个脸部样本图像；对所述至少一个脸部样本图像进行人脸检测，得到所述至少一个脸部样本图像中各图像的待检测区域；对所述至少一个脸部样本图像中各图像的待检测区域进行脸部特征提取得到所述至少一个脸部样本图像中各图像的脸部特征信息；对所述至少一个脸部样本图像中各图像的待检测区域进行脸部表情识别得到所述至少一个脸部样本图像中各图像的脸部表情信息；对所述至少一个脸部样本图像中各图像的脸部特征信息和脸部表情信息进行特征融合，得到所述至少一个脸部样本图像的丰富度特征，实现对至少一个脸部样本图像的丰富度特征的检测，以便后续在脸部图像替换模型的训练过程中，能够用来评价用于训练脸部图像替换模型的样本脸部图像的样本质量，使得训练得到的脸部图像替换模型能够有效贴合用于替换的目标脸部图像的各种面部姿态及表情等，从而提高用户的换脸体验度。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出根据本申请一个方面的一种脸部图像丰富度特征的检测方法的流程示意图；

图2示出根据本申请一个方面的一种脸部图像丰富度特征的检测方法的实际应用场景的示意图。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

下面结合附图对本申请作进一步详细描述。

在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

如图1所示，本申请一个方面的一种脸部图像丰富度特征的检测方法的流程示意图，该方法包括步骤S11、步骤S12、步骤S13、步骤S14及步骤S15，其中，具体包括：

步骤S11，获取至少一个脸部样本图像；在此，所述脸部样本图像用于指示需要训练脸部图像的特征信息的人脸样本的脸部图像，所述脸部样本图像包括一个或多个。

步骤S12，对所述至少一个脸部样本图像进行人脸检测，得到所述至少一个脸部样本图像中各图像的待检测区域；在此，所述待检测区域用于指示包含人脸的脸部图像的需要进行检测的区域。

步骤S13，对所述至少一个脸部样本图像中各图像的待检测区域进行脸部特征提取得到所述至少一个脸部样本图像中各图像的脸部特征信息；

步骤S14，对所述至少一个脸部样本图像中各图像的待检测区域进行脸部表情识别得到所述至少一个脸部样本图像中各图像的脸部表情信息；

步骤S15，对所述至少一个脸部样本图像中各图像的脸部特征信息和脸部表情信息进行特征融合，得到所述至少一个脸部样本图像的丰富度特征。

通过上述步骤S11至步骤S15，实现对至少一个脸部样本图像(即一组脸部样本图像)的丰富度特征的检测，以便后续在脸部图像替换模型的训练过程中，能够用来评价用于训练脸部图像替换模型的样本脸部图像的样本质量，使得训练得到的脸部图像替换模型能够有效贴合用于替换的目标脸部图像的各种面部姿态及表情等，从而提高用户的换脸体验度。

例如，为了尽可能多维度的对一组人脸样本的脸部图像的特征进行提取和统计，首先，步骤S11获取一组脸部样本图像，分别为脸部样本图像1、脸部样本图像2、脸部样本图像3、……、脸部样本图像N，其中，N为选取的需要进行特征提取的人脸样本的数量，即脸部样本图像的数量；在步骤S12中，对所述N个脸部样本图像中的脸部样本图像1、脸部样本图像2、脸部样本图像3、……、脸部样本图像N进行人脸检测，得到所述N个脸部样本图像中的脸部样本图像1的待检测区域(Region of Interest，ROI)1，脸部样本图像2的待检测区域2、脸部样本图像3的待检测区域3、……、脸部样本图像N的待检测区域N；在步骤S13中，对所述N个脸部样本图像中的脸部样本图像1的ROI1、脸部样本图像2的ROI2、脸部样本图像3的ROI3、……、脸部样本图像N的ROI(N)进行脸部特征提取，得到所述N个脸部样本图像中的脸部样本图像1的脸部特征信息F1、脸部样本图像2的脸部特征信息F2、脸部样本图像3的脸部特征信息F3、……、脸部样本图像N的脸部特征信息F(N)；在步骤S14中，对所述N个脸部样本图像中的脸部样本图像1的ROI1、脸部样本图像2的ROI2、脸部样本图像3的ROI3、……、脸部样本图像N的ROI N进行脸部表情识别，得到所述N个脸部样本图像中的脸部样本图像1的脸部表情信息E1、脸部样本图像2的脸部表情信息E2、脸部样本图像3的脸部表情信息E3、……、脸部样本图像N的脸部表情信息E(N)；在步骤S15中，对所述N个脸部样本图像中的脸部样本图像1的脸部特征信息F1和脸部表情信息E1、脸部样本图像2的脸部特征信息F2和脸部表情信息E2、脸部样本图像3的脸部特征信息F3和脸部表情信息E3、……、脸部样本图像N的脸部特征信息F(N)和脸部表情信息E(N)进行特征融合，得到所述N个脸部样本图像的丰富度特征V，实现对一组的脸部样本图像的丰富度特征的检测，以便后续在脸部图像替换模型的训练过程中，能够用来评价用于训练脸部图像替换模型的样本脸部图像的样本质量，使得训练得到的脸部图像替换模型能够有效贴合用于替换的目标脸部图像的各种面部姿态及表情等，从而提高用户的换脸体验度。

接着本申请的上述实施例，所述脸部特征信息包括脸部特征点信息和脸部角度信息，其中，所述步骤S13对所述至少一个脸部样本图像中各图像的待检测区域进行脸部特征提取得到所述至少一个脸部样本图像中各图像的脸部特征信息，具体包括：

对所述至少一个脸部样本图像中各图像的待检测区域进行脸部特征点提取，得到所述至少一个脸部样本图像中各图像的脸部特征点信息；

对所述至少一个脸部样本图像中各图像的脸部特征点信息进行脸部角度识别，得到所述至少一个脸部样本图像中各图像的脸部角度信息；

其中，所述步骤S15对所述至少一个脸部样本图像中各图像的脸部特征信息和脸部表情信息进行特征融合，得到所述至少一个脸部样本图像的丰富度特征，具体包括：

对所述至少一个脸部样本图像中各图像的脸部特征点信息、脸部角度信息和脸部表情信息进行特征融合，得到所述至少一个脸部样本图像的丰富度特征。

例如，所述脸部特征信息F包括脸部特征点信息FP和脸部角度信息FA，则在步骤S13中对所述N个脸部样本图像中的脸部样本图像1的ROI1、脸部样本图像2的ROI2、脸部样本图像3的ROI3、……、脸部样本图像N的ROI(N)进行脸部特征提取时，包括：对所述N个脸部样本图像中的脸部样本图像1的ROI1、脸部样本图像2的ROI2、脸部样本图像3的ROI3、……、脸部样本图像N的ROI(N)进行脸部特征点提取，得到所述N个脸部样本图像中的脸部样本图像1的脸部特征点信息FP1、脸部样本图像2的脸部特征点信息FP2、脸部样本图像3的脸部特征点信息FP3、……、脸部样本图像N的脸部特征点信息FP(N)，并基于脸部特征点信息对所述N个脸部样本图像中的脸部样本图像1的ROI1、脸部样本图像2的ROI2、脸部样本图像3的ROI3、……、脸部样本图像N的ROI(N)进行脸部角度识别，得到所述N个脸部样本图像中的脸部样本图像1的脸部角度信息FA1、脸部样本图像2的脸部角度信息FA2、脸部样本图像3的脸部角度信息FA3、……、脸部样本图像N的脸部角度信息FA(N)；在步骤S15中对所述N个脸部样本图像中的各图像进行特征融合时，对所述N个脸部样本图像中的脸部样本图像1的脸部特征点信息FP1、脸部角度信息FA1和脸部表情信息E1、脸部样本图像2的脸部特征信息FP2、脸部角度信息FA2和脸部表情信息E2、脸部样本图像3的脸部特征信息FP3、脸部角度信息FA3和脸部表情信息E3、……、脸部样本图像N的脸部特征信息FP(N)、脸部角度信息FA(N)和脸部表情信息E(N)进行特征融合，得到所述N个脸部样本图像的丰富度特征V，使得通过N个脸部样本图像中各图像的脸部特征点信息、脸部角度信息和脸部表情信息进行特征融合得到的所述N个脸部样本图像的丰富度特征V更加丰富，后续后衡量这一组人脸样本的丰富度程度提供有效地评价依据，从而实现对人脸样本的脸部图像的样本质量的有效评价。

接着本申请的上述实施例，所述步骤S13中的对所述至少一个脸部样本图像中各图像的待检测区域进行脸部特征点提取，得到所述至少一个脸部样本图像中各图像的脸部特征点信息，具体包括：

获取用于检测脸部特征的关键点定位模型，其中，所述关键点定位模型由局部二值化特征算法和随机森林算法训练得到；

通过所述关键点定位模型，对所述至少一个脸部样本图像中各图像的待检测区域进行脸部特征点提取，得到所述至少一个脸部样本图像中各图像的脸部特征点信息。

需要说明的是，所述关键点定位模型可以使用基于局部二值化特征算法来对用于训练所述关键点定位模型的一组人脸样本的脸部图像进行关键点特征提取，然后利用所述随机森林算法来对从所述用于训练所述关键点定位模型的一组人脸样本的脸部图像中提取的关键点进行关键点回归，从而训练得到用于对脸部特征的关键点进行定位的关键点定位模型，以便后续能够基于所述关键点定位模型对需要提取脸部特征的人脸的脸部图像进行关键点特征提取。

例如，所述步骤S13中对所述N个脸部样本图像中的各图像的待检测区域进行脸部特征点提取时，先获取预先训练好的、用于检测脸部特征的关键点定位模型model(1)，然后再通过所述关键点定位模型model(1)对所述N个脸部样本图像中的脸部样本图像1的ROI1、脸部样本图像2的ROI2、脸部样本图像3的ROI3、……、脸部样本图像N的ROI(N)进行脸部特征点提取，得到所述N个脸部样本图像中的脸部样本图像1的脸部特征点信息FP1、脸部样本图像2的脸部特征点信息FP2、脸部样本图像3的脸部特征点信息FP3、……、脸部样本图像N的脸部特征点信息FP(N)，以通过预先训练好的关键点定位模型model(1)来实现对N个脸部样本图像中的各图像的待检测区域进行脸部特征点提取。

接着本申请的上述实施例，所述步骤S13中的对所述至少一个脸部样本图像中各图像的脸部特征点信息进行脸部角度识别，得到所述至少一个脸部样本图像中各图像的脸部角度信息，具体包括：

获取用于识别脸部角度的脸部角度识别模型；在此，所述脸部角度识别模型是通过一组人脸样本的脸部图像进行脸部角度识别训练后得到的，以便后续能够基于预先训练好的所述脸部角度识别模型对需要提取脸部角度的人脸的脸部图像进行脸部角度识别。

通过所述脸部角度识别模型，对所述至少一个脸部样本图像中各图像的脸部特征点信息进行脸部角度识别，得到所述至少一个脸部样本图像中各图像的脸部角度信息。

例如，所述步骤S13中对所述N个脸部样本图像中的各图像的待检测区域进行脸部角度识别时，先获取预先训练好的、用于识别脸部角度的脸部角度识别模型model(2)，然后再通过所述脸部角度识别模型model(2)对所述N个脸部样本图像中的脸部样本图像1的ROI1、脸部样本图像2的ROI2、脸部样本图像3的ROI3、……、脸部样本图像N的ROI(N)进行脸部角度识别，得到所述N个脸部样本图像中的脸部样本图像1的脸部角度信息FA1、脸部样本图像2的脸部角度信息FA2、脸部样本图像3的脸部角度信息FA3、……、脸部样本图像N的脸部角度信息FA(N)，以通过预先训练好的脸部角度识别模型model(2)来实现对N个脸部样本图像中的各图像的待检测区域进行脸部角度识别。

接着本申请的上述实施例，所述步骤S14对所述至少一个脸部样本图像中各图像的待检测区域进行脸部表情识别得到所述至少一个脸部样本图像中各图像的脸部表情信息，包括：

获取用于识别脸部表情的脸部表情识别模型，其中，所述脸部表情识别模型由基于深度学习的卷积神经网络训练得到；

通过所述脸部表情识别模型，对所述至少一个脸部样本图像中各图像的待检测区域进行脸部表情识别得到所述至少一个脸部样本图像中各图像的的脸部表情信息。

需要说明的是，所述脸部表情识别模型可以采用基于深度学习的卷积神经网络及其分类模型框架，来对用于训练所述脸部表情识别模型的一组人脸样本的脸部图像进行人脸表情的识别和训练，得到用于对人脸表情进行识别并分类的脸部表情识别模型。在训练所述脸部表情识别模型的过程中，先将人脸表情划分为：生气(Angry)、厌恶(Disgust)、害怕(Fear)、高兴(Happy)、悲伤(Sad)、惊讶(Surprise)及正常(Neutral)7个大类，在采用基于深度学习的卷积神经网络及其分类模型框架，来对用于训练所述脸部表情识别模型的一组人脸样本的脸部图像进行人脸表情的识别和训练时，可以训练出识别不同的人脸样本的脸部图像的脸部表情，以便后续能够基于所述脸部表情识别模型对需要识别脸部表情的人脸的脸部图像进行脸部表情的识别。

例如，所述步骤S14对所述N个脸部样本图像中的各图像的待检测区域进行脸部表情识别时，先获取预先训练好的、用于识别脸部表情的脸部表情识别模型model(3)，然后再通过所述脸部表情识别模型model(3)对所述N个脸部样本图像中的脸部样本图像1的ROI1、脸部样本图像2的ROI2、脸部样本图像3的ROI3、……、脸部样本图像N的ROI N进行脸部表情识别，得到所述N个脸部样本图像中的脸部样本图像1的脸部表情信息E1、脸部样本图像2的脸部表情信息E2、脸部样本图像3的脸部表情信息E3、……、脸部样本图像N的脸部表情信息E(N)，以通过预先训练好的脸部表情识别模型来实现对N个脸部样本图像中的各图像的待检测区域进行脸部表情的识别。

接着本申请的上述实施例，所述步骤S15对所述至少一个脸部样本图像中各图像的脸部特征信息和脸部表情信息进行特征融合，得到所述至少一个脸部样本图像的丰富度特征，具体包括：

对所述至少一个脸部样本图像中各图像的脸部特征信息和脸部表情信息进行融合，得到所述至少一个脸部样本图像中各图像的丰富度特征；

根据所述至少一个脸部样本图像中各图像的丰富度特征，得到所述至少一个脸部样本图像的丰富度特征。

例如，在步骤S15中，对所述N个脸部样本图像中的脸部样本图像1的脸部特征信息F1和脸部表情信息E1、脸部样本图像2的脸部特征信息F2和脸部表情信息E2、脸部样本图像3的脸部特征信息F3和脸部表情信息E3、……、脸部样本图像N的脸部特征信息F(N)和脸部表情信息E(N)进行特征融合，得到所述N个脸部样本图像中的脸部样本图像1的丰富度特征V1、脸部样本图像2的丰富度特征V2、脸部样本图像3的丰富度特征V3、……、脸部样本图像N的丰富度特征V(N)，再对所述N个脸部样本图像中的脸部样本图像1的丰富度特征V1、脸部样本图像2的丰富度特征V2、脸部样本图像3的丰富度特征V3、……、脸部样本图像N的丰富度特征V(N)进行特征统计和融合，最终所述N个脸部样本图像的丰富度特征V，以通过所述N个脸部样本图像中的各图像的丰富度特征来实现对所述N个脸部样本图像的丰富度特征V的融合。

接着本申请的上述实施例，所述步骤S14对所述至少一个脸部样本图像中各图像的脸部特征信息和脸部表情信息进行特征融合，得到所述至少一个脸部样本图像的丰富度特征，具体包括：

根据所述至少一个脸部样本图像中各图像的脸部特征信息，得到所述至少一个脸部样本图像的脸部特征信息；

根据所述至少一个脸部样本图像中各图像的脸部表情信息，得到所述至少一个脸部样本图像的脸部表情信息；

对所述至少一个脸部样本图像的脸部特征信息和脸部表情信息进行融合，得到所述至少一个脸部样本图像的丰富度特征。

例如，在步骤S15中，对所述N个脸部样本图像中的脸部样本图像1的脸部特征信息F1、脸部样本图像2的脸部特征信息F2、脸部样本图像3的脸部特征信息F3、……、脸部样本图像N的脸部特征信息F(N)进行统计和融合，得到所述N个脸部样本图像的脸部特征信息F(综合)；对所述N个脸部样本图像中的脸部样本图像1的脸部表情信息E1、脸部样本图像2的脸部表情信息E2、脸部样本图像3的脸部表情信息E3、……、脸部样本图像N的脸部表情信息E(N)进行统计和融合，得到所述N个脸部样本图像的脸部表情信息E(综合)；之后，对所述N个脸部样本图像的脸部特征信息F(综合)和脸部表情信息E(综合)进行特征融合，得到所述N个脸部样本图像的丰富度特征V，以通过所述N个脸部样本图像的脸部特征信息F(综合)和脸部表情信息E(综合)来实现对所述N个脸部样本图像的丰富度特征的融合。

接着本申请的上述所有的实施例，本申请实施例中提供的一种脸部图像丰富度特征的检测方法中，在对脸部样本图像的待检测区域进行脸部特征提取和脸部表情识别之前，还包括：

基于所述待检测区域对对应的所述脸部样本图像进行有效性判断，

若所述待检测区域对应的脸部样本图像为有效脸部样本图像，则对所述脸部样本图像的待检测区域进行脸部特征提取和脸部表情识别。

例如，在所述步骤S12中实现了对所述N个脸部样本图像：脸部样本图像1、脸部样本图像2、脸部样本图像3、……、脸部样本图像N的人脸检测后，得到所述N个脸部样本图像中的脸部样本图像1的ROI1、脸部样本图像2的ROI2、脸部样本图像3的ROI3、……、脸部样本图像N的ROI(N)；在对所述N个脸部样本图像中的各图像的待检测区域进行脸部特征提取和脸部表情识别之前，还需要基于所述待检测区域对对应的所述脸部样本图像进行有效性判断，比如基于所述ROI1对对应的脸部样本图像1进行有效性判断，基于所述ROI2对对应的脸部样本图像2进行有效性判断，基于所述ROI3对对应的脸部样本图像3进行有效性判断，......，及基于所述ROI(N)对对应的脸部样本图像N进行有效性判断，若N个待检测区域中存在有一个或多个待检测区域分别对应的脸部样本图像为有效脸部样本图像，则对N个待检测区域中存在有一个或多个待检测区域各自对应的脸部样本图像确定为有效脸部样本图像，在所述步骤S13和步骤S14中才能对所述一个或多个待检测区域各自对应的脸部样本图像分别进行脸部特征提取和脸部表情识别，以保证后续进行脸部特征提取和脸部表情识别的脸部样本图像的有效性。

接着本申请的上述实施例，所述基于所述待检测区域对对应的所述脸部样本图像进行有效性判断，包括：

获取所述待检测区域的内容信息、像素信息及尺寸信息；

基于所述待检测区域的内容信息、像素信息及尺寸信息对对应的所述脸部样本图像进行有效性判断。

例如，为了便于对脸部样本图像的待检测区域进行各维度有效性判断，先获取所述N个脸部样本图像中的脸部样本图像1的ROI1、脸部样本图像2的ROI2、脸部样本图像3的ROI3、……、脸部样本图像N的ROI(N)中的各待检测区域的内容信息、像素信息及尺寸信息；然后判断每个待检测区域的内容信息、像素信息及尺寸信息是否满足图像有效性条件，比如内容信息是否包含人脸五官特征、像素信息是否满足预设像素点阈值及尺寸信息是否满足预设待检测尺寸阈值等，以实现对所述N个脸部样本图像中的各图像的有效性判断，避免因为内容信息不全面、错误的像素及尺寸不大等原因而影响后续的脸部特征提取和脸部表情识别，从而保证后续进行脸部特征提取和脸部表情识别的脸部样本图像的有效性。

本申请提供的一种脸部图像替换方法的实际应用场景中，如图2所示，当需要对一组人脸样本进行丰富度特征的确定时，先获取一组人脸样本及其脸部样本图像：脸部样本图像1、脸部样本图像2、脸部样本图像3、……、脸部样本图像N，之后在人脸检测模块对获取的这N个人脸样本的脸部样本图像进行人脸检测，得到所述N个脸部样本图像中的脸部样本图像1的ROI1、脸部样本图像2的ROI2、脸部样本图像3的ROI3、……、脸部样本图像N的ROI(N)；接着，基于待检测区域判断各脸部样本图像是否是有效人脸对应的脸部图像，若否则不需要对无效的人脸对应的脸部图像进行任何处理，若是，则将所述N个脸部样本图像中的属于有效人脸对应的脸部图像进行后续脸部处理；若所述N个脸部样本图像均属于有效人脸对应的脸部图像，则对所述N个脸部样本图像中的脸部样本图像1的ROI1、脸部样本图像2的ROI2、脸部样本图像3的ROI3、……、脸部样本图像N的ROI(N)进行脸部特征点提取，得到所述N个脸部样本图像中的脸部样本图像1的脸部特征点信息FP1、脸部样本图像2的脸部特征点信息FP2、脸部样本图像3的脸部特征点信息FP3、……、脸部样本图像N的脸部特征点信息FP(N)，并基于脸部特征点信息对所述N个脸部样本图像中的脸部样本图像1的ROI1、脸部样本图像2的ROI2、脸部样本图像3的ROI3、……、脸部样本图像N的ROI(N)进行脸部角度识别，得到所述N个脸部样本图像中的脸部样本图像1的脸部角度信息FA1、脸部样本图像2的脸部角度信息FA2、脸部样本图像3的脸部角度信息FA3、……、脸部样本图像N的脸部角度信息FA(N)；当然，为了考虑到人脸的表情，还需要对所述N个脸部样本图像中的脸部样本图像1的ROI1、脸部样本图像2的ROI2、脸部样本图像3的ROI3、……、脸部样本图像N的ROI N进行脸部表情识别，得到所述N个脸部样本图像中的脸部样本图像1的脸部表情信息E1、脸部样本图像2的脸部表情信息E2、脸部样本图像3的脸部表情信息E3、……、脸部样本图像N的脸部表情信息E(N)；之后，可以根据脸部特征点信息、脸部角度信息及脸部表情信息中的任意特征融合，来得到述N个脸部样本图像的丰富度特征V，比如对所述N个脸部样本图像中的脸部样本图像1的脸部特征信息F1和脸部表情信息E1、脸部样本图像2的脸部特征信息F2和脸部表情信息E2、脸部样本图像3的脸部特征信息F3和脸部表情信息E3、……、脸部样本图像N的脸部特征信息F(N)和脸部表情信息E(N)进行特征融合，得到所述N个脸部样本图像的丰富度特征V，实现对一组的脸部样本图像的丰富度特征的检测；又比如可以对所述N个脸部样本图像中的脸部样本图像1的脸部特征点信息FP1、脸部角度信息FA1和脸部表情信息E1、脸部样本图像2的脸部特征信息FP2、脸部角度信息FA2和脸部表情信息E2、脸部样本图像3的脸部特征信息FP3、脸部角度信息FA3和脸部表情信息E3、……、脸部样本图像N的脸部特征信息FP(N)、脸部角度信息FA(N)和脸部表情信息E(N)进行特征融合，得到所述N个脸部样本图像的丰富度特征V，使得通过N个脸部样本图像中各图像的脸部特征点信息、脸部角度信息和脸部表情信息进行特征融合得到的所述N个脸部样本图像的丰富度特征V更加丰富，后续后衡量这一组人脸样本的丰富度程度提供有效地评价依据，从而实现对人脸样本的脸部图像的样本质量的有效评价。

本申请另一实施例中还提供了一种脸部图像丰富度特征的检测设备，其中，该设备包括：

一个或多个处理器；

非易失性存储介质，用于存储一个或多个计算机可读指令，

当所述一个或多个计算机可读指令被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述脸部图像丰富度特征的检测方法。

本申请另一实施例中还提供了一种脸部图像丰富度特征的检测设备，其中，该设备包括：

一个或多个处理器；

非易失性存储介质，用于存储一个或多个计算机可读指令，

当所述一个或多个计算机可读指令被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述脸部图像丰富度特征的检测方法。

在此，所述脸部图像丰富度特征的检测设备中的各实施例的详细内容，具体可参见上述实施例中提供的脸部图像丰富度特征的检测方法实施例的对应部分，在此，不再赘述。

综上所述，本申请通过获取至少一个脸部样本图像；对所述至少一个脸部样本图像进行人脸检测，得到所述至少一个脸部样本图像中各图像的待检测区域；对所述至少一个脸部样本图像中各图像的待检测区域进行脸部特征提取得到所述至少一个脸部样本图像中各图像的脸部特征信息；对所述至少一个脸部样本图像中各图像的待检测区域进行脸部表情识别得到所述至少一个脸部样本图像中各图像的脸部表情信息；对所述至少一个脸部样本图像中各图像的脸部特征信息和脸部表情信息进行特征融合，得到所述至少一个脸部样本图像的丰富度特征，实现对至少一个脸部样本图像的丰富度特征的检测，以便后续在脸部图像替换模型的训练过程中，能够用来评价用于训练脸部图像替换模型的样本脸部图像的样本质量，使得训练得到的脸部图像替换模型能够有效贴合用于替换的目标脸部图像的各种面部姿态及表情等，从而提高用户的换脸体验度。

需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。

另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (10)

1.一种脸部图像丰富度特征的检测方法，其中，

所述方法包括：

获取至少一个脸部样本图像；

对所述至少一个脸部样本图像进行人脸检测，得到所述至少一个脸部样本图像中各图像的待检测区域；

对所述至少一个脸部样本图像中各图像的待检测区域进行脸部特征提取得到所述至少一个脸部样本图像中各图像的脸部特征信息；

对所述至少一个脸部样本图像中各图像的待检测区域进行脸部表情识别得到所述至少一个脸部样本图像中各图像的脸部表情信息；

对所述至少一个脸部样本图像中各图像的脸部特征信息和脸部表情信息进行特征融合，得到所述至少一个脸部样本图像的丰富度特征，其中，所述脸部样本图像的丰富度特征用来评价用于训练脸部图像替换模型的样本脸部图像的样本质量，使得训练得到的脸部图像替换模型能够有效贴合用于替换的目标脸部图像的各种面部姿态及表情。

2.根据权利要求1所述的方法，其中，

所述脸部特征信息包括脸部特征点信息和脸部角度信息，其中，

所述对所述至少一个脸部样本图像中各图像的待检测区域进行脸部特征提取得到所述至少一个脸部样本图像中各图像的脸部特征信息，包括：

对所述至少一个脸部样本图像中各图像的待检测区域进行脸部特征点提取，得到所述至少一个脸部样本图像中各图像的脸部特征点信息；

对所述至少一个脸部样本图像中各图像的脸部特征点信息进行脸部角度识别，得到所述至少一个脸部样本图像中各图像的脸部角度信息；

其中，所述对所述至少一个脸部样本图像中各图像的脸部特征信息和脸部表情信息进行特征融合，得到所述至少一个脸部样本图像的丰富度特征，包括：

对所述至少一个脸部样本图像中各图像的脸部特征点信息、脸部角度信息和脸部表情信息进行特征融合，得到所述至少一个脸部样本图像的丰富度特征。

3.根据权利要求2所述的方法，其中，

所述对所述至少一个脸部样本图像中各图像的待检测区域进行脸部特征点提取，得到所述至少一个脸部样本图像中各图像的脸部特征点信息，包括：

获取用于检测脸部特征的关键点定位模型，其中，所述关键点定位模型由局部二值化特征算法和随机森林算法训练得到；

通过所述关键点定位模型，对所述至少一个脸部样本图像中各图像的待检测区域进行脸部特征点提取，得到所述至少一个脸部样本图像中各图像的脸部特征点信息。

4.根据权利要求3所述的方法，其中，

所述对所述至少一个脸部样本图像中各图像的脸部特征点信息进行脸部角度识别，得到所述至少一个脸部样本图像中各图像的脸部角度信息，包括：

获取用于识别脸部角度的脸部角度识别模型；

通过所述脸部角度识别模型，对所述至少一个脸部样本图像中各图像的脸部特征点信息进行脸部角度识别，得到所述至少一个脸部样本图像中各图像的脸部角度信息。

5.根据权利要求1所述的方法，其中，

所述对所述至少一个脸部样本图像中各图像的待检测区域进行脸部表情识别得到所述至少一个脸部样本图像中各图像的脸部表情信息，包括：

获取用于识别脸部表情的脸部表情识别模型，其中，所述脸部表情识别模型由基于深度学习的卷积神经网络训练得到；

通过所述脸部表情识别模型，对所述至少一个脸部样本图像中各图像的待检测区域进行脸部表情识别得到所述至少一个脸部样本图像中各图像的的脸部表情信息。

6.根据权利要求1所述的方法，其中，

所述对所述至少一个脸部样本图像中各图像的脸部特征信息和脸部表情信息进行特征融合，得到所述至少一个脸部样本图像的丰富度特征，包括：

对所述至少一个脸部样本图像中各图像的脸部特征信息和脸部表情信息进行融合，得到所述至少一个脸部样本图像中各图像的丰富度特征；

根据所述至少一个脸部样本图像中各图像的丰富度特征，得到所述至少一个脸部样本图像的丰富度特征。

7.根据权利要求1所述的方法，其中，

所述对所述至少一个脸部样本图像中各图像的脸部特征信息和脸部表情信息进行特征融合，得到所述至少一个脸部样本图像的丰富度特征，包括：

根据所述至少一个脸部样本图像中各图像的脸部特征信息，得到所述至少一个脸部样本图像的脸部特征信息；

根据所述至少一个脸部样本图像中各图像的脸部表情信息，得到所述至少一个脸部样本图像的脸部表情信息；

对所述至少一个脸部样本图像的脸部特征信息和脸部表情信息进行融合，得到所述至少一个脸部样本图像的丰富度特征。

8.根据权利要求1至7中任一项所述的方法，其中，

所述方法还包括：

基于所述待检测区域对对应的所述脸部样本图像进行有效性判断，

若所述待检测区域对应的脸部样本图像为有效脸部样本图像，则对所述脸部样本图像的待检测区域进行脸部特征提取和脸部表情识别。

9.根据权利要求8所述的方法，其中，

所述基于所述待检测区域对对应的所述脸部样本图像进行有效性判断，包括：

获取所述待检测区域的内容信息、像素信息及尺寸信息；

基于所述待检测区域的内容信息、像素信息及尺寸信息对对应的所述脸部样本图像进行有效性判断。

10.一种脸部图像丰富度特征的检测设备，其中，

该设备包括：

一个或多个处理器；

非易失性存储介质，用于存储一个或多个计算机可读指令，

当所述一个或多个计算机可读指令被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至9中任一项所述的方法。

Images