CN109635755A - 人脸提取方法、装置及存储介质 - Google Patents

Abstract

本申请涉及一种人脸提取方法、装置及存储介质，属于图像处理技术领域，该方法包括：将目标图像切分为第一尺寸的子图像；将第一尺寸的子图像输入人脸提取模型中的第一级子网络，得到第一提取结果；在第i提取结果符合人脸识别标准时，从目标图像中确定第i提取结果指示的第i+1尺寸的子图像，并将第i+1尺寸的子图像输入人脸提取模型中的第i+1级子网络，得到第i+1提取结果；根据第n级子网络输出的第n提取结果确定目标人脸区域，目标人脸区域是目标图像中用于进行人脸识别的区域；可以解决提取出的人脸无法进行人脸识别，浪费设备资源的问题；由于可以剔除目标图像中不符合人脸识别标准的人脸区域，因此可以节省设备资源。

Description

人脸提取方法、装置及存储介质

技术领域

本申请涉及人脸提取方法、装置及存储介质，属于图像处理技术领域。

背景技术

人脸识别是一种基于人的脸部特征信息进行身份识别的技术。在现有的人脸识别技术中，进行人脸识别之前需要对图像中的人脸进行检测，从而提取图像中的人脸；之后，对提取出的人脸进行人脸识别。

然而，图像中的人脸往往存在角度过偏，此时，虽然提取出了图像中的人脸，但是在对该人脸进行识别时可能也无法得到识别结果，这样，会浪费设备资源的问题。

发明内容

本申请提供了一种人脸提取方法、装置及存储介质，可以解决未对图像中的人脸进行筛选，导致部分人脸无法进行人脸识别，浪费设备资源的问题。本申请提供如下技术方案：

第一方面，提供了一种人脸提取方法，所述方法包括：

将目标图像切分为第一尺寸的子图像；

将所述第一尺寸的子图像输入人脸提取模型中的第一级子网络，得到第一提取结果；

在第i提取结果符合人脸识别标准时，从所述目标图像中确定所述第i提取结果指示的第i+1尺寸的子图像，并将所述第i+1尺寸的子图像输入所述人脸提取模型中的第i+1级子网络，得到第i+1提取结果；其中，所述人脸提取模型包括n级子网络，所述i依次取1至n-1的整数；

根据第n级子网络输出的第n提取结果确定目标人脸区域，所述目标人脸区域是所述目标图像中用于进行人脸识别的区域。

可选地，所述n级子网络中的每级子网络的提取结果包括人脸预测结果、人脸角度评分结果和人脸位置结果，所述方法还包括：

在得到第i提取结果后，检测所述人脸预测结果指示的人脸预测值是否大于人脸阈值；

在所述人脸预测值大于所述人脸阈值时，检测所述人脸角度评分结果指示的角度评分预测值是否大于角度评分阈值；

在所述角度评分预测值大于所述角度评分阈值时，将所述人脸位置结果指示的人脸区域确定为所述目标图像中符合人脸识别标准的区域。

可选地，所述将所述人脸位置结果指示的人脸区域确定为所述目标图像中符合人脸识别标准的区域之后，还包括：

将所述人脸位置结果指示的人脸区域进行非极大值抑制NMS去重处理，得到第i提取结果指示的最终提取区域，所述最终提取区域为用于供下一级子网络进行处理的所述第i+1尺寸的子图像中的区域；或者，所述最终提取区域为所述目标人脸区域。

可选地，所述将所述第一尺寸的子图像输入人脸提取模型中的第一级子网络之前，还包括：

获取训练集，所述训练集包括至少一组样本数据，每组样本数据包括样本图像和所述样本图像的标注信息；

对于每组样本数据，将所述样本数据中的样本图像按照不同尺寸进行划分，得到n种尺寸的子图像；

将所述n种尺寸的子图像中的第j尺寸的子图像输入预设的神经网络模型中的第j级子网络，得到所述第j级子网络的训练结果；所述神经网络模型包括n级子网络，每种尺寸的子图像对应一级子网络，所述j依次取1至n的整数；

将每级子网络的训练结果与所述样本数据中的标注信息进行比较，得到预测损失；

根据所述n级子网络的预测损失对所述神经网络模型进行迭代训练，得到所述人脸提取模型。

可选地，所述标注信息包括所述样本图像是否是人脸图像的实际标记、人脸区域的实际坐标、人脸关键点的实际坐标、人脸角度实际信息和角度实际评分信息；

相应地，所述训练结果包括是否是人脸图像的训练结果、人脸区域的训练坐标、人脸关键点的训练坐标、人脸角度训练结果、角度训练评分结果。

可选地，所述对于每组样本数据，将所述样本数据中的样本图像按照不同尺寸进行划分，包括：

对所述样本图像进行不同比例的缩放，得到不同比例的缩放图像；

对于每种比例的缩放图像按照不同尺寸进行划分，得到每种比例的缩放图像对应的不同尺寸的子图像。

可选地，所述将目标图像切分为第一尺寸的子图像之前，还包括：

对待进行人脸提取的图像进行不同比例的缩放，得到不同比例的目标图像。

第二方面，提供了一种人脸提取装置，所述装置包括：

图像划分模块，用于将目标图像切分为第一尺寸的子图像；

第一提取模块，用于将所述第一尺寸的子图像输入人脸提取模型中的第一级子网络，得到第一提取结果；

第i+1提取模块，用于在第i提取结果符合人脸识别标准时，从所述目标图像中确定所述第i提取结果指示的第i+1尺寸的子图像，并将所述第i+1尺寸的子图像输入所述人脸提取模型中的第i+1级子网络，得到第i+1提取结果；其中，所述人脸提取模型包括n级子网络，所述i依次取1至n-1的整数；

区域确定模块，用于根据第n级子网络输出的第n提取结果确定目标人脸区域，所述目标人脸区域是所述目标图像中用于进行人脸识别的区域。

第三方面，提供一种人脸提取装置，所述装置包括处理器和存储器；所述存储器中存储有程序，所述程序由所述处理器加载并执行以实现第一方面所述的人脸提取方法。

第四方面，提供一种计算机可读存储介质，所述存储介质中存储有程序，所述程序由所述处理器加载并执行以实现第一方面所述的人脸提取方法。

本申请的有益效果在于：通过将目标图像切分为第一尺寸的子图像；将第一尺寸的子图像输入人脸提取模型中的第一级子网络，得到第一提取结果；在第i提取结果符合人脸识别标准时，从目标图像中确定第i提取结果指示的第i+1尺寸的子图像，并将第i+1尺寸的子图像输入人脸提取模型中的第i+1级子网络，得到第i+1提取结果；根据第n级子网络输出的第n提取结果确定目标人脸区域；可以解决未对图像中的人脸进行筛选，导致部分人脸无法进行人脸识别，浪费设备资源的问题；由于通过人脸提取模型可以检测出目标图像中不符合人脸识别标准的人脸区域，将这部分人脸区域剔除，因此，可以节省设备资源。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，并可依照说明书的内容予以实施，以下以本申请的较佳实施例并配合附图详细说明如后。

附图说明

图1是本申请一个实施例提供的人脸提取方法的流程图；

图2是本申请一个实施例提供的提取符合人脸识别标准的人脸区域的方法的流程图；

图3是本申请另一个实施例提供的人脸提取方法的流程图；

图4是本申请一个实施例提供的人脸提取装置的框图；

图5是本申请一个实施例提供的人脸提取装置的框图。

具体实施方式

下面结合附图和实施例，对本申请的具体实施方式作进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。

首先，对本申请涉及的若干名词进行解释。

多任务卷积神经网络(Multi-task convolutional neural network，MTCNN)：是一种将多任务级联卷积神经网络用于人脸检测和对齐的神经网络模型。MTCNN的工作原理包括：对图像进行不同尺度的变换；然后将不同尺度的图像输入提取网络(ProposalNetwork，PNet)；将PNet的输出结果输入提炼网络(Refine Network，RNet)；最后，将RNet的输出结果输入输出网络(Output Network，ONet)，得到人脸检测结果。

其中，PNet的基本构造为全连接网络。PNet用于生成候选窗和边框回归向量(bounding box regression vectors)，并使用Bounding box regression的方法来校正候选窗，使用非极大值抑制(Non-Maximum Suppression，NMS)合并重叠的候选框。RNet用于改善候选窗口，将通过P-Net的候选窗输入R-Net中，删除错误的候选窗，继续使用Boundingbox regression和NMS合并。ONet用于输出最终的人脸框和特征点位置，比如：5个特征点(眼睛、鼻子、嘴巴)位置。

NMS，是指抑制不是极大值的元素的算法。NMS的计算原理包括：定位图像中的目标对象，得到该目标对象的多个区域，这些区域可能包括重复的区域。假设有6个矩形框区域，每个矩形框区域中的图像属于目标对象的概率从小到大分别为A、B、C、D、E、F，则从最大概率矩形框区域F开始，分别判断A～E与F的重叠度是否大于某个设定的阈值；假设B、D与F的重叠度超过阈值，那么就删除B、D；并保留第一个矩形框区域F；从剩下的矩形框A、C、E中，选择概率最大的E，然后判断E与A、C的重叠度，重叠度大于设定的阈值，那么就删除A、C；并保留E；依次循环，找到所有保留下来的矩形框区域。

图像金字塔：是图像多尺度表达的一种。一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低，且来源于同一张原始图像的图像集合。

可选地，本申请中，采用改进的MTCNN提取图像中的人脸，该改进的MTCNN支持对图像中人脸的角度进行预测。该改进的MTCNN是基于训练集训练得到的，该训练集包括至少一组样本数据，每组样本数据样本图像和样本图像的标注信息，该样本图像的标注信息包括该样本图像中人脸角度实际信息。基于该改进的MTCNN，可以筛选掉图像中人脸角度过偏的人脸，节省由于对角度过偏的人脸进行人脸识别所浪费的资源。

可选地，本申请以各个实施例中每个步骤的执行主体为电子设备为例进行说明，该电子设备可以是计算机、手机、平板电脑、可穿戴式设备等终端；或者，也可以是服务器，本实施例不对电子设备的类型作限定。

图1是本申请一个实施例提供的人脸提取方法的流程图。该方法至少包括以下几个步骤：

步骤101，将目标图像切分为第一尺寸的子图像。

可选地，目标图像是对待进行人脸提取的图像进行缩放得到的，此时，在本步骤之前还包括对待进行人脸提取的图像进行不同比例的缩放，得到不同比例的目标图像。

其中，对图像进行缩放的方式包括但不限于：按照图像金字塔缩放、双线性插值缩放、三线性卷积插值算法等缩放算法，本实施例不对图像的缩放方式作限定。

以按照图像金字塔对待进行人脸提取的图像进行缩放，且缩放的比例为N种为例。假设待进行人脸提取的图像的长为H、宽为W，则缩放后的比例通过下述公式表示：

W’＝N×k

其中，a为固定的常数，比如：a为12，当然，a也可以为其它数值，本实施例对此不作限定。为对的商进行向下取整，表示取H和W中的最小值，表示取H和W中的最大值；k依次取1、2、3、…N的整数，H’为缩放后的长，W’为缩放后的宽。

可选地，目标图像也可以是未经缩放的待进行人脸提取的图像。

可选地，子图像可以是目标图像中按照某一尺寸的正方形划分得到的多个图像；或者，也可以是按照某一尺寸的矩形划分得到的多个图像；或者，还可以是按照某一尺寸的圆形划分得到的多个图像等，本实施例不对子图像的形状和划分方式作限定。本实施例中，以子图像的形状为正方形，且第一尺寸为12×12为例进行说明。

步骤102，将第一尺寸的子图像输入人脸提取模型中的第一级子网络，得到第一提取结果。

其中，人脸提取模型包括n级子网络。每种子网络分析对应尺寸的子图像，比如：第一级子网络处理第一尺寸的子图像、第二级子网络处理第二尺寸的子图像等。不同子网络对应的子图像的尺寸不同。比如：第一级子网络对应的第一尺寸为12×12，第二级子网络对应的第二尺寸为24×24，第三级子网络对应的第三尺寸为48×48等。

比如：人脸提取模型为改进的MTCNN，该改进的MTCNN包括三级子网络，分别为：改进的PNet、改进的RNet和改进的ONet。其中，每级子网络包括但不限于如下几个功能：

1、判断输入的子图像是否为人脸图像；

2、子图像中人脸区域的坐标检测；

3、子图像中人脸关键点检测；

4、子图像中人脸角度预测。

示意性地，以与图像平行的水平方向为x轴、与图像垂直的方向为y轴，与图像平行的竖直方向为z轴建立的坐标系为例，人脸角度包括在x轴方向的旋转角度、在y轴方向的旋转角度和在z轴方向的旋转角度。

步骤103，在第i提取结果符合人脸识别标准时，从目标图像中确定第i提取结果指示的第i+1尺寸的子图像，并将第i+1尺寸的子图像输入人脸提取模型中的第i+1级子网络，得到第i+1提取结果；i依次取1至n-1的整数。

在一个示例中，第i提取结果包括目标图像中人脸区域的坐标信息；从目标图像中确定第i提取结果指示的第i+1尺寸的子图像，包括：从目标图像中划分出该坐标信息指示的人脸区域；将划分出的人脸区域缩放至第i+1尺寸。

在另一个示例中，第i提取结果包括目标图像中人脸区域的坐标信息，且该人脸区域的尺寸为缩放后的第i+1尺寸；从目标图像中确定第i提取结果指示的第i+1尺寸的子图像，包括：从目标图像中划分出该坐标信息指示的人脸区域，得到第i+1尺寸的人脸区域。

可选地，n级子网络中的每级子网络的提取结果(包括第一提取结果、第i提取结果和第i+1提取结果)包括至少一组结果数据，每组结果数据包括人脸预测结果、人脸角度评分结果和人脸位置结果。

在得到第i提取结果后，电子设备需要检测第i提取结果中的每组结果数据是否符合人脸识别标准。在符合人脸识别标准时，将第i提取结果中的该组结果数据输入人脸提取模型中的第i+1级子网络；在不符合人脸识别标准时，将该第i提取结果中的该组结果数据删除，再将数据删除后的第i提取结果输入提取模型中的第i+1级子网络。示意性地，人脸识别标准包括：目标图像为人脸图像、人脸角度评分大于角度评分阈值。人脸角度评分与人脸角度呈负相关关系，即，人脸角度评分越高，人脸角度偏转越大；人脸角度评分越低，人脸角度偏转越小。

可选地，人脸角度评分为0到1之间的数值，其中，1为最高人脸角度评分、0为最低人脸角度评分；此时，角度评分阈值可以为0.8、0.75等；或者，人脸角度评分为0到100之间的数值，其中，100为最高人脸角度评分、0为最低人脸角度评分，此时，角度评分阈值可以为85、70等，本实施例不对人脸角度评分的表示方式及角度评分阈值的取值作限定。

示意性地，电子设备在得到第i提取结果后，检测人脸预测结果指示的人脸预测值是否大于人脸阈值；在人脸预测值大于人脸阈值时，检测人脸角度评分结果指示的角度评分预测值是否大于角度评分阈值；在角度评分预测值大于角度评分阈值时，将人脸位置结果指示的人脸区域确定为目标图像中符合人脸识别标准的区域。在人脸预测结果指示的人脸预测值小于人脸阈值，或者，在角度评分预测值小于角度评分阈值时，将第i提取结果中该组人脸预测结果、人脸角度评分结果和人脸位置结果的数据删除。

可选地，电子设备选择出的符合人脸识别标准的人脸位置结果可能为多个，且该多个人脸位置结果可能存在重叠，若根据该人脸位置结果提取人脸可能会提取出多个相同的人脸，因此，本实施例中，电子设备将人脸位置结果指示的人脸区域确定为目标图像中符合人脸识别标准的区域之后，还包括：将人脸位置结果指示的人脸区域进行NMS去重处理，得到第i提取结果指示的最终提取区域，该最终提取区域为用于供下一级子网络进行处理的第i+1尺寸的子图像中的区域。

参考图2所示的在第i提取结果中提取符合人脸识别标准的结果数据的方法的流程图，该方法至少包括步骤21-步骤24：

步骤21，对于第i提取结果中的每组结果数据，检测人脸预测结果指示的人脸预测值是否大于人脸阈值；若是，执行步骤23；若不是，执行步骤22；

步骤22，删除该组结果数据，流程结束；

步骤23，检测人脸角度评分结果指示的角度评分预测值是否大于角度评分阈值；若是，执行步骤24；若不是，执行步骤22；

步骤24，将第i提取结果中人脸位置结果指示的人脸区域进行NMS去重处理，得到第i提取结果指示的最终提取区域，流程结束。

步骤104，根据第n级子网络输出的第n提取结果确定目标人脸区域，该目标人脸区域是目标图像中用于进行人脸识别的区域。

可选地，电子设备检测第n提取结果中的每组结果数据是否符合人脸识别标准；在符合人脸识别标准时，将第n提取结果中的该组结果数据中人脸位置结果指示的区域确定为符合人脸识别标准的区域；在不符合人脸识别标准时，将该第n提取结果中的该组结果数据删除。

可选地，电子设备将第n提取结果中人脸位置结果指示的人脸区域确定为目标图像中符合人脸识别标准的区域之后，还包括：将人脸位置结果指示的人脸区域进行NMS去重处理，得到第n提取结果指示的最终提取区域，该最终提取区域为目标人脸区域。

综上所述，本实施例提供的人脸提取方法，通过将目标图像切分为第一尺寸的子图像；将第一尺寸的子图像输入人脸提取模型中的第一级子网络，得到第一提取结果；在第i提取结果符合人脸识别标准时，从目标图像中确定第i提取结果指示的第i+1尺寸的子图像，并将第i+1尺寸的子图像输入人脸提取模型中的第i+1级子网络，得到第i+1提取结果；根据第n级子网络输出的第n提取结果确定目标人脸区域；可以解决未对图像中的人脸进行筛选，导致部分人脸无法进行人脸识别，浪费设备资源的问题；由于通过人脸提取模型可以检测出目标图像中不符合人脸识别标准的人脸区域，将这部分人脸区域剔除，因此，可以节省设备资源。

另外，通过使用人脸提取模型确定目标图像中人脸的角度评分结果，根据该角度评分结果确定人脸是否符合人脸识别标准；由于人脸角度偏转越大则人脸识别难度越高，因此可以通过剔除角度评分结果低的人脸可以剔除人脸识别难度高的人脸，从而节省设备识别该人脸时浪费的资源。

可选地，基于上述的实施例，图3是本申请一个实施例提供的人脸提取方法的流程图，在步骤102之前，该方法还包括如下几个步骤：

步骤301，获取训练集，该训练集包括至少一组样本数据，每组样本数据包括样本图像和样本图像的标注信息。

可选地，样本图像的标注信息包括样本图像是否是人脸图像的实际标记、人脸区域的实际坐标、人脸关键点的实际坐标、人脸角度实际信息和角度实际评分信息。其中，样本图像的标注信息可以是人工标注得到的；或者，也可以是使用标注工具标注得到的，本实施例不对标注信息的标注方法作限定。

其中，人脸角度实际信息是根据人脸关键点的实际坐标通过放射变换分别计算x轴、y轴和z轴上的旋转角度得到的；角度实际评分信息是根据x轴、y轴和z轴上的旋转角度的角度评价分数得到的，比如：对x轴上的旋转角度的角度评价分数、y轴上的旋转角度上的角度评价分数和z轴上的旋转角度上的角度评价分数进行加权平均得到的。

步骤302，对于每组样本数据，将样本数据中的样本图像按照不同尺寸进行划分，得到n种尺寸的子图像。

其中，n种尺寸的子图像中的每种尺寸与图1所述的实施例中每个子网络一一对应，也即，n种尺寸的子图像包括第一尺寸的子图像、第i+1尺寸的子图像等。

可选地，对于每组样本数据，将样本数据中的样本图像按照不同尺寸进行划分，包括：对样本图像进行不同比例的缩放，得到不同比例的缩放图像；对于每种比例的缩放图像按照不同尺寸进行划分，得到每种比例的缩放图像对应的不同尺寸的子图像。

其中，电子设备对样本图像进行缩放的方式可以与对目标图像进行缩放的方式相同；或者，也可以与对目标图像进行缩放的方式不同，本实施例对此不作限定。电子设备对样本图像进行缩放的方式包括但不限于：按照图像金字塔缩放、双线性插值缩放、三线性卷积插值算法等缩放算法，本实施例不对图像的缩放方式作限定。

步骤303，将n种尺寸的子图像中的第j尺寸的子图像输入预设的神经网络模型中的第j级子网络，得到第j级子网络的训练结果。

其中，神经网络模型包括n级子网络，每种尺寸的子图像对应一级子网络，j依次取1至n的整数。

训练结果与标注信息相对应，可选地，训练结果包括是否是人脸图像的训练结果、人脸区域的训练坐标、人脸关键点的训练坐标、人脸角度训练结果、角度训练评分结果。

步骤304，将每级子网络的训练结果与样本数据中的标注信息进行比较，得到预测损失。

可选地，训练结果中不同类型的数据对应不同的损失函数；和/或，训练结果中的不同类型数据对应相同的损失函数，比如：人脸判别损失函数为softmax损失函数，该人脸判别损失函数用于计算是否是人脸图像的训练结果的损失；人脸区域预测损失函数、人脸关键点预测损失函数和人脸角度预测损失函数为欧式距离损失函数。

其中，人脸区域预测损失函数用于计算人脸区域的训练坐标的损失；人脸关键点预测损失函数用于计算人脸关键点的训练坐标的损失；人脸角度预测损失函数用于计算人脸角度训练结果的损失。

其中，损失函数用于计算训练结果中的数据与标注信息中对应数据之间的差异。

预测损失为训练结果中每种类型的数据对应的损失函数的输出结果的加权和。可选地，不同的子网络中每个损失函数的加权值可以相同；或者，也可以不同。示意性地，本实施例中，以预设的神经网络模型为改进的MTCNN，该改进的MTCNN包括三级子网络，分别为：改进的PNet、改进的RNet和改进的ONet为例，PNet中人脸判别损失函数的权重大于其它损失函数的权重，且人脸角度预设损失函数的权重小于其它损失函数的权重；RNet中人脸判别损失函数、人脸区域预测损失函数、人脸关键点预测损失函数的权重相等，且大于人脸角度预测损失函数的权重；ONet中人脸区域预测损失函数、人脸关键点预测损失函数和人脸角度预测损失函数的权重相等，且大于人脸判别损失函数的权重。

步骤305，根据n级子网络的预测损失对神经网络模型进行迭代训练，得到人脸提取模型。

可选地，根据n级子网络的预测损失对神经网络模型进行迭代训练，包括：根据n级子网络的预测损失对神经网络模型中的网络参数进行更新，使用更新后的神经网络模型再次执行步骤303，依次循环；在迭代次数达到预设次数时电子设备停止对神经网络模型进行迭代训练，得到人脸提取模型；或者，在预测损失小于预设损失阈值时电子设备停止对神经网络模型进行迭代训练，得到人脸提取模型。

综上所述，本实施例提供的人脸提取方法，通过将n种尺寸的子图像中的第j尺寸的子图像输入预设的神经网络模型中的第j级子网络，得到第j级子网络的训练结果，使得神经网络模型中的每个子网络都是独立训练的，可以降低子网络之间的关联性，提高每个子网络输出的提取结果的准确性。

图4是本申请一个实施例提供的人脸提取装置的框图。该装置至少包括以下几个模块：图像划分模块410、第一提取模块420、第i+1提取模块430和区域确定模块440。

图像划分模块410，用于将目标图像切分为第一尺寸的子图像；

第一提取模块420，用于将所述第一尺寸的子图像输入人脸提取模型中的第一级子网络，得到第一提取结果；

第i+1提取模块430，用于在第i提取结果符合人脸识别标准时，从所述目标图像中确定所述第i提取结果指示的第i+1尺寸的子图像，并将所述第i+1尺寸的子图像输入所述人脸提取模型中的第i+1级子网络，得到第i+1提取结果；其中，所述人脸提取模型包括n级子网络，所述i依次取1至n-1的整数；

区域确定模块440，用于根据第n级子网络输出的第n提取结果确定目标人脸区域，所述目标人脸区域是所述目标图像中用于进行人脸识别的区域。

相关细节参考上述方法实施例。

需要说明的是：上述实施例中提供的人脸提取装置在进行人脸提取时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将人脸提取装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的人脸提取装置与人脸提取方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图5是本申请一个实施例提供的人脸提取装置的框图。该装置至少包括处理器501和存储器502。

处理器501可以包括一个或多个处理核心，比如：4核心处理器、5核心处理器等。处理器501可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器501也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器501可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器501还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器502可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器502还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器502中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器501所执行以实现本申请中方法实施例提供的人脸提取方法。

在一些实施例中，人脸提取装置还可选包括有：***设备接口和至少一个***设备。处理器501、存储器502和***设备接口之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口相连。示意性地，***设备包括但不限于：射频电路、触摸显示屏、音频电路、和电源等。

当然，人脸提取装置还可以包括更少或更多的组件，本实施例对此不作限定。

可选地，本申请还提供有一种计算机可读存储介质，所述计算机可读存储介质中存储有程序，所述程序由处理器加载并执行以实现上述方法实施例的人脸提取方法。

可选地，本申请还提供有一种计算机产品，该计算机产品包括计算机可读存储介质，所述计算机可读存储介质中存储有程序，所述程序由处理器加载并执行以实现上述方法实施例的人脸提取方法。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种人脸提取方法，其特征在于，所述方法包括：

将目标图像切分为第一尺寸的子图像；

将所述第一尺寸的子图像输入人脸提取模型中的第一级子网络，得到第一提取结果；

在第i提取结果符合人脸识别标准时，从所述目标图像中确定所述第i提取结果指示的第i+1尺寸的子图像，并将所述第i+1尺寸的子图像输入所述人脸提取模型中的第i+1级子网络，得到第i+1提取结果；其中，所述人脸提取模型包括n级子网络，所述i依次取1至n-1的整数；

根据第n级子网络输出的第n提取结果确定目标人脸区域，所述目标人脸区域是所述目标图像中用于进行人脸识别的区域。

2.根据权利要求1所述的方法，其特征在于，所述n级子网络中的每级子网络的提取结果包括人脸预测结果、人脸角度评分结果和人脸位置结果，所述方法还包括：

在得到第i提取结果后，检测所述人脸预测结果指示的人脸预测值是否大于人脸阈值；

在所述人脸预测值大于所述人脸阈值时，检测所述人脸角度评分结果指示的角度评分预测值是否大于角度评分阈值；

在所述角度评分预测值大于所述角度评分阈值时，将所述人脸位置结果指示的人脸区域确定为所述目标图像中符合人脸识别标准的区域。

3.根据权利要求2所述的方法，其特征在于，所述将所述人脸位置结果指示的人脸区域确定为所述目标图像中符合人脸识别标准的区域之后，还包括：

将所述人脸位置结果指示的人脸区域进行非极大值抑制NMS去重处理，得到第i提取结果指示的最终提取区域，所述最终提取区域为用于供下一级子网络进行处理的所述第i+1尺寸的子图像中的区域；或者，所述最终提取区域为所述目标人脸区域。

4.根据权利要求1至3任一所述的方法，其特征在于，所述将所述第一尺寸的子图像输入人脸提取模型中的第一级子网络之前，还包括：

获取训练集，所述训练集包括至少一组样本数据，每组样本数据包括样本图像和所述样本图像的标注信息；

对于每组样本数据，将所述样本数据中的样本图像按照不同尺寸进行划分，得到n种尺寸的子图像；

将所述n种尺寸的子图像中的第j尺寸的子图像输入预设的神经网络模型中的第j级子网络，得到所述第j级子网络的训练结果；所述神经网络模型包括n级子网络，每种尺寸的子图像对应一级子网络，所述j依次取1至n的整数；

将每级子网络的训练结果与所述样本数据中的标注信息进行比较，得到预测损失；

根据所述n级子网络的预测损失对所述神经网络模型进行迭代训练，得到所述人脸提取模型。

5.根据权利要求4所述的方法，其特征在于，所述标注信息包括所述样本图像是否是人脸图像的实际标记、人脸区域的实际坐标、人脸关键点的实际坐标、人脸角度实际信息和角度实际评分信息；

相应地，所述训练结果包括是否是人脸图像的训练结果、人脸区域的训练坐标、人脸关键点的训练坐标、人脸角度训练结果、角度训练评分结果。

6.根据权利要求4所述的方法，其特征在于，所述对于每组样本数据，将所述样本数据中的样本图像按照不同尺寸进行划分，包括：

对所述样本图像进行不同比例的缩放，得到不同比例的缩放图像；

对于每种比例的缩放图像按照不同尺寸进行划分，得到每种比例的缩放图像对应的不同尺寸的子图像。

7.根据权利要求1至3任一所述的方法，其特征在于，所述将目标图像切分为第一尺寸的子图像之前，还包括：

对待进行人脸提取的图像进行不同比例的缩放，得到不同比例的目标图像。

8.一种人脸提取装置，其特征在于，所述装置包括：

图像划分模块，用于将目标图像切分为第一尺寸的子图像；

第一提取模块，用于将所述第一尺寸的子图像输入人脸提取模型中的第一级子网络，得到第一提取结果；

第i+1提取模块，用于在第i提取结果符合人脸识别标准时，从所述目标图像中确定所述第i提取结果指示的第i+1尺寸的子图像，并将所述第i+1尺寸的子图像输入所述人脸提取模型中的第i+1级子网络，得到第i+1提取结果；其中，所述人脸提取模型包括n级子网络，所述i依次取1至n-1的整数；

区域确定模块，用于根据第n级子网络输出的第n提取结果确定目标人脸区域，所述目标人脸区域是所述目标图像中用于进行人脸识别的区域。

9.一种人脸提取装置，其特征在于，所述装置包括处理器和存储器；所述存储器中存储有程序，所述程序由所述处理器加载并执行以实现如权利要求1至7任一项所述的人脸提取方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有程序，所述程序被处理器执行时用于实现如权利要求1至7任一项所述的人脸提取方法。