CN109934115A - 人脸识别模型的构建方法、人脸识别方法及电子设备 - Google Patents

Abstract

本发明涉及图像处理技术领域，具体涉及人脸识别网络的构建方法、人脸识别方法及电子设备，其中构建方法包括获取具有标注信息的样本图像；将样本图像输入检测网络，得到人脸候选框的位置；基于人脸候选框的位置，截取对应于人脸候选框的位置区域的图像，以得到候选框截图；固定检测网络的参数，将候选框截图输入人脸识别网络，对人脸识别网络进行训练；释放检测网络的参数，对检测网络以及调整参数后的人脸识别网络进行训练，以构建人脸识别模型。利用候选人脸截图的过程实现检测网络与人脸识别网络的耦合，确保了人脸识别网络的识别结果可以通过反向传播传递到检测网络，提升了候选框的检测精度，在避免误差累积传递的同时提高人脸识别的准确率。

Description

人脸识别模型的构建方法、人脸识别方法及电子设备

技术领域

本发明涉及图像处理技术领域，具体涉及人脸识别模型的构建方法、人脸识别方法及电子设备。

背景技术

人脸识别的过程大致可以分为三步：首先是确定人脸“在哪里”；其次是找准眼眉、耳鼻等脸部轮廓的关键点；最后基于大数据的人脸识别，弄清楚“这是谁”。针对图像序列的人脸识别，相较于单一图像的识别，增加了时间的维度。其中，图像序列是指通过对某一场景或某人的连续抓拍得到的一系列顺序图像。简单来说，即检测出最能帮助判断“这是谁”的信息出现在何时何处(最佳人脸的三维定位)，并进行识别。

人脸检测是识别的基础，准确定位人脸在图片上的位置是一切后续识别的先决条件。人脸检测算法早期的主要技术路线是基于图像处理的基本方法和专家经验，手动设计各类人脸特征模板并进行图像匹配。21世纪初出现的级联检测结构，在检测的准确性和实时性上获得了较大的提升，大大扩宽了人脸检测算法的应用场景。

自2012年以卷积神经网络为代表的深度学习方法在ImageNet竞赛上获得冠军以来，人脸识别技术在一些公开的数据库上几乎达到百分之百的识别率。基于深度学习的人脸检测方法逐渐成为主流。然而，人脸检测不可避免地存在各种误差，包括漏检、虚警、位置偏差等，并且由于基于深度学习的人脸识别是基于前向传播的方式，就会导致这些误差还会传递并影响后续任务中姿态分析、表情提取等，从而影响识别任务的准确度。

发明内容

有鉴于此，本发明实施例提供了一种人脸识别模型的构建方法、人脸识别方法及电子设备，以解决人脸识别准确度低的问题。

根据第一方面，本发明实施例提供了一种人脸识别模型的构建方法，包括：

获取具有标注信息的样本图像；其中，所述标注信息用于表示所述样本图像中真实人脸的位置；

将所述样本图像输入检测网络，得到人脸候选框的位置；其中，所述检测网络为利用第一卷积网络进行训练得到的；

基于所述人脸候选框的位置，截取对应于人脸候选框区域的图像，以得到候选框截图；其中，所述候选框截图是所述人脸候选框的位置经过候选人脸截图模块所得到的，所述候选人脸截图模块具有反向传播特性；

固定所述检测网络的参数，将所述候选框截图输入人脸识别网络，对所述人脸识别网络进行训练，以调整所述人脸识别网络的参数；其中，所述人脸识别网络为利用第二卷积网络所构建的；

释放所述检测网络的参数，对所述检测网络以及调整参数后的所述人脸识别网络进行训练，以构建人脸识别模型。

本发明实施例提供的人脸识别模型的构建方法，由于候选人脸截图模块具有反向传播特性，那么从人脸候选框可以得到候选框截图，反过来从候选框截图也可以得到人脸候选框；即利用候选人脸截图的过程实现检测网络与人脸识别网络的耦合，确保了人脸识别网络的识别结果可以通过反向传播传递到检测网络，提升了候选框的检测精度，在避免误差累积传递的同时提高了人脸识别的准确率。

结合第一方面，在第一方面第一实施方式中，所述释放所述检测网络的参数，对所述检测网络以及调整参数后的所述人脸识别网络进行联合训练，以构建人脸识别模型，包括：

固定所述人脸识别网络的参数，训练所述检测网络，以调整所述检测网络的参数；

释放所述人脸识别网络的参数，对所述检测网络以及调整参数后的所述人脸识别网络进行联合训练，以优化所述人脸识别模型中各个网络的参数。

本发明实施例提供的人脸识别模型的构建方法，利用人脸识别网络的识别结果训练检测网络，提高了检测网络的检测精度；再将检测网络与人脸识别网络进行联合训练，人脸识别网络帮助提升检测网络的精度，人脸识别网络又为检测网络提供依据，检测与识别相互耦合，提高了人脸识别的准确性。

结合第一方面，在第一方面第二实施方式中，所述人脸识别网络的输出为人脸识别的多任务结果，所述多任务结果包括人脸特征点的坐标以及人脸属性的分类；所述人脸识别网络的损失函数为各个人脸识别任务的损失函数相加得到的函数。

本发明实施例提供的人脸识别模型的构建方法，基于人脸识别的多任务相关性，采用多个损失函数加权求和的方式实现人脸识别网络，提高对深层特征的整体捕捉能力，提高识别任务的准确率。

结合第一方面、第一方面第一实施方式或第一方面第二实施方式，在第一方面第三实施方式中，所述将所述样本图像输入检测网络，得到人脸候选框坐标，包括：

将所述样本图像输入所述检测网络，得到若干锚点框的二分类置信度与位置偏移；其中，所述位置偏移为所述锚点框相对于所述真实人脸的位置的偏移量；

判断各所述锚点框的二分类置信度是否小于预设值；

当所述锚点框的二分类置信度小于预设值时，抛弃所述锚点框；

对剩余的所述锚点框进行非极大值抑制，以得到所述人脸候选框的位置。

根据第二方面，本发明实施例还提供了一种人脸识别方法，包括：

获取待识别图像序列；

将所述待识别图像序列输入根据权利要求1-4中任一项所述的人脸识别模型的构建方法所构建出的人脸识别模型中，得到人脸识别的结果；所述人脸识别的结果包括人脸特征点的坐标；

基于所述人脸特征点的坐标计算人脸质量评价的数值；

根据所述人脸质量评价的数值，输出最佳人脸图像；其中，所述最佳人脸图像为位置居中、大小合适以及正面姿态的人脸图像。

本发明实施例提供的人脸识别方法，由于最佳人脸是在二维图像的矩阵子空间上投影能量最多的候选人脸，投影到该子空间以外的能量，可以理解为二维平面无法描述的人脸俯仰角、偏转角等立体信息，采用人脸特征点的坐标计算人脸质量评价的数值具有较高的可信度。

结合第二方面，在第二方面第一实施方式中，所述基于所述人脸特征点的坐标计算人脸质量评价的数值，包括：

提取标准人脸特征点的坐标；

基于所述标准人脸特征点的坐标计算常数矩阵；

利用所述人脸特征点的坐标以及所述常数矩阵计算人脸质量评价的数值。

结合第二方面第一实施方式，在第二方面第二实施方式中，采用如下公式计算人脸评价的数值：

Y＝|P×B|^2；

其中，P为所述人脸特征点坐标，表示为N为所述人脸特征点的数量；B为所述常数矩阵，其尺寸为N×N。

结合第二方面、第二方面第一实施方式或第二方面第二实施方式，在第二方面第三实施方式中，所述根据所述人脸质量评价的数值，输出最佳人脸图像，包括：

分别对同一人脸对应的人脸质量评价的数值进行排序；

基于排序结果输出所述同一人脸的最佳人脸图像。

根据第三方面，本发明实施例提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或者第一方面的任意一种实施方式中所述的人脸识别模型的构建方法，或执行第二方面或者第二方面的任意一种实施方式中所述的人脸识别方法。

根据第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的人脸识别模型的构建方法，或执行第二方面或者第二方面的任意一种实施方式中所述的人脸识别方法。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的人脸识别模型的构建方法的流程图；

图2是根据本发明实施例的检测网络的卷积结构示意图；

图3是根据本发明实施例的人脸识别模型的构建方法的流程图；

图4是根据本发明实施例的检测网络的结构示意图；

图5是根据本发明实施例的人脸识别模型的构建方法的流程图；

图6是根据本发明实施例的人脸检测模型的结构示意图；

图7是根据本发明实施例的人脸识别方法的流程图；

图8是根据本发明实施例的人脸识别方法的流程图；

图9是根据本发明实施例的人脸识别模型的结构示意图；

图10是根据本发明实施例的人脸识别模型的构建装置的结构框图；

图11是根据本发明实施例的人脸识别装置的结构框图；

图12是本发明实施例提供的电子设备的硬件结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明实施例，提供了一种人脸识别模型的构建方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本发明实施例提供的人脸识别模型的构建方法，以及基于该构建方法所构建出的人脸识别模型的人脸识别方法。其中，人脸识别模型包括检测网络以及人脸识别网络，检测网络用于在输入的图像中标注出人脸候选框的位置。通过从图像上截取对应于人脸候选框区域的图像，得到候选框截图，在下文的描述中将截取候选框截图的过程用候选人脸截图模块表示，即将人脸候选框的位置信息输入候选人脸截图模块，得到相应的候选框截图。人脸识别网络用于对输入的候选框截图进行多任务识别，即识别出候选框截图中的人脸特征点以及人脸属性等等，具体人脸识别网络的输出可以根据具体情况进行训练，在此不做显示。

人脸识别方法是提供一种从输入的图像序列中识别出最佳人脸的方法，所述的最佳人脸为整个图像序列中位置居中、大小合适以及正面姿态的人脸图像。具体地，将待识别图像序列输入至人脸识别模型中，再结合人脸质量评价函数对人脸识别网络的输出结果进行评价，从而得到最佳人脸。

在下文中将对人脸识别模型的构建方法以及人脸识别方法进行详细描述。

在本实施例中提供了一种人脸识别模型的构建方法，可用于上述的电子设备，如电脑、手机、平板电脑等，图1是根据本发明实施例的人脸识别模型的构建方法的流程图，如图1所示，该流程包括如下步骤：

S11，获取具有标注信息的样本图像。

其中，所述标注信息用于表示所述样本图像中真实人脸的位置。用户在将样本图像输入检测网络之前，需要先在样本图像上标注出真实人脸的位置，便于后续对检测网络所检测到的人脸的位置进行验证。

具体在标注时，可以利用图像特征标签选取工具(例如，LabelImg)对待查询图片进行人工标注，标注信息为(X_p,Y_p,L_p,W_p)，其中，(X_p,Y_p)为特征左上角的坐标信息，(L_p,W_p)为该特征占的像素的长和宽；也可以进行手工标注等等。

S12，将样本图像输入检测网络，得到人脸候选框的位置。

其中，所述检测网络为利用第一卷积网络进行训练得到的。具体地，检测网络包括卷积结构以及全连接层，其中，卷积结构用于对输入的样本图像进行特征提取，构建特征图；全连接层用于对特征图进行深度特征提取，后续结合所设置的损失函数对检测网络中的参数进行训练。

卷积结构如图2所示，可以取AlexNet卷积网络的第一卷积层(con1层)到第五池化层(pool5层)。可选地，也可以pool5后添加一些额外的卷积-卷积-池化结构等等。

需要说明的是，该检测网络可以是预先训练好的，也可以是在需要构建人脸识别模型的时候训练得到的，在此并不做任何限制，只需保证该检测网络能够在输入的样本图像上标注出人脸候选框即可。

电子设备在获取到具有标注信息的样本图像之后，将该样本图像输入检测网络中，即可得到候选人脸框的位置。

S13，基于人脸候选框的位置，截取对应于人脸候选框的位置区域的图像，以得到候选框截图。

其中，所述候选框截图是人脸候选框的位置经过候选人脸截图模块所得到的，所述候选人脸截图模块具有反向传播特性。

电子设备在得到人脸候选框的位置之后，基于人脸候选框的位置截取对应于人脸候选框的位置区域的图像。如上文所述，将该过程表述为候选人脸截图模块，具体地，候选人脸截图模块可以理解为用于实现图像截取的程序段，该程序段的输入为人脸候选框的位置，输出为候选人脸图像。电子设备利用该候选人脸截图模块就能截取对应于人脸候选框区域的图像，以得到候选框截图。具体的截图原理，可以是仿射映射原理，也可以是利用其它截取方法，只需保证该候选人脸截图模块能够截取对应于人脸候选框区域的图像，且具有反向传播特性即可。在下文的描述中，将对人脸截图模块进行详细描述。

S14，固定检测网络的参数，将候选框截图输入人脸识别网络，对人脸识别网络进行训练，以调整人脸识别网络的参数。

其中，所述人脸识别网络为利用第二卷积网络所构建的。

电子设备在对人脸识别模型进行训练之前，可以先将获取到的检测网络、人脸截图模块以及人脸识别网络依次级联，构成初始的人脸识别模型。该人脸识别网络为卷积结构的识别网络，输入为人脸候选框截图(即，S13中得到的候选框截图)，输出为人脸识别的结果。其中，人脸识别的结果可以是多任务识别结果，即包括人脸特征点定位任务以及多种人脸属性分类任务。所述的人脸属性分类包括性别、种族、年龄等等。具体的多任务识别可以根据实际情况进行具体设置，在此并不做任何限制。

电子设备在进行网络级联是的人脸识别网络为参数初始化后的人脸识别网络，该人脸识别网络中的参数是人为设置的。在级联之后，电子设备首先固定检测网络的参数，对人脸识别网络进行单独训练，以调整人脸识别网络的参数。

具体地，通过可以设置迭代次数(即，执行S11至S14的次数)，不断对人脸识别网络的参数进行调整，直至迭代次数达到预设值。也可以是设置损失函数的阈值，当人脸识别网络对应的损失函数满足阈值的条件时，迭代结束等等。

总之，电子设备首先固定检测网络的参数，对人脸识别网络进行单独训练，以进行前向传播训练。

S15，释放检测网络的参数，对检测网络以及调整参数后的人脸识别网络进行训练，以构建人脸识别模型。

在人脸识别网络训练完成之后，电子设备释放检测网络的参数，即将检测网络与S14中调整参数后得到的人脸识别网络进行训练。可以是将检测网络与人脸识别网络一起训练，也可以是固定人脸识别网络的参数，单独对检测网络进行训练；再释放人脸识别网络的参数，对检测网络与人脸识别网络进行联合训练等等。在下文的描述中，将对该步骤进行详细描述。

电子设备在对检测网络以及调整参数后的人脸识别网络进行训练之后，即可构建人脸识别模型。

本实施例提供的人脸识别模型的构建方法，由于候选人脸截图模块具有反向传播特性(即该候选人脸截图模块所表征的人脸截图表达式可导)，那么从人脸候选框可以得到候选框截图，反过来从候选框截图也可以得到人脸候选框；即利用候选人脸截图的过程实现检测网络与人脸识别网络的耦合，确保了人脸识别网络的识别结果可以通过反向传播传递到检测网络，提升了候选框的检测精度，在避免误差累积传递的同时提高了人脸识别的准确率。

在本实施例中还提供了一种人脸识别模型的构建方法，可用于上述的电子设备，如电脑、手机、平板电脑等，图4是根据本发明实施例的人脸识别模型的构建方法的流程图，如图4所示，该流程包括如下步骤：

S21，获取具有标注信息的样本图像。

其中，所述标注信息用于表示所述样本图像中真实人脸的位置。详细请参见图1所示实施例的S11，在此不再赘述。

S22，将样本图像输入检测网络，得到人脸候选框的位置。

其中，所述检测网络为利用第一卷积网络进行训练得到的。详细请参见图1所示实施例的S12，在此不再赘述。

S23，基于人脸候选框的位置，截取对应于人脸候选框的位置区域的图像，以得到候选框截图。

其中，所述候选框截图是所述人脸候选框的位置经过候选人脸截图模块所得到的，所述候选人脸截图模块具有反向传播特性。

如上文所示，电子设备将该步骤的实现过程表述为候选人脸截图模块，具体地，候选人脸截图模块即是通过人脸候选框的位置进行坐标运算，得到候选框截图。

可选地，候选人脸截图模块的构造过程如下：

(1)构造两个离散点阵U和V。其中V代表输出图像(即候选框截图)上各个像素点的坐标；U代表V上各点在原图(即，样本图像)上对应像素点的坐标。U和V上的所有坐标点都归一化到[-1，1]之间，坐标点的个数由输出图像的宽高参数决定。

(2)点阵U与点阵V上的坐标一一对应，对应关系用仿射变换表示：

其中，六参数的值可以利用人脸候选框的位置计算得到。

(3)算出点阵U，便可以通过双线性插值，得到候选人脸的截图。

S24，固定检测网络的参数，将候选框截图输入人脸识别网络，对人脸识别网络进行训练，以调整人脸识别网络的参数。

其中，所述人脸识别网络为利用第二卷积网络所构建的。请参见图4，在图4中示出了人脸识别网络对应的损失函数为多任务联合损失函数，即该损失函数为各个人脸识别任务的损失函数之和。具体地，人脸识别网络的构造过程如下所述：

(1)选择合适的卷积网络，作为人脸识别网络的主干卷积结构，并用全连接层提取深度特征；

(2)连接多个识别任务的损失函数，构成多任务识别网络。

其中，人脸识别的多任务，包括但不限于人脸特征点定位任务与多种人脸属性分类任务。特征点定位任务的损失函数可以为欧式距离损失函数(即，Euclidean Loss函数)，人脸属性分类任务的损失函数为Softmax+损失函数(即，SoftmaxLoss函数)。对应的损失权重系数根据重要性、准确性、相关性等因素灵活调节，多个损失函数一起训练，丰富了深度特征的捕捉角度，提高各自识别精度；例，基于人脸的识别的多任务相关性，采用多损失函数加权求和的方式实现人脸识别网络，提高对深层特征的整体捕捉能力，提高识别任务的准确率。

进一步地，人脸识别网络能够输出多任务结果，通过人脸识别的多任务之间的共享特征，不仅降低了所需内存与计算量，还发挥多任务的多角度优势，在相互促进中提高网络的特征捕捉能力。

其余详细请参见图1所示实施例的S24，在此不再赘述。

S25，释放检测网络的参数，对检测网络以及调整参数后的人脸识别网络进行训练，以构建人脸识别模型。

电子设备在S24中固定检测网络的参数对人脸识别网络进行训练完成之后，先固定人脸识别网络的参数，训练检测网络；再释放人脸识别网络的参数，联合训练检测网络与人脸识别网络。具体地，包括：

S251，固定人脸识别网络的参数，训练检测网络，以调整检测网络的参数。

电子设备可以将S24中训练得到的人脸识别网络的参数锁定，通过设置迭代次数，利用图4中的多任务联合损失函数训练检测网络，以更新检测网络的参数。

S252，释放人脸识别网络的参数，对检测网络以及调整参数后的人脸识别网络进行联合训练，以优化人脸识别模型中各个网络的参数。

电子设备释放人脸识别网络的参数，即同时释放检测网络与人脸识别网络的参数，对检测网络以及调整参数后的人脸识别网络进行联合训练，对检测网络的参数和人脸识别网络中的参数进行优化，在该步骤的参数优化时，依然是基于图4中所述的多任务联合损失函数进行的。

电子设备在该步骤中利用人脸识别网络的丰富的识别结果，对检测网络中形成的锚点框的位置偏移进行精修。

与图1所示实施例相比，本实施例提供的人脸识别模型的构建方法，利用人脸识别网络的识别结果训练检测网络，提高了检测网络的检测精度；再将检测网络与人脸识别网络进行联合训练，人脸识别网络帮助提升检测网络的精度，人脸识别网络又为检测网络提供依据，检测与识别相互耦合，提高了人脸识别的准确性。

在本实施例中还提供了一种人脸识别模型的构建方法，可用于上述的电子设备，如电脑、手机、平板电脑等，图5是根据本发明实施例的人脸识别模型的构建方法的流程图，如图5所示，该流程包括如下步骤：

S31，获取具有标注信息的样本图像。

其中，所述标注信息用于表示所述样本图像中真实人脸的位置。详细请参见3所示实施例的S21，在此不再赘述。

S32，将样本图像输入检测网络，得到人脸候选框的位置。

其中，所述检测网络为利用第一卷积网络进行训练得到的。具体地检测网络的结构如图6所示，该检测网络的构造过程如下，具体考量了二分类置信度及位置偏移量两方面：

(1)在特征图上生成一批锚点框。特征图上的锚点框与输入的原图上的锚点框存在一一对应关系。锚点框在特征图上的中心点坐标位置，可以对应找到原图上的中心点位置坐标。锚点框在特征图上的尺寸乘以该卷积层的降采样倍数，就是其在原图上的尺寸。通过适当的参数设计，生成不同大小规格的锚点框且各规格均交叠覆盖整张原图。

(2)用锚点框在卷积结构所输出的特征图上截取特征区域，然后用全连接层提取该区域的深度特征。

(3)利用深度特征，计算每个锚点框的二分类置信度与位置偏移。其中，二分类的标签通过锚点框与真实人脸框的覆盖面积比例判定得到，位置偏移的标签可以从每个锚点图上在原图上的对应位置算出来。偏移标签包含四个实数值(dx，dy，dw，dh)，对应锚点框左上角横坐标x、左上角纵坐标y，宽w，高h；其用于表示相对于真实人脸矩形框(x₀，y₀，w₀，h₀)的变化量。定义为：

进一步地，检测网络的构造过程也可以理解为人脸候选框的生成过程。具体地，包括以下步骤：

S321，将样本图像输入检测网络，得到若干锚点框的二分类置信度与位置偏移。

其中，所述位置偏移为所述锚点框相对于所述真实人脸的位置的偏移量。

S322，判断各锚点框的二分类置信度是否小于预设值。

检测网络中设置有预设值，当锚点框的二分类置信度小于预设值时，抛弃该锚点框。当锚点框的二分类置信度大于或等于预设值时，保留该锚点框。不断重复该步骤，直至所有的锚点框全都判断完毕；然后执行S323。

S323，对剩余的锚点框进行非极大值抑制，以得到人脸候选框的位置。

以锚点框的总损失值为评分依据，将S322所筛选的剩余锚点框进行排序。然后，保留评价最好的锚点框作为候选框，并去除与该框重叠面积较大的其他锚点框。接着，在剩余的锚点框中，重复此操作，直至遍历完所有框，即可得到人脸候选框的位置。

S33，基于人脸候选框的位置，截取对应于人脸候选框的位置区域的图像，以得到候选框截图。

其中，所述候选框截图是所述人脸候选框的位置经过候选人脸截图模块所得到的，所述候选人脸截图模块具有反向传播特性。详细请参见图3所示实施例的S23，在此不再赘述。

S34，固定检测网络的参数，将候选框截图输入人脸识别网络，对人脸识别网络进行训练，以调整人脸识别网络的参数。

其中，所述人脸识别网络为利用第二卷积网络所构建的。详细请参见图3所示实施例的S24，在此不再赘述。

S35，释放检测网络的参数，对检测网络以及调整参数后的人脸识别网络进行训练，以构建人脸识别模型。详细请参见图3所示实施例的S25，在此不再赘述。

与图3所示实施例相比，本实施例提供的人脸识别模型的构建方法，基于人脸识别的多任务相关性，采用多个损失函数加权求和的方式实现人脸识别网络，提高对深层特征的整体捕捉能力，提高识别任务的准确率。

根据本发明实施例，提供了一种人脸识别方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在本实施例中提供了一种人脸识别方法，可用于上述的电子设备，如电脑、手机、平板电脑等。本实施例中的人脸识别方法是基于图1、3以及图5所示实施例提供的人脸识别模型的构建方法所构建的人脸识别模型进行的。图7是根据本发明实施例的人脸识别方法的流程图，如图7所示，该流程包括如下步骤：

S41，获取待识别图像序列。

电子设备所获取的待识别图像序列可以是事先存储在其中的，也可以是电子设备实时从图像采集设备中获取的，只需保证电子设备能够获取到该待识别图像序列即可，对具体的获取方式并不做任何限定。

S42，将待识别图像序列输入根据人脸识别模型的构建方法所构建出的人脸识别模型中，得到人脸识别的结果。

其中，所述人脸识别结果包括人脸特征点的坐标。电子设备将待识别图像序列输入至人脸识别模型中，即可得到人脸识别的结果。例如，输出各人脸图像的特征点坐标。可选地，该人脸识别模型的输出也可以是人脸识别的多任务结果。例如，多任务结果包括人脸特征点的坐标以及人脸属性的分类等等。

S43，基于人脸特征点的坐标计算人脸质量评价的数值。

由于该人脸识别的目的在于从待识别图像中识别出属于同一人脸的最佳人脸。例如，图像序列所采集的为某一路段上，多人经过时的各种姿态的人脸图像，那么该人脸识别模型的在于从图像序列中，识别出属于同一人的最佳人脸图像。所述最佳人脸图像为位置居中、大小合适以及正面姿态的人脸图像。在数学上，该标准也可以描述成，挑选在二维图像的矩阵子空间上投影能量最多的候选人脸。投影到该子空间之外的能量，可以理解为二维平面无法描述的人脸俯仰角、偏转角、五官轮廓、脸部联动关系等立体信息。

其中，人脸特征点是衡量最佳人脸的依据，基于S43中得到的人脸特征点的坐标，即可计算出待识别图像序列中各个图像在二维图像的矩阵子空间上的投影能量，该投影能量即可表征出候选人脸是否为最佳人脸。

S44，根据人脸质量评价的数值，输出最佳人脸图像。

电子设备在S43中计算得出对应于同一人脸的人脸质量评价的数值，可以通过比较人脸质量评价数值的大小，确定对应于同一人脸的最佳人脸图像；或者，为便于比较大小，首选对人脸质量评价的数值进行排序，然后再输出对应于同一人脸的最佳人脸图像。例如，在图像序列经过人脸识别网络之后，人脸识别网络采用同一个ID标注出同一人脸，那么在输出最佳人脸图像时，可以利用同一个ID的人脸质量评价的数值进行比较，以确定对应于同一ID的最佳人脸图像，即同一人脸的最佳人脸图像。

本实施例提供的人脸识别方法，由于最佳人脸是在二维图像的矩阵子空间上投影能量最多的候选人脸，投影到该子空间以外的能量，可以理解为二维平面无法描述的人脸俯仰角、偏转角等立体信息，采用人脸特征点的坐标计算人脸质量评价的数值具有较高的可信度。

在本实施例中提供了一种人脸识别方法，可用于上述的电子设备，如电脑、手机、平板电脑等，图8是根据本发明实施例的人脸识别方法的流程图，如图8所示，该流程包括如下步骤：

S51，获取待识别图像序列。详细请参见图7所示实施例的S41，在此不再赘述。

S52，将待识别图像序列输入根据上述人脸识别模型的构建方法所构建出的人脸识别模型中，得到人脸识别的结果。

其中，所述人脸识别的结果包括人脸特征点的坐标。具体地，电子设备在将图像序列经过人脸识别模型后为整个图像序列的所有候选框做分类，即按照同一人脸的分类，对所有候选框进行归类。

详细请参见图7所示实施例的S42，在此不再赘述。

可选地，对于待识别图像序列中，若相连的两个图像(即，图像序列中的前后图像)中坐标交叠区域面积超过门限值的人脸候选框，视为描述同一目标，分为一类。

S53，基于人脸特征点的坐标计算人脸质量评价的数值。

具体地，包括：

S531，提取标准人脸特征点的坐标。

所述标准人脸为位置居中、大小合适以及正面姿态的人脸。其中，可以在电子设备中预先存储一组标准人脸特征点的坐标，在计算人脸质量评价的数值时，直接从电子设备中提取该标准人脸特征点的坐标即可。

S532，基于标准人脸特征点的坐标计算常数矩阵。

电子设备在人脸识别网络中输出的人脸特征点为N个，例如，可以是5个，68个等等。那么对应于人脸特征点即可得到人脸特征点的坐标所组成的特征点矩阵，具体表示为：N为所述人脸特征点的数量，该人脸特征点矩阵为2×N维矩阵，其中的每一列为各个特征点的坐标。

常数矩阵为标砖人脸特征点的坐标计算得到的，具体为一个N×N的常数矩阵B。

S533，利用人脸特征点的坐标以及常数矩阵计算人脸质量评价的数值。

将人脸特征点的坐标所组成的特征点矩阵映射至常数矩阵上，即可挑选在二维图像的矩阵子空间上投影能量最多的候选人脸。投影到该子空间之外的能量，可以理解为二维平面无法描述的人脸俯仰角、偏转角、五官轮廓、脸部联动关系等立体信息。

具体地，采用如下公式计算人脸评价的数值：

Y＝|P×B|^2；

其中，P为所述人脸特征点矩阵，表示为N为所述人脸特征点的数量；B为所述常数矩阵，其尺寸为N×N。

S54，根据人脸质量评价的数值，输出最佳人脸图像。

其中，所述最佳人脸图像为位置居中、大小合适以及正面姿态的人脸图像。具体地，包括：

S541，分别对同一人脸对应的人脸质量评价的数值进行排序。

电子设备在S5333中，计算得到同一人脸对应的人脸质量评价的数值，对这些数值进行排序，例如从小到大，或从大到小等等。

S542，基于排序结果输出同一人脸的最佳人脸图像。

电子设备可以将人脸质量评价的数值最大，或最小的候选人脸作为同一人脸的最佳人脸图像。

作为本实施例的一种可选实施方式，如图9所示，图9示出了利用人脸识别模型从图像序列至最佳人脸三维定位识别信息的过程。具体地：待识别图像序列输入至检测网络，得到人脸候选框；人脸候选框经过候选人脸截图模块之后，得到候选框截图；候选框截图输入至人脸识别网络得到多任务识别结果；多任务识别结果经过人脸质量评价模块(即，计算人脸评价的数值)，得到人脸评价的数值，通过对人脸评价数值的处理，即可得到最佳人脸。最后在得到最佳人脸之后，利用最佳人脸在整个待识别图像序列中的出现位置，能够得到最佳人脸三维定位的识别信息。

作为从人脸识别模型的训练到人脸识别的一种具体应用实例，整个流程包括：

1、检测网络的训练准备

(1)输入图像准备

尺寸调整到227*227，手动标定得到真实人脸检测框。

(2)网络结构准备

卷积结构对应图2，取AlexNet网络con1层到pool5层。

(3)锚点框布置规则

考虑到人脸形状，选取锚点框的长宽比均为1:1。通过设计适当的卷积层参数，可以使得所有锚点框，交叠覆盖整个特征图。具体来说，框的边长呈4、8、16这样的翻倍变化，框的最小偏移为1/4的宽和高，即最大交叠面积为9/16。

(4)锚点框标定

标定准则如下：a.对每个真实人脸检测框，与其重叠比例最大的锚点框视为正样本；b.对剩下的锚点框，如果其与某个真实人脸框的重叠比例大于0.7，则视为正样本；c.重叠比例小于0.3，则视为负样本；d.对于再剩下的锚点框，弃掉不用；d.跨越图像边界的锚点框，弃掉不用。

(5)锚点框输入

每一个mini-batch包含从一张256个锚点框，其中正样本与负样本的比例(或人脸框与背景框的比例)为1:3。

2、人脸识别网络的训练准备

(1)输入图像准备

设置候选人脸截图结构的参数，统一输出图像的宽高尺寸。

(2)网络结构准备

根据识别的实际需求，进行卷积结构的微调。

(3)多任务损失权重设置

根据任务的重要性、数据的干净程度等灵活设置，大致原则为保证各任务损失函数值的数量级大致相同。

3、识别网络与检测网络联合训练策略

a.固定或关闭识别网络中的参数，训练检测网络；

b.固定检测网络参数，训练识别网络；

c.重复一遍步骤a和b。

d.同时训练检测网络和识别网络，进行参数微调。

4、人脸质量评价模块的实施例

(1)输入图像序列准备

图像序列来自于街景监控探头对行人行走轨迹的连拍。

(2)网络结构的准备

将检测网络、候选人脸截图模块、识别网络、人脸质量评价模块做整体级联。

(3)整体测试

将整个图像序列的所有候选人脸识别结果输入人脸质量识别模块，测试输出的最佳人脸是否为位置居中、大小合适、正面姿态。

在本实施例中还提供了一种人脸识别模型的构建装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

本实施例提供一种人脸识别模型的构建装置，如图10所示，包括：

第一获取模块61，用于获取具有标注信息的样本图像；其中，所述标注信息用于表示所述样本图像中真实人脸的位置。

检测模块62，用于将所述样本图像输入检测网络，得到人脸候选框的位置；其中，所述检测网络为利用第一卷积网络进行训练得到的。

截取模块63，用于基于所述人脸候选框的位置，截取对应于人脸候选框的位置区域的图像，以得到候选框截图；其中，所述候选框截图是所述人脸候选框的位置经过候选人脸截图模块所得到的，所述候选人脸截图模块具有反向传播特性。

第一训练模块64，用于固定所述检测网络的参数，将所述候选框截图输入人脸识别网络，对所述人脸识别网络进行训练，以调整所述人脸识别网络的参数；其中，所述人脸识别网络为利用第二卷积网络所构建的。

第二训练模块65，用于释放所述检测网络的参数，对所述检测网络以及调整参数后的所述人脸识别网络进行训练，以构建人脸识别模型。

本实施例提供的人脸识别模型的构建装置，由于候选人脸截图模块具有反向传播特性，那么从人脸候选框的位置可以得到候选框截图，反过来从候选框截图也可以得到人脸候选框的位置；即利用候选人脸截图的过程实现检测网络与人脸识别网络的耦合，确保了人脸识别网络的识别结果可以通过反向传播传递到检测网络，提升了候选框的检测精度，在避免误差累积传递的同时提高了人脸识别的准确率。

本实施例还提供一种人脸识别模型的构建装置，如图11所示，包括：

第二获取模块71，用于获取待识别图像序列。

识别模块72，用于将所述待识别图像序列输入根据权利要求1-4中任一项所述的人脸识别模型的构建方法所构建出的人脸识别模型中，得到人脸识别的多任务结果；所述任务结果包括人脸特征点的坐标以及人脸属性的分类。

评价模块73，用于基于所述人脸特征点的坐标计算人脸质量评价的数值。

输出模块74，用于根据所述人脸质量评价的数值，输出对应于各类所述人脸属性的最佳人脸图像；其中，所述最佳人脸图像为位置居中、大小合适以及正面姿态的人脸图像。

本实施例提供的人脸识别模型的构建装置，由于最佳人脸是在二维图像的矩阵子空间上投影能量最多的候选人脸，投影到该子空间以外的能量，可以理解为二维平面无法描述的人脸俯仰角、偏转角等立体信息，采用人脸特征点的坐标计算人脸质量评价的数值具有较高的可信度。

本实施例中的人脸识别模型的构建装置以人脸识别装置是以功能单元的形式来呈现，这里的单元是指ASIC电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。

上述各个模块的更进一步的功能描述与上述对应实施例相同，在此不再赘述。

本发明实施例还提供一种电子设备，具有上述图10所示的人脸识别模型的构建装置或图11所示的人脸识别装置。

请参阅图12，图12是本发明可选实施例提供的一种终端的结构示意图，如图12所示，该终端可以包括：至少一个处理器81，例如CPU(Central Processing Unit，中央处理器)，至少一个通信接口83，存储器84，至少一个通信总线82。其中，通信总线82用于实现这些组件之间的连接通信。其中，通信接口83可以包括显示屏(Display)、键盘(Keyboard)，可选通信接口83还可以包括标准的有线接口、无线接口。存储器84可以是高速RAM存储器(Random Access Memory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器84可选的还可以是至少一个位于远离前述处理器81的存储装置。其中处理器81可以结合图12所描述的装置，存储器84中存储应用程序，且处理器81调用存储器84中存储的程序代码，以用于执行上述任一方法步骤。

其中，通信总线82可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。通信总线82可以分为地址总线、数据总线、控制总线等。为便于表示，图12中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

其中，存储器84可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard diskdrive，缩写：HDD)或固态硬盘(英文：solid-state drive，缩写：SSD)；存储器84还可以包括上述种类的存储器的组合。

其中，处理器81可以是中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。

其中，处理器81还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specific integrated circuit，缩写：ASIC)，可编程逻辑器件(英文：programmable logic device，缩写：PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：CPLD)，现场可编程逻辑门阵列(英文：field-programmable gate array，缩写：FPGA)，通用阵列逻辑(英文：generic arraylogic,缩写：GAL)或其任意组合。

可选地，存储器84还用于存储程序指令。处理器81可以调用程序指令，实现如本申请图1、3以及5实施例中所示的人脸识别模型的构建方法或图7至8实施例中所示的人脸识别方法。

本发明实施例还提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的人脸识别模型的构建方法或人脸识别方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(FlashMemory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种人脸识别模型的构建方法，其特征在于，包括：

获取具有标注信息的样本图像；其中，所述标注信息用于表示所述样本图像中真实人脸的位置；

将所述样本图像输入检测网络，得到人脸候选框的位置；其中，所述检测网络为利用第一卷积网络进行训练得到的；

基于所述人脸候选框的位置，截取对应于人脸候选框区域的图像，以得到候选框截图；其中，所述候选框截图是所述人脸候选框的位置经过候选人脸截图模块所得到的，所述候选人脸截图模块具有反向传播特性；

固定所述检测网络的参数，将所述候选框截图输入人脸识别网络，对所述人脸识别网络进行训练，以调整所述人脸识别网络的参数；其中，所述人脸识别网络为利用第二卷积网络所构建的；

释放所述检测网络的参数，对所述检测网络以及调整参数后的所述人脸识别网络进行训练，以构建人脸识别模型。

2.根据权利要求1所述的方法，其特征在于，所述释放所述检测网络的参数，对所述检测网络以及调整参数后的所述人脸识别网络进行训练，以构建人脸识别模型，包括：

固定所述人脸识别网络的参数，训练所述检测网络，以调整所述检测网络的参数；

释放所述人脸识别网络的参数，对所述检测网络以及调整参数后的所述人脸识别网络进行联合训练，以优化所述人脸识别模型中各个网络的参数。

3.根据权利要求1所述的方法，其特征在于，所述人脸识别网络的输出为人脸识别的多任务结果，所述多任务结果包括人脸特征点的坐标以及人脸属性的分类；所述人脸识别网络的损失函数为各个人脸识别任务的损失函数相加得到的函数。

4.根据权利要求1-3中任一项所述的方法，其特征在于，所述将所述样本图像输入检测网络，得到人脸候选框坐标，包括：

将所述样本图像输入所述检测网络，得到若干锚点框的二分类置信度与位置偏移；其中，所述位置偏移为所述锚点框相对于所述真实人脸的位置的偏移量；

判断各所述锚点框的二分类置信度是否小于预设值；

当所述锚点框的二分类置信度小于预设值时，抛弃所述锚点框；

对剩余的所述锚点框进行非极大值抑制，以得到所述人脸候选框的位置。

5.一种人脸识别方法，其特征在于，包括：

获取待识别图像序列；

将所述待识别图像序列输入根据权利要求1-4中任一项所述的人脸识别模型的构建方法所构建出的人脸识别模型中，得到人脸识别的结果；所述人脸识别的结果包括人脸特征点的坐标；

基于所述人脸特征点的坐标计算人脸质量评价的数值；

根据所述人脸质量评价的数值，输出最佳人脸图像；其中，所述最佳人脸图像为位置居中、大小合适以及正面姿态的人脸图像。

6.根据权利要求5所述的方法，其特征在于，所述基于所述人脸特征点的坐标计算人脸质量评价的数值，包括：

提取标准人脸特征点的坐标；

基于所述标准人脸特征点的坐标计算常数矩阵；

利用所述人脸特征点的坐标以及所述常数矩阵计算人脸质量评价的数值。

7.根据权利要求6所述的方法，其特征在于，采用如下公式计算人脸评价的数值：

Y＝|P×B|^2；

其中，P为所述人脸特征点坐标，表示为N为所述人脸特征点的数量；B为所述常数矩阵，其尺寸为N×N。

8.根据权利要求5-7中任一项所述的方法，其特征在于，所述根据所述人脸质量评价的数值，输出最佳人脸图像，包括：

分别对同一人脸对应的人脸质量评价的数值进行排序；

基于排序结果输出所述同一人脸的最佳人脸图像。

9.一种电子设备，其特征在于，包括：

存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1-4中任一项所述的人脸识别模型的构建方法或权利要求5-8中任一项所述的人脸识别方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1-4中任一项所述的人脸识别模型的构建方法或权利要求5-8中任一项所述的人脸识别方法。