CN115527254A - 人脸识别、模型训练方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明实施例涉及人工智能领域，公开了一种人脸识别、模型训练方法、装置、电子设备及存储介质，模型训练方法包括：获取输入图像的人脸特征图，其中，输入图像包括戴口罩人脸图像和不戴口罩人脸图像；根据人脸特征图及输入图像的口罩覆盖区域位置信息，生成口罩覆盖区域特征置零的口罩特征掩模；其中，口罩覆盖区域位置信息基于人脸关键点检测结果确定；根据口罩特征掩模和人脸特征图，获取输入图像的特征向量；根据特征向量及预设损失函数，获取人脸识别结果的损失值，并根据损失值对人脸识别模型进行参数更新。识别戴口罩人脸图像时，利用生成的口罩特征掩模使口罩覆盖区域人脸特征在人脸识别中贡献变小，准确完成戴口罩人脸图像的人脸识别。

Description

人脸识别、模型训练方法、装置、电子设备及存储介质

技术领域

本发明实施例涉及人工智能领域，特别涉及一种人脸识别、模型训练方法、装置、电子设备及存储介质。

背景技术

当前广泛使用的人脸识别***在配合式场景下拥有优秀的识别能力，但在复杂的真实应用场景中仍然面临一些挑战。一个重要的影响因素就是人脸遮挡，当人脸区域发生遮挡时，人脸可见信息减少，对于无特定设计过的一般人脸识别***，其识别能力将会大大降低。尤其近年人们出行都会佩戴口罩，提升戴口罩人脸的识别能力是人脸识别领域急需解决的难题。

针对戴口罩人脸的识别，一般有以下两种解决思路：一种思路是先恢复被口罩遮挡的人脸部分，再用完整的无遮挡人脸进行人脸识别，这种方法依赖人脸生成模型对于人脸遮挡区域恢复的准确性，而人脸生成本身就是一个比较困难的问题，其生成的人脸极易丢失人脸身份信息，因此，识别精度不够并且算法较为复杂。

另一种思路是去除被口罩遮挡破坏的特征，只使用人脸可见部位的有效特征进行人脸识别。这种思路也可分为两种方法，一种是在人脸识别之前先进行遮挡检测，判断人脸区域是否有口罩遮挡，有口罩遮挡的人脸则进行图像分割，这种方案需要添加口罩检测和口罩分割模块，增加了人脸识别***的复杂度，降低了人脸识别***的运行效率。另一种方法是在人脸识别模型中添加特征掩模生成器，事先定义多种矩形的特征掩模，在训练样本中添加特征掩模标签，利用训练样本对特征掩模生成器与人脸识别模型一起进行监督训练，但是特征掩模受限于事先定义的掩模种类，能够覆盖的口罩遮挡情况有限，因此人脸识别容易受到干扰，识别精度不稳定，并且特征掩模生成器和人脸识别模型需要进行单独训练和联合训练，训练过程中的调参较为困难。

发明内容

本申请部分实施例的目的在于提供一种人脸识别、模型训练方法、装置、电子设备及存储介质，降低人脸识别模型的训练难度和成本的同时，使得训练出的人脸识别模型能够在获取到戴口罩人脸图像时，生成使口罩覆盖区域人脸特征在人脸识别过程中贡献较小的口罩特征掩模，准确完成戴口罩人脸图像的人脸识别。

为解决上述技术问题，本申请实施例提供了一种人脸识别模型训练方法，包括：获取输入图像的人脸特征图，其中，所述输入图像包括戴口罩人脸图像和不戴口罩人脸图像；根据所述人脸特征图及所述输入图像的口罩覆盖区域位置信息，生成所述口罩覆盖区域特征置零的口罩特征掩模；其中，所述口罩覆盖区域位置信息基于人脸关键点检测结果确定；根据所述口罩特征掩模和所述人脸特征图，获取所述输入图像的特征向量；根据所述特征向量及预设损失函数，获取人脸识别结果的损失值，并根据所述损失值对所述人脸识别模型进行参数更新。

为解决上述技术问题，本申请实施例还提供了一种人脸识别方法，包括：根据上述人脸识别模型训练方法，获取训练完成的人脸识别模型；获取待识别人脸图像，将所述待识别人脸图像作为所述人脸识别模型的输入，获取人脸识别结果。

为解决上述技术问题，本申请实施例还提供了一种人脸识别模型训练装置，包括：获取模块，用于获取输入图像的人脸特征图，其中，所述输入图像包括戴口罩人脸图像和不戴口罩人脸图像；生成模块，用于根据所述人脸特征图及所述输入图像的口罩覆盖区域位置信息，生成所述口罩覆盖区域特征置零的口罩特征掩模；其中，所述口罩覆盖区域位置信息基于人脸关键点检测结果确定；提取模块，用于根据所述口罩特征掩模和所述人脸特征图，获取所述输入图像的特征向量；训练模块，用于根据所述特征向量及预设损失函数，获取人脸识别结果的损失值，并根据所述损失值对所述人脸识别模型进行参数更新。

为解决上述技术问题，本申请实施例还提供了一种人脸识别装置，包括：获取模块，用于根据上述的人脸识别模型训练方法，获取训练完成的人脸识别模型；识别模块，用于获取待识别人脸图像，将所述待识别人脸图像作为所述人脸识别模型的输入，获取人脸识别结果。

为解决上述技术问题，本申请实施例还提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的人脸识别模型训练方法，或人脸识别方法。

为解决上述技术问题，本申请实施例还提供了一种计算计可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述的人脸识别模型训练方法，或人脸识别方法。

本申请实施例提供的人脸识别模型训练方法，在人脸识别模型训练过程中，对输入的戴口罩人脸图像和不戴口罩人脸图像进行特征提取，获取人脸特征图，然后根据基于人脸关键点检测结果确定的口罩覆盖区域位置信息和人脸特征图，生成口罩覆盖区域特征置零的口罩特征掩模，根据口罩特征掩模和人脸特征图，获取输入图像的特征向量。然后根据特征向量及预设损失函数获取人脸识别结果的损失值，并基于损失值对模型参数进行更新。通过利用基于人脸关键点检测结果确定的口罩覆盖区域位置信息生成口罩特征掩模，避免了需要添加掩模标签进行模型的监督训练，降低了训练过程中的调参难度和训练成本；基于口罩特征掩模和人脸特征图得到特征向量进行模型训练，使得训练出的模型在获取到口罩覆盖区域特征值较差的图像时，能够直接生成口罩覆盖区域特征在人脸识别过程中贡献较小的口罩特征掩模，进而准确完成戴口罩人脸的识别。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是本申请实施例提供的人脸识别模型训练方法的流程图；

图2是本申请实施例中的关键点检测结果示意图；

图3是本申请实施例中的添加模拟口罩及口罩覆盖区域示意图；

图4是本申请实施例中的特征提取网络模型结构示意图；

图5是本申请实施例中的模型工作原理示意图；

图6是本申请另一实施例提供的人脸识别方法的流程图；

图7是本申请另一实施例提供的人脸识别模型训练装置的结构示意图；

图8是本申请另一实施例提供的人脸识别装置的结构示意图；

图9是本申请另一实施例提供的电子设备结构示意图。

具体实施方式

由背景技术可知，现有基于口罩特征掩模的戴口罩人脸识别模型训练过程中，调参较为困难，并且受限于监督训练过程中自定义的掩模种类，训练出的模型的人脸识别容易受到干扰，识别精度不稳定，因此，如何简单高效的训练出对戴口罩人脸图像具有高效准确的人脸识别效果的人脸识别模型成为了急需解决的问题。

为了实现简单高效的训练出对戴口罩人脸图像具有高效准确的人脸识别效果的人脸识别模型这一目的，本发明的实施例提供了一种人脸识别模型训练方法，包括：获取输入图像的人脸特征图，其中，输入图像包括戴口罩人脸图像和不戴口罩人脸图像；根据人脸特征图及输入图像的口罩覆盖区域位置信息，生成口罩覆盖区域特征置零的口罩特征掩模；其中，口罩覆盖区域位置信息基于人脸关键点检测结果确定；根据口罩特征掩模和人脸特征图，获取输入图像的特征向量；根据特征向量及预设损失函数，获取人脸识别结果的损失值，并根据损失值对人脸识别模型进行参数更新。

本申请实施例提供的人脸识别模型训练方法，在人脸识别模型训练过程中，对输入的戴口罩人脸图像和不戴口罩人脸图像进行特征提取，获取人脸特征图，然后根据基于人脸关键点检测结果确定的口罩覆盖区域位置信息和人脸特征图，生成口罩覆盖区域特征置零的口罩特征掩模，根据口罩特征掩模和人脸特征图，获取输入图像的特征向量。然后根据特征向量及预设损失函数获取人脸识别结果的损失值，并基于损失值对模型参数进行更新。通过利用基于人脸关键点检测结果确定的口罩覆盖区域位置信息生成口罩特征掩模，避免了需要添加掩模标签进行模型的监督训练，降低了训练过程中的调参难度和训练成本；基于口罩特征掩模和人脸特征图得到特征向量进行模型训练，使得训练出的模型在获取到口罩覆盖区域特征值较差的图像时，能够直接生成口罩覆盖区域特征在人脸识别过程中贡献较小的口罩特征掩模，进而准确完成戴口罩人脸的识别。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本发明的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。

下面将结合具体的实施例对本申请记载的人脸识别模型训练方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。

本申请实施例的第一方面提供了一种人脸识别模型训练方法，在具体的应用中，人脸识别模型训练方法可以应用于能够进行数据交互和运算的终端，如电脑、手机等电子设备中，本实施例以应用在电脑为例进行说明，人脸识别模型训练的流程可以参考图1，包括以下步骤：

步骤101，获取输入图像的人脸特征图，其中，输入图像包括戴口罩人脸图像和不戴口罩人脸图像。

具体地说，在进行人脸识别模型训练的过程中，电脑从预设的存储地址或者本地存储空间，获取待训练人脸识别模型及进行模型训练时采用的训练样本，即，若干个戴口罩人脸图像和若干不戴口罩人脸图像。然后逐一将各训练样本作为待训练人脸识别模型的输入，通过待训练人脸识别模型中的特征提取网络，对输入图像的进行特征提取，获取输入图像的人脸特征图。获取训练样本的时候，可以通过读取预储的处理好的图像生成训练样本，也可以获取未经处理的图像，通过实时处理的方式生成训练样本。

在一个例子中，人脸识别模型训练时使用的不戴口罩人脸图像可以通过以下方式获取：根据预设人脸检测算法，分别对若干不戴口罩的人脸图像进行人脸关键点检测；对于每个不戴口罩的人脸图像，根据人脸关键点检测的结果，对不戴口罩的人脸图像进行人脸关键点矫正，生成若干不戴口罩人脸图像。

具体而言，可以预先获取或者实时获取若干个未经过处理的不戴口罩的人脸图像，然后对于每一个不戴口罩的人脸图像，按照预设的人脸检测算法，对不戴口罩的人脸图像中人脸区域和包括左右眼、鼻尖、左右嘴角五个位置在内的人脸关键点进行检测，得到包含人脸轮廓的人脸关键点检测结果。然后根据人脸关键点检测结果进行人脸关键点矫正，将矫正后的图像作为训练样本中的不戴口罩人脸图像。通过根据人脸关键点检测结果对图像中的人脸关键点进行矫正，保证模型训练过程中使用的输入图像中人脸特征的准确程度，提高模型训练效率和效果。

值得一提的是，完成人脸关键点矫正后，还可以根据模板中包含的若干个关键点，在矫正后的人脸关键点检测结果中确定出若干个特定关键点，并分别与模板中对应的关键点进行对齐，然后再对图像进行归一化处理，得到尺寸一定的人脸大头照，将人脸大头照作为不戴口罩人脸图像。通过将输入图像处理成尺寸一定的图像，提高训练效率。

在另一个例子中，戴口罩人脸图像可以通过以下方式获取：选取若干不戴口罩人脸图像；对于选取的每个不戴口罩人脸图像，根据预设的模拟口罩添加算法，为不戴口罩人脸图像添加模拟口罩，生成若干戴口罩人脸图像。

具体而言，由于直接获取戴口罩人脸图像获取成本和难度较大，因此，在获取戴口罩人脸图像的过程中，可以直接在生成的不戴口罩人脸图像中选取若干个图像。对每个选取的不戴口罩人脸图像，根据预设的模拟口罩添加算法，获取添加的模拟口罩的模板，根据获取到的模板为不戴口罩人脸图像添加模拟口罩，并根据人脸特征点检测结果，确定并存储模拟口罩覆盖区域位置信息。通过添加模拟口罩的方式，降低戴口罩人脸图像获取成本。

值得一提的是，选取不戴口罩人脸图像添加模拟口罩的时候，图像选取的方式可以是随机选取、固定间隔选取或者按照图像的编号进行选取等，模拟口罩添加可以是三维建模、AR 模拟、划定模拟口罩覆盖的覆盖圈等方式，本实施例图像选取和模拟口罩添加的具体方式不做限制。

在另一个例子中，预设人脸检测算法为以下任一检测算法：68关键点检测算法、98关键点检测算法和128关键点检测算法。

具体而言，在模型训练过程中，可以根据对训练出的人脸识别模型的精度要求，在生成模型训练过程中的输入图像时，选取合适的人脸检测算法对输入图像的特征精度进行调整，提高模型训练方法的适用性。

例如，采用68关键点检测算法对未经处理的图像进行检测和矫正生成模型训练时的输入图像时，先根据68关键点检测算法对人脸图像上的人脸区域和包括左眼、右眼、鼻尖、左嘴角和右嘴角的五点关键点进行检测，获取包括人脸、眉毛、眼睛、鼻子和嘴巴在内的人脸轮廓关键点。人脸关键点检测结果可以参考图2。然后根据需要对人脸图像进行裁剪，根据68 关键点对5点关键点进行矫正，得到更加准确的5点关键点。使用矫正后的5点关键点与模板5点关键点对齐，然后对图像进行归一化处理，将得到的尺寸一定的人脸大头照作为不戴口罩人脸图像。然后选取若干个不戴口罩人脸图像，根据预设算法分别为不戴口罩人脸图像添加模拟口罩，生成若干个戴口罩人脸图像，并根据人脸特征点检测结果，确定模拟口罩覆盖区域位置信息。添加模拟口罩的戴口罩人脸图像及口罩覆盖区域可以参考图3，黑色轮廓线围成的区域标识模拟口罩的覆盖区域。

步骤102，根据人脸特征图及输入图像的口罩覆盖区域位置信息，生成口罩覆盖区域特征置零的口罩特征掩模；其中，口罩覆盖区域位置信息基于人脸关键点检测结果确定。

具体而言，在获取到输入图像的人脸特征图后，读取输入图像的口罩覆盖区域位置信息，其中，口罩覆盖区域位置信息基于人脸关键点检测结果确定，戴口罩图像的口罩覆盖区域位置信息根据模拟口罩边界和人脸关键点检测结果确定，不戴口罩图像的口罩覆盖区域位置信息为0或者空集。然后根据人脸特征图及输入图像的口罩覆盖区域位置信息，生成口罩覆盖区域特征置零的口罩特征掩模。

在一个例子中，根据人脸特征图及输入图像的口罩覆盖区域位置信息，生成口罩覆盖区域特征置零的口罩特征掩模，包括：根据预设函数，获取人脸特征图中各特征值对应的权重；根据口罩覆盖区域位置信息，将口罩覆盖区域的特征值的权重置零，生成口罩特征掩模。

具体而言，为了能够生成口罩特征掩模，预先在人脸识别模型的基础中添加一个口罩掩模器，口罩掩模器的输入为人脸识别模型中提取出的人脸特征图及输入图像的口罩覆盖区域位置信息，在获取到人脸特征图后，口罩掩模器通过一个与人脸特征图通道数一致的卷积层对人脸特征图进行卷积计算，获取各特征的权重。然后根据输入图像的口罩覆盖区域位置信息，例如，根据68关键点区域位置信息，将口罩覆盖区域的特征值的权重置零，生成输入的人脸特征图的口罩特征掩模。通过根据口罩覆盖区域位置信息，将口罩覆盖区域的特征值的权重置零，使得生成的口罩特征掩模能够准确降低口罩覆盖区域特征在人脸识别过程的贡献。

在另一个例子中，口罩覆盖区域位置信息可以通过以下方式获取：根据人脸关键点检测结果及预设选取规则，选取一组人脸关键点作为口罩覆盖区域的边界；将选取的各人脸关键点的编码及位置信息，作为口罩覆盖区域位置信息。

具体而言，在获取口罩覆盖区域位置信息的时候，可以直接基于人脸关键点检测结果，根据模拟口罩添加的算法，在人脸关键点检测结果中，选取一组人脸关键点作为添加模拟口罩后口罩覆盖区域的边界，然后将选取的各人脸关键点的编码及位置信息，作为口罩覆盖区域位置信息。通过根据人脸关键点检测结果选取一组人脸关键点作为口罩边界，进而得到更加贴合人脸形状的口罩特征掩模，并且无需额外添加标签进行监督训练，避免了掩模标签获取带来的成本的同时，消除了口罩掩模器和人脸识别模型复合损失权重参数难调和难以收敛的问题。

值得一提的是，在进行关键点选取的时候，可以根据模拟口罩对应的场景进行选取，从而可以组合出多种更加贴合不同人脸形状的口罩覆盖区域，本实施例对关键点的具体选取不做限制。

在另一个例子中，根据人脸特征图及输入图像的口罩覆盖区域位置信息，生成口罩覆盖区域特征置零的口罩特征掩模，包括：获取特征提取网络输出的第i层的原始人脸特征图；其中，i为正整数；根据预设函数，获取第i层的原始人脸特征图中各特征值对应的权重；根据口罩覆盖区域位置信息，将口罩覆盖区域的特征值的权重置零，生成第i层的口罩特征掩模；获取输入图像的人脸特征图，包括：获取第i层的原始人脸特征图与第i层的口罩特征掩模按对应通道相乘的结果，将相乘的结果作为第i层的人脸特征图。

具体而言，待训练人脸识别模型在具有根据损失梯度反向传播更新参数能力的卷积神经网络模型的基础上添加口罩掩模器构建出的，例如，可以是以VGG-Net深度卷积神经网络模型、ResNet残差卷积神经网络模型或DenseNet卷积神经网络模型等为基础构建。人脸识别模型中的特征提取网络包含多层特征提取，因此，可以在特征提取网络每一层输出的后面添加一个口罩掩模器，特征提取网络输出第i层的原始人脸特征图后，口罩掩模器获取第i层的原始人脸特征图，先根据预设函数计算出第i层的原始人脸特征图中各特征值对应的权重，然后根据口罩覆盖区域位置信息，将口罩覆盖区域的特征值的权重置零，生成第i层的口罩特征掩模。在得到第i层的口罩特征掩模后，将第i层的原始人脸特征图与第i层的口罩特征掩模按对应通道相乘，将按对应通道相乘的结果作为后续供调用的第i层的人脸特征图。对特征提取网络每层的输出进行类似的处理，直至最终输出一个利用口罩特征掩模处理后的一维人脸特征向量。通过为每一层特征网络添加口罩掩模器，并将口罩掩模器输出的口罩特征掩模与特征提取网络输出的第i层的原始人脸特征图的乘积，作为第i层的人脸特征图，尽可能避免特征提取过程中口罩遮挡区域的退化特征对特征提取的干扰。

在另一个例子中，根据口罩覆盖区域位置信息，将口罩覆盖区域的特征值置零；包括：获取第i层的原始人脸特征图的特征尺寸；根据第i层的原始人脸特征图的特征尺寸，对口罩覆盖区域位置信息进行尺寸缩放；根据尺寸缩放后的口罩覆盖区域位置信息，将第i层的原始人脸特征图中口罩覆盖区域的特征值的权重置零。

具体而言，人脸识别模型中特征提取网络提取特征时，输出的特征图的尺寸大小是不同的，生成第i层的口罩特征掩模的时候，先获取第i层的原始人脸特征图的特征尺寸，根据第 i层的原始人脸特征图的特征尺寸和原始尺寸的比值，对口罩覆盖区域位置信息进行对应的尺寸缩放，然后根据尺寸缩放后的口罩覆盖区域位置信息，对第i层的原始人脸特征图中口罩覆盖区域的特征值权重进行置零。通过根据第i层的原始人脸特征图的特征尺寸，对口罩覆盖区域位置信息进行对应的尺寸缩放，保证了口罩特征掩模生成的准确性，消除口罩区域退化特征影响的同时，避免了人脸可见区域特征的丢失。

例如，以将ResNet-50模型作为人脸识别模型的基础模型为例，模型的特征提取网络中含有5个阶段，在阶段2到阶段5均添加一个口罩掩模器，添加口罩掩模器后的特征提取网络模型结构示意图可以参考图4，其中，口罩覆盖区域位置信息的缩放以图片形式表征。添加了口罩掩模器的模型工作原理可以参考图5，以第二阶段的人脸特征图生成为例，特征提取网络输出的第2层原始人脸特征图的尺寸为H*W*C，则口罩特征掩模器通过卷积层生成的初始口罩特征掩模的尺寸也为H*W*C。然后口罩掩模器根据口罩覆盖区域位置信息对应的原始尺寸和人脸特征图的当前尺寸，对口罩覆盖区域位置信息进行尺寸缩放，然后根据尺寸缩放后的口罩覆盖区域位置信息对初始口罩特征掩模中口罩覆盖区域的特征值的权重进行置零，得到第2层口罩特征掩模。再将口罩特征掩模与输入的第2层原始人脸特征图按对应通道相乘，将相乘的结果作为第2层的人脸特征图。第3至第5层也进行类似的处理，直至最后生成一个经口罩特征掩模处理后的一维人脸特征向量用于后续的人脸识别。

在另一个例子中，根据预设函数，获取人脸特征图中各特征值对应的权重，包括：根据预设函数，将口罩特征掩模中各点的特征值归一化到0至1的区间内。

具体而言，口罩掩模器在根据获取到的人脸特征图生成口罩特征掩模的过程中，通过卷积计算生成初始口罩特征掩模后，可以根据预设函数，例如，sigmoid函数，对初始口罩特征掩模中各特征权重进行归一化，将初始口罩特征掩模中特征值均归一化为【0，1】区间内的连续的值。通过将特征值归一化为【0，1】区间内的连续值，使得训练完成的模型在减弱口罩遮挡区域的特征贡献的同时，不会完全去除口罩区域特征，避免口罩遮挡区域误差带来的信息损失，同时随着网络深度的增加多次口罩特征掩模操作叠加，真实遮挡区域的特征值越来越小，前期有误差的部位不至于被完全去除特征，增强特征鲁棒性。

步骤103，根据口罩特征掩模和人脸特征图，获取输入图像的特征向量。

具体地说，待训练人脸识别模型逐层获取输入图像的人脸特征图和生成的口罩特征掩模，将人脸特征图和相对应的口罩特征掩模按对应通道相乘，将相乘的结果作为各层的人脸特征图。然后经过逐层的特征提取和口罩特征掩模处理，得到输入图像对应的一维人脸特征向量。

步骤104，根据特征向量及预设损失函数，获取人脸识别结果的损失值，并根据损失值对人脸识别模型进行参数更新。

具体地说，在获取到输入图像的特征向量后，将特征向量作为人脸识别模型的输入，输入图像对应的人脸身份信息作为监督信号，例如，输入一张人脸图像，通过人脸识别模型根据特征向量对输入图像中人脸对应的身份信息进行预测，然后通过预设的损失函数对预测结果和监督信号进行损失值计算，得到人脸识别结果的损失值。其中，损失函数可以是Softmax 函数及其变型得到的分类损失函数或基于度量学习的损失函数。然后根据计算出的损失值，对人脸识别模型进行基于损失的梯度更新。利用若干个戴口罩人脸图像和不戴口罩人脸图像作为输入图像，对人脸识别模型进行训练和参数更新，直至计算出的损失值收敛，判定模型训练完成。

通过利用戴口罩人脸图像和不戴口罩人脸图像对人脸识别模型进行混合训练，并直至损失值收敛，使得训练出的人脸识别模型中的口罩掩模器在获取到人脸特征图后，能够自动根据人脸特征图对输入图像是否为戴口罩人脸图像的判断，并自适应的为戴口罩人脸图像生成戴口罩区域特征权重较低的口罩特征掩模，为不戴口罩人脸图像生成所有权重都为1的口罩特征掩模，进而根据口罩特征掩模获取输入图像的人脸特征向量，并根据人脸特征向量完成对戴口罩人脸图像和不戴口罩人脸图像准确的人脸识别。

本申请实施例的另一方面提供了一种人脸识别方法，人脸识别流程可以参考图6，包括以下步骤：

步骤601，获取训练完成的人脸识别模型。

具体地说，根据上述人脸识别模型训练方法实时训练出一个人脸识别模型，或者在预设存储地址读取根据上述人脸识别模型训练方法预先训练完成的人脸识别模型。

步骤602，获取待识别人脸图像，将待识别人脸图像作为人脸识别模型的输入，获取人脸识别结果。

具体地说，在获取到训练好的人脸识别模型后，通过通信或实时采集的方式，获取待识别人脸图像，将待识别人脸图像作为人脸识别模型的输入，获取人脸识别结果。

本申请实施例的另一方面提供了一种人脸识别模型训练装置，参考图7，包括：

获取模块701，用于获取输入图像的人脸特征图，其中，输入图像包括戴口罩人脸图像和不戴口罩人脸图像。

生成模块702，用于根据人脸特征图及输入图像的口罩覆盖区域位置信息，生成口罩覆盖区域特征置零的口罩特征掩模；其中，口罩覆盖区域位置信息基于人脸关键点检测结果确定。

提取模块703，用于根据口罩特征掩模和人脸特征图，获取输入图像的特征向量。

训练模块704，用于根据特征向量及预设损失函数，获取人脸识别结果的损失值，并根据损失值对人脸识别模型进行参数更新。

不难发现，本实施例为与人脸识别模型训练方法实施例相对应的装置实施例，本实施例可与人脸识别模型训练方法实施例互相配合实施。人脸识别模型训练方法实施例中提到的相关技术细节在本实施例中依然有效，为了减少重复，这里不再赘述。相应地，本实施例中提到的相关技术细节也可应用在人脸识别模型训练方法实施例中。

值得一提的是，本实施例中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施例中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施例中不存在其它的单元。

本申请实施例的另一方面提供了一种人脸识别装置，参考图8，包括：

获取模块801，用于根据上述的人脸识别模型训练方法，获取训练完成的人脸识别模型；

识别模块802，用于获取待识别人脸图像，将待识别人脸图像作为人脸识别模型的输入，获取人脸识别结果。

不难发现，本实施例为与人脸识别方法实施例相对应的装置实施例，本实施例可与人脸识别方法实施例互相配合实施。人脸识别方法实施例中提到的相关技术细节在本实施例中依然有效，为了减少重复，这里不再赘述。相应地，本实施例中提到的相关技术细节也可应用在人脸识别方法实施例中。

值得一提的是，本实施例中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施例中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施例中不存在其它的单元。

本申请实施例的另一方面还提供了一种电子设备，参考图9，包括：至少一个处理器901；以及，与至少一个处理器901通信连接的存储器902；其中，存储器902存储有可被至少一个处理器901执行的指令，指令被至少一个处理器901执行，以使至少一个处理器901能够执行上述任一方法实施例所描述的人脸识别模型训练方法，或人脸识别方法。

其中，存储器902和处理器901采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器901和存储器902的各种电路连接在一起。总线还可以将诸如***设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器901处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传输给处理器901。

处理器901负责管理总线和通常的处理，还可以提供各种功能，包括定时，***接口，电压调节、电源管理以及其他控制功能。而存储器902可以被用于存储处理器901在执行操作时所使用的数据。

本申请实施例的另一方面还提供了一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施例是实现本申请的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。

Claims (14)

1.一种人脸识别模型训练方法，其特征在于，包括：

获取输入图像的人脸特征图，其中，所述输入图像包括戴口罩人脸图像和不戴口罩人脸图像；

根据所述人脸特征图及所述输入图像的口罩覆盖区域位置信息，生成所述口罩覆盖区域特征置零的口罩特征掩模；其中，所述口罩覆盖区域位置信息基于人脸关键点检测结果确定；

根据所述口罩特征掩模和所述人脸特征图，获取所述输入图像的特征向量；

根据所述特征向量及预设损失函数，获取人脸识别结果的损失值，并根据所述损失值对所述人脸识别模型进行参数更新。

2.根据权利要求1所述的人脸识别模型训练方法，其特征在于，所述根据所述人脸特征图及所述输入图像的口罩覆盖区域位置信息，生成所述口罩覆盖区域特征置零的口罩特征掩模，包括：

根据预设函数，获取所述人脸特征图中各特征值对应的权重；

根据所述口罩覆盖区域位置信息，将所述口罩覆盖区域的特征值的权重置零，生成所述口罩特征掩模。

3.根据权利要求2所述的人脸识别模型训练方法，其特征在于，所述根据所述人脸特征图及所述输入图像的口罩覆盖区域位置信息，生成所述口罩覆盖区域特征置零的口罩特征掩模，包括：

获取特征提取网络输出的第i层的原始人脸特征图；其中，i为正整数；

根据所述预设函数，获取所述第i层的原始人脸特征图中各特征值对应的权重；

根据所述口罩覆盖区域位置信息，将所述口罩覆盖区域的特征值的权重置零，生成第i层的口罩特征掩模；

所述获取输入图像的人脸特征图，包括：

获取所述第i层的原始人脸特征图与所述第i层的口罩特征掩模按对应通道相乘的结果，将所述相乘的结果作为第i层的所述人脸特征图。

4.根据权利要求3所述的人脸识别模型训练方法，其特征在于，所述根据口罩覆盖区域位置信息，将所述口罩覆盖区域的特征值置零；包括：

获取所述第i层的原始人脸特征图的特征尺寸；

根据所述第i层的原始人脸特征图的特征尺寸，对所述口罩覆盖区域位置信息进行尺寸缩放；

根据尺寸缩放后的所述口罩覆盖区域位置信息，将所述第i层的原始人脸特征图中所述口罩覆盖区域的特征值的权重置零。

5.根据权利要求2所述的人脸识别模型训练方法，其特征在于，所述根据预设函数，获取所述人脸特征图中各特征值对应的权重，包括：

根据所述预设函数，将所述口罩特征掩模中各点的特征值归一化到0至1的区间内。

6.根据权利要求1至5中任一项所述的人脸识别模型训练方法，其特征在于，所述不戴口罩人脸图像可以通过以下方式获取：

根据预设人脸检测算法，分别对若干不戴口罩的人脸图像进行人脸关键点检测；

对于每个所述不戴口罩的人脸图像，根据所述人脸关键点检测的结果，对所述不戴口罩的人脸图像进行人脸关键点矫正，生成若干所述不戴口罩人脸图像。

7.根据权利要求6所述的人脸识别模型训练方法，其特征在于，所述戴口罩人脸图像可以通过以下方式获取：

选取若干所述不戴口罩人脸图像；

对于选取的每个所述不戴口罩人脸图像，根据预设的模拟口罩添加算法，为所述不戴口罩人脸图像添加模拟口罩，生成若干所述戴口罩人脸图像。

8.根据权利要求6所述的人脸识别模型训练方法，其特征在于，所述预设人脸检测算法为以下任一检测算法：68关键点检测算法、98关键点检测算法和128关键点检测算法。

9.根据权利要求6所述的人脸识别模型训练方法，其特征在于，所述口罩覆盖区域位置信息可以通过以下方式获取：

根据所述人脸关键点检测结果及预设选取规则，选取一组所述人脸关键点作为口罩覆盖区域的边界；

将选取的各所述人脸关键点的编码及位置信息，作为所述口罩覆盖区域位置信息。

10.一种人脸识别方法，其特征在于，包括：

根据如权利要求1至9中任一项所述的人脸识别模型训练方法，获取训练完成的人脸识别模型；

获取待识别人脸图像，将所述待识别人脸图像作为所述人脸识别模型的输入，获取人脸识别结果。

11.一种人脸识别模型训练装置，其特征在于，包括：

获取模块，用于获取输入图像的人脸特征图，其中，所述输入图像包括戴口罩人脸图像和不戴口罩人脸图像；

生成模块，用于根据所述人脸特征图及所述输入图像的口罩覆盖区域位置信息，生成所述口罩覆盖区域特征置零的口罩特征掩模；其中，所述口罩覆盖区域位置信息基于人脸关键点检测结果确定；

提取模块，用于根据所述口罩特征掩模和所述人脸特征图，获取所述输入图像的特征向量；

训练模块，用于根据所述特征向量及预设损失函数，获取人脸识别结果的损失值，并根据所述损失值对所述人脸识别模型进行参数更新。

12.一种人脸识别装置，其特征在于，包括：

获取模块，用于根据如权利要求1至9中任一项所述的人脸识别模型训练方法，获取训练完成的人脸识别模型；

识别模块，用于获取待识别人脸图像，将所述待识别人脸图像作为所述人脸识别模型的输入，获取人脸识别结果。

13.一种电子设备，其特征在于，包括：至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至9中任意一项所述的人脸识别模型训练方法，或如权利要求10所述的人脸识别方法。

14.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任意一项所述的人脸识别模型训练方法，或如权利要求10所述的人脸识别方法。

Images