CN113177533B - 一种人脸识别方法、装置及电子设备 - Google Patents

Abstract

本申请公开了一种人脸识别方法、装置及电子设备。该方法包括：根据待检测人脸图像和底库人脸图像在不同分辨率下的特征图，确定待检测人脸图像和底库人脸图像在不同分辨率下特征图分别对应的第一特征向量和第二特征向量，并通过基于注意力机制的特征向量比对方式，确定相同特征图分辨率的第一特征向量和第二特征向量之间的相关性，然后基于相关性确定出第一特征向量与第二特征向量对应的加权特征向量，以得到不同分辨率下的加权特征向量；基于加权特征向量得到待检测人脸图像和底库人脸图像的多尺度特征比对向量，并根据多尺度特征比对向量判断待检测人脸图像与底库人脸图像是否一致。能够提高相似样本比对的准确度，降低人脸识别误识率。

Description

一种人脸识别方法、装置及电子设备

技术领域

本发明涉及计算机技术领域，特别涉及一种人脸识别方法、装置及电子设备。

背景技术

人脸识别由于数据获取方便、特征变化小，被广泛应用于公共安全、金融支付等领域。当前，人脸识别技术主要通过提取人脸图片的人脸特征向量，根据人脸特征向量的距离来判断两张照片是否为同一人。在实际应用中通常会事先录入一部分人脸图片作为底库，测试时用现场设备采集到的测试照片和底库照片比较，来判断该目标是否在底库中。根据底库图片的多少，人脸识别应用可大致分为1：1、1：N和M：N，其中1：1指的是库容有1张，每次输入1张测试照片和库容比对，主要用于个人设备的身份验证；1：N指的是库容有N个ID，每次输入1张测试图片，主要用于静态图片检索，M:N指的是库容有N个ID，测试时候每个ID输入M(M<<N)张测试照片，最后返回该ID的比对结果，主要用于视频人脸识别。

现有技术中，人脸识别模型主要用Resnet等网络结构提取图片特征，在训练时将人脸识别任务作为分类任务，测试时移除分类层，提取照片的特征，利用余弦距离或欧式距离来衡量两张照片的相似度，当相似度高于一个阈值时即可判断两张照片属于同一ID；但这种方法仅通过一张高维的人脸特征向量进行判断，当测试图片质量较差或两个人很相似时，两张照片的相似度处于阈值附近，由于仅靠特征向量比对缺少图片细节信息的对比，容易产生误判。现有技术中，还通过对比学习(Contrast Learn)实现人脸识别，即同一张照片通过两种不同的增强方法，分别用相同的网络得到特征，然后计算类内和类间的相似度，之后接入分类损失函数。对比学习虽然考虑到了样本之间的异同，但主要目标是让同一目标在不同的增强下具有相同的特征，本质是让人脸特征向量更具鲁棒性，让人脸特征在不同的环境下一致，并未考虑与其他样本之间做比对，因此当两个ID比较像时，依然容易产生误判。

发明内容

有鉴于此，本发明的目的在于提供一种人脸识别方法、装置、设备及介质，能够提高相似样本比对的准确度，降低人脸识别误识率。其具体方案如下：

第一方面，本申请公开了一种人脸识别方法，包括：

获取待检测人脸图像和底库人脸图像，并提取所述待检测人脸图像和所述底库人脸图像在不同分辨率下的特征图；

确定所述待检测人脸图像不同分辨率下特征图对应的第一特征向量，以及所述底库人脸图像不同分辨率下特征图对应的第二特征向量，并将对应于相同分辨率下的所述第一特征向量和所述第二特征向量作为一组特征向量对；

通过基于注意力机制的特征向量比对方式确定每个分辨率下所述特征向量对中所述第一特征向量与所述第二特征向量之间的相关性，并基于所述相关性确定出所述第一特征向量与所述第二特征向量对应的加权特征向量，以得到不同分辨率下的加权特征向量；

基于所述加权特征向量得到所述待检测人脸图像和所述底库人脸图像的多尺度特征比对向量，并根据所述多尺度特征比对向量判断所述待检测人脸图像与所述底库人脸图像是否一致。

可选的，所述提取所述待检测人脸图像和所述底库人脸图像在不同分辨率下的特征图之前，还包括：

确定所述待检测人脸图像对应的待检测人脸特征向量，以及所述底库人脸图像对应的底库人脸特征向量；

计算所述待检测人脸特征向量和所述底库人脸特征向量之间的相似度，若所述相似度在预设相似度范围之内，则启动所述提取所述待检测人脸图像和所述底库人脸图像在不同分辨率下的特征图的步骤。

可选的，所述基于所述加权特征向量得到所述待检测人脸图像和所述底库人脸图像的多尺度特征比对向量，包括：

基于所述待检测人脸特征向量和所述底库人脸特征向量，通过所述基于注意力机制的特征向量比对方式得到所述待检测人脸特征向量与所述底库人脸特征向量对应的加权人脸特征向量；

对所述加权特征向量和所述加权人脸特征向量进行拼接，并将拼接后向量输入全连接层以得到所述多尺度特征比对向量。

可选的，所述确定所述待检测人脸图像不同分辨率下特征图对应的第一特征向量，以及所述底库人脸图像不同分辨率下特征图对应的第二特征向量，包括：

根据所述特征图通过预先创建的加权特征图获取单元计算通道权重得到对应的加权特征图；其中，所述加权特征图获取单元为按照池化层、Concate层、卷积层、Relu层、卷积层和Softmax层的顺序构建的，以特征图为输入以加权特征图为输出的网络单元；

提取所述加权特征图的特征向量，以得到所述第一特征向量或所述第二特征向量。

第二方面，本申请公开了一种人脸识别装置，包括训练后的人脸识别模型，其中，所述训练后的人脸识别模型包括：

卷积神经网络模块，用于获取待检测人脸图像和底库人脸图像，并提取所述待检测人脸图像和所述底库人脸图像在不同分辨率下的特征图；

特征向量获取模块，用于确定所述待检测人脸图像不同分辨率下特征图对应的第一特征向量，以及所述底库人脸图像不同分辨率下特征图对应的第二特征向量，并将对应于相同分辨率下的所述第一特征向量和所述第二特征向量作为一组特征向量对；

特征向量比对模块，用于通过基于注意力机制的特征向量比对方式确定每个分辨率下所述特征向量对中所述第一特征向量与所述第二特征向量之间的相关性，并基于所述相关性确定出所述第一特征向量与所述第二特征向量对应的加权特征向量，以得到不同分辨率下的加权特征向量；

全连接层模块，用于基于所述加权特征向量得到所述待检测人脸图像和所述底库人脸图像的多尺度特征比对向量，并根据所述多尺度特征比对向量判断所述待检测人脸图像与所述底库人脸图像是否一致。

可选的，所述特征向量获取模块，包括：

加权特征图获取单元，用于根据所述特征图通过计算通道权重得到对应的加权特征图；其中，所述加权特征图获取单元为按照池化层、Concate层、卷积层、Relu层、卷积层和Softmax层的顺序构建的，以特征图为输入以加权特征图为输出的网络单元；

与所述加权特征图获取单元连接的Resnet网络单元，用于提取所述加权特征图的特征向量，以得到所述第一特征向量或所述第二特征向量。

可选的，所述特征向量比对模块，包括：

两个相互关联的注意力子模块，用于通过基于注意力机制的特征向量比对方式确定每个分辨率下所述特征向量对中所述第一特征向量与所述第二特征向量之间的相关性；

与所述注意力子模块连接的全连接层，用于基于所述相关性确定出所述第一特征向量与所述第二特征向量对应的加权特征向量，以得到不同分辨率下的加权特征向量。

可选的，所述人脸识别装置，还包括：

训练集创建模块，用于获取人脸样本图像，并根据相同样本的不同照片得到正样本对，根据不同样本的照片生成负样本对，基于预设比例的所述正样本对和所述负样本对得到训练集；

训练模块，用于利用所述训练集训练所述人脸识别模型以得到所述训练后的人脸识别模型。

可选的，所述训练模块包括：

第一训练模块，用于获取预先经过训练的所述卷积神经网络模块，并利用所述训练集对所述特征向量获取模块和所述特征向量比对模块进行首次训练，以及在所述首次训练完成后对所述人脸识别模型进行整体训练以得到所述训练后的人脸识别模型；

或，第二训练模块，用于获取未经过训练的所述卷积神经网络模块，并利用所述训练集对所述人脸识别模型进行整体训练以得到所述训练后的人脸识别模型。

第三方面，本申请公开了一种电子设备，包括：

存储器，用于保存计算机程序；

处理器，用于执行所述计算机程序，以实现前述的人脸识别方法。

本申请中，获取待检测人脸图像和底库人脸图像，并提取所述待检测人脸图像和所述底库人脸图像在不同分辨率下的特征图；确定所述待检测人脸图像不同分辨率下特征图对应的第一特征向量，以及所述底库人脸图像不同分辨率下特征图对应的第二特征向量，并将对应于相同分辨率下的所述第一特征向量和所述第二特征向量作为一组特征向量对；通过基于注意力机制的特征向量比对方式确定每个分辨率下所述特征向量对中所述第一特征向量与所述第二特征向量之间的相关性，并基于所述相关性确定出所述第一特征向量与所述第二特征向量对应的加权特征向量，以得到不同分辨率下的加权特征向量；基于所述加权特征向量得到所述待检测人脸图像和所述底库人脸图像的多尺度特征比对向量，并根据所述多尺度特征比对向量判断所述待检测人脸图像与所述底库人脸图像是否一致。可见，以两张照片不同分辨率下的特征图为输入，通过提取特征图的特征向量得到两张照片的多尺度细节信息，利用注意力机制对两张照片每个尺度的特征信息进行比对，提取差异信息，并综合形成多尺度特征对比特征向量，以判断两张照片是否属于同一ID，即通过加入底层特征的对比，提高相似样本比对的准确度，降低误识率，提高了人脸识别的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请提供的一种人脸识别方法流程图；

图2为本申请提供的一种具体的人脸识别方法流程图；

图3为本申请提供的一种人脸识别模型结构示意图；

图4为本申请提供的一种具体的人脸识别模型结构示意图；

图5为本申请提供的一种特征向量获取模块结构示意图；

图6为本申请提供的一种特征向量比对模块结构示意图；

图7为本申请提供的一种电子设备结构图。

具体实施方式

现有技术中，人脸识别模型主要用Resnet等网络结构提取图片特征，在训练时将人脸识别任务作为分类任务，测试时移除分类层，提取照片的特征，利用余弦距离或欧式距离来衡量两张照片的相似度，当相似度高于一个阈值时即可判断两张照片属于同一ID；但这种方法仅通过一张高维的人脸特征向量进行判断，当测试图片质量较差或两个人很相似时，两张照片的相似度处于阈值附近，由于仅靠特征向量比对缺少图片细节信息的对比，容易产生误判。为克服上述技术问题，本申请提出一种基于多尺度注意力机制的人脸识别方法，能够提高相似样本比对的准确度，降低人脸识别误识率。

本申请实施例公开了一种人脸识别方法，参见图1所示，该方法可以包括以下步骤：

步骤S11：获取待检测人脸图像和底库人脸图像，并提取所述待检测人脸图像和所述底库人脸图像在不同分辨率下的特征图。

本实施例中，根据获取的待检测人脸图像和底库人脸图像，提取两张图像在不同分辨率下的特征图，得到待检测人脸图像在不同尺度下的特征图，以及底库人脸图像在不同尺度下的特征图。可以理解的是，此时特征图的提取通过常用的卷积神经网络模型即可实现，将待检测人脸图像和底库人脸图像输入卷积神经网络模型，在卷积神经网络的每个stage(输出相同尺寸的特征图的层归结为一个stage)分别得到该分辨率下的特征图，同时上述卷积神经网络模型会输出与上述待检测人脸图像对应的人脸特征向量，以及与底库人脸图像对应的人脸特征向量。

步骤S12：确定所述待检测人脸图像不同分辨率下特征图对应的第一特征向量，以及所述底库人脸图像不同分辨率下特征图对应的第二特征向量，并将对应于相同分辨率下的所述第一特征向量和所述第二特征向量作为一组特征向量对。

本实施例中，得到待检测人脸图像在不同尺度下的特征图，以及底库人脸图像在不同尺度下的特征图后，将相同对应于相同分辨率的所述第一特征向量和所述第二特征向量作为一组特征向量对，即将两张图像在相同分辨率下特征图的特征向量作为一组特征向量对，得到相同尺度下两张图像的细节特征。

另外，需要说明的是，上述底库人脸图像不同分辨率下特征图对应的第二特征向量，可以提前提取并存储至本地，即每次对待检测人脸图像进行识别时只需直接使用相应的第二特征向量即可。

本实施例中，所述确定所述待检测人脸图像不同分辨率下特征图对应的第一特征向量，以及所述底库人脸图像不同分辨率下特征图对应的第二特征向量，可以包括：根据所述特征图通过预先创建的加权特征图获取单元计算通道权重得到对应的加权特征图；其中，所述加权特征图获取单元为按照池化层、Concate层、卷积层、Relu层、卷积层和Softmax层的顺序构建的，以特征图为输入以加权特征图为输出的网络单元；提取所述加权特征图的特征向量，以得到所述第一特征向量或所述第二特征向量。即基于得到的特征图利用先创建的加权特征图获取单元计算每个通道权重，进行加权后得到对应的加权特征图，然后提取加权特征图的特征向量，以得到对应的特征向量。

步骤S13：通过基于注意力机制的特征向量比对方式确定每个分辨率下所述特征向量对中所述第一特征向量与所述第二特征向量之间的相关性，并基于所述相关性确定出所述第一特征向量与所述第二特征向量对应的加权特征向量，以得到不同分辨率下的加权特征向量。

本实施例中，通过基于注意力机制的特征向量比对方式确定上述特征向量对中第一特征向量与第二特征向量之间的相关性，并基于上述相关性确定第一特征向量与第二特征向量的权重，生成对应的加权特征向量，以得到不同分辨率下的加权特征向量，即每个stage的加权特征向量。通过注意力机制，让网络能自适应提取照片之间的差异信息，提高多尺度比对算法的鲁棒性。

步骤S14：基于所述加权特征向量得到所述待检测人脸图像和所述底库人脸图像的多尺度特征比对向量，并根据所述多尺度特征比对向量判断所述待检测人脸图像与所述底库人脸图像是否一致。

本实施例中，基于不同分辨率下的加权特征向量，得到上述待检测人脸图像和底库人脸图像的多尺度特征比对向量，然后根据得到的多尺度特征比对向量判断待检测人脸图像与底库人脸图像是否属于同一ID。

由上可见，本实施例中获取待检测人脸图像和底库人脸图像，并提取所述待检测人脸图像和所述底库人脸图像在不同分辨率下的特征图；确定所述待检测人脸图像不同分辨率下特征图对应的第一特征向量，以及所述底库人脸图像不同分辨率下特征图对应的第二特征向量，并将对应于相同分辨率下的所述第一特征向量和所述第二特征向量作为一组特征向量对；通过基于注意力机制的特征向量比对方式确定每个分辨率下所述特征向量对中所述第一特征向量与所述第二特征向量之间的相关性，并基于所述相关性确定出所述第一特征向量与所述第二特征向量对应的加权特征向量，以得到不同分辨率下的加权特征向量；基于所述加权特征向量得到所述待检测人脸图像和所述底库人脸图像的多尺度特征比对向量，并根据所述多尺度特征比对向量判断所述待检测人脸图像与所述底库人脸图像是否一致。可见，以两张照片不同分辨率下的特征图为输入，通过提取特征图的特征向量得到两张照片的多尺度细节信息，利用注意力机制对两张照片每个尺度的特征信息进行比对，提取差异信息，并综合形成多尺度特征对比特征向量，以判断两张照片是否属于同一ID，即通过加入底层特征的对比，提高相似样本比对的准确度，降低误识率，提高了人脸识别的准确性。

本申请实施例公开了一种具体的人脸识别方法，参见图2所示，该方法可以包括以下步骤：

步骤S21：获取待检测人脸图像和底库人脸图像，并确定所述待检测人脸图像对应的待检测人脸特征向量，以及所述底库人脸图像对应的底库人脸特征向量。

本实施例中，获取到待检测人脸图像和底库人脸图像后，通过常用的卷积神经网络确定待检测人脸图像对应的待检测人脸特征向量，以及底库人脸图像对应的底库人脸特征向量。

步骤S22：计算所述待检测人脸特征向量和所述底库人脸特征向量之间的相似度。

本实施例中，得到上述待检测人脸特征向量和底库人脸特征向量后，计算上述待检测人脸特征向量和底库人脸特征向量之间的相似度，包括但不限于利用余弦距离或欧氏距离来计算两张图像的相似度。

步骤S23：若所述相似度在预设相似度范围之内，提取所述待检测人脸图像和所述底库人脸图像在不同分辨率下的特征图。

本实施例中，若上述相似度在预设相似度范围之内，则提取待检测人脸图像和底库人脸图像在不同分辨率下的特征图，得到待检测人脸图像在不同尺度下的特征图，以及底库人脸图像在不同尺度下的特征图。具体的，根据预设相似度范围以及待检测人脸图像和底库人脸图像的相似度评分score，来判断两张图像是否匹配。如当0.9α>score时，两张图像相似度较低，即可判定不属于同一ID；当1.1α<score时，两张图像相似度较高，即可判定属于同一ID；当0.9α<＝score<＝1.1α时，表征待检测人脸图像和底库人脸图像较为相似，需要进一步判断；其中，α为预设相似度阈值。

步骤S24：确定所述待检测人脸图像不同分辨率下特征图对应的第一特征向量，以及所述底库人脸图像不同分辨率下特征图对应的第二特征向量，并将对应于相同分辨率下的所述第一特征向量和所述第二特征向量作为一组特征向量对。

步骤S25：通过基于注意力机制的特征向量比对方式确定每个分辨率下所述特征向量对中所述第一特征向量与所述第二特征向量之间的相关性，并基于所述相关性确定出所述第一特征向量与所述第二特征向量对应的加权特征向量，以得到不同分辨率下的加权特征向量。

步骤S26：基于所述加权特征向量得到所述待检测人脸图像和所述底库人脸图像的多尺度特征比对向量，并根据所述多尺度特征比对向量判断所述待检测人脸图像与所述底库人脸图像是否一致。

本实施例中，所述基于所述加权特征向量得到所述待检测人脸图像和所述底库人脸图像的多尺度特征比对向量，可以包括：基于所述待检测人脸特征向量和所述底库人脸特征向量，通过所述基于注意力机制的特征向量比对方式得到所述待检测人脸特征向量与所述底库人脸特征向量对应的加权人脸特征向量；对所述加权特征向量和所述加权人脸特征向量进行拼接，并将拼接后向量输入全连接层以得到所述多尺度特征比对向量。即将两张图像在不同分辨率下的加权特征向量，和两张图像的加权人脸特征向量进行拼接，并将拼接后向量输入全连接层以得到上述多尺度特征比对向量。

其中，关于上述步骤S24、步骤S25的具体过程可以参考前述实施例公开的相应内容，在此不再进行赘述。

由上可见，通过比对待检测人脸图像对应的待检测人脸特征向量，与所述底库人脸图像对应的底库人脸特征向量之间的相似度，对于较为相似的待检测人脸图像和底库人脸图像通过提取多尺度特征比对向量进行进一步判定，从而提高人脸识别的准确率，降低误识率。并且，通过引入多尺度比对，让基础卷积神经网络模型在训练过程中考虑不同照片之间的差异与相同，从而提高基础模型特征的区分度，既提高人脸特征向量的表征能力。可见本实施例可作为基于特征向量相似度人脸比对方法的一个补充，用于难样本的测试，一方面可以直接用于判断两张照片是否为同一ID，另一方面，也可以提高人脸特征向量的区分度。

相应的，本申请实施例还公开了一种人脸识别装置，包括训练后的人脸识别模型，参见图3所示，该人脸识别模型包括：

卷积神经网络模块11，用于获取待检测人脸图像和底库人脸图像，并提取所述待检测人脸图像和所述底库人脸图像在不同分辨率下的特征图；

特征向量获取模块12，用于确定所述待检测人脸图像不同分辨率下特征图对应的第一特征向量，以及所述底库人脸图像不同分辨率下特征图对应的第二特征向量，并将对应于相同分辨率下的所述第一特征向量和所述第二特征向量作为一组特征向量对；

特征向量比对模块13，用于通过基于注意力机制的特征向量比对方式确定每个分辨率下所述特征向量对中所述第一特征向量与所述第二特征向量之间的相关性，并基于所述相关性确定出所述第一特征向量与所述第二特征向量对应的加权特征向量，以得到不同分辨率下的加权特征向量；

全连接层模块14，用于基于所述加权特征向量得到所述待检测人脸图像和所述底库人脸图像的多尺度特征比对向量，并根据所述多尺度特征比对向量判断所述待检测人脸图像与所述底库人脸图像是否一致。

由上可见，本实施例中获取待检测人脸图像和底库人脸图像，并提取所述待检测人脸图像和所述底库人脸图像在不同分辨率下的特征图；确定所述待检测人脸图像不同分辨率下特征图对应的第一特征向量，以及所述底库人脸图像不同分辨率下特征图对应的第二特征向量，并将对应于相同分辨率下的所述第一特征向量和所述第二特征向量作为一组特征向量对；通过基于注意力机制的特征向量比对方式确定每个分辨率下所述特征向量对中所述第一特征向量与所述第二特征向量之间的相关性，并基于所述相关性确定出所述第一特征向量与所述第二特征向量对应的加权特征向量，以得到不同分辨率下的加权特征向量；基于所述加权特征向量得到所述待检测人脸图像和所述底库人脸图像的多尺度特征比对向量，并根据所述多尺度特征比对向量判断所述待检测人脸图像与所述底库人脸图像是否一致。可见，以两张照片不同分辨率下的特征图为输入，通过提取特征图的特征向量得到两张照片的多尺度细节信息，利用注意力机制对两张照片每个尺度的特征信息进行比对，提取差异信息，并综合形成多尺度特征对比特征向量，以判断两张照片是否属于同一ID，即通过加入底层特征的对比，提高相似样本比对的准确度，降低误识率，提高了人脸识别的准确性。

在一些具体实施例中，所述特征向量获取模块12具体可以包括：

加权特征图获取单元，用于根据所述特征图通过计算通道权重得到对应的加权特征图；其中，所述加权特征图获取单元为按照池化层、Concate层、卷积层、Relu层、卷积层和Softmax层的顺序构建的，以特征图为输入以加权特征图为输出的网络单元；

与所述加权特征图获取单元连接的Resnet网络单元，用于提取所述加权特征图的特征向量，以得到所述第一特征向量或所述第二特征向量。

在一些具体实施例中，所述特征向量比对模块13具体可以包括：

两个相互关联的注意力子模块，用于通过基于注意力机制的特征向量比对方式确定每个分辨率下所述特征向量对中所述第一特征向量与所述第二特征向量之间的相关性；

与所述注意力子模块连接的全连接层，用于基于所述相关性确定出所述第一特征向量与所述第二特征向量对应的加权特征向量，以得到不同分辨率下的加权特征向量。

在一些具体实施例中，所述人脸识别装置具体可以包括：

训练集创建模块，用于获取人脸样本图像，并根据相同样本的不同照片得到正样本对，根据不同样本的照片生成负样本对，基于预设比例的所述正样本对和所述负样本对得到训练集；

训练模块，用于利用所述训练集训练所述人脸识别模型以得到所述训练后的人脸识别模型。

可以理解的是，由于需要进行对比训练，因此在训练时每个batch的样本需要平衡正负样本的比例，在采样时，每个ID需要最少两张照片，每个ID的照片遍历比对可生成正样本对，而两个ID之间照片相互比对可生成负样本对，随机采样正样本对与负样本对，并保证正负样本比例为1:1。

在一些具体实施例中，所述训练模块具体可以包括：

第一训练模块，用于获取预先经过训练的所述卷积神经网络模块，并利用所述训练集对所述特征向量获取模块和所述特征向量比对模块进行首次训练，以及在所述首次训练完成后对所述人脸识别模型进行整体训练以得到所述训练后的人脸识别模型；

或，第二训练模块，用于获取未经过训练的所述卷积神经网络模块，并利用所述训练集对所述人脸识别模型进行整体训练以得到所述训练后的人脸识别模型。

可以理解的是，本实施例中可以是对现有人脸识别模型(即上述卷积神经网络模块)的一个拓展，因此不限定这个基础的卷积神经网络模块的种类，需要基础识别模型中有多个分辨率的特征信息。在训练过程中，卷积神经网络模块即可加载已训练好的模型进行微调，也可从头训练。当加载已训练好的卷积神经网络模块时，可以通过设置上述卷积神经网络模块不更新，以固定上述卷积神经网络模块，先训练特征向量获取模块和特征向量比对模块，再整体训练人脸识别模型。当加载的模型为未训练的卷积神经网络模块时，利用训练集对人脸识别模型进行整体训练，即对未训练卷积神经网络模块以及未训练的特征向量获取模块和特征向量比对模块进行训练，以得到训练后的人脸识别模型。

进一步，本申请实施例还公开了一种具体的人脸识别模型，模型结构参见图4所示，img 1和img 2即为待检测人脸图像和底库人脸图像，实线框内即为上述实施例中的卷积神经网络模块11，两张图像分别通过卷积神经网络模块11，在每个stage分别得到该分辨率下的特征图，再通过一个Dense(全连接)层得到对应的特征向量，人脸特征向量再通过常用的人脸识别训练损失函数得到识别loss 1和loss 3。然后，img 1和img 2这两个图像每个stage的特征图分别经过特征向量获取模块12(即图4中Anet模块)得到该分辨率下的特征向量，然后将两张图片相同分辨率下的分别对应的特征向量输入到特征向量比对模块13(即图4中Bnet模块)，得到该分辨率下的加权特征向量，并基于两张图像的人脸特征向量通过Bnet模块得到加权人脸特征向量，最后将每个stage的加权特征向量和上述加权人脸特征向量组合，得到两张照片的多尺度比对特征分量，通过二分类损失函数得到loss 2。

其中，特征向量获取模块12Anet用于提取当前分辨率下特征图的关键信息，结构图如图5所示，网络的输入为基础识别网络某一stage的特征图，假设形状为H×W×C，网络的右侧分支计算每个通道的权重1×1×C，进行加权后得到H×W×1的特征图，后续通过resnet结构网络提取二维特征图的特征向量，最终输出为1×N的特征分量。其中，特征向量比对模块13Bnet用于对当前分辨率下两张图片的特征向量进行比对，网络的输入是img 1和img 2的特征向量，网络利用attention机制，根据img 1和img 2特征向量之间的相关性，生成加权后特征向量。在得到每个stage的特征向量的后，将每个stage的特征向量拼接起来，通过两个全连接层进行综合，得到最终的多尺度比对特征向量，该多尺度比对特征向量包含两幅图像的多尺度差异信息，利用该差异信息作为人脸特征向量比对的补充，既可以在两幅图像难以区分的时候作为判断依据，也可在训练过程中引入比对信息，提高卷积神经网络模块的特征提取能力，即通过加入Anet模块和Bnet模块反向学习提高卷积神经网络模块的特征提取能力。

通过对比试验，试验A组为基础的卷积神经网络模块，并根据卷积神经网络模块输出的人脸特征向量进行人脸识别；B组为加入Anet和Bnet模块，并根据综合训练后卷积神经网络模块输出的人脸特征向量进行人脸识别；C组为加入Anet和Bnet，并根据综合训练后人脸识别模型整体输出的多尺度对比特征向量进行人脸识别。A、B、C组训练识别模型的数据集相同，测试集有1900个ID，每个ID一张测试照，一张底库照，包括各种场景，另包括5w张不在底库的照片，用于确定阈值。A组识别率为93.20％误识率为1.2％，B组识别率为95.92％误识率为1.08％，C组识别率为97.63％误识率为0.91％。可见，提高了人脸识别的准确率，同时提高了卷积神经网络模块的特征提取能力。

进一步的，本申请实施例还公开了一种电子设备，参见图7所示，图中的内容不能被认为是对本申请的使用范围的任何限制。

图7为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的人脸识别方法中的相关步骤。

本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。

另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源包括操作***221、计算机程序222及包括底库人脸图像在内的数据223等，存储方式可以是短暂存储或者永久存储。

其中，操作***221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，以实现处理器21对存储器22中海量数据223的运算与处理，其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的人脸识别方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。

进一步的，本申请实施例还公开了一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现前述任一实施例公开的人脸识别方法步骤。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种人脸识别方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种人脸识别方法，其特征在于，包括：

获取待检测人脸图像和底库人脸图像，并提取所述待检测人脸图像和所述底库人脸图像在不同分辨率下的特征图；

确定所述待检测人脸图像不同分辨率下特征图对应的第一特征向量，以及所述底库人脸图像不同分辨率下特征图对应的第二特征向量，并将对应于相同分辨率下的所述第一特征向量和所述第二特征向量作为一组特征向量对；

通过基于注意力机制的特征向量比对方式确定每个分辨率下所述特征向量对中所述第一特征向量与所述第二特征向量之间的相关性，并基于所述相关性确定出所述第一特征向量与所述第二特征向量对应的加权特征向量，以得到不同分辨率下的加权特征向量；

基于所述加权特征向量得到所述待检测人脸图像和所述底库人脸图像的多尺度特征比对向量，并根据所述多尺度特征比对向量判断所述待检测人脸图像与所述底库人脸图像是否一致。

2.根据权利要求1所述的人脸识别方法，其特征在于，所述提取所述待检测人脸图像和所述底库人脸图像在不同分辨率下的特征图之前，还包括：

确定所述待检测人脸图像对应的待检测人脸特征向量，以及所述底库人脸图像对应的底库人脸特征向量；

计算所述待检测人脸特征向量和所述底库人脸特征向量之间的相似度，若所述相似度在预设相似度范围之内，则启动所述提取所述待检测人脸图像和所述底库人脸图像在不同分辨率下的特征图的步骤。

3.根据权利要求2所述的人脸识别方法，其特征在于，所述基于所述加权特征向量得到所述待检测人脸图像和所述底库人脸图像的多尺度特征比对向量，包括：

基于所述待检测人脸特征向量和所述底库人脸特征向量，通过所述基于注意力机制的特征向量比对方式得到所述待检测人脸特征向量与所述底库人脸特征向量对应的加权人脸特征向量；

对所述加权特征向量和所述加权人脸特征向量进行拼接，并将拼接后向量输入全连接层以得到所述多尺度特征比对向量。

4.根据权利要求1至3任一项所述的人脸识别方法，其特征在于，所述确定所述待检测人脸图像不同分辨率下特征图对应的第一特征向量，以及所述底库人脸图像不同分辨率下特征图对应的第二特征向量，包括：

根据所述特征图通过预先创建的加权特征图获取单元计算通道权重得到对应的加权特征图；其中，所述加权特征图获取单元为按照池化层、Concate层、卷积层、Relu层、卷积层和Softmax层的顺序构建的，以特征图为输入以加权特征图为输出的网络单元；

提取所述加权特征图的特征向量，以得到所述第一特征向量或所述第二特征向量。

5.一种人脸识别装置，其特征在于，包括训练后的人脸识别模型，其中，所述训练后的人脸识别模型包括：

卷积神经网络模块，用于获取待检测人脸图像和底库人脸图像，并提取所述待检测人脸图像和所述底库人脸图像在不同分辨率下的特征图；

特征向量获取模块，用于确定所述待检测人脸图像不同分辨率下特征图对应的第一特征向量，以及所述底库人脸图像不同分辨率下特征图对应的第二特征向量，并将对应于相同分辨率下的所述第一特征向量和所述第二特征向量作为一组特征向量对；

特征向量比对模块，用于通过基于注意力机制的特征向量比对方式确定每个分辨率下所述特征向量对中所述第一特征向量与所述第二特征向量之间的相关性，并基于所述相关性确定出所述第一特征向量与所述第二特征向量对应的加权特征向量，以得到不同分辨率下的加权特征向量；

全连接层模块，用于基于所述加权特征向量得到所述待检测人脸图像和所述底库人脸图像的多尺度特征比对向量，并根据所述多尺度特征比对向量判断所述待检测人脸图像与所述底库人脸图像是否一致。

6.根据权利要求5所述的人脸识别装置，其特征在于，所述特征向量获取模块，包括：

加权特征图获取单元，用于根据所述特征图通过计算通道权重得到对应的加权特征图；其中，所述加权特征图获取单元为按照池化层、Concate层、卷积层、Relu层、卷积层和Softmax层的顺序构建的，以特征图为输入以加权特征图为输出的网络单元；

与所述加权特征图获取单元连接的Resnet网络单元，用于提取所述加权特征图的特征向量，以得到所述第一特征向量或所述第二特征向量。

7.根据权利要求5所述的人脸识别装置，其特征在于，所述特征向量比对模块，包括：

两个相互关联的注意力子模块，用于通过基于注意力机制的特征向量比对方式确定每个分辨率下所述特征向量对中所述第一特征向量与所述第二特征向量之间的相关性；

与所述注意力子模块连接的全连接层，用于基于所述相关性确定出所述第一特征向量与所述第二特征向量对应的加权特征向量，以得到不同分辨率下的加权特征向量。

8.根据权利要求5所述的人脸识别装置，其特征在于，还包括：

训练集创建模块，用于获取人脸样本图像，并根据相同样本的不同照片得到正样本对，根据不同样本的照片生成负样本对，基于预设比例的所述正样本对和所述负样本对得到训练集；

训练模块，用于利用所述训练集训练所述人脸识别模型以得到所述训练后的人脸识别模型。

9.根据权利要求8所述的人脸识别装置，其特征在于，所述训练模块包括：

第一训练模块，用于获取预先经过训练的所述卷积神经网络模块，并利用所述训练集对所述特征向量获取模块和所述特征向量比对模块进行首次训练，以及在所述首次训练完成后对所述人脸识别模型进行整体训练以得到所述训练后的人脸识别模型；

或，第二训练模块，用于获取未经过训练的所述卷积神经网络模块，并利用所述训练集对所述人脸识别模型进行整体训练以得到所述训练后的人脸识别模型。

10.一种电子设备，其特征在于，包括：

存储器，用于保存计算机程序；

处理器，用于执行所述计算机程序，以实现如权利要求1至4任一项所述的人脸识别方法。

Images