CN114332981A - 人脸活体检测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例公开一种人脸活体检测方法、装置、终端设备及存储介质，该方法包括：获取待检测图像，待检测图像包括RGB图像、红外图像以及对应的深度图像；通过第一检测模型对RGB图像以及深度图像分别进行特征提取，并根据提取的第一图像特征得到第一检测结果；通过第二检测模型对红外图像进行特征提取，并根据提取的第二图像特征得到第二检测结果；根据第一检测结果及第二检测结果确定目标人脸活体检测结果。实施本申请实施例，能够提高人脸活体检测的精度，并且适用于不同的人脸识别应用场景，提高了鲁棒性。

Description

人脸活体检测方法、装置、电子设备及存储介质

技术领域

本申请涉及信息安全技术领域，具体涉及一种人脸活体检测方法、装置、电子设备及存储介质。

背景技术

人脸识别技术广泛应用于社会中的各个领域，人脸活体检测是检测图像或视频中是否存在活体人脸，以防御来自面具、照片或视频等对人脸识别应用进行攻击的人脸识别技术。目前的人脸识别技术检测手段较为单一，还需要在检测准确度方面进一步优化。

发明内容

本申请实施例公开了一种人脸活体检测方法、装置、电子设备及存储介质，能够提高人脸活体检测的精度，并且适用于不同的人脸识别应用场景，提高了鲁棒性。

本申请实施例第一方面公开一种人脸活体检测方法，所述方法包括：

获取待检测图像，所述待检测图像包括RGB图像、红外图像以及对应的深度图像；

通过第一检测模型对所述RGB图像以及深度图像分别进行特征提取，并根据提取的第一图像特征得到第一检测结果；所述第一检测模型是根据第一训练集训练得到的，所述第一训练集包括多帧RGB样本图像及与每帧RGB样本图像对应的深度样本图像；

通过第二检测模型对所述红外图像进行特征提取，并根据提取的第二图像特征得到第二检测结果；所述第二检测模型是根据第二训练集训练得到的，所述第二训练集包括多帧红外样本图像；

根据所述第一检测结果及所述第二检测结果确定目标人脸活体检测结果。

在本申请实施例中，获取包括RGB图像、红外图像以及深度图像的待检测图像后，通过第一检测模型对其中的RGB图像以及深度图像进行特征提取，根据提取的第一图像特征得到第一检测结果，并且通过第二检测模型对其中的红外图像进行特征提取，根据提取的第二图像特征得到第二检测结果，根据第一检测结果和第二检测结果确定目标人脸活体检测结果。通过获取多种类图像，并且采用两个检测模型来进行人脸活体检测，能够提高人脸活体检测的精度，并且能够适用于不同应用场景，提高了人脸活体检测过程的鲁棒性。

作为一种可选的实施方式，在本申请实施例第一方面中，在所述获取待检测图像，所述待检测图像包括RGB图像、红外图像以及对应的深度图像之后，所述方法还包括：

分别对所述RGB图像、红外图像以及深度图像进行人脸检测，得到所述RGB图像中的RGB人脸框、所述红外图像中的红外人脸框以及所述深度图像中的深度人脸框；

对所述RGB人脸框、红外人脸框以及深度人脸框进行筛选，确定置信度大于置信度阈值的RGB目标人脸框、红外目标人脸框以及深度目标人脸框；

从所述RGB图像中对所述RGB目标人脸框进行截取，得到目标RGB图像，从所述红外图像中对所述红外目标人脸框进行截取，得到目标红外图像，以及从所述深度图像中对所述深度目标人脸框进行截取，得到目标深度图像；

所述通过第一检测模型对所述RGB图像以及深度图像分别进行特征提取，包括：

通过第一检测模型对所述目标RGB图像及所述目标深度图像分别进行特征提取；

所述通过第二检测模型对所述红外图像进行特征提取，包括：

通过第二检测模型对所述目标红外图像进行特征提取。

在本申请实施例中，通过从各个待检测图像中检测人脸框，并筛选置信度较高的人脸框作为目标人脸框进行截取，并且替代待检测图像，能够有效地保证目标人脸框中包含有人脸图像，避免对不包含人脸的待检测图像进行人脸活体检测，有效地提高人脸活体检测过程的效率。

作为一种可选的实施方式，在本申请实施例第一方面中，在所述从所述RGB图像中对所述RGB目标人脸框进行截取，得到目标RGB图像，从所述红外图像中对所述红外目标人脸框进行截取，得到目标红外图像，以及从所述深度图像中对所述深度目标人脸框进行截取，得到目标深度图像之前，所述方法还包括：

确定所述RGB目标人脸框在所述RGB图像中的位置信息，以及确定所述红外目标人脸框在所述红外图像中的位置信息；

依据所述RGB目标人脸框在所述RGB图像中的位置信息，确定所述深度目标人脸框在所述深度图像中的位置信息，其中，所述RGB目标人脸框在所述RGB图像中的位置信息与所述深度目标人脸框在所述深度图像中的位置信息相同。

在本申请实施例中，在从各个待检测图像中截取对应的目标人脸框之前，确定RGB目标人脸框以及红外目标人脸框的位置信息，并依据RGB目标人脸框的位置信息确定深度目标人脸框的位置信息，能够保证截取的RGB目标人脸框中的内容与截取的深度目标人脸框中的内容保持一致，从而保证后续第一检测模型中的特征提取以及确定第一检测结果的准确性。

作为一种可选的实施方式，在本申请实施例第一方面中，所述根据所述第一检测结果及所述第二检测结果确定目标人脸活体检测结果，包括：

若所述第一检测结果大于第一阈值，且所述第二检测结果大于第二阈值，则判断所述待检测图像为活体图像。

在本申请实施例中，在待检测图像的检测结果满足不同阈值时才被判断为活体图像，能够提高人脸活体检测过程的鲁棒性。

作为一种可选的实施方式，在本申请实施例第一方面中，所述通过第一检测模型对所述RGB图像以及深度图像分别进行特征提取，并根据提取的第一图像特征得到第一检测结果，包括：

通过第一检测模型对所述RGB图像以及所述深度图像分别进行特征提取，得到RGB特征图像以及深度特征图像；

对所述RGB特征图像以及深度特征图像进行特征融合，得到第一图像特征，并根据所述第一图像特征得到第一检测结果。

在本申请实施例中，通过对RGB特征图像以及深度特征图像进行特征融合，能够包含更多的细节信息，从而令第一检测模型对RGB图像以及深度图像进行人脸活体检测的结果更加精确。

作为一种可选的实施方式，在本申请实施例第一方面中，在所述获取待检测图像之前，所述方法还包括：

通过待训练的第一检测模型对RGB样本图像以及与所述RGB样本图像对应的深度样本图像分别进行特征提取，得到第一样本特征，根据所述第一样本特征确定第一预测结果，并根据所述第一预测结果及与所述RGB样本图像对应的第一真实结果确定第一损失，以根据所述第一损失对所述待训练的第一检测模型的参数进行调整；

通过待训练的第二检测模型对红外样本图像进行特征提取，得到第二样本特征，根据所述第二样本特征确定第二预测结果，并根据所述第二预测结果及与所述红外样本图像对应的第二真实结果确定第二损失，以根据所述第二损失对所述待训练的第二检测模型的参数进行调整。

在本申请实施例中，通过采用RGB样本图像以及深度样本图像构成的训练集对第一检测模型进行训练，以及采用红外样本图像构成的训练集对第二检测模型进行训练，能够提高人脸活体检测过程中第一检测模型对RGB图像以及深度图像进行人脸活体的准确性，以及第一检测模型对红外图像进行人脸活体的准确性。

作为一种可选的实施方式，在本申请实施例第一方面中，所述通过待训练的第一检测模型对RGB样本图像以及与所述RGB样本图像对应的深度样本图像分别进行特征提取，得到第一样本特征，包括：

通过所述待训练的第一检测模型对RGB样本图像进行特征提取，得到RGB样本特征图，以及对与所述RGB样本图像对应的深度样本图像进行特征提取，得到深度样本特征图，并将所述RGB样本特征图及所述深度样本特征图进行特征融合，得到第一样本特征。

在本申请实施例中，通过对RGB样本特征图像以及深度样本特征图像进行特征融合，能够包含更多的细节信息，从而提高待训练的第一检测模型的训练效果。

本申请实施例第二方面公开一种人脸活体检测装置，所述装置包括：

图像采集模块，用于获取待检测图像，所述待检测图像包括RGB图像、红外图像以及对应的深度图像；

第一检测模块，用于通过第一检测模型对所述RGB图像以及深度图像分别进行特征提取，并根据提取的第一图像特征得到第一检测结果；所述第一检测模型是根据第一训练集训练得到的，所述第一训练集包括多帧RGB样本图像及与每帧RGB样本图像对应的深度样本图像；

第二检测模块，用于通过第二检测模型对所述红外图像进行特征提取，并根据提取的第二图像特征得到第二检测结果；所述第二检测模型是根据第二训练集训练得到的，所述第二训练集包括多帧红外样本图像；

活体检测模块，用于根据所述第一检测结果及所述第二检测结果确定目标人脸活体检测结果。

本申请实施例第三方面公开一种终端设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现本申请实施例公开的任意一种人脸活体检测方法。

本申请实施例第四方面公开一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序被处理器执行时实现本申请实施例公开的任意一种人脸活体检测方法。

与相关技术相比，本申请实施例具有以下有益效果：

获取包括RGB图像、红外图像以及深度图像的待检测图像后，通过第一检测模型对其中的RGB图像以及深度图像进行特征提取，根据提取的第一图像特征得到第一检测结果，并且通过第二检测模型对其中的红外图像进行特征提取，根据提取的第二图像特征得到第二检测结果，根据第一检测结果和第二检测结果确定目标人脸活体检测结果。通过获取多种类图像，并且采用两个检测模型来进行人脸活体检测，能够提高人脸活体检测的精度，并且能够适用于不同应用场景，提高了人脸活体检测过程的鲁棒性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例公开的一种人脸活体检测方法的应用场景示意图；

图2是本申请实施例公开的一种人脸活体检测方法的方法流程示意图；

图3是一个实施例公开的截取目标人脸框的流程示意图；

图4是一个实施例公开的确定各目标人脸框的位置信息的流程示意图；

图5是一个实施例公开的训练两个检测模型的流程示意图；

图6是本申请实施例公开的一种人脸活体检测装置的结构示意图；

图7是本申请实施例公开的另一种人脸活体检测装置的结构示意图；

图8是本申请实施例公开的又一种人脸活体检测装置的结构示意图；

图9是一个实施例公开的一种终端设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请实施例公开了一种人脸活体检测方法、装置、终端设备及存储介质，能够提高人脸活体检测的精度，并且适用于不同的人脸识别应用场景，提高了鲁棒性。以下分别进行详细说明。

请参阅图1，图1是本申请实施例公开的一种人脸活体检测方法的应用场景示意图。如图1所示，可包括终端设备10和检测对象20，终端设备10对检测对象20中的人脸是否为活体进行检测。

终端设备10可包括摄像头以及处理器，其中，摄像头至少包括RGB摄像头、红外摄像头以及深度摄像头，分别用于获取检测对象20的RGB图像、红外图像以及深度图像。处理器可为终端设备10的控制中心，利用各种接口和线路连接整个终端设备的各个部分，并执行终端设备的数据处理。

请参阅图2，图2是本申请实施例公开的一种人脸活体检测方法的方法流程示意图，该方法可应用于前述的终端设备10。如图2所示，该方法可包括以下步骤：

210、获取待检测图像，待检测图像包括RGB图像、红外图像以及对应的深度图像。

在本申请实施例中，终端设备通过RGB摄像头、红外摄像头以及深度摄像头分别对检测对象进行拍摄，以获取待检测图像，其中，获取到的待检测图像包括RGB图像、红外图像以及与RGB图像对应的深度图像。检测对象可能包括活体对象或者非活体对象，活体对象可为用户，非活体对象可为用户的照片或者用户的视频。

220、通过第一检测模型对RGB图像以及深度图像分别进行特征提取，并根据提取的第一图像特征得到第一检测结果；第一检测模型是根据第一训练集训练得到的，第一训练集包括多帧RGB样本图像及与每帧RGB样本图像对应的深度样本图像。

在本申请实施例中，终端设备将RGB图像以及深度图像输入到终端设备中的第一检测模型，第一检测模型对获取到的RGB图像以及深度图像分别进行特征提取，得到第一图像特征。第一检测模型再对提取到的第一图像特征进行检测，检测第一图像特征中的对象是否为人脸活体，输出第一检测结果。其中，第一图像特征为第一检测模型对输入的RGB图像以及深度图像分别进行特征提取得到的图像特征。第一检测结果可为预测数值，用于表示检测对象为活体对象的概率，如为人脸活体的概率为0.6，为非人脸活体的概率为0.4。

230、通过第二检测模型对红外图像进行特征提取，并根据提取的第二图像特征得到第二检测结果；第二检测模型是根据第二训练集训练得到的，第二训练集包括多帧红外样本图像。

在本申请实施例中，终端设备将红外图像输入到终端设备中的第二检测模型，第二检测模型对获取到的红外图像进行特征提取，得到第二图像特征。第二检测模型再对提取到的第二图像特征进行检测，检测第二图像特征中的对象是否为人脸活体，输出第二检测结果。其中，第二图像特征为第二检测模型对输入的红外图像进行特征提取得到的图像特征。第二检测结果同样可为预测数值，如为人脸活体的概率为0.7，为非人脸活体的概率为0.3。

在本申请实施例中，第一检测模型和第二检测模型可以为相同检测模型，也可以为不同检测模型，第一检测模型和第二检测模型均为可用于对待检测图像进行特征提取，且依据提取的特征进行图像检测的模型，具体可以为卷积神经网络、稀疏自编码器或者长短期记忆神经网络等中的一种，在此不做限定。

240、根据第一检测结果及第二检测结果确定目标人脸活体检测结果。

在本申请实施例中，终端设备根据第一检测模型输出的第一检测结果，以及第二检测模型输出的第二检测结果，共同确定对待检测图像中的目标人脸活体检测结果。其中，终端设备在根据第一检测结果以及第二检测结果确定目标人脸活体检测结果的过程中，可设置一个或多个预设条件，依据第一检测结果以及第二检测结果是否满足所需要的预设条件，来输出目标人脸活体检测结果。举例来说，可设置1个预设条件，该预设条件为预设的一个阈值，第一检测结果以及第二检测结果均需要大于该阈值，此时对于待检测图像，终端设备可确定待检测图像中的检测对象为人脸活体，即目标人脸活体检测结果为人脸活体；或者可设置3个预设条件，分别为预设的阈值1、阈值2和阈值3，第一检测结果需要大于阈值1，第二检测结果需要大于阈值2，并且第一检测结果和第二检测结果的乘积需要大于阈值3，此时对于待检测图像，终端设备可确定待检测图像中的的检测对象为人脸活体，即目标人脸活体检测结果为人脸活体。

在本申请实施例中，通过获取包括RGB图像、红外图像以及深度图像在内的同一检测对象的多种待检测图像，并且采用两个检测模型来对多种待检测图像进行人脸活体检测，能够提高人脸活体检测的精度，并且能够适用于不同应用场景，提高了人脸活体检测过程的鲁棒性。

在一个实施例中，根据第一检测结果及第二检测结果确定目标人脸活体检测结果，包括：若第一检测结果大于第一阈值，且第二检测结果大于第二阈值，则判断待检测图像为活体图像。

终端设备或者终端设备管理者可预设两个阈值，分别为第一阈值在第二阈值，在第一检测模型以及第二检测模型分别输出第一检测结果以及第二检测结果之后，分别将第一检测结果与第一阈值进行比较，以及将第二检测结果与第二阈值进行比较。在第一检测结果大于第一阈值，且第二检测结果大于第二阈值时，终端设备将待检测图像判断为活体图像。而在第一检测结果不大于第一阈值，或者第二检测结果不大于第二阈值时，终端设备将待检测图像判断为非活体图像。其中，第一阈值和第二阈值可以为相同数值，也可以为不同数值。

在本申请实施例中，在待检测图像的检测结果满足不同阈值时才被判断为活体图像，能够提高人脸活体检测过程的鲁棒性。

在一个实施例中，终端设备在执行通过第一检测模型对RGB图像以及深度图像分别进行特征提取，并根据提取的第一图像特征得到第一检测结果的过程中，可以包括以下步骤：

通过第一检测模型对RGB图像以及深度图像分别进行特征提取，得到RGB特征图像以及深度特征图像；

对RGB特征图像以及深度特征图像进行特征融合，得到第一图像特征，并根据第一图像特征得到第一检测结果。

在本申请实施例中，终端设备通过第一检测模型对RGB图像以及深度图像分别进行特征提取，得到RGB特征图像以及深度特征图像后，通过第一检测模型对RGB特征图像以及深度特征头像进行特征融合来得到第一图像特征，第一检测模型再对得到的第一图像特征进行人脸活体检测，并输出第一检测结果。

通过对RGB特征图像以及深度特征图像进行特征融合，能够包含更多的细节信息，从而令第一检测模型对RGB图像以及深度图像进行人脸活体检测的结果更加精确。

在一些实施例中，终端设备在执行通过第一检测模型对RGB图像以及深度图像分别进行特征提取，并根据提取的第一图像特征得到第一检测结果的过程之前，还可以执行以下步骤：

对RGB图像以及深度图像进行尺寸调整，得到调整后的RGB图像以及调整后的深度图像；

以及，在执行通过第二检测模型对红外图像进行特征提取，并根据提取的第二图像特征得到第二检测结果的过程之前，还可以执行以下步骤：

对红外图像进行尺寸调整，得到调整后的红外图像。

在本申请实施例中，终端设备在将RGB图像以及深度图像输入到第一检测模型中进行特征提取之前，可对RGB图像以及深度图像进行尺寸调整，将调整后得到的RGB图像以及深度图像输入到第一检测模型中。并且终端设备通过第一检测模型对调整后的RGB图像以及深度图像分别进行特征提取，得到RGB特征图像以及深度特征图像后，通过第一检测模型对RGB特征图像以及深度特征头像进行特征融合来得到第一图像特征，第一检测模型再对特征融合得到的第一图像特征进行人脸活体检测，并输出第一检测结果。

同样地，终端设备在将红外图像输入到第二检测模型中进行特征提取之前，可对红外图像进行尺寸调整，将调整后得到的红外图像输入到第二检测模型中。并且终端设备通过第二检测模型对调整后的红外图像进行特征提取，得到第二图像特征，通过第二检测模型对第二图像特征进行人脸活体检测，并输出第二检测结果。

在对RGB图像、红外图像以及深度图像进行特征提取前，对RGB图像、红外图像以及深度图像进行尺寸调整，以使各个待检测图像的尺寸符合对应的检测模型要求，能够提高特征提取过程的效率以及避免特征提取失败。

在一个实施例中，请参阅图3，图3是一个实施例公开的截取目标人脸框的流程示意图。终端设备在执行获取待检测图像，待检测图像包括RGB图像、红外图像以及对应的深度图像的过程之后，还可以执行以下步骤：

310、分别对RGB图像、红外图像以及深度图像进行人脸检测，得到RGB图像中的RGB人脸框、红外图像中的红外人脸框以及深度图像中的深度人脸框；

320、对RGB人脸框、红外人脸框以及深度人脸框进行筛选，确定置信度大于置信度阈值的RGB目标人脸框、红外目标人脸框以及深度目标人脸框；

330、从RGB图像中对RGB目标人脸框进行截取，得到目标RGB图像，从红外图像中对红外目标人脸框进行截取，得到目标红外图像，以及从深度图像中对深度目标人脸框进行截取，得到目标深度图像。

在本申请实施例中，在获取包含RGB图像、红外图像以及深度图像的待检测图像之后，终端设备可将上述待检测图像输入到终端设备中的人脸检测模型中，通过人脸检测模型对RGB图像、红外图像以及深度图像可能存在人脸的人脸框进行检测并输出，输出的人脸框分别为RGB图像中的RGB人脸框、红外图像中的红外人脸框以及深度图像中的深度人脸框。其中，人脸检测模型可以为超分辨率测试序列(Visual Geometry Group，VGG)模型、残差网络模型、Alexnet等，在此不做限定。

终端设备中的人脸检测模型在输出不同图像中的人脸框时，同时输出各个人脸框对应的置信度，置信度用于表示对应的人脸框中存在人脸的概率。终端设备通过将RGB图像、红外图像以及深度图像中各个人脸框的置信度，与预设的置信度阈值进行比较，将置信度大于置信度阈值的人脸框，确定为对应图像中的目标人脸框，即RGB目标人脸框、红外目标人脸框以及深度目标人脸框。举例说明，通过人脸检测模型对RGB图像进行人脸框检测，检测得到三个RGB人脸框，分别为RGB人脸框1、RGB人脸框2和RGB人脸框3，对应的置信度分别为0.9、0.5和0.7；预设的置信度阈值为0.8，此时终端设备将RGB人脸框筛选确定为RGB图像中的RGB目标人脸框。

终端设备在确定RGB图像中的RGB目标人脸框、红外图像中的红外目标人脸框以及深度图像中的深度目标人脸框之后，将RGB目标人脸框从对应的RGB图像中进行截取，将红外目标人脸框从对应的红外图像中进行截取，将深度目标人脸框从对应的深度图像中进行截取。截取得到目标RGB图像、目标红外图像以及目标深度图像后，将目标替代对应的待检测图像，并输入到对应的检测模型中，具体将目标RGB图像替代RGB图像以及将目标深度图像替代深度图像之后，将目标RGB图像以及目标深度图像输入到第一检测模型中，将目标红外图像替代红外图像后，将目标红外图像输入到第二检测模型中。

在本申请实施例中，终端设备在得到目标RGB图像、目标红外图像以及目标深度图像之后，执行的通过第一检测模型对所述RGB图像以及深度图像分别进行特征提取的过程，包括：

通过第一检测模型对目标RGB图像及目标深度图像分别进行特征提取；

执行的通过第二检测模型对红外图像进行特征提取的过程，包括：

通过第二检测模型对目标红外图像进行特征提取。

在本申请实施例中，终端设备通过第一检测模型对目标RGB图像及目标深度图像分别进行特征提取，得到第一图像特征，并对该第一图像特征进行人脸活体检测，以得到第一检测结果。终端数还通过第二检测模型对目标红外图像进行特征提取，得到第二图像特征，并对该第二图像特征进行人脸活体检测，以得到第二检测结果。

通过从各个待检测图像中检测人脸框，并筛选置信度较高的人脸框作为目标人脸框进行截取，并且替代待检测图像，能够有效地保证目标人脸框中包含有人脸图像，避免对不包含人脸的待检测图像进行人脸活体检测，有效地提高人脸活体检测过程的效率。

在一些实施例中，从RGB图像中对RGB目标人脸框进行截取，从红外图像中对红外目标人脸框进行截取，从深度图像中对深度目标人脸框进行截取，可包括：

确定RGB目标人脸框在RGB图像中的位置信息、红外目标人脸框在红外图像中的位置信息以及深度目标人脸框在深度图像中的位置信息；

依据RGB目标人脸框的位置信息，从RGB图像中对RGB目标人脸框进行截取，得到目标RGB图像；

依据红外目标人脸框的位置信息，从红外图像中对红外目标人脸框进行截取，得到目标红外图像；

依据深度目标人脸框的位置信息，从深度图像中对深度目标人脸框进行截取，得到目标深度图像。

在本申请实施例中，终端设备可通过人脸检测模型在检测各个人脸框时，输出各个人脸框对应的位置信息。因此在筛选出各个目标人脸框后，可确定各个目标人脸框的位置信息。终端设备分别依据各个目标人脸框在对应的图像中的位置信息，将确定的目标人脸框从对应的图像中进行截取，能够实现对各个目标人脸框的快速截取。

在一个实施例中，请参阅图4，图4是一个实施例公开的确定各目标人脸框的位置信息的流程示意图。终端设备在执行从RGB图像中对RGB目标人脸框进行截取，得到目标RGB图像，从红外图像中对红外目标人脸框进行截取，得到目标红外图像，以及从深度图像中对深度目标人脸框进行截取，得到目标深度图像之前，还可以执行以下步骤：

410、确定RGB目标人脸框在RGB图像中的位置信息，以及确定红外目标人脸框在红外图像中的位置信息；

420、依据RGB目标人脸框在RGB图像中的位置信息，确定深度目标人脸框在深度图像中的位置信息，其中，RGB目标人脸框在RGB图像中的位置信息与深度目标人脸框在深度图像中的位置信息相同。

在本申请实施例中，终端设备可通过人脸检测模型检测各个人脸框在对应的图像中的位置信息，进而在筛选出各个目标人脸框后，可确定RGB目标人脸框在RGB图像中的位置信息，以及红外目标人脸框在红外图像中的位置信息。终端设备在确定RGB目标人脸框在RGB图像中的位置信息后，依据RGB目标人脸框在RGB图像中的位置信息来确定深度目标人脸框在深度图像中的位置信息，令深度目标人脸框在深度图像中的位置信息与RGB目标人脸框在RGB图像中的位置信息相同。其中，位置信息可以为目标人脸框在对应的图像中的坐标信息，如RGB目标人脸框的四个角在RGB图像中的坐标。

在从各个待检测图像中截取对应的目标人脸框之前，确定RGB目标人脸框以及红外目标人脸框的位置信息，并依据RGB目标人脸框的位置信息确定深度目标人脸框的位置信息，能够保证截取的RGB目标人脸框中的内容与截取的深度目标人脸框中的内容保持一致，从而保证后续第一检测模型中的特征提取以及确定第一检测结果的准确性。

在一些实施例中，RGB目标人脸框在RGB图像中的位置信息、红外目标人脸框在红外图像中的位置信息以及深度目标人脸框在深度图像中的位置信息，可为RGB目标人脸框、红外目标人脸框以及深度目标人脸框在对应图像中的左上角坐标以及右下角坐标，或左下角坐标以及右上角坐标。

在本申请实施例中，终端设备依据各个目标人脸框的左上角坐标以及右下角坐标，或者左下角坐标以及右上角坐标即可确定各个目标人脸框在对应的图像中的位置，能够降低目标人脸框截取过程的运算量。

在一个实施例中，请参阅图5，图5是一个实施例公开的训练两个检测模型的流程示意图。终端设备在执行在获取待检测图像的过程之前，还可以执行以下步骤：

510、通过待训练的第一检测模型对RGB样本图像以及与RGB样本图像对应的深度样本图像分别进行特征提取，得到第一样本特征，根据第一样本特征确定第一预测结果，并根据第一预测结果及与RGB样本图像对应的第一真实结果确定第一损失，以根据第一损失对待训练的第一检测模型的参数进行调整；

520、通过待训练的第二检测模型对红外样本图像进行特征提取，得到第二样本特征，根据第二样本特征确定第二预测结果，并根据第二预测结果及与红外样本图像对应的第二真实结果确定第二损失，以根据第二损失对待训练的第二检测模型的参数进行调整。

在本申请实施例中，终端设备可获取第一训练集和第二训练集，其中，第一训练集用于对待训练的第一检测模型进行训练，第一训练集可包括多帧RGB样本图像及与每帧RGB样本图像对应的深度样本图像，第二训练集用于对待训练的第二检测模型进行训练，第二训练集可包括多帧红外样本图像。RGB样本图像可包括RGB活体样本图像以及RGB非活体样本图像，红外样本图像可包括红外活体样本图像以及红外非活体样本图像，深度样本图像可包括深度活体样本图像以及深度非活体样本图像，而活体样本图像为采集到的包含人脸活体的图像，如对人脸直接进行采集的图像；非活体样本图像为采集的不包含人脸活体的图像，如对包含人脸的照片或视频进行采集得到的图像。

终端设备在对获取第一训练集和第二训练集后，通过待训练的第一检测模型对RGB样本图像以及深度样本图像分别进行特征提取，得到第一样本特征。另外，终端设备通过待训练的第二检测模型对红外样本图像进行特征提取，得到第二样本特征。

第一检测模型在得到第一样本特征后，第一检测模型对该个第一样本特征进行人脸活体检测，检测后输出第一预测结果。第二检测模型在得到第二样本特征后，第二检测模型对该个第二样本特征进行人脸活体检测，检测后输出第二预测结果。得到第一预测结果以后，将第一预测结果与训练所采用的每帧RGB样本特征图像或者深度特征图像，也就是第一真实结果进行比较，来确定第一预测结果的准确性。举例说明，第一预测结果为判断第一样本特征为人脸活体的概率为0.6，为非人脸活体的概率为0.4，此时如果训练采用的RGB样本图像为RGB活体样本图像或者深度样本图像为深度活体样本图像，那么此次判断准确；而如果训练采用的RGB样本图像为RGB非活体样本图像或者深度样本图像为深度非活体样本图像，那么此次判断错误。同样地，得到第二预测结果以后，将第二预测结果与训练所采用的每帧红外样本图像，也就是第二真实结果进行比较，来确定第二预测结果的准确性。举例说明，第二预测结果为判断第二样本特征为人脸活体的概率为0.7，为非人脸活体的概率为0.3，此时如果训练采用的红外样本图像为红外活体样本图像，那么此次判断准确；而如果训练采用的红外样本图像为红外非活体样本图像，那么此次判断错误。

终端设备根据第一预测结果及与RGB样本图像对应的第一真实结果确定第一损失，来根据第一损失对待训练的第一检测模型的参数进行调整，并且根据第二预测结果及与红外样本图像对应的第二真实结果确定第二损失，来根据第二损失对待训练的第二检测模型的参数进行调整。其中，第一损失可以为第一预测结果与第一真实结果之间的误差大小，第二损失可以为第二预测结果与第二真实结果之间的误差大小，而第一检测模型以及第二检测模型的参数，具体可以为第一检测模型以及第二检测模型中用于调整检测准确度的参数。

通过采用RGB样本图像以及深度样本图像构成的训练集对第一检测模型进行训练，以及采用红外样本图像构成的训练集对第二检测模型进行训练，能够提高人脸活体检测过程中第一检测模型对RGB图像以及深度图像进行人脸活体的准确性，以及第一检测模型对红外图像进行人脸活体的准确性。

在一个实施例中，终端设备在执行通过待训练的第一检测模型对RGB样本图像以及与RGB样本图像对应的深度样本图像分别进行特征提取，得到第一样本特征的过程中，包括：

通过待训练的第一检测模型对RGB样本图像进行特征提取，得到RGB样本特征图，以及对与RGB样本图像对应的深度样本图像进行特征提取，得到深度样本特征图，并将RGB样本特征图及深度样本特征图进行特征融合，得到第一样本特征。

在本申请实施例中，终端设备在对待训练的第一检测模型进行训练的过程中，通过待训练的第一检测模型先对RGB样本图像以及与RGB样本图像对应的深度样本图像分别进行特征提取，得到RGB样本特征图以及深度样本特征图，再对RGB样本图像以及对应的深度样本图像进行特征融合，得到第一样本特征，待训练的第一检测模型对第一样本特征进行人脸活体检测，输出第一预测结果。通过对RGB样本特征图像以及深度样本特征图像进行特征融合，能够包含更多的细节信息，从而提高待训练的第一检测模型的训练效果。

请参阅图6，图6是本申请实施例公开的一种人脸活体检测装置的结构示意图，该人脸活体检测装置应用于终端设备。如图6所示，该人脸活体检测装置600包括：图像采集模块610、第一检测模块620、第二检测模块630以及活体检测模块640。

图像采集模块610，用于获取待检测图像，待检测图像包括RGB图像、红外图像以及对应的深度图像；

第一检测模块620，用于通过第一检测模型对RGB图像以及深度图像分别进行特征提取，并根据提取的第一图像特征得到第一检测结果；第一检测模型是根据第一训练集训练得到的，第一训练集包括多帧RGB样本图像及与每帧RGB样本图像对应的深度样本图像；

第二检测模块630，用于通过第二检测模型对红外图像进行特征提取，并根据提取的第二图像特征得到第二检测结果；第二检测模型是根据第二训练集训练得到的，第二训练集包括多帧红外样本图像；

活体检测模块640，用于根据第一检测结果及第二检测结果确定目标人脸活体检测结果。

作为一种可选的实施例，第一检测模块620，还用于：

通过第一检测模型对RGB图像以及深度图像分别进行特征提取，得到RGB特征图像以及深度特征图像；

对RGB特征图像以及深度特征图像进行特征融合，得到第一图像特征，并根据第一图像特征得到第一检测结果。

作为一种可选的实施例，活体检测模块640，还用于：

若第一检测结果大于第一阈值，且第二检测结果大于第二阈值，则判断待检测图像为活体图像。

请参阅图7，图7是本申请实施例公开的另一种人脸活体检测装置的结构示意图。其中，图7所示的人脸活体检测装置是由图6所示的人脸活体检测装置进一步优化得到的。与图6所示的人脸活体检测装置相比较，图7所示的人脸活体检测装置600还可以包括：

人脸框获取模块650，用于分别对RGB图像、红外图像以及深度图像进行人脸检测，得到RGB图像中的RGB人脸框、红外图像中的红外人脸框以及深度图像中的深度人脸框；对RGB人脸框、红外人脸框以及深度人脸框进行筛选，确定置信度大于置信度阈值的RGB目标人脸框、红外目标人脸框以及深度目标人脸框；从RGB图像中对RGB目标人脸框进行截取，得到目标RGB图像，从红外图像中对红外目标人脸框进行截取，得到目标红外图像，以及从深度图像中对所述深度目标人脸框进行截取，得到目标深度图像。

第一检测模块620，还用于：

通过第一检测模型对目标RGB图像及目标深度图像分别进行特征提取。

第二检测模块630，还用于：

通过第二检测模型对目标红外图像进行特征提取。

作为一种可选的实施例，人脸框获取模块650，还用于：

确定RGB目标人脸框在RGB图像中的位置信息，以及确定红外目标人脸框在红外图像中的位置信息；

依据RGB目标人脸框在RGB图像中的位置信息，确定深度目标人脸框在深度图像中的位置信息，其中，RGB目标人脸框在RGB图像中的位置信息与深度目标人脸框在深度图像中的位置信息相同。

请参阅图8，图8是本申请实施例公开的又一种人脸活体检测装置的结构示意图。其中，图8所示的人脸活体检测装置是由图6所示的人脸活体检测装置进一步优化得到的。与图6所示的人脸活体检测装置相比较，图8所示的人脸活体检测装置600还可以包括：

模型训练模块660，用于通过待训练的第一检测模型对RGB样本图像以及与RGB样本图像对应的深度样本图像分别进行特征提取，得到第一样本特征，根据第一样本特征确定第一预测结果，并根据第一预测结果及与RGB样本图像对应的第一真实结果确定第一损失，以根据第一损失对待训练的第一检测模型的参数进行调整；

通过待训练的第二检测模型对红外样本图像进行特征提取，得到第二样本特征，根据第二样本特征确定第二预测结果，并根据第二预测结果及与红外样本图像对应的第二真实结果确定第二损失，以根据第二损失对待训练的第二检测模型的参数进行调整。

为一种可选的实施例，模型训练模块660，还用于：

通过待训练的第一检测模型对RGB样本图像进行特征提取，得到RGB样本特征图，以及对与RGB样本图像对应的深度样本图像进行特征提取，得到深度样本特征图，并将RGB样本特征图及深度样本特征图进行特征融合，得到第一样本特征。

请参阅图9，图9是一个实施例公开的一种终端设备的结构示意图。如图9所示，该终端设备900可以包括：

存储有可执行程序代码的存储器910；

与存储器910耦合的处理器920；

其中，处理器920调用存储器910中存储的可执行程序代码，执行本申请实施例公开的任意一种人脸活体检测方法。

本申请实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行本申请实施例公开的任意一种人脸活体检测方法。

本申请实施例公开一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，且该计算机程序可操作来使计算机执行本申请实施例公开的任意一种人脸活体检测方法。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在本申请的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本申请的各个实施例上述方法的部分或全部步骤。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

以上对本申请实施例公开的一种人脸活体检测方法、装置、终端设备和存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种人脸活体检测方法，其特征在于，所述方法包括：

获取待检测图像，所述待检测图像包括RGB图像、红外图像以及对应的深度图像；

通过第一检测模型对所述RGB图像以及深度图像分别进行特征提取，并根据提取的第一图像特征得到第一检测结果；所述第一检测模型是根据第一训练集训练得到的，所述第一训练集包括多帧RGB样本图像及与每帧RGB样本图像对应的深度样本图像；

通过第二检测模型对所述红外图像进行特征提取，并根据提取的第二图像特征得到第二检测结果；所述第二检测模型是根据第二训练集训练得到的，所述第二训练集包括多帧红外样本图像；

根据所述第一检测结果及所述第二检测结果确定目标人脸活体检测结果。

2.根据权利要求1所述的方法，其特征在于，在所述获取待检测图像，所述待检测图像包括RGB图像、红外图像以及对应的深度图像之后，所述方法还包括：

分别对所述RGB图像、红外图像以及深度图像进行人脸检测，得到所述RGB图像中的RGB人脸框、所述红外图像中的红外人脸框以及所述深度图像中的深度人脸框；

对所述RGB人脸框、红外人脸框以及深度人脸框进行筛选，确定置信度大于置信度阈值的RGB目标人脸框、红外目标人脸框以及深度目标人脸框；

从所述RGB图像中对所述RGB目标人脸框进行截取，得到目标RGB图像，从所述红外图像中对所述红外目标人脸框进行截取，得到目标红外图像，以及从所述深度图像中对所述深度目标人脸框进行截取，得到目标深度图像；

所述通过第一检测模型对所述RGB图像以及深度图像分别进行特征提取，包括：

通过第一检测模型对所述目标RGB图像及所述目标深度图像分别进行特征提取；

所述通过第二检测模型对所述红外图像进行特征提取，包括：

通过第二检测模型对所述目标红外图像进行特征提取。

3.根据权利要求2所述的方法，其特征在于，在所述从所述RGB图像中对所述RGB目标人脸框进行截取，得到目标RGB图像，从所述红外图像中对所述红外目标人脸框进行截取，得到目标红外图像，以及从所述深度图像中对所述深度目标人脸框进行截取，得到目标深度图像之前，所述方法还包括：

确定所述RGB目标人脸框在所述RGB图像中的位置信息，以及确定所述红外目标人脸框在所述红外图像中的位置信息；

依据所述RGB目标人脸框在所述RGB图像中的位置信息，确定所述深度目标人脸框在所述深度图像中的位置信息，其中，所述RGB目标人脸框在所述RGB图像中的位置信息与所述深度目标人脸框在所述深度图像中的位置信息相同。

4.根据权利要求1所述的方法，其特征在于，所述根据所述第一检测结果及所述第二检测结果确定目标人脸活体检测结果，包括：

若所述第一检测结果大于第一阈值，且所述第二检测结果大于第二阈值，则判断所述待检测图像为活体图像。

5.根据权利要求1所述的方法，其特征在于，所述通过第一检测模型对所述RGB图像以及深度图像分别进行特征提取，并根据提取的第一图像特征得到第一检测结果，包括：

通过第一检测模型对所述RGB图像以及所述深度图像分别进行特征提取，得到RGB特征图像以及深度特征图像；

对所述RGB特征图像以及深度特征图像进行特征融合，得到第一图像特征，并根据所述第一图像特征得到第一检测结果。

6.根据权利要求1～5任一所述的方法，其特征在于，在所述获取待检测图像之前，所述方法还包括：

通过待训练的第一检测模型对RGB样本图像以及与所述RGB样本图像对应的深度样本图像分别进行特征提取，得到第一样本特征，根据所述第一样本特征确定第一预测结果，并根据所述第一预测结果及与所述RGB样本图像对应的第一真实结果确定第一损失，以根据所述第一损失对所述待训练的第一检测模型的参数进行调整；

通过待训练的第二检测模型对红外样本图像进行特征提取，得到第二样本特征，根据所述第二样本特征确定第二预测结果，并根据所述第二预测结果及与所述红外样本图像对应的第二真实结果确定第二损失，以根据所述第二损失对所述待训练的第二检测模型的参数进行调整。

7.根据权利要求6所述的方法，其特征在于，所述通过待训练的第一检测模型对RGB样本图像以及与所述RGB样本图像对应的深度样本图像分别进行特征提取，得到第一样本特征，包括：

通过所述待训练的第一检测模型对RGB样本图像进行特征提取，得到RGB样本特征图，以及对与所述RGB样本图像对应的深度样本图像进行特征提取，得到深度样本特征图，并将所述RGB样本特征图及所述深度样本特征图进行特征融合，得到第一样本特征。

8.一种人脸活体检测装置，其特征在于，所述装置包括：

图像采集模块，用于获取待检测图像，所述待检测图像包括RGB图像、红外图像以及对应的深度图像；

第一检测模块，用于通过第一检测模型对所述RGB图像以及深度图像分别进行特征提取，并根据提取的第一图像特征得到第一检测结果；所述第一检测模型是根据第一训练集训练得到的，所述第一训练集包括多帧RGB样本图像及与每帧RGB样本图像对应的深度样本图像；

第二检测模块，用于通过第二检测模型对所述红外图像进行特征提取，并根据提取的第二图像特征得到第二检测结果；所述第二检测模型是根据第二训练集训练得到的，所述第二训练集包括多帧红外样本图像；

活体检测模块，用于根据所述第一检测结果及所述第二检测结果确定目标人脸活体检测结果。

9.一种终端设备，其特征在于，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。

Images