CN110321790B - 一种对抗样本的检测方法及电子设备 - Google Patents

Abstract

本申请实施例公开了一种对抗样本的检测方法，应用于人脸识别场景(如：手机的人脸支付、人脸解锁等)，包括：电子设备通过摄像装备采集当前时刻的人脸图像(如：拍摄的人脸图片或从拍摄的摄像录影中截取的人脸图片)，并判断该人脸图像的人脸区域范围内是否存在遮挡物(如：眼镜、贴纸等)，若存在，则进一步判断该遮挡物是否是对抗样本干扰物，若是对抗样本干扰物，则确定该人脸图像为对抗样本(说明遭受到对抗样本攻击)。这种检测方法不需要对大量的对抗样本图片进行深度模型训练，也不需要知道生成对抗样本的生成器采用的是哪种对抗样本生成算法，更不需要预先知道攻击者的人脸图像，便可以检测出是否存在对抗样本，检测复杂度低，易于实现。

Description

一种对抗样本的检测方法及电子设备

技术领域

本申请涉及图像识别领域，尤其涉及一种对抗样本的检测方法及电子设备。

背景技术

深度学习是如今机器学习和人工智能领域应用的核心技术。在机器视觉领域中，它已经成为人脸识别、自动驾驶、监控、安保应用中的主力。然而，深度学习网络对于输入中带有的轻微扰动是很脆弱的，这些轻微扰动会导致深度学习网络输出错误的识别结果。例如，在图像识别领域，当深度学习网络输入图片中的部分像素点的像素值发生改变(即出现轻微扰动)，则会导致深度学习网络输出错误的识别结果。这种轻微扰动人眼不易察觉，但却完全可以欺骗深度学习网络。这种在输入图片中加入适量扰动从而使深度学习网络输出错误识别结果的攻击方法被称为对抗样本攻击，其中加入扰动后的输入图片被称为对抗样本。如图1所示是对抗样本攻击的一个实例，对熊猫图片(即输入图片)加入一定量不容易被人眼察觉的扰动(即改变输入图片的部分像素点的像素值)，结果使输出图片被深度学习网络误识别为长臂猿。然而该输出图片在人眼看来，却与输入图片无异。上述这种对抗样本攻击的方式只能针对已经存在于设备中的图片进行(即对存在设备中的图片更改部分像素点的像素值)。而针对人脸识别场景中，设备对当前时刻拍下的人脸图片(即开启摄像头拍摄的实时人脸图片)则无法做像素点的干扰处理。基于此，则出现了另一种形式的对抗样本攻击：攻击者通过在脸上佩戴经过特殊处理的对抗样本物品(如对抗样本眼镜/眼镜框、对抗样本贴纸等)方式，使得攻击者被人脸识别***识别成预先指定的人(即受害者)。

目前，针对上述两种形式(即在现有输入图片中更改部分像素点的像素值、当前时刻拍摄的人脸图片佩戴有对抗样本物品)的对抗样本攻击的解决方式有以下两种：1)将对抗样本和原始的输入图片共同作为训练数据集，并将该训练数据集输入到深度学习网络中进行模型训练，生成对抗样本检测器。用该对抗样本检测器可以检测出输入的图片是否是对抗样本。2)根据原始的输入图片的识别结果与对抗样本的识别结果之间的差异程度的函数(即损失函数)，训练生成去噪器，用该去噪器对输入的对抗样本进行去燥处理(即去除对抗样本中添加的扰动)。

然而，上述对抗样本攻击的解决方式都存在缺陷：1)对抗样本检测器只能检测出由已知的对抗样本生成器生成的对抗样本，而想要使该对抗样本检测器能检测出所有的对抗样本，则需要针对由所有种类的对抗样本生成器生成的对抗样本进行训练，这种操作不仅成本巨大而且不易实现。2)去噪器只能对有已知对抗样本生成器生成的对抗样本进行处理，且需要预先知道是否存在对抗样本攻击。同时，该方法还需要预先知道攻击者的原始图片在图片识别***中的识别结果，即需要预先知道攻击者是谁，这在实际应用场景中难以实现。

发明内容

本申请实施例第一方面提供了一种对抗样本的检测方法，该检测方法应用于电子设备的人脸识别场景(如：手机的人脸支付、人脸解锁等)，具体包括：

首先，电子设备可以通过摄像装备采集当前时刻的人脸图像(如：当前时刻拍摄的人脸图片或从当前时刻拍摄的摄像录影中截取的人脸图片)。需要说明的是，摄像装备可以是电子设备上自带的摄像头，也可以是与电子设备物理上分离但是无线连接的摄像头(如：手机没有开启自带的摄像头、手机自带的摄像头被损坏或该手机没有自带的摄像头，但存在与该手机进行了蓝牙连接的手持摄像头)，具体此处对摄像装备不做限定。还需要说明的是，电子设备通过摄像装备采集当前时刻的人脸图像可以有多种形式，例如，可以是响应于对某个操作指令的触发，即某个操作指令的执行会触发电子设备通过摄像头采集当前时刻的人脸图像，也可以是摄像装备始终处于开启状态，只要摄像装备捕捉到当前时刻存在人脸图像，电子设备就采集该人脸图像，具体此处对电子设备采集当前时刻的人脸图像的形式不做限定。如果电子设备在该当前时刻拍摄的人脸图像中人脸区域范围内检测到存在遮挡物(如：眼镜、贴纸等)，则电子设备会进一步判断该遮挡物是否是对抗样本干扰物，若电子设备确定该遮挡物是对抗样本干扰物，则电子设备会确定该当前时刻拍摄的人脸图像为对抗样本(即遭受到对抗样本攻击)。

在本申请实施例中，通过判断当前时刻拍摄的人脸图像中人脸区域范围内的遮挡物是否是对抗样本干扰物来确定该人脸图像是否为对抗样本。本申请实施例所采用的对抗样本的检测方法应用于人脸识别场景，这种检测方法不需要对大量的对抗样本图片进行深度模型训练，也不需要知道生成对抗样本的生成器采用的是哪种对抗样本生成算法(包括已知的或最新产生的对抗样本生成算法)，更不需要预先知道攻击者的人脸图像，便可以检测出是否存在对抗样本，从而使攻击者无法实现对抗样本攻击。并且这种检测方法复杂度低，易于实现。

结合本申请实施例第一方面，在本申请实施例第一方面的第一种实施方式中，电子设备判断遮挡物是否为对抗样本干扰物可以包括：首先，对遮挡物中所有像素点的像素值进行计算，得到该遮挡物的图片熵值；之后，用计算出的遮挡物的图片熵值与预先设定好的阈值(即预设阈值)进行比较，以判断遮挡物是否为对抗样本干扰物。该预设阈值可以根据第一预设方式进行确定，例如，通过该第一预设方式确定的预设阈值可以是用户根据经验值设定的，也可以是基于深度学习网络计算生成的，具体此处不做限定。最后，若该图片熵值大于上述预设阈值，则确定该遮挡物为对抗样本干扰物。

在本申请实施例中，通过计算遮挡物的图片熵值，并将该图片熵值与预设阈值相比较来判断遮挡物是不是对抗样本干扰物，具备实操性。

结合本申请实施例第一方面的第一种实施方式，在本申请实施例第一方面的第二种实施方式中，对遮挡物中所有像素点的像素值进行计算得到该遮挡物的图片熵值可以包括：将该遮挡物中所有像素点的像素值在色彩空间分解为第一向量像素值(也可称为X轴像素值)、第二向量像素值(也可称为Y轴像素值)和第三向量像素值(也可称为Z轴像素值)，得到第一向量像素值的第一集合、第二向量像素值的第二集合和到第三向量像素值的第三集合；之后，根据熵值计算公式分别计算第一集合的第一图片熵值、第二集合的第二图片熵值和第三集合的第三图片熵值；最后，对第一图片熵值、所述第二图片熵值和所述第三图片熵值取算术平均值，并将该算术平均值作为该遮挡物的图片熵值。在本申请实施例中，说明了如何计算遮挡物的图片熵值，即先将遮挡物的所有像素点在色彩空间进行分拆，然后根据熵值计算公式计算得到，这种计算方式简单、方便、易操作。

结合本申请实施例第一方面的第二种实施方式，在本申请实施例第一方面的第三种实施方式中，上述熵值计算公式可以是：

其中，i为所述第一集合、所述第二集合或所述第三集合中每一个元素的取值，p_i为该i出现的概率，H为该第一图片熵值、该第二图片熵值或该第三图片熵值。也就是说，若该遮挡物是灰色图片时，则该遮挡物中所有像素点的像素值在色彩空间(如：RGB颜色模型)中每一个坐标轴上的取值都是相同的。那么对该遮挡物的图片熵值的计算可以通过熵值计算公式

来得到，其中，i为遮挡物中每一个像素点的像素值，p_i为像素值i出现的概率，H就为该遮挡物的图片熵值。若该遮挡物为彩色图片，则该遮挡物在色彩空间上的每一个坐标轴上的图片熵值也依然可以根据上述计算灰色图片时所采用的熵值计算公式

计算得到。即当计算X坐标轴上的第一图片熵值时，i就为第一集合中每一个像素值的取值，p_i就为i出现的概率，H就为第一图片熵值；当计算Y坐标轴上的第二图片熵值时，i就为第二集合中每一个像素值的取值，p_i就为i出现的概率，H就为第二图片熵值；当计算Z坐标轴上的第三图片熵值时，i就为第三集合中每一个像素值的取值，p_i就为i出现的概率，H就为第三图片熵值。

在本申请实施例中，给出了其中一种具体的熵值计算公式，该计算公式适用所有图片(包括灰色图片和彩色图片)，适用范围广且具备可操作性。

结合本申请实施例第一方面以及本申请实施例第一方面的第一种实施方式至第三种实施方式，在本申请实施例第一方面的第四种实施方式中，若电子设备检测到上述人脸图像中人脸区域范围内存在遮挡物，且该遮挡物是对抗样本干扰物，该检测方法还可以包括：

根据第二预设方式处理该对抗样本，并将处理后的对抗样本进行识别，得到识别结果。处理的目的是为了消除对抗样本干扰物的影响，可以是直接去除该对抗样本干扰物，也可以是将该对抗样本干扰物转变为普通遮挡物，具体此处不作限定。

在本申请实施例中，当对对抗样本干扰物进行上述处理之后，上述人脸图像中人脸区域范围内将不存在遮挡物或存在的遮挡物仅仅是普通遮挡物，那么电子设备则可以直接对该人脸图像进行识别，得到识别结果。对处理后的遮挡物再进行识别是为了以防出现误识别的情况，提高用户使用体验。

结合本申请实施例第一方面的第四种实施方式，在本申请实施例第一方面的第五种实施方式中，第二预设方式可以包括：

首先确定一个目标像素值，并将对抗样本干扰物中所有像素点的像素值都修改成目标像素值；或，将对抗样本干扰物中所有像素点的像素值进行代数线性变换，即将对抗样本干扰物中所有像素点的像素值x做代数线性变换处理。例如，将对抗样本干扰物中所有像素点的像素值修改为(255-x)或0.5*(255-x)，具体此处对代数线性变换处理的形式不做限定。

在本申请实施例中，给出了第二预设方式的多种实现方式，更加具备灵活性。

结合本申请实施例第一方面的第五种实施方式，在本申请实施例第一方面的第六种实施方式中，确定目标像素值的方式也可以有多种，可以包括：

在像素值的取值范围内(即0-255中的任意整数)任意选取一个像素值作为目标像素值；

或，

取对抗样本干扰物中任意一个像素点A的像素值(即目标像素值)，然后将对抗样本干扰物内其他所有的像素点的像素值都修改为与该像素点A相同的像素值；

或，

取该人脸图像中人脸区域范围内任意一个像素点B的像素值(即目标像素值)，然后将对抗样本干扰物内所有的像素点的像素值都修改为与该像素点B相同的像素值；

或，

对该人脸图像中人脸区域范围内所有像素点的像素值取算术平均值C(即目标像素值)，然后将对抗样本干扰物内所有的像素点的像素值都修改为与该算术平均值C相同的像素值。

在本申请实施例中，给出了确定目标像素值的多种实现方式，具备灵活性。

结合本申请实施例第一方面以及本申请实施例第一方面的第一种实施方式至第六种实施方式，在本申请实施例第一方面的第七种实施方式中，电子设备在确定该人脸图像为对抗样本(即识别结果不是电子设备的主人)之后，那么该电子设备可以进一步生成提醒通知，该提醒通知用于提示相关用户该电子设备正遭受对抗样本攻击，例如，相关用户可以是电子设备的主人(即受害者)，那么提醒通知就可以提醒受害者及时进行处理(如：修改支付密码、报警)，相关用户也可以是与电子设备对应的服务商家(如：攻击者使用受害者的手机在人人乐超市进行线上支付，那么对应的服务商家就是人人乐超市的收银平台)。提醒通知要实现其提醒功能，则有多种实现方式，包括但不限于如下几种提醒方式：

该提醒通知在电子设备上以语音播报、警铃等形式进行提醒。

和/或，

向与该电子设备对应的服务器发送该提醒通知；

和/或，

向与该电子设备关联的目标电子设备发送该提醒通知。

在本申请实施例中，当确定电子设备正遭受对抗样本攻击时，生成相应的提醒通知来提醒相关用户，具体实用性。

结合本申请实施例第一方面的第一种实施方式至第七种实施方式，在本申请实施例第一方面的第八种实施方式中，确定预设阈值的第一预设方式可以包括：

线下获取大量(如M个，M≥1)正常的人脸图像(即参考人脸图像)，这些人脸图像的人脸区域范围内不存在任何遮挡物(即没有增加任何扰动的人脸原始图片)或存在普通遮挡物(如：仅佩戴普通的眼镜、创口贴、口罩等)；之后，可以通过对获取到的每一个正常的人脸图像中像素值进行计算，得到每一个正常的人脸图像的图片熵值(即得到M个目标图片熵值)，该图片熵值的计算方式可以通过上述熵值计算公式得到；最后，将所有正常的人脸图像对应的图片熵值取算术平均值，得到的算术平均值就可作为预设阈值。

在本申请实施例中，给出了一种具体的设置预设阈值的方式，具有可操作性。

结合本申请实施例第一方面的第一种实施方式，在本申请实施例第一方面的第九种实施方式中，若上述图片熵值小于或等于该预设阈值，则确定该遮挡物为普通遮挡物；之后，电子设备对该普通遮挡物进行识别，得到识别结果。

在本申请实施例中，若该遮挡物是普通遮挡物，则进行正常识别即可，这样不影响用户的正常使用，提高用户的使用体验。

本申请实施例第二方面提供了一种电子设备，该电子设备可以包括：一个或多个摄像装备；一个或多个触摸屏；一个或多个处理器；一个或多个存储器；

其中，该一个或多个存储器存储有一个或多个计算机程序，该一个或多个计算机程序包括指令，当该指令被该一个或多个处理器执行时，使得该电子设备执行以下步骤：

获取当前时刻的人脸图像，该人脸图像由该摄像装备采集得到；

判断遮挡物是否为对抗样本干扰物，该遮挡物位于该人脸图像中人脸区域范围内；

若该遮挡物为该对抗样本干扰物，则确定该人脸图像为对抗样本。

结合本申请实施例第二方面，在本申请实施例第二方面的第一种实施方式中，当该指令被该电子设备执行时，使得该电子设备还可以执行如下步骤：

对该遮挡物中所有像素点的像素值进行计算，得到该遮挡物的图片熵值；

判断该图片熵值是否大于预设阈值，该预设阈值根据第一预设方式确定；

若该图片熵值大于该预设阈值，则确定该遮挡物为该对抗样本干扰物。

结合本申请实施例第二方面的第一种实施方式，在本申请实施例第二方面的第二种实施方式中，当该指令被该电子设备执行时，使得该电子设备还可以执行如下步骤：

将该遮挡物中所有像素点的像素值在色彩空间分解为第一向量像素值、第二向量像素值和第三向量像素值，得到第一向量像素值的第一集合、第二向量像素值的第二集合和到第三向量像素值的第三集合；

根据熵值计算公式分别计算该第一集合的第一图片熵值、该第二集合的第二图片熵值和该第三集合的第三图片熵值；

确定该第一图片熵值、该第二图片熵值和该第三图片熵值的算术平均值为该遮挡物的图片熵值。

结合本申请实施例第二方面的第二种实施方式，在本申请实施例第二方面的第三种实施方式中，该熵值计算公式可以包括：

其中，i为该第一集合、该第二集合或该第三集合中每一个元素的取值，p_i为该i出现的概率，H为该第一图片熵值、该第二图片熵值或该第三图片熵值。

结合本申请实施例第二方面、本申请实施例第二方面的第一种实施方式至第三种实施方式，在本申请实施例第二方面的第四种实施方式中，若该电子设备确定该遮挡物为该对抗样本干扰物，则当该指令被该电子设备执行时，使得该电子设备还可以执行如下步骤：

根据第二预设方式处理该对抗样本；

将处理后的对抗样本进行识别，得到识别结果。

结合本申请实施例第二方面的第四种实施方式，在本申请实施例第二方面的第五种实施方式中，该第二预设方式包括：

确定目标像素值，并将该对抗样本干扰物中所有像素点的像素值修改为该目标像素值；

或，

将该对抗样本干扰物中所有像素点的像素值进行代数线性变换。

结合本申请实施例第二方面的第五种实施方式，在本申请实施例第二方面的第六种实施方式中，该确定目标像素值包括：

在像素值的取值范围内任意选取一个像素值作为该目标像素值；

或，

确定该对抗样本干扰物中任意一个像素点的像素值为该目标像素值；

或，

确定该人脸区域范围内任意一个像素点的像素值为该目标像素值；

或，

确定该人脸区域范围内所有像素点的像素值的算术平均值为该目标像素值。

结合本申请实施例第二方面、本申请实施例第二方面的第一种实施方式至第六种实施方式，在本申请实施例第二方面的第七种实施方式中，在该电子设备确定该人脸图像为对抗样本之后，则当该指令被该电子设备执行时，使得该电子设备还执行如下步骤：

生成提醒通知；

语音播报该提醒通知；

和/或，

向对应的服务器发送该提醒通知；

和/或，

向关联的目标电子设备发送该提醒通知。

结合本申请实施例第二方面的第一种实施方式至第七种实施方式，在本申请实施例第二方面的第八种实施方式中，该第一预设方式包括：

获取M个参考人脸图像，该参考人脸图像为人脸区域范围内不存在遮挡物或存在普通遮挡物的人脸图像，其中，M≥1；

对该M个参考人脸图像中的目标参考人脸图像中所有像素点的像素值进行计算，得到该目标参考人脸图像的目标图片熵值；

确定与该M个参考人脸图像分别对应的M个目标图片熵值的算术平均值为该预设阈值。

结合本申请实施例第二方面的第一种实施方式，在本申请实施例第二方面的第九种实施方式中，若该图片熵值小于或等于该预设阈值，则当该指令被该电子设备执行时，使得该电子设备还可以执行如下步骤：

确定该遮挡物为普通遮挡物；

对该普通遮挡物进行识别，得到识别结果。

本申请实施例第三方面还提供一种电子设备，该电子设备具体可以包括：

采集单元，用于通过摄像装备采集当前时刻的人脸图像；

判断单元，用于判断遮挡物是否为对抗样本干扰物，该遮挡物位于该人脸图像中人脸区域范围内；

确定单元，用于若该遮挡物为该对抗样本干扰物，则确定该人脸图像为对抗样本。

结合本申请实施例第三方面，在本申请实施例第三方面的第一种实施方式中，该判断单元包括：

计算子单元，用于对该遮挡物中所有像素点的像素值进行计算，得到该遮挡物的图片熵值；

判断子单元，用于判断该图片熵值是否大于预设阈值，该预设阈值根据第一预设方式确定；

第一确定子单元，用于若该图片熵值大于该预设阈值，则确定该遮挡物为该对抗样本干扰物。

结合本申请实施例第三方面的第一种实施方式，在本申请实施例第三方面的第二种实施方式中，该计算子单元具体用于：

将该遮挡物中所有像素点的像素值在色彩空间分解为第一向量像素值、第二向量像素值和第三向量像素值，得到第一向量像素值的第一集合、第二向量像素值的第二集合和到第三向量像素值的第三集合；

根据熵值计算公式分别计算该第一集合的第一图片熵值、该第二集合的第二图片熵值和该第三集合的第三图片熵值；

确定该第一图片熵值、该第二图片熵值和该第三图片熵值的算术平均值为该遮挡物的图片熵值。

结合本申请实施例第三方面的第二种实施方式，在本申请实施例第三方面的第三种实施方式中，该熵值计算公式包括：

其中，i为该第一集合、该第二集合或该第三集合中每一个元素的取值，p_i为该i出现的概率，H为该第一图片熵值、该第二图片熵值或该第三图片熵值。

结合本申请实施例第三方面、本申请实施例第三方面的第一种实施方式至第三种实施方式，在本申请实施例第三方面的第四种实施方式中，若该遮挡物为该对抗样本干扰物，则该电子设备还包括：

处理单元，用于根据第二预设方式处理该对抗样本；

识别单元，用于将处理后的对抗样本进行识别，得到识别结果。

结合本申请实施例第三方面的第四种实施方式，在本申请实施例第三方面的第五种实施方式中，该第二预设方式包括：

确定目标像素值，并将该对抗样本干扰物中所有像素点的像素值修改为该目标像素值；

或，

将该对抗样本干扰物中所有像素点的像素值进行代数线性变换。

结合本申请实施例第三方面的第五种实施方式，在本申请实施例第三方面的第六种实施方式中，该确定目标像素值包括：

在像素值的取值范围内任意选取一个像素值作为该目标像素值；

或，

确定该对抗样本干扰物中任意一个像素点的像素值为该目标像素值；

或，

确定该人脸区域范围内任意一个像素点的像素值为该目标像素值；

或，

确定该人脸区域范围内所有像素点的像素值的算术平均值为该目标像素值。

结合本申请实施例第三方面、本申请实施例第三方面的第一种实施方式至第六种实施方式，在本申请实施例第三方面的第七种实施方式中，在确定该人脸图像为对抗样本之后，该电子设备还包括：

生成单元，用于生成提醒通知；

播报单元，用于语音播报该提醒通知；

和/或，

发送单元，用于向对应的服务器发送该提醒通知；和/或，向关联的目标电子设备发送该提醒通知。

结合本申请实施例第三方面的第一种实施方式至第七种实施方式，在本申请实施例第三方面的第八种实施方式中，该第一预设方式包括：

获取M个参考人脸图像，该参考人脸图像为人脸区域范围内不存在遮挡物或存在普通遮挡物的人脸图像，其中，M≥1；

对该M个参考人脸图像中的目标参考人脸图像中所有像素点的像素值进行计算，得到该目标参考人脸图像的目标图片熵值；

确定与该M个参考人脸图像分别对应的M个目标图片熵值的算术平均值为该预设阈值。

结合本申请实施例第三方面的第一种实施方式，在本申请实施例第三方面的第九种实施方式中，该判断单元还包括：

第二确定子单元，用于若该图片熵值小于或等于该预设阈值，则确定该遮挡物为普通遮挡物；

该识别单元，具体还用于对该普通遮挡物进行识别，得到识别结果。

本申请实施例第四方面提供一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机可以执行上述第一方面以及第一方面任意一种可能实现方式的检测方法。

本申请实施例第五方面提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机可以执行上述第一方面以及第一方面任意一种可能实现方式的检测方法。

从以上技术方案可以看出，本申请实施例具有以下优点：

电子设备通过摄像装备(如：电子设备上自带的摄像头，或与电子设备物理上分离但是无线连接的摄像头)采集当前时刻的人脸图像(如：当前时刻拍摄的人脸图片或从当前时刻拍摄的摄像录影中截取的人脸图片)。如果电子设备在该当前时刻拍摄的人脸图像中人脸区域范围内检测到存在遮挡物(如：眼镜、贴纸等)，则电子设备会进一步判断该遮挡物是否是对抗样本干扰物，若电子设备确定该遮挡物是对抗样本干扰物，则电子设备会确定该当前时刻拍摄的人脸图像为对抗样本(即遭受到对抗样本攻击)。在本申请实施例中，通过判断当前时刻拍摄的人脸图像中人脸区域范围内的遮挡物是否是对抗样本干扰物来确定该人脸图像是否为对抗样本。本申请实施例所采用的对抗样本的检测方法应用于人脸识别场景，这种检测方法不需要对大量的对抗样本图片进行深度模型训练，也不需要知道生成对抗样本的生成器采用的是哪种对抗样本生成算法(包括已知的或最新产生的对抗样本生成算法)，更不需要预先知道攻击者的人脸图像，便可以检测出是否存在对抗样本，从而使攻击者无法实现对抗样本攻击。并且这种检测方法复杂度低，易于实现。

附图说明

图1为现有技术中对抗样本攻击的一个实例的示意图；

图2为人脸识别应用场景中对抗样本攻击的一种实施方式的示意图；

图3为对抗样本物品与受害者之间对应关系的一个示意图；

图4为对抗样本物品与受害者之间对应关系的另一个示意图；

图5为本申请实施例中对抗样本检测方法的一个示意图；

图6为几种不同像素点分布的图片熵值的计算结果的示意图；

图7为本申请实施例中对生成的提醒通知进行处理的一种实现方式；

图8为本申请实施例中对生成的提醒通知进行处理的另一种实现方式；

图9为本申请实施例中生成的提醒通知被发送至与电子设备对应的服务器的示意图；

图10为本申请实施例中生成的提醒通知被发送至与电子设备对应的关联目标电子设备的示意图；

图11为本申请实施例中电子设备的一个示意图；

图12为本申请实施例中电子设备的另一个示意图；

图13为本申请实施例中电子设备的硬件架构图；

图14为本申请实施例中电子设备的软件架构图。

具体实施方式

在人脸识别的应用场景中(如：手机中的人脸支付、人脸解锁等)，由于攻击者无法对电子设备(如：手机)当前时刻拍下的人脸图像做加扰处理(即：无法对当前时刻拍下的人脸图像中像素点的像素值进行修改)，因此攻击者无法采用与图1对应的方式来实现对抗样本攻击。在这种情况下，攻击者就通过佩戴加扰眼镜、加扰贴纸等对抗样本物品来实现对抗样本攻击。以图2为例对这种对抗样本攻击的方式进行说明：攻击者A佩戴经过特殊处理的对抗样本眼镜框a，在人脸识别的应用场景中(如：攻击者A正在使用手机中的人脸支付)，电子设备(如：手机)通过摄像头采集到当前时刻佩戴有对抗样本眼镜框(记为镜框a)的攻击者A的人脸图像，那么该电子设备就会将攻击者A识别为受害者V1，从而成功完成手机的人脸支付功能(这里假设该手机中设置的人脸支付的目标人脸图像是受害者V1)，以此类似，攻击者B、攻击者C可以采用类似的攻击方式(如：分别佩戴镜框b、镜框c)被电子设备分别识别成受害者V2、受害者V3。其中，上述的一种识别应用场景包括：一个佩戴有对抗样本物品的攻击者可以对应多个受害者，对应的这多个受害者是深度学习网络在生成对应的对抗样本物品时就已经确定了的。如图3所示，以对抗样本物品为对抗样本眼镜框为例进行示意，在生成对抗样本眼镜框(记为镜框a1)之前，攻击者就可以先确定好受害者(如：受害者V11、受害者V12、受害者V13)以及受害者数量(如：3个)等需求，之后，根据攻击者的上述需求，深度学习网络采用特定的算法生成对应的镜框a1，攻击者佩戴上该镜框a1之后，就可以被电子设备识别成受害者V11、受害者V12或受害者V13。类似的，上述的一种识别应用场景还可以包括：多个攻击者通过佩戴同一个对抗样本物品也可以识别成同一个受害者。如图4所示，以对抗样本物品为对抗样本眼镜框为例进行示意，假设攻击者数量为3，即攻击者A11、攻击者A12、攻击者A13分别佩戴上对抗样本眼镜框(记为镜框a2)，深度学习网络就可以根据攻击者的需求将佩戴有镜框a2的攻击者A11、攻击者A12、攻击者A13均确定为受害者V21。那么，无论是攻击者A11、攻击者A12、攻击者A13中的哪一个佩戴上镜框a2，都可以被电子设备识别为受害者V21。

以上这种对抗样本攻击的方式给图像识别***带来了很大的威胁并对识别结果造成了极大的影响(如：错误识别)，这种影响有可能会造成严重后果(如：识别成受害者并完成线上支付，造成受害者财务损失；或，识别成受害者并解锁了受害者的手机，造成受害者的隐私被泄露等)。为避免这种对抗样本攻击在人脸识别场景中造成的不良影响或严重后果，本申请实施例提供了一种对抗样本的检测方法，这种检测方法可以有效检测到当前时刻采集到的人脸图像是否是对抗样本，从而可以有效防止对抗样本攻击的成功实施。

需要说明的是，本申请实施例提供的对抗样本的检测方法应用于人脸识别场景，该检测方法的实现主体包括电子设备，该电子设备配备有摄像装备(如：摄像头)和显示装备(如：液晶显示屏)，可以是手机、平板电脑、智能手表等智能终端，具体此处对电子设备不做限定。还需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

图5为本申请实施例中对抗样本检测方法的一个示意图，具体实现方式如下：

501、通过摄像装备采集当前时刻的人脸图像。

电子设备可以通过摄像装备采集当前时刻的人脸图像。需要说明的是，摄像装备可以是电子设备上自带的摄像头，也可以是与电子设备物理上分离但是无线连接的摄像头(如：手机没有开启自带的摄像头、手机自带的摄像头被损坏或该手机没有自带的摄像头，但存在与该手机进行了蓝牙连接的手持摄像头)，具体此处对摄像装备不做限定。还需要说明的是，电子设备通过摄像装备采集当前时刻的人脸图像可以有多种形式，例如，可以是响应于对某个操作指令的触发，即某个操作指令的执行会触发电子设备通过摄像头采集当前时刻的人脸图像以电子设备为手机为例进行说明：该操作指令可以是用户使用手机向商家提供的支付二维码(如：微信或支付宝的支付二维码)进行扫码时的支付操作，为保证支付环境安全，该支付操作需要对用户的身份进行验证，该操作指令还可以是用户对手机上某应用(如：网上银行、话费查询等)进行的开启操作，为保证信息安全，该开启操作也需要对用户的身份进行验证。在本申请实施例中，对操作指令的形式不做限定。用户对操作指令的执行会触发电子设备对用户的身份进行验证，其中验证方式之一就是对当前时刻获取到的人脸图像进行识别，即用户上述的支付操作、开启操作等将会触发电子设备开启摄像头对该用户的人脸进行拍摄，得到当前时刻的人脸图像。需要说明的是，电子设备对用户的人脸进行拍摄，可以是直接拍摄的图片，也可以是拍摄的录像，再从该录像中截取出图片，具体此处对当前时刻的人脸图像的获取方式不做限定。电子设备通过摄像装备采集当前时刻的人脸图像除了可以是响应于对某个操作指令的触发之外，还可以是摄像装备始终处于开启状态，只要摄像装备捕捉到当前时刻存在人脸图像，电子设备就采集该人脸图像。在本申请实施例中，对电子设备采集当前时刻的人脸图像的形式不做限定。

502、判断人脸区域范围内是否存在遮挡物，若是，则执行步骤503，若否，则执行步骤504。

电子设备通过摄像装备获取到当前时刻的人脸图像之后，将对该人脸图像中人脸区域范围内进行遮挡物的检测，即检测人脸区域范围内是否存在如眼镜、眼镜框、贴纸等人为佩戴的遮挡物。如果该人脸区域范围内存在遮挡物，则执行步骤503，若该人脸区域范围内不存在遮挡物，则执行步骤504。

503、判断该遮挡物是否为对抗样本干扰物，若是，则执行步骤505，若否，则执行步骤504。

若电子设备检测到上述人脸图像中人脸区域范围内存在遮挡物，则电子设备进一步判断该遮挡物是否是对抗样本干扰物。若该遮挡物是对抗样本干扰物，则执行步骤505，若该遮挡物不是对抗样本干扰物，则执行步骤504。

需要说明的是，本申请实施例中，对抗样本干扰物是指以实施对抗样本攻击为目的、由深度学习网络训练而得的具有对抗样本属性的干扰物，如对抗样本眼镜框(如图2、图3、图4中所述的镜框a、镜框b、镜框c、镜框a1、镜框a2)、对应样本贴纸等，具体此处对对抗样本干扰物的形式不做限定。

在人脸识别场景下对抗样本攻击形式中，由于对抗样本干扰物具有以下属性特点：小范围内像素点的像素值变化巨大且该变化无规律，其在视觉上的表现为色彩艳丽。基于此，在本申请的一些实施方式中，电子设备可以通过但不限于采用图片熵值计算的方法对遮挡物像素点的像素值进行分析，以判断该遮挡物是否为对抗样本遮挡物。在具体介绍此方法的详细步骤之前，先介绍在本申请实施例中可能出现的一些概念。

首先，介绍色彩空间的概念，色彩是人的眼睛对于不同频率光线的不同感受，色彩既是客观存在的(不同频率的光)又是主观感知的，有认识差异。基于此，为了更为客观、准确的对色彩进行描述，就出现了色彩空间(也可称为色域)的概念。通过建立色彩模型，以一维、二维、三维甚至四维空间坐标来表示某一色彩，这种坐标***所能定义的色彩范围即色彩空间。目前经常用到的色彩空间的类型主要有三原色光模式(RGB)、印刷四分色模式(CMYK)、颜色模型(Lab)等。为便于描述，在本申请实施例中，以色彩空间为三原色光模式为例进行说明。三原色光模式，又可称为RGB颜色模型或红绿蓝颜色模型，是一种加色模型，将红色(Red)、绿色(Green)、蓝色(Blue)这三种原色的色光以不同的比例相加，以产生多种多样的色光，这些多种多样的色光就定义了一个色彩空间，如果将红色的量定义为X坐标轴、绿色的量定义为Y坐标轴、蓝色的量定义为Z坐标轴(红色、绿色、蓝色的量与X坐标轴、Y坐标轴、Z坐标轴分别唯一对应即可，这里只是示意其中一种定义方式，具体不做限定)，这样就会得到一个三维空间，每种可能的颜色在这个三维空间中都有唯一的一个位置。RGB颜色模型根据实际使用设备***能力的不同，有各种不同的实现方法。其中，最常用的是红色、绿色、蓝色中每个颜色通道有256色级(色级的取值范围为0-255的整数)。基于这样的RGB颜色模型的色彩空间就可以表现为256×256×256≈1670万色，一些实现方法还可以采用每种原色更多的色级(如512色级)，这样就能在相同范围内实现更高更精确的色彩密度。其中，每一个色级即为图片中对应位置的像素点的像素值。为便于描述理解，以每种原色的色级为256为例进行说明：

假设红色的量定义为X坐标轴、绿色的量定义为Y坐标轴、蓝色的量定义为Z坐标轴，那么在一个图像中，像素值为RGB(255,0,0)的色彩表现为红色，像素值为RGB(0,255，0)的色彩表现为绿色，像素值为RGB(0,0,255)的色彩表现为蓝色。当在一个图像中，像素值在各个坐标上的取值至少有两个不相同时，则该图像就表现为彩色图像；当像素值在各个坐标上的取值都相同时，则该图像就表现为灰度图像，例如，当三原色中每种原色的色级都为255时，则该像素值RGB(255,255,255)的色彩表现就为白色，当三原色中每种原色的色级都为0时，则该像素值RGB(0,0,0)的色彩表现就为黑色，当三原色中每种原色的色级都相等时，则该像素值RGB(m,m,m)的色彩表现就为灰色，m为整数且0＜m＜255，例如像素值RGB(100,100,100)就代表灰度为100，像素值RGB(50,50,50)就代表灰度为50，灰度是指黑白图像中每一个像素点的颜色深度。

其次，介绍图片熵值的概念，简单来说，熵就是用来描述混乱的程度，最早是物理学中用来描述物质混乱的程度，后来逐渐引申到信息学、图像学等领域，用来对不确定性的一种度量。信息量越大，不确定性就越小，熵也就越大；反之，信息量越小，不确定性越大，熵也越小。根据熵的特性，就可以通过计算熵值来判断一个事件的随机性及无序程度。基于此，在本申请实施例中，就引入图片熵值的概念，图片熵值用于反应图像中像素值的分布特征，图片熵值越大，那么对应的图像色彩就越艳丽，图像所含信息量也越大。

下面，详细介绍本申请实施例中电子设备如何通过图片熵值计算的方法来判断遮挡物是否为对抗样本遮挡物，判断的步骤可以包括：

a、对遮挡物中所有像素点的像素值进行计算，得到该遮挡物的图片熵值；

电子设备可以通过相应的熵值计算公式来对遮挡物中所有像素点的像素值进行计算，以得到该遮挡物的图片熵值。包括但不限行采用如下方式：

1)若该遮挡物为灰色图片，则该遮挡物中所有像素点的像素值在RGB颜色模型中每一个坐标轴上的取值都是相同的。那么对该遮挡物的图片熵值的计算可以通过但不限于熵值计算公式

来得到，其中，i为遮挡物中每一个像素点的像素值，p_i为像素值i出现的概率，H就为该遮挡物的图片熵值。图6(当遮挡物为灰色图片时)示意了几种不同像素点分布的图片熵值H的计算结果：当遮挡物中所有像素点的像素值在RGB颜色模型中的取值均为RGB(255，255，255)或取值均为RGB(0，0，0)时，则根据上述熵值计算公式得到该遮挡物的图片熵值H1＝H2＝0；当遮挡物中像素点的像素值分布如图6中右边两种分布形式时，根据上述熵值计算公式得到的遮挡物图片熵值分别为H3＝1.0413和H4＝1.3476。

2)若该遮挡物为彩色图片，将该遮挡物中所有像素点的像素值在色彩空间分解为第一向量像素值(也可称为X轴像素值)、第二向量像素值(也可称为Y轴像素值)和第三向量像素值(也可称为Z轴像素值)，得到第一向量像素值的第一集合、第二向量像素值的第二集合和到第三向量像素值的第三集合；之后，根据熵值计算公式分别计算第一集合的第一图片熵值、第二集合的第二图片熵值和第三集合的第三图片熵值；最后，对第一图片熵值、所述第二图片熵值和所述第三图片熵值取算术平均值，并将该算术平均值作为该遮挡物的图片熵值。

需要说明的是，在本申请的一些实施方式中，在每一个坐标轴上的图片熵值也可以根据上述计算灰色图片时采用的熵值计算公式

计算得到。即当计算X坐标轴上的第一图片熵值时，i就为第一集合中每一个像素值的取值，p_i就为i出现的概率，H就为第一图片熵值；当计算Y坐标轴上的第二图片熵值时，i就为第二集合中每一个像素值的取值，p_i就为i出现的概率，H就为第二图片熵值；当计算Z坐标轴上的第三图片熵值时，i就为第三集合中每一个像素值的取值，p_i就为i出现的概率，H就为第三图片熵值。

为便于理解，以遮挡物中像素点的个数为4为例进行说明，假设该遮挡物中这4个像素点的像素值在RGB颜色模型中分别为RGB1(120，50，80)、RGB2(30，90，40)、RGB3(70，140，200)、RGB4(100，160，20)，那么电子设备将会将这4个像素点的像素值分别分解为(120，0，0)、(0，50，0)、(0，0，80)，(30，0，0)、(0，90，0)、(0，0，40)，(70，0，0)、(0，140，0)、(0，0，200)，(100，0，0)、(0，160，0)、(0，0，20)。那么得到的第一向量像素值的第一集合就为{(120，0，0)、(30，0，0)、(70，0，0)、(100，0，0)}，第二向量像素值的第二集合就为{(0，50，0)、(0，90，0)、(0，140，0)、(0，160，0)}，第三向量像素值的第三集合就为{(0，0，80)、(0，0，40)、(0，0，200)、(0，0，20)}。之后，电子设备就可以根据熵值计算公式

分别计算每一个集合中的图片熵值，从而得到第一集合的第一图片熵值Hx、第二集合的第二图片熵值Hy、第三集合的第三图片熵值Hz。最后，可以将H＝(Hx+Hy+Hz)/3作为该遮挡物的图片熵值。

b、判断该图片熵值是否大于预设阈值；

之后，用计算出的遮挡物的图片熵值与预先设定好的阈值(即预设阈值)进行比较，以判断遮挡物是否为对抗样本干扰物。需要说明的是，本申请实施例中的预设阈值可以通过多种方式得到，可以是用户根据经验值设定的，也可以是基于深度学***均值，得到的算术平均值就可作为预设阈值。

c、若该图片熵值大于预设阈值，则确定该遮挡物为对抗样本干扰物。

若电子设备确定遮挡物的图片熵值大于预设阈值，则确定该遮挡物为对抗样本干扰物。

504、对所述人脸图像进行识别，得到识别结果。

若电子设备检测到上述人脸图像中人脸区域范围内不存在遮挡物，或，电子设备检测到上述人脸图像中人脸区域范围内存在的遮挡物不是对抗样本干扰物(即虽然有遮挡物或存在普通遮挡物(如：仅佩戴普通的眼镜、创口贴、口罩等)，但不存在对抗样本攻击的情况，例如：在步骤503中，若电子设备确定遮挡物的图片熵值小于或等于阈值，则确定该遮挡物为普通遮挡物)，说明没有遭受到对抗样本攻击，那么电子设备则直接对该人脸图像进行识别，得到识别结果。目前对于现有的电子设备的人脸识别***，正常的小范围的面部遮挡(如戴眼镜、贴创口贴等)并不会影响人脸识别***的识别结果。以用户使用手机向商家提供的支付二维码进行扫码时的支付操作为例：手机获取到该人脸图像，将会与认证过的能够开启该支付操作的目标人脸图像进行比对，若比对通过(即该人脸图像与目标人脸图像一致，为同一人)，则说明支付环境安全，手机即可完成上述支付操作；若比对不通过(即该人脸图像与目标人脸图像不一致，不是同一人)，则说明支付环境不安全，手机即可中止上述支付操作。

505、确定所述人脸图像为对抗样本。

若电子设备检测到上述人脸图像中人脸区域范围内存在遮挡物，且该遮挡物是对抗样本干扰物，电子设备将确定该人脸图像为对抗样本，说明该电子设备正遭受对抗样本攻击。

506、对所述对抗样本进行处理。

优选的，在本申请的一些实施方式中，当电子设备确定该人脸图像为对抗样本之后，还可以进一步对该对抗样本进行处理，处理的目的是为了消除对抗样本干扰物的影响，可以是直接去除该对抗样本干扰物，也可以是将该对抗样本干扰物转变为普通遮挡物，具体此处不作限定。在本申请的一些实施方式中，可以通过如下方式进行处理：

a、首先确定一个目标像素值，并将对抗样本干扰物中所有像素点的像素值都修改成目标像素值。

需要说明的是，本申请实施例中确定目标像素值也可以有多种方式，包括但不限于：

在像素值的取值范围内(即0-255中的任意整数)任意选取一个像素值作为目标像素值；

或，

取对抗样本干扰物中任意一个像素点A的像素值(即目标像素值)，然后将对抗样本干扰物内其他所有的像素点的像素值都修改为与该像素点A相同的像素值；

或，

取该人脸图像中人脸区域范围内任意一个像素点B的像素值(即目标像素值)，然后将对抗样本干扰物内所有的像素点的像素值都修改为与该像素点B相同的像素值；

或，

对该人脸图像中人脸区域范围内所有像素点的像素值取算术平均值C(即目标像素值)，然后将对抗样本干扰物内所有的像素点的像素值都修改为与该算术平均值C相同的像素值。

b、将对抗样本干扰物中所有像素点的像素值进行代数线性变换。

将对抗样本干扰物中所有像素点的像素值x做代数线性变换处理。例如，将对抗样本干扰物中所有像素点的像素值修改为(255-x)或0.5*(255-x)，具体此处对代数线性变换处理的形式不做限定。

507、将处理后的对抗样本进行识别，得到识别结果。

当对对抗样本干扰物进行上述处理之后，上述人脸图像中人脸区域范围内将不存在遮挡物或存在的遮挡物仅仅是普通遮挡物，那么电子设备则可以直接对该人脸图像进行识别，得到识别结果。具体的识别方式与上述步骤504类似，此处不予赘述。若对处理后的对抗样本识别后，若得到的识别结果是电子设备的主人，则说明上述是误触发；若得到的识别结果不是电子设备的主人，优选的，在本申请的一些实施方式中，若电子设备确定该人脸图像是真正的对抗样本(即识别结果不是电子设备的主人)，那么该电子设备可以进一步生成提醒通知，该提醒通知用于提示相关用户该电子设备正遭受对抗样本攻击，例如，相关用户可以是电子设备的主人(即受害者)，那么提醒通知就可以提醒受害者及时进行处理(如：修改支付密码、报警)，相关用户也可以是与电子设备对应的服务商家(如：攻击者使用受害者的手机在人人乐超市进行线上支付，那么对应的服务商家就是人人乐超市的收银平台)。提醒通知要实现其提醒功能，则有多种实现方式，包括但不限于如下几种提醒方式(为便于理解，以电子设备为手机为例进行说明)：

a、该提醒通知在手机上以语音播报、警铃等形式进行提醒。

提醒通知的这种提醒方式主要是为了引起手机周围的用户(如：正在收银的服务人员、在攻击者周围的其他顾客等)的注意，使得攻击者忌惮从而主动放弃此次对抗样本攻击或使得周围的用户对攻击者的此次对抗样本攻击进行干预使其停止攻击。如图7所示，当手机确定通过手机的摄像头采集到的当前时刻的人脸图像是对抗样本，那么手机可以语音播放“正遭受对抗样本攻击，请停止支付！”或类似提醒内容(如：“本手机疑似被盗，使用者请停止支付！”、“本手机正在被非法使用，快抓坏蛋！”等)，具体此处对语音播放的文字内容的具体形式不做限定。此外，手机除了可以是语音播放相关内容进行提醒之外，还可以是播放警铃，以起到类似的提醒作用，警铃的表现形式也可以是多种，如图8所示：手机可以发出“嘟！嘟嘟！嘟！嘟嘟！”的警铃声，也可以发出“呜唔！呜唔！呜唔！”的警铃声，具体此处对警铃的表现形式不做限定。

b、手机将该提醒通知发送至对应的服务器。

手机生成的提醒通知还可以进一步发送至与该手机对应的服务器(如：正在进行线上支付的商家平台)，如图9所示，当攻击者正在使用线上支付向商家平台支付款项的过程中，手机检测到当前时刻拍摄的攻击者的人脸图像是对抗样本时，那么手机将会向对应的收款商家平台发送提醒通知，提醒商家此次支付过程不安全，商家平台收到该提醒通知，就可以主动终止该支付过程，以保证受害者的财务安全。

c、手机将该提醒通知发送至与该手机关联的其他目标电子设备。

该手机生成的提醒通知还可以进一步发送至与该手机关联的其他目标电子设备。如图10所示，若正在遭受对抗样本攻击的手机a的主人是受害者B，受害者B除了拥有该手机a之外，还拥有手机b、平板电脑c、智能手表d，受害者B将手机a、手机b、平板电脑c、智能手表d已提前进行了关联(如：之前已经注册了统一的ID账号，内容可以共享)，那么手机b、平板电脑c、智能手表d就是本申请实施例中与手机a关联的其他目标电子设备。若攻击者正在对受害者B的手机a实行对抗样本攻击，那么手机a将会生成一个提醒通知(例如：该提醒通知可以是“手机a正遭受对抗样本攻击，请干预！”)，该提醒通知会被发送至手机b、平板电脑c或智能手表d中的至少一个，这样受害者B若正佩戴着智能手表d，或，正在使用手机b或平板电脑c，那受害者B就可以及时知道自己的手机a正在被攻击者非法使用，受害者B就可以及时进行干预，如：在其他目标电子设备上更改支付密码、向相关部门报警等。

本申请实施例可以根据上述检测方法的示例对电子设备进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

例如，图11示出了一种电子设备的示意图，本申请实施例提供的电子设备可以包括：

采集单元1101，用于通过摄像装备采集当前时刻的人脸图像；

判断单元1102，用于判断遮挡物是否为对抗样本干扰物，该遮挡物位于该人脸图像中人脸区域范围内；

确定单元1103，用于若该遮挡物为该对抗样本干扰物，则确定该人脸图像为对抗样本。

优选的，在本申请的一些实施方式中，判断单元1102还可以包括更多的子单元，以实现更多功能。如图12所示，为本申请实施例提供的电子设备的另一示意图，该电子设备具体包括：采集单元1201、判断单元1202、确定单元1203。其中，采集单元1201、判断单元1202、确定单元1203与图11中的采集单元1101、判断单元1102、确定单元1103所实现的功能类似，此处不予赘述。在本申请实施例中，判断单元1202还可以进一步包括：

计算子单元12021，用于对该遮挡物中所有像素点的像素值进行计算，得到该遮挡物的图片熵值；

判断子单元12022，用于判断该图片熵值是否大于预设阈值，该预设阈值根据第一预设方式确定；

第一确定子单元12023，用于若该图片熵值大于该预设阈值，则确定该遮挡物为该对抗样本干扰物。

优选的，在本申请实施例中，判断单元1202还可以进一步包括第二确定子单元12024，具体用于：若该图片熵值小于或等于该预设阈值，则确定该遮挡物为普通遮挡物。

优选的，该第一预设方式可以包括：首先，获取M个参考人脸图像，该参考人脸图像为人脸区域范围内不存在遮挡物的人脸图像，其中，M≥1；之后，对该M个参考人脸图像中的目标参考人脸图像中所有像素点的像素值进行计算，得到该目标参考人脸图像的目标图片熵值；最后，确定与该M个参考人脸图像分别对应的M个目标图片熵值的算术平均值为该预设阈值。

优选的，在本申请的一些实施方式中，计算子单元12021具体还可以用于：

将该遮挡物中所有像素点的像素值在色彩空间分解为第一向量像素值、第二向量像素值和第三向量像素值，得到第一向量像素值的第一集合、第二向量像素值的第二集合和到第三向量像素值的第三集合；并根据熵值计算公式分别计算该第一集合的第一图片熵值、该第二集合的第二图片熵值和该第三集合的第三图片熵值；之后，确定该第一图片熵值、该第二图片熵值和该第三图片熵值的算术平均值为该遮挡物的图片熵值。

优选的，在本申请的一些实施方式中，熵值计算公式可以包括：

其中，i为该第一集合、该第二集合或该第三集合中每一个元素的取值，p_i为该i出现的概率，H为该第一图片熵值、该第二图片熵值或该第三图片熵值。

优选的，在本申请的一些实施方式中，电子设备还可以包括更多的单元以实现更多功能，例如，当判断单元1202确定遮挡物为对抗样本干扰物，则电子设备还可以进一步包括：

处理单元1204，用于根据第二预设方式处理该对抗样本；

识别单元1205，用于将处理后的对抗样本进行识别，得到识别结果。

优选的，在本申请实施例中，若判断单元1202还进一步包括了第二确定子单元12024，则该识别单元1205还可以具体用于对该普通遮挡物进行识别，得到识别结果。

优选的，上述第二预设方式可以包括：确定目标像素值，并将该对抗样本干扰物中所有像素点的像素值修改为该目标像素值；或，将该对抗样本干扰物中所有像素点的像素值进行代数线性变换。

优选的，确定目标像素值也可以包括以下几种方式：

1)在像素值的取值范围内任意选取一个像素值作为该目标像素值；

2)确定该对抗样本干扰物中任意一个像素点的像素值为该目标像素值；

3)确定该人脸区域范围内任意一个像素点的像素值为该目标像素值；

4)确定该人脸区域范围内所有像素点的像素值的算术平均值为该目标像素值。

优选的，在本申请的一些实施方式中，在确定单元1203确定人脸图像为对抗样本之后，电子设备还可以进一步包括：

生成单元1206，用于生成提醒通知；

播报单元1207，用于语音播报该提醒通知；

和/或，

发送单元1208，用于向对应的服务器和/或向关联的目标电子设备发送该提醒通知。

图11以及图12对应的实施例中的电子设备具体的功能以及结构用于实现前述图4至图10中由电子设备进行处理的步骤，具体此处不予赘述。

如图13所示，为本申请实施例电子设备的另一示意图。为便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该电子设备可以包括手机、平板电脑、智能手表、个人电脑等。该电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像装备193(也可以称为摄像头193)，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

本领域技术人员可以理解的是，图13中示出的电子设备100的结构并不构成对电子设备100的具体限定，在本申请的另一些实施例中，可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

下面结合图13对电子设备100的各个构成部件进行具体的介绍：

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了***的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

I2C接口是一种双向同步串行总线，包括一根串行数据线(serial data line，SDA)和一根串行时钟线(derail clock line，SCL)。在一些实施例中，处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K，充电器，闪光灯，摄像头193等。例如：处理器110可以通过I2C接口耦合触摸传感器180K，使处理器110与触摸传感器180K通过I2C总线接口通信，实现电子设备100的触摸功能。类似的，在本申请实施例中，处理器110就可以通过I2C接口耦合摄像头193，若摄像头采集到当前时刻的人脸图像，摄像头就可以通过I2C总线接口将采集到的上述人脸图像传输给处理器110进行处理。

I2S接口可以用于音频通信。在一些实施例中，处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合，实现处理器110与音频模块170之间的通信。在一些实施例中，音频模块170还可以通过I2S接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。

PCM接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中，音频模块170也可以通过PCM接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。在本申请实施例的一些实现方式中，若电子设备100正在遭受对抗样本攻击，处理器110会生成提醒通知，若本申请实施例中的处理器110通过I2S总线接口或PCM总线接口与音频模块170进行了耦合，那么该提醒通知就可以被发送至音频模块170。

UART接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，UART接口通常被用于连接处理器110与无线通信模块160。例如：处理器110通过UART接口与无线通信模块160中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块170可以通过UART接口向无线通信模块160传递音频信号，实现通过蓝牙耳机播放音乐的功能。

MIPI接口可以被用于连接处理器110与显示屏194，摄像头193等***器件。MIPI接口包括摄像头串行接口(camera serial interface，CSI)，显示屏串行接口(displayserial interface，DSI)等。在一些实施例中，处理器110和摄像头193通过CSI接口通信，实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信，实现电子设备100的显示功能。因此，在本申请实施例中，处理器110除了可以通过I2C接口耦合摄像头193，还可以通过CSI接口与摄像头193进行通信，也就是说，若摄像头采集到当前时刻的人脸图像，摄像头不仅可以通过I2C总线接口将采集到的上述人脸图像传输给处理器110进行处理，也可以通过CSI接口将采集到的人脸图像传输给处理器110进行处理。

GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，GPIO接口可以用于连接处理器110与摄像头193，显示屏194，无线通信模块160，音频模块170，传感器模块180等。GPIO接口还可以被配置为I2C接口，I2S接口，UART接口，MIPI接口等。

USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电，也可以用于电子设备100与***设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如AR设备等。

可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。

电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。

电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，在本申请实施例中，声音信号就是提醒通知(如：语音播报的“正遭受对抗样本攻击，请停止支付！”或警铃声)或通过显示屏194显示图像或视频(如本申请实施例中的当前时刻的人脸图像或人脸视频)。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。

无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星***(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。在本申请实施例中，处理器就可以将生成的提醒通知通过移动通信模块150及天线1发送至对应的服务器，或，发送至与其关联的其他目标电子设备。所述无线通信技术可以包括全球移动通讯***(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(code division multipleaccess，CDMA)，宽带码分多址(wideband code division multiple access，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(longterm evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位***(global positioning system，GPS)，全球导航卫星***(global navigationsatellite system，GLONASS)，北斗卫星导航***(beidou navigation satellitesystem，BDS)，准天顶卫星***(quasi-zenith satellite system，QZSS)和/或星基增强***(satellite based augmentation systems，SBAS)。

电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，例如，在本申请实施例中，若电子设备100通过摄像头193拍摄的是当前时刻的人脸视频，那么就可以通过GPU对该人脸视频进行处理，从当前时刻的人脸视频中提取出人脸图像。连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等，如可以用于显示本申请实施例中摄像头拍摄当前时刻的人脸视频或人脸图像。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emitting diode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organiclight emitting diode的，AMOLED)，柔性发光二极管(flex light-emitting diode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot light emittingdiodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。

电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能，在本申请实施例中，就是通过上述ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等获取到当前时刻的人脸图像。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频，如本申请实施例中当前时刻的人脸图像或人脸视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作***，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。处理器110通过运行存储在内部存储器121的指令，和/或存储在设置于处理器中的存储器的指令，执行电子设备100的各种功能应用以及数据处理。

电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等，在本申请实施例中，就是实现了提醒通知的语音播报或播放警铃声。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。

扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐，或收听免提通话。

受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时，可以通过将受话器170B靠近人耳接听语音。

麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中，电子设备100可以设置两个麦克风170C，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备100还可以设置三个，四个或更多麦克风170C，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。

耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA)标准接口。

压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。压力传感器180A

的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A，电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194，电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。

陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器180B检测电子设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备100的抖动，实现防抖。陀螺仪传感器180B还可以用于导航，体感游戏场景。

气压传感器180C用于测量气压。在一些实施例中，电子设备100通过气压传感器180C测得的气压值计算海拔高度，辅助定位和导航。

磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中，当电子设备100是翻盖机时，电子设备100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态，设置翻盖自动解锁等特性。

加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。

距离传感器180F，用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，电子设备100可以利用距离传感器180F测距以实现快速对焦。

接近光传感器180G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定电子设备100附近有物体。当检测到不充分的反射光时，电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180G检测用户手持电子设备100贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式，口袋模式自动解锁与锁屏。

环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合，检测电子设备100是否在口袋里，以防误触。

指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。

温度传感器180J用于检测温度。在一些实施例中，电子设备100利用温度传感器180J检测的温度，执行温度处理策略。例如，当温度传感器180J上报的温度超过阈值，电子设备100执行降低位于温度传感器180J附近的处理器的性能，以便降低功耗实施热保护。在另一些实施例中，当温度低于另一阈值时，电子设备100对电池142加热，以避免低温导致电子设备100异常关机。在其他一些实施例中，当温度低于又一阈值时，电子设备100对电池142的输出电压执行升压，以避免低温导致的异常关机。

触摸传感器180K，也称“触控器件”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于电子设备100的表面，与显示屏194所处的位置不同。

骨传导传感器180M可以获取振动信号。在一些实施例中，骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏，接收血压跳动信号。在一些实施例中，骨传导传感器180M也可以设置于耳机中，结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号，解析出语音信号，实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息，实现心率检测功能。

按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。

马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。

指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

SIM卡接口195用于连接SIM卡。SIM卡可以通过***SIM卡接口195，或从SIM卡接口195拔出，实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口，N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡，Micro SIM卡，SIM卡等。同一个SIM卡接口195可以同时***多张卡。所述多张卡的类型可以相同，也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，电子设备100采用eSIM，即：嵌入式SIM卡。eSIM卡可以嵌在电子设备100中，不能和电子设备100分离。

图13对应的实施例中的电子设备100具体的功能以及结构用于实现前述图4至图10中由电子设备进行处理的步骤，具体此处不予赘述。

电子设备100的软件***可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本申请实施例以分层架构的Android***为例，示例性说明电子设备100的软件结构。

图14是本申请实施例的电子设备100的软件结构框图。

分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android***分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和***库，以及内核层。

应用程序层可以包括一系列应用程序包。

如图14所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。

应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。

如图14所示，应用程序框架层可以包括窗口管理器，内容提供器，视图***，电话管理器，资源管理器，通知管理器等。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。

内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。在本申请实施例中，数据就可以包括摄像头采集的当前时刻的人脸图像(包括直接拍摄到的人脸图像或从人脸视频中截取的人脸图像)、提醒通知等。

视图***包括可视控件，例如显示文字的控件，显示图片的控件等。视图***可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通，挂断等)。

资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在***顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。

Android Runtime包括核心库和虚拟机。Android runtime负责安卓***的调度和管理。

核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

***库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。

表面管理器用于对显示子***进行管理，并且为多个应用程序提供了2D和3D图层的融合。

媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。

三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。

2D图形引擎是2D绘图的绘图引擎。

内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。

下面结合本申请实施例中电子设备通过摄像头采集当前时人脸图像的场景，示例性说明电子设备100软件以及硬件的工作流程。

当触摸传感器180K接收到触摸操作，相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标，触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件，识别该输入事件所对应的控件。以该触摸操作是触摸单击操作，该单击操作所对应的控件为相机应用图标的控件为例，相机应用调用应用框架层的接口，启动相机应用，进而通过调用内核层启动摄像头驱动，通过摄像头193捕获当前时刻的人脸图像(或捕获当前时刻的人脸视频)。

上述图4至图10对应的实施例中电子设备的软件结构可以基于图14中所示的软件结构，图14所示的软件结构可以对应的执行上述图4至图10中方法实施例中的步骤，此处不再一一赘述。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。

所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘)等。

Claims (20)

1.一种对抗样本的检测方法，应用于人脸识别场景，其特征在于，包括：

通过摄像装备采集当前时刻的人脸图像；

判断遮挡物是否为对抗样本干扰物，所述遮挡物位于所述人脸图像中人脸区域范围内，判断方式包括：对所述遮挡物中所有像素点的像素值进行计算，得到所述遮挡物的图片熵值，判断所述图片熵值是否大于预设阈值，所述预设阈值根据第一预设方式确定，若所述图片熵值大于所述预设阈值，则确定所述遮挡物为所述对抗样本干扰物；

若所述遮挡物为所述对抗样本干扰物，则确定所述人脸图像为对抗样本。

2.根据权利要求1所述的检测方法，其特征在于，所述对所述遮挡物中所有像素点的像素值进行计算，得到所述遮挡物的图片熵值包括：

将所述遮挡物中所有像素点的像素值在色彩空间分解为第一向量像素值、第二向量像素值和第三向量像素值，得到第一向量像素值的第一集合、第二向量像素值的第二集合和到第三向量像素值的第三集合；

根据熵值计算公式分别计算所述第一集合的第一图片熵值、所述第二集合的第二图片熵值和所述第三集合的第三图片熵值；

确定所述第一图片熵值、所述第二图片熵值和所述第三图片熵值的算术平均值为所述遮挡物的图片熵值。

3.根据权利要求2所述的检测方法，其特征在于，所述熵值计算公式包括：

其中，i为所述第一集合、所述第二集合或所述第三集合中每一个元素的取值，p_i为所述i出现的概率，H为所述第一图片熵值、所述第二图片熵值或所述第三图片熵值。

4.根据权利要求1-3中任一项所述的检测方法，其特征在于，若所述遮挡物为所述对抗样本干扰物，则所述方法还包括：

根据第二预设方式处理所述对抗样本；

将处理后的对抗样本进行识别，得到识别结果。

5.根据权利要求4所述的检测方法，其特征在于，所述第二预设方式包括：

确定目标像素值，并将所述对抗样本干扰物中所有像素点的像素值修改为所述目标像素值；

或，

将所述对抗样本干扰物中所有像素点的像素值进行代数线性变换。

6.根据权利要求5所述的检测方法，其特征在于，所述确定目标像素值包括：

在像素值的取值范围内任意选取一个像素值作为所述目标像素值；

或，

确定所述对抗样本干扰物中任意一个像素点的像素值为所述目标像素值；

或，

确定所述人脸区域范围内任意一个像素点的像素值为所述目标像素值；

或，

确定所述人脸区域范围内所有像素点的像素值的算术平均值为所述目标像素值。

7.根据权利要求1-3中任一项所述的检测方法，其特征在于，在确定所述人脸图像为对抗样本之后，所述方法还包括：

生成提醒通知；

语音播报所述提醒通知；

和/或，

向对应的服务器发送所述提醒通知；

和/或，

向关联的目标电子设备发送所述提醒通知。

8.根据权利要求1-3中任一项所述的检测方法，其特征在于，所述第一预设方式包括：

获取M个参考人脸图像，所述参考人脸图像为人脸区域范围内不存在遮挡物或存在普通遮挡物的人脸图像，其中，M≥1；

对所述M个参考人脸图像中的目标参考人脸图像中所有像素点的像素值进行计算，得到所述目标参考人脸图像的目标图片熵值；

确定与所述M个参考人脸图像分别对应的M个目标图片熵值的算术平均值为所述预设阈值。

9.根据权利要求1所述的检测方法，其特征在于，

若所述图片熵值小于或等于所述预设阈值，则确定所述遮挡物为普通遮挡物；

所述方法还包括：

对所述普通遮挡物进行识别，得到识别结果。

10.一种电子设备，其特征在于，包括：

一个或多个摄像装备；

一个或多个触摸屏；

一个或多个处理器；

一个或多个存储器；

所述一个或多个存储器存储有一个或多个计算机程序，所述一个或多个计算机程序包括指令，当所述指令被所述一个或多个处理器执行时，使得所述电子设备执行以下步骤：

获取当前时刻的人脸图像，所述人脸图像由所述摄像装备采集得到；

判断遮挡物是否为对抗样本干扰物，所述遮挡物位于所述人脸图像中人脸区域范围内，判断方式包括：对所述遮挡物中所有像素点的像素值进行计算，得到所述遮挡物的图片熵值，判断所述图片熵值是否大于预设阈值，所述预设阈值根据第一预设方式确定，若所述图片熵值大于所述预设阈值，则确定所述遮挡物为所述对抗样本干扰物；

若所述遮挡物为所述对抗样本干扰物，则确定所述人脸图像为对抗样本。

11.根据权利要求10所述的电子设备，其特征在于，当所述指令被所述电子设备执行时，使得所述电子设备还执行如下步骤：

将所述遮挡物中所有像素点的像素值在色彩空间分解为第一向量像素值、第二向量像素值和第三向量像素值，得到第一向量像素值的第一集合、第二向量像素值的第二集合和到第三向量像素值的第三集合；

根据熵值计算公式分别计算所述第一集合的第一图片熵值、所述第二集合的第二图片熵值和所述第三集合的第三图片熵值；

确定所述第一图片熵值、所述第二图片熵值和所述第三图片熵值的算术平均值为所述遮挡物的图片熵值。

12.根据权利要求11所述的电子设备，其特征在于，所述熵值计算公式包括：

其中，i为所述第一集合、所述第二集合或所述第三集合中每一个元素的取值，p_i为所述i出现的概率，H为所述第一图片熵值、所述第二图片熵值或所述第三图片熵值。

13.根据权利要求10-12中任一项所述的电子设备，其特征在于，若所述电子设备确定所述遮挡物为所述对抗样本干扰物，则当所述指令被所述电子设备执行时，使得所述电子设备还执行如下步骤：

根据第二预设方式处理所述对抗样本；

将处理后的对抗样本进行识别，得到识别结果。

14.根据权利要求13所述的电子设备，其特征在于，所述第二预设方式包括：

确定目标像素值，并将所述对抗样本干扰物中所有像素点的像素值修改为所述目标像素值；

或，

将所述对抗样本干扰物中所有像素点的像素值进行代数线性变换。

15.根据权利要求14所述的电子设备，其特征在于，所述确定目标像素值包括：

在像素值的取值范围内任意选取一个像素值作为所述目标像素值；

或，

确定所述对抗样本干扰物中任意一个像素点的像素值为所述目标像素值；

或，

确定所述人脸区域范围内任意一个像素点的像素值为所述目标像素值；

或，

确定所述人脸区域范围内所有像素点的像素值的算术平均值为所述目标像素值。

16.根据权利要求10-12中任一项所述的电子设备，其特征在于，在所述电子设备确定所述人脸图像为对抗样本之后，则当所述指令被所述电子设备执行时，使得所述电子设备还执行如下步骤：

生成提醒通知；

语音播报所述提醒通知；

和/或，

向对应的服务器发送所述提醒通知；

和/或，

向关联的目标电子设备发送所述提醒通知。

17.根据权利要求10-12中任一项所述的电子设备，其特征在于，所述第一预设方式包括：

获取M个参考人脸图像，所述参考人脸图像为人脸区域范围内不存在遮挡物或存在普通遮挡物的人脸图像，其中，M≥1；

对所述M个参考人脸图像中的目标参考人脸图像中所有像素点的像素值进行计算，得到所述目标参考人脸图像的目标图片熵值；

确定与所述M个参考人脸图像分别对应的M个目标图片熵值的算术平均值为所述预设阈值。

18.根据权利要求10所述的电子设备，其特征在于，若所述图片熵值小于或等于所述预设阈值，则当所述指令被所述电子设备执行时，使得所述电子设备还执行如下步骤：

确定所述遮挡物为普通遮挡物；

对所述普通遮挡物进行识别，得到识别结果。

19.一种电子设备，其特征在于，包括：

所述电子设备通过硬件或通过硬件执行相应的软件实现如权利要求1-9中任一项所述的检测方法，所述硬件或所述软件包括一个或多个与权利要求1-9任一项所述的检测方法相对应的模块。

20.一种计算机可读存储介质，包括指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1-9中任一项所述的检测方法。

Images