CN114419704B - 对抗样本动态生成方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请涉及一种对抗样本动态生成方法、装置、电子设备及存储介质，所述方法包括：实时获取第一用户的第一人脸图像；对所述第一人脸图像进行目标检测及跟踪，生成用于标注所述第一人脸图像中人脸的候选框；基于所述候选框对投影到全息膜上的目标对抗图案进行调整，生成目标扰动图像；获取目标对抗样本，所述目标对抗样本包含所述第一人脸图像和所述目标扰动图像。本申请可以实现通过全息成像的方式将电子设备中显示的数字世界的对抗扰动图像转换至真实的物理世界中，无需将对抗扰动图像打印出来，有利于提高物理世界对抗样本的攻击成功率，并能够实现对抗图案随人脸的调整进行对应调整，提高获取的目标对抗样本中对抗图案与人脸之间的匹配度。

Description

对抗样本动态生成方法、装置、电子设备及存储介质

技术领域

本申请涉及人工智能技术领域，尤其涉及一种对抗样本动态生成方法、装置、电子设备及存储介质。

背景技术

对抗样本物理世界攻击研究的是在真实的物理世界中部署深度学习模型时，如何在真实的物理世界构建对抗样本的问题。

目前，对抗样本攻防领域中公开的物理世界攻击方法，在现实场景应用时，需要打印特定形式的物理对抗扰动图案(如面具、眼镜、3D面罩等)，将扰动图案从数字世界转移到物理世界。

然而，由于打印机受到色彩限制，无法完全还原数字世界的扰动图案，这会影响攻击成功率，并且，上述攻击方法在攻击过程中不能实时地调整扰动图案，灵活性差。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种对抗样本动态生成方法、装置、电子设备及存储介质。

根据本申请的第一方面，提供了一种对抗样本动态生成方法，应用于电子设备，所述方法包括：

实时获取第一用户的第一人脸图像；

对所述第一人脸图像进行目标检测及跟踪，生成用于标注所述第一人脸图像中人脸的候选框；

基于所述候选框对投影到全息膜上的目标对抗图案进行调整，生成目标扰动图像；

获取目标对抗样本，所述目标对抗样本包含所述第一人脸图像和所述目标扰动图像。

根据本申请的第二方面，提供了一种对抗样本动态生成装置，应用于电子设备，所述装置包括：

收发模块，用于实时获取第一用户的第一人脸图像；

处理模块，用于对所述第一人脸图像进行目标检测及跟踪，生成用于标注所述第一人脸图像中人脸的候选框；以及，

基于所述候选框对投影到全息膜上的目标对抗图案进行调整，生成目标扰动图像；

所述收发模块，还用于获取目标对抗样本，所述目标对抗样本包含所述第一人脸图像和所述目标扰动图像。

根据本申请的第三方面，提供了一种电子设备，包括：处理器，所述处理器用于执行存储于存储器的计算机程序，所述计算机程序被处理器执行时实现第一方面所述的对抗样本动态生成方法。

根据本申请的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的对抗样本动态生成方法。

根据本申请的第五方面，提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行第一方面所述的对抗样本动态生成方法。

本申请实施例提供的技术方案与现有技术相比具有如下优点：

通过实时获取第一用户的第一人脸图像，并对第一人脸图像进行目标检测及跟踪，生成用于标注第一人脸图像中人脸的候选框，接着基于候选框对投影到全息膜上的目标对抗图案进行调整，生成目标扰动图像，进而获取目标对抗样本，目标对抗样本包含第一人脸图像和目标扰动图像。采用上述技术方案，实现了通过全息成像的方式将电子设备中显示的数字世界的对抗扰动图像转换至真实的物理世界中，无需将对抗扰动图像打印出来，从而避免了打印过程中引入的未知损失，避免了打印机无法将数字世界的对抗样本完全还原到物理世界对攻击成功率造成的影响，有利于提高物理世界对抗样本的攻击成功率，并且，通过对第一人脸进行目标检测及跟踪，根据生成的候选框来对应调整投影到全息膜上的对抗图案，实现了对抗图案随第一用户的人脸的调整进行对应调整，能够提高获取的目标对抗样本中对抗图案与第一用户的人脸之间的匹配度，进而有利于进一步提高物理世界对抗样本的攻击成功率。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一实施例提供的基于全息成像的对抗样本物理世界攻击平台的结构示例图；

图2为本申请一实施例提供的对抗样本动态生成方法的流程示意图；

图3为对抗扰动生成过程的示例图；

图4为本申请一实施例提供的攻击目标向全息膜移动的攻击场景示意图；

图5为本申请一实施例提供的攻击时间点的示意图；

图6为本申请一实施例提供的达到允许更换对抗图案的最大次数的攻击过程示意图；

图7为本申请一实施例提供的指定攻击时刻的攻击过程示意图；

图8为本申请一实施例提供的将与热度数据匹配的热度图像作为对抗图案显示在全息膜上的示意图；

图9为本申请一实施例提供的根据用户输入的查询指令获取对抗图案显示在全息膜上的示意图；

图10为本申请一实施例提供的对抗样本动态生成装置的结构示意图；

图11为本申请一实施例提供的电子设备的一种结构示意图。

具体实施方式

下面将参照附图更详细地描述本申请的实施例。虽然附图中显示了本申请的某些实施例，然而应当理解的是，本申请可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本申请。应当理解的是，本申请的附图及实施例仅用于示例性作用，并非用于限制本申请的保护范围。

应当理解，本申请的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本申请的范围在此方面不受限制。

本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本申请中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意，本申请中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

对抗样本物理世界攻击方法是一类将数字世界中生成的对抗样本转换到物理世界中，并仍能保持很强的攻击性的方法。目前，对抗样本攻防领域中公开的物理世界攻击方法，在现实场景应用时，需要打印特定形式的物理对抗扰动图案(如面具、眼镜、3D面罩等)，将扰动图案从数字世界转移到物理世界。

然而，现有的物理世界攻击方法，需要较长时间生成物理世界扰动图案，并且由于生成的扰动图案受到打印机色彩或者制作设备的限制，无法完全还原数字世界的扰动图案，这会影响攻击成功率和攻击速度。再者，现有的攻击方法在攻击过程中不能实时地调整扰动图案以满足对不同攻击目标的实时攻击，灵活性较差。另外，现在的攻击方法只能采用提前生成的固定扰动图案进行攻击，且只能固定位置采集进行攻击样本生成，即现有的物理世界攻击依赖于采集对象、采集设备之间固定不变，难以进行灵活调整。可见，由于攻击过程中无法根据人与采集设备(如摄像头)的相对位置、人脸的角度偏移等因素动态地调整扰动图案，一旦人脸与摄像头的相对位置发生变化、角度变化等，对于采集设备来说，并不能及时的调整到最佳匹配点，最终影响攻击效果。

针对上述问题，本申请提供了一种对抗样本动态生成方法，通过实时获取第一用户的第一人脸图像，并对第一人脸图像进行目标检测及跟踪，生成用于标注第一人脸图像中人脸的候选框，接着基于候选框对投影到全息膜上的目标对抗图案进行调整，生成目标扰动图像，进而获取目标对抗样本，目标对抗样本包含第一人脸图像和目标扰动图像。采用上述技术方案，实现了通过全息成像的方式将电子设备中显示的数字世界的对抗扰动图像转换至真实的物理世界中，无需将对抗扰动图像打印出来，从而避免了打印过程中引入的未知损失，避免了打印机无法将数字世界的对抗样本完全还原到物理世界对攻击成功率造成的影响，有利于提高物理世界对抗样本的攻击成功率，并且，通过全息成像的方式来显示扰动图案进行攻击，避免了打印扰动图案等流程，能够提高攻击速度。再者，通过对第一人脸进行目标检测及跟踪，根据生成的候选框来对应调整投影到全息膜上的对抗图案，实现了对抗图案随第一人脸的调整进行对应调整，能够提高获取的目标对抗样本中对抗图案与第一人脸之间的匹配度，进而有利于进一步提高物理世界对抗样本的攻击成功率。

本申请提供的对抗样本动态生成方法应用于电子设备，电子设备中可以运行人脸识别模型。需要说明的是，本申请实施例仅以生成攻击人脸识别***的物理世界对抗样本作为示例来解释说明本申请，本申请的方案还适用于生成用于攻击其他目标识别模型的对抗样本，比如用于攻击车辆识别模型的物理世界对抗样本等。本申请实施例中，电子设备可以分别与投影仪和图像采集装置连接，电子设备也可以是集成了投影仪、图像采集装置和计算机设备的组合设备，本申请对此不作限制，电子设备的画面通过投影仪显示在全息膜上。

图1为本申请一实施例提供的基于全息成像的对抗样本物理世界攻击平台的结构示例图，如图1所示，电子设备110分别与投影仪120和图像采集装置130连接，通过投影仪120，可以将电子设备110的画面中显示的内容显示在全息膜140上。其中，电子设备110与投影仪120连接后，可以由工作人员调整投影仪的焦距和畸变，以使电子设备110的画面可以清晰地显示在全息膜140上。当电子设备110的画面中显示对抗扰动，人脸出现在全息膜140的另一侧时，图像采集装置130对着全息膜140的方向采集照片，可以抓取到攻击目标与对抗扰动的重叠图像，实现物理世界的对抗攻击。随着攻击目标相对全息膜运动，例如攻击目标相对全息膜左右移动、靠近或远离等运动状态变化，由于相对距离变化对电子设备生成有效对抗样本的算力影响较大，所以本申请以靠近、远离为例来说明攻击目标相对全息膜的运动。

图1所示的物理世界攻击平台制作的对抗样本，具有应用范围广、易收敛、便于调试和攻击成功率高的优点，使用这种物理世界对抗样本可以检测目前市场上在售的各种人脸识别设备和人脸比对云服务API(Application Programming Interface，应用程序接口)是否存在被对抗样本欺骗的风险。

能够理解的是，本申请实施例中采用的图像采集装置可以是独立的图像采集设备，也可以是电子设备中内置的摄像头，本申请对此不作限制。

图2为本申请一实施例提供的对抗样本动态生成方法的流程示意图，该方法可以由本申请实施例提供的对抗样本动态生成装置执行，其中该装置可以采用软件和/或硬件实现，一般可集成在电脑等电子设备中。如图2所示，该对抗样本动态生成方法可以包括以下步骤：

步骤101，实时获取第一用户的第一人脸图像。

其中，第一用户可以是任一用户，第一用户被称为攻击者，也称为攻击目标。

本申请实施例中，图像采集装置可以实时采集第一用户的第一人脸图像。

示例性地，为了节省图像采集装置的电量，可以使图像采集装置处于关闭或者待机状态，电子设备可以通过红外检测等方式，来监测全息膜前方是否出现攻击目标，并在监测到出现攻击目标时，电子设备向图像采集装置发送采集图像的指令，以控制图像采集装置启动。图像采集装置启动后，可以按照预设周期来实时采集图像，并将采集的图像传送给电子设备，电子设备即获取到第一人脸图像。

步骤102，对所述第一人脸图像进行目标检测及跟踪，生成用于标注所述第一人脸图像中人脸的候选框。

本申请实施例中，电子设备获取了第一人脸图像之后，可以采用预设的目标检测跟踪算法对第一人脸图像进行目标检测及跟踪，锁定第一人脸图像中第一用户的人脸，并生成候选框用于标注锁定的人脸。

步骤103，基于所述候选框对投影到全息膜上的目标对抗图案进行调整，生成目标扰动图像。

其中，投影到全息膜上的目标对抗图案可以是基于对抗攻击算法生成的对抗扰动图案，目标对抗图案可以是局部对抗扰动图案，也可以是全局对抗扰动图案，可以根据物理世界攻击需求生成，本申请对此不作限制。

图3为对抗扰动生成过程的示例图，如图3所示，对抗扰动图案的生成过程可以概括为：由原始图像和对抗噪声生成对抗样本，将对抗样本输入至深度学习模型中，获取深度学习模型的输出结果，并根据输出结果计算损失函数，由对抗优化算法最小化损失函数值，经过不断地迭代优化，最终生成对抗噪声。下面以深度学习模型为人脸识别模型为例，说明对抗扰动的生成过程。

首先，可以初始化一个对抗扰动，记为adv，其中，adv∈{X|xi∈X,|x|≤ε,ε∈[1,255]}，并将初始化的对抗扰动添加到训练数据(记为input)上，制作成一张对抗样本，记为inputadv，其中，inputadv＝input+adv，是由训练数据input和对抗扰动adv进行像素叠加得到的。之后，将对抗样本inputadv输入至人脸识别模型中，得到人脸识别模型的输出结果，记为output。接着，使用对抗优化算法来最小化output与受害者的人脸特征向量(记为vim)之间的损失，损失函数记为loss(output,vim)，根据损失函数值不断地进行优化，直至损失函数的值达到预设的阈值时，优化结束，保存当前的对抗扰动，比如可以将生成的对抗扰动保存为png格式，即得到对抗扰动图像。其中，对抗优化算法可以是常用的优化算法，比如快速梯度下降法(Fast Gradient Sign Method，FGSM)、动量迭代快速梯度下降法(Mi-FGSM)、平移不变(Translation-Invariant，TI)动量迭代快速梯度下降法(Ti-Mi-FGSM)，等等。以采用的对抗优化算法为FGSM为例，生成的对抗扰动图案可以表示为adv＝argminFGSM(loss(output,vim))。

本申请实施例中，对于生成的对抗图案，可以将对抗图案通过投影仪投影显示在全息膜上。

示例性地，可以通过电子设备中安装的图像查看软件，比如photoshop，来打开目标对抗图案，以使目标对抗图案显示在电子设备的画面中，再通过投影仪将电子设备画面中显示的目标对抗图案投影显示在全息膜上。另外，工作人员还可以根据全息膜上对抗扰动图像的显示情况，用形变工具继续调整投影造成的形变，以使目标对抗图案在全息膜上达到较好的显示效果。

本申请实施例中，全息膜可以粘贴在透明玻璃上。示例性地，本申请实施例中采用的全息膜，全息膜的背面透明度为88％，正面透明度为80％，具有抗环境光，高对比度的特点，是一种理想的全息影像呈现载体。本实施例采用的全息膜一共有两层，一层不敷胶，一层单面敷胶，在使用时，需要找一块透明玻璃，在透明玻璃表明喷洒少许水，将全息膜不敷胶的层揭去，将敷胶的层贴在透明玻璃上，然后用硬纸板刮去气泡，这样，全息膜就平整地粘贴到透明玻璃上了。接下来找一台投影仪，将画面投射到全息膜上，调整投影仪的焦距和畸变矫正，就可以看到投影仪的画面以全息影像的形式出现在全息膜上了，实现了全息成像。

接着，对于全息膜上显示的目标对抗图案，可以基于标注第一人脸图像中人脸的候选框，对全息膜上显示的目标对抗图案进行调整，生成目标扰动图案。

一种可选的实施方式中，基于候选框对投影到全息膜上的目标对抗图案进行调整，可以包括：根据所述候选框的大小，对投影到全息膜上的目标对抗图案进行缩放。

示例性地，假设第一用户向全息膜所在的位置移动，由于图像采集装置在全息膜的另一侧，随着第一用户的移动，第一用户距离图像采集装置越来越近，第一用户的人脸在第一人脸图像中越来越大，候选框也逐渐增大，则可以将电子设备中显示的目标对抗图案的尺寸进行放大，以匹配增大的人脸。

图4为本申请一实施例提供的攻击目标向全息膜移动的攻击场景示意图。如图4所示，第一用户向全息膜所在的方向移动，当第一用户与全息膜之间的攻击距离为L1时，全息膜上显示的目标对抗图案的面积为S1；第一用户向前移动，当攻击距离为L2(L2<L1)时，全息膜上显示的目标对抗图案的面积为S2(S2>S1)。可见，随着第一用户向前移动，全息膜上显示的目标对抗图案的面积变大，以匹配第一人脸图像中变大的人脸。

需要说明的是，第一用户与全息膜之间的攻击距离应当满足最小攻击距离要求，以保证在攻击生效时，第一用户未移出攻击范围，其中，攻击范围为全息膜的两侧中非图像采集装置所在侧的区域。最小攻击距离可以根据第一用户的移动速度灵活设置。

一种可选的实施方式中，基于候选框对投影到全息膜上的目标对抗图案进行调整，可以包括：根据所述候选框的位置，对所述投影到全息膜上的目标对抗图案进行移动。

示例性地，假设候选框在第一人脸图像中的位置为中间偏左，则控制电子设备画面中显示的目标对抗图案向左移动，以使全息膜上显示的目标对抗图案向左移动。

一种可选的实施方式中，基于候选框对投影到全息膜上的目标对抗图案进行调整，可以包括：在所述候选框中的第一人脸图像非正脸图像时，对所述投影到全息膜上的目标对抗图案进行更换。

示例性地，对于第一人脸图像中由候选框标注出的人脸，当检测到人脸非正脸图像时，比如只检测到一只眼睛、检测到的嘴巴不完整等，可认为该人脸非正脸，则确定第一人脸图像非正脸图像，此时可以更换电子设备中显示的目标对抗图案，以更换全息膜上的目标对抗图案。通过在非正脸时更换目标对抗图案，实现了在第一用户的人脸发生偏移时更换对抗图案，有利于提高人脸与对抗图案的匹配度，进而提高攻击效果。

需要说明的是，本申请实施例提供的上述基于候选框对全息膜上显示的目标对抗图案进行调整的方式，可以择一实施，也可以结合至少两种实施方式共同实施，本申请对此不作限制。

在本申请实施例中，通过基于候选框对投影到全息膜上的目标对抗图案进行调整，实现了投影到全息膜上的对抗图案的灵活、实时地自适应调整，有利于提高攻击效果。

步骤104，获取目标对抗样本。

其中，所述目标对抗样本包含所述第一人脸图像和所述目标扰动图像。

由于采集第一用户的第一人脸图像、生成对抗图案、调整对抗图案并将对抗图案投影至全息膜上，这一整个攻击流程需要一定的时间(记为t)，则可以从采集到第一张第一人脸图像开始计时，每隔一个时间t获取一张目标对抗样本。

示例性地，可以每隔一个时间t控制图像采集装置采集一次包含第一人脸图像和目标扰动图像的图像，电子设备获取图像采集装置采集的该图像作为目标对抗样本。

本实施例的对抗样本动态生成方法，通过实时获取第一用户的第一人脸图像，并对第一人脸图像进行目标检测及跟踪，生成用于标注第一人脸图像中人脸的候选框，接着基于候选框对投影到全息膜上的目标对抗图案进行调整，生成目标扰动图像，进而获取目标对抗样本，目标对抗样本包含第一人脸图像和目标扰动图像。采用上述技术方案，实现了通过全息成像的方式将电子设备中显示的数字世界的对抗扰动图像转换至真实的物理世界中，无需将对抗扰动图像打印出来，从而避免了打印过程中引入的未知损失，避免了打印机无法将数字世界的对抗样本完全还原到物理世界对攻击成功率造成的影响，有利于提高物理世界对抗样本的攻击成功率，并且，通过全息成像的方式来显示扰动图案进行攻击，避免了打印扰动图案等流程，能够提高攻击速度。再者，通过对第一人脸进行目标检测及跟踪，根据生成的候选框来对应调整投影到全息膜上的对抗图案，实现了对抗图案随第一用户的人脸的调整进行对应调整，能够提高获取的目标对抗样本中对抗图案与第一用户的人脸之间的匹配度，进而有利于进一步提高物理世界对抗样本的攻击成功率。

本申请实施例中，可以在攻击开始后，在预设的时间窗口利用该时间窗口对应的目标对抗图案生成对抗样本进行物理攻击，以实现在不同的攻击时刻灵活更换对抗图案。从而，在本申请的一种可选实施方式中，在所述基于所述候选框的属性信息，对投影到全息膜上的对抗图案进行调整之前，所述方法还包括：

在监测到物理攻击开始后开始计时，在目标时间窗口内，获取与所述目标时间窗口对应的目标对抗图案；

将所述目标对抗图案投影显示在所述全息膜上。

示例性地，可以通过监测第一用户与全息膜之间的距离，来判断攻击是否开始。具体地，可以预先设置好攻击开始时对应的攻击目标与全息膜之间的预设距离，当第一用户开始移动时，监测第一用户与全息膜之间的距离变化，当第一用户与全息膜之间的距离达到预设距离时，则确定攻击开始，此时启动计时器开始计时，并获取计时时刻。

本申请实施例中，在监测到物理攻击开始后开始计时，可获取实时的计时时刻，当计时时刻在目标时间窗口内时，则获取与目标时间窗口对应的目标对抗图案，并将获取的目标对抗图案通过投影仪显示在全息膜上。比如，一个时间窗口为2秒～4秒，当计时时刻为2秒时，开始进入该时间窗口，并随着计时时刻的增长一直处于该时间窗口内，直至计时时刻达到4秒后不再与该时间窗口匹配，即计时时刻达到2秒且未达到4秒时，匹配到2秒～4秒的目标时间窗口，则获取2秒～4秒这一时间窗口对应的目标对抗图案显示在全息膜上。由此，通过在攻击开始后，在预设的时间窗口投影显示该时间窗口对应的对抗图案，实现了全息膜上显示的对抗图案的灵活更换。

其中，目标时间窗口为预设的至少一个时间窗口中包含计时时刻的时间窗口。

本申请实施例中，预设的时间窗口为至少一个，预设的不同的时间窗口分别对应的对抗图案可以在监测物理攻击是否开始之前预先设定。

在本申请的一种可选实施方式中，电子设备可以根据攻击目标与全息膜之间的攻击距离及攻击目标的移动速度，确定在攻击过程中允许的更换对抗图案的最大次数，并根据确定的最大次数提醒攻击目标可以输入命令需求的时间窗口，攻击目标可以在不同时间窗口设定不同的攻击命令，电子设备接收攻击目标针对每次攻击设置的对抗图案。从而，本实施例中，在监测物理攻击之前，所述方法还包括：

获取所述第一用户与所述全息膜之间的攻击距离以及所述第一用户的移动速度；

根据所述攻击距离、所述移动速度以及预设的执行单次攻击所需时长，确定允许更换对抗图案的最大次数；

接收所述第一用户针对不同的时间窗口输入的第一攻击命令，所述第一攻击命令包括在对应的时间窗口显示的对抗图案，所述时间窗口的个数根据所述最大次数确定；

所述将所述目标对抗图案投影显示在所述全息膜上，包括：

响应于所述第一攻击命令，根据第一映射关系确定与所述目标时间窗口对应的目标第一预设对抗图案，所述第一映射关系包括多个时间窗口与多个第一预设对抗图案之间的映射关系；

将所述目标第一预设对抗图案投影显示在所述全息膜上。

其中，第一用户与全息膜之间的攻击距离以及第一用户的移动速度，可以通过对采集的不同时刻的第一用户的图像进行分析确定，或者，也可以通过对采集的第一用户的移动视频进行分析确定，本申请对此不作限制。

本申请实施例中，获取了第一用户与全息膜之间的攻击距离以及第一用户的移动速度之后，可以根据攻击距离、移动速度和预设的执行单次攻击所需时长，确定允许更换对抗图案的最大次数。

其中，执行单次攻击所需时长可以根据经验预先设定。通常，采集攻击目标的人脸头像、生成对抗图案、调整对抗图案并将对抗图案投影到全息膜上，这一整个攻击流程需要一定时间t，可以基于该时间t设置执行单次攻击所需时长。比如，可以设置执行单次攻击所需时长等于时间t。

示例性地，允许更换对抗图案的最大次数可以通过如下公式(1)计算得到：

其中，n为允许更换对抗图案的最大次数，L为第一用户与全息膜之间的攻击距离，V为第一用户的移动速度，T为执行单次攻击所需时长。

本申请实施例中，电子设备确定了允许更换对抗图案的最大次数之后，可以基于该最大次数，确定预设的时间窗口的个数，并设置对应的时间窗口，并提示第一用户在各个时间窗口设置对应的第一攻击命令，其中，第一攻击命令包括在对应的时间窗口显示的对抗图案，时间窗口的个数与确定的最大次数一致，单个时间窗口的长度不小于执行单次攻击所需时长，以保证各个时间窗口能够有充足的时间来完成对抗图案的生成及投影显示。进而，电子设备可以接收第一用户针对不同的时间窗口输入的第一攻击命令，并存储每个时间窗口与对应的第一攻击命令中的对抗图案之间的映射关系，得到第一映射关系，以在攻击开始后的计时时刻进入任一时间窗口时，生成该时间窗口对应的对抗图案并投影显示在全息膜上，实现在攻击过程中灵活更换对抗图案，获得包含不同的目标扰动图像的目标对抗样本。

本申请实施例中，在全息膜上投影显示与目标时间窗口对应的目标对抗图案时，响应于第一攻击命令，根据第一映射关系中记录的多个时间窗口与多个第一预设对抗图案之间的映射关系，确定与目标时间窗口对应的目标第一预设对抗图案，生成该目标第一预设对抗图案并投影显示在全息膜上。

在本申请的一种可选实施方式中，还可以边攻击边设置攻击命令。具体地，电子设备确定了允许更换对抗图案的最大次数之后，可以基于该最大次数，设置对应的时间窗口，并在各个时间窗口到来时，提示第一用户在该时间窗口设置对应的第一攻击命令，进而电子设备根据第一用户输入的第一攻击命令生成对应的对抗图案，并在下一时间窗口到来时，提示第一用户输入当前时间窗对应的第一攻击命令，直至时间窗结束。

图5为本申请一实施例提供的攻击时间窗口的示意图，如图5所示，第一用户与全息膜之间的攻击距离为L，第一用户以速度V向全息膜所在的位置移动，根据上述公式(1)，确定允许更换扰动图案的最大次数为n，对应的攻击时间点为t₀,t₁,t₂,…,t_n-1，对应的时间窗口为w₁(即t₀～t₁)、w₂(即t₁～t₂)、w₃(即t₂～t₃)、w₄(即t₃～t₄)…w_n(即t_n-1～t_n)，当第一用户在规定的时间点(t₀,t₁,t₂,…,t_n-1)进行攻击时，才能达到n次的攻击次数。在保证时间窗口的长度不小于执行单次攻击所需时长的前提下，攻击者在上述规定时间点之外的其他时刻进行攻击，则在攻击过程中允许更换对抗图案的次数小于n。

在本实施例中，通过获取第一用户与全息膜之间的攻击距离以及第一用户的移动速度，并根据攻击距离、移动速度和预设的执行单次攻击所需时长，确定允许更换对抗图案的最大次数，并接收第一用户针对不同的时间窗口输入的第一攻击命令，第一攻击命令包括在对应的时间窗口显示的对抗图案，进而在显示目标对抗图案时，依据每个时间窗口与对应的第一攻击命令中的对抗图案之间的映射关系，将确定的目标对抗图案显示在全息膜上，由此，为在攻击过程中根据计时时刻更换不同的对抗图案提供了条件，并且，由用户设置不同时间窗口对应的对抗图案，以实现在不同时间窗口更换对抗图案，能够使得攻击形式丰富多样，在攻击过程中实时调整对抗图案，满足攻击目标在不同时刻的攻击需求，灵活性强。

需要说明的是，本申请实施例中，更换对抗图案的时间间隔可为至少一个时间窗口，具体本申请实施例不对此作限定。

在本申请的一种可选实施方式中，电子设备可以根据攻击目标与全息膜之间的攻击距离及攻击目标的移动速度，确定在攻击过程中允许的最迟攻击时刻，以提示攻击目标在该最迟攻击时刻之前完成攻击。从而，本实施例中，在监测物理攻击之前，所述方法还包括：

获取所述第一用户与所述全息膜之间的攻击距离以及所述第一用户的移动速度；

根据所述攻击距离、所述移动速度以及预设的执行单次攻击所需时长，确定最迟攻击时刻；

接收所述第一用户基于第一提示信息输入的第二攻击命令，所述第二攻击命令包括攻击生效时刻与在所述攻击生效时刻显示的第二预设对抗图案，所述第一提示信息用于提示所述第一用户输入的所述攻击生效时刻不大于所述最迟攻击时刻；

所述将所述目标对抗图案投影显示在所述全息膜上，包括：

响应于所述第二攻击命令，根据第二映射关系确定与所述目标时间窗口对应的目标第二预设对抗图案，所述第二映射关系包括根据所述攻击生效时刻确定的时间窗口与所述第二预设对抗图案之间的映射关系；

将所述目标第二预设对抗图案投影显示在所述全息膜上。

其中，第一用户与全息膜之间的攻击距离以及第一用户的移动速度，可以通过对采集的不同时刻的第一用户的图像进行分析确定，或者，也可以通过对采集的第一用户的移动视频进行分析确定，本申请对此不作限制。

本申请实施例中，获取了第一用户与全息膜之间的攻击距离以及第一用户的移动速度之后，可以根据攻击距离、移动速度和预设的执行单次攻击所需时长，确定最迟攻击时刻。

其中，执行单次攻击所需时长可以根据经验预先设定。通常，采集攻击目标的人脸头像、生成对抗图案、调整对抗图案并将对抗图案投影到全息膜上，这一整个攻击流程需要一定时间t，可以基于该时间t设置执行单次攻击所需时长。比如，可以设置执行单次攻击所需时长等于时间t。

示例性地，最迟攻击时刻可以根据如下公式(2)计算得到。

其中，T₀为允许的最迟攻击时刻，L为第一用户与全息膜之间的攻击距离，V为第一用户的移动速度，T为执行单次攻击所需时长。

本申请实施例中，电子设备确定了最迟攻击时刻之后，可以通过第一提示信息将该最迟攻击时刻提示给第一用户，以提示第一用户在设置攻击的时间点时，所设置的攻击生效时刻不大于(即不能晚于)该最迟攻击时刻。第一用户基于第一提示信息输入第二攻击命令，第二攻击命令包括攻击生效时刻以及在攻击生效时刻显示的第二预设对抗图案。进而，电子设备接收第一用户输入的第二攻击命令，并根据第二攻击命令中的攻击生效时刻确定出对应的时间窗口，存储该时间窗口与第二攻击命令中的第二预设对抗图案之间的映射关系，得到第二映射关系，以在攻击开始后的计时时刻进入确定的时间窗口时，产生该时间窗口对应的第二预设对抗图案并投影显示在全息膜上，由此，实现了由攻击目标设置攻击时间点以及攻击时采用的对抗图案，实现了攻击命令的个性化设置，灵活性强。

示例性地，在根据第一用户输入的攻击生效时刻确定对应的时间窗口时，可以将该攻击生效时刻作为时间窗口的终点，将不小于执行单次攻击所需时长的时间长度作为时间窗口的长度，确定时间窗口的起点，由此确定出对应的时间窗口。

示例性地，第一用户在基于第一提示信息输入第二攻击命令时，可以输入攻击开始时刻和攻击生效时刻，电子设备基于第二攻击命令确定对应的时间窗口时，可以将攻击开始时刻作为时间窗口的起点，将攻击生效时刻作为时间窗口的终点，由此得到对应的时间窗口。

本申请实施例中，在全息膜上投影显示与目标时间窗口对应的目标对抗图案时，响应于第二攻击命令，根据第二映射关系确定与目标时间窗口对应的目标第二预设对抗图案，生成该目标第二预设对抗图案并投影显示在全息膜上。

在本申请的一种可选实施方式中，第一攻击命令和第二攻击命令中还可以包括第二目标对象，其中，第二目标对象为利用获取的目标对抗样本攻击人脸识别***时，希望目标对抗样本被识别成的对象。本实施例中，所述获取目标对抗样本，包括：

获取多个候选对抗样本；

分别获取各所述候选对抗样本与所述第二目标对象的第二人脸图像的相似度；

确定所述目标对抗样本，所述目标对抗样本为相似度高于预设阈值的候选对抗样本中的任意候选对抗样本。

其中，候选对抗样本包括第一人脸图像以及投影到全息膜上的目标时间窗口对应的目标对抗图案。

本申请实施例中，预设的至少一个时间窗口分别对应的攻击命令，包括与时间窗口对应的对抗图案和第二目标对象。在攻击开始后，如果获取的计时时刻与目标时间窗口匹配，则获取目标时间窗口对应的目标对抗图案和第二目标对象，并将目标对抗图案投影显示在全息膜上。在全息膜上显示的目标对抗图案更换为下一时间窗口对应的目标对抗图案之前，电子设备实时跟踪第一用户的第一人脸图像，并基于生成的候选框对全息膜上显示的目标对抗图案不断地进行调整，生成目标扰动图像，采集包含第一人脸图像和目标扰动图像的图像，将采集得到的多个图像作为多个候选对抗样本。

能够理解的是，在第一用户移动的过程中，全息膜上显示的目标对抗图案随第一用户的移动进行对应调整，则获得的多个候选对抗样本，包含的目标扰动图案是不同的，不同之处可能体现在目标对抗图案的面积不同、位置不同、对抗图案的样式不同等。另外，各候选对抗样本包含的目标扰动图案，还可以在对比度、透明度、亮度等图像参数上存在差异，这些图像参数上的差异可以由工作人员采用photoshop自带的工具来调整实现，便捷性强。

本申请实施例中，对于获取的多个候选对抗样本，可以分别获取各候选对抗样本与第二人脸图像之间的相似度，其中，第二人脸图像为与目标时间点对应的第二目标对象的人脸图像。进而，根据获取的相似度，可以从多个候选对抗样本中确定出目标对抗样本，目标对抗样本可以是相似度高于预设阈值的候选对抗样本中的任意候选对抗样本。

其中，预设阈值可以预先设定，比如将预设阈值设置为50％、60％等。

示例性地，可以将获取的多个候选对抗样本输入至预先训练好的人脸识别模型中，由人脸识别模型输出各个候选对抗样本的识别结果，电子设备根据各候选对抗样本对应的识别结果，确定出各个候选对抗样本被识别为除第一用户之外的任意用户的概率，该概率反映了各个候选对抗样本与所识别的任意用户的人脸图像之间的相似度，如果该任意用户为第二目标对象，则电子设备可以将被识别为第二目标对象的候选对抗样本对应的概率，确定为该候选对抗样本与第二目标对象的第二人脸图像之间的相似度。能够理解的是，概率越高，候选对抗样本与第二人脸图像之间的相似度越高，候选对抗样本的攻击成功率越高。进而，根据各相似度，可以从候选对抗样本中筛选出相似度高于预设阈值的候选对抗样本，并从相似度高于预设阈值的候选对抗样本中任意选择一个作为目标对抗样本。

本申请实施例中，通过获取多个候选对抗样本，以及分别获取各候选对抗样本与第二目标对象的第二人脸图像的相似度，确定目标对抗样本，目标对抗样本为相似度高于预设阈值的候选对抗样本中的任意候选对抗样本，由此，实现了根据候选对抗样本的攻击结果灵活选择目标对抗样本，以获得有效的目标对抗样本，从而在利用目标对抗样本进行实时攻击或离线攻击时，能够获得较好的攻击效果，有利于提高对抗样本的攻击成功率。

假设某一时刻第一用户与全息膜之间的攻击距离为9米，且正以速度V＝1.5米/秒的速度向全息膜匀速运动，电子设备执行一次完整攻击流程需要的时间为2秒。第一用户希望尽可能多的改变被误识别的对象(达到最大次数n)，且可以动态调整对抗图案的形状。根据上述公式(1)可以确定允许更换对抗图案的最大次数n＝3，想要达到最大次数，电子设备会在预设的时间窗口提示第一用户输入对应的攻击命令。

图6为本申请一实施例提供的达到允许更换对抗图案的最大次数的攻击过程示意图，图6中的投影仪包含摄像头和对抗图案生成终端，所述终端可以是运行人脸识别模型的电脑。如图6所示，电子设备提示第一用户在时间窗口w₁(对应时间点t₁＝0秒至t₂＝2秒)、w₂(对应时间点t₂＝2秒至t₃＝4秒)和w₃(对应时间点t₃＝4秒至t₄＝6秒)输入攻击命令，其中，因篇幅限制，w₃在图6中未示出。例如，在w₁，第一用户输入的攻击命令为：产生口罩形状的对抗图案(如图6中的矩形所示)使得第一用户被误识别的对象为y₁；在w₂，第一用户输入的攻击命令为：产生眼镜形状的对抗图案(如图6中的椭圆形所示)使得第一用户被误识别的对象为y₂；在w₃，第一用户输入的攻击命令为：产生面具形状的对抗图案(如图6中的三角形所示)使得第一用户被误识别的对象为y₃。

如图6所示，当攻击开始(计时时刻T＝0秒)时，开始进入w₁，生成w₁对应的对抗图案，由于电子设备执行一次完整攻击流程需要的时间为2秒，则在T＝2秒时，开始在全息膜上显示w₁对应的对抗图案，即矩形，也就是说，w₁对应的对抗图案会在进入w₂时才开始显示。第一用户继续向前移动，当计时时刻T＝4秒时，全息膜上显示w₂对应的对抗图案，即椭圆形；第一用户继续向前移动，当计时时刻T＝6秒时，全息膜上显示w₃对应的对抗图案，即三角形。

另外，在各时间窗口之内，电子设备可以根据第一用户与全息膜的相对位置，实时调整对抗图案的特征，例如调整对抗图案的大小(面积)、明暗度、清晰度等图像属性，以及根据人脸的偏移角度调整投影的角度，以达到最佳的攻击效果。

假设某一时刻第一用户与全息膜之间的攻击距离为9米，且正以速度V＝1.5米/秒的速度向全息膜匀速运动，电子设备执行一次完整攻击流程需要的时间为2秒。第一用户希望在特定时刻进行攻击，而不要求尽可能多的改变第一用户被误识别的对象的频率、模样。根据上述公式(2)可以确定最迟攻击时刻为T₀＝4秒，电子设备提示第一用户最晚攻击时刻不超过4秒，第一用户在电子设备的提示下，输入不晚于最晚攻击时刻的时间点及对应的攻击命令。

图7为本申请一实施例提供的指定攻击时刻的攻击过程示意图，图7中的投影仪包含摄像头和对抗图案生成终端，所述终端可以是运行人脸识别模型的电脑。如图7所示，第一用户输入的攻击命令为：在t₁＝1秒时开始攻击，产生口罩形状的对抗图案(如图7中的矩形所示)使得第一用户被误识别的对象为y₁，攻击生效时刻为t₂＝3秒。

如图7所示，t₁＝1秒至t₂＝3秒对应时间窗口w₁，在计时时刻为T＝1秒时，攻击开始，进入时间窗口w₁，计时器继续计时，当计时时刻T＝3秒时，在全息膜上显示w₁对应的对抗图案，即矩形。另外，在T＝3秒之后的时间段内，电子设备可以根据第一用户与全息膜的相对位置，实时调整对抗图案的大小(面积)、明暗度、清晰度等图像属性，以及根据人脸的偏移角度调整投影的角度，以达到最佳的攻击效果。

需要说明的是，图6和图7中所示的各个对抗图案实际为透明的，图6和图7中将各扰动图案设置为灰色仅是为了便于查看和区分，而不能作为对本申请的限制。透明的对抗图案显示在人脸上时，不易被察觉，从而可以提升欺骗活体检测算法的成功率。

从图6和图7可以看出，采用本申请的方案，不仅可以在电子设备指定的时间窗口进行攻击，还可以由攻击目标自行设定攻击的时间窗口，具有较强的灵活性和便捷性。本申请将对抗图案以3D投影的形式呈现在全息膜上，实现了对抗图案的全息成像，这样可以使得对抗图案更能贴合人脸，相较于传统的打印扰动贴纸粘贴在人脸上的方式，生成的对抗样本具有更好的攻击效果，攻击成功率更高。并且，相较于传统的打印扰动贴纸粘贴在人脸上采集图像的方式，本申请提供的基于全息成像实现物理世界攻击的方式，无需制作和打印，成本低，灵活性和可扩展性强。

在本申请的一种可选实施方式中，在所述基于所述候选框的属性信息，对投影到全息膜上的目标对抗图案进行调整之前，所述方法还包括：

接收所述第一用户基于第二提示信息输入的第四攻击命令，所述第二提示信息为实时更新的热度数据；

响应于所述第四攻击命令，获取与所述热度数据匹配的热度图像；

将所述热度图像投影显示在所述全息膜上。

本申请实施例中，电子设备可以从网络上获取当前比较热门的话题、新闻、对抗攻击领域比较受欢迎的对抗扰动等数据，作为实时更新的热度数据，并根据实时更新的热度数据生成第二提示信息推送给第一用户，其中，第二提示信息中携带实时更新的至少一个热度数据。比如，电子设备可以在显示屏上显示类似“请从如下热度数据中选择一个来生成对抗图案”的提示信息，来提示第一用户从提示信息中携带的至少一个热度数据中选择用于生成对抗图案的目标热度数据。第一用户输入的第四攻击命令中包括用户选择的目标热度数据，电子设备接收到第一用户输入的第四攻击命令之后，响应于第四攻击命令，获取与目标热度数据匹配的热度图像，并将获取的热度图像投影显示在全息膜上。

图8为本申请一实施例提供的将与热度数据匹配的热度图像作为对抗图案显示在全息膜上的示意图。如图8所示，投影仪向第一用户呈现实时更新的热度数据，第一用户基于投影仪的提示输入第四攻击命令，第四攻击命令中包括第一用户选择的目标热度数据，图8中，目标热度数据为关于当前热播的一个动漫的话题。之后，投影仪(实际为投影仪上包含的终端)根据第一用户选择的目标热度数据，获取该动漫主角的脸部图像作为热度图像投影显示在全息膜上。

本申请实施例中，通过接收第一用户基于第二提示信息输入的第四攻击命令，第二提示信息为实时更新的热度数据，响应于第四攻击命令，获取与热度数据匹配的热度图像，并将热度图像投影显示在全息膜上，由此，实现了获取热度数据匹配的热度图像作为对抗图案进行物理攻击，能够提高物理攻击中对抗样本生成的趣味性。

在本申请的一种可选实施方式中，在所述基于所述候选框的属性信息，对投影到全息膜上的目标对抗图案进行调整之前，所述方法还包括：

接收所述第一用户的查询指令，所述查询指令用于请求获取第一目标对象的第一目标图像；

根据所述查询指令获取与所述第一目标对象匹配的第一目标图像；

接收所述第一用户基于第三提示信息输入的第三攻击命令；

响应于所述第三攻击命令，将所述第一目标图像投影显示在所述全息膜上。

其中，第一目标对象可以是任意的动物或物体，也可以是在网络上可以搜索到的真实或者虚拟的人物，本申请对此不作限制。相应地，第一目标图像与第一目标对象相关，如果第一目标对象为动物，则第一目标图像为动物的脸部图像，如果第一目标对象为物体，则第一目标图像为物体的图像，如果第一目标对象为真实或虚拟的人物，则第一目标图像为人物的脸部图像。

本申请实施例中，第一用户可以根据自身的实际需求，主动向电子设备发起查询指令，查询指令中可以包括查询的关键词、热度数据等，用于请求第一目标对象的第一目标图像，能够理解的是，第一目标对象可以根据用户输入的查询指令确定，比如，第一用户输入的查询指令为关键词眼罩，则第一目标对象为眼罩，第一目标图像为眼罩图像。电子设备接收到第一用户输入的查询指令后，根据查询指令获取与第一目标对象匹配的第一目标图像，并接收第一用户基于第三提示信息输入的第三攻击命令，其中，第三提示信息用于提示第一用户输入攻击开始时刻，第三攻击命令中可以包括第一用户输入的攻击开始时刻。之后，电子设备响应于第三攻击命令，在攻击开始时刻开始攻击，将第一目标图像投影显示在全息膜上。

图9为本申请一实施例提供的根据用户输入的查询指令获取对抗图案显示在全息膜上的示意图。如图9所示，第一用户通过投影仪输入“小狗”的查询指令，投影仪根据该查询指令确定第一目标对象为小狗，获取小狗图像，并可以从获取的小狗图像中裁剪出小狗的脸部图像作为第一目标图像。当投影仪接收到第一用户输入的第三攻击命令时，响应于该第三攻击命令，在攻击开始时刻到来时，将小狗的脸部图像投影显示在全息膜上。

本申请实施例中，通过接收第一用户的查询指令，根据查询指令获取与第一目标对象匹配的第一目标图像，以及接收第一用户基于第三提示信息输入的第三攻击命令，响应于第三攻击命令，将第一目标图像投影显示在全息膜上，由此，实现了基于用户输入的查询指令获取匹配的第一目标图像作为对抗图案进行物理攻击，能够提高物理攻击中对抗样本生成的趣味性。

在本申请的一种可选实施方式中，在获取目标对抗样本之后，还可以显示所述目标对抗样本，所述目标对抗样本用于测试目标人脸识别装置的人脸识别漏洞。

其中，目标人脸识别装置中运行有预先训练好的人脸识别模型。

示例性地，电子设备可以将目标对抗样本按照预设的图片格式，输出至指定的存储路径下，并显示目标对抗样本。将目标对抗样本输入至目标人脸识别装置中进行人脸识别，可以获取目标人脸识别装置对目标对抗样本的识别结果，识别结果可以反映目标人脸识别装置的人脸识别漏洞。如果识别结果显示目标对抗样本被识别为除第一用户之外的其他用户的概率很高，则目标对抗样本具有较高的攻击成功率，目标人脸识别装置的人脸识别漏洞较大。

能够理解的是，生成的目标对抗样本可以用于对本端运行的人脸识别模型的对抗攻击，也可以用于其他设备中运行的人脸识别模型的对抗攻击，本申请对此不作限制。

本申请实施例中，电子设备可以通过5G网络连接至云端服务器，采用云端服务器的算力来完成对抗图案的生成。由于云端服务器的算力远优于本端电子设备的算力，因此云端服务器产生对抗图案的速度更快，并且电子设备与云端服务器的传输时延很低，则将电子设备与云端服务器连接，由云端服务器产生对抗图案，则短时间内可以产生多种可选择的对抗图案，产生的对抗图案可以包括不同的大小或形状，从而能够节省后期再进行调整的时间，有利于获得更丰富多样的对抗图案。

相应于上述方法实施例，本申请实施例还提供了一种基于全息成像的对抗样本生成装置。

图10为本申请一实施例提供的对抗样本动态生成装置的结构示意图，该对抗样本动态生成装置应用于电子设备，所述电子设备分别与投影仪和图像采集装置连接，所述电子设备的画面通过所述投影仪显示在全息膜上。

如图10所示，该对抗样本动态生成装置60可以包括：收发模块610、处理模块620和显示模块630。处理模块620可用于控制收发模块610的获取、输入、接收、输出等操作，以及控制显示模块630的显示操作。

其中，收发模块610，用于实时获取第一用户的第一人脸图像；

处理模块620，用于对所述第一人脸图像进行目标检测及跟踪，生成用于标注所述第一人脸图像中人脸的候选框；以及，

基于所述候选框对投影到全息膜上的目标对抗图案进行调整，生成目标扰动图像；

所述收发模块610，还用于获取目标对抗样本，所述目标对抗样本包含所述第一人脸图像和所述目标扰动图像。

可选地，所述处理模块620还用于：

在监测到物理攻击开始后开始计时，在目标时间窗口内，通过所述收发模块610获取与所述目标时间窗口对应的目标对抗图案；

通过所述显示模块630将所述目标对抗图案投影显示在所述全息膜上。

可选地，所述处理模块620还用于：

通过所述收发模块610获取所述第一用户与所述全息膜之间的攻击距离以及所述第一用户的移动速度；

根据所述攻击距离、所述移动速度以及预设的执行单次攻击所需时长，确定允许更换对抗图案的最大次数；

通过所述收发模块610接收所述第一用户针对不同的时间窗口输入的第一攻击命令，所述第一攻击命令包括在对应的时间窗口显示的对抗图案，所述时间窗口的个数根据所述最大次数确定；

响应于所述第一攻击命令，根据第一映射关系确定与所述目标时间窗口对应的目标第一预设对抗图案，所述第一映射关系包括多个时间窗口与多个第一预设对抗图案之间的映射关系；

通过显示模块630将所述目标第一预设对抗图案投影显示在所述全息膜上。

可选地，所述处理模块620还用于：

通过所述收发模块610获取所述第一用户与所述全息膜之间的攻击距离以及所述第一用户的移动速度；

根据所述攻击距离、所述移动速度以及预设的执行单次攻击所需时长，确定最迟攻击时刻；

通过所述收发模块610接收所述第一用户基于第一提示信息输入的第二攻击命令，所述第二攻击命令包括攻击生效时刻与在所述攻击生效时刻显示的第二预设对抗图案，所述提示信息用于提示所述第一用户输入的所述攻击生效时刻不大于所述最迟攻击时刻；

响应于所述第二攻击命令，根据第二映射关系确定与所述目标时间窗口对应的目标第二预设对抗图案，所述第二映射关系包括根据所述攻击生效时刻确定的时间窗口与所述第二预设对抗图案之间的映射关系；

通过所述显示模块630将所述目标第二预设对抗图案投影显示在所述全息膜上。

可选地，所述收发模块610，还用于：

接收所述第一用户基于第二提示信息输入的第四攻击命令，所述第二提示信息为实时更新的热度数据；

所述处理模块620，还用于：

响应于所述第四攻击命令，获取与所述热度数据匹配的热度图像；

通过所述显示模块630将所述热度图像投影显示在所述全息膜上。

可选地，所述收发模块610，还用于：

接收所述第一用户的查询指令，所述查询指令用于请求获取第一目标对象的第一目标图像；

所述处理模块620，还用于：

根据所述查询指令获取与所述第一目标对象匹配的第一目标图像；

通过所述收发模块610接收所述第一用户基于第三提示信息输入的第三攻击命令；

响应于所述第三攻击命令，通过所述显示模块630将所述第一目标图像投影显示在所述全息膜上。

可选地，所述第一攻击命令和所述第二攻击命令还包括第二目标对象，所述收发模块610还用于：

获取多个候选对抗样本；

所述处理模块620还用于：

分别获取各所述候选对抗样本与所述第二目标对象的第二人脸图像的相似度；

确定所述目标对抗样本，所述目标对抗样本为相似度高于预设阈值的候选对抗样本中的任意候选对抗样本。

可选地，所述处理模块620还用于：

根据所述候选框的大小，对投影到全息膜上的目标对抗图案进行缩放；和/或

根据所述候选框的位置，对所述投影到全息膜上的目标对抗图案进行移动；和/或

在所述候选框中的第一人脸图像非正脸图像时，对所述投影到全息膜上的目标对抗图案进行更换。

可选地，所述显示模块630，还用于：

显示所述目标对抗样本，所述目标对抗样本用于测试目标人脸识别装置的人脸识别漏洞。

本申请实施例所提供的对抗样本动态生成装置，可执行本申请实施例所提供的任意可应用于电脑等电子设备的对抗样本动态生成方法，具备执行方法相应的功能模块和有益效果。本申请装置实施例中未详尽描述的内容可以参考本申请任意方法实施例中的描述。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

在本申请的示例性实施例中，还提供一种电子设备，包括：处理器，所述处理器用于执行存储于存储器的计算机程序，所述计算机程序被处理器执行时实现如上述实施例所述的对抗样本动态生成方法的步骤。

图11为本申请一实施例提供的电子设备的一种结构示意图。需要说明的是，图11示出的电子设备500仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图11所示，电子设备500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有***操作所需的各种程序和数据。中央处理单元501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如局域网(LAN)卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。

特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元501执行时，执行本申请的装置中限定的各种功能。

本申请实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例所述的对抗样本动态生成方法的步骤。

需要说明的是，本申请所示的计算机可读存储介质例如可以是—但不限于—电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器、只读存储器、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、射频等等，或者上述的任意合适的组合。

本申请实施例中，还提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行上述实施例所述的对抗样本动态生成方法的步骤。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (17)

1.一种对抗样本动态生成方法，其特征在于，应用于电子设备，所述方法包括：

实时获取第一用户的第一人脸图像；

对所述第一人脸图像进行目标检测及跟踪，生成用于标注所述第一人脸图像中人脸的候选框；

基于所述候选框对投影到全息膜上的目标对抗图案进行调整，生成目标扰动图像；

获取目标对抗样本，所述目标对抗样本包含所述第一人脸图像和所述目标扰动图像；

其中，所述方法还包括：

获取所述第一用户与所述全息膜之间的攻击距离以及所述第一用户的移动速度；

根据所述攻击距离、所述移动速度以及预设的执行单次攻击所需时长，确定允许更换对抗图案的最大次数；

接收所述第一用户针对不同的时间窗口输入的第一攻击命令，所述第一攻击命令包括在对应的时间窗口显示的对抗图案，所述时间窗口的个数根据所述最大次数确定；

将所述目标对抗图案投影显示在所述全息膜上，包括：

响应于所述第一攻击命令，根据第一映射关系确定与所述目标时间窗口对应的目标第一预设对抗图案，所述第一映射关系包括多个时间窗口与多个第一预设对抗图案之间的映射关系；

将所述目标第一预设对抗图案投影显示在所述全息膜上。

2.根据权利要求1所述的对抗样本动态生成方法，其特征在于，在所述基于所述候选框的属性信息，对投影到全息膜上的目标对抗图案进行调整之前，所述方法还包括：

在监测到物理攻击开始后开始计时，

在目标时间窗口内，获取与所述目标时间窗口对应的目标对抗图案；

将所述目标对抗图案投影显示在所述全息膜上。

3.根据权利要求2所述的对抗样本动态生成方法，其特征在于，在监测物理攻击之前，所述方法还包括：

获取所述第一用户与所述全息膜之间的攻击距离以及所述第一用户的移动速度；

根据所述攻击距离、所述移动速度以及预设的执行单次攻击所需时长，确定最迟攻击时刻；

接收所述第一用户基于第一提示信息输入的第二攻击命令，所述第二攻击命令包括攻击生效时刻与在所述攻击生效时刻显示的第二预设对抗图案，所述第一提示信息用于提示所述第一用户输入的所述攻击生效时刻不大于所述最迟攻击时刻；

所述将所述目标对抗图案投影显示在所述全息膜上，包括：

响应于所述第二攻击命令，根据第二映射关系确定与所述目标时间窗口对应的目标第二预设对抗图案，所述第二映射关系包括根据所述攻击生效时刻确定的时间窗口与所述第二预设对抗图案之间的映射关系；

将所述目标第二预设对抗图案投影显示在所述全息膜上。

4.根据权利要求1所述的对抗样本动态生成方法，其特征在于，在所述基于所述候选框的属性信息，对投影到全息膜上的目标对抗图案进行调整之前，所述方法还包括：

接收所述第一用户基于第二提示信息输入的第四攻击命令，所述第二提示信息为实时更新的热度数据；

响应于所述第四攻击命令，获取与所述热度数据匹配的热度图像；

将所述热度图像投影显示在所述全息膜上。

5.根据权利要求1所述的对抗样本动态生成方法，其特征在于，在所述基于所述候选框的属性信息，对投影到全息膜上的目标对抗图案进行调整之前，所述方法还包括：

接收所述第一用户的查询指令，所述查询指令用于请求获取第一目标对象的第一目标图像；

根据所述查询指令获取与所述第一目标对象匹配的第一目标图像；

接收所述第一用户基于第三提示信息输入的第三攻击命令；

响应于所述第三攻击命令，将所述第一目标图像投影显示在所述全息膜上。

6.根据权利要求1或3所述的对抗样本动态生成方法，其特征在于，所述攻击命令还包括第二目标对象，所述获取目标对抗样本，包括：

获取多个候选对抗样本；

分别获取各所述候选对抗样本与所述第二目标对象的第二人脸图像的相似度；

确定所述目标对抗样本，所述目标对抗样本为相似度高于预设阈值的候选对抗样本中的任意候选对抗样本。

7.根据权利要求1-5任一项所述的对抗样本动态生成方法，其特征在于，所述基于所述候选框对投影到全息膜上的目标对抗图案进行调整，包括以下方式之一：

根据所述候选框的大小，对投影到全息膜上的目标对抗图案进行缩放；

根据所述候选框的位置，对所述投影到全息膜上的目标对抗图案进行移动；

或者，在所述候选框中的第一人脸图像非正脸图像时，对所述投影到全息膜上的目标对抗图案进行更换。

8.一种对抗样本动态生成装置，其特征在于，应用于电子设备，所述装置包括：

收发模块，用于实时获取第一用户的第一人脸图像；

处理模块，用于对所述第一人脸图像进行目标检测及跟踪，生成用于标注所述第一人脸图像中人脸的候选框；以及，基于所述候选框对投影到全息膜上的目标对抗图案进行调整，生成目标扰动图像；

所述收发模块，还用于获取目标对抗样本，所述目标对抗样本包含所述第一人脸图像和所述目标扰动图像；

其中，所述装置还包括：显示模块；

所述处理模块还用于：

通过所述收发模块获取所述第一用户与所述全息膜之间的攻击距离以及所述第一用户的移动速度；

根据所述攻击距离、所述移动速度以及预设的执行单次攻击所需时长，确定允许更换对抗图案的最大次数；

通过所述收发模块接收所述第一用户针对不同的时间窗口输入的第一攻击命令，所述第一攻击命令包括在对应的时间窗口显示的对抗图案，所述时间窗口的个数根据所述最大次数确定；

响应于所述第一攻击命令，根据第一映射关系确定与所述目标时间窗口对应的目标第一预设对抗图案，所述第一映射关系包括多个时间窗口与多个第一预设对抗图案之间的映射关系；

通过所述显示模块将所述目标第一预设对抗图案投影显示在所述全息膜上。

9.根据权利要求8所述的对抗样本动态生成装置，其特征在于，

所述处理模块还用于：

在监测到物理攻击开始后开始计时，在目标时间窗口内，通过所述收发模块获取与所述目标时间窗口对应的目标对抗图案；

通过所述显示模块将所述目标对抗图案投影显示在所述全息膜上。

10.根据权利要求9所述的对抗样本动态生成装置，其特征在于，所述处理模块还用于：

通过所述收发模块获取所述第一用户与所述全息膜之间的攻击距离以及所述第一用户的移动速度；

根据所述攻击距离、所述移动速度以及预设的执行单次攻击所需时长，确定最迟攻击时刻；

通过所述收发模块接收所述第一用户基于第一提示信息输入的第二攻击命令，所述第二攻击命令包括攻击生效时刻与在所述攻击生效时刻显示的第二预设对抗图案，所述提示信息用于提示所述第一用户输入的所述攻击生效时刻不大于所述最迟攻击时刻；

响应于所述第二攻击命令，根据第二映射关系确定与所述目标时间窗口对应的目标第二预设对抗图案，所述第二映射关系包括根据所述攻击生效时刻确定的时间窗口与所述第二预设对抗图案之间的映射关系；

通过所述显示模块将所述目标第二预设对抗图案投影显示在所述全息膜上。

11.根据权利要求8所述的对抗样本动态生成装置，其特征在于，所述收发模块，还用于：

接收所述第一用户基于第二提示信息输入的第四攻击命令，所述第二提示信息为实时更新的热度数据；

所述处理模块，还用于：

响应于所述第四攻击命令，获取与所述热度数据匹配的热度图像；

通过所述显示模块将所述热度图像投影显示在所述全息膜上。

12.根据权利要求8所述的对抗样本动态生成装置，其特征在于，所述收发模块，还用于：

接收所述第一用户的查询指令，所述查询指令用于请求获取第一目标对象的第一目标图像；

所述处理模块，还用于：

根据所述查询指令获取与所述第一目标对象匹配的第一目标图像；

通过所述收发模块接收所述第一用户基于第三提示信息输入的第三攻击命令；

响应于所述第三攻击命令，通过所述显示模块将所述第一目标图像投影显示在所述全息膜上。

13.根据权利要求8或10所述的对抗样本动态生成装置，其特征在于，所述攻击命令还包括第二目标对象，所述收发模块还用于：

获取多个候选对抗样本；

所述处理模块还用于：

分别获取各所述候选对抗样本与所述第二目标对象的第二人脸图像的相似度；

确定所述目标对抗样本，所述目标对抗样本为相似度高于预设阈值的候选对抗样本中的任意候选对抗样本。

14.根据权利要求8-12任一项所述的对抗样本动态生成装置，其特征在于，所述处理模块还用于：

根据所述候选框的大小，对投影到全息膜上的目标对抗图案进行缩放；

根据所述候选框的位置，对所述投影到全息膜上的目标对抗图案进行移动；

或者，在所述候选框中的第一人脸图像非正脸图像时，对所述投影到全息膜上的目标对抗图案进行更换。

15.根据权利要求8所述的对抗样本动态生成装置，其特征在于，所述显示模块，还用于：

显示所述目标对抗样本，所述目标对抗样本用于测试目标人脸识别装置的人脸识别漏洞。

16.一种电子设备，其特征在于，包括：处理器，所述处理器用于执行存储于存储器的计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的对抗样本动态生成方法的步骤。

17.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的对抗样本动态生成方法的步骤。

Images