CN111967584A

CN111967584A - 生成对抗样本的方法、装置、电子设备及计算机存储介质

Info

Publication number: CN111967584A
Application number: CN202010839966.XA
Authority: CN
Inventors: 郭怡文; 李奇璋; 陈浩
Original assignee: Beijing ByteDance Network Technology Co Ltd
Current assignee: Beijing ByteDance Network Technology Co Ltd
Priority date: 2020-08-19
Filing date: 2020-08-19
Publication date: 2020-11-20

Abstract

本公开提供了一种生成对抗样本的方法、装置、电子设备及计算机存储介质，涉及机器学习领域。该方法包括：根据目标模型的初始对抗样本，生成至少一个第一对抗样本；对于每一第一对抗样本，获取该第一对抗样本的第一特征信息及第一损失信息，第一特征信息为利用目标模型从该第一对抗样本提取的特征信息，第一损失信息为该第一对抗样本在目标模型中的损失信息；根据每一第一对抗样本的第一特征信息及第一损失信息，为初始对抗样本生成干扰信息；为初始对抗样本添加干扰信息，得到目标模型的目标对抗样本。本公开生成的目标对抗样本可以提高目标模型的可靠性和鲁棒性。

Description

生成对抗样本的方法、装置、电子设备及计算机存储介质

技术领域

本公开涉及机器学习技术领域，具体而言，本公开涉及一种生成对抗样本的方法、装置、电子设备及计算机存储介质。

背景技术

随着机器学习和人工智能的迅猛发展，机器学习技术已被广泛地应用到各种领域。

对抗攻击是当前机器学习领域研究的一个热点问题。对抗攻击的原理是通过对抗样本来欺骗深度神经网络，使其做出错误判定。其中，对抗样本是向原数据样本中添加经过精心训练的人眼不易察觉的微小扰动得到的新样本。

对抗样本在评估和改善深度神经网络的可靠性和鲁棒性中起着至关重要的作用，但利用现有技术中生成的对抗样本对模型进行训练时，不能较好的提升模型的可靠性和鲁棒性。

发明内容

本公开提供了一种生成对抗样本的方法、装置、电子设备及计算机存储介质，利用生成的对抗样本对目标模型进行训练，可以提高目标模型的可靠性和鲁棒性。技术方案如下：

第一方面，提供了一种生成对抗样本的方法，该方法包括：

根据目标模型的初始对抗样本，生成至少一个第一对抗样本；

对于每一第一对抗样本，获取该第一对抗样本的第一特征信息及第一损失信息，第一特征信息为利用目标模型从该第一对抗样本提取的特征信息，第一损失信息为该第一对抗样本在目标模型中的损失信息；

根据每一第一对抗样本的第一特征信息及第一损失信息，为初始对抗样本生成干扰信息；

为初始对抗样本添加干扰信息，得到目标模型的目标对抗样本。

第二方面，提供了一种生成对抗样本的装置，该装置包括：

第一生成模块，用于根据目标模型的初始对抗样本，生成至少一个第一对抗样本；

第一获取模块，用于对于每一第一对抗样本，获取该第一对抗样本的第一特征信息及第一损失信息，第一特征信息为利用目标模型从该第一对抗样本提取的特征信息，第一损失信息为该第一对抗样本在目标模型中的损失信息；

第二生成模块，用于根据每一第一对抗样本的第一特征信息及第一损失信息，为初始对抗样本生成干扰信息；

添加模块，用于为初始对抗样本添加干扰信息，得到目标模型的目标对抗样本。

第三方面，提供了一种电子设备，该电子设备包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序配置用于执行本公开第一方面所示的生成对抗样本的方法对应的操作。

第四方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开第一方面所示的生成对抗样本的方法。

本公开提供的技术方案带来的有益效果是：

本公开根据目标模型的初始对抗样本生成至少一个第一对抗样本，并获取每一第一对抗样本的第一特征信息及第一损失信息，然后根据第一对抗样本的第一特征信息及第一损失信息生成初始对抗样本的干扰信息，并将干扰信息添加至初始对抗样本生成目标对抗样本，可见，上述方法获得的第一特征信息及第一损失信息，是通过对目标模型的中间层进行攻击而得到的，因此，基于这些信息生成的目标对抗样本具有较好的攻击性，故而，利用目标对抗样本对目标模型进行训练，可以提高目标模型的可靠性和鲁棒性。

此外，由于利用中间层特征映射中的干扰，可以获得更高的对抗性传递，因此上述通过对中间层进行攻击获得的目标对抗样本也具有可迁移性，即目标对抗样本在攻击其他模型时也具有良好的攻击效果。

附图说明

结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。

图1为本公开实施例提供的一种生成对抗样本的方法的流程示意图；

图2为本公开实施例提供的不同第一对抗样本对应的特征图扰动；

图3为本公开实施例提供的一种生成对抗样本的装置的结构示意图；

图4为本公开实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。

本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。

需要注意，本公开中提及的“第一”、“第二”等概念仅用于对装置、模块或单元进行区分，并非用于限定这些装置、模块或单元一定为不同的装置、模块或单元，也并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。

为使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开实施方式作进一步地详细描述。

本公开提供的生成对抗样本的方法、装置、电子设备和计算机存储介质，旨在解决现有技术的如上技术问题。

下面以具体地实施例对本公开的技术方案以及本公开的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本公开的实施例进行描述。

本公开实施例中提供了一种生成对抗样本的方法，如图1所示，该方法包括：

步骤S101：根据目标模型的初始对抗样本，生成至少一个第一对抗样本。

其中，目标模型包括神经网络模型，以深度神经网络模型为例，深度神经网络一般包括输入层、隐含层及输出层，隐含层一般可以有多层，比如特征提取层、分类层，每一层的输出结果均为下一层的输入结果。需要说明的是，本公开并不限制目标模型的具体功能及作用。

其中，目标模型的初始对抗样本可以是通过生成对抗网络生成的样本，还可以是将目标模型原始样本进行初始化的样本；第一对抗样本可以是利用初始对抗样本生成的对抗样本，需要说明的是，第一对抗样本的对目标模型的攻击强度往往大于初始对抗样本对目标模型的攻击强度。

在本公开的一个实施例中，步骤S101“根据目标模型的初始对抗样本，生成至少一个第一对抗样本”包括：

步骤S101a：将初始对抗样本输入目标模型，得到目标模型输出的初始预测结果。

步骤S101b：利用初始预测结果，对初始对抗样本进行迭代运算，生成至少一个第一对抗样本。

需要说明的是，对于迭代运算的次数，本领域技术人员可以自行设置，本公开不做具体限定，其中，迭代次运算的次数与第一对抗样本的数量相对应。

在本公开的一个具体的实施例中，生成至少一个第一对抗样本的迭代运算，可以通过公式(1)进行实现：

该公式(1)表征了可以利用初始对抗样本及初始预测结果来获得迭代的第一对抗样本，然后再次迭代获取目标模型的其他第一对抗样本。

其中，t为不小于0的整数，当t等于0时，即，

表示初始对抗样本，当t为大于0的整数时，即，

均表示第一对抗样本，且

为

进行上述迭代运算后得到的对抗样本；在本公开的一个实施例中，第一对抗样本包括初始对抗样本，即，t表示第一对抗样本的序号；ψ表示第一对抗样本的假定有效集合；α表示迭代运算时更新第一对抗样本的步长；L表示目标模型的损失函数；y表示将初始对抗样本输入目标模型后的初始预测结果。

在本公开的一个实施例中，为了更好地进行优化，可以将目标模型的原始样本x初始化为初始对抗样本

将原始样本x输入目标模型后输出的结原始预测结果即为初始预测结果y。

在得到初始对抗样本及初始预测结果后，可以利用梯度下降对上述公式(1)进行迭代运算，然后生成迭代后的第一对抗样本。

步骤S102：对于每一第一对抗样本，获取该第一对抗样本的第一特征信息及第一损失信息，第一特征信息为利用目标模型从该第一对抗样本提取的特征信息，第一损失信息为该第一对抗样本在目标模型中的损失信息。

其中，第一特征信息包括利用第一对抗样本对目标模型的隐含层(中间层)进行攻击后，得到的中间层结果信息。

本领域技术人员可以理解的是，由于利用中间层特征映射中的干扰，可以获得更高的对抗性传递，因此可以对中间层进行攻击，通过分析对第一抗样本对中间层进行攻击的中间层结果信息，并对初始对抗样本进行优化，进而得到具有可迁移性的目标对抗样本。

在本公开的一个实施例中，步骤S102中的“获取该第一对抗样本的第一特征信息”，包括：

步骤S102a：利用目标模型的特征提取层，获取该第一对抗样本的第一特征信息。

可以理解的是，当目标模型包括深度神经网络模型时，第一对抗样本的第一特征信息可以是利用第一对抗样本对目标模型的特征提取层进行攻击，然后得到的攻击结果信息；即第一对抗样本输入目标模型中，在目标模型的特征提取层提取的信息。需要说明的是，第一特征信息也可以是对其他中间层进行攻击后的攻击结果信息。

在本公开的一个实施例中，可以利用目标模型中的特征提取函数获取第一对抗样本的第一特征信息。具体的，可以利用公式(2)获取任一第一对抗样本的第一特征信息。

其中，g表示上述特征提取函数，

表示第一对抗样本，

表示将第一对抗样本输入目标模型后，在特征提取层的第一特征信息，即利用第一对抗样本攻击目标模型的特征提取层后得到的攻击结果信息。

可以理解的是，深度神经网络模型的预测一般会有偏差，将第一对抗样本输入目标模型后，其预测结果与实际结果一般差异较大，因此可以利用第一损失信息表征这种差异，还可以理解的是，第一损失信息还反应了利用第一对抗样本攻击目标网络模型的攻击程度。

在本公开的一个实施例中，步骤S102“获取该第一对抗样本的第一损失信息”，包括：

步骤S102b：利用目标模型的损失函数，获取该第一对抗样本的第一损失信息。

在本公开的一个实施例中，可以利用目标模型的损失函数确定第一对抗样本的损失信息，即第一对抗样本在对抗过程中的对抗损失值。具体的，可以利用公式(3)获取第一对抗样本的损失信息。

其中，L表示目标模型的损失函数，

表示第一对抗样本，y表示初始预测结果，l_t表示将第一对抗样本输入目标模型后进行对抗得到的损失信息，即对抗损失值。

步骤S103：根据每一第一对抗样本的第一特征信息及第一损失信息，为初始对抗样本生成干扰信息。

步骤S104：为初始对抗样本添加干扰信息，得到目标模型的目标对抗样本。

其中，干扰信息可以使得目标模型输出一个高置信度的错误预测结果，第一特征信息及第一损失信息均可反映第一对抗样本对目标模型的攻击程度，因此可以利用第一特征信息及第一损失信息为初始对抗样本生成干扰信息。

将得到的干扰信息与初始对抗样本进行叠加，可以得到目标模型的目标对抗样本，可以使用该对抗样本继续训练该目标模型，进而提高该目标模型的鲁健性。

本公开根据目标模型的初始对抗样本生成至少一个第一对抗样本，并获取每一第一对抗样本的第一特征信息及第一损失信息，然后根据第一对抗样本的第一特征信息及第一损失信息生成初始对抗样本的干扰信息，并将干扰信息添加至初始对抗样本生成目标对抗样本，可见，上述方法获得的第一特征信息及第一损失信息，是通过对目标模型的中间层进行攻击而得到的，因此，基于这些信息生成的目标对抗样本具有较好的攻击性，故而，利用生成的目标对抗样本对目标模型进行训练，可以提高目标模型的可靠性和鲁棒性。

在本公开的一个实施例中，获取初始对抗样本的初始特征信息及初始损失信息，初始特征信息为利用目标模型从初始对抗样本提取的特征信息，初始损失信息为初始对抗样本在目标模型中的损失信息；

则，步骤S103“根据每一第一对抗样本的第一特征信息及第一损失信息，为初始对抗样本生成干扰信息”，包括：

步骤S103a：根据每一第一对抗样本的第一特征信息及第一损失信息、以及初始对抗样本的初始特征信息及初始损失信息，为初始对抗样本生成干扰信息。

其中，初始对抗样本的初始特征信息及初始损失信息均可利用目标模型进行获取。

在本公开的一个实施例中，在本公开的一个实施例中，获取初始对抗样本的初始特征信息及初始损失信息，包括：

利用目标模型的特征提取层，获取初始对抗样本的初始特征信息；

利用目标模型的损失函数，获取初始对抗样本的初始损失信息。

可以理解的是，与获取第一对抗样本的第一特征信息及第一损失信息的方法相同。

可以利用目标模型的特征提取层初始对抗样本的初始特征信息，具体的，获取初始特征信息的过程可以通过下述公式进行体现：

即，可以利用目标模型中的特征提取函数g获取初始对抗样本

的初始特征信息

可以利用目标函数的的损失函数获取初始对抗样本的初始损失信息，具体的，获取初始损失信息的过程可以通过下述公式进行体现：

即，可以利用目标模型中的损失函数L获取初始对抗样本

的初始损失信息l₀。

可以理解的是，第一对抗样本可以包括初始对抗样本，初始对抗样本的初始特征信息及初始损失信息同样可以为初始对抗样本生成干扰信息作参考。

在本公开的一个实施例中，步骤S103a“根据每一第一对抗样本的第一特征信息及第一损失信息、以及初始对抗样本的初始特征信息及初始损失信息，为初始对抗样本生成干扰信息”，包括：

步骤S103b：对于每一第一对抗样本，确定该第一对抗样本的第一特征信息与初始对抗样本的初始特征信息之间的特征差异。

首先需要说明的是，相比于最终迭代对抗样本在目标模型中的中间层信息，比如特征提取层的特征信息，在迭代过程中的迭代对抗样本在目标模型中的特征信息更能反映攻击效果。

可以理解的是，在初始对抗样本包括原始样本的情况下，第一特征信息与初始特征信息之间的特征差异可以包括特征图的扰动，即通过特征图的扰动更能体现出对抗样本对于目标模型的攻击效果。往往特征扰动值越大，说明对抗样本的攻击性也越强，对应的其损失结果信息也越大，通过特征扰动可以调节初始对抗样本，使得生成迁移能力更强的目标对抗样本。

如图2所示，图2左侧表示第一对抗样本

的第一特征信息与初始对抗样本的初始特征信息的差异，图2右侧表示第一对抗样本

的特征信息与初始对抗样本的初始特征信息的差异，并且p>t。从图中可以反映，不同的对抗样本对于目标模型的攻击程度不同。故需要确定每一对抗样本的第一特征信息与初始特征信息的特征差异。

步骤S103c：根据每一第一对抗样本对应的特征差异、每一第一对抗样本的第一损失信息以及初始对抗样本的初始损失信息，为初始对抗样本生成干扰信息。

可以理解的是，在生成每一第一对抗样本对应的特征差异时，初始对抗样本不存在特征差异，但仍可将初始对抗样本的初始损失信息考虑进省城初始对抗样本的干扰信息中。即此时在生成初始对抗样本的干扰信息时，除了利用每一第一对抗样本对应的特征差异、每一第一对抗样本的第一损失信息时，还可以利用初始对抗样本的初始损失信息，使得生成的干扰信息更精准。

在本公开的一个实施例中，步骤S103c“根据每一第一对抗样本对应的特征差异、每一第一对抗样本的第一损失信息以及初始对抗样本的初始损失信息，为初始对抗样本生成干扰信息”，包括：

步骤S103d：根据每一第一对抗样本对应的特征差异、每一第一对抗样本的第一损失信息以及初始对抗样本的初始损失信息，生成每一第一对抗样本和初始对抗样本各自对应的映射参数，映射参数反映了对应样本对目标模型的攻击程度。

可以理解的是，由于每一第一对抗样本的特征差异及第一损失信息均可反映第一对抗样本对于目标模型的攻击程度，因此可以确定每一第一对抗样本的特征差异与第一损失信息之间的映射关系，即每一第一对抗样本的映射参数，该参数同样也反映了每一第一对抗样本对目标模型的攻击程度。对于初始对抗样样本，由于初始对抗样本不存在特征差异，也不存在初始对抗样本的特征差异与初始损失信息之间的映射关系，由于不同映射参数可以组成一个向量，因此可以将初始对抗样本的映射参数值设置为0。

步骤S103e：根据每一第一对抗样本和初始对抗样本各自对应的映射参数，为初始对抗样本生成干扰信息。

在得到每一对抗样本和初始对抗样本各自对应的映射参数后，在确定初始对抗样本生成干扰信息的过程中，可以利用每一第一对抗样本的特征差异与第一损失信息之间的映射关系，将第一损失信息进行替换，提高生成初始对抗样本的干扰信息的效率。

在本公开的一个实施例中，生成每一第一对抗样本和初始对抗样本各自对应的映射参数，包括：

通过函数最小化的方式，生成每一第一对抗样本和初始对抗样本各自对应的映射参数。

具体的，本公开最小化的函数包括：

其中，

表示初始特征信息，

表示第一特征信息，

表示特征差异，即特征扰动，p、t均为不小于0的整数，并且p可以表示用户设置的第一对抗样本的数量，t可以表示用户设置的第一对抗样本的序号，l_t表示第一损失信息，λ为一正整数，表示正则项系数，w为一向量，表示每一第一对抗样本及初始对抗样本各自对应的映射参数，并且，第一对抗样本的映射参数反映了第一对抗样本的特征差异与第一损失信息之间的映射关系，在初始对抗样本包括原始样本的情况下，其初始损失信息可以忽略不计，此时初始对抗样本的映射参数值可以是0。

可以理解的是，针对每一第一对抗样本与初始对抗样本，可以获取多组特征差异与损失信息的数据，在满足上述公式中的约束关系，比如整体函数求解最小时，确定每一第一对抗样本和初始对抗样本各自对应的映射参数w。

其中，w是上述公式中要学习的参数向量，本公开不使用最大化传统的交叉熵损失，而是在建立从特征空间到损失空间的映射的意义上，我们选择优化以生成具有最大预期对抗损失的对抗扰动，并且基于上述映射关系，在目标模型的预测损失信息满足一定条件时，将此时的对抗样本确定为目标对抗样本。可以理解的是，当目标模型的损失信息越大，表明该模型此时的对抗样本对该模型的攻击力越强，该对抗样本可以更好地提高深度神经网络模型的鲁棒性。

在本公开的一个实施例中，为初始对抗样本生成干扰信息，包括：

通过函数最大化的方式，为初始对抗样本生成干扰信息。

具体的，本公开最大化的函数包括：

其中，g表示特征提取函数，

表示初始特征信息，w为一向量，表示每一第一对抗样本及初始对抗样本各自对应的映射参数，x表示初始化的初始对抗样本，即原始样本，Δ_x表示要求解的干扰信息，在函数整体取得最大值时，可以求解干扰信息Δ_x，然后将此时的x+Δ_x确定为目标对抗样本。

可以理解的是，在上述函数整体取最大时，表示希望求解的干扰信息使得目标模型的预测结果损失最大，也即希望被攻击的目标模型预测结果是错误的，这样就可以达到攻击成功的效果。

然后将达到上述条件的干扰信息添加至初始对抗样本中，得到目标对抗样本。该目标对抗样本可以对目标模型有较好的攻击性，因此可以达到训练目标模型，增强该目标模型鲁棒性的目的。并且通过采用在特征提取层提取第一对抗样本的第一特征信息，并且结合第一损失信息获取干扰信息的方法，使得最终生成的目标对抗样本还可以攻击其他模型，体现了目标对抗样本的可迁移性。

本公开实施例提供了一种生成对抗样本的装置，如图4所示，该生成对抗样本的装置30可以包括：第一生成模块301、第一获取模块302、第二生成模块303以及添加模块304，其中，

第一生成模块301，用于根据目标模型的初始对抗样本，生成至少一个第一对抗样本。

在本公开的一个实施例中，第一生成模块301，包括：

预测子模块，用于将初始对抗样本输入目标模型，得到目标模型输出的初始预测结果。

迭代子模块，用于利用初始预测结果，对初始对抗样本进行迭代运算，生成至少一个第一对抗样本。

其中，t为不小于0的整数，当t等于0时，即，

表示初始对抗样本，当t为大于0的整数时，即，

均表示第一对抗样本，且

为

第一获取模块302，用于对于每一第一对抗样本，获取该第一对抗样本的第一特征信息及第一损失信息，第一特征信息为利用目标模型从该第一对抗样本提取的特征信息，第一损失信息为该第一对抗样本在目标模型中的损失信息。

在本公开的一个实施例中，第一获取模块302，包括：

第一获取第第一子模块，用于利用目标模型的特征提取层，获取该第一对抗样本的第一特征信息。

其中，g表示上述特征提取函数，

表示第一对抗样本，

第一获取第二子模块，用于利用目标模型的损失函数，获取该第一对抗样本的第一损失信息。

其中，L表示目标模型的损失函数，

第二生成模块303，用于根据每一第一对抗样本的第一特征信息及第一损失信息，为初始对抗样本生成干扰信息。

添加模块304，用于为初始对抗样本添加干扰信息，得到目标模型的目标对抗样本。

下面参考图4，其示出了适于用来实现本公开实施例的电子设备400的结构示意图。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图4示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

电子设备包括：存储器以及处理器，其中，这里的处理器可以称为下文所述的处理装置401，存储器可以包括下文中的只读存储器(ROM)402、随机访问存储器(RAM)403以及存储装置408中的至少一项，具体如下所示：

如图4所示，电子设备400可以包括处理装置(例如中央处理器、图形处理器等)401，其可以根据存储在只读存储器(ROM)402中的程序或者从存储装置408加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM 403中，还存储有电子设备400操作所需的各种程序和数据。处理装置401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。

通常，以下装置可以连接至I/O接口405：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置406；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置407；包括例如磁带、硬盘等的存储装置408；以及通信装置409。通信装置409可以允许电子设备400与其他设备进行无线或有线通信以交换数据。虽然图4示出了具有各种装置的电子设备400，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置409从网络上被下载和安装，或者从存储装置408被安装，或者从ROM 402被安装。在该计算机程序被处理装置401执行时，执行本公开实施例的方法中限定的上述功能。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机存储介质或者是上述两者的任意组合。计算机存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的模块或单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块或单元的名称在某种情况下并不构成对该单元本身的限定。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上***(SOC)、复杂可编程逻辑设备(CPLD)等等。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

根据本公开的一个或多个实施例，提供了一种生成对抗样本的方法，包括：

在本公开的一个实施例中，对抗样本生成的方法还包括：

获取初始对抗样本的初始特征信息及初始损失信息，初始特征信息为利用目标模型从初始对抗样本提取的特征信息，初始损失信息为初始对抗样本在目标模型中的损失信息；

则，根据每一第一对抗样本的第一特征信息及第一损失信息，为初始对抗样本生成干扰信息，包括：

根据每一第一对抗样本的第一特征信息及第一损失信息、以及初始对抗样本的初始特征信息及初始损失信息，为初始对抗样本生成干扰信息。

在本公开的一个实施例中，根据目标模型的初始对抗样本，生成至少一个第一对抗样本，包括：

将初始对抗样本输入目标模型，得到目标模型输出的初始预测结果；

利用初始预测结果，对初始对抗样本进行迭代运算，生成至少一个第一对抗样本。

在本公开的一个实施例中，获取该第一对抗样本的第一特征信息及第一损失信息，包括：

利用目标模型的特征提取层，获取该第一对抗样本的第一特征信息；

利用目标模型的损失函数，获取该第一对抗样本的第一损失信息。

在本公开的一个实施例中，获取初始对抗样本的初始特征信息及初始损失信息，包括：

在本公开的一个实施例中，根据每一第一对抗样本的第一特征信息及第一损失信息、以及初始对抗样本的初始特征信息及初始损失信息，为初始对抗样本生成干扰信息，包括：

对于每一第一对抗样本，确定该第一对抗样本的第一特征信息与初始对抗样本的初始特征信息之间的特征差异；

根据每一第一对抗样本对应的特征差异、每一第一对抗样本的第一损失信息以及初始对抗样本的初始损失信息，为初始对抗样本生成干扰信息。

在本公开的一个实施例中，根据每一第一对抗样本对应的特征差异、每一第一对抗样本的第一损失信息以及初始对抗样本的初始损失信息，为初始对抗样本生成干扰信息，包括：

根据每一第一对抗样本对应的特征差异、每一第一对抗样本的第一损失信息以及初始对抗样本的初始损失信息，生成每一第一对抗样本和初始对抗样本各自对应的映射参数，映射参数反映了对应样本对目标模型的攻击程度；

根据每一第一对抗样本和初始对抗样本各自对应的映射参数，为初始对抗样本生成干扰信息。

通过函数最大化的方式，为初始对抗样本生成干扰信息。

根据本公开的一个或多个实施例，提供了一种对抗样本生成的装置，包括：

在本公开的一个实施例中，生成对抗样本的装置还包括：

第二获取模块，用于获取初始对抗样本的初始特征信息及初始损失信息，初始特征信息为利用目标模型从初始对抗样本提取的特征信息，初始损失信息为初始对抗样本在目标模型中的损失信息；

则，第二生成模块，包括：

第二生成子模块，用于根据每一第一对抗样本的第一特征信息及第一损失信息、以及初始对抗样本的初始特征信息及初始损失信息，为初始对抗样本生成干扰信息。

在本公开的一个实施例中，第一生成模块，包括：

预测子模块，用于将初始对抗样本输入目标模型，得到目标模型输出的初始预测结果；

在本公开的一个实施例中，第一获取模块，包括：

第一获取第一子模块，用于利用目标模型的特征提取层，获取该第一对抗样本的第一特征信息；

在本公开的一个实施例中，第二获取模块，包括：

第二获取第一子模块，用于利用目标模型的特征提取层，获取初始对抗样本的初始特征信息；

第二获取第二子模块，用于利用目标模型的损失函数，获取初始对抗样本的初始损失信息。

在本公开的一个实施例中，第二生成子模块，包括：

确定单元，用于对于每一第一对抗样本，确定该第一对抗样本的第一特征信息与初始对抗样本的初始特征信息之间的特征差异；

生成单元，用于根据每一第一对抗样本对应的特征差异、每一第一对抗样本的第一损失信息以及初始对抗样本的初始损失信息，为初始对抗样本生成干扰信息。

在本公开的一个实施例中，生成单元，包括：

第一生成子单元，用于根据每一第一对抗样本对应的特征差异、每一第一对抗样本的第一损失信息以及初始对抗样本的初始损失信息，生成每一第一对抗样本和初始对抗样本各自对应的映射参数，映射参数反映了对应样本对目标模型的攻击程度；

第二生成子单元，用于根据每一第一对抗样本和初始对抗样本各自对应的映射参数，为初始对抗样本生成干扰信息。

通过函数最大化的方式，为初始对抗样本生成干扰信息。

根据本公开的一个或多个实施例，提供了一种电子设备，包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序配置用于执行上述生成对抗样本的方法。

根据本公开的一个或多个实施例，提供了一种计算机存储介质，包括：

其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述生成对抗样本的方法。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims

1.一种生成对抗样本的方法，其特征在于，包括：

对于每一第一对抗样本，获取该第一对抗样本的第一特征信息及第一损失信息，所述第一特征信息为利用所述目标模型从该第一对抗样本提取的特征信息，所述第一损失信息为该第一对抗样本在所述目标模型中的损失信息；

根据每一第一对抗样本的第一特征信息及第一损失信息，为所述初始对抗样本生成干扰信息；

为所述初始对抗样本添加所述干扰信息，得到所述目标模型的目标对抗样本。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述初始对抗样本的初始特征信息及初始损失信息，所述初始特征信息为利用所述目标模型从所述初始对抗样本提取的特征信息，所述初始损失信息为所述初始对抗样本在所述目标模型中的损失信息；

则，所述根据每一第一对抗样本的第一特征信息及第一损失信息，为所述初始对抗样本生成干扰信息，包括：

根据每一第一对抗样本的第一特征信息及第一损失信息、以及所述初始对抗样本的初始特征信息及初始损失信息，为所述初始对抗样本生成干扰信息。

3.根据权利要求1所述的方法，其特征在于，所述根据目标模型的初始对抗样本，生成至少一个第一对抗样本，包括：

将所述初始对抗样本输入所述目标模型，得到所述目标模型输出的初始预测结果；

利用所述初始预测结果，对所述初始对抗样本进行迭代运算，生成至少一个第一对抗样本。

4.根据权利要求1所述的方法，其特征在于，所述获取该第一对抗样本的第一特征信息及第一损失信息，包括：

利用所述目标模型的特征提取层，获取该第一对抗样本的第一特征信息；

利用所述目标模型的损失函数，获取该第一对抗样本的第一损失信息。

5.根据权利要求2所述的方法，其特征在于，所述获取所述初始对抗样本的初始特征信息及初始损失信息，包括：

利用所述目标模型的特征提取层，获取所述初始对抗样本的初始特征信息；

利用所述目标模型的损失函数，获取所述初始对抗样本的初始损失信息。

6.根据权利要求2-4任一项所述的方法，其特征在于，所述根据每一第一对抗样本的第一特征信息及第一损失信息、以及所述初始对抗样本的初始特征信息及初始损失信息，为所述初始对抗样本生成干扰信息，包括：

对于每一第一对抗样本，确定该第一对抗样本的第一特征信息与所述初始对抗样本的初始特征信息之间的特征差异；

根据每一第一对抗样本对应的特征差异、每一第一对抗样本的第一损失信息以及所述初始对抗样本的初始损失信息，为所述初始对抗样本生成干扰信息。

7.根据权利要求6所述的方法，其特征在于，所述根据每一第一对抗样本对应的特征差异、每一第一对抗样本的第一损失信息以及所述初始对抗样本的初始损失信息，为所述初始对抗样本生成干扰信息，包括：

根据每一第一对抗样本对应的特征差异、每一第一对抗样本的第一损失信息以及所述初始对抗样本的初始损失信息，生成每一第一对抗样本和所述初始对抗样本各自对应的映射参数，所述映射参数反映了对应样本对所述目标模型的攻击程度；

根据每一第一对抗样本和所述初始对抗样本各自对应的映射参数，为所述初始对抗样本生成干扰信息。

8.根据权利要求7所述的方法，其特征在于，所述生成每一第一对抗样本和所述初始对抗样本各自对应的映射参数，包括：

通过函数最小化的方式，生成每一第一对抗样本和所述初始对抗样本各自对应的映射参数。

9.根据权利要求7所述的方法，其特征在于，所述为所述初始对抗样本生成干扰信息，包括：

通过函数最大化的方式，为所述初始对抗样本生成干扰信息。

10.一种生成对抗样本的装置，其特征在于，包括：

第一获取模块，用于对于每一第一对抗样本，获取该第一对抗样本的第一特征信息及第一损失信息，所述第一特征信息为利用所述目标模型从该第一对抗样本提取的特征信息，所述第一损失信息为该第一对抗样本在所述目标模型中的损失信息；

第二生成模块，用于根据每一第一对抗样本的第一特征信息及第一损失信息，为所述初始对抗样本生成干扰信息；

添加模块，用于为所述初始对抗样本添加所述干扰信息，得到所述目标模型的目标对抗样本。

11.一种电子设备，其特征在于，其包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于：执行根据权利要求1～9任一项所述的生成对抗样本的方法。

12.一种计算机存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-9任一项所述的生成对抗样本的方法。