CN109902705A - 一种对象检测模型的对抗扰动生成方法和装置 - Google Patents

一种对象检测模型的对抗扰动生成方法和装置 Download PDF

Info

Publication number
CN109902705A
CN109902705A CN201811281358.0A CN201811281358A CN109902705A CN 109902705 A CN109902705 A CN 109902705A CN 201811281358 A CN201811281358 A CN 201811281358A CN 109902705 A CN109902705 A CN 109902705A
Authority
CN
China
Prior art keywords
disturbance rejection
sample
disturbance
pair
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811281358.0A
Other languages
English (en)
Inventor
徐名源
姚春凤
冯柏岚
黄凯奇
张俊格
陈晓棠
李德榜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Institute of Automation of Chinese Academy of Science
Original Assignee
Huawei Technologies Co Ltd
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd, Institute of Automation of Chinese Academy of Science filed Critical Huawei Technologies Co Ltd
Priority to CN201811281358.0A priority Critical patent/CN109902705A/zh
Publication of CN109902705A publication Critical patent/CN109902705A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明实施例公开了一种对象检测模型的对抗扰动生成方法和装置。该方法包括:获取第一对抗扰动和第一训练样本集。根据第一训练样本集中的第一训练样本和第一对抗扰动确定出第一对抗样本,基于对象检测模型确定出的第一对抗样本对应的第一目标对象置信度集合对上述第一对抗扰动进行第一次对抗扰动修正,以得到第二对抗扰动。后续每次从第一训练样本集获取新的训练样本后,会基于新的训练样本和上一次对抗扰动修正得到的对抗扰动再次修正得到新的对抗扰动。当N次修正得到的N个对抗扰动收敛时,将第N次对抗扰动修正得到的第N+1对抗扰动确定为对象检测模型对应的目标对抗扰动。采用本发明实施例,可提升对抗扰动生成方法的效率和适用性。

Description

一种对象检测模型的对抗扰动生成方法和装置
技术领域
本发明涉及计算机技术领域,尤其涉及一种对象检测模型的对抗扰动生成方法和装置。
背景技术
随着计算机技术和深度学习技术的不断发展,作为人工智能和计算机视觉领域的一个基本而且十分重要的研究重点,对象检测技术的发展也是不容忽视。现有环境下,对象检测技术已经可以在某些领域中进行实际应用,例如在自动驾驶或者智能视频监控中,对象检测技术均具有较大的实用价值。而且,可以预见的是,对象检测技术的应用领域还会不断的扩大,因此,人们对于对象检测技术中使用的对象检测算法的稳定性和安全性等问题也越发的关注。
现有技术中,为了提升某一对象检测算法的稳定性和安全性,人们针对该对象检测算法提出了一种攻击方法,即通过对抗扰动生成算法生成上述对象检测算法对应的对抗扰动,使得该对象检测算法无法从添加了对抗扰动后的待检测样本中准确检测出某些对象。从而后续再基于上述对抗扰动对上述对象检测算法进行修正,即可提升该对象检测算法的稳定性和安全性。但是,现有的对抗扰动生成方法生成的对抗扰动不具有通用性,即针对于一个对象检测算法会生成多个的对抗扰动,这就使得现有的对抗扰动生成方法数据处理量大,效率低,适用性差。
发明内容
本发明实施例提供了一种对象检测模型的对抗扰动生成方法和装置,可提升对抗扰动生成方法的效率,提升对抗扰动生成方法的适用性。
第一方面,本发明实施例提供了一种对象检测模型的对抗扰动生成方法。首先,获取第一对抗扰动和第一训练样本集。这里,上述第一训练样本集中可包括N个训练样本。然后,根据上述第一训练样本集中的第一训练样本和上述第一对抗扰动确定出第一对抗样本,再基于对象检测模型确定出上述第一对抗样本对应的第一目标对象置信度集合,并根据上述第一目标对象置信度集合对上述第一对抗扰动进行第一次对抗扰动修正,以得到第二对抗扰动。这里,一个目标对象置信度集合包括一个或者多个目标对象置信度。其后,每获取上述第一训练样本集中的第i训练样本时,可根据上述第i训练样本和获取上述第i训练样本之前的第i-1次对抗扰动修正得到的第i对抗扰动确定出第i对抗样本,并基于上述对象检测模型确定的上述第i对抗样本对应的第i目标对象置信度集合对上述第i对抗扰动进行第i次对抗扰动修正,以得到第i+1对抗扰动。这里,i为大于或者等于2并且小于或者等于N的正整数,当i为2时,上述第i对抗扰动为上述第二对抗扰动。最后,当N次修正得到的N个对抗扰动处于收敛状态时,将第N次对抗扰动修正得到的第N+1对抗扰动确定为上述对象检测模型对应的目标对抗扰动。
在本发明实施例中,在获取到包含有N个训练样本的第一训练样本集和第一对抗扰动后,可基于上述N个训练样本对上述第一对抗扰动进行N次对抗扰动修正。其中,第2次对抗扰动修正到第N次对抗扰的修正过程中,每次从第一训练样本集获取新的训练样本后,会基于新的训练样本和上一次对抗扰动修正得到的对抗扰动再次修正得到新的对抗扰动。这样当N次对抗扰动修正完成,并且得到的N个对抗扰动处于收敛状态时,即可将第N次对抗扰动修正得到的第N+1对抗扰动确定为对象检测模型的目标对抗扰动。通过N次迭代修正,可使得收敛后的第N+1对抗扰动具有通用性,即将第N+1对抗扰动添加到上述N个训练样本中的任意一个训练样本上,都可使得对象检测模型无法得到一个正确的检测结果。这样就避免了一个训练样本生成一个对抗扰动的情况发生,降低了对抗扰动生成方法的复杂度,提升了对抗样本生成方法的效率和适用性。
在一种可行的实施方式中,若N次修正得到的对抗扰动不处于收敛状态,还可获取上述第一训练样本集中的第二训练样本,根据上述第二训练样本和第N次对抗扰动修正得到的第N+1对抗扰动确定出第N+1对抗样本。然后基于上述对象检测模型确定的上述第N+1对抗样本对应的第N+1目标对象置信度集合对上述第N+1对抗扰动进行第N+1次对抗扰动修正,以得到上述对象检测模型对应的第N+2对抗扰动。再基于上述第一训练样本集中除了上述第二训练样本之外的N-1个训练样本对上述第N+2对抗扰动进行N-1次对抗扰动修正,直至2N次修正得到的2N个对抗扰动处于收敛状态时,将第2N次对抗扰动修正得到的第2N+1对抗扰动确定为上述对象检测模型对应的目标对抗扰动。在第一轮N次对抗扰动修正得到N个对抗扰动不处于收敛状态时,对上述的N次对抗扰动修正得到的第N+1对抗扰动再进行第二个N轮对抗扰动修正,以第一轮N轮次修正得到的对抗扰动为基础进行第二轮N次修正,可提升第二轮N次修正得到的对抗扰动与对象检测模型之间的关联性,也可使得第二轮N次修正过程中对抗扰动可以快速的收敛,提升对抗扰动生成方法的效率。
在一些可行的实施方式中,可基于上述对象检测模型对应的损失函数和上述第一目标置信度集合计算出上述第一对抗样本对应的第一损失值,并基于上述对象检测模型对应的梯度函数和上述第一损失值计算出上述第一对抗扰动对应的第一梯度值。然后根据上述第一对抗扰动和上述第一梯度值确定出上述对象检测模型对应的第二对抗扰动。
在一些可行的实施方式中,在获取到上述目标对抗扰动后,可获取目标测试样本集。这里,上述目标测试样本集中包含M个测试样本。然后根据上述M个测试样本和上述目标对抗扰动确定出上述对象检测模型对应的M个对抗样本。将上述M个对抗样本依次输入到上述对象检测模型,以得到上述M个对抗样本对应的M个目标对象置信度集合。其中,一个对抗样本对应一个目标对象置信度集合。然后,根据所述M个目标对象置信度集合确定在所述M个对抗样本中所述对象检测模型能检测到目标对象的对抗样本的个数S。若所述对象检测模型能检测到目标对象的对抗样本的个数S与所述目标测试样本集中测试样本的个数M的比值等于或者大于第一比例阈值,则确定所述目标对抗扰动无效。在目标测试样本集中的每个测试样本上加上目标对抗扰动得到相应的对抗样本,然后基于述对象检测模型能检测到目标对象的对抗样本的个数S与所述目标测试样本集中测试样本的个数M的比值判断上述目标对抗扰动的干扰能力,方法简单有效,可提升上述对抗扰动生成方法的可靠性。
在一些可行的实施方式中,在获取到上述目标对抗扰动后,可获取目标测试样本集。这里,上述目标测试样本集中包含M个测试样本。然后根据上述M个测试样本和上述目标对抗扰动确定出上述对象检测模型对应的M个对抗样本。将上述M个对抗样本依次输入到上述对象检测模型,以得到上述M个对抗样本对应的M个目标对象置信度。这里,一个对抗样本对应一个目标对象置信度集合。最后,根据上述M个目标对象置信度确定出上述对象检测模型在上述M个对抗样本中检测到的目标对象的个数T,若上述目标对象的个数T和M的比值等于或者大于第二比例阈值,则确定上述目标对抗扰动无效。根据目标测试样本集和目标对抗扰动确定出一系列对抗样本,然后基于对象检测模型在上述对抗样本的检测到的目标对象的个数和测试样本的个数的比值判断上述目标对抗扰动的干扰能力,一方面简化了对抗扰动生成方法的检测过程,另一方面也提升了上述对抗扰动生成方法的可靠性。
在一些可行的实施方式中,当确定上述目标对抗扰动无效时,可根据上述第一训练样本集中的一个或者多个训练样本确定出第二训练样本集。然后再根据上述第二训练样本集对上述第一训练样本集进行样本扩充,以得到第三训练样本集。最后基于上述第三训练样本集执行上述目标对抗扰动的对抗扰动修正。在确定上述目标对抗扰动无效时,可进行训练样本集的扩充,以更丰富的训练样本对上述对象检测模型的对抗扰动进行训练,方法简单,易于实现,可提升上述对抗扰动生成方法的适用性。
第二方面,本发明实施例提供了一种对抗扰动生成装置。该装置包括用于执行上述第一方面的任意一种可能的实现方式所提供的对抗扰动生成方法的单元,因此也能是实现第一方面提供的对抗扰动生成方法所具备的有益效果(或者优点)。
第三方面,本发明实施例提供了一种电子设备,该电子设备包括处理器、存储器,上述处理器和存储器相互连接,其中,上述存储器用于存储计算机程序,上述计算机程序包括程序指令,上述处理器被配置用于调用上述程序指令执行上述第一方面提供的对抗扰动生成方法,也能实现上述第一方面提供的对抗扰动生成方法所具备的有益效果。
第四方面,本发明实施例提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当该指令在计算机上运行时,使得计算机执行上述第一方面中任意一种可能的实现方式所提供的对抗扰动生成方法,也能实现第一方面提供的对抗扰动生成方法所具备的有益效果。
第五方面,本发明实施例提供了一种芯片,该芯片中包括与终端设备的收发器耦合,用于执行本发明实施例第一方面提供的技术方案。
第六方面,本发明实施例提供了一种芯片***,该芯片***包括处理器,用于支持终端设备实现上述第一方面中所涉及的功能,例如,生成或者处理上述第一方面提供的对抗扰动生成方法中所涉及的信息。在一种可能的设计中,上述芯片***还包括存储器,该存储器用于保存终端必需的程序指令和数据。该芯片***可以由芯片构成,也可以包含芯片和其他分立器件。
第七方面,本发明实施例提供了一种包含指令的计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述第一方面提供的对抗扰动生成方法,也能实现第一方面提供的对抗扰动生成方法所具备的有益效果。
采用本发明实施例,可提升对抗扰动生成方法的生成效率,提升对抗扰动生成方法的适用性。
附图说明
图1是本发明实施例提供的一种对象检测模型的对抗扰动生成方法的实施例流程示意图;
图2是本发明实施例提供的一种对象检测模型的对抗扰动生成装置一结构示意图;
图3是本发明实施例提供的一种对象检测模型的对抗扰动生成装置另一结构示意图;
图4是本发明实施例提供的一种电子装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
具体实现中,本发明实施例所描述的对象检测模型的对抗扰动生成方法可由台式电脑、膝上计算机、可穿戴设备等终端设备实现,此处不作限定。本发明实施例所描述的对象检测模型可为图像处理、语音处理等领域内用于识别目标物体或者目标语音等目标对象的检测模型,此处不作限定。在本发明实施例中,以终端设备为执行主体进行描述。
实施例一
请参见图1,图1是本发明实施例提供的一种对象检测模型的对抗扰动生成方法的流程示意图。为方便理解和描述,本发明实施例以图像处理领域内的对象检测模型为例详细描述其对抗扰动的生成方法。本发明实施例中所描述的目标对象可为待检测图像中包括的人、动物、建筑物等物体。需要说明的是,在本实施例中所描述的对抗扰动、对抗样本、目标对象置信度集合之前的第一、第二和第i仅用于区别不同次对抗扰动修正过程对应的对抗扰动、对抗样本或目标对象置信度集合,不具备其他限定作用。在本发明实施例中,对象检测模型可检测的目标对象固定,种类不唯一。并且,对象检测模型针对某一输入图像输出的检测结果可具体为一个目标对象置信度集合。其中,该目标对象置信度集合中包括一个或者多个目标对象置信度。上述目标对象置信度的个数由输入图像中包括的待检测的目标对象的个数确定。例如,某一对象检测模型用于检测是人、猫、狗这三种对象,其针对某一输入图像的输出的结果可具体为目标对象置信度集合“人,x%;猫,y%,狗,z%”。上述目标对象置信度集合中包括“人,x%”、“猫,y%”和“狗,z%”共三个目标对象对应于的目标对象置信度。当上述x%大于或等于预设置信度阈值,则基于该输出结果可确定输入图像中包含有“人”这一目标对象,即该对象检测模型在该输入图像中检测到目标对象。当上述x%小于上述预设置信度阈值,则确定该对象检测模型无法检测上述输入图像中包含的“人”这一目标对象。本发明实施例提供的对象检测模型的对抗扰动生成方法包括步骤:
S101,获取第一对抗扰动和第一训练样本集。
在一些可行的实施方式中,终端设备可先获取到第一训练样本集和第一对抗扰动。这里,上述第一训练样本集用于对上述第一对抗扰动进行迭代训练。上述第一训练训练样本集中可包括N个训练样本。上述第一对抗扰动可为预设的对抗扰动,也可通过初始化过程得到上述第一对抗扰动。这里,需要说明的是,对抗扰动具体为用于生成对象检测模型的对抗样本的干扰信息。
可选的,具体实现中,终端设备可从与其相连接的外部存储设备中获取预先设定的第一训练样本集。其中,上述外部存储设备可包括软盘、移动硬盘、U盘等,此处不作限定。或者,终端设备还可通过联网的方式从网络中获取到在图像领域中较为通用的数据集,然后将上述数据集中的部分或者全部训练数据确定为上述第一训练样本库。其中,上述训练数据包括训练图像以及训练图像对应的用于表示该训练图像内包含的目标对象的标签。例如,终端设备可从网络设备中下载MINIST数据集,然后从MINIST数据集中选择1000个训练数据组成上述第一训练样本集。这里,上述第一训练样本集中包括的训练样本的数量可基于具体实施场景确定。
可选的,具体实现中,上述第一对抗扰动可为终端设备预设的一个对抗扰动。例如,终端设备可将数据0确定为上述第一对抗扰动。或者,终端设备还可通过机器学习领域中常用的诸如标准初始化、高斯初始化等参数初始化方法初始化得到上述第一对抗扰动。例如,终端设备可基于均值为0,标准差为0.1的高斯分布取样得到上述第一对抗扰动。需要说明的是,上述第一对抗扰动以及下文中所描述的第二对抗扰动和第i对抗扰动均应满足预设的对抗扰动取值范围,这里,上述对抗扰动的取值范围可为多次对抗扰动训练得到的经验值。保证对抗扰动在上述预设的取值范围内,可使得基于训练样本和对抗扰动确定出的对抗样本与训练样本之间不存在明显差异,可使得训练得到的目标对抗扰动合理且有效。
在一些可行的实施方式中,当获取到的数据集中各训练数据的对应的图像尺寸和对象检测模型的输入图像尺寸要求不匹配时,终端设备可基于对象检测模型的输入图像要求对上述各训练数据进行图像拉伸或者收缩,以使得上述各训练数据的图像尺寸满足对象检测模型的输入图像尺寸的要求。
S102,根据上述第一训练样本集中的第一训练样本和上述第一对抗扰动确定出第一对抗样本,基于对象检测模型确定出上述第一对抗样本对应的第一目标对象置信度集合,并根据上述第一目标对象置信度集合对上述第一对抗扰动进行第一次对抗扰动修正,以得到第二对抗扰动。
在一些可行的实施方式中,终端设备在获取到上述第一训练样本集和上述第一对抗扰动后,可先从上述第一训练样本集中选择出第一训练样本,将上述第一对抗扰动添加到上述第一训练样本中,以得到第一对抗样本。然后,终端设备可将上述第一对抗样本输入到上述对象检测模型,并根据上述对象检测模型针对于上述第一对抗样本输出的第一目标对象置信度集合确定对上述第一对抗扰动进行修正,以得到第二对抗扰动。这里,上述第一目标对象置信度集合可包含一个或者多个目标对象置信度。上述目标对象置信度的个数由上述第一对抗样本中待检测的目标对象的个数确定。
可选的,具体实现中,终端设备在获取到上述第一训练样本集和上述第一对抗扰动后,可随机或者按照预设的选择顺序从上述第一训练样本集中包括的N个训练样本中提取出一个训练样本作为第一训练样本。然后,将上述第一对抗扰动添加到上述第一训练样本中,即在上述第一训练样本中的任意像素点上添加上述第一对抗扰动对应的数值,以得到上述第一训练样本对应的第一对抗样本。例如,上述第一训练样本中某一像素点的像素值为a,上述第一对抗扰动为b,则上述第一对抗样本中该像素点的像素值为a+b。这里,需要说明的是,实际应用中,若第一训练样本中某一像素点在添加扰动之后其像素值小于零,则可将该像素点的像素值置零。若某一像素点的在添加上述第一对抗扰动后其像素值大于预设的像素值上限值,则可将该像素点像素值确定为上述像素点上限值。
终端设备在获取到上述第一对抗样本后,可将上述第一对抗样本输入到上述对象检测模型中,并获取到上述对象检测模型针对上述第一对抗样本的第一目标对象置信度集合。然后,终端设备可基于上述第一目标对象置信度集合对上述第一对抗扰动进行第一次对抗扰动修正操作。具体的,终端设备可基于上述对象检测模型对应的预设的损失函数和上述第一目标对象置信度集合计算得到第一损失值。这里,上述损失函数用于确定对抗扰动的理想值和预测值之间的不一致程度。具体实现中,若上述第一目标对象置信度集合中仅包含一个目标对象置信度j,则终端设备可将该目标对象置信度j中包括的置信度值输入到上述损失函数中,并计算得到上述第一损失值。若上述第一目标对象置信度集合中包含多个目标对象置信度,这里假设为P个。则终端设备可将上述P个目标对象置信度中包括的P个置信度值分别输入到上述损失函数中,进而计算得到P个损失值。然后终端设备可计算出上述P个损失值的均值,并将该均值确定为上述第一损失值。可选的,上述损失函数可为均方差损失函数、Sigmiod激活函数、Svm合页损失函数等,此处不作限定。终端设备在获取到上述第一损失值之后,可基于梯度反向传播等方法完成对上述第一对抗扰动进行的第一次对抗扰动修正,以得到第二对抗扰动。具体的,终端设备可将上述第一损失值输入到预设的梯度函数,进而计算出第一梯度值,然后将上述第一对抗扰动和上述第一梯度值之和确定为第二对抗扰动。这里,需要说明的是,上述损失函数和梯度函数需保证最终计算得到的梯度值在预设的梯度值范围内,以确保后续修正后的对抗扰动在上述预设的对抗扰动取值范围内。
S103,获取上述第一训练样本集中的第i训练样本,根据上述第i训练样本和获取上述第i训练样本之前的第i-1次对抗扰动修正得到的第i对抗扰动确定出第i对抗样本,并基于上述对象检测模型确定的上述第i对抗样本对应的第i目标对象置信度集合对上述第i对抗扰动进行第i次对抗扰动修正,以得到第i+1对抗扰动。
在一些可行的实施方式中,在终端设备完成第一次对抗扰动修正并获取到第二对抗扰动后,终端设备在可随机或者按照上述选择顺序从上述第一训练集中除去已对应生成对抗样本的训练样本以外的N-i-1个训练样本中选取出第i训练样本。这里,i为大于或者等于2并且小于或者等于N的正整数。然后根据上述第i训练样本和获取上述第i训练样本之前的第i-1次对抗扰动修正得到的第i对抗扰动确定出第i对抗样本,并基于上述对象检测模型确定的上述第i对抗样本对应的第i目标对象置信度集合对上述第i对抗扰动进行第i次对抗扰动修正,以得到第i+1对抗扰动。
可选的,具体实现中,终端设备在完成上述第一次对抗扰动修正并得到第二对抗扰动后,在第二次对抗扰动修正到第N次对抗扰动修正之间的第i次对抗扰动修正过程中,终端设备可在上述N个训练样本中除第一训练样本、第二训练样本,……,第i-1训练样本以外的N-i+1个训练样本中确定出第i训练样本。然后,终端设备可将第i次对抗扰动修正之前的第i-1次对抗扰动确定出第i对抗扰动添加到上述第i对训练样本中,以得到第i对抗样本。具体添加过程可参见上文所描述的将第一对抗扰动添加至第一训练样本的过程,此处便不再赘述。然后,终端设备可将上述第i对抗样本输入到上述对象检测模型中,根据上述对象检测模型确定出上述第i对抗样本对应的第i目标对象置信度集合。然后,终端设备可基于上述第i目标对象置信度集合和上述损失函数计算得到第i损失值。具体过程可参见步骤S101中所描述的根据第一目标对象置信度集合和损失函数计算得到第一损失值的过程。然后。终端设备可将上述第i损失值输入到上述梯度函数中,以得到第i梯度值,最后将上述第i梯度值和上述第i对抗扰动之和确定为第i-1对抗扰动。例如,假设终端设备已经完成了4次对抗扰动修正,并获取到第五对抗扰动。然后,终端设备可在上述N个训练样本中除第一训练样本、第二训练样本、第三训练样本和第四训练样本以外的N-4个训练样本中确定出第五训练样本。终端设备在上述第五训练样本中添加上述第五对抗扰动,以得到第五对抗样本。然后,终端设备可将上述第五对抗样本输入到上述对象检测模型中,并得到上述第五对抗样本对应的第五目标对象置信度集合。其后,终端设备可基于上述第五目标对象置信度和上述损失函数计算得到第五损失值,并基于上述第五损失值和上述梯度函数计算得到第五梯度值。最后,终端设备可将上述第五对抗扰动和上述第五梯度值之和确定为第六对抗扰动。
S104,当N次修正得到的N个对抗扰动处于收敛状态时,将第N次对抗扰动修正得到的第N+1对抗扰动确定为上述对象检测模型对应的目标对抗扰动。
在一些可行的实施方式中,当终端设备完成第N次对抗扰动修正后,即第一轮对抗扰动修正完成后,可判断上述N次对抗扰动修正得到包括第一对抗扰动、第二对抗扰动,……,第N对抗扰动在内的N个对抗扰动是否处于收敛状态。若上述N个对抗扰动处于收敛状态,则将上述第N对抗扰动确定为对象检测模型对应的目标对抗扰动。若上述N个对抗扰动不处于收敛状态,则基于上述第一训练集中的N个训练样本对上述第N+1对抗扰动第二轮对抗扰动修正。
可选的,具体实现中,当终端设备完成第N次对抗扰动修正后,可判断上述N次对抗扰动修正得到包括第一对抗扰动、第二对抗扰动,……,第N对抗扰动在内的N个对抗扰动是否处于收敛状态。例如,终端设备可计算各级对抗扰动之间出的误差值,若确定上述误差值最终稳定在预设的误差值范围内,则可确定上述N个对抗扰动处于收敛状态。当终端设备判断出上述N个对抗扰动处于收敛状态时,则可将上述第N+1对抗扰动确定为对象检测模型对应的目标对抗扰动。可选的,若上述N个对抗扰动不处于收敛状态时,终端设备可基于上述N个训练样本对上述第N+1对抗扰动进行第二轮对抗扰动修正。具体的,终端设备可获取上述第一训练集中的第二训练样本,根据上述第二训练样本和第N次对抗扰动修正得到的第N+1对抗扰动确定出第N+1对抗样本。这里,上述第二训练样本和上述第一训练样本可为同一训练样本,也可不为同一训练样本。即终端设备在第二轮对抗扰动修正过程中从第一训练样本集中选择训练样本的顺序可与其在第一轮对抗扰动修正过程中选择训练样本的顺序相同,也可不同,此处不作限定。然后,终端设备可基于上述对象检测模型确定的上述第N+1对抗样本对应的第N+1目标对象置信度集合对上述第N+1对抗扰动进行第N+1次对抗扰动修正,以得到上述对象检测模型对应的第N+2对抗扰动。终端设备再基于上述第一训练集中除了上述第二训练样本之外的N-1个训练样本对上述第N+2对抗扰动进行N-1次对抗扰动修正,直至2N次修正得到的2N个对抗扰动处于收敛状态时,将第2N次对抗扰动修正得到的第2N+1对抗扰动确定为上述对象检测模型对应的目标对抗扰动。在第一轮N次对抗扰动修正得到N个对抗扰动不处于收敛状态时,对上述的N次对抗扰动修正得到的第N+1对抗扰动再进行第二个N轮对抗扰动修正,以第一轮N轮次修正得到的对抗扰动为基础进行第二轮N次修正,可提升第二轮N次修正得到的对抗扰动与对象检测模型之间的关联性,也可使得第二轮N次修正过程中对抗扰动可以快速的收敛,提升对抗扰动生成方法的效率。
可选的,在实际应用中,若上述N为基于多次训练实验得到的经验值,则当完成第N次对抗扰动修正后,可无需判断N个对抗扰动是否处于收敛状态,可直接将上述第N+1对抗扰动确定为对象检测模型的目标对抗扰动。这样可节省对抗扰动生成方法的数据处理量,提升对抗扰动生成方法的效率。
在本发明实施例中,终端设备通过多次迭代修正,可使得收敛后的第N+1对抗扰动具有通用性,即将第N+1对抗扰动添加到上述N个训练样本中的任意一个训练样本上,都可使得对象检测模型无法得到一个正确的检测结果。这样就避免了一个训练样本生成一个对抗扰动的情况发生,降低了对抗扰动生成方法的复杂度。
在一些可行的实施方式中,终端设备在获取到对象检测模型的目标对抗扰动后,可获取目标测试样本集。这里,上述目标测试样本集中包含M个测试样本。上述目标测试样本集为与上述第一测试样本集不同的测试样本集,上述目标测试样本集用于对上述目标对抗扰动进行测试训练。终端设备在获取到上述第二样本集后,可在上述M个测试样本中各个测试样本上添加上述目标对抗扰动,以确定出上述对象检测模型对应的M个对抗样本。在各个测试样本上添加目标对抗扰动的过程可参见上文上述的在第一测试样本上添加第一对抗扰动的过程,此处便不再赘述。然后,终端设备可将上述M个对抗样本依次输入到上述对象检测模型,以得到上述M个对抗样本对应的M个目标对象置信度集合。这里,一个对抗样本对应一个目标对象置信度。然后,终端设备可基于上述M个目标对象置信度集合确定上述M个对抗样本中对象检测模型能检测到目标对象的对抗样本的个数S。具体的,以上述M个目标对象置信度集合中某一目标对象置信度集合A为例,假设目标对象置信度集合A与M个对抗样本中的对抗样本B相对应。终端设备可判断目标对象置信度A中包括的一个或者多个目标对象置信度中是否存在至少一个目标对象置信度大于预设置信度阈值。若存在,则可确定上述对象检测模型在对抗样本B中能检测到目标对象。同理,终端设备重复上述操作,即可确定出上述M个对抗样本中对象检测模型能检测到目标对象的对抗样本的个数S。最后,终端设备可计算出所述对象检测模型能检测到目标对象的对抗样本的个数S与所述目标测试样本集中测试样本的个数M的比值S/M。若终端设备确定出上述比例值S/M等于或者大于预设的第一比例阈值,则可确定上述目标对抗扰动无效。终端设备在目标测试样本集中的每个测试样本上加上目标对抗扰动得到相应的对抗样本,然后基于述对象检测模型能检测到目标对象的对抗样本的个数S与所述目标测试样本集中测试样本的个数M的比值判断上述目标对抗扰动的干扰能力,方法简单有效,可提升上述对抗扰动生成方法的可靠性。
在一些可行的实施方式中,终端设备在得到上述M个对抗样本对应的M个目标对象置信度集合后,还可根据上述M个目标对象置信度集合确定出上述对象检测模型在上述M个对抗样本中检测到的目标对象的个数。具体的,以上述M个目标对象置信度集合中的目标对象置信度集合C为例,假设目标对象置信度集合C对应对抗样本D。终端设备可统计目标对象置信度集合C包括的一个或者多个目标对象置信度中等于或者大于预设置信度阈值的目标对象置信度的个数,并将该个数确定为对象检测模型在对抗样本D中检测到的目标对象的个数。同理,终端设备重复上述操作,即可得到上述对象检测模型在上述M个对抗样本中检测到的目标对象的个数T。其后,若终端设备确定上述目标对象的个数T和M的比值等于或者大于第二比例阈值,则确定上述目标对抗扰动无效。终端设备根据目标测试样本集和目标对抗扰动确定出一系列对抗样本,然后基于对象检测模型在上述对抗样本的检测到的目标对象的个数和对抗样本的个数的比值判断上述目标对抗扰动的干扰能力,一方面简化了对抗扰动生成方法的检测过程,另一方面也提升了上述对抗扰动生成方法的可靠性。
在一些可行的实施方式中,在终端设备确定上述目标对抗扰动无效时,还可根据上述第一训练样本集中的一个或者多个训练样本确定出第二训练样本集。例如,终端设备可通过对上述第一训练样本集中各训练样本进行旋转、镜像或者添加微量随机噪声以得到第二训练样本集。然后,终端设备可根据上述第二训练样本集对上述第一训练样本集进行样本扩充,以得到第三训练样本集。例如,将上述第一训练样本集中的N个训练样本和上述第二训练样本集中的部分或者全部训练样本进行组合,以得到第三训练样本。最后,终端设备可基于上述第三训练样本集执行上述目标对抗扰动的对抗扰动修正。具体修正过程可参见上文所描述的对抗扰动修正的过程,此处便不再赘述。终端设备在确定上述目标对抗扰动无效时,可进行训练样本集的扩充,以更丰富的训练样本对上述对象检测模型的对抗扰动进行训练,方法简单,易于实现,可提升对抗扰动生成方法的适用性。
在一些可行的实施方式中,终端设备在进行对抗样本的生成操作时,可基于预设的判断条件在训练样本中确定出目标添加区域,然后仅在目标添加区域内的图像上添加对抗扰动,以得到对抗样本。这里,上述预设的判断条件包括包含重点检测对象的区域。上述重点检测对象为预设的对目标对象检测影响较大的子对象。例如,检测的目标对象为人脸,则人眼、嘴巴等部位即可为上述重点检测对象。然后,终端设备可基于上述对抗样本进行对抗扰动修正。具体修正操作可参见上文上述的对抗扰动修正操作,此处便不再赘述。终端设备通过上述操作最终可训练得到与上述重点检测对象相关联的目标对抗扰动,可用于验证上述重点检测对象包含的特征对上述对象检测模型的贡献度,这也进一步提升了对抗扰动生成方法的灵活性和适用性。
在本发明实施例中,终端设备在获取到包含有N个训练样本的第一训练样本集和第一对抗扰动后,可基于上述N个训练样本对上述第一对抗扰动进行N次对抗扰动修正。其中,第2次对抗扰动修正到第N次对抗扰的修正过程中,每次从第一训练样本集获取新的训练样本后,会基于新的训练样本和上一次对抗扰动修正得到的对抗扰动再次修正得到新的对抗扰动。这样当N次对抗扰动修正完成,并且得到的N个对抗扰动处于收敛状态时,即可将第N次对抗扰动修正得到的第N+1对抗扰动确定为对象检测模型的目标对抗扰动。终端设备通过N次迭代修正,可使得收敛后的第N+1对抗扰动具有通用性,即将第N+1对抗扰动添加到上述N个训练样本中的任意一个训练样本上,都可使得对象检测模型无法得到一个正确的检测结果。这样就避免了一个训练样本生成一个对抗扰动的情况发生,降低了对抗扰动生成方法的复杂度,提升了对抗样本生成方法的效率和适用性。
实施例二
请参见图2,图2是本发明实施例提供的一种对象检测模型的对抗扰动生成装置一结构示意图。上述对抗扰动生成装置包括:
获取单元10,用于获取第一对抗扰动和第一训练样本集,上述第一训练样本集中包括N个训练样本。
对抗扰动修正单元20,用于根据上述获取单元10得到的上述第一训练样本集中的第一训练样本和上述第一对抗扰动确定出第一对抗样本,基于对象检测模型确定出上述第一对抗样本对应的第一目标对象置信度集合,并根据上述第一目标对象置信度集合对上述第一对抗扰动进行第一次对抗扰动修正,以得到第二对抗扰动。
上述对抗扰动修正单元20,还用于获取上述获取单元10得到的第一训练样本集中的第i训练样本。根据上述第i训练样本和获取上述第i训练样本之前的第i-1次对抗扰动修正得到的第i对抗扰动确定出第i对抗样本,并基于上述对象检测模型确定的上述第i对抗样本对应的第i目标对象置信度集合对上述第i对抗扰动进行第i次对抗扰动修正,以得到第i+1对抗扰动。这里,i为大于或者等于2并且小于或者等于N的正整数,当i为2时,上述第i对抗扰动为上述第二对抗扰动。
目标对抗扰动确定单元30,用于当上述对抗扰动修正单元20N次修正得到的N个对抗扰动处于收敛状态时,将第N次对抗扰动修正得到的第N+1对抗扰动确定为上述对象检测模型对应的目标对抗扰动。
在一些可行的实施方式中,若N次修正得到的对抗扰动不处于收敛状态,上述对抗扰动修正单元20还用于获取上述获取单元10得到的上述第一训练样本集中的第二训练样本,根据上述第二训练样本和第N次对抗扰动修正得到的第N+1对抗扰动确定出第N+1对抗样本。上述对抗扰动修正单元20,还用于基于上述对象检测模型确定的上述第N+1对抗样本对应的第N+1目标对象置信度对上述第N+1对抗扰动进行第N+1次对抗扰动修正,以得到上述对象检测模型对应的第N+2对抗扰动。上述对抗扰动修正单元20,还用于基于上述第一训练样本集中除了上述第二训练样本之外的N-1个训练样本对上述第N+2对抗扰动进行N-1次对抗扰动修正。上述目标对抗扰动确定单元30,用于当上述对抗扰动修正单元20 2N次修正得到的2N个对抗扰动处于收敛状态时,将第2N次对抗扰动修正得到的第2N+1对抗扰动确定为上述对象检测模型对应的目标对抗扰动。
在一些可行的实施方式中,上述对抗扰动修正单元20用于:
基于上述对象检测模型对应的损失函数和上述第一目标置信度集合计算出上述第一对抗样本对应的第一损失值,并基于上述对象检测模型对应的梯度函数和上述第一损失值计算出上述第一对抗扰动对应的第一梯度值。根据上述第一对抗扰动和上述第一梯度值确定出上述对象检测模型对应的第二对抗扰动。
在一些可行的实施方式中,请一并参见图3,图3是本发明实施例提供的一种对象检测模型的对抗扰动生成装置的另一结构示意图。由图3可知,上述对抗扰动生成装置还包括:检测单元40。上述获取单元10还用于:获取目标测试样本集。其中,上述目标测试样本集中包含M个测试样本。上述检测单元40用于:根据上述M个测试样本和上述目标对抗扰动确定出上述对象检测模型对应的M个对抗样本。将上述M个对抗样本依次输入到上述对象检测模型,以得到上述M个对抗样本对应的M个目标对象置信度集合。其中,一个对抗样本对应一个目标对象置信度集合。然后,根据所述M个目标对象置信度集合确定在所述M个对抗样本中所述对象检测模型能检测到目标对象的对抗样本的个数S。若所述对象检测模型能检测到目标对象的对抗样本的个数S与所述目标测试样本集中测试样本的个数M的比值等于或者大于第一比例阈值,则确定所述目标对抗扰动无效。
在一些可行的实施方式中,上述获取单元10还用于:获取目标测试样本集。其中,上述目标测试样本集中包含M个测试样本。上述检测单元40用于:根据上述M个测试样本和上述目标对抗扰动确定出上述对象检测模型对应的M个对抗样本,将上述M个对抗样本依次输入到上述对象检测模型,以得到上述M个对抗样本对应的M个目标对象置信度集合。其中,一个对抗样本对应一个目标对象置信度集合。根据上述M个目标对象置信度确定出上述对象检测模型在上述M个对抗样本中检测到的目标对象的个数T,若上述目标对象的个数T和M的比值等于或者大于第二比例阈值,则确定上述目标对抗扰动无效。
在一些可行的实施方式中,请一并参见图3,由图3可知,上述对抗扰动生成装置还包括:样本扩充单元50。上述样本扩充单元50用于根据上述第一训练样本集中的一个或者多个训练样本确定出第二训练样本集。根据上述第二训练样本集对上述第一训练样本集进行样本扩充,以得到第三训练样本集。上述对抗扰动修正单元20,还用于基于上述第三训练样本集执行上述目标对抗扰动的对抗扰动修正。
在一些可行的实施方式中,获取单元10可获取第一对抗扰动和第一训练样本集,具体过程可参见实施例一中步骤S101中所描述的获取第一对抗扰动和第一训练样本集的过程,此处便不再赘述。对抗扰动修正单元20可根据上述获取单元10得到的上述第一训练样本集中的第一训练样本和上述第一对抗扰动确定出第一对抗样本,再基于对象检测模型确定出上述第一对抗样本对应的第一目标对象置信度集合,并根据上述第一目标对象置信度集合对上述第一对抗扰动进行第一次对抗扰动修正,以得到第二对抗扰动。具体过程可参见步骤S102中所描述的确定第二对抗扰动的过程,此处便不再赘述。然后,对抗扰动修正单元20还可获取上述第一训练样本集中的第i训练样本,根据上述第i训练样本和获取上述第i训练样本之前的第i-1次对抗扰动修正得到的第i对抗扰动确定出第i对抗样本,并基于上述对象检测模型确定的上述第i对抗样本对应的第i目标对象置信度集合对上述第i对抗扰动进行第i次对抗扰动修正,以得到第i+1对抗扰动。具体过程可参见步骤S103所描述的完成第i次对抗扰动修正的过程,此处便不再赘述。在对抗扰动修正单元完成第N次对抗扰动修正后,目标对抗扰动确定单元30可在确定对抗扰动修正单元20N次修正得到的N个对抗扰动处于收敛状态时,将第N次对抗扰动修正得到的第N+1对抗扰动确定为上述对象检测模型对应的目标对抗扰动。具体过程可参见实施例一中步骤S104所描述的确定目标对抗扰动的过程,此处便不再赘述。
可选,若目标对抗扰动确定单元30确定上述N个对抗扰动不处于收敛状态,则上述对抗扰动修正单元20可基于上述第一训练集对上述第N对抗扰动再进行一轮N次的对抗扰动修正,具体过程可参见实施例一步骤S104中描述的第二轮对抗扰动修正的过程,此处便不再赘述。
可选的,在目标对抗扰动确定单元30确定出目标对抗扰动后,检测单元40可获取目标测试样本集,并基于目标测试样本集的M个测试样本对上述目标对抗扰动进行测试训练,具体过程可参见实施例一中步骤S104所描述的测试训练的过程,此处不再赘述。
可选的,当检测单元40确定上述目标对抗扰动无效时,样本扩充单元50可对上述第一训练样本进行样本扩充,以得到第三训练样本。然后上述对抗扰动修正单元20可基于上述第三训练集重新执行对抗扰动修正操作。具体过程可参见实施例一中步骤S104中所描述的样本扩充过程,此处便不再赘述。
在本发明实施例中,获取单元10获取到包含有N个训练样本的第一训练样本集和第一对抗扰动后,对抗扰动修正单元20可基于上述N个训练样本对上述第一对抗扰动进行N次对抗扰动修正。这样当N次对抗扰动修正完成,并且得到的N个对抗扰动处于收敛状态时,即可将第N次对抗扰动修正得到的第N+1对抗扰动确定为对象检测模型的目标对抗扰动。通过N次迭代修正,可使得收敛后的第N+1对抗扰动具有通用性,即将第N+1对抗扰动添加到上述N个训练样本中的任意一个训练样本上,都可使得对象检测模型无法得到一个正确的检测结果。这样就避免了一个训练样本生成一个对抗扰动的情况发生,降低了对抗扰动生成方法的复杂度,提升了对抗样本生成方法的效率和适用性。
请参见图4,图4是本发明实施例提供的一种电子设备的结构示意图。本发明实施例提供的电子设备包括处理器401、存储器402和总线***403。其中,上述处理器401、存储器402通过总线***403连接。
上述存储器402用于存放程序。具体地,程序可以包括程序代码,程序代码包括计算机操作指令。存储器402包括但不限于是随机存储记忆体(random access memory,RAM)、只读存储器(read-only memory,ROM)、可擦除可编程只读存储器(erasable programmableread only memory,EPROM)、或便携式只读存储器(compact disc read-only memory,CD-ROM)。图4中仅示出了一个存储器,当然,存储器也可以根据需要,设置为多个。
存储器402也可以是处理器401中的存储器,在此不做限制。
存储器402存储了如下的元素,可执行模块或者数据结构,或者它们的子集,或者它们的扩展集:
操作指令:包括各种操作指令,用于实现各种操作。
操作***:包括各种***程序,用于实现各种基础业务以及处理基于硬件的任务。
上述处理器401控制电子设备的操作,处理器401可以是一个或多个中央处理器(central processing unit,CPU)。在处理器401是一个CPU的情况下,该CPU可以是单核CPU,也可以是多核CPU。
具体的应用中,电子设备的各个组件通过总线***403耦合在一起,其中总线***403除包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见,在图4中将各种总线都标为总线***403。为便于表示,图4中仅是示意性画出。
本发明实施例揭示的对象检测模型的对抗扰动生成方法可以应用于处理器401中,或者由处理器401实现。处理器401可能是一种集成电路芯片,具有信号的处理能力。
本发明的实施例中提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当该指令在计算机上运行时,可实现上述实施例一中所描述的一种对象检测模型的对抗扰动生成方法。
上述计算机可读存储介质可以是前述任一实施例所述的对象检测模型的对抗扰动生成装置的内部存储单元,例如对象检测模型的对抗扰动生成装置的硬盘或内存。上述计算机可读存储介质也可以是上述终端设备的外部存储设备,例如所述终端设备上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,上述计算机可读存储介质还可以既包括上述终端设备的内部存储单元也包括外部存储设备。上述计算机可读存储介质用于存储上述计算机程序以及上述终端设备所需的其他程序和数据。上述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。

Claims (13)

1.一种对象检测模型的对抗扰动生成方法,其特征在于,所述方法包括:
获取第一对抗扰动和第一训练样本集,所述第一训练样本集中包括N个训练样本;
根据所述第一训练样本集中的第一训练样本和所述第一对抗扰动确定出第一对抗样本,基于对象检测模型确定出所述第一对抗样本对应的第一目标对象置信度集合,并根据所述第一目标对象置信度集合对所述第一对抗扰动进行第一次对抗扰动修正,以得到第二对抗扰动,其中,一个目标对象置信度集合包括一个或者多个目标对象置信度;
获取所述第一训练样本集中的第i训练样本,根据所述第i训练样本和获取所述第i训练样本之前的第i-1次对抗扰动修正得到的第i对抗扰动确定出第i对抗样本,并基于所述对象检测模型确定的所述第i对抗样本对应的第i目标对象置信度集合对所述第i对抗扰动进行第i次对抗扰动修正,以得到第i+1对抗扰动,其中,i为大于或者等于2并且小于或者等于N的正整数,当i为2时,所述第i对抗扰动为所述第二对抗扰动;
当N次修正得到的N个对抗扰动处于收敛状态时,将第N次对抗扰动修正得到的第N+1对抗扰动确定为所述对象检测模型对应的目标对抗扰动。
2.如权利要求1所述的方法,其特征在于,若N次修正得到的对抗扰动不处于收敛状态,所述方法还包括:
获取所述第一训练样本集中的第二训练样本,根据所述第二训练样本和第N次对抗扰动修正得到的第N+1对抗扰动确定出第N+1对抗样本;
基于所述对象检测模型确定的所述第N+1对抗样本对应的第N+1目标对象置信度集合对所述第N+1对抗扰动进行第N+1次对抗扰动修正,以得到所述对象检测模型对应的第N+2对抗扰动;
基于所述第一训练样本集中除了所述第二训练样本之外的N-1个训练样本对所述第N+2对抗扰动进行N-1次对抗扰动修正,直至2N次修正得到的2N个对抗扰动处于收敛状态时,将第2N次对抗扰动修正得到的第2N+1对抗扰动确定为所述对象检测模型对应的目标对抗扰动。
3.如权利要求1或2所述的方法,其特征在于,所述根据所述第一目标对象置信度集合对所述第一对抗扰动进行第一次对抗扰动修正,以得到第二对抗扰动包括:
基于所述对象检测模型对应的损失函数和所述第一目标对象置信度集合计算出所述第一对抗样本对应的第一损失值,并基于所述对象检测模型对应的梯度函数和所述第一损失值计算出所述第一对抗扰动对应的第一梯度值;
根据所述第一对抗扰动和所述第一梯度值确定出所述对象检测模型对应的第二对抗扰动。
4.根据权利要求1-3任一项所述的方法,其特征在于,在确定出所述对象检测模型对应的目标对抗扰动后,所述方法还包括:
获取目标测试样本集,其中,所述目标测试样本集中包含M个测试样本;
根据所述M个测试样本和所述目标对抗扰动确定出所述对象检测模型对应的M个对抗样本;
将所述M个对抗样本依次输入到所述对象检测模型,以得到所述M个对抗样本对应的M个目标对象置信度集合,其中,一个对抗样本对应一个目标对象置信度集合;
根据所述M个目标对象置信度集合在所述M个对抗样本中确定出所述对象检测模型能检测到目标对象的对抗样本的个数S;
若所述对象检测模型能检测到目标对象的对抗样本的个数S与所述目标测试样本集中测试样本的个数M的比值等于或者大于第一比例阈值,则确定所述目标对抗扰动无效。
5.根据权利要求1-3任一项所述的方法,其特征在于,在确定出所述对象检测模型对应的目标对抗扰动后,所述方法还包括:
获取目标测试样本集,其中,所述目标测试样本集中包含M个测试样本;
根据所述M个测试样本和所述目标对抗扰动确定出所述对象检测模型对应的M个对抗样本;
将所述M个对抗样本依次输入到所述对象检测模型,以得到所述M个对抗样本对应的M个目标对象置信度集合,其中,一个对抗样本对应一个目标对象置信度集合;
根据所述M个目标对象置信度集合确定出所述对象检测模型在所述M个对抗样本中检测到的目标对象的个数T;
若所述目标对象的个数T和所述目标测试样本中包含的测试样本的个数M的比值等于或者大于第二比例阈值,则确定所述目标对抗扰动无效。
6.根据权利要求4或5所述的方法,其特征在于,当确定所述目标对抗扰动无效时,所述方法还包括:
根据所述第一训练样本集中的一个或者多个训练样本确定出第二训练样本集;
根据所述第二训练样本集对所述第一训练样本集进行样本扩充,以得到第三训练样本集;
基于所述第三训练样本集执行所述目标对抗扰动的对抗扰动修正。
7.一种对象检测模型的对抗扰动生成装置,其特征在于,所述装置包括:
获取单元,用于获取第一对抗扰动和第一训练样本集,所述第一训练样本集中包括N个训练样本;
对抗扰动修正单元,用于根据所述获取单元得到的所述第一训练样本集中的第一训练样本和所述第一对抗扰动确定出第一对抗样本,基于对象检测模型确定出所述第一对抗样本对应的第一目标对象置信度集合,并根据所述第一目标对象置信度集合对所述第一对抗扰动进行第一次对抗扰动修正,以得到第二对抗扰动,其中,一个目标对象置信度集合包括一个或者多个目标对象置信度;
所述对抗扰动修正单元,还用于获取所述获取单元得到的第一训练样本集中的第i训练样本,根据所述第i训练样本和获取所述第i训练样本之前的第i-1次对抗扰动修正得到的第i对抗扰动确定出第i对抗样本,并基于所述对象检测模型确定的所述第i对抗样本对应的第i目标对象置信度集合对所述第i对抗扰动进行第i次对抗扰动修正,以得到第i+1对抗扰动,其中,i为大于或者等于2并且小于或者等于N的正整数,当i为2时,所述第i对抗扰动为所述第二对抗扰动;
目标对抗扰动确定单元,用于当所述对抗扰动修正单元N次修正得到的N个对抗扰动处于收敛状态时,将第N次对抗扰动修正得到的第N+1对抗扰动确定为所述对象检测模型对应的目标对抗扰动。
8.根据权利要求7所述的装置,其特征在于,若N次修正得到的对抗扰动不处于收敛状态,所述对抗扰动修正单元用于:
获取所述获取单元得到的所述第一训练样本集中的第二训练样本,根据所述第二训练样本和第N次对抗扰动修正得到的第N+1对抗扰动确定出第N+1对抗样本;
所述对抗扰动修正单元,还用于基于所述对象检测模型确定的所述第N+1对抗样本对应的第N+1目标对象置信度集合对所述第N+1对抗扰动进行第N+1次对抗扰动修正,以得到所述对象检测模型对应的第N+2对抗扰动;
所述对抗扰动修正单元,还用于基于所述第一训练样本集中除了所述第二训练样本之外的N-1个训练样本对所述第N+2对抗扰动进行N-1次对抗扰动修正;
所述目标对抗扰动确定单元,用于当所述对抗扰动修正单元2N次修正得到的2N个对抗扰动处于收敛状态时,将第2N次对抗扰动修正得到的第2N+1对抗扰动确定为所述对象检测模型对应的目标对抗扰动。
9.根据权利要求7或8所述的装置,其特征在于,所述对抗扰动修正单元用于:
基于所述对象检测模型对应的损失函数和所述第一目标对象置信度集合计算出所述第一对抗样本对应的第一损失值,并基于所述对象检测模型对应的梯度函数和所述第一损失值计算出所述第一对抗扰动对应的第一梯度值;
根据所述第一对抗扰动和所述第一梯度值确定出所述对象检测模型对应的第二对抗扰动。
10.根据权利要求7-9任一项所述的装置,其特征在于,所述装置还包括检测单元;
所述获取单元还用于:获取目标测试样本集,其中,所述目标测试样本集中包含M个测试样本;
所述检测单元用于:根据所述M个测试样本和所述目标对抗扰动确定出所述对象检测模型对应的M个对抗样本;
所述检测单元还用于:将所述M个对抗样本依次输入到所述对象检测模型,以得到所述M个对抗样本对应的M个目标对象置信度集合,其中,一个对抗样本对应一个目标对象置信度集合;
所述检测单元还用于:根据所述M个目标对象置信度集合在所述M个对抗样本中确定出所述对象检测模型能检测到目标对象的对抗样本的个数S;
所述检测单元还用于:若所述对象检测模型能检测到目标对象的对抗样本的个数S与所述目标测试样本集中测试样本的个数M的比值等于或者大于第一比例阈值,则确定所述目标对抗扰动无效。
11.根据权利要求7-9任一项所述的装置,其特征在于,所述装置还包括检测单元;
所述获取单元还用于:获取目标测试样本集,其中,所述目标测试样本集中包含M个测试样本;
所述检测单元,用于:根据所述M个测试样本和所述目标对抗扰动确定出所述对象检测模型对应的M个对抗样本,将所述M个对抗样本依次输入到所述对象检测模型,以得到所述M个对抗样本对应的M个目标对象置信度集合,其中,一个对抗样本对应一个目标对象置信度集合;
所述检测单元,还用于:根据所述M个目标对象置信度集合确定出所述对象检测模型在所述M个对抗样本中检测到的目标对象的个数T;
若所述目标对象的个数T和所述目标测试样本中包含的测试样本的个数M的比值等于或者大于第二比例阈值,则确定所述目标对抗扰动无效。
12.根据权利要求10或11所述的方法,其特征在于,所述装置还包括:
样本扩充单元,根据所述第一训练样本集中的一个或者多个训练样本确定出第二训练样本集;
根据所述第二训练样本集对所述第一训练样本集进行样本扩充,以得到第三训练样本集;
基于所述第三训练样本集执行所述目标对抗扰动的对抗扰动修正。
13.一种计算机可读存储介质,其特征在于,包括指令,所述指令在计算机上运行时,使得计算机执行如权利要求1-6任一项所述的方法。
CN201811281358.0A 2018-10-30 2018-10-30 一种对象检测模型的对抗扰动生成方法和装置 Pending CN109902705A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811281358.0A CN109902705A (zh) 2018-10-30 2018-10-30 一种对象检测模型的对抗扰动生成方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811281358.0A CN109902705A (zh) 2018-10-30 2018-10-30 一种对象检测模型的对抗扰动生成方法和装置

Publications (1)

Publication Number Publication Date
CN109902705A true CN109902705A (zh) 2019-06-18

Family

ID=66943337

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811281358.0A Pending CN109902705A (zh) 2018-10-30 2018-10-30 一种对象检测模型的对抗扰动生成方法和装置

Country Status (1)

Country Link
CN (1) CN109902705A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363243A (zh) * 2019-07-12 2019-10-22 腾讯科技(深圳)有限公司 分类模型的评估方法和装置
CN110741388A (zh) * 2019-08-14 2020-01-31 东莞理工学院 对抗样本检测方法、装置、计算设备及计算机存储介质
CN110909258A (zh) * 2019-11-22 2020-03-24 上海喜马拉雅科技有限公司 一种信息推荐方法、装置、设备及存储介质
CN110992951A (zh) * 2019-12-04 2020-04-10 四川虹微技术有限公司 一种基于对抗样本保护个人隐私的方法
CN111723865A (zh) * 2020-06-19 2020-09-29 北京瑞莱智慧科技有限公司 评估图像识别模型、攻击方法性能的方法、装置和介质
CN111738373A (zh) * 2020-08-28 2020-10-02 北京瑞莱智慧科技有限公司 多样本对抗扰动生成方法、装置、存储介质和计算设备
CN111738374A (zh) * 2020-08-28 2020-10-02 北京智源人工智能研究院 多样本对抗扰动生成方法、装置、存储介质和计算设备
CN111814916A (zh) * 2020-08-28 2020-10-23 北京智源人工智能研究院 多样本对抗扰动生成方法、装置、存储介质和计算设备
CN112232426A (zh) * 2020-10-21 2021-01-15 平安国际智慧城市科技股份有限公司 目标检测模型的训练方法、装置、设备及可读存储介质
CN113378118A (zh) * 2020-03-10 2021-09-10 百度在线网络技术(北京)有限公司 处理图像数据的方法、装置、电子设备和计算机存储介质
CN113408558A (zh) * 2020-03-17 2021-09-17 百度在线网络技术(北京)有限公司 用于模型验证的方法、装置、设备和介质
WO2021258914A1 (zh) * 2020-06-24 2021-12-30 深圳前海微众银行股份有限公司 一种序列标注模型的训练方法及装置
CN114764616A (zh) * 2022-04-01 2022-07-19 中国工程物理研究院计算机应用研究所 一种基于触发条件的对抗样本生成方法及***
WO2023087759A1 (zh) * 2021-11-18 2023-05-25 华为技术有限公司 一种深度学习模型的测试方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018028255A1 (zh) * 2016-08-11 2018-02-15 深圳市未来媒体技术研究院 基于对抗网络的图像显著性检测方法
CN108446700A (zh) * 2018-03-07 2018-08-24 浙江工业大学 一种基于对抗攻击的车牌攻击生成方法
CN108491837A (zh) * 2018-03-07 2018-09-04 浙江工业大学 一种提高车牌攻击鲁棒性的对抗攻击方法
CN108537271A (zh) * 2018-04-04 2018-09-14 重庆大学 一种基于卷积去噪自编码机防御对抗样本攻击的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018028255A1 (zh) * 2016-08-11 2018-02-15 深圳市未来媒体技术研究院 基于对抗网络的图像显著性检测方法
CN108446700A (zh) * 2018-03-07 2018-08-24 浙江工业大学 一种基于对抗攻击的车牌攻击生成方法
CN108491837A (zh) * 2018-03-07 2018-09-04 浙江工业大学 一种提高车牌攻击鲁棒性的对抗攻击方法
CN108537271A (zh) * 2018-04-04 2018-09-14 重庆大学 一种基于卷积去噪自编码机防御对抗样本攻击的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KONDA REDDY MOPURI等: "Generalizable Data-Free Objective for Crafting Universal Adversarial Perturbations", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, pages 2452 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363243A (zh) * 2019-07-12 2019-10-22 腾讯科技(深圳)有限公司 分类模型的评估方法和装置
CN110741388A (zh) * 2019-08-14 2020-01-31 东莞理工学院 对抗样本检测方法、装置、计算设备及计算机存储介质
CN110741388B (zh) * 2019-08-14 2023-04-14 东莞理工学院 对抗样本检测方法、装置、计算设备及计算机存储介质
CN110909258A (zh) * 2019-11-22 2020-03-24 上海喜马拉雅科技有限公司 一种信息推荐方法、装置、设备及存储介质
CN110909258B (zh) * 2019-11-22 2023-09-29 上海喜马拉雅科技有限公司 一种信息推荐方法、装置、设备及存储介质
CN110992951A (zh) * 2019-12-04 2020-04-10 四川虹微技术有限公司 一种基于对抗样本保护个人隐私的方法
CN113378118B (zh) * 2020-03-10 2023-08-22 百度在线网络技术(北京)有限公司 处理图像数据的方法、装置、电子设备和计算机存储介质
CN113378118A (zh) * 2020-03-10 2021-09-10 百度在线网络技术(北京)有限公司 处理图像数据的方法、装置、电子设备和计算机存储介质
CN113408558B (zh) * 2020-03-17 2024-03-08 百度在线网络技术(北京)有限公司 用于模型验证的方法、装置、设备和介质
CN113408558A (zh) * 2020-03-17 2021-09-17 百度在线网络技术(北京)有限公司 用于模型验证的方法、装置、设备和介质
CN111723865A (zh) * 2020-06-19 2020-09-29 北京瑞莱智慧科技有限公司 评估图像识别模型、攻击方法性能的方法、装置和介质
WO2021258914A1 (zh) * 2020-06-24 2021-12-30 深圳前海微众银行股份有限公司 一种序列标注模型的训练方法及装置
CN111738373A (zh) * 2020-08-28 2020-10-02 北京瑞莱智慧科技有限公司 多样本对抗扰动生成方法、装置、存储介质和计算设备
CN111738373B (zh) * 2020-08-28 2022-09-02 北京瑞莱智慧科技有限公司 多样本对抗扰动生成方法、装置、存储介质和计算设备
CN111814916B (zh) * 2020-08-28 2020-12-29 北京智源人工智能研究院 多样本对抗扰动生成方法、装置、存储介质和计算设备
CN111814916A (zh) * 2020-08-28 2020-10-23 北京智源人工智能研究院 多样本对抗扰动生成方法、装置、存储介质和计算设备
CN111738374A (zh) * 2020-08-28 2020-10-02 北京智源人工智能研究院 多样本对抗扰动生成方法、装置、存储介质和计算设备
CN112232426A (zh) * 2020-10-21 2021-01-15 平安国际智慧城市科技股份有限公司 目标检测模型的训练方法、装置、设备及可读存储介质
CN112232426B (zh) * 2020-10-21 2024-04-02 深圳赛安特技术服务有限公司 目标检测模型的训练方法、装置、设备及可读存储介质
WO2023087759A1 (zh) * 2021-11-18 2023-05-25 华为技术有限公司 一种深度学习模型的测试方法和装置
CN114764616A (zh) * 2022-04-01 2022-07-19 中国工程物理研究院计算机应用研究所 一种基于触发条件的对抗样本生成方法及***
CN114764616B (zh) * 2022-04-01 2023-03-24 中国工程物理研究院计算机应用研究所 一种基于触发条件的对抗样本生成方法及***

Similar Documents

Publication Publication Date Title
CN109902705A (zh) 一种对象检测模型的对抗扰动生成方法和装置
WO2021227519A1 (zh) 目标跟踪方法、装置、计算机可读存储介质及机器人
CN113298152B (zh) 模型训练方法、装置、终端设备及计算机可读存储介质
CN110705573A (zh) 一种目标检测模型的自动建模方法及装置
CN104217433A (zh) 一种分析图像的方法及装置
CN111027628A (zh) 一种模型确定方法和***
CN110287936A (zh) 图像检测方法、装置、设备及存储介质
CN114781248A (zh) 基于状态偏移矫正的离线强化学习方法及装置
CN113986561A (zh) 人工智能任务处理方法、装置、电子设备及可读存储介质
CN102855635A (zh) 确定人体动作周期及识别人体动作的方法和装置
CN113656798B (zh) 一种面向恶意软件标签翻转攻击的正则化识别方法及装置
CN103049747A (zh) 利用肤色的人体图像再识别的方法
CN106662867A (zh) 使用条件模型来迁移故障样本以用于机器状况监视
CN112927194A (zh) 设计图纸与实物的自动核对方法及***
CN116561664A (zh) 基于tcn网络的雷达辐射源脉间调制模式识别方法
CN113792132B (zh) 一种目标答案确定方法、装置、设备及介质
CN113449674B (zh) 一种猪脸识别方法及***
CN112329736B (zh) 人脸识别方法及金融***
CN113553246A (zh) 一种面向计算平台的***评估装置
CN111898465A (zh) 一种人脸识别模型的获取方法和装置
Wu et al. An efficient defect detection system for printed circuit boards with edge-cloud fusion computing
CN111598105A (zh) 一种专利地图构建方法及装置
CN110177006A (zh) 基于接口预测模型的节点测试方法及装置
CN110705695A (zh) 搜索模型结构的方法、装置、设备和存储介质
CN110619047B (zh) 一种自然语言模型的构建方法、装置以及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190618

RJ01 Rejection of invention patent application after publication