CN114861893B - 一种多通路聚合的对抗样本生成方法、***及终端 - Google Patents

一种多通路聚合的对抗样本生成方法、***及终端 Download PDF

Info

Publication number
CN114861893B
CN114861893B CN202210793780.4A CN202210793780A CN114861893B CN 114861893 B CN114861893 B CN 114861893B CN 202210793780 A CN202210793780 A CN 202210793780A CN 114861893 B CN114861893 B CN 114861893B
Authority
CN
China
Prior art keywords
model
neural network
image
representing
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210793780.4A
Other languages
English (en)
Other versions
CN114861893A (zh
Inventor
郑德生
吴欣隆
刘忠慧
周永
陈继鑫
尹相东
朱星丞
牟蜚声
温冬
李政禹
刘建超
柯武平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Petroleum University
Original Assignee
Southwest Petroleum University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Petroleum University filed Critical Southwest Petroleum University
Priority to CN202210793780.4A priority Critical patent/CN114861893B/zh
Publication of CN114861893A publication Critical patent/CN114861893A/zh
Application granted granted Critical
Publication of CN114861893B publication Critical patent/CN114861893B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种多通路聚合的对抗样本生成方法、***及终端，属于深度学习技术领域，建立多条模型通路；在原始图像上分别添加随机的扰动信息，得到多张第一扰动图像；将原始图像输入第一条模型通路，同时将多张第一扰动图像分别输入其他模型通路，计算各神经网络模型的梯度，对各神经网络模型的梯度进行自适应权重聚合处理，并根据自适应权重聚合处理得到的梯度更新各神经网络模型生成的图像样本，多次循环本步骤，输出最终对抗样本。本发明第一扰动图像综合了外界扰动因素，泛化性强；通过自适应权重聚合处理，使图像多种扰动因素得以拟合，进一步提升对抗样本的泛化性。

Description

一种多通路聚合的对抗样本生成方法、***及终端
技术领域
本发明涉及深度学习技术领域，尤其涉及一种多通路聚合的对抗样本生成方法、***及终端。
背景技术
近年来，深度学习发展迅速，广泛应用于图像识别、语音识别等技术领域，对科学技术的发展起到积极的推动作用，因此对深度学习的研究具有十分重要的意义。目前，深度学习模型易受到对抗样本的攻击，进而导致模型输出不准确的预测结果；其中，对抗样本基于神经网络模型向合法示例中添加人类无法察觉的细微噪声制作得到。将对抗样本攻击深度学习模型的过程称为对抗攻击，生成的对抗样本在模型攻击中攻击成功率高，利于推进当前神经网络模型安全研究工作，即能够训练得到具有高防护能力的神经网路模型。
在当前的对抗样本网络模型安全研究领域的神经网络模型训练过程中，为使模型具备足够的泛化能力进而应对在训练过程中未出现的新特征，一般通过足够泛化性的对抗样本对模型进行训练进而提升模型的泛化能力，然而目前生成的对抗样本缺乏对外界扰动因素的综合考量，使得采用该对抗样本训练的模型在面对外界复杂多变的扰动因素时，泛化性低，防御能力较弱。
发明内容
本发明的目的在于克服现有技术的问题，提供一种多通路聚合的对抗样本生成方法、***及终端。
本发明的目的是通过以下技术方案来实现的：一种多通路聚合的对抗样本生成方法，包括以下步骤：
建立多条模型通路，各模型通路包括顺次连接的多个神经网络模型，各模型通路中同级节点采用相同神经网络模型，且同级节点对应的神经网络模型邻接互联；
在原始图像上分别添加随机的扰动信息，得到多张第一扰动图像；
将原始图像输入第一条模型通路，同时将多张第一扰动图像分别输入其他模型通路，计算各神经网络模型的梯度，根据当前神经网络模型的预测相似度占同级节点所有神经网络模型总相似度的比例，对各神经网络模型的梯度进行自适应权重聚合处理，并根据自适应权重聚合处理得到的梯度更新各神经网络模型生成的图像样本，多次循环本步骤，使第一条模型通路输出最终对抗样本。
在一示例中，在原始图像上添加随机的扰动信息包括：
对原始图像进行几何变换处理和/或颜色处理和/或图像融合处理和/或滤波处理，得到第一扰动图像。
在一示例中，所述自适应权重聚合处理的计算公式为：
Figure 890121DEST_PATH_IMAGE001
其中，p表示模型通路序号；n表示模型通路的上限值；t表示模型通路中的节点序号；
Figure 898528DEST_PATH_IMAGE002
表示t级节点所有模型通路的梯度聚合；
Figure 889618DEST_PATH_IMAGE003
表示第p条模型通路的第t级节点的相似度；
Figure 729398DEST_PATH_IMAGE004
为t级节点所有模型通路的相似度之和；
Figure 413320DEST_PATH_IMAGE005
表示梯度符号；
Figure 705761DEST_PATH_IMAGE006
表示第p条模型通路的第t级节点输入的图像；CE表示交叉损失熵；y ture 表示输入神经网络模型的图像x对应的真实标签值；M表示神经网络模型；
Figure DEST_PATH_IMAGE007
表示神经网络模型M对输入的图像的预测值。
在一示例中，所述交叉损失熵的计算公式为：
Figure 999077DEST_PATH_IMAGE008
其中，
Figure 631046DEST_PATH_IMAGE009
为真实标签中第
Figure 282608DEST_PATH_IMAGE010
个编码；
Figure 265607DEST_PATH_IMAGE011
为预测值中的第
Figure 660816DEST_PATH_IMAGE010
个编码；C表示标签中的类别数。
在一示例中，所述当前神经网络模型的预测相似度占同级节点所有神经网络模型总相似度的比例的计算公式为：
Figure 350555DEST_PATH_IMAGE012
其中，p表示模型通路序号；t表示模型通路中的节点序号；
Figure 438597DEST_PATH_IMAGE003
表示第p条模型通路的第t级节点的相似度；y ture 表示输入神经网络模型的图像x对应的真实标签值；M表示神经网络模型类别；
Figure 705630DEST_PATH_IMAGE013
表示第p条模型通路的第t级节点输入的图像；||*||表示范数，||*||1表示向量元素绝对值之和。
在一示例中，所述根据自适应权重聚合处理得到的梯度更新各神经网络模型生成的图像样本的计算公式为：
Figure 75169DEST_PATH_IMAGE014
其中，p表示模型通路序号；t表示模型通路中的节点序号；
Figure 744048DEST_PATH_IMAGE015
表示第p条模型通路的第t+1级节点输入的图像；
Figure 940674DEST_PATH_IMAGE016
表示第p条模型通路的第t级节点输入的图像；σ表示扰动大小；
Figure 429424DEST_PATH_IMAGE002
表示t级节点所有模型通路的梯度聚合。
在一示例中，所述根据自适应权重聚合处理得到的梯度更新各神经网络模型生成的图像样本后还包括：
对图像样本进行约束处理，得到临时对抗样本。
需要进一步说明的是，上述方法各示例对应的技术特征可以相互组合或替换构成新的技术方案。
本发明还包括一种多通路聚合的对抗样本生成***，所述***包括：
模型单元，包括多条模型通路，各模型通路包括顺次连接的多个神经网络模型，各模型通路中同级节点采用相同神经网络模型，且同级节点对应的神经网络模型邻接互联；第一条模型通路接收原始图像，同时其他模型通路分别接收第一扰动图像；其中，在原始图像上添加随机的扰动信息得到第一扰动图像；
迭代计算单元，用于计算各神经网络模型的梯度，根据当前神经网络模型的预测相似度占同级节点所有神经网络模型总相似度的比例，对各神经网络模型的梯度进行自适应权重聚合处理，并根据自适应权重聚合处理得到的梯度更新各神经网络模型生成的图像样本，多次循环计算，进而使第一条模型通路输出最终对抗样本。
在一示例中，所述***还包括模型池单元，用于存储ImageNet数据集的神经网络模型。
需要进一步说明的是，上述***各示例对应的技术特征可以相互组合或替换构成新的技术方案。
本发明还包括一种存储介质，其上存储有计算机指令，所述计算机指令运行时执行上述任一示例或多个示例组成形成的所述的一种多通路聚合的对抗样本生成方法的步骤。
本发明还包括一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行上述任一示例或多个示例形成的所述的一种多通路聚合的对抗样本生成方法的步骤。
与现有技术相比，本发明有益效果是：
本发明对原始图像进行扰动处理，得到多张具有不同扰动信息的第一扰动图像，即生成的第一扰动图像综合了外界扰动因素，泛化性强；通过将多条模型通路的梯度信息进行自适应权重聚合处理，作用于各模型通路、各节点图像更新，使得多种扰动因素得以拟合，进而使生成的最终对抗样本的泛化性大大提升，提高了对抗样本的攻击能力；同时，将原始图像、第一扰动图像输入多条模型通路训练对抗样本的生成模型，在兼顾不同大小、不同类型扰动的同时，有效降低因样本单一化而造成的过拟合；同时，本申请自适应权重梯度聚合处理，能够使不同类型、不同大小的扰动因素能够得到基于自身扰动的权重，以使对抗样本能在不破坏肉眼观感的图像质量的情况下，综合各种扰动因素，进一步提升了对抗样本的泛化性；且基于该高泛化性的对抗样本对被攻击模型进行训练，能够得到具有高防御力的模型。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细的说明，此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，在这些附图中使用相同的参考标号来表示相同或相似的部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1为本发明一示例中的方法流程图；
图2为本发明优选示例中的方法流程图；
图3为本发明***框图。
具体实施方式
下面结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，属于“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方向或位置关系为基于附图所述的方向或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，使用序数词 (例如，“第一和第二”、“第一至第四”等 )是为了对物体进行区分，并不限于该顺序，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，属于“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
在一示例中，如图1所示，一种多通路聚合的对抗样本生成方法，具体包括以下步骤：
S1：建立多条模型通路，各模型通路包括顺次连接的多个神经网络模型，各模型通路中同级节点采用相同神经网络模型，且同级节点对应的神经网络模型邻接互联；
S2：在原始图像上分别添加随机的扰动信息，得到多张第一扰动图像；
S3：将原始图像输入第一条模型通路，同时将多张第一扰动图像分别输入其他模型通路，计算各神经网络模型的梯度，根据当前神经网络模型的预测相似度占同级节点所有神经网络模型总相似度的比例，对各神经网络模型的梯度进行自适应权重聚合处理，并根据自适应权重聚合处理得到的梯度更新各神经网络模型生成的图像样本，多次循环本步骤，使第一条模型通路输出最终对抗样本。
作为一选项，步骤S2可先于步骤S1执行，或者步骤S1、S2同时执行。
进一步地，步骤S1中，神经网络模型具体为能够实现图像处理的神经网络模型，模型通路建立过程中随机从模型池中选取神经网络模型，本示例中模型池为ImageNet数据集的分类器，包括不限于Inceptionv3、Inceptionv4、InceptionResNetv2、Xception、ResNetv2-101等神经网络模型。各神经网络模型对应当前模型通路的一节点，每个节点为神经网络模型的一次迭代；同级节点即各模型通路中处于相同位置的神经网络模型，如第一条模型通路包括顺次连接的神经网络模型a和神经网络模型b，第二条模型通路包括顺次连接的神经网络模型c和神经网络模型d，第三条模型通路包括顺次连接的神经网络模型e和神经网络模型f，此时神经网络模型a、神经网络模型c和神经网络模型e处于同级节点，神经网络模型b、神经网络模型d和神经网络模型f处于同级节点。进一步地，同级节点对应的神经网络模型邻接互联，即神经网络模型与相邻模型通路中同级的神经网络模型互联，如神经网络模型a、神经网络模型c、神经网络模型e依次互联，神经网络模型b、神经网络模型d、神经网络模型f依次互联。优选地，各模型通路中多个神经网络模型的类型不同，当然，作为一选项，各模型通路中多个神经网络模型的类型可以相同。本示例中，模型通路越多，且各通路（模型通路）包括神经网络模型节点越多，生成的最终对抗样本的泛化性越强。
进一步地，步骤S2中，在原始图像上每添加一种扰动信息，对应得到一张第一扰动图像。优选地，原始图像上添加的随机的扰动信息不同，以得到原始图像的更多样本，最大程度综合更多的外界扰动因素，提升图像样本的泛化性。
进一步地，步骤S3中，预测相似度根据当前神经网络模型的预测值与真实标签值的差异进行计算；自适应权重聚合处理过程中，权重具体为该节点神经网络模型的相似度占同级节点所有神经网络模型总相似度的比例，通过该自适应权重聚合处理步骤，更新生成的图像样本的扰动信息，能够使不同类型、不同大小的扰动因素能够得到基于自身扰动的权重，进而使对抗样本能在不破坏肉眼观感的图像质量的情况下，综合各种扰动因素，进一步提升对抗样本的泛化性。
进一步地，步骤S3中通过第一条模型通路（接收原始图像的模型通路）输出泛化性能最强的最终对抗样本，是因为每条模型通路中每级节点的扰动信息更新都是在前一级的基础上进行的（1级节点在输入的图像上更新），其它通路中神经网络模型所输入的第一扰动图像可能会在肉眼观感上与原始图像有差距，从而导致生成的对抗样本达不到较好的攻击效果，如几何扰动中的裁剪，原始图像裁剪后得到的第一扰动图像，仍可能被分类器所识别，但肉眼上已经能直观的观察到裁剪痕迹，导致输入该第一扰动图像的通路所生成的对抗样本带有明显的裁剪痕迹，达不到作为对抗样本应该在肉眼观感上与原图相差无几的条件。
本发明采用多种类型扰动对图像进行处理，使得生成的对抗样本具有更强的泛化性，提升对抗样本对不同模型的攻击力，利用该对抗样本对被攻击模型训练，能够提升模型对外界多种不同扰动因素的抗干扰能力，得到具有高防御力的模型，相较于在原始图像上添加不同模型的梯度聚合扰动，本申请对抗样本对外界扰动因素更加敏感。同时，将原始图像及其多样本（第一扰动图像）输入多条模型通路训练对抗样本的生成模型，在兼顾不同大小、不同类型扰动的同时，有效降低因样本单一化而造成的过拟合。进一步地，本申请将多条通路的梯度信息进行自适应权重聚合，作用于每条通路每个节点的图像更新，多种扰动因素得以拟合，使得生成的对抗样本的泛化性得以提升，因为采用自适应权重聚合梯度，使得利用该对抗样本生成训练的模型对不同类型、不同大小的扰动的防御能力进一步提升。最后，在多条模型通路上采用多节点神经网络模型对图像进行梯度迭代，使得生成的最终对抗样本泛化性进一步提升。
需要说明的是，本申请中原始图像上仅添加了占比很小的扰动信息，将第一扰动图像输入至神经网络模型，模型针对该输入样本（第一扰动图像）的识别准确率仍不会大幅下降，因此一般不以该第一扰动图像作为对抗样本对模型进行攻击，因此本申请通过多条模型通路进一步对原始图像、第一扰动图像的多种扰动因素进行拟合，生成高攻击力的最终对抗样本。
在一示例中，在原始图像上添加随机的扰动信息包括：
对原始图像进行几何变换处理和/或颜色处理和/或图像融合处理和/或滤波处理，得到第一扰动图像。其中，几何变换包括剪裁、放大、缩小、平移、切错变换、旋转变换等；颜色处理为通过对图像的RGBA值进行修改，其中R表示红色，G表示绿色，B表示蓝色，A表示透明值；图像融合为通过算法对图像进行融合，例如加权平均方法、基于小波变换的图像融合方法等；图像滤波包括均值滤波、高斯滤波、锐化方法等。
在一示例中，自适应权重聚合处理的计算公式为：
Figure 369698DEST_PATH_IMAGE017
其中，p表示模型通路序号；n表示模型通路的上限值；t表示模型通路中的节点序号；
Figure 893084DEST_PATH_IMAGE002
表示t级节点所有模型通路的梯度聚合；
Figure 995032DEST_PATH_IMAGE003
表示第p条模型通路的第t级节点的相似度；
Figure 502236DEST_PATH_IMAGE004
为t级节点所有模型通路的相似度之和；
Figure 42939DEST_PATH_IMAGE005
表示梯度符号；
Figure 857049DEST_PATH_IMAGE018
表示第p条模型通路的第t级节点输入的图像；CE表示交叉损失熵；y ture 表示输入神经网络模型的图像x对应的真实标签值；M表示神经网络模型；
Figure 457795DEST_PATH_IMAGE019
表示神经网络模型M对输入的图像的预测值。
在一示例中，需对模型算法参数进行定义，本申请中扰动大小为16，即生成对抗样本与原始图像之间的无穷范数最大差值ε为16，迭代次数为T，即T级节点，作为一选项，T=10，此时学习率
Figure 858820DEST_PATH_IMAGE020
。在此基础上，进一步计算模型对输入的图像的损失，具体计算公式为：
Figure DEST_PATH_IMAGE021
其中，
Figure 140897DEST_PATH_IMAGE022
为真实标签中第
Figure 842137DEST_PATH_IMAGE010
个编码；
Figure 348204DEST_PATH_IMAGE023
为预测值中的第
Figure 640DEST_PATH_IMAGE010
个编码；C表示标签中的类别数。
在一示例中，所述当前神经网络模型的预测相似度占同级节点所有神经网络模型总相似度的比例的计算公式为：
Figure 883146DEST_PATH_IMAGE024
其中， ||*||表示范数，||*||1表示向量元素绝对值之和。
在一示例中，所述根据自适应权重聚合处理得到的梯度更新各神经网络模型生成的图像样本的计算公式为：
Figure 438892DEST_PATH_IMAGE025
其中，
Figure 115861DEST_PATH_IMAGE026
表示第p条模型通路的第t+1级节点输入的图像；σ表示扰动大小；
Figure 553796DEST_PATH_IMAGE002
表示t级节点所有模型通路的梯度聚合。
在一示例中，所述根据自适应权重聚合处理得到的梯度更新各神经网络模型生成的图像样本后还包括：
对图像样本进行约束处理，得到临时对抗样本，具体计算公式为：
Figure 177675DEST_PATH_IMAGE027
其中，clip表示约束范围。
将上述示例进行组合，得到本申请的优选示例，如图2所示，此时一种基于多通路聚合的对抗样本生成方法包括以下步骤：
S1’： 随机选取原始图像添加随机扰动信息，每添加一种扰动信息，得到一张第一扰动图像，原始图像与扰动后的图像一共n张；
S2’：搭建n条模型通路：每条模型通路由10级节点组成，各节点神经网络模型从模型池中随机选取，所有模型通路的同级节点采用相同神经网络模型；
S3’：将n张图像分别输入n条通路的新一级节点，并计算梯度；
S4’：将n条通路同级节点的梯度进行自适应权重聚合处理；
S5’：根据聚合后的梯度更新n张图像；
S6’：执行S3’-S5’，循环10次，达到10级节点，在第一条模型通路输出原始图像的最终对抗样本。
本发明还包括一种基于多通路聚合的对抗样本的模型训练方法，与上述一种高转移性对抗样本生成方法具有相同的发明构思，具体包括：
根据对抗样本对神经网络模型进行训练，使模型能够学习到对抗样本的特征并对对抗样本进行准确分类，得到具有高防御力的模型。其中，模型能够学习到对抗样本区别于原始图像的扰动特征，进而修正其分类结果，实现准确分类，提升神经网络模型的安全性能。通过本发明生成泛化性高的最终对抗样本攻击黑盒模型，生成的对抗样本对黑盒模型也同样具有很高的攻击成功率。
本发明还包括一种多通路聚合的对抗样本生成***，所述***包括模型单元和迭代计算单元。
如图3所示，模型单元包括n条模型通路，各模型通路包括顺次连接的10个神经网络模型，各模型通路中同级节点采用相同神经网络模型，且同级节点对应的神经网络模型邻接互联；第一条模型通路接收原始图像，同时其他模型通路分别接收第一扰动图像，最后通过对所有模型通路进行聚合，辅助第一条模型通路生成最终对抗样本；其中，在原始图像上添加随机的扰动信息得到第一扰动图像；
迭代计算单元，用于计算各神经网络模型的梯度，根据当前神经网络模型的预测相似度占同级节点所有神经网络模型总相似度的比例，对各神经网络模型的梯度进行自适应权重聚合处理，并根据自适应权重聚合处理得到的梯度更新各神经网络模型生成的图像样本，多次循环迭代计算，进而生成最终对抗样本。
在一示例中，***还包括模型池单元，用于存储ImageNet数据集的神经网络模型，包括不限于Inceptionv3、Inceptionv4、InceptionResNetv2、Xception、ResNetv2-101等神经网络模型。
本申请还包括一种存储介质，与上述任一示例或多个示例组成的一种多通路聚合的对抗样本生成方法具有相同的发明构思，其上存储有计算机指令，所述计算机指令运行时执行上述一种多通路聚合的对抗样本生成方法的步骤。
基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random AccessMemory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请还包括一种终端，与上述任一示例或多个示例组成的一种多通路聚合的对抗样本生成方法具有相同的发明构思，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行上述一种多通路聚合的对抗样本生成方法的步骤。处理器可以是单核或者多核中央处理单元或者特定的集成电路，或者配置成实施本发明的一个或者多个集成电路。
在本发明提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
以上具体实施方式是对本发明的详细说明，不能认定本发明的具体实施方式只局限于这些说明，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演和替代，都应当视为属于本发明的保护范围。

Claims (8)

1.一种多通路聚合的对抗样本生成方法，其特征在于：包括以下步骤：
S1：建立多条模型通路，各模型通路包括顺次连接的多个神经网络模型，各模型通路中同级节点采用相同神经网络模型，且同级节点对应的神经网络模型邻接互联；
S2：在原始图像上分别添加随机的扰动信息，得到多张第一扰动图像；
S3：将原始图像输入第一条模型通路，同时将多张第一扰动图像分别输入其他模型通路，计算各神经网络模型的梯度，根据当前神经网络模型的预测相似度占同级节点所有神经网络模型总相似度的比例，对各神经网络模型的梯度进行自适应权重聚合处理，并根据自适应权重聚合处理得到的梯度更新各神经网络模型生成的图像样本，多次循环步骤S3，使第一条模型通路输出最终对抗样本；
所述自适应权重聚合处理的计算公式为：
Figure 430462DEST_PATH_IMAGE001
其中，p表示模型通路序号；n表示模型通路的上限值；t表示模型通路中的节点序号；
Figure 222313DEST_PATH_IMAGE002
表示t级节点所有模型通路的梯度聚合；
Figure 854283DEST_PATH_IMAGE003
表示第p条模型通路的第t级节点的相似度；
Figure 443527DEST_PATH_IMAGE004
为t级节点所有模型通路的相似度之和；
Figure 692106DEST_PATH_IMAGE005
表示梯度符号；
Figure 24998DEST_PATH_IMAGE006
表示第p条模型通路的第t级节点输入的图像；CE表示交叉损失熵；y ture 表示输入神经网络模型的图像x对应的真实标签值；M表示神经网络模型；
Figure 42633DEST_PATH_IMAGE007
表示神经网络模型M对输入的图像的预测值；
当前神经网络模型的预测相似度占同级节点所有神经网络模型总相似度的比例，即第p条模型通路的第t级节点的相似度
Figure 333937DEST_PATH_IMAGE003
与t级节点所有模型通路的相似度之和
Figure 804232DEST_PATH_IMAGE004
的比例，所述第p条模型通路的第t级节点的相似度
Figure 940815DEST_PATH_IMAGE003
的计算公式为：
Figure 812957DEST_PATH_IMAGE008
其中，||*||表示范数，||*||1表示向量元素绝对值之和。
2.根据权利要求1所述的一种多通路聚合的对抗样本生成方法，其特征在于：在原始图像上添加随机的扰动信息包括：
对原始图像进行几何变换处理和/或颜色处理和/或图像融合处理和/或滤波处理，得到第一扰动图像。
3.根据权利要求1所述的一种多通路聚合的对抗样本生成方法，其特征在于：所述交叉损失熵的计算公式为：
Figure 278092DEST_PATH_IMAGE009
其中，
Figure 704525DEST_PATH_IMAGE010
为真实标签中第
Figure 910378DEST_PATH_IMAGE011
个编码；
Figure 371447DEST_PATH_IMAGE012
为预测值中的第
Figure 738974DEST_PATH_IMAGE011
个编码；C表示标签中的类别数。
4.根据权利要求1所述的一种多通路聚合的对抗样本生成方法，其特征在于：所述根据自适应权重聚合处理得到的梯度更新各神经网络模型生成的图像样本的计算公式为：
Figure 449441DEST_PATH_IMAGE013
其中，p表示模型通路序号；t表示模型通路中的节点序号；
Figure 927827DEST_PATH_IMAGE014
表示第p条模型通路的第t+1级节点输入的图像；
Figure 508981DEST_PATH_IMAGE015
表示第p条模型通路的第t级节点输入的图像；σ表示扰动大小；
Figure 312989DEST_PATH_IMAGE002
表示t级节点所有模型通路的梯度聚合。
5.根据权利要求1所述的一种多通路聚合的对抗样本生成方法，其特征在于：所述根据自适应权重聚合处理得到的梯度更新各神经网络模型生成的图像样本后还包括：
对图像样本进行约束处理，得到临时对抗样本。
6.一种多通路聚合的对抗样本生成***，其特征在于：所述***包括：
模型单元，包括多条模型通路，各模型通路包括顺次连接的多个神经网络模型，各模型通路中同级节点采用相同神经网络模型，且同级节点对应的神经网络模型邻接互联；第一条模型通路接收原始图像，同时其他模型通路分别接收第一扰动图像；其中，在原始图像上添加随机的扰动信息得到第一扰动图像；
迭代计算单元，用于计算各神经网络模型的梯度，根据当前神经网络模型的预测相似度占同级节点所有神经网络模型总相似度的比例，对各神经网络模型的梯度进行自适应权重聚合处理，并根据自适应权重聚合处理得到的梯度更新各神经网络模型生成的图像样本，多次循环计算，进而使第一条模型通路输出最终对抗样本；
所述自适应权重聚合处理的计算公式为：
Figure 979594DEST_PATH_IMAGE001
其中，p表示模型通路序号；n表示模型通路的上限值；t表示模型通路中的节点序号；
Figure 524320DEST_PATH_IMAGE002
表示t级节点所有模型通路的梯度聚合；
Figure 225560DEST_PATH_IMAGE003
表示第p条模型通路的第t级节点的相似度；
Figure 934890DEST_PATH_IMAGE004
为t级节点所有模型通路的相似度之和；
Figure 354370DEST_PATH_IMAGE005
表示梯度符号；
Figure 440137DEST_PATH_IMAGE016
表示第p条模型通路的第t级节点输入的图像；CE表示交叉损失熵；y ture 表示输入神经网络模型的图像x对应的真实标签值；M表示神经网络模型；
Figure 995884DEST_PATH_IMAGE017
表示神经网络模型M对输入的图像的预测值；
当前神经网络模型的预测相似度占同级节点所有神经网络模型总相似度的比例，即第p条模型通路的第t级节点的相似度
Figure 876115DEST_PATH_IMAGE003
与t级节点所有模型通路的相似度之和
Figure 517312DEST_PATH_IMAGE004
的比例，所述第p条模型通路的第t级节点的相似度
Figure 406770DEST_PATH_IMAGE003
的计算公式为：
Figure 817023DEST_PATH_IMAGE018
其中，||*||表示范数，||*||1表示向量元素绝对值之和。
7.根据权利要求6所述的一种多通路聚合的对抗样本生成***，其特征在于：所述***还包括模型池单元，用于存储ImageNet数据集的神经网络模型。
8.一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，其特征在于：所述处理器运行所述计算机指令时执行权利要求1-5任意一项所述的一种多通路聚合的对抗样本生成方法的步骤。
CN202210793780.4A 2022-07-07 2022-07-07 一种多通路聚合的对抗样本生成方法、***及终端 Active CN114861893B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210793780.4A CN114861893B (zh) 2022-07-07 2022-07-07 一种多通路聚合的对抗样本生成方法、***及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210793780.4A CN114861893B (zh) 2022-07-07 2022-07-07 一种多通路聚合的对抗样本生成方法、***及终端

Publications (2)

Publication Number Publication Date
CN114861893A CN114861893A (zh) 2022-08-05
CN114861893B true CN114861893B (zh) 2022-09-23

Family

ID=82625925

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210793780.4A Active CN114861893B (zh) 2022-07-07 2022-07-07 一种多通路聚合的对抗样本生成方法、***及终端

Country Status (1)

Country Link
CN (1) CN114861893B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116543268B (zh) * 2023-07-04 2023-09-15 西南石油大学 基于通道增强联合变换的对抗样本生成方法及终端
CN117540791B (zh) * 2024-01-03 2024-04-05 支付宝(杭州)信息技术有限公司 一种对抗训练的方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110276377A (zh) * 2019-05-17 2019-09-24 杭州电子科技大学 一种基于贝叶斯优化的对抗样本生成方法
US10783401B1 (en) * 2020-02-23 2020-09-22 Fudan University Black-box adversarial attacks on videos
CN112101470A (zh) * 2020-09-18 2020-12-18 上海电力大学 一种基于多通道高斯gan的引导零样本识别方法
CN113449783A (zh) * 2021-06-17 2021-09-28 广州大学 一种对抗样本生成方法、***、计算机设备和存储介质
CN114299313A (zh) * 2021-12-24 2022-04-08 北京瑞莱智慧科技有限公司 对抗扰动生成方法、装置及存储介质
CN114663665A (zh) * 2022-02-28 2022-06-24 华南理工大学 基于梯度的对抗样本生成方法与***

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109086884B (zh) * 2018-07-17 2020-09-01 上海交通大学 基于梯度逆向对抗样本复原的神经网络攻击防御方法
US11373093B2 (en) * 2019-06-26 2022-06-28 International Business Machines Corporation Detecting and purifying adversarial inputs in deep learning computing systems
CN111368908B (zh) * 2020-03-03 2023-12-19 广州大学 一种基于深度学习的hrrp无目标对抗样本生成方法
CN111428071B (zh) * 2020-03-26 2022-02-01 电子科技大学 一种基于多模态特征合成的零样本跨模态检索方法
CN111581405B (zh) * 2020-04-26 2021-10-26 电子科技大学 基于对偶学习生成对抗网络的跨模态泛化零样本检索方法
CN112183717A (zh) * 2020-08-28 2021-01-05 北京航空航天大学 基于关键路径的神经网络训练方法和装置
CN112364885B (zh) * 2020-10-12 2022-10-11 浙江大学 一种基于深度神经网络模型可解释性的对抗样本防御方法
CN112396123A (zh) * 2020-11-30 2021-02-23 上海交通大学 基于卷积神经网络的图像识别方法、***、终端和介质
CN113269239B (zh) * 2021-05-13 2024-04-19 河南大学 一种基于多通道卷积神经网络的关系网络节点分类方法
CN114143040B (zh) * 2021-11-08 2024-03-22 浙江工业大学 一种基于多通道特征重构的对抗信号检测方法
CN114549933A (zh) * 2022-02-21 2022-05-27 南京大学 基于目标检测模型特征向量迁移的对抗样本生成方法
CN114283341B (zh) * 2022-03-04 2022-05-17 西南石油大学 一种高转移性对抗样本生成方法、***及终端

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110276377A (zh) * 2019-05-17 2019-09-24 杭州电子科技大学 一种基于贝叶斯优化的对抗样本生成方法
US10783401B1 (en) * 2020-02-23 2020-09-22 Fudan University Black-box adversarial attacks on videos
CN112101470A (zh) * 2020-09-18 2020-12-18 上海电力大学 一种基于多通道高斯gan的引导零样本识别方法
CN113449783A (zh) * 2021-06-17 2021-09-28 广州大学 一种对抗样本生成方法、***、计算机设备和存储介质
CN114299313A (zh) * 2021-12-24 2022-04-08 北京瑞莱智慧科技有限公司 对抗扰动生成方法、装置及存储介质
CN114663665A (zh) * 2022-02-28 2022-06-24 华南理工大学 基于梯度的对抗样本生成方法与***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
图对抗攻击研究综述;翟正利等;《计算机工程与应用》;20211231;第57卷(第7期);第14-21页 *

Also Published As

Publication number Publication date
CN114861893A (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
CN114861893B (zh) 一种多通路聚合的对抗样本生成方法、***及终端
Gao et al. Global second-order pooling convolutional networks
CN112308133A (zh) 基于卷积神经网络的调制识别方法
CN114283341B (zh) 一种高转移性对抗样本生成方法、***及终端
CN114708479B (zh) 一种基于图结构和特征的自适应防御方法
CN116563410A (zh) 基于两级生成对抗网络的电气设备电火花图像生成方法
Deng et al. A multi-objective examples generation approach to fool the deep neural networks in the black-box scenario
CN117611838A (zh) 一种基于自适应超图卷积网络的多标签图像分类方法
CN116545764B (zh) 一种工业互联网的异常数据检测方法、***和设备
CN116306780A (zh) 一种动态图链接生成方法
CN116628524A (zh) 一种基于自适应图注意力编码器的社区发现方法
CN114757189B (zh) 事件抽取方法、装置、智能终端及存储介质
CN115620342A (zh) 跨模态行人重识别方法、***及计算机
CN115270891A (zh) 一种信号对抗样本的生成方法、装置、设备及存储介质
CN115238134A (zh) 用于生成图数据结构的图向量表示的方法及装置
CN114596464A (zh) 多特征交互的无监督目标检测方法、***、电子设备和可读存储介质
CN111723864A (zh) 基于主动学习使用互联网图片进行对抗训练的方法及装置
CN112258425A (zh) 一种二维码图像清晰化去模糊处理方法
CN111797732A (zh) 一种对采样不敏感的视频动作识别对抗攻击方法
Zhang et al. An efficient general black-box adversarial attack approach based on multi-objective optimization for high dimensional images
CN110929118A (zh) 网络数据处理方法、设备、装置、介质
CN116702876B (zh) 一种基于预处理的图像对抗防御方法
CN117633699B (zh) 基于三元互信息图对比学习的网络节点分类算法
CN117058493B (zh) 一种图像识别的安全防御方法、装置和计算机设备
CN113344181B (zh) 神经网络的结构搜索方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant