CN114428954A - 一种基于动态化网络结构学习的黑盒攻击*** - Google Patents

一种基于动态化网络结构学习的黑盒攻击*** Download PDF

Info

Publication number
CN114428954A
CN114428954A CN202111629855.7A CN202111629855A CN114428954A CN 114428954 A CN114428954 A CN 114428954A CN 202111629855 A CN202111629855 A CN 202111629855A CN 114428954 A CN114428954 A CN 114428954A
Authority
CN
China
Prior art keywords
model
black box
information graph
network structure
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111629855.7A
Other languages
English (en)
Inventor
薛向阳
王文萱
钱学林
付彦伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN202111629855.7A priority Critical patent/CN114428954A/zh
Publication of CN114428954A publication Critical patent/CN114428954A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及计算机视觉图像处理领域，具体是一种基于动态化网络结构学习的黑盒攻击方法。提出了在无真实数据参与条件下的对于未知场景的目标黑盒模型的攻击方法。其中针对多样化的目标黑盒模型，提出了动态化网络结构学习的替代模型训练方法，自主性地生成最优的替代模型结构，并提出了基于结构化信息图的优化约束以提升替代模型的学习质量与效率，从而进一步提高其生成的对抗样本的攻击性能。该方法具有查询次数少、学习效率高、攻击成功率高等优点，非常适合无任何先验知识的黑盒攻击场景。

Description

一种基于动态化网络结构学习的黑盒攻击***
技术领域
本发明属于计算机视觉图像处理领域，具体涉及一种基于动态化网络结构学习的黑盒攻击***。
背景技术
随着深度网络模型在现实世界中各个任务上的广泛应用，越来越多的研究者们开始关注深度网络模型的安全性和鲁棒性。逐渐发现了在干净图片上添加扰动后生成的对抗样本可以成功攻击深度网络模型，从而引起模型的预测错误。
针对深度模型的对抗攻击主要可以分为两类：其一，白盒攻击，即攻击者可以获取到目标深度模型的具体网络结构和参数，现有的方法往往通过目标模型的梯度进行反向攻击直接生成对抗样本，从而达到较高的攻击成功功率；其二，黑盒攻击，即攻击者无法直接获取目标深度模型的具体网络结构和参数，现有的方法往往通过提升在其他白盒模型上生成的对抗样本的攻击迁移性，或通过训练一个近似目标模型的替代模型来生成对抗样本实现攻击，然而这些现有的黑盒攻击技术仍存在攻击成功率低并且需要依赖对目标模型一定的先验知识上，例如，模型任务，训练数据，类别数目等。
为了更好实现具有实用性和高强度的黑盒攻击，现有技术提出了无数据条件下的黑盒攻击，即，在黑盒攻击任务上另外要求了不采用真实数据进行替代模型的训练。第一种通过噪声输入生成器生成大量样本，同时借助了知识蒸馏的网络结构，通过约束目标模型和替代模型的输出一致性来提升攻击样本的质量。第二种通过关注于生成器生成样本的质量，提高生成样本的多样性，来进一步提升知识蒸馏训练的高效性。然而，它们都依赖于对目标模型的分类数量的先验知识，并且需要从多个不同网络结构的替代模型中择其最优。
发明内容
本发明提出了一种在无真实数据参与条件下的基于动态化网络结构学习的黑盒攻击***。对于未知场景下的目标黑盒模型和隐私保护需求，在无法直接获取目标深度模型的具体网络结构和参数，并且不了解目标黑盒模型的任务需求、训练数据、分类数量等先验知识的情况下，实现高质量的动态化结构的替代模型训练，从而完成高成功率的黑盒攻击任务。
前面，曾分析到现有的相关对抗样本生成算法往往依赖于对目标模型的分类数量的先验知识，并且需要从多个不同网络结构的替代模型中择其最优，这会导致这些算法的实用性大大降低并且需要耗费较多的计算资源。因而，如何在没有任何关于目标模型先验知识的情况下，通过一次性训练学习的方式直接获得最优的替代模型是本发明的技术要点。
为了实现以上目标，本发明提出了动态化网络结构学习的替代模型训练方法，摆脱了固定静态化的替代模型网络结构限制，从而实现了根据不同目标模型实现自主化网络结构优化生成的目标。与此同时，为了进一步提升知识蒸馏训练的质量和效率，我们根据目标模型的多个输出构建结构化信息图，并促使替代模型从多个输出之间的结构化特征间学习到更为关键和隐蔽的知识信息，提高基于该替代模型的对抗样本的攻击强度。
本发明的具体步骤如下：
一种基于动态化网络结构学习的黑盒攻击***，包括基于结构化信息图的优化约束和动态化网络结构学习的替代训练，所述替代训练具体包括以下步骤：
S1：生成替代训练数据；
S2：基于结构化信息图的优化约束的替代训练；
S3：生成动态化网络结构学习的替代模型；
S4：将测试数据送入替代模型，通过白盒攻击方式生成对抗样本，并对目标黑盒模型进行攻击测试。
所述步骤S1具体包括以下步骤：
S11：根据高斯分布随机生成噪声样本；
S12：将噪声样本送入生成器中生成替代训练数据。
所述步骤S2具体包括以下步骤：
步骤21：将生成器生成的替代训练数据分别送入目标模型和替代模型中获得相应的输出；
步骤22：根据目标模型和替代模型的多个输出计算点节点和边特征，并构建相应的结构化信息图；
步骤23：根据目标模型和替代模型输出得到的结构化信息图，计算基于结构化信息图的优化损失函数；
步骤24：根据基于结构化信息图的优化损失函数缩小目标模型和替代模型输出间的距离，更新并优化替代模型网络参数；
步骤25：根据基于结构化信息图的优化损失函数扩大目标模型和替代模型输出间的距离，更新并优化生成器网络参数；
所述步骤22的结构化信息图包括点节点和边特征，所述点节点由模型的输出本身表达，所述边特征为两两点节点之间的特征欧氏距离差。
所述步骤23采用Kullback-Leibler散度来衡量点节点之间的距离，用MSE损失函数来表示边特征之间的距离。
所述步骤S3具体包括以下步骤：
步骤31：根据输入的特征向量，经过平均池化层和全连接层进行简单处理；
步骤32：通过门函数来预测是否跳过当前残差分支。
所述步骤32采用Hard-Sigmoid函数作为门函数H，并设定阈值为0.5，实现动态门输出的二值化。
综上所述，本发明的创新之处在于：
(1)针对多样化的目标黑盒模型，提出了动态化网络结构学习的替代模型训练方法，利用动态门结构的学习，针对不同的目标模型自主性地生成最优的替代模型结构，从而避免了训练多个不同网络结构的替代模型中择其最优的消耗计算量的问题。
(2)基于知识蒸馏的替代模型训练方式，提出了基于结构化信息图的优化约束，通过多个输出之间结构化的信息约束提升替代模型的学习质量与效率，从而进一步提高其生成的对抗样本的攻击性能。
附图说明
附图1是本发明提出的基于动态化网络结构学习的黑盒攻击***图；
附图2是本发明提出的动态化网络结构学习的替代模型训练方法示意图；
附图3是本发明提出的基于动态化网络结构学习的黑盒攻击流程图。
实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于理解，以下结合附图对本发明的技术方案进行详细阐述。
图1为本发明提出的针对分类任务模型的基于动态化网络结构学习的黑盒攻击***图。该***100包括媒体数据101,计算机设备110和展示设备191。媒体数据101可以是视频内容,如电影等,也可以是图像内容。媒体数据101可以通过电视、因特网传播。在某些具体案例中,媒体数据101还可以是包含多种类别多样化的图片数据。计算设备110是处理媒体数据101的计算设备,主要包括计算机处理器120和内存130。处理器120是一个用于计算设备110的硬件处理器，如中央处理器CPU,图形计算处理器GPU。内存130是一个非易失的存储设备，用于储存计算机代码用于处理器120的计算过程，同时，内存130也会存储各类中间数据及参数。内存130包括高斯随机噪声135及其相关数据、可执行代码140。可执行代码140包括一至多个软件模块,用于执行计算机处理器120的计算。如图1所示,可执行代码140包括训练数据生成模块141、知识蒸馏替代训练模块143、结构化信息图学习模块144和动态化网络结构学习模块147。
训练数据生成模块141，是处理媒体数据101并进行数据生成的代码模块，采用训练数据生成算法可以实现仅有高斯随机噪声作为输入的情况下，生成用于后续知识蒸馏替代模型训练的大规模数据。
知识蒸馏替代训练模块143，是基于训练数据生成模块141生成的训练数据上，通过同步给目标模型和替代模型进行数据输入，约束二者的输出尽可能接近，从而实现替代模型的优化训练学习目标。
结构化信息图学习模块144，是基于多个目标模型和替代模型的输出上构建结构化信息图，并计算基于结构化信息图的优化损失函数，从而在具有结构化输出的基础上高效准确的实现替代训练目标。
动态化网络结构学习模块147，是在网络训练过程中，根据不同的目标模型，通过动态门的自适应性的学习过程，自主生成相应的最佳的替代模型的网络结构，从而提升黑盒攻击的攻击性能。
展示设备191是适合播放媒体数据101和显示计算设备110输出的预测分数的设备,可以是电脑、电视或者移动设备。
本发明的具体实施方式主要以7个步骤进行实现，具体细节如下：
步骤1，生成替代训练数据。根据输入的基于高斯分布的随机噪声z，通过生成器网络模型G生成相应的替代训练数据x，具体表达如下，
z～N(0，1)
x＝G(z)∈R3×h×w
其中，h和w分别表示生成数据的长和宽的尺寸。
步骤2，基于结构化信息图的优化约束的替代训练。将生成器生成的替代训练数据x分别送入目标模型T和替代模型S中，并得到相应的模型输出结果。通过约束目标模型T和替代模型S的输出保持一致，来帮助替代模型S更好的从目标模型T中学习到丰富而准确的知识，并由此来更新优化替代模型S中的参数，
LS＝d(T(x)，S(x))
其中，d表示的是目标模型T和替代模型S的输出距离的衡量标准。
步骤3，生成器的优化训练。受启发于对抗生成网络，在训练替代模型S的时候，希望目标模型T和替代模型S的输出之间的距离差距尽可能小，与此同时，生成器G的训练目标是尽可能扩大目标模型T和替代模型S的输出之间的距离，从而使得生成器G不断生成更具有学习价值和难度的替代训练数据，因而，生成器G的优化更新方式为，
LG＝-d(T(x)，S(x))
步骤4，构建结构化信息图。根据目标模型T和替代模型S的多个输出，通过输出之间的俩俩关系构建相应的结构化信息图，其中包括点节点和边特征。其中，点节点主要由模型的输出本身表达，边特征则为两两点节点之间的特征欧氏距离差表示，具体的结构化信息图可表示如下，
Figure BDA0003439943350000051
A(j，k)＝||xj-xk||E，j，k＝1，...，B
其中，B代表着每轮迭代训练中的训练数据数量，E表示采用欧氏距离来衡量俩点之间的特征距离作为边特征的表达。
步骤5，计算基于结构化信息图的优化损失函数。基于已得到的目标模型T和替代模型S的结构化信息图GraphT和GraphS，通过提出的基于结构化信息图的优化损失函数Graph-based Structural Information Learning Constrain(GSIL)来计算并优化步骤2和步骤3，其中具体的优化损失函数表达如下，
Figure BDA0003439943350000061
其中，
Figure BDA0003439943350000062
和
Figure BDA0003439943350000063
分别是目标模型T和替代模型S的点节点，AT和AS分别是目标模型T和替代模型S的边特征。我们采用Kullback-Leibler散度来衡量点节点之间的距离，用MSE损失函数来表示边特征间的距离。
步骤6，动态化替代模型的网络结构学习。为了实现对不同的目标模型都可以生成相应的最优的替代模型网络结构，我们设计了动态门DG来预测输出one-hot向量，来控制是否跳过当前残差分支。该动态门由一系列简单的操作组成，从而实现其功能，
DG(f)＝H(WP(f)+b)
其中，f为输入的特征向量，P表示的为全局平均池化层，W和b分别是全连接层的网络参数。为了实现路径选择的二值化，我们选择了Hard-Sigmoid函数作为门函数H，具体表示为，
Figure BDA0003439943350000064
其中，我们设定阈值为0.5，从而将经过H的结果归为0或1，其中k则是用作阶跃函数的近似值参数，实验中设定为10。
步骤7，训练神经网络模型，生成动态化网络结构学习的替代模型。我们采用SGD优化器对网络进行训练，初始状态下，生成器G的学习率为lr＝0.0001，替代模型S的学习率为lr＝0.001，系数betas＝(0.9,0.999)，权重衰减系数为0.1，批处理数据量batchsize＝500，参数α1＝1，α2＝1。网络一共训练大约80轮收敛。
步骤8，在评估攻击强度时，将测试数据送入步骤7练得到的替代模型中，通过白盒攻击方式生成对抗样本，并对目标黑盒模型进行攻击测试。
图2展示了我们的动态化网络结构学习的替代模型训练方法。该图展示了在替代训练过程中，通过对动态门结构的学习和更新，针对不同目标模型生成相应的最优的替代模型网络结构。
图3展示了我们的基于动态化网络结构学习的黑盒攻击方法。该图详细地描绘了网络模型的数据流，并包括了替代训练的训练数据生成、基于知识蒸馏的替代训练方式、以及基于结构化信息图的优化约束。

Claims (7)

1.一种基于动态化网络结构学习的黑盒攻击***，其特征在于，包括基于结构化信息图的优化约束和动态化网络结构学习的替代训练，所述替代训练具体包括以下步骤：
S1：生成替代训练数据；
S2：基于结构化信息图的优化约束的替代训练；
S3：生成动态化网络结构学习的替代模型；
S4：将测试数据送入替代模型，通过白盒攻击方式生成对抗样本，并对目标黑盒模型进行攻击测试。
2.根据权利要求1中所述的黑盒攻击***，其特征在于，所述步骤S1具体包括以下步骤：
S11：根据高斯分布随机生成噪声样本；
S12：将噪声样本送入生成器中生成替代训练数据。
3.根据权利要求1中所述的黑盒攻击***，其特征在于，所述步骤S2具体包括以下步骤：
步骤21：将生成器生成的替代训练数据分别送入目标模型和替代模型中获得相应的输出；
步骤22：根据目标模型和替代模型的多个输出计算点节点和边特征，并构建相应的结构化信息图；
步骤23：根据目标模型和替代模型输出得到的结构化信息图，计算基于结构化信息图的优化损失函数；
步骤24：根据基于结构化信息图的优化损失函数缩小目标模型和替代模型输出间的距离，更新并优化替代模型网络参数；
步骤25：根据基于结构化信息图的优化损失函数扩大目标模型和替代模型输出间的距离，更新并优化生成器网络参数。
4.根据权利要求3中所述的黑盒攻击***，其特征在于，所述步骤22的结构化信息图包括点节点和边特征，所述点节点由模型的输出本身表达，所述边特征为两两点节点之间的特征欧氏距离差。
5.根据权利要求3中所述的黑盒攻击***，其特征在于，所述步骤23采用Kullback-Leibler散度来衡量点节点之间的距离，用MSE损失函数来表示边特征之间的距离。
6.根据权利要求1中所述的黑盒攻击***，其特征在于，所述步骤S3具体包括以下步骤：
步骤31：根据输入的特征向量，经过平均池化层和全连接层进行简单处理；
步骤32：通过门函数来预测是否跳过当前残差分支。
7.根据权利要求6中所述的黑盒攻击***，其特征在于，所述步骤32采用Hard-Sigmoid函数作为门函数H，并设定阈值为0.5，实现动态门输出的二值化。
CN202111629855.7A 2021-12-28 2021-12-28 一种基于动态化网络结构学习的黑盒攻击*** Pending CN114428954A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111629855.7A CN114428954A (zh) 2021-12-28 2021-12-28 一种基于动态化网络结构学习的黑盒攻击***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111629855.7A CN114428954A (zh) 2021-12-28 2021-12-28 一种基于动态化网络结构学习的黑盒攻击***

Publications (1)

Publication Number Publication Date
CN114428954A true CN114428954A (zh) 2022-05-03

Family

ID=81310978

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111629855.7A Pending CN114428954A (zh) 2021-12-28 2021-12-28 一种基于动态化网络结构学习的黑盒攻击***

Country Status (1)

Country Link
CN (1) CN114428954A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114996496A (zh) * 2022-06-20 2022-09-02 电子科技大学 一种针对图片检索模型的基于查询的黑盒攻击方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114996496A (zh) * 2022-06-20 2022-09-02 电子科技大学 一种针对图片检索模型的基于查询的黑盒攻击方法

Similar Documents

Publication Publication Date Title
CN112257815A (zh) 模型生成方法、目标检测方法、装置、电子设备及介质
CN112489164B (zh) 基于改进深度可分离卷积神经网络的图像着色方法
CN111814626A (zh) 一种基于自注意力机制的动态手势识别方法和***
KR20210033235A (ko) 데이터 증강 방법 및 장치, 그리고 컴퓨터 프로그램
CN113033822A (zh) 基于预测校正和随机步长优化的对抗性攻击与防御方法及***
WO2023035904A9 (zh) 视频时序动作提名生成方法及***
CN111311324B (zh) 基于稳定神经协同过滤的用户-商品偏好预测***和方法
US20210166131A1 (en) Training spectral inference neural networks using bilevel optimization
CN114428954A (zh) 一种基于动态化网络结构学习的黑盒攻击***
Wang et al. Tmf: Temporal motion and fusion for action recognition
CN113935496A (zh) 一种面向集成模型的鲁棒性提升防御方法
KR20220134627A (ko) 하드웨어-최적화된 신경 아키텍처 검색
CN107729821B (zh) 一种基于一维序列学习的视频概括方法
US11922287B2 (en) Video recommendation with multi-gate mixture of experts soft actor critic
CN117151195A (zh) 基于求逆归一化的模型优化方法、装置、设备和介质
KR102110316B1 (ko) 뉴럴 네트워크를 이용한 변분 추론 방법 및 장치
US20210042625A1 (en) Performance of neural networks using learned specialized transformation functions
Xu et al. An improved multi-branch residual network based on random multiplier and adaptive cosine learning rate method
CN112560760B (zh) 一种注意力辅助的无监督视频摘要***
CN114065834B (zh) 一种模型训练方法、终端设备及计算机存储介质
Joo et al. Towards more robust interpretation via local gradient alignment
CN115131549A (zh) 一种基于自提升学习的显著性目标检测训练方法
Sivananthan Manifold regularization based on nyström type subsampling
CN113111308A (zh) 基于数据驱动遗传编程算法的符号回归方法及***
CN103646405B (zh) 基于加权ks背景模型优化算法的视频运动目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination