CN111260059B - 视频分析神经网络模型的后门攻击方法 - Google Patents

视频分析神经网络模型的后门攻击方法 Download PDF

Info

Publication number
CN111260059B
CN111260059B CN202010077148.0A CN202010077148A CN111260059B CN 111260059 B CN111260059 B CN 111260059B CN 202010077148 A CN202010077148 A CN 202010077148A CN 111260059 B CN111260059 B CN 111260059B
Authority
CN
China
Prior art keywords
video
back door
attack
neural network
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010077148.0A
Other languages
English (en)
Other versions
CN111260059A (zh
Inventor
姜育刚
赵世豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN202010077148.0A priority Critical patent/CN111260059B/zh
Publication of CN111260059A publication Critical patent/CN111260059A/zh
Priority to US17/158,012 priority patent/US11275830B2/en
Application granted granted Critical
Publication of CN111260059B publication Critical patent/CN111260059B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/03—Indexing scheme relating to G06F21/50, monitoring users, programs or devices to maintain the integrity of platforms
    • G06F2221/034—Test or assess a computer or a system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于神经网络安全技术领域，具体为视频分析神经网络模型的后门攻击方法。本发明针对视频的高样本维度、高帧分辨率、稀疏数据集等更加严苛的后门攻击实施环境，使用视频后门污染样本构建框架，对视频分析神经网络模型进行后门攻击；视频后门污染样本构建框架包括三个部分：任务导向的模型高敏感度视频后门模式生成算法、特征模糊的模型低敏感度对抗噪声视频样本生成算法、污染样本生成与攻击算法；本发明从后门模式与原始样本两个方面引入梯度信息来建立攻击目标值与后门模式之间的关联。本发明方法具有攻击成功率高、隐秘性高、鲁棒性好、扩展性佳等优点，在视频分析神经网络模型中具有非常好的泛化性。

Description

视频分析神经网络模型的后门攻击方法
技术领域
本发明属于神经网络安全技术领域，具体涉及视频分析神经网络模型的后门攻击方法。
背景技术
深度神经网络当前被广泛应用于图片识别、自然语言处理、视频分析等领域。尽管取得了很大的成功，近年来，研究发现神经网络由于其透明度低、可解释性差等特性，极易受到神经网络后门攻击，这会对人脸识别、自动驾驶、医疗诊断等方面带来很大的安全隐患。后门攻击是一种数据集污染攻击，攻击者将后门模式采用特定方法***受害者的训练集样本中，受害者训练的时候后门模式和攻击目标值之间便会建立一个联系，模型将记住这种后门模式，然后在测试的时候无论输入什么，每当出现这种后门模式时模型将会预测攻击目标值，其他情况下模型将会进行正常的预测。
当前的神经网络后门攻击主要经历了如下两个阶段的发展。
文献[1]首次定义了神经网络领域的后门攻击概念。其中提出了BadNet攻击方法，即通过随机采样后将样本错误标注为攻击目标值来实施后门攻击。该方法由于标注与样本的不一致性，隐秘性低，容易被人为监测以及简单的数据过滤方法所检测到。
文献[2]提出了干净标注的神经网络后门攻击方法。其在标注与样本保持一致的条件下污染数据集实施后门攻击，这解决了BadNet中的隐秘性问题，但仅仅只在局部范围中***后门会大大降低攻击成功率。文中则采用了对局部样本进行隐空间插值与对抗扰动两种方法，有效的提高了攻击的成功率。
本发明的***主要针对于视频分析神经网络模型的后门攻击任务。现有的神经网络后门攻击研究都主要集中于图像领域，但区别于图像的后门攻击，视频具有样本维度高（视频比图片多了时间维度）、帧分辨率高（视频帧分辨率通常为224x224）、数据集稀疏（样本间差异大、样本总体分布稀疏）等特点。当前的后门攻击方法在这些苛刻的条件下，视频的原始特征会对模型产生极大的干扰，导致模型很难再去捕捉后门模式的信息，这很大程度上降低了后门神经网络攻击在视频上的成功率。
针对上述瓶颈，本发明设计了视频分析神经网络模型的后门污染样本构建的全新框架。其可以使模型减少对视频原始特征的关注程度，更多的捕捉到后门模式及其特征，从而建立后门模式与攻击目标值之间的联系，达到攻击目的。本发明提出的方法具有很强的实际操作性，可以大幅度提高后门攻击的成功率。
发明内容
本发明的目的在于提供一种攻击成功率高、实际操作性强的视频分析神经网络模型的后门攻击方法。
本发明提供的视频分析神经网络模型的后门攻击方法，针对视频的高样本维度、高帧分辨率、稀疏数据集等更加严苛的后门攻击实施环境，提出了任务导向的模型高敏感度视频后门模式生成算法与特征模糊的模型低敏感度对抗噪声视频样本生成算法，减少了视频原始特征对后门模式的干扰程度，使得模型预测攻击目标值更加依赖于后门模式是否出现；本发明提出了完整的污染样本生成与攻击机制，可以很大程度上提高后门攻击的成功率，使得视频的后门攻击具有较强的实际操作性。
本发明提供的视频分析神经网络模型的后门攻击方法，使用视频后门污染样本构建框架，对视频分析神经网络模型进行后门攻击；所述的视频后门污染样本构建框架，主要包括三个方面：任务导向的模型高敏感度视频后门模式生成算法、特征模糊的模型低敏感度对抗噪声视频样本生成算法、污染样本生成与攻击算法；其中：
所述任务导向的模型高敏感度视频后门模式生成算法，是将后门模式安插进原始数据集的视频样本中，并将其标注为攻击目标值输入网络，利用梯度信息迭代更新后门模式中的像素值，最终生成模型高敏感度视频后门模式。见图1所示。
所述特征模糊的模型低敏感度对抗噪声视频样本生成算法，是按一定污染比例选取数据集中部分视频样本，并将其标注为攻击目标值，然后采用PGD算法给样本加入对抗噪声，最终获得模型低敏感度对抗噪声视频样本。见图2所示。
所述的污染样本生成与攻击算法，是将生成的后门模式安***加了对抗噪声的视频样本中，然后连同原始数据集中其余所有的干净样本，构建成污染数据集，提供给用户进行训练，至此完成一次完整的视频分析神经网络模型的后门攻击。见图3所示。
本发明中，所述的任务导向的模型高敏感度视频后门模式生成算法，具体步骤如下：
步骤1：给定受攻击者使用的数据集D、神经网络模型结构NN，预先在该D上通过常规训练该NN，得到一个好的模型M；
步骤2：确定后门的大小、形状以及视频帧中注入后门的位置，初始化该后门模式内的像素值；
步骤3：将D中的视频样本***当前的后门模式，并标注为攻击目标值target，构成子数据集D 1；
步骤4：将D 1中的视频样本按批次输入模型M，利用输出层的梯度信息更新后门模式内的各像素值；
步骤5：循环步骤3、步骤4，经过一定迭代次数后，迭代终止，最终得到模型高敏感度视频后门模式trigger。
步骤1中，所述的待攻击的数据集以及神经网络模型为针对视频分析领域的数据集与神经网络模型，正常训练得到的模型能够在干净的数据集上产生常规的正确的结果。
步骤2中，所述的后门的大小、形状可以任意设定；注入的位置可以是视频帧中的任意位置；后门内的像素值可以为任意的合法初始值。
步骤3中，所述的在视频样本中***后门模式的方法为，将原始视频中属于设定的后门位置的那部分像素值设置为后门内对应的像素值，视频的其他部分则保持不变；对于攻击目标值target，应设置为攻击者所期望的结果分布（比如针对分类任务应设置为攻击者的攻击目标类别的标签，又如回归任务则应设置为攻击者所期望得到的回归值）。
步骤4中，所述的输入层的梯度信息由模型M的输出结果和标注的攻击目标值target二者的构成的损失函数产生；更新后门模式时只改变输入视频中的后门部分的像素值，视频其他部分保持不变，更新的规则为原始像素值减去其梯度方向函数的一定步长。
步骤5中，所述的迭代终止的条件为：损失函数小于设定阈值，或者迭代超过设定次数，最终得到任务导向的模型高敏感度视频后门模式trigger。
本发明中，所述的特征模糊的模型低敏感度对抗噪声视频样本生成算法，具体步骤如下：
步骤1：按一定污染比例，从原始数据集D中根据一定规则采样得到子数据集D 2（D中剩下的视频构成子数据集为D 3），并将D 2中所有视频标注为攻击目标值target，输入到M；
步骤2：对D 2中每个视频样本迭代一定次数以加入对抗噪声，构成子数据集
Figure SMS_1
。
步骤1中，所述采样规则应根据不同环境下攻击者具有的攻击条件来设定：全局污染条件下，可以在D中进行全局采样；局部污染条件下，只能对D中部分特定样本进行采样。
步骤2中，加入对抗噪声的方法为PGD方法。
本发明中，所述的污染样本生成与攻击算法，具体步骤如下：
步骤1：将
Figure SMS_2
中的视频样本***后门模式trigger，连同D 3，构成被污染的数据集D poison；
步骤2：将D poison提供给用户进行训练。
步骤1中，所述在视频样本中***后门模式的方法为，将***前的视频中属于后门位置的那部分像素值设置为后门内对应的像素值，视频的其他部分则保持不变。
步骤2中，所述将数据集中的视频样本提供给用户训练，至此完成一次视频分析神经网络模型的后门攻击。
本发明提供的视频分析神经网络模型的后门攻击方法，具体流程为：
（1）给定受攻击者使用的数据集、神经网络模型结构，在该数据集上预先训练得到一个干净模型；
（2）初始化后门模式，将其***数据集的视频中，将这些样本标注为攻击目标值，并输入到干净的模型中；
（3）利用梯度信息经过多次迭代来更新后门模式，模型收敛或到达一定迭代次数后，最终得到模型高敏感度视频后门模式；
（4）按一定污染比例采样原始数据集中的部分样本，并将其标注为攻击目标值；
（5）将采样视频输入到干净的模型中，加入对抗噪声，得到特征模糊的模型低敏感度对抗噪声视频样本；
（6）将加入对抗噪声的那部分视频样本***后门模式，连同其余所有干净样本提供给用户训练，至此完成一次完整的视频分析神经网络模型的后门攻击。
本发明的创新之处在于：
（1）针对视频具有的特点，提出了任务导向的模型高敏感度视频后门模式生成算法，使得后门模式与模型联系更加紧密，并具有一定的数据集分布的先验知识，这使得模型在训练过程中能够更好的提取到后门模式的特征；
（2）提出了特征模糊的模型低敏感度对抗噪声视频样本生成算法，通过施加对抗噪声使得原始视频的信息变得不显著，很大程度上降低了训练过程中原始视频特征对后门的干扰，进一步帮助模型更好的关注于后门模式，提升了视频后门攻击的成功率。
附图说明
图1是本发明提出的任务导向的模型高敏感度视频后门模式生成算法图示。
图2是本发明提出的特征模糊的模型低敏感度对抗噪声视频样本生成算法图示。
图3是本发明提出的视频后门污染样本构建图示。
具体实施方式
步骤1：预先训练干净的模型。给定受攻击者使用的数据集D、神经网络模型结构NN，我们预先在该D上通过正常训练该NN（由于不同模型结构具有不同的训练方法，在此应该采用该结构对应的常规训练方法进行正常训练），得到一个干净的好模型M，使得M在干净的数据集上具有正常的预测准确率。
步骤2：初始化后门模式。指定后门的大小、形状以及视频帧中注入后门的位置，即后门模式的掩码mask。然后通过随机初始化、常量初始化、高斯分布初始化、均匀分布初始化等方法给出合法初始值来初始化后门内的像素值，得到初始后门模式trigger。
步骤3：原始视频中***后门模式。取出数据集中的视频样本***后门，构成子数据集D 1，***方法为将原始视频中属于设定的后门位置的那部分像素值设置为后门内对应的像素值，视频的其他部分则保持不变，***公式定义如下：
Figure SMS_3
其中，
Figure SMS_4
为***后门前的样本，
Figure SMS_5
为***后门后的样本，mask为后门掩码， trigger为初始化后门模式。
步骤4：生成模型高敏感度视频后门模式。将D 1中所有样本标注为攻击目标值target，按批次输入到M中，对于攻击目标值target，应设置为攻击者所期望的结果分布（比如针对分类任务应设置为攻击者的攻击目标类别的标签，又如回归任务则应设置为攻击者所期望得到的回归值）。通过模型M的输出结果和标注的攻击目标值target二者的构成的损失函数，采用梯度反向传播算法得到输入层的梯度δ，并利用δ来更新后门模式内的各个像素值，具体的更新公式定义如下：
Figure SMS_6
其中，trigger为当前迭代次数得到的后门模式，
Figure SMS_7
为学习率，sign()为符号函数。 每个批次进行一次像素值的更新，对整个数据集进行多次迭代，收敛或到达设定迭代次数 后得到模型高敏感度视频后门模式trigger。
步骤5：特征模糊视频样本采样。从原始数据集D中，按污染比例β根据一定规则采样得到子数据集D 2，采样规则应根据不同环境下攻击者具有的攻击条件来设定：全局污染条件下，可以在D中进行全局采样；局部污染条件下，只能对D中部分特定样本进行采样（比如干净标注的神经网络后门攻击）。D中剩下的视频构成子数据集为D 3。
步骤6：特征模糊的视频样本生成。将D 2中所有视频标注为攻击目标值，输入到M， 采用PGD方法对视频施加对抗噪声，构成子数据集
Figure SMS_8
。PGD采用的损失函数L定义如下：
Figure SMS_9
其中，x为输入的原始视频，
Figure SMS_10
为对抗噪声限定边界。
步骤7：污染样本生成与攻击机制。将
Figure SMS_11
中的视频样本***trigger，***方法运用 步骤3中的***方法。随后将***后门的
Figure SMS_12
连同D 3一起，构成被污染的数据集D poison，并将D poison提供给用户进行训练，至此完成一次完整的视频分析神经网络模型的后门攻击。
参考文选
[1]Tianyu Gu, BrendanDolan-Gavitt, and Siddharth Garg. Badnets:Identifying vulnerabilities in the ma- chine
learning model supply chain. arXiv preprint arXiv:1708.06733, 2017.
[2] Alexander Turner,Dimitris Tsipras, and AleksanderMadry. Clean-label backdoor attacks, 2019。

Claims (7)

1.一种视频分析神经网络模型的后门攻击方法，其特征在于，使用视频后门污染样本构建框架，对视频分析神经网络模型进行后门攻击；所述的视频后门污染样本构建框架，包括三个部分：任务导向的模型高敏感度视频后门模式生成算法、特征模糊的模型低敏感度对抗噪声视频样本生成算法、污染样本生成与攻击算法；其中：
所述任务导向的模型高敏感度视频后门模式生成算法，是将后门模式安插进原始数据集的视频样本中，并将其标注为攻击目标值输入网络，利用梯度信息迭代更新后门模式中的像素值，最终生成模型高敏感度视频后门模式；
所述特征模糊的模型低敏感度对抗噪声视频样本生成算法，是按一定污染比例选取数据集中部分视频样本，并将其标注为攻击目标值，然后采用PGD算法给样本加入对抗噪声，最终获得模型低敏感度对抗噪声视频样本；
所述的污染样本生成与攻击算法，是将生成的后门模式安***加了对抗噪声的视频样本中，然后连同原始数据集中其余所有的干净样本，构建成污染数据集，提供给用户进行训练，至此完成一次完整的视频分析神经网络模型的后门攻击。
2.根据权利要求1所述的视频分析神经网络模型的后门攻击方法，其特征在于，所述的任务导向的模型高敏感度视频后门模式生成算法，具体步骤如下：
步骤1：给定受攻击者使用的数据集D、神经网络模型结构NN，预先在该D上通过常规训练该NN，得到一个好的模型M；
步骤2：确定后门的大小、形状以及视频帧中注入后门的位置，初始化该后门模式内的像素值；
步骤3：将D中的视频样本***当前的后门模式，并标注为攻击目标值target，构成子数据集D1；
步骤4：将D1中的视频样本按批次输入模型M，利用输出层的梯度信息更新后门模式内的各像素值；
步骤5：循环步骤3、步骤4，经过一定迭代次数后，迭代终止，最终得到模型高敏感度视频后门模式trigger。
3.根据权利要求2所述的视频分析神经网络模型的后门攻击方法，其特征在于，步骤1中，所述的受攻击者使用的数据集以及神经网络模型为针对视频分析领域的数据集与神经网络模型，正常训练得到的模型能够在干净的数据集上产生常规的正确的结果；
步骤2中，所述的后门的大小、形状任意设定；注入的位置是视频帧中的任意位置；后门内的像素值为任意的合法初始值；
步骤3中，所述的视频样本***当前的后门模式的方法为，将原始视频中属于设定的后门位置的那部分像素值设置为后门内对应的像素值，视频的其他部分则保持不变；对于攻击目标值target，设置为攻击者所期望的结果分布；
步骤4中，所述的输出层的梯度信息由模型M的输出结果和标注的攻击目标值target构成的损失函数产生；更新后门模式时只改变输入视频中的后门部分的像素值，视频其他部分保持不变，更新的规则为原始像素值减去其梯度方向函数的一定步长；
步骤5中，所述的迭代终止的条件为：损失函数小于设定阈值，或者迭代超过设定次数，最终得到任务导向的模型高敏感度视频后门模式trigger。
4.根据权利要求2所述的视频分析神经网络模型的后门攻击方法，其特征在于，所述的特征模糊的模型低敏感度对抗噪声视频样本生成算法，具体步骤如下：
步骤a：按一定污染比例，从原始数据集D中根据一定采样规则采样得到子数据集D2，D中剩下的视频构成子数据集为D3，并将D2中所有视频标注为攻击目标值target，输入到M；
步骤b：对D2中每个视频样本迭代一定次数以加入对抗噪声，构成子数据集D′2。
5.根据权利要求4所述的视频分析神经网络模型的后门攻击方法，其特征在于，步骤a中，所述采样规则根据不同环境下攻击者具有的攻击条件来设定：全局污染条件下，在D中进行全局采样；局部污染条件下，对D中部分特定样本进行采样；
步骤b中，加入对抗噪声的方法为PGD方法。
6.根据权利要求4所述的视频分析神经网络模型的后门攻击方法，其特征在于，所述的污染样本生成与攻击算法，具体步骤如下：
步骤1：将D′2中的视频样本***后门模式trigger，连同D3，构成被污染的数据集Dpoison；
步骤2：将Dpoison提供给用户进行训练。
7.根据权利要求6所述的视频分析神经网络模型的后门攻击方法，其特征在于，步骤1中，所述视频样本***后门模式的方法为，将***前的视频中属于后门位置的那部分像素值设置为后门内对应的像素值，视频的其他部分则保持不变；
步骤2中，将数据集中的视频样本提供给用户训练，至此完成一次视频分析神经网络模型的后门攻击。
CN202010077148.0A 2020-01-23 2020-01-23 视频分析神经网络模型的后门攻击方法 Active CN111260059B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010077148.0A CN111260059B (zh) 2020-01-23 2020-01-23 视频分析神经网络模型的后门攻击方法
US17/158,012 US11275830B2 (en) 2020-01-23 2021-01-26 System and method for video backdoor attack

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010077148.0A CN111260059B (zh) 2020-01-23 2020-01-23 视频分析神经网络模型的后门攻击方法

Publications (2)

Publication Number Publication Date
CN111260059A CN111260059A (zh) 2020-06-09
CN111260059B true CN111260059B (zh) 2023-06-02

Family

ID=70952591

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010077148.0A Active CN111260059B (zh) 2020-01-23 2020-01-23 视频分析神经网络模型的后门攻击方法

Country Status (2)

Country Link
US (1) US11275830B2 (zh)
CN (1) CN111260059B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112163638B (zh) * 2020-10-20 2024-02-13 腾讯科技（深圳）有限公司 图像分类模型后门攻击的防御方法、装置、设备及介质
CN112380974B (zh) * 2020-11-12 2023-08-15 支付宝(杭州)信息技术有限公司 分类器优化方法、后门检测方法、装置和电子设备
CN112232446A (zh) * 2020-12-11 2021-01-15 鹏城实验室 图片识别方法及装置、训练方法及装置、生成方法及装置
JP2022109031A (ja) * 2021-01-14 2022-07-27 富士通株式会社 情報処理プログラム、装置、及び方法
CN112765607B (zh) * 2021-01-19 2022-05-17 电子科技大学 一种神经网络模型后门攻击检测方法
CN112989438B (zh) * 2021-02-18 2022-10-21 上海海洋大学 针对隐私保护神经网络模型的后门攻击的检测与识别方法
CN113010888B (zh) * 2021-03-02 2022-04-19 电子科技大学 一种基于关键神经元的神经网络后门攻击防御方法
CN113111349B (zh) * 2021-04-25 2022-04-29 浙江大学 基于热力图、逆向工程和模型剪枝的后门攻击防御方法
CN113762053B (zh) * 2021-05-14 2023-07-25 腾讯科技（深圳）有限公司 一种图像处理方法、装置、计算机及可读存储介质
CN113222120B (zh) * 2021-05-31 2022-09-16 北京理工大学 基于离散傅立叶变换的神经网络后门注入方法
CN113673324B (zh) * 2021-07-13 2023-11-28 复旦大学 一种基于时序移动的视频识别模型攻击方法
CN113868671B (zh) * 2021-12-01 2022-03-25 支付宝(杭州)信息技术有限公司 数据处理方法、神经网络模型的后门防御方法及装置
CN114640518B (zh) * 2022-03-11 2023-07-25 广西师范大学 一种基于音频隐写的个性化触发器后门攻击方法
CN114694222B (zh) * 2022-03-28 2023-08-18 马上消费金融股份有限公司 图像处理方法、装置、计算机设备及存储介质
CN114897161B (zh) * 2022-05-17 2023-02-07 中国信息通信研究院 一种基于掩码的图分类后门攻击防御方法、***、电子设备及存储介质
CN115115905B (zh) * 2022-06-13 2023-06-27 苏州大学 基于生成模型的高可迁移性图像对抗样本生成方法
CN117494220A (zh) * 2023-12-29 2024-02-02 武汉大学 基于模型正交化的深度学习分类模型隐私保护方法及***
CN117633478B (zh) * 2024-01-08 2024-06-18 暨南大学 基于GNNs社交媒体挖掘的公平性后门评估方法及***
CN117955747B (zh) * 2024-03-26 2024-06-07 南京邮电大学 一种用于语音识别***的后门安全性评估方法、装置及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948663A (zh) * 2019-02-27 2019-06-28 天津大学 一种基于模型抽取的步长自适应的对抗攻击方法
CN110610082A (zh) * 2019-09-04 2019-12-24 笵成科技南京有限公司 一种基于dnn用于护照抵御模糊攻击的***与方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7308715B2 (en) * 2001-06-13 2007-12-11 Mcafee, Inc. Protocol-parsing state machine and method of using same
WO2003090426A1 (en) * 2002-04-17 2003-10-30 Computer Associates Think, Inc. Detecting and countering malicious code in enterprise networks
JP2004258777A (ja) * 2003-02-24 2004-09-16 Fujitsu Ltd セキュリティ管理装置、セキュリティ管理システム、セキュリティ管理方法、セキュリティ管理プログラム
US10474815B2 (en) * 2010-11-29 2019-11-12 Biocatch Ltd. System, device, and method of detecting malicious automatic script and code injection
US8850588B2 (en) * 2012-05-01 2014-09-30 Taasera, Inc. Systems and methods for providing mobile security based on dynamic attestation
US11443178B2 (en) * 2017-12-15 2022-09-13 Interntional Business Machines Corporation Deep neural network hardening framework
US11526745B2 (en) * 2018-02-08 2022-12-13 Intel Corporation Methods and apparatus for federated training of a neural network using trusted edge devices
US11188789B2 (en) 2018-08-07 2021-11-30 International Business Machines Corporation Detecting poisoning attacks on neural networks by activation clustering

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948663A (zh) * 2019-02-27 2019-06-28 天津大学 一种基于模型抽取的步长自适应的对抗攻击方法
CN110610082A (zh) * 2019-09-04 2019-12-24 笵成科技南京有限公司 一种基于dnn用于护照抵御模糊攻击的***与方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
智能语音***安全分析;张笑宇;沈超;陈宇飞;吴星辉;刘畅;;数据与计算发展前沿;第2卷(第06期);98-109 *

Also Published As

Publication number Publication date
US11275830B2 (en) 2022-03-15
US20220027462A1 (en) 2022-01-27
CN111260059A (zh) 2020-06-09

Similar Documents

Publication Publication Date Title
CN111260059B (zh) 视频分析神经网络模型的后门攻击方法
D'Avino et al. Autoencoder with recurrent neural networks for video forgery detection
Bayar et al. Constrained convolutional neural networks: A new approach towards general purpose image manipulation detection
US10535120B2 (en) Adversarial learning of privacy protection layers for image recognition services
US20200311540A1 (en) Layer-Wise Distillation for Protecting Pre-Trained Neural Network Models
Liu et al. Learning converged propagations with deep prior ensemble for image enhancement
CN110348475B (zh) 一种基于空间变换的对抗样本增强方法和模型
EP3916597B1 (en) Detecting malware with deep generative models
CN111242166A (zh) 一种通用对抗扰动生成方法
CN111539916A (zh) 一种对抗鲁棒的图像显著性检测方法及***
Fang et al. Backdoor attacks on the DNN interpretation system
Sun et al. Complete defense framework to protect deep neural networks against adversarial examples
Yang et al. Towards generalizable detection of face forgery via self-guided model-agnostic learning
Sun et al. Single image backdoor inversion via robust smoothed classifiers
CN112215766B (zh) 一种图像复原与图像增强相融合的图像去雾方法及其卷积网络
Xu et al. FLPM: A property modification scheme for data protection in federated learning
Celebi et al. A comparison study to detect seam carving forgery in JPEG images with deep learning models
CN114021136A (zh) 针对人工智能模型的后门攻击防御***
Mengara et al. Backdoor Attacks to Deep Neural Networks: A Survey of the Literature, Challenges, and Future Research Directions
CN114638356A (zh) 一种静态权重引导的深度神经网络后门检测方法及***
CN114912568A (zh) 数据处理的方法、设备和计算机可读存储介质
Yang et al. Image Enhancement via Special Functions and Its Application for Near Infrared Imaging
Isono et al. Robust spatiotemporal fusion of satellite images: A constrained convex optimization approach
Liu et al. Adversarial examples generated from sample subspace
CN117436077B (zh) 一种基于图像隐写的联邦学习后门攻击方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant