CN114722407A - 基于内生式对抗样本的图像保护方法 - Google Patents

基于内生式对抗样本的图像保护方法 Download PDF

Info

Publication number
CN114722407A
CN114722407A CN202210208387.4A CN202210208387A CN114722407A CN 114722407 A CN114722407 A CN 114722407A CN 202210208387 A CN202210208387 A CN 202210208387A CN 114722407 A CN114722407 A CN 114722407A
Authority
CN
China
Prior art keywords
characteristic
image
implicit
original image
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210208387.4A
Other languages
English (en)
Other versions
CN114722407B (zh
Inventor
毛秀青
孙磊
刘沛源
杨宇
郭松辉
李作辉
戴乐育
郭松
胡翠云
臧韦菲
赵锟
窦睿彧
李瑞锋
赵敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Information Engineering University of PLA Strategic Support Force
Original Assignee
Information Engineering University of PLA Strategic Support Force
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Information Engineering University of PLA Strategic Support Force filed Critical Information Engineering University of PLA Strategic Support Force
Priority to CN202210208387.4A priority Critical patent/CN114722407B/zh
Publication of CN114722407A publication Critical patent/CN114722407A/zh
Application granted granted Critical
Publication of CN114722407B publication Critical patent/CN114722407B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computational Linguistics (AREA)
  • Bioethics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于内生式对抗样本的图像保护方法。该方法包括：步骤1：对原始图像进行特征分解，分解为显性特征和隐性特征；步骤2：对所述隐性特征进行特征修改，得到修改后隐性特征；步骤3：将所述显性特征和所述修改后隐性特征进行合成得到对抗样本，将所述对抗样本替换掉原始图像作为面向外部***公开的图像。本发明提供的内生式的对抗攻击十分契合于黑盒攻击的场景；并且由于修改的隐性特征部分本身不影响图像质量及其主要内容，因此对抗样本图像与原始图像的视觉一致性天然存在，使得生成的对抗样本天然满足对抗样本应该具有的难以察觉性，具有很好的感知真实性，因此可以省去关于对抗扰动大小的超参数和损失函数的设置。

Description

基于内生式对抗样本的图像保护方法
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于内生式对抗样本的图像保护方法。
背景技术
对抗样本技术是通过在图像中加入难以被人眼察觉的对抗噪声来误导人工智能算法模型使其产生错误的输出结果，该噪声是人为设计的，但是在用户看来添加了噪声的图像与原始图像没有任何不同。因此可以利用此技术对用户图像添加对抗噪声，使人工智能伪造算法产生错误的结果，从而阻止其恶意篡改用户图像。
现有对抗样本技术主要是加性的，即额外生成对抗噪声叠加在原始图像上，如图2(a)所示。这使得噪声生成时需要设计参数或目标来保证噪声的大小以满足对抗样本图像与原始图像的视觉一致性，目标或参数设置不当很有可能会造成噪声过大的现象。另外目前的一些对抗样本技术需要目标模型内部的具体梯度参数，即攻击场景为白盒，新技术方案是完全黑盒的，不需要任何模型内部的参数，只需要了解输入输出即可。
发明内容
针对攻击者恶意篡改图像的问题，本发明提供一种基于内生式对抗样本的图像保护方法。
本发明提供的基于内生式对抗样本的图像保护方法，包括：
步骤1：对原始图像进行特征分解，分解为显性特征和隐性特征；
步骤2：对所述隐性特征进行特征修改，得到修改后隐性特征；
步骤3：将所述显性特征和所述修改后隐性特征进行合成得到对抗样本，将所述对抗样本替换掉原始图像作为面向外部***公开的图像。
进一步地，步骤1中，采用奇异值分解算法按照公式(3)对原始图像x进行特征分解，将前n项特征作为显性特征，将其余项特征作为隐性特征：
Figure BDA0003530065840000011
其中，r表示原始图像的大小，i∈{1,2,…,n,…,r}，σi表示原始图像的奇异值，满足σ1≥σ2≥…≥σn≥…≥σr≥0，ui和vi表示奇异值σi所对应的特征向量。
进一步地，步骤2中，采用优化算法从所有的所述隐性特征中选择出对抗隐性特征，对所述对抗隐性特征进行修改，得到修改后隐性特征；所述对抗隐性特征表示满足公式(4)的隐性特征：
Figure BDA0003530065840000021
其中，G表示恶意篡改***中的生成器，L表示计算G(x)与G(x′)之间距离的函数。
进一步地，采用差分进化算法作为优化算法，对应地，步骤2具体包括：
步骤2.1：初始化种群；其中，种群中的一个个体表示一个向量α∈Rr-n，向量α中的一个元素表示隐性特征中的一个奇异值；r表示原始图像的大小，n表示显性特征的数量；Rr -n表示长度为r-n的向量；
步骤2.2：采用公式(5)对种群进行变异，得到新的种群：
Figure BDA0003530065840000022
其中，r1,r2,r3是三个随机数，F是缩放因子，g表示遗传代数，j∈{1,…,r-n}，
Figure BDA0003530065840000023
步骤2.3：将公式(6)作为适应度函数，选择使适应度函数取值最大的个体所对应的奇异值：
Figure BDA0003530065840000024
其中，G表示恶意篡改***中的生成器；L表示计算G(x)与G(x′)之间距离的函数；
步骤2.4：迭代执行步骤2.2至步骤2.3，直至达到设定的遗传代数，根据此时选择的奇异值得到对应的隐性特征；
步骤2.5：根据给定的修改函数对步骤2.4中得到的隐性特征进行修改。
本发明的有益效果：
(1)在生成对抗样本时，采用对来自于原始图像内部的隐性特征进行直接修改来构造对抗扰动而不再需要额外生成对抗扰动，由于隐性特征存在原始图像内部，将由此生成的对抗样本称为内生式对抗样本。这种内生式的对抗攻击十分契合于黑盒攻击的场景；
(2)由于修改的隐性特征部分本身不影响图像质量及其主要内容，因此对抗样本图像与原始图像的视觉一致性天然存在，使得生成的对抗样本天然满足对抗样本应该具有的难以察觉性，具有很好的感知真实性，因此可以省去关于对抗扰动大小的超参数和损失函数的设置。本发明的图像保护方法适用于对所有图像的保护。
附图说明
图1为本发明实施例提供的基于内生式对抗样本的图像保护方法的流程示意图；
图2中，(a)为传统方法生成加性对抗样本的示意图；(b)本发明实施例提供的生成内生式对抗样本的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供一种基于内生式对抗样本的图像保护方法，包括以下步骤：
S101：对原始图像进行特征分解，分解为显性特征和隐性特征；
具体地，该过程可以采用公式(1)表示：
x＝xdom+xun (1)
其中，x表示原始图像，xdom和xun分别表示原始图像x的显性特征和隐性特征。
S102：对所述隐性特征进行特征修改，得到修改后隐性特征；
S103：将所述显性特征和所述修改后隐性特征进行合成得到对抗样本。
具体地，该过程可以采用公式(2)来表示：
x′＝xdom+f(xun) (2)
其中，x′表示对抗样本，f()表示修改隐性特征的函数。
本发明实施例提供的基于内生式对抗样本的图像保护方法，具有两个优势：(1)在生成对抗样本时，采用对来自于原始图像内部的隐性特征进行直接修改来构造对抗扰动而不再需要额外生成对抗扰动，由于隐性特征存在原始图像内部，将由此生成的对抗样本称为内生式对抗样本。这种内生式的对抗攻击十分契合于黑盒攻击的场景；(2)由于修改的隐性特征部分本身不影响图像质量及其主要内容，因此对抗样本图像与原始图像的视觉一致性天然存在，使得生成的对抗样本天然满足对抗样本应该具有的难以察觉性，具有很好的感知真实性，因此可以省去关于对抗扰动大小的超参数和损失函数的设置。这两个优势在针对面部篡改时都是十分重要的，这是因为黑盒攻击更适用于实际运用的场景，而感知真实性能够保证对抗样本不会破坏面部图像在正常使用时的质量，只有在其被恶意篡改时才会产生不利于使用的视觉效果。
在上述实施例的基础上，上述的步骤S101，作为一种可实施方式，采用奇异值分解算法按照公式(3)对原始图像x进行特征分解，将前n项特征作为显性特征，将其余项特征作为隐性特征：
Figure BDA0003530065840000041
其中，r表示原始图像的大小，i∈{1,2,…,n,…,r}，σi表示原始图像的奇异值，满足σ1≥σ2≥…≥σn≥…≥σr≥0，ui和vi表示奇异值σi所对应的特征向量。
具体地，较大的奇异值及其对应的特征向量包含了原始图像中主要的纹理特征，而较小的奇异值即使忽略不计，也不会对原始图像本身的内容产生影响。因此，选择前n项较大的奇异值所对应的特征作为显性特征，其余项较小的奇异值所对应的特征作为隐性特征。
在上述各实施例的基础上，上述的步骤S102，主要包括采用采用优化算法从所有的所述隐性特征中选择出对抗隐性特征，对所述对抗隐性特征进行修改，得到修改后隐性特征；所述对抗隐性特征表示满足公式(4)的隐性特征：
Figure BDA0003530065840000042
其中，G表示恶意篡改***中的生成器，L表示计算G(x)与G(x′)之间距离的函数。
具体地，可以理解，攻击恶意篡改图像的***(简称恶意篡改***，例如面部篡改***)的目标是使该恶意篡改***中的生成器作用于对抗样本图像后所得到的结果与作用于原始图像所得到的结果之间的距离最大，因此可以将内生式对抗样本的优化问题表示为公式(4)。其中，G(x)可以理解为恶意篡改***篡改原始图像x的过程。
作为一种可实施方式，在进行特征分解后，选取差分进化算法作为优化算法，如此，本步骤可以理解为采用差分进化算法寻找合适的小奇异值来满足公式(4)的优化问题。差分进化属于基于种群的优化算法，通过变异、交叉和选择三个阶段的不断迭代来寻找适应度更高的个体。差分进化不易受到局部最优的影响，并且不使用梯度进行迭代也使其更加适用于黑盒攻击的场景。
上述的步骤S102具体包括以下子步骤：
S1021：初始化种群；其中，种群中的一个个体表示一个向量α∈Rr-n，向量α中的一个元素表示隐性特征中的一个奇异值；r表示原始图像的大小，n表示显性特征的数量；Rr-n表示长度为r-n的向量，可以理解，该向量中的元素由公式(3)中
Figure BDA0003530065840000051
这一部分所对应的奇异值σi组成。
S1022：采用公式(5)对种群进行变异，得到新的种群：
Figure BDA0003530065840000052
其中，r1,r2,r3是三个随机数，F是缩放因子，g表示遗传代数，j∈{1,…,r-n}，
Figure BDA0003530065840000053
其中，
Figure BDA0003530065840000054
可以理解为：差分进化迭代过程中，种群中的任何个体的任何元素都不应当大于显性特征中的奇异值大小，从而保证对抗样本与原始图像的视觉一致性。
S1023：将公式(6)作为适应度函数，选择使适应度函数取值最大的个体所对应的奇异值：
Figure BDA0003530065840000055
其中，G表示恶意篡改***中的生成器；L表示计算G(x)与G(x′)之间距离的函数
具体地，本发明实施例中将距离函数L直接作为适应度函数，该适应度函数表示了对抗样本图像与原始图像在分别经过恶意篡改***中的生成器后图像差异的平方，搜索使公式(6)最大的奇异值的目的是为了破坏生成器在修改对抗样本图像时的性能，以达到阻止伪造过程的目的。
S1024：迭代执行步骤2.2至步骤2.3，直至达到设定的遗传代数，根据此时选择的奇异值得到对应的隐性特征；
S1025：根据给定的修改函数对步骤S1024中得到的隐性特征进行修改。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (4)

1.基于内生式对抗样本的图像保护方法，其特征在于，包括：
步骤1：对原始图像进行特征分解，分解为显性特征和隐性特征；
步骤2：对所述隐性特征进行特征修改，得到修改后隐性特征；
步骤3：将所述显性特征和所述修改后隐性特征进行合成得到对抗样本，将所述对抗样本替换掉原始图像作为面向外部***公开的图像。
2.根据权利要求1所述的基于内生式对抗样本的图像保护方法，其特征在于，步骤1中，采用奇异值分解算法按照公式(3)对原始图像x进行特征分解，将前n项特征作为显性特征，将其余项特征作为隐性特征：
Figure FDA0003530065830000011
其中，r表示原始图像的大小，i∈{1，2，...，n，...，r}，σi表示原始图像的奇异值，满足σ1≥σ2≥…≥σn≥…≥σr≥0，ui和vi表示奇异值σi所对应的特征向量。
3.根据权利要求1所述的基于内生式对抗样本的图像保护方法，其特征在于，步骤2中，采用优化算法从所有的所述隐性特征中选择出对抗隐性特征，对所述对抗隐性特征进行修改，得到修改后隐性特征；所述对抗隐性特征表示满足公式(4)的隐性特征：
Figure FDA0003530065830000012
其中，G表示恶意篡改***中的生成器，L表示计算G(x)与G(x′)之间距离的函数。
4.根据权利要求3所述的基于内生式对抗样本的图像保护方法，其特征在于，采用差分进化算法作为优化算法，对应地，步骤2具体包括：
步骤2.1：初始化种群；其中，种群中的一个个体表示一个向量α∈Rr-n，向量α中的一个元素表示隐性特征中的一个奇异值；r表示原始图像的大小，n表示显性特征的数量；Rr-n表示长度为r-n的向量；
步骤2.2：采用公式(5)对种群进行变异，得到新的种群：
Figure FDA0003530065830000013
其中，r1，r2，r3是三个随机数，F是缩放因子，g表示遗传代数，j∈{1，...，r-n}，
Figure FDA0003530065830000014
步骤2.3：将公式(6)作为适应度函数，选择使适应度函数取值最大的个体所对应的奇异值：
Figure FDA0003530065830000021
其中，G表示恶意篡改***中的生成器；L表示计算G(x)与G(x′)之间距离的函数；
步骤2.4：迭代执行步骤2.2至步骤2.3，直至达到设定的遗传代数，根据此时选择的奇异值得到对应的隐性特征；
步骤2.5：根据给定的修改函数对步骤2.4中得到的隐性特征进行修改。
CN202210208387.4A 2022-03-03 2022-03-03 基于内生式对抗样本的图像保护方法 Active CN114722407B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210208387.4A CN114722407B (zh) 2022-03-03 2022-03-03 基于内生式对抗样本的图像保护方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210208387.4A CN114722407B (zh) 2022-03-03 2022-03-03 基于内生式对抗样本的图像保护方法

Publications (2)

Publication Number Publication Date
CN114722407A true CN114722407A (zh) 2022-07-08
CN114722407B CN114722407B (zh) 2024-05-24

Family

ID=82236329

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210208387.4A Active CN114722407B (zh) 2022-03-03 2022-03-03 基于内生式对抗样本的图像保护方法

Country Status (1)

Country Link
CN (1) CN114722407B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110969637A (zh) * 2019-12-02 2020-04-07 深圳市唯特视科技有限公司 一种基于生成对抗网络的多威胁目标重建及态势感知方法
CN111414964A (zh) * 2020-03-23 2020-07-14 上海金桥信息股份有限公司 一种基于对抗样本防御的图像安全识别方法
CN111709435A (zh) * 2020-05-18 2020-09-25 杭州电子科技大学 一种基于离散小波变换的对抗样本生成方法
CN113221923A (zh) * 2021-05-31 2021-08-06 西安电子科技大学 一种用于多模态图像块匹配的特征分解方法及***
WO2021189364A1 (zh) * 2020-03-26 2021-09-30 深圳先进技术研究院 一种对抗图像生成方法、装置、设备以及可读存储介质
CN113704758A (zh) * 2021-07-29 2021-11-26 西安交通大学 一种黑盒攻击对抗样本生成方法及***
CN113806546A (zh) * 2021-09-30 2021-12-17 中国人民解放军国防科技大学 一种基于协同训练的图神经网络对抗防御方法及***
CN113935913A (zh) * 2021-10-08 2022-01-14 北京计算机技术及应用研究所 一种具有视觉感知隐蔽性的黑盒图像对抗样本生成方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110969637A (zh) * 2019-12-02 2020-04-07 深圳市唯特视科技有限公司 一种基于生成对抗网络的多威胁目标重建及态势感知方法
CN111414964A (zh) * 2020-03-23 2020-07-14 上海金桥信息股份有限公司 一种基于对抗样本防御的图像安全识别方法
WO2021189364A1 (zh) * 2020-03-26 2021-09-30 深圳先进技术研究院 一种对抗图像生成方法、装置、设备以及可读存储介质
CN111709435A (zh) * 2020-05-18 2020-09-25 杭州电子科技大学 一种基于离散小波变换的对抗样本生成方法
CN113221923A (zh) * 2021-05-31 2021-08-06 西安电子科技大学 一种用于多模态图像块匹配的特征分解方法及***
CN113704758A (zh) * 2021-07-29 2021-11-26 西安交通大学 一种黑盒攻击对抗样本生成方法及***
CN113806546A (zh) * 2021-09-30 2021-12-17 中国人民解放军国防科技大学 一种基于协同训练的图神经网络对抗防御方法及***
CN113935913A (zh) * 2021-10-08 2022-01-14 北京计算机技术及应用研究所 一种具有视觉感知隐蔽性的黑盒图像对抗样本生成方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
XIANGZHI BAI 等: "Infrared and visual image fusion through feature extraction by morphological sequential toggle operator", INFRARED PHYSICS & TECHNOLOGY, vol. 71, 31 July 2015 (2015-07-31), pages 77 - 86 *
吴万旭 等: "基于差分进化的小波域彩色图像盲水印算法", 通信技术, vol. 49, no. 04, 10 April 2016 (2016-04-10), pages 486 - 491 *
郭清杨: "基于生成对抗网络的对抗样本生成", 现代计算机, no. 07, 5 March 2020 (2020-03-05), pages 24 - 28 *

Also Published As

Publication number Publication date
CN114722407B (zh) 2024-05-24

Similar Documents

Publication Publication Date Title
Qiu et al. Review on image processing based adversarial example defenses in computer vision
Liu et al. Recent advances of image steganography with generative adversarial networks
CN111523668B (zh) 基于差分隐私的数据生成***的训练方法及装置
Peng et al. A robust coverless steganography based on generative adversarial networks and gradient descent approximation
Hsu et al. A high-capacity QRD-based blind color image watermarking algorithm incorporated with AI technologies
CN112883874A (zh) 针对深度人脸篡改的主动防御方法
CN115147682B (zh) 一种具有迁移性的隐蔽白盒对抗样本生成方法及装置
CN114861893B (zh) 一种多通路聚合的对抗样本生成方法、***及终端
Kuppusamy et al. A novel approach based on modified cycle generative adversarial networks for image steganography
Meenakshi et al. A hybrid matrix factorization technique to free the watermarking scheme from false positive and negative problems
KR20230026216A (ko) 적대적 공격에 대한 견고성 달성을 위한 순환 일관성과 적응형 학습을 이용한 노이즈 제거 방법 및 장치
Li et al. AdvSGAN: Adversarial image Steganography with adversarial networks
Chen et al. Patch selection denoiser: An effective approach defending against one-pixel attacks
CN115619616A (zh) 基于水印扰动的对抗样本生成方法、装置、设备及介质
CN115018688A (zh) 一种基于dct系数的生成网络模型水印方法及应用
CN112487479B (zh) 一种训练隐私保护模型的方法、隐私保护方法及装置
Ouyang et al. A semi-fragile reversible watermarking method based on qdft and tamper ranking
CN113221388A (zh) 一种视觉感知扰动约束的黑盒深度模型对抗样本生成方法
CN114722407A (zh) 基于内生式对抗样本的图像保护方法
Liu et al. Low frequency sparse adversarial attack
CN115510986A (zh) 一种基于AdvGAN的对抗样本生成方法
CN113344814A (zh) 一种基于生成机制的高分辨率对抗样本的合成方法
Xu et al. Drhnet: a deep residual network based on heterogeneous kernel for steganalysis
Bashir et al. A DCT domain smart vicinity reliant fragile watermarking technique for DIBR 3D-TV
Gao et al. Scale-free and Task-agnostic Attack: Generating Photo-realistic Adversarial Patterns with Patch Quilting Generator

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant