CN111899251A - 一种区分伪造来源和目标区域的copy-move型伪造图像检测方法 - Google Patents

一种区分伪造来源和目标区域的copy-move型伪造图像检测方法 Download PDF

Info

Publication number
CN111899251A
CN111899251A CN202010781679.8A CN202010781679A CN111899251A CN 111899251 A CN111899251 A CN 111899251A CN 202010781679 A CN202010781679 A CN 202010781679A CN 111899251 A CN111899251 A CN 111899251A
Authority
CN
China
Prior art keywords
image
network
forged
copy
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010781679.8A
Other languages
English (en)
Inventor
李应灿
丁峰
杨建权
朱国普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202010781679.8A priority Critical patent/CN111899251A/zh
Publication of CN111899251A publication Critical patent/CN111899251A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种区分伪造来源和目标区域的copy‑move型伪造图像检测方法。该方法包括：构建包含生成网络和判别网络的条件生成对抗网络并以满足设定损失函数为优化目标进行训练，其中，在训练过程，生成网络的输入是给定的RGB图像，输出是标识出图像原始区域、伪造来源区域和伪造目标区域的检测结果，将给定图像和生成网络的输出作为假图像对并将给定图像和其对应的ground truth作为真图像对一起输入到判别网络；将经训练的生成网络作为检测copy‑move型伪造图像的检测器，以待检测的RGB图像作为输入，获得图像检测结果。本发明能够有效区分经篡改图像的伪造来源区域和伪造目标区域，并提高了检测效率。

Description

一种区分伪造来源和目标区域的copy-move型伪造图像检测 方法
技术领域
本发明涉及信息安全技术领域，更具体地，涉及一种区分伪造来源和目标区域的copy-move型伪造图像检测方法。
背景技术
信息技术的快速发展使得便携式数码设备迅速得到普及，数字图像逐渐成为获取视觉信息的重要来源。然而，由于Photoshop、GIMP、美图秀秀等数字图像编辑处理软件的出现，使即便不具有图像处理相关知识的普通大众也可以很轻易地修改数字图像而不留明显的视觉痕迹。通过复制或掩盖同幅图像中特定区域来欺骗大众的copy-move(复制-移动)伪造是最简单、最常用的图像篡改方法。这些伪造图像一旦被恶意应用于新闻报道、法庭取证等领域，将可能误导公众舆论，甚至干扰司法判决。因此，研究可以有效检测伪造的图像取证技术已经成为当务之急。
Copy-move型伪造图像检测可以分为传统方法和基于深度学***移、旋转、缩放等不同伪造方式的检测，适用于不同的检测方法。然而，在实际应用中对于待检测图像，由于无法事先知道具体采用了哪种伪造方式，也就无法准确选择合适的伪造检测方法。传统方法提取的特征对特定转换的不变性不够好，并且特征匹配阶段的计算代价较高，限制了检测性能。
随着深度学习的不断发展，数据驱动的卷积神经网络逐步应用于数字取证领域。基于深度卷积网络的copy-move伪造检测，是一种端到端、无需显示特征提取的方法。然而，目前大部分基于深度学习的copy-move伪造检测方法通常仅检测出相似区域，尚未能很好地区分伪造来源区域和伪造目标区域，而copy-move伪造中的来源区域和目标区域的有效区分在实际应用中有着十分重要的作用。
经分析，现有的图像copy-move伪造检测方法主要有以下几种类型：
1)、基于块检测方法。基于块的检测方法又可细分为基于频率转换、基于纹理特征、基于矩不变性等方法。例如利用小波变换(DWT)算法提取低频分量，然后将低频子带分割成块。最后，使用k-means算法计算块与块之间的欧式距离。该方法可以有效定位出伪造区域，但计算复杂度较高。
2)、基于关键点检测方法。该检测方法又分为基于尺度不变特征变换(SIFT)和基于加速鲁棒特征(SURF)的方法。
3)、基于深度学习检测方法。例如，利用卷积神经网络从图像中提取块特征，并计算不同块之间的自相关性，然后使用特征提取器定位匹配点，最后通过反卷积网络重构伪造掩模。
然而，现有的copy-move型伪造检测方法主要存在以下缺陷：
1)、传统的copy-move伪造检测方法，手工提取的特征，识别能力和对特定变换的不变性还不够好。
2)、针对copy-move中特定类别(Translation、Scal ing、Rotation、JPEG、Noise等)的伪造检测时性能良好，但只能处理一定类型的伪造。而在实际应用中，没有事先信息的情况下，无法知道采用了哪种篡改。
3)、在特征匹配阶段计算代价较高，限制了实用性。
4)、目前大部分copy-move伪造检测方法，仅检测出图像中相似区域，尚未能地很好地区分伪造来源区域和伪造目标区域，而copy-move伪造中的来源区域和目标区域的有效区分在实际应用中有着不可替代的作用。
总之，数字图像的易获取性和易修改性使得大部分图像或多或少的经过一些后处理操作。同幅图像的copy-move伪造是最简单最常用的数字图像篡改手段之一，是为了复制或隐藏图像中某一特定区域而进行的伪造操作。由于伪造来源区域与伪造目标区域均来自同幅图像，模式噪声、纹理特性以及亮度等信息与图像原始区域一致。并且，由于检测区域间统计特性的不相容性无法准确获得篡改信息。
发明内容
本发明的目的是克服上述现有技术的缺陷，提供一种区分伪造来源和目标区域的copy-move型伪造图像检测方法，其从图像区域的相似性作为切入点，基于条件生成对抗网络来区分伪造来源区域和伪造目标区域，是针对copy-move型篡改图像进行检测的新技术方案。
根据本发明的一方面，提供一种区分伪造来源和目标区域的copy-move型伪造图像检测方法。该方法包括：构建包含生成网络和判别网络的条件生成对抗网络并以满足设定损失函数为优化目标进行训练，其中，在训练过程，生成网络的输入是给定的RGB图像，输出是标识出图像原始区域、伪造来源区域和伪造目标区域的检测结果，将给定图像和生成网络的输出作为假图像对并将给定图像和其对应的ground truth作为真图像对一起输入到判别网络；将经训练的生成网络作为检测copy-move型伪造图像的检测器，以待检测的RGB图像作为输入，获得图像检测结果。
与现有技术相比，本发明的优点在于，所提出的伪造图像检测方法，不仅能够定位出图像中的相似区域，并且能有效区分伪造来源区域和伪造目标区域，得到较为直观的伪造过程信息，具有较强的实用性。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。
图1是根据本发明一个实施例的区分伪造来源和目标区域的copy-move型伪造图像检测方法的流程图；
图2是根据本发明一个实施例的区分伪造来源和目标区域的copy-move型伪造图像检测方法的总体框图；
图3是根据本发明一个实施例在测试集上的实验结果图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
针对现有技术通常仅检测出图像中的相似区域，未能较好区分伪造来源区域和伪造目标区域的问题，本发明在深度网络的基础上，通过训练条件生成对抗网络(cGANs，conditional Generative Adversarial Networks)来区分copy-move伪造图像中的伪造来源区域和伪造目标区域，对数字图像取证领域具有重要意义。在本文的描述中，相似区域是指图像疑似伪造区域，伪造来源区域是指被复制的区域，伪造目标区域是指粘贴到的区域。
为便于理解，首先简单介绍生成对抗网络的基本原理。生成对抗网络(GANs)包括两个网络，即生成网络G(也称为生成器或生成模型)和判别网络D(也称为判别器或判别模型)。生成对抗网络在开始时生成器和判别器的效果都很差，在相互博弈的过程中，性能均得到提升。概括而言，生成对抗网络的训练过程是：首先，固定生成样本，训练判别器，提高判别网络D的性能；然后，固定判别器，让生成网络生成的数据和真实样本数据做一个拟合，来优化生成器G的性能；最后，当生成器的数据概率分布和真实数据概率分布重合时，达到一个稳定状态，生成器可以生成足以以假乱真的图片，判别网络判断不出真假样本，此时便可丢掉判别网络D，生成网络G可作为生成图片生成器。其中，生成器的输入是随机噪声，输出是一幅由生成网络生成的假图片G(z)。
在本发明实施例中，基于条件生成对抗网络来设计区分伪造来源区域和伪造目标区域的copy-move伪造检测方法，实现对copy-move伪造图像的原始区域、伪造来源区域以及伪造目标区域的有效定位。
简言之，本发明检测方法的基本原理是：条件生成对抗网络(cGANs)是在生成对抗网络(GANs)的基础上，通过成对的数据来训练生成网络，使得生成网络的输入和输出具有对应关系。条件生成对抗网络是生成器和判别器相互博弈的过程，最后的理想状态是生成网络可以输出判别网络无法判断真假且与输入对应的数据结果。针对copy-move伪造检测任务，生成网络的输入是待检测图像，生成网络的输出应该是无限接近待检测图像所对应伪造信息的ground truth。待检测图像和生成网络输出作为假图像对与待检测图像和其对应的ground truth作为真图像对一起输入到判别网络。最后理想状态时，判别器无法判断所输入图像对的真假。最终，训练好的生成网络可作为copy-move伪造检测器。
具体地，参见图1并结合图2所示，该实施例提供的区分伪造来源和目标区域的copy-move型伪造图像检测方法包括以下步骤：
步骤S110，构建包含生成网络和判别网络的条件生成对抗网络。
在一个实施例中，参见图2所示，对于所提供的条件生成对抗网络(cGANs)，生成网络采用U-net结构，在自编码器(Auto-encoder)结构上设置跳线连接。U-net结构的输入经过编码过程(encoding)到达瓶颈层(bottle)，然后经过解码过程(decoding)使U-net结构的输出与输入维数相同。编码过程是对输入进行多组卷积、激活等操作以生成特征表达，图2中示意为e1至e8。相应的解码过程是对特征表达进行反卷积、激活等操作以期能获得与输入相同维度的伪造检测结果，图2中示意为d1至d8。另外，所设置的跳线连接将解码第i层的输出和编码的第n-i层的输出连接起来作为解码第i+1层输入，其中n表示该网络编码或解码过程的总层数。
在一个实施例中，判别网络可采用典型的分类神经网络，经过多组卷积、批归一化和激活函数处理后，进行全连接操作，最后将sigmoid函数作为激活层输出分类结果。
仍结合图2所示，对于区分伪造来源和目标区域的copy-move伪造检测问题，在模型结构中设计的细节包括:待检测图像和ground truth图像的尺寸均为256×256×3像素。在编码过程，待检测图像依次经过8组激活、卷积、批归一化(BN,Batch Normalization)操作(标记为e1,…,e8)，e8输出的特征维度为1×1×512。在解码过程，第一层(d1)是对e8输出特征的反卷积过程，然后将d1层的输出与e7层的输出连接起来作为d2层的输入；d2层的输出与e6层的输出连接起来作为d3层的输入；以此类推，解码最后一层d8层的输出为256×256×3的伪造定位结果。例如，卷积和反卷积过程中卷积核大小均可设置为(5,5)，卷积步长均为(2,2)。判别网络采用4层“卷积+BN+激活函数”的堆叠结构，最后通过全连接和激活层对真图像对和假图像对进行二分类判别。
步骤S120、获取用于训练条件生成对抗网络的样本数据集，以检测图像相似区域、伪造来源区域和伪造目标区域。
在本发明实施例中，针对copy-move伪造的检测和定位方法能够用于区分图像原始区域、伪造来源区域和伪造目标区域。相对于普通的生成对抗网络(GANs)，条件生成对抗网络的(cGANs)的条件(conditional)体现在生成网络的输入不同。GANs中生成器的输入一般为随机噪声，而cGANs中生成器的输入可以由用户给出。训练cGANs使用成对的数据集(paired data)，生成网络不再是根据随机噪声生成数据，而是学习输入到输出的映射，建立生成器输出数据与输入数据的对应关系。
在一个实施例中，对于区分伪造来源区域和伪造目标区域的copy-move伪造检测任务，生成网络的输入为给定RGB图像，输出为对应出图像原始区域、伪造来源区域和伪造目标区域的检测结果。例如，分别用蓝色标识图像原始区域、绿色标识伪造来源区域、红色标识伪造目标区域。随着训练轮数的增加，生成网络的输出应越来越接近ground truth。判别网络是在判断输入数据真假，GANs是判断输入的图片是真实数据还生成器生成的数据，而cGANs是判断输入的图像对是真实图像对还是虚假图像对。其中，真实图像对是待检图像和ground truth图像构成的图像对，假图像对是待检图像和生成网络输出的检测结果构成的图像对。
本发明基于条件生成对抗网络(cGANs)，实现区分来源和目标区域的copy-move伪造检测任务。深度学习模型均为数据驱动的，训练本发明提出的网络结构需要大量的成对数据集(也称为样本数据集，或简称数据集或训练集)。
例如，本发明所用的数据集为100000张copy-move伪造图像及其所对应的groundtruth，即100000对伪造图像对，可来自现有技术所提供的USCISI-CMFD数据集。其中，训练集为80000张copy-move伪造图像及其对应的ground truth图像对。验证集为10000张copy-move伪造图像及其对应的ground truth图像对。而剩余的10000张copy-move伪造图像及其对应的ground truth图像对作为测试集。
在测试条件生成对抗网络的训练模型的过程中发现，部分检测结果会出现误差，定位出图像中除伪造区域之外的其他物体。为了以数据的形式引导生成网络不去做目标分割，在训练集中优选地加入一定量的未经copy-move伪造的图像以及对应的ground truth为全蓝色的图像对，从而提高了检测性能。这是因为未篡改图像中也有目标但是无需检测，通过使用适量的未经copy-move伪造的图像以及对应的ground truth图像对，能够引导网络只用检测并区分出图像中伪造来源和伪造目标区域，并不需要检测所有物体。因此，通过使用适当数量的弱监督样本，即无伪造图像样本(是指图像中所有区域均未被篡改的样本)，能提供单一类别监督信息，而在现有技术中，通常忽略这种弱监督样本，但它们同样携带监督信息，本发明通过适量合理使用可有效提升生成对抗网络的性能。
具体地，对所用的数据对进行以下的预处理操作：首先，将所有的图像数据均调整为256×256大小，使用resize函数即可。其次，将给定图像及其对应的ground truth连接(concat)起来作为整个生成对抗网络的输入，这样判别网络在进行图像对真假判别时极为方便，将图像和其ground truth很好的对应起来。在输入生成网络时将图像所对应通道的数据取出即可，并将输入数据与生成网络输出的数据重新连接起来作为假图像对。最后，为了增加训练数据的多样性，优选地，进行了数据增强处理。例如，使用的数据增强策略是1/3的概率使用原始训练图像对，1/3的概率对训练数据对分别进行左右翻转，1/3的概率对训练数据对分别进行上下翻转。
步骤S130、基于样本数据集，以设定的损失函数为优化目标，训练条件生成对抗网络。
在该步骤中，针对区分伪造来源区域和伪造目标区域的copy-move伪造检测任务的特殊性，对cGANs模型的损失函数进行了优化。
生成对抗网络的主要思想是生成器和判别器的相互博弈，对抗损失函数为：
Figure BDA0002620474930000083
其中，表示真实图像，z表示输入生成网络的噪声，E(*)表示分布函数的期望值，pdata(x)表示真实样本的分布，pz(z)表示噪声分布，G(z)表示生成网络生成的图像，D(x)表示判别网络判断真实图像为真实的概率。D(G(z))是判别网络判断生成网络生成的图像为真实的概率。判别网络的目的是尽可能区分真实图像和生成图像。对于判别网络，x是真实数据，所以D(x)越接近1越好；G(z)为生成的假数据，所以D(G(z))应越小越好。换言之，对于判别网络，V(G,D)越大越好，即希望最大化优化目标。生成网络的目的是尽可能使生成的图像接近于真实图像，V(G,D)越小越好，即最小化优化目标。
在本发明实施例中，cGANs模型是在GANs的基础上引入了用户输入图像数据，判别器判别的不再是图像的真假，而是图像对的真假。条件生成对抗网络的损失函数如公式(2)所示，目标函数如公式(3)所示：
Figure BDA0002620474930000081
Figure BDA0002620474930000082
其中，x，z分别表示用户输入生成网络的图像和随机噪声。D(x,y)表示判别网络判断真实图像对为真实的概率。D(x,G(x,z))是判别网络判断假图像对为真实的概率。与经典生成对抗网络的优化目标不同的是，在上述实施例中，是判断图像对为真实的概率，而不是判断图像为真实的概率。
进一步地，为有效区分伪造来源区域和伪造目标区域，生成网络所输出的检测结果不仅需要能尽可能欺骗判别网络，还需要在数值上尽可能与ground truth接近。为此，在上述对抗损失的基础上增加了L1损失，使伪造定位结果在L1意义上更加接近groundtruth。
此外，在很多场合，伪造区域被误判为没有经过伪造(漏检)所产生的影响远大于图像原始区域被误判为伪造区域(误检)产生的影响，优选地，在设计损失函数时还加入一项更加关注伪造来源和伪造目标区域的Lmask损失。该损失只关注伪造区域的检测误差，在生成网络生成的检测结果与ground truth的L1距离的基础上，通过引入逐元素(element-wise)运算实现。综合之前引入的L1损失，相当于引入图像原始区域、伪造来源区域和伪造目标区域的加权损失。所以，基于区分伪造来源和伪造目标区域的检测任务，本发明生成对抗网络(cGANs)模型的目标函数优选综合考虑对抗损失、L1损失和Lmask损失。其中，L1损失如式(4)所示，Lmask损失如式(5)所示，最终的目标函数如式(6)所示。
Figure BDA0002620474930000091
Figure BDA0002620474930000092
Figure BDA0002620474930000093
其中，参数λ1、λmask的大小可根据具体任务进行相应的调整。
总之，针对copy-move伪造检测任务，在上述实施例中，优化了网络模型的损失函数，除了对抗损失，还引入了基于L1距离的传统损失和衡量伪造来源和目标区域误差的Lmask损失。此外，在训练时，引入了无伪造图像样本，能够更好地约束网络模型的训练。
步骤S140，利用经训练的生成网络，区分待检测图像的伪造来源区域和伪造目标区域。
上述条件生成对抗网络的训练过程可离线在服务器端或云端进行。训练好的生成网络可作为copy-move伪造检测器，以待检测的RGB图像作为输入，获得区分伪造来源区域和伪造目标区域的图像检测结果。这种检测方式不仅可以检测出相似区域，还可有效区分伪造来源区域和伪造目标区域，在伪造定位结果中用不同的颜色表示。例如，使用蓝色表示图像的原始区域，绿色表示伪造来源区域，红色表示伪造目标区域，即该幅伪造图像中的绿色区域被复制，进行一定的处理后，粘贴到红色区域。
相对于仅能实现相似区域的现有技术(即仅能检测图像原始区域和图像疑似伪造区域)。本发明将相似区域(图像疑似伪造区域)进一步区分为伪造来源区域(被复制的区域)和伪造目标区域(粘贴到的区域)，将copy-move伪造检测扩展为三分类问题，能够获得更多的取证信息。本发明提出的基于条件生成对抗网络实现的区分伪造来源和伪造目标区域的检测方法，是一种图像到图像的翻译过程(Image-to-Image Translation)，可以较为直接的解决各种各样的问题，例如，可应用在场景转换、标签到图像、边缘图生成实际图等视觉领域。经过反复实验发现，本发明提供的copy-move伪造检测方法，在数据集合适且充足、网络结构合理、目标函数考虑全面的情况下，可以取得较好的定位结果。
为进一步验证本发明的效果，使用python编程语言，基于TensorFlow深度学习框架实现了所提供的检测方法。验证过程包括数据集的获取和处理、设计条件生成对抗网络的结构、优化损失函数、训练过程的调参(以避免欠拟合，防止过拟合)等。
实验参数选择如下：epoch＝30，batch_size＝1，λ1＝100，λmask＝100，前6个epochlr＝0.0002，第7到第30个epoch lr＝0.0001。具体地，在实验中，首先训练本发明提出的条件生成对抗网络模型，使用80000对伪造图像数据和10000对无伪造图像数据作为训练集，经过30个epoch的训练得到条件生成对抗模型,并在10000张测试集上测试该模型。图3展示的是在测试集上的部分实验结果，其中图3(a)是测试图像，图3(b)是ground truth，图3(c)是测试结果。由图3可以看出，本发明可以用不同颜色较为准确地区分出测试图像中的伪造来源区域(对应图中右侧的大象)和伪造目标区域(对应图中的小象)和原始区域(即剩余区域)。综合所有的测试结果，本发明在区分图像中具体目标平移、缩放类型的copy-move伪造时检测结果较为理想，达到了既定目标。测试结果表明，本发明可以作为一种潜在的区分图像伪造来源和目标区域的copy-move伪造检测算法。
需说明的是，本发明提出的网络模型在训练数据充足的情况下，针对特定的任务调整损失函数，亦可用于其他应用场景；本发明可区分图像copy-move伪造来源和目标区域，并且在后续开发中，可以作为图像copy-move伪造检测***的原理部分。此外，在不违背本发明精神和范围的前提下，本领域的技术人员可对上述实施例进行适当的修改或变型，例如，本发明是将待检测图像缩放到256×256大小作为输入，但并不局限于此输入大小；又如，损失函数中不必须包括L1距离的损失和Lmask损失；再如，生成网络和判别网络的层数、卷积核大小等可根据实际需要进行适当设计。
综上所述，本发明提供的基于条件生成对抗网络的copy-move伪造检测方法，不仅可以定位出图像中的相似区域，还可以有效区分伪造来源和伪造目标区域。并且针对基于cGANs的网络模型，优化设计了损失函数，并使用足量数据集训练网络模型用于copy-move伪造检测，以三种不同颜色区分图像原始区域、伪造来源区域和伪造目标区域，可以得到较为直观的伪造过程信息，具有更强的实用性。利用训练好的生成网络可直接实现输入数字图像，输出检测结果。经验证，相对于现有技术，本发明的检测速度显著提高，可用于处理能力相对受限的手机等电子设备，实用价值更强。
本发明可以是***、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(***)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (10)

1.一种区分伪造来源和目标区域的copy-move型伪造图像检测方法，包括以下步骤：
构建包含生成网络和判别网络的条件生成对抗网络并以满足设定损失函数为优化目标进行训练，其中，在训练过程，生成网络的输入是给定的RGB图像，输出是标识出图像原始区域、伪造来源区域和伪造目标区域的检测结果，将给定图像和生成网络的输出作为假图像对并将给定图像和其对应的ground truth作为真图像对一起输入到判别网络；
将经训练的生成网络作为检测copy-move型伪造图像的检测器，以待检测的RGB图像作为输入，获得区分伪造来源区域和伪造目标区域的图像检测结果。
2.根据权利要求1所述的方法，其中，所述图像检测结果以不同颜色区分图像原始区域、伪造来源区域和伪造目标区域。
3.根据权利要求1所述的方法，其中，训练所述条件生成对抗网络所使用的样本数据集包括copy-move伪造图像及其所对应的ground truth、未经copy-move伪造的图像以及其对应的ground truth，该未经copy-move伪造的图像用于引导所述条件生成对抗网络仅检测并区分伪造来源区域和伪造目标区域。
4.根据权利要求1所述的方法，其中，所述损失函数包括对抗损失、L1距离损失和Lmask损失，该Lmask损失用于衡量伪造来源区域和伪造目标区域误差。
5.根据权利要求4所述的方法，其中，所述损失函数表示为：
Figure FDA0002620474920000011
其中L1损失为：
Figure FDA0002620474920000012
Lmask损失为：
Figure FDA0002620474920000013
对抗损失为：
Figure FDA0002620474920000021
其中，x，z分别表示输入生成网络的图像和随机噪声，E(*)表示分布函数的期望值，pdata(x)表示真实样本的分布，pz(z)表示噪声分布，D(x，y)表示判别网络判断真图像对为真实的概率，D(x，G(x，z))是判别网络判断假图像对为真实的概率，Lmask损失通过引入逐元素运算实现，λ1表示L1损失的权重、λmask表示Lmask损失的权重。
6.根据权利要求1所述的方法，其中，所述生成网络是U-net结构，包括多个编码层、瓶颈层和多个解码层，在自编码器结构上设置跳线连接，跳线连接将解码第i层的输出和编码的第n-i层的输出连接起来作为解码第i+1层输入，n表示编码或解码过程的总层数。
7.根据权利要求3所述的方法，其中，通过以下方式扩展所述样本数据集：1/3的概率使用原始训练图像对，1/3的概率对训练图像对分别进行左右翻转，1/3的概率对训练图像对分别进行上下翻转。
8.根据权利要求1所述的方法，所述判别网络用于输出属于真图像对或假图像对的二分类判别，该判别网络包括用于特征提取的多层堆叠结构、全连接层和激活层，该堆叠结构的每一层包括卷积处理、批归一化处理和激活处理。
9.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现根据权利要求1所述的方法的步骤。
10.一种计算机设备，包括存储器和处理器，在所述存储器上存储有能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1所述的方法的步骤。
CN202010781679.8A 2020-08-06 2020-08-06 一种区分伪造来源和目标区域的copy-move型伪造图像检测方法 Pending CN111899251A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010781679.8A CN111899251A (zh) 2020-08-06 2020-08-06 一种区分伪造来源和目标区域的copy-move型伪造图像检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010781679.8A CN111899251A (zh) 2020-08-06 2020-08-06 一种区分伪造来源和目标区域的copy-move型伪造图像检测方法

Publications (1)

Publication Number Publication Date
CN111899251A true CN111899251A (zh) 2020-11-06

Family

ID=73245939

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010781679.8A Pending CN111899251A (zh) 2020-08-06 2020-08-06 一种区分伪造来源和目标区域的copy-move型伪造图像检测方法

Country Status (1)

Country Link
CN (1) CN111899251A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116592A (zh) * 2020-11-19 2020-12-22 北京瑞莱智慧科技有限公司 图像检测方法、图像检测模型的训练方法、装置和介质
CN112560579A (zh) * 2020-11-20 2021-03-26 中国科学院深圳先进技术研究院 一种基于人工智能的障碍物检测方法
CN112927219A (zh) * 2021-03-25 2021-06-08 支付宝(杭州)信息技术有限公司 一种图像的检测方法、装置及设备
CN114359144A (zh) * 2021-12-01 2022-04-15 阿里巴巴（中国）有限公司 图像检测方法和图像检测模型的获得方法
CN116912184A (zh) * 2023-06-30 2023-10-20 哈尔滨工业大学 一种基于篡改区域分离和区域约束损失的弱监督深度修复图像篡改定位方法及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2017101166A4 (en) * 2017-08-25 2017-11-02 Lai, Haodong MR A Method For Real-Time Image Style Transfer Based On Conditional Generative Adversarial Networks
CN109543740A (zh) * 2018-11-14 2019-03-29 哈尔滨工程大学 一种基于生成对抗网络的目标检测方法
WO2019136946A1 (zh) * 2018-01-15 2019-07-18 中山大学 基于深度学习的弱监督显著性物体检测的方法及***
CN110503654A (zh) * 2019-08-01 2019-11-26 中国科学院深圳先进技术研究院 一种基于生成对抗网络的医学图像分割方法、***及电子设备
CN111179219A (zh) * 2019-12-09 2020-05-19 中国科学院深圳先进技术研究院 一种基于生成对抗网络的copy-move伪造检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2017101166A4 (en) * 2017-08-25 2017-11-02 Lai, Haodong MR A Method For Real-Time Image Style Transfer Based On Conditional Generative Adversarial Networks
WO2019136946A1 (zh) * 2018-01-15 2019-07-18 中山大学 基于深度学习的弱监督显著性物体检测的方法及***
CN109543740A (zh) * 2018-11-14 2019-03-29 哈尔滨工程大学 一种基于生成对抗网络的目标检测方法
CN110503654A (zh) * 2019-08-01 2019-11-26 中国科学院深圳先进技术研究院 一种基于生成对抗网络的医学图像分割方法、***及电子设备
CN111179219A (zh) * 2019-12-09 2020-05-19 中国科学院深圳先进技术研究院 一种基于生成对抗网络的copy-move伪造检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张继威 等: "基于改进DeepLabv3 +的拼接篡改定位检测技术", 《北京邮电大学学报》, vol. 42, no. 1, pages 68 - 73 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116592A (zh) * 2020-11-19 2020-12-22 北京瑞莱智慧科技有限公司 图像检测方法、图像检测模型的训练方法、装置和介质
CN112116592B (zh) * 2020-11-19 2021-04-02 北京瑞莱智慧科技有限公司 图像检测方法、图像检测模型的训练方法、装置和介质
CN112560579A (zh) * 2020-11-20 2021-03-26 中国科学院深圳先进技术研究院 一种基于人工智能的障碍物检测方法
CN112927219A (zh) * 2021-03-25 2021-06-08 支付宝(杭州)信息技术有限公司 一种图像的检测方法、装置及设备
CN112927219B (zh) * 2021-03-25 2022-05-13 支付宝(杭州)信息技术有限公司 一种图像的检测方法、装置及设备
CN114359144A (zh) * 2021-12-01 2022-04-15 阿里巴巴（中国）有限公司 图像检测方法和图像检测模型的获得方法
CN116912184A (zh) * 2023-06-30 2023-10-20 哈尔滨工业大学 一种基于篡改区域分离和区域约束损失的弱监督深度修复图像篡改定位方法及***
CN116912184B (zh) * 2023-06-30 2024-02-23 哈尔滨工业大学 一种基于篡改区域分离和区域约束损失的弱监督深度修复图像篡改定位方法及***

Similar Documents

Publication Publication Date Title
Wu et al. Busternet: Detecting copy-move image forgery with source/target localization
Li et al. Identification of deep network generated images using disparities in color components
CN111709408B (zh) 图像真伪检测方法和装置
Yang et al. Source camera identification based on content-adaptive fusion residual networks
CN111899251A (zh) 一种区分伪造来源和目标区域的copy-move型伪造图像检测方法
Cozzolino et al. Splicebuster: A new blind image splicing detector
Mandelli et al. CNN-based fast source device identification
Chen et al. SNIS: A signal noise separation-based network for post-processed image forgery detection
Yang et al. Spatiotemporal trident networks: detection and localization of object removal tampering in video passive forensics
CN111160313A (zh) 一种基于lbp-vae异常检测模型的人脸表示攻击检测方法
Mazumdar et al. Universal image manipulation detection using deep siamese convolutional neural network
Hakimi et al. Image-splicing forgery detection based on improved lbp and k-nearest neighbors algorithm
Bennabhaktula et al. Camera model identification based on forensic traces extracted from homogeneous patches
Elsharkawy et al. New and efficient blind detection algorithm for digital image forgery using homomorphic image processing
Chen et al. Image splicing forgery detection using simplified generalized noise model
Walia et al. Unveiling digital image forgeries using Markov based quaternions in frequency domain and fusion of machine learning algorithms
Anwar et al. Image forgery detection by transforming local descriptors into deep-derived features
Alkhowaiter et al. Evaluating perceptual hashing algorithms in detecting image manipulation over social media platforms
Ganeshan et al. Autoregressive-elephant herding optimization based generative adversarial network for copy-move forgery detection with interval type-2 fuzzy clustering
Mazumdar et al. Siamese convolutional neural network‐based approach towards universal image forensics
Kumar et al. Study of shadow and reflection based image forgery detection
Fouad et al. Detection and localization enhancement for satellite images with small forgeries using modified GAN-based CNN structure
Xuan et al. Scalable fine-grained generated image classification based on deep metric learning
Chen et al. Color image splicing localization algorithm by quaternion fully convolutional networks and superpixel-enhanced pairwise conditional random field
Liu et al. Image forgery localization based on fully convolutional network with noise feature

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination