CN108537762B - 基于深度多尺度网络的二次jpeg压缩图像取证方法 - Google Patents

基于深度多尺度网络的二次jpeg压缩图像取证方法 Download PDF

Info

Publication number
CN108537762B
CN108537762B CN201810315119.6A CN201810315119A CN108537762B CN 108537762 B CN108537762 B CN 108537762B CN 201810315119 A CN201810315119 A CN 201810315119A CN 108537762 B CN108537762 B CN 108537762B
Authority
CN
China
Prior art keywords
data block
image
dct coefficient
deep neural
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810315119.6A
Other languages
English (en)
Other versions
CN108537762A (zh
Inventor
邓成
李昭
赵泽雨
杨延华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Electronic Science and Technology
Original Assignee
Xian University of Electronic Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Electronic Science and Technology filed Critical Xian University of Electronic Science and Technology
Publication of CN108537762A publication Critical patent/CN108537762A/zh
Application granted granted Critical
Publication of CN108537762B publication Critical patent/CN108537762B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/168—Segmentation; Edge detection involving transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20052—Discrete cosine transform [DCT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

本发明提出了一种基于深度多尺度网络的二次JPEG压缩图像取证方法，旨在提高图像取证的准确率，实现步骤为：提取待取证JPEG图像的N个DCT系数直方图特征；对四个深度神经网络进行训练；获取待取证JPEG图像中一个DCT系数直方图特征对应数据块的初步篡改检测结果；获取待取证JPEG图像中一个DCT系数直方图特征对应数据块的最终篡改检测结果；获取待取证JPEG图像中另外N‑1个DCT系数直方图特征对应数据块的最终篡改检测结果；获取待取证JPEG图像的取证结果图。本发明可用于新闻摄影鉴定、司法鉴定、保险鉴定和银行电子票据鉴定等领域。

Description

基于深度多尺度网络的二次JPEG压缩图像取证方法
技术领域
本发明属于图像处理技术领域，涉及一种二次JPEG压缩图像取证方法，具体涉及一种针对基于深度多尺度网络的二次JPEG压缩图像篡改检测方法，可用于二次JPEG压缩图像取证领域。
背景技术
随着图像采集工具的快速发展和社会媒体的普及，数字图像被广泛应用并成为主流的信息载体。利用各种图像处理工具，人们可以轻易地将图像修改为任意所需内容。在诸如新闻、法律、商业、医疗应用和学术研究等许多领域，视觉图像的可信度已经受到数字技术的损害。因此，旨在识别图像原始来源或确定图像内容是否被修改的数字图像取证变得尤为重要。
由于JPEG是大多数数字设备的图像格式，JPEG相关的图像取证研究引起了广泛关注。由于压缩可以削弱图像篡改的某些痕迹，许多取证技术都不适用于JPEG图像。但是，当JPEG图像被篡改并重新保存为JPEG格式时，经常会留下一些二次压缩的特殊痕迹。现存的基于JPEG压缩的图像取证技术主要通过分析图像DCT系数直方图的统计学特征来检测二次JPEG压缩的痕迹，以区分一幅JPEG图像中经过单次压缩的区域和经过二次压缩的区域，从而实现对篡改区域的定位。
传统的二次JPEG压缩图像取证的主要方法是将JPEG图像分割为若干图像块，利用统计学方法评估每个图像块的第一次压缩质量因数和概率分布模型，计算出每个图像块经过篡改的概率，从而确定篡改区域的具***置。这种方法需要经过大量的理论推导并人为地设计特征，而且这些特征往往不适用于JPEG图像第一次压缩质量因数大于第二次压缩质量因数的情况，不能准确、自动地对篡改区域进行定位。
目前，二次JPEG压缩图像取证利用了深度学习，避免了大量的统计学推导，可以自动对图像的篡改和非篡改区域进行分类。深度学习是机器学习中一种基于对数据进行表征学习的方法，好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。例如，Q.Wang等人2016年在EURASIP Journal on Information Security的第2016卷第1期上发表的《Double JPEG compression forensics based on aconvolutional neural network》中，公开了一种基于卷积神经网络的二次JPEG压缩图像取证方法，首先将JPEG图像头文件中的DCT系数分割为若干数据块，然后根据第二次压缩质量因数的值，从预先训练好的8个不同的卷积神经网络中选择一个网络来自动地提取每一个数据块DCT系数直方图的特征，输出该数据块经过篡改的概率，最终对整幅图像自动进行篡改定位。但是由于该方法没有充分考虑到二次JPEG压缩的一些统计学特征，只是利用卷积神经网络简单地对特征进行了提取，提取得到的信息较少，并且考虑情况不够全面，当JPEG图像第一次压缩质量因数大于第二次压缩质量因数时，没有有效的解决方法，图像取证准确率低。
发明内容
本发明的目的在于克服上述现有技术的不足，提出了一种基于深度多尺度网络的二次JPEG压缩图像取证方法，旨在提高图像取证的准确率。
本发明的技术思路是，首先提取待取证JPEG图像的若干DCT系数直方图特征，然后训练四个深度神经网络，利用训练好的三个用于提取多尺度特征的深度神经网络获取一个DCT系数直方图特征对应数据块的初步篡改检测结果，再根据这个概率判断是否需要使用另一个深度神经网络来辅助检测，得到一个DCT系数直方图特征对应数据块的最终篡改检测结果，然后获取待取证JPEG图像的其他数据块的最终篡改检测结果，最后根据待取证JPEG图像所有数据块的最终篡改检测结果获取待取证JPEG图像的取证结果图。
为实现上述目的，本发明采取的技术方案包括如下步骤：
(1)提取待取证JPEG图像的N个DCT系数直方图特征F：
(1a)读入一幅待取证JPEG图像的图像头文件，并从该图像头文件中提取DCT系数，得到大小为m×n的DCT系数矩阵，m≥32，n≥32；
(1b)检测DCT系数矩阵的行数和列数是否都能被L整除，若是，执行步骤(1c)，否则，在DCT系数矩阵最右侧补零列，在最下侧补零行，并执行步骤(1c)，其中，32≤L≤96，L为8的倍数；
(1c)以8像素的间隔长度，按照先行后列的顺序从DCT系数矩阵中提取N个大小为L×L的DCT系数数据块，组成数据块集合；
(1d)将数据块集合中的N个数据块均划分为L2/64个8×8数据小块，并按照之字形排列方式从每个数据块中提取第2个到第10个数据小块，得到9N个8×8的数据小块，再分别提取每个数据小块在{-15,-14,...,14,15}位置处的长度为31的DCT系数直方图，构成待取证JPEG图像的N个279维的DCT系数直方图特征F；
(2)对四个深度神经网络进行训练：
(2a)构建四个基本结构均为依次层叠的第一卷积层、第一池化层、第二卷积层、第二池化层、第一全连接层、第二全连接层、第三全连接层和Softmax层的第一深度神经网络、第二深度神经网络、第三深度神经网络和第四深度神经网络；
(2b)按照步骤(1)的方法，从JPEG图像数据库提取X1个大小均为L1×L1的未篡改图像数据块和篡改图像数据块，并将从每个篡改图像数据块提取的DCT系数直方图特征F1作为正样本集，同时将从每个未篡改图像数据块提取的DCT系数直方图特征F2作为负样本集，将正样本集和负样本集组成第一训练集合，其中X1≥10，32≤L1≤96，L1为8的倍数；
(2c)按照步骤(1)的方法，从JPEG图像数据库提取X2个大小均为L2×L2的未篡改图像数据块和篡改图像数据块，并将从每个篡改图像数据块提取的DCT系数直方图特征F3作为正样本集，同时将从每个未篡改图像数据块提取的DCT系数直方图特征F4作为负样本集，将正样本集和负样本集组成第二训练集合，其中X2≥10，96＜L2≤160，L2为8的倍数；
(2d)按照步骤(1)的方法，从JPEG图像数据库提取X3个大小均为L3×L3的未篡改图像数据块和篡改图像数据块，并将从每个篡改图像数据块提取的DCT系数直方图特征F5作为正样本集，同时将从每个未篡改图像数据块提取的DCT系数直方图特征F6作为负样本集，将正样本集和负样本集组成第三训练集合，其中X3≥10，160≤L3≤256，L3为8的倍数；
(2e)按照步骤(1)的方法，从JPEG图像数据库提取X4个大小均为L4×L4的未篡改图像数据块和QF1＞QF2的篡改图像数据块，并将从每个篡改图像数据块提取的DCT系数直方图特征F7作为正样本集，同时将从每个未篡改图像数据块提取的DCT系数直方图特征F8作为负样本集，将正样本集和负样本集组成第四训练集合，其中X4≥10，32≤L4≤96，L4为8的倍数，QF1为第一次压缩质量因数，QF2为第二次压缩质量因数；
(2f)采用第一训练集合对第一深度神经网络进行训练，采用第二训练集合对第二深度神经网络进行训练，采用第三训练集合对第三深度神经网络进行训练，采用第四训练集合对第四深度神经网络进行训练，得到第一深度神经网络Net1、第二深度神经网络Net2、第三深度神经网络Net3和第四深度神经网络Net4；
(3)获取待取证JPEG图像中一个DCT系数直方图特征F对应数据块的初步篡改检测结果S(1,1)和S(2,1)：
(3a)将步骤(1d)中的一个DCT系数直方图特征F，分别输入到步骤(2f)中的第一深度神经网络Net1、第二深度神经网络Net2和第三深度神经网络Net3，得到第一深度神经网络Net1的输出s1(1,1)和s1(2,1)、第二深度神经网络Net2的输出s2(1,1)和s2(2,1)和第三深度神经网络Net3的输出s3(1,1)和s3(2,1)；
(3b)对s1(1,1)、s1(2,1)、s2(1,1)、s2(2,1)、s3(1,1)和s3(2,1)进行加权融合，得到一个DCT系数直方图特征F对应数据块经过篡改的概率和未经篡改的概率，并将经过篡改的概率作为一个DCT系数直方图特征F对应数据块的初步篡改检测结果S(1,1)，将未经篡改的概率作为一个DCT系数直方图特征F对应数据块的初步篡改检测结果S(2,1)；
(4)获取待取证JPEG图像中一个DCT系数直方图特征F对应数据块的最终篡改检测结果Sl(1,1)和Sl(2,1)：
(4a)计算|S(1,1)-S(2,1)|，设定阈值t；
(4b)判断|S(1,1)-S(2,1)|与t的大小，当|S(1,1)-S(2,1)|≥t时，将S(1,1)和S(2,1)作为一个DCT系数直方图特征F对应数据块的最终篡改检测结果Sl(1,1)和Sl(2,1)，当|S(1,1)-S(2,1)|＜t时，将一个DCT系数直方图特征F输入第四深度神经网络Net4，得到第四深度神经网络Net4的输出s4(1,1)和s4(2,1)，并将s4(1,1)和s4(2,1)作为一个DCT系数直方图特征F对应数据块的最终篡改检测结果Sl(1,1)和Sl(2,1)；
(5)获取待取证JPEG图像中另外N-1个DCT系数直方图特征Fk对应数据块的最终篡改检测结果和
(5a)按照步骤(3)的方法，获取待取证JPEG图像中另外N-1个DCT系数直方图特征Fk对应数据块的初步篡改检测结果Sk(1,1)和Sk(2,1)，其中k是标号，且k＝1,2,...,N-1；
(5b)按照步骤(4)的方法，获取待取证JPEG图像中另外N-1个DCT系数直方图特征Fk对应数据块的最终篡改检测结果和其中k是标号，且k＝1,2,...,N-1；
(6)获取待取证JPEG图像的取证结果图：
(6a)将待取证JPEG图像中一个DCT系数直方图特征F对应数据块的最终篡改检测结果Sl(1,1)和Sl(2,1)和待取证JPEG图像中另外N-1个DCT系数直方图特征Fk对应数据块的最终篡改检测结果和合并，得到待取证JPEG图像中所有N个数据块的最终篡改检测结果和其中k是标号，且k＝1,2,...,N-1，p是标号，且p＝1,2,...,N；
(6b)用待取证JPEG图像中第p个数据块的最终篡改检测结果的值，替代第p个数据块对应位置处的图像块中心8×8图像小块的像素值，其中p是标号，且p＝1,2,...,N，得到大小为的待取证JPEG图像的篡改概率图；
(6c)对待取证JPEG图像的篡改概率图进行二值化，得到JPEG图像的取证结果图。
本发明与现有技术相比，具有如下优点：
第一，本发明由于提取待取证JPEG图像的每个DCT系数直方图特征在不同尺度空间中的特征信息，是通过三个结构相同参数不同的深度神经网络实现的，充分考虑到二次JPEG压缩的统计学特性，消除了现有技术由于仅利用一个卷积神经网络来简单地提取特征导致的提取信息较少的缺陷，获得了更加能够区分图像篡改与未篡改区域的特征，从而提高了图像取证的准确率。
第二，本发明由于在获取待取证JPEG图像中每个DCT系数直方图特征对应数据块的最终篡改检测结果时，通过将待取证JPEG图像每个数据块的初步篡改检测结果中数据块经过篡改的概率与未经篡改的概率之差的绝对值与一个阈值比较，分为两种情况分别进行不同处理，当该绝对值大于等于阈值时，将数据块的初步篡改检测结果直接作为最终篡改检测结果，当该绝对值小于阈值时，利用一个为JPEG图像第一次压缩质量因数大于第二次压缩质量因数情况设计的深度神经网络来辅助检测，得到数据块的最终篡改检测结果，避免了现有技术考虑情况不够全面的问题，进一步提高了图像取证的准确率。
附图说明
图1为本发明的实现流程框图；
图2为本发明与现有的基于卷积神经网络的二次JPEG压缩取证方法，在Florence大学公开的二次JPEG压缩定位图像数据库下的图像取证实验准确率折线对比图。
具体实施方式
下面结合附图和具体实施例，对本发明作进一步的详细描述。
参照图1，基于深度多尺度网络的二次JPEG压缩图像取证方法，包括如下步骤：
步骤1)提取待取证JPEG图像的N个DCT系数直方图特征F：
步骤1a)用JPEG图像工具包读入一幅1024×1024大小的待取证JPEG图像，得到待取证图像的图像数据和图像头文件，并从该图像头文件中提取DCT系数，得到大小为m×n＝1024×1024的DCT系数矩阵；
步骤1b)检测DCT系数矩阵的行数和列数是否都能被L＝64整除，若是，执行步骤(1c)，否则，在DCT系数矩阵最右侧补零列，在最下侧补零行，并执行步骤(1c)，由于本实施例中m＝1024与n＝1024都能被L＝64整除，所以直接执行步骤(1c)；
步骤1c)以8像素的间隔长度，按照先行后列的顺序从DCT系数矩阵中提取N＝14400个大小为L×L＝64×64的DCT系数数据块，组成数据块集合；
步骤1d)将数据块集合中的N＝14400个数据块均划分为L2/64＝64个8×8数据小块，并按照之字形排列方式从每个数据块中提取第2个到第10个数据小块，也就是在每个数据块的(1，2)，(2，1)，(3，1)，(2，2)，(1，3)，(1，4)，(2，3)，(3，2)，(4，1)位置处的数据小块，得到9N＝129600个8×8的数据小块，再分别提取每个数据小块在{-15,-14,...,14,15}位置处的长度为31的DCT系数直方图，构成待取证JPEG图像的N＝14400个279维的DCT系数直方图特征F，其表达式为：
F＝{Hi(-15),Hi(-14),...,Hi(-2),Hi(-1),
Hi(0),Hi(1),Hi(2),...,Hi(14),Hi(15)},
i∈{2,3,...,9,10}
其中，Hi(x)表示对应之字形排列的第i个8×8数据小块在x位置处的DCT系数直方图；
步骤2)对四个深度神经网络进行训练：
步骤2a)构建四个基本结构均为依次层叠的第一卷积层、第一池化层、第二卷积层、第二池化层、第一全连接层、第二全连接层、第三全连接层和Softmax层的第一深度神经网络、第二深度神经网络、第三深度神经网络和第四深度神经网络，其中第一深度神经网络、第二深度神经网络和第三深度神经网络是用于提取不同尺度空间中特征信息的三个深度神经网络，而第四深度神经网络是用于辅助检测的一个深度神经网络，每个深度神经网络中卷积层的核大小均为3×1，步长均为1，特征图数量均为100，每个深度神经网络中池化层的核大小均为3×1，步长均为2，每个深度神经网络中全连接层的特征图数量均为1000，每个深度神经网络中Softmax层的输出大小都为2；
步骤2b)按照步骤(1)的方法，从JPEG图像数据库选择6400张JPEG图像用于训练，从这6400张JPEG图像中提取X1＝1638400个大小均为L1×L1＝64×64的未篡改图像数据块和篡改图像数据块，并将从每个篡改图像数据块提取的DCT系数直方图特征F1作为正样本集，同时将从每个未篡改图像数据块提取的DCT系数直方图特征F2作为负样本集，将正样本集和负样本集组成第一训练集合，本实施例中的JPEG图像数据库采用的是Florence大学公开的二次JPEG压缩定位图像数据库，该数据库包含10000张1024×1024大小的左半部分经过单次压缩而右半部分经过二次压缩的高清JPEG图像；
步骤2c)按照步骤(1)的方法，从JPEG图像数据库选择6400张JPEG图像用于训练，从这6400张JPEG图像中提取X2＝409600个大小均为L2×L2＝128×128的未篡改图像数据块和篡改图像数据块，并将从每个篡改图像数据块提取的DCT系数直方图特征F3作为正样本集，同时将从每个未篡改图像数据块提取的DCT系数直方图特征F4作为负样本集，将正样本集和负样本集组成第二训练集合；
步骤2d)按照步骤(1)的方法，从JPEG图像数据库选择6400张JPEG图像用于训练，从这6400张JPEG图像中提取X3＝102400个大小均为L3×L3＝256×256的未篡改图像数据块和篡改图像数据块，并将从每个篡改图像数据块提取的DCT系数直方图特征F5作为正样本集，同时将从每个未篡改图像数据块提取的DCT系数直方图特征F6作为负样本集，将正样本集和负样本集组成第三训练集合；
步骤2e)按照步骤(1)的方法，从JPEG图像数据库选择6400张JPEG图像用于训练，从这6400张JPEG图像中提取X4＝1638400个大小均为L4×L4＝64×64的未篡改图像数据块和QF1＞QF2的篡改图像数据块，并将从每个篡改图像数据块提取的DCT系数直方图特征F7作为正样本集，同时将从每个未篡改图像数据块提取的DCT系数直方图特征F8作为负样本集，将正样本集和负样本集组成第四训练集合，其中QF1为第一次压缩质量因数，QF2为第二次压缩质量因数；
步骤2f)采用第一训练集合对第一深度神经网络进行训练，采用第二训练集合对第二深度神经网络进行训练，采用第三训练集合对第三深度神经网络进行训练，采用第四训练集合对第四深度神经网络进行训练，得到第一深度神经网络Net1、第二深度神经网络Net2、第三深度神经网络Net3和第四深度神经网络Net4，这四个深度神经网络的结构相同但是参数不同；
步骤3)获取待取证JPEG图像中一个DCT系数直方图特征F对应数据块的初步篡改检测结果S(1,1)和S(2,1)：
步骤3a)将步骤(1d)中的一个DCT系数直方图特征F，分别输入到步骤(2f)中的第一深度神经网络Net1、第二深度神经网络Net2和第三深度神经网络Net3，得到第一深度神经网络Net1的输出s1(1,1)和s1(2,1)、第二深度神经网络Net2的输出s2(1,1)和s2(2,1)和第三深度神经网络Net3的输出s3(1,1)和s3(2,1)，以s1(1,1)和s1(2,1)为例，s1(1,1)和s1(2,1)是两个0到1之间的数，且s1(1,1)+s1(2,1)＝1，s1(1,1)代表一个DCT系数直方图特征F对应数据块经过篡改的概率大小，而s1(2,1)代表第一深度神经网络Net1输出的一个DCT系数直方图特征F对应数据块未经过篡改的概率大小；
步骤3b)对s1(1,1)、s1(2,1)、s2(1,1)、s2(2,1)、s3(1,1)和s3(2,1)进行加权融合，得到一个DCT系数直方图特征F对应数据块经过篡改的概率和未经篡改的概率，并将经过篡改的概率作为一个DCT系数直方图特征F对应数据块的初步篡改检测结果S(1,1)，将未经篡改的概率作为一个DCT系数直方图特征F对应数据块的初步篡改检测结果S(2,1)，S(1,1)和S(2,1)是两个0到1之间的数，且S(1,1)+S(2,1)＝1，其中加权融合的方法为：
S(1,1)＝w1×s1(1,1)+w2×s2(1,1)+w3×s3(1,1),
S(2,1)＝w1×s1(2,1)+w2×s2(2,1)+w3×s3(2,1),
s.t.w1,w2,w3≤1,w1+w2+w3＝1
其中，S(1,1)和S(2,1)为对s1(1,1)、s1(2,1)、s2(1,1)、s2(2,1)、s3(1,1)和s3(2,1)进行加权融合得到的初步篡改检测结果，w1＝0.8为第一深度神经网络Net1的权重、w2＝0.1为第二深度神经网络Net2的权重，w3＝0.1为第三深度神经网络Net3的权重；
步骤4)获取待取证JPEG图像中一个DCT系数直方图特征F对应数据块的最终篡改检测结果Sl(1,1)和Sl(2,1)：
步骤4a)计算|S(1,1)-S(2,1)|，设定阈值t＝0.3，该阈值为经验值；
步骤4b)判断|S(1,1)-S(2,1)|与t的大小，当|S(1,1)-S(2,1)|≥t时，将S(1,1)和S(2,1)直接作为一个DCT系数直方图特征F对应数据块的最终篡改检测结果Sl(1,1)和Sl(2,1)，当|S(1,1)-S(2,1)|＜t时，说明S(1,1)和S(2,1)两个值的差距不大，也就是较难判断一个DCT系数直方图特征F对应数据块是否经过篡改，一般在JPEG图像第一次压缩质量因数大于第二次压缩质量因数时会出现该情况，此时需要利用第四深度神经网络Net4来辅助检测，将一个DCT系数直方图特征F输入第四深度神经网络Net4，得到第四深度神经网络Net4的输出s4(1,1)和s4(2,1)，并将s4(1,1)和s4(2,1)作为一个DCT系数直方图特征F对应数据块的最终篡改检测结果Sl(1,1)和Sl(2,1)；
步骤5)获取待取证JPEG图像中另外N-1＝14399个DCT系数直方图特征Fk对应数据块的最终篡改检测结果和
步骤5a)按照步骤(3)的方法，获取待取证JPEG图像中另外N-1＝14399个DCT系数直方图特征Fk对应数据块的初步篡改检测结果Sk(1,1)和Sk(2,1)，其中k是标号，且k＝1,2,...,N-1；
步骤5b)按照步骤(4)的方法，获取待取证JPEG图像中另外N-1＝14399个DCT系数直方图特征Fk对应数据块的最终篡改检测结果和其中k是标号，且k＝1,2,...,N-1；
步骤6)获取待取证JPEG图像的取证结果图：
步骤6a)将待取证JPEG图像中一个DCT系数直方图特征F对应数据块的最终篡改检测结果Sl(1,1)和Sl(2,1)和待取证JPEG图像中另外N-1＝14399个DCT系数直方图特征Fk对应数据块的最终篡改检测结果和合并，得到待取证JPEG图像中所有N＝14400个数据块的最终篡改检测结果和其中k是标号，且k＝1,2,...,N-1，p是标号，且p＝1,2,...,N；
步骤6b)用待取证JPEG图像中第p个数据块的最终篡改检测结果的值，替代第p个数据块对应位置处的图像块中心8×8图像小块的像素值，其中p是标号，且p＝1,2,...,N，得到大小为的待取证JPEG图像的篡改概率图，图中的数据都为0到1之间的数；
步骤6c)对待取证JPEG图像的篡改概率图进行二值化，将篡改区域标记为黑色，将未篡改区域标记为白色，得到JPEG图像的取证结果图。
以下结合仿真实验，对本发明的技术效果作进一步说明。
1.仿真条件和内容：
本发明的仿真实验中计算机配置环境为Intel(R)Core(i5-3470)3.20GHZ中央处理器、内存8G、WINDOWS 7操作***，计算机仿真软件采用MATLAB R2015b软件。本发明在常用的Florence大学公开的二次JPEG压缩定位图像数据库上进行仿真。采用的图像数据库包含10000张1024×1024大小的左半部分经过单次压缩而右半部分经过二次压缩的高清JPEG图像，选择其中6400张JPEG图像用于训练，选择另外2000张JPEG图像用于测试，L，L1，L2，L3，L4的取值分别为64，64，128，256，64，阈值t取0.3，w1，w2，w3的取值分别为0.8，0.1，0.1。
本发明方法的对比方法是基于卷积神经网络的二次JPEG压缩取证方法。在Florence大学公开的二次JPEG压缩定位图像数据库上用对比方法和本发明方法的图像取证准确率来评估图像取证的性能。其结果如图2所示。图2为取不同第二次压缩质量因数时的图像取证准确率折线图，图2中的横坐标轴表示JPEG图像第二次压缩质量因数，纵坐标轴表示图像取证准确率。
2.仿真结果分析：
由图2的仿真结果可见，采用本发明对JPEG图像进行图像取证时，图像取证的准确率明显高于现有的基于卷积神经网络的二次JPEG压缩取证方法，因此，与现有技术相比，本发明提高了图像取证的准确率。

Claims (3)

1.一种基于深度多尺度网络的二次JPEG压缩图像取证方法，其特征在于，包括如下步骤：
(1)提取待取证JPEG图像的N个DCT系数直方图特征F：
(1a)读入一幅待取证JPEG图像的图像头文件，并从该图像头文件中提取DCT系数，得到大小为m×n的DCT系数矩阵，m≥32，n≥32；
(1b)检测DCT系数矩阵的行数和列数是否都能被L整除，若是，执行步骤(1c)，否则，在DCT系数矩阵最右侧补零列，在最下侧补零行，并执行步骤(1c)，其中，32≤L≤96，L为8的倍数；
(1c)以8像素的间隔长度，按照先行后列的顺序从DCT系数矩阵中提取N个大小为L×L的DCT系数数据块，组成数据块集合；
(1d)将数据块集合中的N个数据块均划分为L2/64个8×8数据小块，并按照之字形排列方式从每个数据块中提取第2个到第10个数据小块，得到9N个8×8的数据小块，再分别提取每个数据小块在{-15,-14,...,14,15}位置处的长度为31的DCT系数直方图，构成待取证JPEG图像的N个279维的DCT系数直方图特征F；
(2)对四个深度神经网络进行训练：
(2a)构建四个基本结构均为依次层叠的第一卷积层、第一池化层、第二卷积层、第二池化层、第一全连接层、第二全连接层、第三全连接层和Softmax层的第一深度神经网络、第二深度神经网络、第三深度神经网络和第四深度神经网络；
(2b)按照步骤(1)的方法，从JPEG图像数据库提取X1个大小均为L1×L1的未篡改图像数据块和篡改图像数据块，并将从每个篡改图像数据块提取的DCT系数直方图特征F1作为正样本集，同时将从每个未篡改图像数据块提取的DCT系数直方图特征F2作为负样本集，将正样本集和负样本集组成第一训练集合，其中X1≥10，32≤L1≤96，L1为8的倍数；
(2c)按照步骤(1)的方法，从JPEG图像数据库提取X2个大小均为L2×L2的未篡改图像数据块和篡改图像数据块，并将从每个篡改图像数据块提取的DCT系数直方图特征F3作为正样本集，同时将从每个未篡改图像数据块提取的DCT系数直方图特征F4作为负样本集，将正样本集和负样本集组成第二训练集合，其中X2≥10，96＜L2≤160，L2为8的倍数；
(2d)按照步骤(1)的方法，从JPEG图像数据库提取X3个大小均为L3×L3的未篡改图像数据块和篡改图像数据块，并将从每个篡改图像数据块提取的DCT系数直方图特征F5作为正样本集，同时将从每个未篡改图像数据块提取的DCT系数直方图特征F6作为负样本集，将正样本集和负样本集组成第三训练集合，其中X3≥10，160≤L3≤256，L3为8的倍数；
(2e)按照步骤(1)的方法，从JPEG图像数据库提取X4个大小均为L4×L4的未篡改图像数据块和QF1＞QF2的篡改图像数据块，并将从每个篡改图像数据块提取的DCT系数直方图特征F7作为正样本集，同时将从每个未篡改图像数据块提取的DCT系数直方图特征F8作为负样本集，将正样本集和负样本集组成第四训练集合，其中X4≥10，32≤L4≤96，L4为8的倍数，QF1为第一次压缩质量因数，QF2为第二次压缩质量因数；
(2f)采用第一训练集合对第一深度神经网络进行训练，采用第二训练集合对第二深度神经网络进行训练，采用第三训练集合对第三深度神经网络进行训练，采用第四训练集合对第四深度神经网络进行训练，得到第一深度神经网络Net1、第二深度神经网络Net2、第三深度神经网络Net3和第四深度神经网络Net4；
(3)获取待取证JPEG图像中一个DCT系数直方图特征F对应数据块的初步篡改检测结果S(1,1)和S(2,1)：
(3a)将步骤(1d)中的一个DCT系数直方图特征F，分别输入到步骤(2f)中的第一深度神经网络Net1、第二深度神经网络Net2和第三深度神经网络Net3，得到第一深度神经网络Net1的输出s1(1,1)和s1(2,1)、第二深度神经网络Net2的输出s2(1,1)和s2(2,1)和第三深度神经网络Net3的输出s3(1,1)和s3(2,1)；
(3b)对s1(1,1)、s1(2,1)、s2(1,1)、s2(2,1)、s3(1,1)和s3(2,1)进行加权融合，得到一个DCT系数直方图特征F对应数据块经过篡改的概率和未经篡改的概率，并将经过篡改的概率作为一个DCT系数直方图特征F对应数据块的初步篡改检测结果S(1,1)，将未经篡改的概率作为一个DCT系数直方图特征F对应数据块的初步篡改检测结果S(2,1)；
(4)获取待取证JPEG图像中一个DCT系数直方图特征F对应数据块的最终篡改检测结果Sl(1,1)和Sl(2,1)：
(4a)计算|S(1,1)-S(2,1)|，设定阈值t；
(4b)判断|S(1,1)-S(2,1)|与t的大小，当|S(1,1)-S(2,1)|≥t时，将S(1,1)和S(2,1)作为一个DCT系数直方图特征F对应数据块的最终篡改检测结果Sl(1,1)和Sl(2,1)，当|S(1,1)-S(2,1)|＜t时，将一个DCT系数直方图特征F输入第四深度神经网络Net4，得到第四深度神经网络Net4的输出s4(1,1)和s4(2,1)，并将s4(1,1)和s4(2,1)作为一个DCT系数直方图特征F对应数据块的最终篡改检测结果Sl(1,1)和Sl(2,1)；
(5)获取待取证JPEG图像中另外N-1个DCT系数直方图特征Fk对应数据块的最终篡改检测结果Sl k(1,1)和Sl k(2,1)：
(5a)按照步骤(3)的方法，获取待取证JPEG图像中另外N-1个DCT系数直方图特征Fk对应数据块的初步篡改检测结果Sk(1,1)和Sk(2,1)，其中k是标号，且k＝1,2,...,N-1；
(5b)按照步骤(4)的方法，获取待取证JPEG图像中另外N-1个DCT系数直方图特征Fk对应数据块的最终篡改检测结果和其中k是标号，且k＝1,2,...,N-1；
(6)获取待取证JPEG图像的取证结果图：
(6a)将待取证JPEG图像中一个DCT系数直方图特征F对应数据块的最终篡改检测结果Sl(1,1)和Sl(2,1)和待取证JPEG图像中另外N-1个DCT系数直方图特征Fk对应数据块的最终篡改检测结果和合并，得到待取证JPEG图像中所有N个数据块的最终篡改检测结果和其中k是标号，且k＝1,2,...,N-1，p是标号，且p＝1,2,...,N；
(6b)用待取证JPEG图像中第p个数据块的最终篡改检测结果的值，替代第p个数据块对应位置处的图像块中心8×8图像小块的像素值，其中p是标号，且p＝1,2,...,N，得到大小为的待取证JPEG图像的篡改概率图；
(6c)对待取证JPEG图像的篡改概率图进行二值化，得到JPEG图像的取证结果图。
2.根据权利要求1所述的基于深度多尺度网络的二次JPEG压缩图像取证方法，其特征在于，步骤(1d)中所述的待取证JPEG图像的N个279维的DCT系数直方图特征F，其表达式为：
F＝{Hi(-15),Hi(-14),...,Hi(-2),Hi(-1),
Hi(0),Hi(1),Hi(2),...,Hi(14),Hi(15)},
i∈{2,3,...,9,10}
其中，Hi(x)表示对应之字形排列的第i个8×8数据小块在x位置处的DCT系数直方图。
3.根据权利要求1所述的基于深度多尺度网络的二次JPEG压缩图像取证方法，其特征在于，步骤(3b)中所述的加权融合，其方法为：
S(1,1)＝w1×s1(1,1)+w2×s2(1,1)+w3×s3(1,1),
S(2,1)＝w1×s1(2,1)+w2×s2(2,1)+w3×s3(2,1),
s.t.w1,w2,w3≤1,w1+w2+w3＝1
其中，S(1,1)和S(2,1)为对s1(1,1)、s1(2,1)、s2(1,1)、s2(2,1)、s3(1,1)和s3(2,1)进行加权融合得到的初步篡改检测结果，w1为第一深度神经网络Net1的权重、w2为第二深度神经网络Net2的权重，w3为第三深度神经网络Net3的权重。
CN201810315119.6A 2017-12-29 2018-04-10 基于深度多尺度网络的二次jpeg压缩图像取证方法 Active CN108537762B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201711470657 2017-12-29
CN2017114706574 2017-12-29

Publications (2)

Publication Number Publication Date
CN108537762A CN108537762A (zh) 2018-09-14
CN108537762B true CN108537762B (zh) 2019-12-24

Family

ID=63480646

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810315119.6A Active CN108537762B (zh) 2017-12-29 2018-04-10 基于深度多尺度网络的二次jpeg压缩图像取证方法

Country Status (1)

Country Link
CN (1) CN108537762B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110717851B (zh) 2019-10-18 2023-10-27 京东方科技集团股份有限公司 图像处理方法及装置、神经网络的训练方法、存储介质
CN112614116B (zh) * 2020-12-28 2022-06-28 厦门市美亚柏科信息股份有限公司 一种用于数字图像的篡改检测方法和***

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103544692A (zh) * 2012-07-13 2014-01-29 深圳市智信达软件有限公司 基于统计学判断的双重压缩jpeg图象篡改盲检测方法
CN104661037B (zh) * 2013-11-19 2017-12-05 中国科学院深圳先进技术研究院 压缩图像量化表篡改的检测方法和***
US10032265B2 (en) * 2015-09-02 2018-07-24 Sam Houston State University Exposing inpainting image forgery under combination attacks with hybrid large feature mining

Also Published As

Publication number Publication date
CN108537762A (zh) 2018-09-14

Similar Documents

Publication Publication Date Title
Bayar et al. Design principles of convolutional neural networks for multimedia forensics
Walia et al. Digital image forgery detection: a systematic scrutiny
CN110852316B (zh) 一种采用密集结构卷积网络的图像篡改检测和定位方法
Tokuda et al. Computer generated images vs. digital photographs: A synergetic feature and classifier combination approach
CN109871845B (zh) 证件图像提取方法及终端设备
CN108446700A (zh) 一种基于对抗攻击的车牌攻击生成方法
CN108710893B (zh) 一种基于特征融合的数字图像相机源模型分类方法
CN111738044B (zh) 一种基于深度学习行为识别的校园暴力评估方法
CN113762138B (zh) 伪造人脸图片的识别方法、装置、计算机设备及存储介质
Wang et al. Image splicing detection based on convolutional neural network with weight combination strategy
WO2023206944A1 (zh) 一种语义分割方法、装置、计算机设备和存储介质
Huang et al. A novel method for detecting image forgery based on convolutional neural network
Singh et al. SiteForge: Detecting and localizing forged images on microblogging platforms using deep convolutional neural network
Yang et al. Convolutional neural network for smooth filtering detection
CN108537762B (zh) 基于深度多尺度网络的二次jpeg压缩图像取证方法
CN112215780A (zh) 基于类特征修复融合的图像取证对抗性攻击防御方法
CN109472733A (zh) 基于卷积神经网络的图像隐写分析方法
Yu et al. Manipulation classification for jpeg images using multi-domain features
Xiang et al. Research on splicing image detection algorithms based on natural image statistical characteristics
CN114677722A (zh) 一种融合多尺度特征的多监督人脸活体检测方法
Uma et al. Copy-move forgery detection of digital images using football game optimization
Mallick et al. Copy move and splicing image forgery detection using cnn
Qiao et al. Csc-net: Cross-color spatial co-occurrence matrix network for detecting synthesized fake images
Ananthi et al. A secure model on Advanced Fake Image-Feature Network (AFIFN) based on deep learning for image forgery detection
Guo et al. Pathological detection of micro and fuzzy gastric cancer cells based on deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant