CN117351015B - 基于边缘监督和多域交叉相关的篡改检测方法及*** - Google Patents
基于边缘监督和多域交叉相关的篡改检测方法及*** Download PDFInfo
- Publication number
- CN117351015B CN117351015B CN202311648686.0A CN202311648686A CN117351015B CN 117351015 B CN117351015 B CN 117351015B CN 202311648686 A CN202311648686 A CN 202311648686A CN 117351015 B CN117351015 B CN 117351015B
- Authority
- CN
- China
- Prior art keywords
- domain
- edge
- tampering
- feature
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 30
- 238000010586 diagram Methods 0.000 claims abstract description 12
- 238000000605 extraction Methods 0.000 claims description 42
- 238000000034 method Methods 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000010606 normalization Methods 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 10
- 230000008030 elimination Effects 0.000 claims description 9
- 238000003379 elimination reaction Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/95—Pattern authentication; Markers therefor; Forgery detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明属于图像处理技术领域，公开了基于边缘监督和多域交叉相关的篡改检测方法及***，包括以下步骤：步骤1、提取源域篡改域特征，步骤2、使用解耦边缘监督进行篡改域边缘定位和篡改域定位，提取篡改域特征：步骤3、提取源域特征：将步骤1得到的源域篡改域特征与步骤2得到的篡改域特征做差，得到源域特征；步骤4、进行多域交叉相关性建模，获取源域篡改域背景图：对源域篡改域特征、篡改域特征和源域特征进行多域交叉相关性建模，得到源域篡改域背景图。通过本发明提高源域篡改域定位的准确性，并对最终结果进行监督，提高对源域篡改域和背景判断的准确性。
Description
技术领域
本发明属于图像处理技术领域，特别涉及基于边缘监督和多域交叉相关的篡改检测方法及***。
背景技术
图像复制-移动图像篡改操作是指复制图像中某一区域并移动到同一图像其他区域中，从而达到迷惑和欺骗观察者的目的。这种篡改方式与拼接相同，都篡改了图像的内容，但其相比拼接技术具有更高的检测难度，这是由于复制-移动操作是同一图像内部操作，篡改区域在统计属性上与图片中的其他区域极为相似导致的。针对这一特点，研究人员提出了一种篡改域辅助定位和特征信息利用的并行网络实现复制移动图像篡改，其优势在于使用并行网络的主线分支和辅助分支来检测源域和篡改域，提高了相似目标区域定位的精准性，另外使用边缘作为监督条件检测篡改域提高了篡改域检测的准确性。
但是，该方法存在以下问题：第一，作为监督信息的篡改域边缘特征冗余利用导致篡改域检测效果不佳。目前的方法利用篡改域作为辅助域优化复制-移动篡改检测结果，其通过检测篡改过程留下的边界伪影作为辅助信息实现篡改域提取，但是，目前直接简单的相加不同层特征检测边缘用于辅助篡改域检测的方法是不合理的，其将导致篡改域检测结果欠佳，从而影响整个网络。这是因为，在现有的篡改区域检测边缘定位中，为了充分利用低级浅层特征，将每层特征不做处理直接相加利用进行边缘检测，然而，高层特征中已包含低层信息，直接相加利用造成信息的大量冗余，并使有用信息淹没在大量的无用信息中。第二，辅助域特征融合利用不合理。现有方法将作为篡改域的辅助域与检测相似区域的主网络直接相加融合，从而实现篡改域的辅助作用。但是这种直接的融合方法未能充分发挥篡改域对于相似区域检测的辅助作用。另外，现有方法只是对篡改域进行定位并用篡改域来辅助检测相似区域的主线网络，并没有使用源域特征，来进一步辅助主线网络。
发明内容
针对现有技术存在的不足，本发明提供基于边缘监督和多域交叉相关的篡改检测方法及***，提出了特征解耦边缘监督模块，在利用多层特征进行边缘提取时，通过逐层解耦的方法同时利用深层特征和浅层特征，在利用深层特征的同时，挖掘深层特征丢失的存在于浅层特征中的有效信息；提出了多域交叉相关性建模模块，利用源域特征、篡改域特征和主线网络特征计算元素之间的关联关系，从而利用篡改域和源域优化主线网络特征（即源域篡改域特征），将优化后的三个特征通过门控机制融合，以实现三者有效信息的合理利用，得到最终的源域篡改域背景图，通过本发明可以实现图像的复制-移动篡改检测，提高检测结果准确性。
为了解决上述技术问题，本发明采用的技术方案是：
首先，本发明提供基于边缘监督和多域交叉相关的篡改检测方法，包括以下步骤：
步骤1、提取源域篡改域特征：
对输入图像I使用卷积神经网络进行特征提取，将得到的特征使用不同大小的卷积核进行不同尺度的特征提取，然后将不同尺度的特征进行融合，并将融合后的特征使用自相关计算，得到初步的源域篡改域特征；
步骤2、使用解耦边缘监督进行篡改域边缘定位和篡改域定位，提取篡改域特征：
采用ResNet网络分四层对输入图像I进行不同层的特征提取，分别获取第一层到第四层的输出，其中第四层的输出作为篡改域特征；将获取的四层的输出分别经过四级边缘残差网络进行边缘特征提取、冗余特征消除和拼接，最后一级网络的输出为篡改域边缘特征；
步骤3、提取源域特征：
将步骤1得到的源域篡改域特征与步骤2得到的篡改域特征做差，得到源域特征；
步骤4、进行多域交叉相关性建模，获取源域篡改域背景图：
多域交叉相关性建模是对源域篡改域特征、篡改域特征和源域特征分别进行两两相关性计算，计算元素之间的关联关系，得到三个相似特征，并对得到的相似特征通过门控机制融合，得到源域篡改域背景图。
进一步的，步骤2中，ResNet网络的第一层的输出大小为输入图像I大小的1/4，通道数相同，第二层的输出比第一层的输出大小减半，通道数翻数倍，第三层的输出比第一层的输出大小减半，通道数翻倍，第四层的输出和第三层的输出大小相同，通道数翻倍。
进一步的，步骤2中，第一级的边缘残差网络包括滤波器和一个边缘残差模块，后三级的边缘残差网络包括滤波器和两个边缘残差模块；将获取的四层的输出分别经过滤波器和边缘残差模块进行边缘特征提取，后三层的特征进行边缘残差后进行冗余特征消除和拼接，再输入边缘残差模块，进入下一级网络，最后一级网络的最后一个边缘残差模块的输出即为篡改域边缘特征。
进一步的，通过边缘残差网络提取篡改域边缘特征的具体方法如下：对于输入图像I，经过ResNet网络的四层输出分别是特征M1、M2、M3、M4，再将这四个特征分别经过一个滤波器模块和一个边缘残差模块得到特征J1、J2、J3、J4；将J2与J1做差得到K1，J3与J2做差得到K2，J4与J3做差得到K3，然后再将J1和K1进行拼接得到P1，P1再经过一个边缘残差模块得到R1，R1再与K2进行拼接得到P2，P2再经过一个边缘残差模块得到R2，R2再与K3进行拼接得到P3，P3再经过一个边缘残差模块得到R3，将R3作为篡改域边缘特征。
进一步的，所述滤波器和边缘残差两个模块用于通道缩减和特征提取，在滤波器内，依次进行卷积操作、批归一化操作、L2 归一化操作和激活函数激活操作后得到的数据与输入数据相乘；在边缘残差模块内，首先进行第一次卷积操作，数据再依次进行第二次卷积操作、批归一化操作、线型整流操作、第三次卷积操作后得到的数据与第一次卷积操作后的数据相加。
进一步的，步骤4中，多域交叉相关性建模具体方法如下：对源域篡改域特征、篡改域特征和源域特征进行维度变换分别得到特征F1、特征F2、特征F3三个特征，再对F1和F2，F1和F3，F2和F3进行相关性计算得到三个新特征，分别是相似特征Z1、相似特征Z2、相似特征Z3，然后Z1、Z2、Z3分别经过门控1、门控2、1－门控1－门控2操作，再将经过门控操作的特征与对应的原来的相似特征Z1、相似特征Z2、相似特征Z3相乘，得到特征Y1、Y2、Y3，最后将Y1、Y2、Y3三个特征相加，得到最终的源域篡改域背景图。
其次，本发明还提供基于边缘监督和多域交叉相关的篡改检测***，用于实现如前所述的基于边缘监督和多域交叉相关的篡改检测方法，所述***包括主线网络、辅助分支网络和多域信息融合网络，所述主线网络采用卷积神经网络进行特征提取，将得到的特征使用不同大小的卷积核进行不同尺度的特征提取，然后将不同尺度的特征进行融合，并将融合后的特征使用自相关计算，得到初步的源域篡改域特征；
所述辅助分支网络为篡改域特征提取模块，所述篡改域特征提取模块采用解耦边缘监督模块，包括用于提取篡改域特征的篡改域特征定位提取模块和用于提取篡改域边缘特征的篡改域边缘定位模块，所述篡改域特征定位提取模块采用ResNet网络，分四层对输入图像I进行不同层的特征提取，分别获取第一层到第四层的输出，其中第四层的输出作为篡改域特征；所述篡改域边缘定位模块包括四级边缘残差网络，第一级的边缘残差网络包括滤波器和一个边缘残差模块，后三级的边缘残差网络包括滤波器和两个边缘残差模块，获取的ResNet网络四层的输出分别经过四级边缘残差网络进行边缘特征提取、冗余特征消除和拼接，最后一级网络的输出为篡改域边缘特征；
所述多域信息融合网络包括多域交叉相关建模模块，将主线网络得到的源域篡改域特征与辅助分支网络得到的篡改域特征做差，得到源域特征，所述多域交叉相关性建模用于对源域篡改域特征、篡改域特征和源域特征分别进行两两相关性计算，计算元素之间的关联关系，得到三个相似特征，并对得到的相似特征通过门控机制融合，得到源域篡改域背景图，作为***的输出图像。
进一步的，所述滤波器包括卷积层、批归一化层、L2 归一化层和激活函数，激活操作后得到的数据与输入数据相乘；所述边缘残差模块，包括第一次卷积层、第二次卷积层、批归一化层、线型整流层、第三次卷积层，第三次卷积层后得到的数据与第一次卷积操作后的数据相加。
进一步的，损失Lsum包括边缘损失和交叉熵损失两部分，损失函数公式如下：
(1)；
L edges为边缘损失，公式如下：
(2)；
其中H和W分别为输入图像的高度和宽度，为输入图像中某一像素位置（i，j）的篡改域边缘特征值，/>为真实图像中某一像素位置（i，j）的值，/>为源域篡改域背景图中某一像素位置（i，j）的值，i和j分别是行上的第i个位置、列上的第j个位置；
L ce为交叉熵损失，公式如下为：
(3)；
其中，表示对所有类别进行求和，/>为是真实类别标签向量中的第/>个元素，是预测的概率分布向量中的第/>个元素。
与现有技术相比，本发明优点在于：
（1）设计了基于特征解耦边缘监督模块，使用了一种全新的篡改域边缘定位方式，使得边缘在定位时既能考虑浅层特征信息，又能用到深层次的特征信息，同时减少冗余信息操作，使得数据内容更加精简，减少数据重复运算。并且使用篡改域边缘进行监督，提高篡改域边缘定位的准确性，进而优化边缘学习参数，提高篡改域定位的准确性。
（2）设计了多域交叉相关性建模模块，充分利用获得的全部特征信息（源域篡改域背景信息、篡改域背景信息、源域背景信息）并对他们进行进一步的信息挖掘，利用源域特征、篡改域特征和源域篡改域特征计算元素之间的关联关系，从而利用篡改域和源域两个辅助域优化主线网络特征（即源域篡改域特征），将优化后的三个源域篡改域背景特征通过门控机制融合，以实现三者有效信息的合理利用，从而提高源域篡改域信息定位的准确性，并对最终结果进行监督，提高对源域篡改域和背景判断的准确性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的***结构图；
图2为本发明的解耦边缘监督模块结构示意图；
图3为本发明的滤波器结构示意图；
图4为本发明的边缘残差模块结构示意图；
图5为本发明的多域交叉相关性建模模块结构示意图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的说明。
实施例1
结合图1，本实施例提供了一种基于边缘监督和多域交叉相关的篡改检测***，包括主线网络、辅助分支网络和多域信息融合网络，本***的输入图像I大小为W × H × C，W、H、C分别为宽度、高度和维度。
首先，对于主线网络，采用卷积神经网络（例如VGG16网络）进行特征提取，将得到的特征使用三个不同大小的卷积核进行不同尺度的特征提取，然后将不同尺度的特征进行融合，并将融合后的特征使用自相关计算，得到初步的源域篡改域特征。
其次，对于辅助分支，为篡改域特征提取模块，减少冗余信息使用，同时还使用边缘进行监督，提高整个分支的准确率。具体来说辅助分支是采用解耦边缘监督模块，使用解耦边缘监督进行篡改域边缘检测和篡改域定位，得到篡改域特征。在对篡改域特征提取后，使用主线网络的源域篡改域域特征与辅助分支的篡改域特征做差，获得源域特征，从而进行进一步的融合。
作为一个优选的实施方式，解耦边缘监督模块包括用于提取篡改域特征的篡改域特征定位提取模块和用于提取篡改域边缘特征的篡改域边缘定位模块，如图2所示，篡改域特征定位提取模块采用ResNet网络（例如ResNet50骨干网络，包括模块1、模块2、模块3和模块4四部分，作为四个网络层），分四层对输入图像I进行不同层的特征提取，分别获取第一层到第四层的输出，其中第四层的输出作为篡改域特征。
需要说明的是，本实施例仅以以下图像大小和通道数比例关系为例说明：第一层的输出大小为输入图像大小的1/4，通道数相同，第二层的输出比第一层的输出大小减半，通道数翻倍，第三层的输出比第一层的输出大小减半，通道数翻倍，第四层的输出和第三层的输出大小相同，通道数翻倍。在这个条件下，技术效果最好。但是对于不同的网络层，其他输出图像大小和通道数也可实现技术方案，此处不一一举例说明。
作为一个优选的实施方式，篡改域边缘定位模块包括四级边缘残差网络，第一级的边缘残差网络包括滤波器和一个边缘残差模块，后三级的边缘残差网络包括滤波器和两个边缘残差模块，获取的ResNet网络四层的输出分别经过四级边缘残差网络进行边缘特征提取、冗余特征消除和拼接，最后一级网络的输出为篡改域边缘特征。
作为一个优选的实施方式，如图3所示，滤波器包括卷积层、批归一化层、L2 归一化层和激活函数，激活操作后得到的数据与输入数据相乘。
作为一个优选的实施方式，如图4所示，边缘残差模块包括第一次卷积层、第二次卷积层、批归一化层、线型整流层、第三次卷积层，第三次卷积层后得到的数据与第一次卷积操作后的数据相加。
随后，将主线网络得到的源域篡改域特征与辅助分支网络得到的篡改域特征做差，得到源域特征。
最后，对于多域信息融合网络，如图5所示，包括多域交叉相关建模模块，所述多域交叉相关性建模模块用于对源域篡改域特征、篡改域特征和源域特征分别进行两两相关性计算，计算元素之间的关联关系，得到三个相似特征，并对得到的相似特征通过门控机制融合，得到源域篡改域背景图，作为***的输出图像。
作为一个优选的实施方式，对源域篡改域特征、篡改域特征和源域特征进行维度变换分别得到特征F1、特征F2、特征F3三个特征，再对F1和F2，F1和F3，F2和F3进行相关性计算得到三个新特征，分别是相似特征Z1、相似特征Z2、相似特征Z3，然后Z1、Z2、Z3分别经过门控1、门控2、1－门控1－门控2操作，再将经过门控操作的特征与对应的原来的相似特征Z1、相似特征Z2、相似特征Z3相乘，得到特征Y1、Y2、Y3，最后将Y1、Y2、Y3三个特征相加，得到最终的源域篡改域背景图。
需要说明的是，各个模块的功能及数据处理过程在实施例2部分，结合基于边缘监督和多域交叉相关的篡改检测方法进行详细说明。
实施例2
结合图1所示，本实施例设计了一种基于边缘监督和多域交叉相关的篡改检测方法，包括以下步骤：
步骤1、提取源域篡改域特征。
对输入图像I使用卷积神经网络进行特征提取，将得到的特征使用不同大小的卷积核进行不同尺度的特征提取，然后将不同尺度的特征进行融合，并将融合后的特征使用自相关计算，得到初步的源域篡改域特征。
步骤2、使用解耦边缘监督进行篡改域边缘定位和篡改域定位，提取篡改域特征。
首先，对于篡改域定位，采用ResNet网络（包括模块1、模块2、模块3和模块4四部分）分四层对输入图像I进行不同层的特征提取，分别获取第一层到第四层的输出，其中第四层的输出作为篡改域特征。
作为一个优选的实施方式，第一层的输出大小为输入图像大小的1/4，通道数相同，第二层的输出比第一层的输出大小减半，通道数翻倍，第三层的输出比第一层的输出大小减半，通道数翻倍，第四层的输出和第三层的输出大小相同，通道数翻倍。例如，对于给定的W × H ×3的彩色输入图像分别获取第一层，/>，256，第二层/>，/>，512，第三层/>，/>，1024，第四层/>，/>，2048的输出。
然后，介绍篡改域边缘定位。将获取的ResNet网络的四层的输出分别经过四级边缘残差网络进行边缘特征提取、冗余特征消除和拼接，最后一级边缘残差网络的输出为篡改域边缘特征。
具体来说，第一级的边缘残差网络包括滤波器和一个边缘残差模块，后三级的边缘残差网络包括滤波器和两个边缘残差模块。结合图3和图4，滤波器和边缘残差两个模块用于通道缩减和特征提取，在滤波器内，依次进行卷积操作（图中以3 × 3 × 2卷积为例）、批归一化操作、L2 归一化操作和激活函数激活操作后得到的数据与输入数据相乘；在边缘残差模块内，首先进行第一次卷积操作（图中以1 × 1卷积为例），数据再依次进行第二次卷积操作（以3 × 3卷积为例）、批归一化操作、线型整流操作、第三次卷积操作（以3× 3卷积为例）后得到的数据与第一次卷积操作后的数据相加。
本步骤的设计思路是：将获取的ResNet网络的四层的输出分别经过滤波器和边缘残差模块进行边缘特征提取，后三层的特征进行边缘残差后进行冗余特征消除和拼接，再输入边缘残差模块，进入下一级网络，最后一级网络的最后一个边缘残差模块的输出即为篡改域边缘特征。也就是说，通过边缘残差网络提取篡改域边缘特征的具体方法如下：
对于W × H ×3的彩色输入图像，经过ResNet网络的模块1、模块2、模块3和模块4后分别得到特征M1、M2、M3、M4，将他们分别送入滤波器和边缘残差模块进行篡改域边缘特征，/>，1的进一步提取。具体是，将这四个特征分别经过一个滤波器模块和一个边缘残差模块得到特征J1、J2、J3、J4；将J2与J1做差得到K1，J3与J2做差得到K2，J4与J3做差得到K3，然后再将J1和K1进行拼接得到P1，P1再经过一个边缘残差模块得到R1，R1再与K2进行拼接得到P2，P2再经过一个边缘残差模块得到R2，R2再与K3进行拼接得到P3，P3再经过一个边缘残差模块得到R3，将R3作为篡改域边缘特征。
步骤3、提取源域特征。
将步骤1得到的源域篡改域特征与步骤2得到的篡改域特征做差，得到源域特征。
步骤4、进行多域交叉相关性建模，获取源域篡改域背景图。
多域交叉相关性建模是对源域篡改域特征、篡改域特征和源域特征分别进行两两相关性计算，计算元素之间的关联关系，得到三个相似特征，并对得到的相似特征通过门控机制融合，得到源域篡改域背景图。
多域交叉相关性建模具体方法如下：对源域篡改域特征、篡改域特征和源域特征进行维度变换分别得到特征F1、特征F2、特征F3三个特征，再对F1和F2，F1和F3，F2和F3进行相关性计算得到三个新特征，分别是相似特征Z1、相似特征Z2、相似特征Z3，然后Z1、Z2、Z3分别经过门控1、门控2、1－门控1－门控2操作，再将经过门控操作的特征与对应的原来的相似特征Z1、相似特征Z2、相似特征Z3相乘，得到特征Y1、Y2、Y3，最后将Y1、Y2、Y3三个特征相加，得到最终的源域篡改域背景图，如图5所示。
得到的源域篡改域背景图即本发明的输出图像，包含了背景、源域和篡改域，例如用蓝色代表背景，绿色代表源域，红色代表篡改域时，该源域篡改域背景图仅红绿蓝三种颜色。对源域、篡改域和背景域分别使用准确率，召回率，和F1-得分来评价网路性能，三个指标越高说明该方法判断的准确率越高，判断区域越精准。
需要说明的是，本发明的损失Lsum包括边缘损失和交叉熵损失两部分，损失函数公式如下：
(1)。
L edges为边缘损失，用于辅助分支篡改域边缘检测的优化，有以下公式：
(2)；
其中H和W分别为输入图像I的高度和宽度，为输入图像I中某一像素位置（i，j）的篡改域边缘特征值，/>为真实图像中某一像素位置（i，j）的值，/>为***输出图像即源域篡改域背景图中某一像素位置（i，j）的值，i和j分别是行上的第i个位置、列上的第j个位置。/>表示了输出图像与真实图像的绝对误差，但是我们更关心边缘的信息，所以用去加权，边缘部分的占比就会变大，那么这个损失就能更好地优化边缘信息。
L ce为交叉熵损失，用于优化融合后的最终检测结果，公式为：
(3)；
其中，表示对所有类别进行求和，/>为是真实类别标签向量中的第/>个元素，是预测的概率分布向量中的第/>个元素。
在实验时，使用CASIA-CMFD，CoMoFoD-CMFD，MICC-F220，USCISI-CMFD，COVERAGE五个数据集。使用CASIA-CMFD进行训练和测试，使用CoMoFoD-CMFD， COVERAGE，MICC-F220，USCISI-CMFD四个数据集进行测试。CASIA CMFD数据集包含1313张伪造图像及其真实对应图像(总共2626个样本)，以8:1:1的比例分为训练集、验证集和测试集。CoMoFoD数据集包含5000张伪造图像，200张基础图像和25个操作类别，涵盖5种操作和5种后处理方法。MICC-F220包含220个类别的22400张图像，其中每个类别包含100张图像。USCISI-CMFD数据集分有100K张图像用于训练、验证和测试。采用端到端分批次训练方法，每个批次设置为8。
综上所述，本发明设计了基于边缘监督和多域交叉相关的篡改检测方法及***，用于检测图像复制-移动篡改操作。本发明基于特征解耦边缘监督模块，在利用多层特征进行边缘提取时，通过逐层解耦的方同时利用深层特征和浅层特征，在利用深层特征的同时，挖掘深层特征丢失的存在于浅层特征中的有效信息。
本发明提出了多域交叉相关性建模模块，利用源域特征、篡改域特征和主线网络特征计算元素之间的关联关系，从而利用篡改域和源域两个辅助域优化主线网络特征。将优化后的三个源域篡改域背景特征通过门控机制融合，以实现三者（源域篡改域背景信息、篡改域背景信息、源域背景信息）有效信息的合理利用。从而提高源域篡改域信息定位的准确性，并对最终结果进行监督，提高对源域篡改域和背景判断的准确性。
当然，上述说明并非是对本发明的限制，本发明也并不限于上述举例，本技术领域的普通技术人员，在本发明的实质范围内，做出的变化、改型、添加或替换，都应属于本发明的保护范围。
Claims (5)
1.基于边缘监督和多域交叉相关的篡改检测方法，其特征在于，包括以下步骤：
步骤1、提取源域篡改域特征：
对输入图像I使用卷积神经网络进行特征提取，将得到的特征使用不同大小的卷积核进行不同尺度的特征提取，然后将不同尺度的特征进行融合，并将融合后的特征使用自相关计算，得到初步的源域篡改域特征；
步骤2、使用解耦边缘监督进行篡改域边缘定位和篡改域定位，提取篡改域特征：
采用ResNet网络分四层对输入图像I进行不同层的特征提取，分别获取第一层到第四层的输出，所述ResNet网络包括模块1、模块2、模块3和模块4四部分，作为四个网络层，其中第四层的输出作为篡改域特征；将获取的四层的输出分别经过四级边缘残差网络进行边缘特征提取、冗余特征消除和拼接，最后一级网络的输出为篡改域边缘特征；
其中第一级的边缘残差网络包括滤波器和一个边缘残差模块，后三级的边缘残差网络包括滤波器和两个边缘残差模块；将获取的四层的输出分别经过滤波器和边缘残差模块进行边缘特征提取，后三层的特征进行边缘残差后进行冗余特征消除和拼接，再输入边缘残差模块，进入下一级网络，最后一级网络的最后一个边缘残差模块的输出即为篡改域边缘特征；
所述滤波器和边缘残差两个模块用于通道缩减和特征提取，在滤波器内，依次进行卷积操作、批归一化操作、L2归一化操作和激活函数激活操作后得到的数据与输入数据相乘；在边缘残差模块内，首先进行第一次卷积操作，数据再依次进行第二次卷积操作、批归一化操作、线型整流操作、第三次卷积操作后得到的数据与第一次卷积操作后的数据相加；
通过边缘残差网络提取篡改域边缘特征的具体方法如下：对于输入图像I，经过ResNet网络的四层输出分别是特征M1、M2、M3、M4，再将这四个特征分别经过一个滤波器模块和一个边缘残差模块得到特征J1、J2、J3、J4；将J2与J1做差得到K1，J3与J2做差得到K2，J4与J3做差得到K3，然后再将J1和K1进行拼接得到P1，P1再经过一个边缘残差模块得到R1，R1再与K2进行拼接得到P2，P2再经过一个边缘残差模块得到R2，R2再与K3进行拼接得到P3，P3再经过一个边缘残差模块得到R3，将R3作为篡改域边缘特征；
步骤3、提取源域特征：
将步骤1得到的源域篡改域特征与步骤2得到的篡改域特征做差，得到源域特征；
步骤4、进行多域交叉相关性建模，获取源域篡改域背景图：
多域交叉相关性建模是对源域篡改域特征、篡改域特征和源域特征分别进行两两相关性计算，计算元素之间的关联关系，得到三个相似特征，并对得到的相似特征通过门控机制融合，得到源域篡改域背景图。
2.根据权利要求1所述的基于边缘监督和多域交叉相关的篡改检测方法，其特征在于，步骤2中，ResNet网络的第一层的输出大小为输入图像I大小的1/4，通道数相同，第二层的输出比第一层的输出大小减半，通道数翻数倍，第三层的输出比第一层的输出大小减半，通道数翻倍，第四层的输出和第三层的输出大小相同，通道数翻倍。
3.根据权利要求1所述的基于边缘监督和多域交叉相关的篡改检测方法，其特征在于，步骤4中，多域交叉相关性建模具体方法如下：对源域篡改域特征、篡改域特征和源域特征进行维度变换分别得到特征F1、特征F2、特征F3三个特征，再对F1和F2，F1和F3，F2和F3进行相关性计算得到三个新特征，分别是相似特征Z1、相似特征Z2、相似特征Z3，然后Z1、Z2、Z3分别经过门控1、门控2、1－门控1－门控2操作，再将经过门控操作的特征与对应的原来的相似特征Z1、相似特征Z2、相似特征Z3相乘，得到特征Y1、Y2、Y3，最后将Y1、Y2、Y3三个特征相加，得到最终的源域篡改域背景图。
4.基于边缘监督和多域交叉相关的篡改检测***，其特征在于，用于实现如权利要求1-3任一项所述的基于边缘监督和多域交叉相关的篡改检测方法，所述***包括主线网络、辅助分支网络和多域信息融合网络，所述主线网络采用卷积神经网络进行特征提取，将得到的特征使用不同大小的卷积核进行不同尺度的特征提取，然后将不同尺度的特征进行融合，并将融合后的特征使用自相关计算，得到初步的源域篡改域特征；
所述辅助分支网络为篡改域特征提取模块，所述篡改域特征提取模块采用解耦边缘监督模块，包括用于提取篡改域特征的篡改域特征定位提取模块和用于提取篡改域边缘特征的篡改域边缘定位模块，所述篡改域特征定位提取模块采用ResNet网络，分四层对输入图像I进行不同层的特征提取，分别获取第一层到第四层的输出，其中第四层的输出作为篡改域特征；所述篡改域边缘定位模块包括四级边缘残差网络，第一级的边缘残差网络包括滤波器和一个边缘残差模块，后三级的边缘残差网络包括滤波器和两个边缘残差模块，获取的ResNet网络四层的输出分别经过四级边缘残差网络进行边缘特征提取、冗余特征消除和拼接，最后一级网络的输出为篡改域边缘特征；
所述多域信息融合网络包括多域交叉相关建模模块，将主线网络得到的源域篡改域特征与辅助分支网络得到的篡改域特征做差，得到源域特征，所述多域交叉相关性建模用于对源域篡改域特征、篡改域特征和源域特征分别进行两两相关性计算，计算元素之间的关联关系，得到三个相似特征，并对得到的相似特征通过门控机制融合，得到源域篡改域背景图，作为***的输出图像。
5.根据权利要求4所述的基于边缘监督和多域交叉相关的篡改检测***，其特征在于，损失Lsum包括边缘损失和交叉熵损失两部分，损失函数公式如下：
Lsum＝Ledges+Lce (1)；
L edges为边缘损失，公式如下：
其中H和W分别为输入图像的高度和宽度，Ei，j为输入图像中某一像素位置(i，j)的篡改域边缘特征值，Yi，j为真实图像中某一像素位置(i，j)的值，Xi，j为源域篡改域背景图中某一像素位置(i，j)的值，i和j分别是行上的第i个位置、列上的第j个位置；
Lce为交叉熵损失，公式如下为：
Lce＝-∑g[yg*log(pg)] (3)；
其中，∑g表示对所有类别进行求和，yg为是真实类别标签向量中的第g个元素，pg是预测的概率分布向量中的第g个元素。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311648686.0A CN117351015B (zh) | 2023-12-05 | 2023-12-05 | 基于边缘监督和多域交叉相关的篡改检测方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311648686.0A CN117351015B (zh) | 2023-12-05 | 2023-12-05 | 基于边缘监督和多域交叉相关的篡改检测方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117351015A CN117351015A (zh) | 2024-01-05 |
| CN117351015B true CN117351015B (zh) | 2024-03-19 |
Family
ID=89357914
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311648686.0A Active CN117351015B (zh) | 2023-12-05 | 2023-12-05 | 基于边缘监督和多域交叉相关的篡改检测方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117351015B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014061922A1 (ko) * | 2012-10-17 | 2014-04-24 | 에스케이텔레콤 주식회사 | 에지 영상을 이용한 카메라 탬퍼링 검출장치 및 방법 |
| CN114022506A (zh) * | 2021-11-16 | 2022-02-08 | 天津大学 | 一种边缘先验融合多头注意力机制的图像修复方法 |
| CN114972857A (zh) * | 2022-05-19 | 2022-08-30 | 中国海洋大学 | 双分支源与目标定位复制移动检测网络及方法 |
| CN115063373A (zh) * | 2022-06-24 | 2022-09-16 | 山东省人工智能研究院 | 基于多尺度特征智能感知的社交网络图像篡改定位方法 |
| CN116863319A (zh) * | 2023-09-05 | 2023-10-10 | 中国海洋大学 | 基于跨尺度建模和交替细化的复制移动篡改检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10742399B2 (en) * | 2017-12-28 | 2020-08-11 | Intel Corporation | Context-aware image compression |
-
2023
- 2023-12-05 CN CN202311648686.0A patent/CN117351015B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014061922A1 (ko) * | 2012-10-17 | 2014-04-24 | 에스케이텔레콤 주식회사 | 에지 영상을 이용한 카메라 탬퍼링 검출장치 및 방법 |
| CN114022506A (zh) * | 2021-11-16 | 2022-02-08 | 天津大学 | 一种边缘先验融合多头注意力机制的图像修复方法 |
| CN114972857A (zh) * | 2022-05-19 | 2022-08-30 | 中国海洋大学 | 双分支源与目标定位复制移动检测网络及方法 |
| CN115063373A (zh) * | 2022-06-24 | 2022-09-16 | 山东省人工智能研究院 | 基于多尺度特征智能感知的社交网络图像篡改定位方法 |
| CN116863319A (zh) * | 2023-09-05 | 2023-10-10 | 中国海洋大学 | 基于跨尺度建模和交替细化的复制移动篡改检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| "Edge-aware Regional Message Passing Controller for Image Forgery Localization";D. Li等;《2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)》;全文 * |
| 基于深度监督残差网络的肝脏及肝肿瘤分割;张家兵;张耀;徐洪丽;沈舒宁;王冬;刘同波;刘坤;王彬华;;集成技术(第03期);全文 * |
| 基于级联卷积神经网络的图像篡改检测算法;毕秀丽;魏杨;肖斌;李伟生;马建峰;;电子与信息学报(第12期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117351015A (zh) | 2024-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhu et al. | A deep learning approach to patch-based image inpainting forensics | |
| CN110852316B (zh) | 一种采用密集结构卷积网络的图像篡改检测和定位方法 | |
| CN115063373A (zh) | 基于多尺度特征智能感知的社交网络图像篡改定位方法 | |
| Cao et al. | Ancient mural restoration based on a modified generative adversarial network | |
| CN111612008A (zh) | 基于卷积网络的图像分割方法 | |
| CN110826588A (zh) | 一种基于注意力机制的排水管道缺陷检测方法 | |
| CN109801232A (zh) | 一种基于深度学习的单幅图像去雾方法 | |
| CN116645369B (zh) | 基于孪生自编码器和双向信息深度监督的异常检测方法 | |
| CN111178392B (zh) | 基于深度神经网络的航空发动机孔探图像损伤分割方法 | |
| CN114332008B (zh) | 一种基于多层次特征重构的无监督缺陷检测与定位方法 | |
| CN115346037B (zh) | 一种图像篡改检测方法 | |
| Li et al. | ConvTransNet: A CNN–transformer network for change detection with multiscale global–local representations | |
| CN116012653A (zh) | 一种注意力残差单元神经网络高光谱图像分类方法及*** | |
| CN113537023A (zh) | 一种遥感影像语义变化检测方法 | |
| CN114998703B (zh) | 一种基于高分辨卷积神经网络的遥感图像变化检测方法 | |
| CN116994044A (zh) | 一种基于掩码多模态生成对抗网络的图像异常检测模型的构建方法 | |
| Pan et al. | Reducing semantic confusion: Scene-aware aggregation network for remote sensing cross-modal retrieval | |
| CN114972202A (zh) | 一种基于轻量级的神经网络的Ki67病理细胞快速检测计数方法 | |
| Chang et al. | A Novel Multicategory Defect Detection Method Based on the Convolutional Neural Network Method for TFT‐LCD Panels | |
| CN117351015B (zh) | 基于边缘监督和多域交叉相关的篡改检测方法及*** | |
| CN115456957B (zh) | 一种全尺度特征聚合的遥感影像变化检测的方法 | |
| CN115587967A (zh) | 一种基于HA-UNet网络的眼底图像视盘检测方法 | |
| Yu et al. | Learning to Upsample Smoke Images via a Deep Convolutional Network | |
| CN114842206B (zh) | 基于双层全局卷积的遥感图像语义分割***及方法 | |
| CN113361417B (zh) | 一种基于可变时序的人体行为识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |