CN117456171A - 基于抑制相关区域挖掘的复制移动篡改检测方法及*** - Google Patents
基于抑制相关区域挖掘的复制移动篡改检测方法及*** Download PDFInfo
- Publication number
- CN117456171A CN117456171A CN202311800854.3A CN202311800854A CN117456171A CN 117456171 A CN117456171 A CN 117456171A CN 202311800854 A CN202311800854 A CN 202311800854A CN 117456171 A CN117456171 A CN 117456171A
- Authority
- CN
- China
- Prior art keywords
- shallow
- features
- suppression
- similar
- similar region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 98
- 238000005065 mining Methods 0.000 title claims abstract description 23
- 230000005764 inhibitory process Effects 0.000 title description 6
- 230000010076 replication Effects 0.000 title description 3
- 230000001629 suppression Effects 0.000 claims abstract description 47
- 238000000034 method Methods 0.000 claims abstract description 37
- 230000001502 supplementing effect Effects 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims abstract description 6
- 238000007670 refining Methods 0.000 claims abstract description 4
- 238000004364 calculation method Methods 0.000 claims description 26
- 239000011159 matrix material Substances 0.000 claims description 21
- 238000011176 pooling Methods 0.000 claims description 20
- 230000004927 fusion Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 8
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 4
- 238000007500 overflow downdraw method Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000009412 basement excavation Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明属于图像处理技术领域,公开了基于抑制相关区域挖掘的复制移动篡改检测方法及***,所述方法包括步骤1、特征提取;步骤2、获取粗目标区域;步骤3、挖掘浅层抑制相似区域;步骤4、利用浅层抑制相似区域补充粗相似区域,细化检测结果。通过本发明提高图像的复制移动篡改检测的准确性。
Description
技术领域
本发明属于图像处理技术领域,特别涉及基于抑制相关区域挖掘的复制移动篡改检测方法及***。
背景技术
图像作为人们获取信息的重要途径之一,时常面临着被恶意篡改的问题。复制-移动篡改操作是常见的图像篡改方式之一,该操作复制图像中的一个区域(源域),并粘贴到同一图像的其他区域(篡改域),以改变整个图像的含义。由于在复制移动篡改检测图像中,被篡改的区域和源域来自同一图像,二者的亮度和对比度高度相似,并且伪造者通常会对被篡改的图像进行后处理操作,如模糊、缩放等,这成为复制移动检测的一大难题。
目前,前沿的篡改检测方法ARNet通过直接融合特征提取的最后几层,然后计算像素间的相关性获得相似区域特征,并通过对获得的相似区域特征通过残差网络等结构进一步进行特征提取和恢复,以获得细化的检测结果。
但是,以上方法存在以下问题:第一,对浅层特征的利用不合理,无法获得细化的、结构完整的检测结果。复制移动伪造图像检测作为一种像素级检测任务,与语义分割不同,其目的是找到两个相似的区域,并且更倾向于使用语义无关的信息,如网络浅层中包含的被抑制的纹理特征。而现有方法通过直接叠加融合利用浅特征的方式过于简单,将会导致各层的有用信息淹没在大量无用的冗余信息中,从而无法实现浅层中被抑制的有效信息的充分利用,进而无法获得细化的、结构完整的检测对象。同时,直接利用浅层特征,往往会引入噪声,极易导致网络检测到与目标区域相似的非目标区域。第二,常规的用于检测复制移动篡改区域的方法通过对篡改图像特征进行自相关计算方法,计算任何两个元素之间的相关性,这实际上存在一定的偶然性,鲁棒性较低,特别是在计算语义缺乏的浅层低阶特性的相关性时。两个元素之间相关性较高,其二者可能仅为相似但非目标区域的情况。也可能存在两个元素之间相关性较低,但仍未为目标相似对象的情况,这种情况出现的原因是,后处理操作对元素进行了模糊,降低了二者的相似性。因此,针对以上问题,我们提出了基于抑制相关区域挖掘的强鲁棒性复制移动篡改检测网络。
发明内容
针对现有技术存在的不足,本发明提供基于抑制相关区域挖掘的复制移动篡改检测方法及***,本发明首先通过粗糙相似区域检测模块获得粗目标区域;然后利用粗糙相似区域检测模块中得到的模糊位置作为先验条件,在多个浅层中定位目标区域,采用逐层解耦方法挖掘浅层特征中被抑制的细节信息用于补充粗相似区域,从而细化检测结果,提高图像复制移动篡改检测的准确性。
为了解决上述技术问题,本发明采用的技术方案是:
首先,本发明提供一种基于抑制相关区域挖掘的复制移动篡改检测方法,包括以下步骤:
步骤1、特征提取:
输入复制移动篡改图像,经过多层卷积操作提取特征,最后三层卷积提取的特征分别为F3、F4、F5,大小都为h×w×c;
步骤2、获取粗目标区域:
将F5输入粗相似区域检测模块,经过粗相似区域检测模块获得粗相似区域特征Fs以及用于对浅层特征进行模糊定位的权重图Fcorr;
步骤3、挖掘浅层抑制相似区域:
将F3、F4、F5输入浅层抑制相似区域检测模块,以权重图Fcorr作为先验条件,经过浅层抑制相似区域检测模块处理,初步定位浅层特征中的目标区域,挖掘浅层特征中被抑制的细节信息,得到浅层抑制相似区域,输出浅层中被抑制的相似区域特征Fr;
步骤4、利用浅层抑制相似区域补充粗相似区域,细化检测结果:
将Fs和Fr分别进行空洞空间金字塔池化操作,并通过掩膜解码器进行解码,分别生成特征F1和F2,对特征F1和F2进行自适应融合,生成最终的检测掩膜。
进一步的,步骤2中,所述粗相似区域检测模块首先对F5进行高阶自相关计算,获得两个亲和矩阵,大小都为hw×hw,将两个亲和矩阵分别进行高斯模糊以及标准化互相关匹配后分别进行百分比池化操作,然后将二者重定义尺寸为h×w×c;将重定义尺寸后的特征通过自适应融合生成特征Fs。
更进一步的,对Fs通过卷积和Sigmoid函数操作获得模糊定位权重图Fcorr,权重图Fcorr作为先验条件,用于浅层抑制相似区域检测模块中以初步定位浅层特征中的目标区域。
进一步的,高阶自相关计算的方法是:首先将特征F5标准化,并拉平为hw×c大小的特征F’,然后将相邻的两个元素分为一组,分组后的特征记为F’gr,共计hw-1组;然后,分别对F’和F’gr进行自相关计算,分别生成亲和矩阵S和S’,
;
;
;
;
其中stand( )为标准化操作,flatten为拉平操作,⊙为矩阵相乘,group为分组操作,F’gr为分组后的特征,T表示矩阵的转置;
使用高斯模糊f(i,j)来降低亲和矩阵S对角线上的相关性得分,得到更新后的亲和矩阵Sg,公式如下:
;
;
其中Sg(i,j)表示Sg中的第i行第j列元素,i0和j0分别表示Sg(i,j)横坐标和纵坐标的均值,表示对应元素相乘,σ1为自定义的超参数;
使用标准化互相关匹配进一步优化Sg(i,j),标准化互相关匹配的计算公式如下:
;
;
;
Sgr(i,j)为对Sg(i,j)行进行标准化的过程,j’为从1到r的数,r为每行中包含的元素个数;Sgc(i,j)为对Sg(i,j)列进行标准化的过程,i’为从1到c的数,c为每列中包含的元素个数;Sg(i,j)表示Sg中的第i行第j列的元素;Sg(i’,j)表示Sg中的第i’行第j列的元素;Sg(i,j’)表示Sg中的第i行第j’列的元素;Sncc为将Sg(i,j)标准化后的相关性矩阵,α是可训练参数;
然后,对Sncc进行百分比池化,将得到的元素按行降序排序,并选择值最高的k维,该操作的公式为:
;
其中,St表示Sncc中较高的k维相关性矩阵,Top_T()表示选择最高的T个值,Sort表示按行按降序排序;
将大小为hw×k的St重定义为大小为h×w×k的Srt;
同理,同样对亲和矩阵S’进行高斯模糊和标准化互相关匹配操作、百分比池化操作、重定义尺寸得到S’rt;通过自适应融合方法融合Srt和S’rt获得特征Fs。
进一步的,步骤3中,将权重图Fcorr分别和特征F3、F4、F5对应元素相乘,分别获得突出粗相似区域的特征F’3、F’4、F’5,同时消除了浅层特征中的伪目标区域,初步定位浅层特征中的目标区域。
更进一步的,对特征F’4进行特征提取,然后减去F’5,得到F4中被抑制的细节特征Fd4;同样,对F’3进行特征提取,得到F3中被抑制的细节特征Fd3;对Fd3和Fd4分别进行高阶自相关计算后分别进行相似区域提取,分别获得Fr2和Fr1,并自适应融合Fr2和Fr1获得特征Fr作为浅层抑制相似区域检测模块的输出。
此次,本发明提供一种基于抑制相关区域挖掘的复制移动篡改检测***,用于实现如前所述的基于抑制相关区域挖掘的复制移动篡改检测方法,所述***包括输入模块、卷积模块、粗糙相似区域检测模块、浅层抑制相似区域检测模块、金字塔池化模块和自适应融合模块;
所述输入模块用于输入复制移动篡改图像,所述卷积模块用于对复制移动篡改图像进行卷积操作提取特征F3、F4、F5,所述粗糙相似区域检测模块使用特征F5获取粗目标区域,输出粗相似区域特征Fs以及用于对浅层特征进行模糊定位的权重图Fcorr;所述浅层抑制相似区域检测模块利用F3、F4、F5和权重图Fcorr挖掘浅层抑制相似区域,输出浅层中被抑制的相似区域特征Fr;所述粗相似区域特征Fs和相似区域特征Fr分别经过所述金字塔池化模块处理,最后经过自适应融合模块融合生成最终的检测掩膜。
与现有技术相比,本发明优点在于:
(1)利用语义丰富的深层相似区域特征定位浅层特征中的目标区域位置,以避免浅层特征利用过程中噪声的引入,从而避免了对偶然相似区域(与目标区域相似但非目标的区域)的误判;
(2)本发明对浅层特征进行初步相似区域定位后,利用解耦的方法逐层挖掘被抑制的细节特征,以挖掘在深层中丢失的浅层有效信息,并对这些信息进一步进行高阶自相关计算,获得浅层中被抑制的相似目标区域,用于补充粗相似区域,以获得细化的、结构完整的检测结果;
(3)提出了高阶相关性计算方法,对分组元素而非单一元素计算相关性,提高了检测的鲁棒性。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的流程图。
图中,表述卷积,/>表示堆叠融合,/>表示对应元素相乘,/>表示对应元素相加,/>表示对应元素相减,/>表示Sigmoid函数。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的说明。
实施例1
结合图1所示,本发明设计了两个模块,分别是粗糙相似区域检测模块和浅层抑制相似区域检测模块,首先,通过粗糙相似区域检测模块获得粗目标区域;然后利用粗糙相似区域检测模块中得到的模糊位置作为先验条件,在多个浅层中定位目标区域,采用逐层解耦方法挖掘浅层特征中被抑制的细节信息用于补充粗相似区域,从而细化检测结果。
具体来说,网络的输入为复制移动篡改图像,经过卷积操作进行特征提取,最后三层的提取特征分别为F3、F4、F5,其大小都为h×w×c。将最后一层特征F5输入粗相似区域检测模块,经过粗相似区域检测模块获得粗相似区域特征Fs以及用于对浅层特征进行模糊定位的权重图Fcorr。同时将F3、F4、F5输入浅层抑制相似区域检测模块,经过浅层抑制相似区域检测模块处理,输出浅层中被抑制的相似区域特征表示Fr。将Fs和Fr分别进行空洞空间金字塔池化操作,并通过掩膜解码器进行解码,分别生成特征F1和F2,对特征F1和F2进行自适应融合,生成最终的检测掩膜。
下面详细来介绍,本实施例的基于抑制相关区域挖掘的复制移动篡改检测方法,包括以下步骤:
步骤1、特征提取:
输入复制移动篡改图像,经过多层卷积操作提取特征,最后三层卷积提取的特征分别为F3、F4、F5,大小都为h×w×c。
步骤2、获取粗目标区域:
将F5输入粗相似区域检测模块,经过粗相似区域检测模块获得粗相似区域特征Fs以及用于对浅层特征进行模糊定位的权重图Fcorr。
作为一个优选的实施方式,粗相似区域检测模块首先对F5进行高阶自相关计算,获得两个亲和矩阵,大小都为hw×hw,将两个亲和矩阵分别进行高斯模糊以及标准化互相关匹配后分别进行百分比池化操作,然后将二者重定义尺寸为h×w×c。将重定义尺寸后的特征通过自适应融合生成特征Fs。
其中,高阶自相关计算的方法是:首先将特征F5标准化,并拉平为hw×c大小的特征F’,然后将相邻的两个元素分为一组,共计hw-1组,分组后的特征记为F’gr;然后,分别对F’和F’gr进行自相关计算,分别生成亲和矩阵S和S’,
;
;
;
;
其中stand( )为标准化操作,flatten为拉平操作,⊙为矩阵相乘,group为分组操作,F’gr为分组后的特征,T表示矩阵的转置。
通过自相关计算的亲和矩阵S和S’表示元素(单个元素/分组)之间的相关性,而对角线上的元素表示每个元素与自身之间的相关性,因此,会有更大的值,而不是本发明正在寻找的相似性区域。为了避免元素的自相关性对检测的影响,本发明使用高斯模糊f(i,j)来降低亲和矩阵S对角线上的相关性得分,得到更新后的亲和矩阵Sg,公式如下:
;
;
其中Sg(i,j)表示Sg中的第i行第j列元素,i0和j0分别表示Sg(i,j)横坐标和纵坐标的均值,表示对应元素相乘,σ1为自定义的超参数。
此外,为了过滤错误匹配确保匹配准确率,本发明使用标准化互相关匹配进一步优化Sg(i,j)。标准化互相关匹配的计算公式如下:
;
;
;
Sgr(i,j)为对Sg(i,j)行进行标准化的过程,j’为从1到r的数,r为每行中包含的元素个数;Sgc(i,j)为对Sg(i,j)列进行标准化的过程,i’为从1到c的数,c为每列中包含的元素个数;Sg(i,j)表示Sg中的第i行第j列的元素;Sg(i’,j)表示Sg中的第i’行第j列的元素;Sg(i,j’)表示Sg中的第i行第j’列的元素;Sncc为将Sg(i,j)标准化后的相关性矩阵,α是可训练参数。
然后,为了获得高相关特征并去除冗余信息,对Sncc进行百分比池化,将得到的元素按行降序排序,并选择值最高的k维,该操作的公式为:
;
其中,St表示Sncc中较高的k维相关性矩阵,Top_T()表示选择最高的T个值,Sort表示按行按降序排序。
将大小为hw×k的St重定义为大小为h×w×k的Srt。
同理,同样对亲和矩阵S’进行高斯模糊和标准化互相关匹配操作、百分比池化操作、重定义尺寸得到S’rt。具体如下:使用高斯模糊f(x,y)来降低亲和矩阵S’对角线上的相关性得分,得到更新后的亲和矩阵S’g,公式如下:
;
;
其中S’g(x,y)表示S’g中的第x行第y列元素,x0和y0表示S’g(x,y)的横坐标和纵坐标的均值,σ为自定义的超参数。
进一步对S’g(x,y)进行标准化互相关匹配,计算公式如下:
;
;
;
S’gr(x,y)为对S’g(x,y)的行进行标准化的过程,y’为从1到a的数,a为每行中包含的元素个数。S’gc(x,y)为对S’g(x,y)列进行标准化的过程,x’为从1到b的数,b为每列中包含的元素个数。S’g(x,y)表示S’g中的第x行第y列的元素;S’g(x’,y)表示S’g中的第x’行第y列的元素;S’g(x,y’)表示S’g中的第x行第y’列的元素。S’ncc为对S’g(x,y)进行标准化后的相关性矩阵。β是可训练参数。
然后,为了获得高相关特征并去除冗余信息,对S’ncc进行百分比池化,将S’ncc中的元素按行降序排序,并选择值最高的k维。该操作的公式为:
S’t表示S’ncc中较高的k维相关性矩阵,其中Top_T()表示选择最高的T个值,Sort表示按行按降序排序。
将大小为hw×k的S’t重定义为大小为h×w×k的S’rt。
最后,通过自适应融合方法融合Srt和S’rt获得特征Fs。并对特征Fs进行进一步的卷积和Sigmoid函数操作获得模糊定位权重图Fcorr。该权重图Fcorr将作为先验条件,用于浅层抑制相似区域检测模块中以初步定位浅层特征中的目标区域。
步骤3、挖掘浅层抑制相似区域:
为了获得细化的、结构完整的检测结果,通过浅层抑制相似区域检测模块来获得被抑制的目标区域,以补充粗相似区域检测模块产生的粗区域。进而无法获得细化的、结构完整的检测对象。
将F3、F4、F5输入浅层抑制相似区域检测模块,以权重图Fcorr作为先验条件,经过浅层抑制相似区域检测模块处理,初步定位浅层特征中的目标区域,挖掘浅层特征中被抑制的细节信息,得到浅层抑制相似区域,输出浅层中被抑制的相似区域特征Fr。
下面详细来说,将权重图Fcorr分别和特征F3、F4、F5对应元素相乘,分别获得突出粗相似区域的特征F’3、F’4、F’5,同时消除了浅层特征中的伪目标区域,初步定位浅层特征中的目标区域。
对特征F’4进行特征提取,然后减去F’5,得到F4中被抑制的细节特征Fd4;同样,对F’3进行特征提取,得到F3中被抑制的细节特征Fd3。该方法的计算公式表示为:
其中,⊗表示对应元素相乘。CBR表示特征提取操作,包括卷积、批处理归一化和ReLU。
对Fd3和Fd4分别进行高阶自相关计算后分别进行相似区域提取(与前面步骤2的高阶自相关计算的方法相同),分别获得Fr2和Fr1,并自适应融合Fr2和Fr1获得特征Fr作为浅层抑制相似区域检测模块的输出。
步骤4、利用浅层抑制相似区域补充粗相似区域,细化检测结果:
将Fs和Fr分别进行空洞空间金字塔池化操作,并通过掩膜解码器进行解码,分别生成特征F1和F2,对特征F1和F2进行自适应融合,生成最终的检测掩膜。
得到掩膜后,可以进行多种后续任务,比如图像修复、图像安全增强等操作,后续任务非本发明设计要点,此处不再赘述。
此外,需要说明的是,本发明还包括网络优化的步骤,即为了优化网络,定义总损失函数为:
;
其中,Ldet表示使用交叉熵计算的检测损失,Lssim表示利用SSIM损失来确保被检测篡改区域和源区域的空间结构的完整性。α为可学习参数。
Ldet公式如下:
;
其中,pz∈{0,1}表示第z个像素是否属于我们要检测的区域,表示该像素被预测为属于目标区域的概率。/>和/>为超参数。
Lssim公式如下:
;
其中A和B分别真值和网络的检测结果。uA和uB表示A和B的均值,和/>表示A和B的标准差,/>表示A和B的协方差。/>和/>为超参数。
该网络使用PyTorch深度学习框架实现,使用USC-ISI CMFD数据集进行实验,将数据集划分为6:2:2分别进行训练、验证以及测试。训练过程中将批处理大小设置为16,使用SGD优化器进行优化,初始学习率设为1e-2。所有实验均在NVIDIA Tesla P100 GPU服务器上进行。
实施例2
基于抑制相关区域挖掘的复制移动篡改检测***,可以实现如实施例1记载的基于抑制相关区域挖掘的复制移动篡改检测方法,具体方法可参见实施例1的记载,此处不再赘述。
该***包括输入模块、卷积模块、粗糙相似区域检测模块、浅层抑制相似区域检测模块、金字塔池化模块和自适应融合模块。
所述输入模块用于输入复制移动篡改图像,所述卷积模块用于对复制移动篡改图像进行卷积操作提取特征F3、F4、F5,所述粗糙相似区域检测模块使用特征F5获取粗目标区域,输出粗相似区域特征Fs以及用于对浅层特征进行模糊定位的权重图Fcorr;所述浅层抑制相似区域检测模块利用F3、F4、F5和权重图Fcorr挖掘浅层抑制相似区域,输出浅层中被抑制的相似区域特征Fr;所述粗相似区域特征Fs和相似区域特征Fr分别经过所述金字塔池化模块处理,最后经过自适应融合模块融合生成最终的检测掩膜。
综上所述,本发明(1)利用语义丰富的深层相似区域特征定位浅层特征中的目标区域位置,以避免浅层特征利用过程中噪声的引入,从而避免了对偶然相似区域(与目标区域相似但非目标的区域)的误判。高层特征中语义信息丰富,噪声交少,因此高层特征中不易出现偶然相似区域(与目标区域相似但非目标的区域),但是这也导致了一些细节的缺失。而浅层特征中恰恰相反,浅层特征中包含丰富的细节,但是语义信息缺失,因此容易出现偶然相似区域。因此,为了充分利用浅层细节,获得细化的检测结果,同时避免浅层细节利用过程中引入的噪声,本发明首先利用语义丰富的深层相似区域特征定位浅层特征中的目标区域位置,排除偶然相似区域,然后再进行浅层特征的利用。
(2)本发明对浅层特征进行初步相似区域定位后,利用解耦的方法逐层挖掘被抑制的细节特征,以挖掘在深层中丢失的浅层有效信息,并对这些信息进一步进行高阶自相关计算,获得浅层中被抑制的相似目标区域,用于补充粗相似区域,以获得细化的、结构完整的检测结果。若不通过解耦的方法直接对初步定位的浅层特征进行相似性计算,则网络仍然仅能关注到被深层特征定位的相似区域,而浅层中被抑制的相似目标区域仍无法获得。
(3)提出了高阶相关性计算方法,对分组元素而非单一元素计算相关性,提高了检测的鲁棒性。常规的用于检测复制移动篡改区域的方法通过对篡改图像特征进行自相关计算方法,计算任何两个元素之间的相关性,这实际上存在一定问题,因为两个元素之间的高相似性并不一定意味着他们一定是复制伪造区域,存在一定的偶然性,鲁棒性较低。例如,两个元素之间相关性较高,但是其二者可能仅为相似但非目标区域的情况,特别是在计算语义缺乏的浅层低阶特性的相关性时。也可能存在两个元素之间相关性较低,但仍为目标相似对象的情况,这种情况出现的原因是,后处理操作对元素进行了模糊,降低了二者的相似性。但是,如果对元素进行分组后进行自相关计算而非对单一元素进行相关性计算,一定程度上会使检测更具鲁棒性,更加稳定。
当然,上述说明并非是对本发明的限制,本发明也并不限于上述举例,本技术领域的普通技术人员,在本发明的实质范围内,做出的变化、改型、添加或替换,都应属于本发明的保护范围。
Claims (7)
1.基于抑制相关区域挖掘的复制移动篡改检测方法,其特征在于,包括以下步骤:
步骤1、特征提取:
输入复制移动篡改图像,经过多层卷积操作提取特征,最后三层卷积提取的特征分别为F3、F4、F5,大小都为h×w×c;
步骤2、获取粗目标区域:
将F5输入粗相似区域检测模块,经过粗相似区域检测模块获得粗相似区域特征Fs以及用于对浅层特征进行模糊定位的权重图Fcorr;
步骤3、挖掘浅层抑制相似区域:
将F3、F4、F5输入浅层抑制相似区域检测模块,以权重图Fcorr作为先验条件,经过浅层抑制相似区域检测模块处理,初步定位浅层特征中的目标区域,挖掘浅层特征中被抑制的细节信息,得到浅层抑制相似区域,输出浅层中被抑制的相似区域特征Fr;
步骤4、利用浅层抑制相似区域补充粗相似区域,细化检测结果:
将Fs和Fr分别进行空洞空间金字塔池化操作,并通过掩膜解码器进行解码,分别生成特征F1和F2,对特征F1和F2进行自适应融合,生成最终的检测掩膜。
2.根据权利要求1所述的基于抑制相关区域挖掘的复制移动篡改检测方法,其特征在于,步骤2中,所述粗相似区域检测模块首先对F5进行高阶自相关计算,获得两个亲和矩阵,大小都为hw×hw,将两个亲和矩阵分别进行高斯模糊以及标准化互相关匹配后分别进行百分比池化操作,然后将二者重定义尺寸为h×w×c;将重定义尺寸后的特征通过自适应融合生成特征Fs。
3.根据权利要求2所述的基于抑制相关区域挖掘的复制移动篡改检测方法,其特征在于,对Fs通过卷积和Sigmoid函数操作获得模糊定位权重图Fcorr,权重图Fcorr作为先验条件,用于浅层抑制相似区域检测模块中以初步定位浅层特征中的目标区域。
4.根据权利要求2所述的基于抑制相关区域挖掘的复制移动篡改检测方法,其特征在于,高阶自相关计算的方法是:首先将特征F5标准化,并拉平为hw×c大小的特征F’,然后将相邻的两个元素分为一组,分组后的特征记为F’gr,共计hw-1组;然后,分别对F’和F’gr进行自相关计算,分别生成亲和矩阵S和S’,
;
;
;
;
其中stand( )为标准化操作,flatten为拉平操作,⊙为矩阵相乘,group为分组操作,F’gr为分组后的特征,T表示矩阵的转置;
使用高斯模糊f(i,j)来降低亲和矩阵S对角线上的相关性得分,得到更新后的亲和矩阵Sg,公式如下:
;
;
其中Sg(i,j)表示Sg中的第i行第j列元素,i0和j0分别表示Sg(i,j)横坐标和纵坐标的均值,表示对应元素相乘,σ1为自定义的超参数;
使用标准化互相关匹配进一步优化Sg(i,j),标准化互相关匹配的计算公式如下:
;
;
;
Sgr(i,j)为对Sg(i,j)行进行标准化的过程,j’为从1到r的数,r为每行中包含的元素个数;Sgc(i,j)为对Sg(i,j)列进行标准化的过程,i’为从1到c的数,c为每列中包含的元素个数;Sg(i,j)表示Sg中的第i行第j列的元素;Sg(i’,j)表示Sg中的第i’行第j列的元素;Sg(i,j’)表示Sg中的第i行第j’列的元素;Sncc为将Sg(i,j)标准化后的相关性矩阵,α是可训练参数;
然后,对Sncc进行百分比池化,将得到的元素按行降序排序,并选择值最高的k维,该操作的公式为:
;
其中,St表示Sncc中较高的k维相关性矩阵,Top_T()表示选择最高的T个值,Sort表示按行按降序排序;
将大小为hw×k的St重定义为大小为h×w×k的Srt;
同理,同样对亲和矩阵S’进行高斯模糊和标准化互相关匹配操作、百分比池化操作、重定义尺寸得到S’rt;通过自适应融合方法融合Srt和S’rt获得特征Fs。
5.根据权利要求1所述的基于抑制相关区域挖掘的复制移动篡改检测方法,其特征在于,步骤3中,将权重图Fcorr分别和特征F3、F4、F5对应元素相乘,分别获得突出粗相似区域的特征F’3、F’4、F’5,同时消除了浅层特征中的伪目标区域,初步定位浅层特征中的目标区域。
6.根据权利要求5所述的基于抑制相关区域挖掘的复制移动篡改检测方法,其特征在于,对特征F’4进行特征提取,然后减去F’5,得到F4中被抑制的细节特征Fd4;同样,对F’3进行特征提取,得到F3中被抑制的细节特征Fd3;对Fd3和Fd4分别进行高阶自相关计算后分别进行相似区域提取,分别获得Fr2和Fr1,并自适应融合Fr2和Fr1获得特征Fr作为浅层抑制相似区域检测模块的输出。
7.基于抑制相关区域挖掘的复制移动篡改检测***,其特征在于,用于实现如权利要求1-6任一项所述的基于抑制相关区域挖掘的复制移动篡改检测方法,包括输入模块、卷积模块、粗糙相似区域检测模块、浅层抑制相似区域检测模块、金字塔池化模块和自适应融合模块;
所述输入模块用于输入复制移动篡改图像,所述卷积模块用于对复制移动篡改图像进行卷积操作提取特征F3、F4、F5,所述粗糙相似区域检测模块使用特征F5获取粗目标区域,输出粗相似区域特征Fs以及用于对浅层特征进行模糊定位的权重图Fcorr;所述浅层抑制相似区域检测模块利用F3、F4、F5和权重图Fcorr挖掘浅层抑制相似区域,输出浅层中被抑制的相似区域特征Fr;所述粗相似区域特征Fs和相似区域特征Fr分别经过所述金字塔池化模块处理,最后经过自适应融合模块融合生成最终的检测掩膜。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311800854.3A CN117456171B (zh) | 2023-12-26 | 2023-12-26 | 基于抑制相关区域挖掘的复制移动篡改检测方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311800854.3A CN117456171B (zh) | 2023-12-26 | 2023-12-26 | 基于抑制相关区域挖掘的复制移动篡改检测方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117456171A true CN117456171A (zh) | 2024-01-26 |
CN117456171B CN117456171B (zh) | 2024-03-22 |
Family
ID=89593364
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311800854.3A Active CN117456171B (zh) | 2023-12-26 | 2023-12-26 | 基于抑制相关区域挖掘的复制移动篡改检测方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117456171B (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180107887A1 (en) * | 2016-10-14 | 2018-04-19 | ID Metrics Group Incorporated | Tamper detection for identification documents |
CN111062931A (zh) * | 2019-12-20 | 2020-04-24 | 河北工业大学 | 一种被拼接篡改的图像的检测方法 |
CN111080629A (zh) * | 2019-12-20 | 2020-04-28 | 河北工业大学 | 一种图像拼接篡改的检测方法 |
CN113450330A (zh) * | 2021-06-29 | 2021-09-28 | 山东大学 | 基于分割和深度卷积网络的图像复制-粘贴篡改检测方法 |
CN115063373A (zh) * | 2022-06-24 | 2022-09-16 | 山东省人工智能研究院 | 基于多尺度特征智能感知的社交网络图像篡改定位方法 |
CN115082774A (zh) * | 2022-07-20 | 2022-09-20 | 华南农业大学 | 基于双流自注意力神经网络的图像篡改定位方法及*** |
CN115346037A (zh) * | 2022-10-19 | 2022-11-15 | 北京航空航天大学 | 一种图像篡改检测方法 |
CN115357944A (zh) * | 2022-08-16 | 2022-11-18 | 河南大学 | 基于浅层特征增强和注意力机制的图像篡改检测方法 |
CN116228742A (zh) * | 2023-04-14 | 2023-06-06 | 四川大学 | 一种基于注意力的对象语义一致性篡改图像检测方法 |
CN116563565A (zh) * | 2023-04-27 | 2023-08-08 | 贵州财经大学 | 基于领域自适应的数字图像篡改鉴定与源区域与目标区域定位方法、计算机设备及存储介质 |
CN116863319A (zh) * | 2023-09-05 | 2023-10-10 | 中国海洋大学 | 基于跨尺度建模和交替细化的复制移动篡改检测方法 |
-
2023
- 2023-12-26 CN CN202311800854.3A patent/CN117456171B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180107887A1 (en) * | 2016-10-14 | 2018-04-19 | ID Metrics Group Incorporated | Tamper detection for identification documents |
CN111062931A (zh) * | 2019-12-20 | 2020-04-24 | 河北工业大学 | 一种被拼接篡改的图像的检测方法 |
CN111080629A (zh) * | 2019-12-20 | 2020-04-28 | 河北工业大学 | 一种图像拼接篡改的检测方法 |
CN113450330A (zh) * | 2021-06-29 | 2021-09-28 | 山东大学 | 基于分割和深度卷积网络的图像复制-粘贴篡改检测方法 |
CN115063373A (zh) * | 2022-06-24 | 2022-09-16 | 山东省人工智能研究院 | 基于多尺度特征智能感知的社交网络图像篡改定位方法 |
CN115082774A (zh) * | 2022-07-20 | 2022-09-20 | 华南农业大学 | 基于双流自注意力神经网络的图像篡改定位方法及*** |
CN115357944A (zh) * | 2022-08-16 | 2022-11-18 | 河南大学 | 基于浅层特征增强和注意力机制的图像篡改检测方法 |
CN115346037A (zh) * | 2022-10-19 | 2022-11-15 | 北京航空航天大学 | 一种图像篡改检测方法 |
CN116228742A (zh) * | 2023-04-14 | 2023-06-06 | 四川大学 | 一种基于注意力的对象语义一致性篡改图像检测方法 |
CN116563565A (zh) * | 2023-04-27 | 2023-08-08 | 贵州财经大学 | 基于领域自适应的数字图像篡改鉴定与源区域与目标区域定位方法、计算机设备及存储介质 |
CN116863319A (zh) * | 2023-09-05 | 2023-10-10 | 中国海洋大学 | 基于跨尺度建模和交替细化的复制移动篡改检测方法 |
Non-Patent Citations (2)
Title |
---|
田秀霞 等: "基于双通道R-FCN的图像篡改检测模型", 《计算机学报》, vol. 44, no. 2, 28 February 2021 (2021-02-28), pages 370 - 383 * |
赵宝水 等: "基于机器视觉的小目标复制图像篡改检测方法", 《计算机仿真》, vol. 38, no. 8, 31 August 2021 (2021-08-31), pages 227 - 230 * |
Also Published As
Publication number | Publication date |
---|---|
CN117456171B (zh) | 2024-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhu et al. | A deep learning approach to patch-based image inpainting forensics | |
CN111915530B (zh) | 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法 | |
Shan et al. | Robust contrast enhancement forensics based on convolutional neural networks | |
CN112950477B (zh) | 一种基于双路径处理的高分辨率显著性目标检测方法 | |
Kadam et al. | [Retracted] Efficient Approach towards Detection and Identification of Copy Move and Image Splicing Forgeries Using Mask R‐CNN with MobileNet V1 | |
Wang et al. | Image splicing detection based on convolutional neural network with weight combination strategy | |
CN105260995B (zh) | 一种图像修复与去噪方法及*** | |
Liu et al. | Overview of image inpainting and forensic technology | |
CN114419406A (zh) | 图像变化检测方法、训练方法、装置和计算机设备 | |
Zhang et al. | Crowd counting based on attention-guided multi-scale fusion networks | |
Shi et al. | PR‐NET: progressively‐refined neural network for image manipulation localization | |
Xu et al. | Extended non-local feature for visual saliency detection in low contrast images | |
CN114926734A (zh) | 基于特征聚合和注意融合的固体废弃物检测装置及方法 | |
CN117456171B (zh) | 基于抑制相关区域挖掘的复制移动篡改检测方法及*** | |
Nataraj et al. | Holistic image manipulation detection using pixel co-occurrence matrices | |
Wu et al. | Joint manipulation trace attention network and adaptive fusion mechanism for image splicing forgery localization | |
CN113628139B (zh) | 一种基于生成对抗网络的模糊图像复原方法及*** | |
CN115880175A (zh) | 一种基于改进生成对抗网络的模糊图像复原方法 | |
CN114842417A (zh) | 基于坐标注意力机制融合的反无人机***图像识别方法 | |
Xiao et al. | CTNet: hybrid architecture based on CNN and transformer for image inpainting detection | |
Feng et al. | Coal mine image dust and fog clearing algorithm based on deep learning network | |
CN113807232B (zh) | 基于双流网络的伪造人脸检测方法、***及存储介质 | |
CN113192009B (zh) | 一种基于全局上下文卷积网络的人群计数方法及*** | |
Shumeng et al. | A semantic segmentation method for remote sensing images based on multiple contextual feature extraction | |
CN116402670B (zh) | 一种基于生成对抗网络的不可感知水印攻击方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |