CN111062931A - 一种被拼接篡改的图像的检测方法 - Google Patents
一种被拼接篡改的图像的检测方法 Download PDFInfo
- Publication number
- CN111062931A CN111062931A CN201911325073.7A CN201911325073A CN111062931A CN 111062931 A CN111062931 A CN 111062931A CN 201911325073 A CN201911325073 A CN 201911325073A CN 111062931 A CN111062931 A CN 111062931A
- Authority
- CN
- China
- Prior art keywords
- feature map
- image
- light source
- tampering
- tampered
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明一种被拼接篡改的图像的检测方法,涉及图像分析,是基于光源图和金字塔特征图的被拼接篡改的图像的检测方法,利用两个结构相同的卷积神经网络分别提取被拼接篡改图像及其对应光源图的多阶段特征,结合多尺度信息,将两组多阶段特征进行融合和上采样,得到金字塔特征图,将金字塔特征图不同层分别经过区域生成网络,得到篡改候选区域,经过ROI Align生成固定尺寸特征图,对固定尺寸特征图进行分类、边界框回归和掩码预测,最后得到篡改区域的边界框和像素级定位,完成对被拼接篡改的图像的检测,克服了现有技术提取的图像篡改特征单一不全面,容易忽略区域较小的篡改目标,不能实现端到端的像素级定位的缺陷。
Description
技术领域
本发明的技术方案涉及图像分析,具体地说是一种被拼接篡改的图像的检测方法。
背景技术
近年来,图像编辑软件如Photoshop等得到了迅速的发展,使人们可以按着自己的意愿对图像进行篡改,甚至达到了以假乱真的程度,若这些篡改图片被别有用心的人应用于军事政治,法庭作证,科学研究等严肃的场合,便会扭曲真相,误导大众,对社会产生不利的影响。因此,研究数字图像是否被经过篡改的图像取证技术具有十分重要的意义。
拼接是一种最常见的图像篡改手段,它是将一幅图像或多幅图像的某一部分拼接到另一幅图像,以达到伪造事实的目的,若再经过一些后处理操作,如用模糊、噪声、压缩等后处理方法来隐藏篡改的痕迹,则会更加不易分辨所拼接篡改的图像的真伪。
被拼接篡改的图像的检测方法主要分为两种:传统方法和基于深度学习的方法。
传统方法主要提取拼接区域和真实区域之间的特征差异,以达到检测和定位拼接篡改的目的,如:基于噪声特征、基于整体特征和基于光源一致性特征的被拼接篡改的图像的检测方法,但这些方法都是基于某一特定假设,提取的特征不能全面有效表示拼接区域和真实区域之间的差异。
深度学习方法使用大样本训练模型,自动提取物体特征,将复杂问题转化为模型权重参数,以数学概率的模式来描述图像的目标,被拼接篡改的图像的检测方法也应用了深度学习的方法。Rao在“A Deep Learning Approach to Detection of Splicing andCopy-Move Forgeries in Images”一文中针对拼接设计了专门的网络,CNN从输入的RGB彩色图像中自动学习层次表示,使用空间丰富模型(SRM)对第一层的权重网络初始化,有效抑制了图像内容,提高了检测的精度。但是,该方法只是对被篡改图像进行分类,并没有实现像素级的拼接区域定位。Pomari在“Image splicing detection through illuminationinconsistencies and deep learning”中将基于光源颜色不一致的光源图和ResNet-50相结合,生成了深度拼接特征(Deep Splicing Features),使用SVM分类器进行分类,并利用梯度信息流和HSV颜色空间对篡改区域生成掩码。但该方法的掩码生成和SVM分类是独立计算的,并未实现端到端的网络,且只使用了光源信息,提取的篡改特征较为单一。
针对上述方法的缺陷,现有技术的改进方法有:提取多种篡改特征共同检测图像的被拼接篡改之处,用端到端训练网络提高检测效率。文献“Image splicinglocalization using a multi-task fully convolutional network(mfcn)”在全卷机神经网络模型的基础上,增加了一个分支用于学***滑时提取的图像特征点数量较少,对篡改区域的检测精度不高。CN105844643B公开了一种图像篡改检测方法,该方法存在所用分块处理方法对旋转、缩放等几何变换敏感,无法有效应对几何变换的缺陷。CN106097379B公开了一种使用自适应阈值的图像篡改检测与定位方法,该方法提取待测图像来源相机的参考模式噪声,其存在当拼接图像和宿主图像是由相同的数码相机拍摄时,篡改区域定位不准确和适用范围较窄的缺陷。
总之,现有技术的被拼接篡改的图像的检测方法存在提取的图像篡改特征单一不全面,容易忽略区域较小的图像篡改目标,不能实现端到端的像素级定位的缺陷。
发明内容
本发明所要解决的技术问题是:提供一种被拼接篡改的图像的检测方法,是基于光源图和金字塔特征图的被拼接篡改的图像的检测方法,利用两个结构相同的卷积神经网络分别提取被拼接篡改图像及其对应光源图的多阶段特征,结合多尺度信息,将两组多阶段特征进行融合和上采样,得到金字塔特征图,将金字塔特征图不同层分别经过区域生成网络,得到篡改候选区域,经过ROI Align生成固定尺寸特征图,对固定尺寸特征图进行分类、边界框回归和掩码预测,最后得到篡改区域的边界框和像素级定位,完成对被拼接篡改的图像的检测,克服了现有技术提取的图像篡改特征单一不全面,容易忽略区域较小的篡改目标,不能实现端到端的像素级定位的缺陷。
本发明解决该技术问题所采用的技术方案是:一种被拼接篡改的图像的检测方法,是基于光源图和金字塔特征图的图像拼接检测方法,具体步骤如下:
第一步,将输入图像生成对应的光源图:
首先将输入图像分割成相似的区域,即超像素,然后在每个超像素上对光源颜色进行估计,用广义灰色世界估计方法生成包含不同光源颜色估计的GGE光源图,或用逆强度色度估计方法生成包含不同光源颜色估计的IIC光源图,
由此完成将输入图像生成对应的光源图;
第二步,使用特征提取网络对篡改图像和其对应的光源图进行特征提取:
特征提取网络由以下支路A和支路B两个支路组成,
支路A,是在篡改图像上进行提取特征,提取篡改线索明显的特征,包括对比度差异和不自然的篡改边界,具体操作如下:
将篡改图像调整到512×512像素大小,输入支路A的ResNet-101网络,ResNet-101网络共有五个阶段,在每个阶段中,包含一组分辨率大小相同的特征图,每个阶段在经过池化层后得到下个阶段,大小变为原来的二分之一,分别取每个阶段的最后一个层的输出,获得不同分辨率的篡改图像特征图:C1、C2、C3、C4和C5,其对应的大小分别为256×256像素、128×128像素、64×64像素、32×32像素和16×16像素,至此,篡改图像经过支路A的ResNet-101网络后得到了不同分辨率的五个篡改图像特征图,不同分辨率的篡改图像特征图包含了不同尺度的信息,
支路B,是对与上述支路A中的篡改图像对应的上述第一步中得到的光源图进行提取特征,提取光源图中篡改区域的光源不一致特征,具体操作如下:
将与上述支路A中的篡改图像对应的光源图调整到512×512像素大小,输入该支路B.的ResNet-101网络,ResNet-101网络共有五个阶段,在每个阶段中,包含一组分辨率大小相同的特征图,每个阶段在经过池化层后得到下个阶段,大小变为原来的二分之一,分别取每个阶段的最后一个层的输出,获得不同分辨率的光源特征图:IM_C1、IM_C2、IM_C3、IM_C4和IM_C5,其对应的大小分别为256×256像素、128×128像素、64×64像素、32×32像素和16×16像素,至此,光源图经过支路B的ResNet-101网络后得到了不同分辨率的五个光源特征图,不同分辨率的光源特征图包含了不同尺度的信息,
至此,完成使用特征提取网络对篡改图像和其对应的光源图的特征提取;
第三步,生成金字塔特征图M:
将上述第二步支路A得到的篡改图像特征图C1、C2、C3、C4、C5和支路B得到的光源特征图IM_C1、IM_C2、IM_C3、IM_C4、IM_C5进行融合,具体操作如下,
将C5和IM_C5通过1×1×256的卷积层,其中,1×1是为了改变通道数,256是卷积核的数量,然后融合相加得到大小为16×16像素的特征图P5,将特征图P5进行步长为2的最大池化操作,生成大小为8×8像素的特征图P6,同时将特征图P5进行两倍上采样操作,与同样通过1×1×256卷积层的C4和IM_C4三者融合,生成大小为32×32像素的特征图P4;将特征图P4进行两倍上采样操作,与同样通过1×1×256卷积层的C3和IM_C3三者融合,生成大小为64×64像素的特征图P3;将特征图P3进行两倍上采样操作,与同样通过1×1×256卷积层的C2和IM_C2三者融合,生成大小为128×128像素的特征图P2,将特征图P2、特征图P3、特征图P4、特征图P5、特征图P6一同组成金字塔特征图M,至此完成金字塔特征图M的生成;
第四步,获得篡改候选区域N:
将上述第三步得到的金字塔特征图M中的特征图P2、特征图P3、特征图P4、特征图P5、特征图P6分别输入区域生成网络,提取出篡改候选区域N’,然后进行非极大值抑制操作,得到最终的篡改候选区域N,具体操作如下,
所述区域生成网络是使用锚框来选择篡改候选区域N’,采用五种不同大小,分别是48×48像素、96×96像素、192×192像素、384×384像素、768×768像素和三种长宽比,分别是1∶1、1∶2、2∶1,共十五种类型的锚框对篡改候选区域N’进行预测,使用非极大值抑制筛选篡改候选区域N’,最后选取前200个候选区域框作为最终的篡改候选区域N,至此获得最终的篡改候选区域N;
第五步,获得金字塔篡改候选区域n:
将上述第四步得到的篡改候选区域N映射到上述第三步得到的金字塔特征图M的Pk层上,其中,Pk∈{P2,P3,P4,P5},k的计算如下公式(5)所示,
公式(5)中,k表示金字塔特征图M的Pk层的层号,k0是预设值,设定为4,w和h分别是篡改候选区域N的长和宽,
至此,完成篡改候选区域N的映射过程,在金字塔特征图M上,获得金字塔篡改候选区域n;
第六步,获得固定尺寸特征图m1和固定尺寸特征图m2:
将上述第五步得到的金字塔篡改候选区域n经过ROI Align,得到固定尺寸特征图m1和固定尺寸特征图m2,其中,固定尺寸特征图m1的大小为7×7×256,其中,7×7像素是长和宽的大小,256是通道数;固定尺寸特征图m2的大小为14×14×256,其中,14×14像素是长和宽的大小,256是通道数;
第七步,对固定尺寸特征图m1和m2进行检测:
固定尺寸特征图m1和固定尺寸特征图m2的检测操作,包括对固定尺寸特征图m1进行分类、边界框回归和对固定尺寸特征图m2进行像素级定位,具体描述如下,
将上述第六步得到的固定尺寸特征图m1首先经过两个参数为1024的全连接层,再利用Softmax分类器进行分类,判断篡改候选区域N是篡改区域还是非篡改区域,同时给出篡改区域的置信度分数;
将上述第六步得到的固定尺寸特征图m1经过两个参数为1024的全连接层,进行边界框回归,给出篡改区域的位置坐标;
将上述第六步得到的固定尺寸特征图m2经过五个卷积核大小为3×3的卷积层,然后经过上采样因子为二的转置卷积操作,得到28×28×256的特征图,接着通过1×1卷积层得到28×28×1的输出,最后得到篡改区域的像素级定位;
至此完成基于光源图和金字塔特征图的被拼接篡改的图像的检测。
上述一种被拼接篡改的图像的检测方法,所述ResNet-101网络、区域生成网络、非极大值抑制、上采样操作、Softmax分类器均是本技术领域的公知技术。
上述一种被拼接篡改的图像的检测方法,所述ROI Align是对ROI Pooling的一种改进,Faster-RCNN中ROI Pooling会进行两次粗糙的量化操作,产生了区域不匹配的问题,而ROI Align取消了量化操作,使用双线性内插的方法,将处理过程转化为一个连续的操作,解决了ROI Pooling中两次量化造成的区域不匹配问题。
本发明的有益效果是:与现有技术相比,本发明的突出的实质性特点和显著进步如下:
(1)本发明提出一种被拼接篡改的图像的检测方法,是基于光源图和金字塔特征图的被拼接篡改的图像的检测方法,利用两个结构相同的卷积神经网络分别提取被拼接篡改图像及其对应光源图的多阶段特征,结合多尺度信息,将两组特征进行多层融合和上采样操作,得到金字塔特征图,将该金字塔特征图的不同层分别经过区域生成网络生成篡改候选区域,经过ROI Align生成固定尺寸特征图,对固定尺寸特征图进行分类、边界框回归和掩码预测,最后得到篡改区域的边界框和像素级定位,完成对被拼接篡改的图像的检测。
由于图像中的光源颜色信息在篡改图像的后期处理中不容易被消除,因此包含光源颜色不一致的光源图可以作为拼接篡改检测的篡改特征,光源图可以抑制图像内容信息,突出光源颜色信息,使篡改区域在光源图中更加突出,将光源图提取到的特征作为图像拼接篡改的证据是创造性的。本发明在将输入图像生成对应的光源图时,首先将输入图像分割成相似的区域,即超像素,然后在每个超像素上对光源颜色进行估计,并创造性选用广义灰色世界估计和逆强度色度估计中的一种对光源颜色进行估计。本发明将GGE光源图和IIC光源图分别进行了实验,实验结果均达到较高的准确率。
本发明中的金字塔特征图是将特征提取过程中各阶段图像特征和光源图特征融合,得到分辨率不同的五个特征图。金字塔特征图结合多尺度的语义特征,能够更好的处理不同大小的目标篡改区域,在卷积神经网络中,分辨率高的层含语义信息较少,但是目标位置准确;分辨率低的层含语义信息比较丰富,但是目标位置比较粗略,金字塔特征图结合不同分辨率特征图的优点,更精确的提取篡改区域的特征,尤其有利于小目标篡改区域的检测,解决已有方法易忽略小目标区域的缺陷。
本发明克服了现有技术提取的图像的篡改特征单一不全面,容易忽略小目标篡改区域,不能实现端到端的像素级定位的缺陷。
(2)本发明方法使用两种图像篡改检测特征,将图像的统计特征和光源颜色的局部特征融合,相比于其它使用一种图像篡改特征的方法,能够提取更加精确全面的图像篡改特征。
(3)本发明方法使用多层融合,在金字塔特征图的生成中,金字塔特征图的上一层与特征提取网络对应层三者融合,结合了多尺度信息,提高了被拼接篡改的图像的检测的准确率和鲁棒性。
(4)本发明方法实现端到端的预测篡改区域,得到篡改区域的边界框和像素级定位。
(5)CN110349136A公开了一种基于深度学习的篡改图像检测方法,构建了双流篡改检测网络,提取原始图像和高频噪声残差图特征,分别对特征进行ROI池化,对篡改区域进行分类和预测,该方法存在高频噪声残差图只能提取篡改的局部特征,若图像经过后期处理,会增加新的噪声或者消除原有的噪声,这时本方法容易出现检测失误的现象。本发明方法与CN110349136A相比,光源信息作为图像固有的属性,在后期处理中很难消除,提取光源颜色不一致信息作为检测依据,提高了被拼接篡改的图像的检测的准确性,而且本发明在给出篡改区域边界框的同时,实现了像素级定位。
(6)CN109754393A公开了一种基于深度学习的篡改图像鉴定方法及装置,将待鉴定图像处理为灰度图,输入到预先训练的神经网络模型中,预测待鉴定图像的篡改概率,将图像篡改检测问题描述成图像分类问题,该方法存在灰度图丢失了彩色图包含的信息,包含的篡改信息较少,而且不能对每个像素进行分类的缺陷。本发明方法与CN109754393A相比,使用输入图像和其对应的光源图进行特征提取,两者均是彩色图像,包含的篡改信息比灰度图多,提取的篡改特征更加丰富,提高了对被拼接篡改的图像的篡改定位的精确性。而且将图像分类检测改进为像素级定位检测。
(7)CN102609947A公开了一种针对拼接篡改的数码照片伪造检测方法,该方法采用重采样和神经网络算法相结合的方式,通过误差偏离均值程度模型不断去除可疑篡改点,最终得到未被篡改的像素点集合,该方法存在随着循环迭代的次数增加,计算复杂度高,处理一张图像的时间会增加的缺陷。本发明方法与CN102609947A相比,本方法得到的是被篡改的像素点集合,神经网络的训练是端到端的,计算复杂度低,图像的检测时间不随着时间而改变,直接输出篡改像素点的集合。
(8)CN106815836A公开了一种数字图像拼接篡改盲检测方法,先将图像预处理,划分为若干不重叠的子块,利用图像块颜色偏量之间欧式距离作为判别的依据,该方法的图像块关注局部信息忽略了图像的整体特征,而且图像块的数量随着待检测图像的分辨率的增大而增加,导致计算复杂度增大。本发明方法与CN106815836A相比,不将图像分割成图像块,结合图像的整体特征和光源图的局部特征,更准确的识别图像拼接篡改区域,而且可以处理不同分辨率的篡改图像。
(9)CN109903302A公开了一种用于拼接图像的篡改检测方法,本发明方法与CN109903302A相比,对篡改图像直接端到端的处理,省去了预处理的步骤,用光源图特征代替Canny算子,提高了准确性。
(10)CN103914839B公开了一种基于隐写分析的图像拼接篡改检测方法及装置,该方法使用高级隐写统计分析模型从图像提取特征,训练区分篡改图像和真实图像的分类器。本发明方法与CN103914839B相比,在图像的统计分析基础上,增加了局部光源分析,共同对篡改区域进行像素级定位,与隐写分析相比,对小目标篡改区域的检测更加准确。
(11)CN109816676A公开了一种拼接图像篡改检测方法,本发明方法与CN109816676A相比,直接将待检测图像输入卷积神经网络,节省了预处理的时间,对图像进行整体的特征提取,有效避免了分块操作容易忽略整体特征的缺点。
(12)CN108122225A公开了一种基于自适应特征点的数字图像篡改检测方法,本发明方法与CN108122225A相比,具有的优点是不使用特征点的提取,而是将图像整体输入网络,端到端的检测篡改区域,提高了篡改区域的检测精度。
(13)CN105844643B公开了一种图像篡改检测方法,本发明方法与CN105844643B相比,避免了分块操作,使用卷积神经网络对图像提取特征,降低了对旋转、平移、缩放等变换的敏感度,能有效应对图像的几何变换。
(14)CN106097379B公开了一种使用自适应阈值的图像篡改检测与定位方法,本发明方法与CN106097379B相比,应用卷积神经网络,扩大了适用范围,对相机来源相同的篡改图片有较好的定位效果。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明方法流程框架示意图。
图2显示本发明实施例中的金字塔特征图M的生成示意图。
图3是本发明实施例中的输入的拼接篡改图像。
图4是本发明实施例中输入的拼接篡改图像对应的IIC光源图。
图5显示实施例中对被拼接篡改的图像的检测的最终结果示意图。
具体实施方式
图1所示实施例表明,本发明方法流程是:将输入图像生成对应的光源图,方法为:A.广义灰色世界估计方法获得GGE光源图或B.逆强度色度估计方法获得IIC光源图→使用特征提取网络对篡改图像和其对应的光源图进行特征提取:特征提取网络由支路A和支路B两分支支路组成→融合生成金字塔特征图M→经过区域生成网络得到篡改候选区域N→映射到金字塔特征图M上,得到金字塔篡改候选区域n→经过ROI Align得到固定尺寸特征图m1和m2→对m1进行分类,边界框回归,对m2进行像素级定位,至此完成基于光源图和金字塔特征图的被拼接篡改的图像的检测。
图2显示本实施例金字塔特征图M的生成示意图,图上方是图像输入特征提取网络,分别得到五个阶段的图像特征图:第一阶段特征图C1,第二阶段特征图C2,第三阶段特征图C3,第四阶段特征图C4,第五阶段特征图C5;图下方是光源图输入特征提取网络,分别得到五个阶段的光源特征图:第一阶段特征图IM_C1,第二阶段特征图IM_C2,第三阶段特征图IM_C3,第四阶段特征图IM_C4,第五阶段特征图IM_C5;图中间是金字塔特征图M的生成,C5和IM_C5通过1×1卷积层,改变通道数,然后融合相加得到P5,将P5进行最大池化操作,生成特征图P6,再将P5进行两倍上采样操作,与通过1×1卷积层的C4和IM_C4三者融合生成特征图P4;将P4进行两倍上采样操作,与通过1×1卷积层的C3和IM_C3三者融合生成特征图P3;将P3进行两倍上采样操作,与通过1×1卷积层的C2和IM_C2三者融合生成特征图P2,P2、P3、P4、P5、P6整体称作金字塔特征图M,至此完成金字塔特征图M的生成。
图3是本发明实施例中的输入的拼接篡改图像,
图4是本发明实施例中输入的拼接篡改图像对应的IIC光源图,输入图像经过逆强度色度估计方法生成对应的IIC光源图。
图5显示实施例中对被拼接篡改的图像的检测的最终结果示意图,图中边界框是对拼接篡改图像中篡改区域的边界框回归结果;边界框左上方的“tamper”是将篡改候选区域区域分类为篡改区域,“1.000”是篡改区域的置信度分数;同时对篡改区域进行了像素级定位。
实施例1
第一步,将输入图像生成对应的光源图:
首先将输入图像分割成相似的区域,即超像素,然后在每个超像素上对光源颜色进行估计,用广义灰色世界估计方法生成包含不同光源颜色估计的GGE光源图,
由此完成将输入图像生成对应的光源图;
广义灰色世界估计方法如下:
该方法设定场景在白色光源照射下的平均颜色是灰色的,则图像像素坐标x处观测到的RGB颜色为f(x),如下公式(1)所示,
f(x)=∫Ωe(λ,x)s(λ,x)c(λ)dλ (1),
其中,Ω表示可见光的光谱,λ表示光的波长,e(λ,x)表示光源的光谱,s(λ,x)是物体表面的反射率,c(λ)是相机的颜色敏感度,∫表示在所有波长上计算的,
然后计算每个图像像素坐标x对应的光源e(x)的颜色估计,如下公式(2)所示,
通过上述公式(1)和(2)的计算,即经过广义灰色世界估计方法得到估计的光源颜色,使用该光源颜色对每个超像素重新着色,便生成了包含不同光源颜色估计的光源图,称此光源图为GGE光源图;
本实施例将GGE光源图进行了实验,实验结果达到较高的准确率;
第二步,使用特征提取网络对篡改图像和其对应的光源图进行特征提取:
特征提取网络由以下支路A和支路B两个支路组成,
支路A,是在篡改图像上进行提取特征,提取篡改线索明显的特征,包括对比度差异和不自然的篡改边界,具体操作如下:
将篡改图像调整到512×512像素大小,输入支路A的ResNet-101网络,ResNet-101网络共有五个阶段,在每个阶段中,包含一组分辨率大小相同的特征图,每个阶段在经过池化层后得到下个阶段,大小变为原来的二分之一,分别取每个阶段的最后一个层的输出,获得不同分辨率的篡改图像特征图:C1、C2、C3、C4和C5,其对应的大小分别为256×256像素、128×128像素、64×64像素、32×32像素和16×16像素,至此,篡改图像经过支路A的ResNet-101网络后得到了不同分辨率的五个篡改图像特征图,不同分辨率的篡改图像特征图包含了不同尺度的信息,
支路B,是对与上述支路A中的篡改图像对应的上述第一步中得到的光源图进行提取特征,提取光源图中篡改区域的光源不一致特征,具体操作如下:
将与上述支路A中的篡改图像对应的光源图调整到512×512像素大小,输入该支路B.的ResNet-101网络,ResNet-101网络共有五个阶段,在每个阶段中,包含一组分辨率大小相同的特征图,每个阶段在经过池化层后得到下个阶段,大小变为原来的二分之一,分别取每个阶段的最后一个层的输出,获得不同分辨率的光源特征图:IM_C1、IM_C2、IM_C3、IM_C4和IM_C5,其对应的大小分别为256×256像素、128×128像素、64×64像素、32×32像素和16×16像素,至此,光源图经过支路B的ResNet-101网络后得到了不同分辨率的五个光源特征图,不同分辨率的光源特征图包含了不同尺度的信息,
至此,完成使用特征提取网络对篡改图像和其对应的光源图的特征提取;
第三步,生成金字塔特征图M:
将上述第二步支路A得到的篡改图像特征图C1、C2、C3、C4、C5和支路B得到的光源特征图IM_C1、IM_C2、IM_C3、IM_C4、IM_C5进行融合,具体操作如下,
将C5和IM_C5通过1×1×256的卷积层,其中,1×1是为了改变通道数,256是卷积核的数量,然后融合相加得到大小为16×16像素的特征图P5,为了在之后的RPN网络中提取出较大篡改区域,将特征图P5进行步长为2的最大池化操作,生成大小为8×8像素的特征图P6,同时将特征图P5进行两倍上采样操作,与同样通过1×1×256卷积层的C4和IM_C4三者融合,生成大小为32×32像素的特征图P4;将特征图P4进行两倍上采样操作,与同样通过1×1×256卷积层的C3和IM_C3三者融合,生成大小为64×64像素的特征图P3;将特征图P3进行两倍上采样操作,与同样通过1×1×256卷积层的C2和IM_C2三者融合,生成大小为128×128像素的特征图P2,将特征图P2、特征图P3、特征图P4、特征图P5、特征图P6一同组成金字塔特征图M,至此完成金字塔特征图M的生成;
第四步,获得篡改候选区域N:
将上述第三步得到的金字塔特征图M中的特征图P2、特征图P3、特征图P4、特征图P5、特征图P6分别输入区域生成网络,提取出篡改候选区域N’,然后进行非极大值抑制操作,得到最终的篡改候选区域N,具体操作如下,
所述区域生成网络是使用锚框来选择篡改候选区域N’,采用五种不同大小,分别是48×48像素、96×96像素、192×192像素、384×384像素、768×768像素和三种长宽比,分别是1∶1、1∶2、2∶1,共十五种类型的锚框对篡改候选区域N’进行预测,由于提取的篡改候选区域N’有很多有交叉重叠,使用非极大值抑制筛选篡改候选区域N’,最后选取前200个候选区域框作为最终的篡改候选区域N,至此获得最终的篡改候选区域N;
第五步,获得金字塔篡改候选区域n:
将上述第四步得到的篡改候选区域N映射到上述第三步得到的金字塔特征图M的Pk层上,其中,Pk∈{P2,P3,P4,P5},k的计算如下公式(5)所示,
公式(5)中,k表示金字塔特征图M的Pk层的层号,k0是预设值,设定为4,w和h分别是篡改候选区域N的长和宽,
至此,完成篡改候选区域N的映射过程,在金字塔特征图M上,获得金字塔篡改候选区域n;
第六步,获得固定尺寸特征图m1和固定尺寸特征图m2:
将上述第五步得到的金字塔篡改候选区域n经过ROI Align,得到固定尺寸特征图m1和固定尺寸特征图m2,其中,固定尺寸特征图m1的大小为7×7×256,其中,7×7像素是长和宽的大小,256是通道数;固定尺寸特征图m2的大小为14×14×256,其中,14×14像素是长和宽的大小,256是通道数;
第七步,对固定尺寸特征图m1和m2进行检测:
固定尺寸特征图m1和固定尺寸特征图m2的检测操作,包括对固定尺寸特征图m1进行分类、边界框回归和对固定尺寸特征图m2进行像素级定位,具体描述如下,
将上述第六步得到的固定尺寸特征图m1首先经过两个参数为1024的全连接层,再利用Softmax分类器进行分类,判断篡改候选区域N是篡改区域还是非篡改区域,同时给出篡改区域的置信度分数;
将上述第六步得到的固定尺寸特征图m1经过两个参数为1024的全连接层,进行边界框回归,给出篡改区域的位置坐标;
将上述第六步得到的固定尺寸特征图m2经过五个卷积核大小为3×3的卷积层,然后经过上采样因子为二的转置卷积操作,得到28×28×256的特征图,接着通过1×1卷积层得到28×28×1的输出,最后得到篡改区域的像素级定位;
至此完成基于光源图和金字塔特征图的被拼接篡改的图像的检测。
实施例2
除以下部分之外:
第一步,将输入图像生成对应的光源图:
首先将输入图像分割成相似的区域,即超像素,然后在每个超像素上对光源颜色进行估计,用逆强度色度估计方法生成包含不同光源颜色估计的IIC光源图,
由此完成将输入图像生成对应的光源图;
逆强度色度估计方法如下:
该方法基于物体表面反射的物理过程,认为观测的图像强度是漫反射和镜面反射的混合,则图像像素坐标x通道c∈{R,G,B}上的颜色强度为pc(x),如下公式(3)所示,
pc(x)=∫Ω(e(λ,x)s(λ,x)+e(λ,x))c(λ)dλ (3),
公式(3)中,Ω表示可见光的光谱,λ表示光的波长,e(λ,x)表示光源的光谱,s(λ,x)是物体表面的反射率,c(λ)是相机的颜色敏感度,∫表示在所有波长上计算的,
图像像素坐标x在通道c∈{R,G,B}上光源颜色估计χc(x)如下公式(4)所示,
公式(4)中,γC为在颜色通道c上的光源色度,m(x)为一个依赖于表面方位、漫射色度和镜面色度的参数,
通过上述公式(3)和(4)的计算,即经过逆强度色度估计方法得到估计的光源颜色,使用该光源颜色对每个超像素重新着色,便生成了包含不同光源颜色估计的光源图,称此光源图为IIC光源图,本实施例将IIC光源图进行了实验,实验结果达到较高的准确率;
其他同实施例1。
上述实施例中,所述ResNet-101网络、区域生成网络、非极大值抑制、上采样操作、Softmax分类器均是本技术领域的公知技术。
上述实施例中,所述ROI Align是对ROI Pooling的一种改进,Faster-RCNN中ROIPooling会进行两次粗糙的量化操作,产生了区域不匹配的问题,而ROI Align取消了量化操作,使用双线性内插的方法,将处理过程转化为一个连续的操作,解决了ROI Pooling中两次量化造成的区域不匹配问题。
Claims (1)
1.一种被拼接篡改的图像的检测方法,其特征在于:是基于光源图和金字塔特征图的图像拼接检测方法,具体步骤如下:
第一步,将输入图像生成对应的光源图:
首先将输入图像分割成相似的区域,即超像素,然后在每个超像素上对光源颜色进行估计,用广义灰色世界估计方法生成包含不同光源颜色估计的GGE光源图,或用逆强度色度估计方法生成包含不同光源颜色估计的IIC光源图,
由此完成将输入图像生成对应的光源图;
第二步,使用特征提取网络对篡改图像和其对应的光源图进行特征提取:
特征提取网络由以下支路A和支路B两个支路组成,
支路A,是在篡改图像上进行提取特征,提取篡改线索明显的特征,包括对比度差异和不自然的篡改边界,具体操作如下:
将篡改图像调整到512×512像素大小,输入支路A的ResNet-101网络,ResNet-101网络共有五个阶段,在每个阶段中,包含一组分辨率大小相同的特征图,每个阶段在经过池化层后得到下个阶段,大小变为原来的二分之一,分别取每个阶段的最后一个层的输出,获得不同分辨率的篡改图像特征图:C1、C2、C3、C4和C5,其对应的大小分别为256×256像素、128×128像素、64×64像素、32×32像素和16×16像素,至此,篡改图像经过支路A的ResNet-101网络后得到了不同分辨率的五个篡改图像特征图,不同分辨率的篡改图像特征图包含了不同尺度的信息,
支路B,是对与上述支路A中的篡改图像对应的上述第一步中得到的光源图进行提取特征,提取光源图中篡改区域的光源不一致特征,具体操作如下:
将与上述支路A中的篡改图像对应的光源图调整到512×512像素大小,输入该支路B.的ResNet-101网络,ResNet-101网络共有五个阶段,在每个阶段中,包含一组分辨率大小相同的特征图,每个阶段在经过池化层后得到下个阶段,大小变为原来的二分之一,分别取每个阶段的最后一个层的输出,获得不同分辨率的光源特征图:IM_C1、IM_C2、IM_C3、IM_C4和IM_C5,其对应的大小分别为256×256像素、128×128像素、64×64像素、32×32像素和16×16像素,至此,光源图经过支路B的ResNet-101网络后得到了不同分辨率的五个光源特征图,不同分辨率的光源特征图包含了不同尺度的信息,
至此,完成使用特征提取网络对篡改图像和其对应的光源图的特征提取;
第三步,生成金字塔特征图M:
将上述第二步支路A得到的篡改图像特征图C1、C2、C3、C4、C5和支路B得到的光源特征图IM_C1、IM_C2、IM_C3、IM_C4、IM_C5进行融合,具体操作如下,
将C5和IM_C5通过1×1×256的卷积层,其中,1×1是为了改变通道数,256是卷积核的数量,然后融合相加得到大小为16×16像素的特征图P5,将特征图P5进行步长为2的最大池化操作,生成大小为8×8像素的特征图P6,同时将特征图P5进行两倍上采样操作,与同样通过1×1×256卷积层的C4和IM_C4三者融合,生成大小为32×32像素的特征图P4;将特征图P4进行两倍上采样操作,与同样通过1×1×256卷积层的C3和IM_C3三者融合,生成大小为64×64像素的特征图P3;将特征图P3进行两倍上采样操作,与同样通过1×1×256卷积层的C2和IM_C2三者融合,生成大小为128×128像素的特征图P2,将特征图P2、特征图P3、特征图P4、特征图P5、特征图P6一同组成金字塔特征图M,至此完成金字塔特征图M的生成;
第四步,获得篡改候选区域N:
将上述第三步得到的金字塔特征图M中的特征图P2、特征图P3、特征图P4、特征图P5、特征图P6分别输入区域生成网络,提取出篡改候选区域N’,然后进行非极大值抑制操作,得到最终的篡改候选区域N,具体操作如下,
所述区域生成网络是使用锚框来选择篡改候选区域N’,采用五种不同大小,分别是48×48像素、96×96像素、192×192像素、384×384像素、768×768像素和三种长宽比,分别是1∶1、1∶2、2∶1,共十五种类型的锚框对篡改候选区域N’进行预测,使用非极大值抑制筛选篡改候选区域N’,最后选取前200个候选区域框作为最终的篡改候选区域N,至此获得最终的篡改候选区域N;
第五步,获得金字塔篡改候选区域n:
将上述第四步得到的篡改候选区域N映射到上述第三步得到的金字塔特征图M的Pk层上,其中,Pk∈{P2,P3,P4,P5},k的计算如下公式(5)所示,
公式(5)中,k表示金字塔特征图M的Pk层的层号,k0是预设值,设定为4,w和h分别是篡改候选区域N的长和宽,
至此,完成篡改候选区域N的映射过程,在金字塔特征图M上,获得金字塔篡改候选区域n;
第六步,获得固定尺寸特征图m1和固定尺寸特征图m2:
将上述第五步得到的金字塔篡改候选区域n经过ROIAlign,得到固定尺寸特征图m1和固定尺寸特征图m2,其中,固定尺寸特征图m1的大小为7×7×256,其中,7×7像素是长和宽的大小,256是通道数;固定尺寸特征图m2的大小为14×14×256,其中,14×14像素是长和宽的大小,256是通道数;
第七步,对固定尺寸特征图m1和m2进行检测:
固定尺寸特征图m1和固定尺寸特征图m2的检测操作,包括对固定尺寸特征图m1进行分类、边界框回归和对固定尺寸特征图m2进行像素级定位,具体描述如下,
将上述第六步得到的固定尺寸特征图m1首先经过两个参数为1024的全连接层,再利用Softmax分类器进行分类,判断篡改候选区域N是篡改区域还是非篡改区域,同时给出篡改区域的置信度分数;
将上述第六步得到的固定尺寸特征图m1经过两个参数为1024的全连接层,进行边界框回归,给出篡改区域的位置坐标;
将上述第六步得到的固定尺寸特征图m2经过五个卷积核大小为3×3的卷积层,然后经过上采样因子为二的转置卷积操作,得到28×28×256的特征图,接着通过1×1卷积层得到28×28×1的输出,最后得到篡改区域的像素级定位;
至此完成基于光源图和金字塔特征图的被拼接篡改的图像的检测。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911325073.7A CN111062931B (zh) | 2019-12-20 | 2019-12-20 | 一种被拼接篡改的图像的检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911325073.7A CN111062931B (zh) | 2019-12-20 | 2019-12-20 | 一种被拼接篡改的图像的检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111062931A true CN111062931A (zh) | 2020-04-24 |
CN111062931B CN111062931B (zh) | 2021-08-03 |
Family
ID=70301371
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911325073.7A Expired - Fee Related CN111062931B (zh) | 2019-12-20 | 2019-12-20 | 一种被拼接篡改的图像的检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111062931B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112115912A (zh) * | 2020-09-28 | 2020-12-22 | 腾讯科技(深圳)有限公司 | 图像识别方法、装置、计算机设备及存储介质 |
CN112232305A (zh) * | 2020-11-19 | 2021-01-15 | ***股份有限公司 | 图像检测方法、装置、电子设备及介质 |
CN112750122A (zh) * | 2021-01-21 | 2021-05-04 | 山东省人工智能研究院 | 基于双流边界感知神经网络的图像篡改区域定位方法 |
CN112785480A (zh) * | 2021-03-15 | 2021-05-11 | 河北工业大学 | 基于频域变换和残差反馈模块的图像拼接篡改检测方法 |
CN113033379A (zh) * | 2021-03-18 | 2021-06-25 | 贵州大学 | 一种基于双流cnn的帧内取证深度学习方法 |
CN113436287A (zh) * | 2021-07-05 | 2021-09-24 | 吉林大学 | 一种基于lstm网络与编解码网络的篡改图像盲取证方法 |
CN114359144A (zh) * | 2021-12-01 | 2022-04-15 | 阿里巴巴(中国)有限公司 | 图像检测方法和图像检测模型的获得方法 |
CN114943703A (zh) * | 2022-05-24 | 2022-08-26 | 闫雪 | 多分量p图区域分析*** |
CN117456171A (zh) * | 2023-12-26 | 2024-01-26 | 中国海洋大学 | 基于抑制相关区域挖掘的复制移动篡改检测方法及*** |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105528785A (zh) * | 2015-12-03 | 2016-04-27 | 河北工业大学 | 一种双目视觉图像立体匹配方法 |
CN106056600A (zh) * | 2016-05-26 | 2016-10-26 | 中山大学 | 一种基于Contourlet变换的图像拼接检测方法 |
US20170310972A1 (en) * | 2016-04-20 | 2017-10-26 | Qualcomm Incorporated | Methods and systems of generating a background picture for video coding |
US20180101751A1 (en) * | 2016-10-10 | 2018-04-12 | Insurance Services Office Inc. | Systems and methods for detection and localization of image and document forgery |
CN109344835A (zh) * | 2018-09-20 | 2019-02-15 | 上海眼控科技股份有限公司 | 基于车辆vin码字符位置的篡改检测方法 |
CN109754393A (zh) * | 2018-12-19 | 2019-05-14 | 众安信息技术服务有限公司 | 一种基于深度学习的篡改图像鉴定方法及装置 |
CN109816676A (zh) * | 2015-06-25 | 2019-05-28 | 北京影谱科技股份有限公司 | 一种拼接图像篡改检测方法 |
CN110414670A (zh) * | 2019-07-03 | 2019-11-05 | 南京信息工程大学 | 一种基于全卷积神经网络的图像拼接篡改定位方法 |
-
2019
- 2019-12-20 CN CN201911325073.7A patent/CN111062931B/zh not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109816676A (zh) * | 2015-06-25 | 2019-05-28 | 北京影谱科技股份有限公司 | 一种拼接图像篡改检测方法 |
CN105528785A (zh) * | 2015-12-03 | 2016-04-27 | 河北工业大学 | 一种双目视觉图像立体匹配方法 |
US20170310972A1 (en) * | 2016-04-20 | 2017-10-26 | Qualcomm Incorporated | Methods and systems of generating a background picture for video coding |
CN106056600A (zh) * | 2016-05-26 | 2016-10-26 | 中山大学 | 一种基于Contourlet变换的图像拼接检测方法 |
US20180101751A1 (en) * | 2016-10-10 | 2018-04-12 | Insurance Services Office Inc. | Systems and methods for detection and localization of image and document forgery |
CN109344835A (zh) * | 2018-09-20 | 2019-02-15 | 上海眼控科技股份有限公司 | 基于车辆vin码字符位置的篡改检测方法 |
CN109754393A (zh) * | 2018-12-19 | 2019-05-14 | 众安信息技术服务有限公司 | 一种基于深度学习的篡改图像鉴定方法及装置 |
CN110414670A (zh) * | 2019-07-03 | 2019-11-05 | 南京信息工程大学 | 一种基于全卷积神经网络的图像拼接篡改定位方法 |
Non-Patent Citations (3)
Title |
---|
ARAZ RAJAB.ET AL: ""Splicing image forgery identification based on artificial neural network"", 《SPRINGER》 * |
YANG YU.ET AL: ""Registration Based on ORB and FREAK Features for Augmented"", 《SPRINGER》 * |
黄经纬: ""数字图像篡改盲检测研究"", 《中国优秀硕士学位论文全文数据库 (电子期刊)》 * |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112115912A (zh) * | 2020-09-28 | 2020-12-22 | 腾讯科技(深圳)有限公司 | 图像识别方法、装置、计算机设备及存储介质 |
CN112115912B (zh) * | 2020-09-28 | 2023-11-28 | 腾讯科技(深圳)有限公司 | 图像识别方法、装置、计算机设备及存储介质 |
CN112232305A (zh) * | 2020-11-19 | 2021-01-15 | ***股份有限公司 | 图像检测方法、装置、电子设备及介质 |
CN112750122B (zh) * | 2021-01-21 | 2022-08-02 | 山东省人工智能研究院 | 基于双流边界感知神经网络的图像篡改区域定位方法 |
CN112750122A (zh) * | 2021-01-21 | 2021-05-04 | 山东省人工智能研究院 | 基于双流边界感知神经网络的图像篡改区域定位方法 |
CN112785480A (zh) * | 2021-03-15 | 2021-05-11 | 河北工业大学 | 基于频域变换和残差反馈模块的图像拼接篡改检测方法 |
CN112785480B (zh) * | 2021-03-15 | 2022-05-03 | 河北工业大学 | 基于频域变换和残差反馈模块的图像拼接篡改检测方法 |
CN113033379A (zh) * | 2021-03-18 | 2021-06-25 | 贵州大学 | 一种基于双流cnn的帧内取证深度学习方法 |
CN113436287B (zh) * | 2021-07-05 | 2022-06-24 | 吉林大学 | 一种基于lstm网络与编解码网络的篡改图像盲取证方法 |
CN113436287A (zh) * | 2021-07-05 | 2021-09-24 | 吉林大学 | 一种基于lstm网络与编解码网络的篡改图像盲取证方法 |
CN114359144A (zh) * | 2021-12-01 | 2022-04-15 | 阿里巴巴(中国)有限公司 | 图像检测方法和图像检测模型的获得方法 |
CN114943703A (zh) * | 2022-05-24 | 2022-08-26 | 闫雪 | 多分量p图区域分析*** |
CN114943703B (zh) * | 2022-05-24 | 2023-09-05 | 闫雪 | 多分量p图区域分析*** |
CN117456171A (zh) * | 2023-12-26 | 2024-01-26 | 中国海洋大学 | 基于抑制相关区域挖掘的复制移动篡改检测方法及*** |
CN117456171B (zh) * | 2023-12-26 | 2024-03-22 | 中国海洋大学 | 基于抑制相关区域挖掘的复制移动篡改检测方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN111062931B (zh) | 2021-08-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111062931B (zh) | 一种被拼接篡改的图像的检测方法 | |
CN111080629B (zh) | 一种图像拼接篡改的检测方法 | |
CN109299274B (zh) | 一种基于全卷积神经网络的自然场景文本检测方法 | |
US11620735B2 (en) | Method for restoring video data of pipe based on computer vision | |
CN109558806B (zh) | 高分遥感图像变化的检测方法 | |
CN111145161A (zh) | 一种路面裂缝数字图像处理和识别的方法 | |
CN111310558A (zh) | 一种基于深度学习和图像处理法的路面病害智能提取方法 | |
CN105894484A (zh) | 一种基于直方图归一化与超像素分割的hdr重建算法 | |
CN114118144A (zh) | 抗干扰的航空遥感图像阴影精准检测方法 | |
CN111932572B (zh) | 一种铝合金熔池轮廓提取方法 | |
CN111080574A (zh) | 一种基于信息熵和视觉注意机制的织物疵点检测方法 | |
CN108280810A (zh) | 一种单时相光学遥感图像云覆盖区修复的自动处理方法 | |
CN113724273A (zh) | 一种基于神经网络区域目标分割的边缘光影融合方法 | |
CN113128433A (zh) | 颜色迁移匹配特征的视频监控影像增强方法 | |
CN109785318B (zh) | 基于面线基元关联约束的遥感图像变化检测方法 | |
Hsu et al. | A hybrid algorithm with artifact detection mechanism for region filling after object removal from a digital photograph | |
CN112926500B (zh) | 一种结合头部和整体信息的行人检测方法 | |
CN115908967A (zh) | 基于循环生成对抗网络的石化装置管道数据样本均衡方法 | |
CN114862883A (zh) | 一种目标边缘提取方法、图像分割方法及*** | |
Qu et al. | LEUGAN: low-light image enhancement by unsupervised generative attentional networks | |
CN112435226A (zh) | 一种细粒度图像拼接区域检测方法 | |
Rao et al. | Image Pixel Contrast Enhancement Using Enhanced Multi Histogram Equalization Method. | |
CN116029945B (zh) | 生成式图像修复装置 | |
Xu et al. | A two-stage progressive shadow removal network | |
Singh et al. | Information extraction from high resolution satellite imagery using integration technique |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210803 Termination date: 20211220 |
|
CF01 | Termination of patent right due to non-payment of annual fee |