CN114444566A - 一种图像伪造检测方法、装置以及计算机存储介质 - Google Patents

Abstract

本发明涉及图像伪造检测方法及***。其方法包括获取原始图像以及灰度图像后，通过双流的图像伪造检测模型对原始图像以及灰度图像进行特征提取以及特征融合，得到图像特征分类结果，根据所述图像特征分类结果进行平均投票，获取图像伪造检测概率值以及图像真伪结果。通过对于原始图像以及灰度图像分别进行特征提取以及特征信息的融合拆分，在图像伪造检测模型处理图像信息时来抑制颜色信息的表达，使得模型可以在图像颜色空间检测技术多维度的进行伪造检测，在模型中增加了灰度流网络结构可以增强网络的图像检测能力。

Description

一种图像伪造检测方法、装置以及计算机存储介质

技术领域

本发明涉及图像识别领域，尤其涉及一种图像伪造检测方法、装置以及计算机存储介质。

背景技术

随着深度网络技术的快速发展，图像伪造成本越来越低，生成伪造图像的质量也越来越高，导致了网络中伪造视频和图像随机可见。图像伪造检测方法主要分为传统检测方法和基于深度学习的方法。传统鉴定算法是根据图像的统计特性进行特征提取的算法，例如基于CFA差值检测算法，基于模式噪声估计检测算法，基于重采样痕迹检测算法等等。基于深度学习的检测算法又分为基于CNN的分类检测算法，如基于ResNet、Xception等网络检测算法等和基于视频时间序列差异的算法，如基于LSTM的伪造检测算法等。深度学习方法主要是CNN的方法来提取特征，CNN所提取的特征相比于手工特征具有更强的表征力，因此图像伪造检测算法逐渐以深度学习算法为主。

然而现有的深度学习算法主要把图像伪造检测算法当作二分类问题，使用一个主干网络仅仅针对原始图像特征提取特征信息利用二分类器进行图像伪造检测，随着模型不断的拟合数据，模型往往关注颜色信息，对于颜色信息以外的关注很少，或者通过处理得到的灰度图像提取特征信息后，通过识别灰度图像在图像伪造过程中产生的融合边界来判断图像是否为伪造的。现有深度伪造方法主要分类四类：身份交换、面部属性操作、脸部表情交换、全脸合成等。这些方法随着技术的不断迭代更新，生成的图像越来越逼真，达到肉眼难以识别的程度，现有技术通过单独的图像特征信息进行提取识别，已经无法有效地验证图像真伪，例如上述通过图像融合边界特征的提取识别，当通过面部属性操作的方法进行图像伪造的时候，就无法判断图像的真伪。因此需要一种图像伪造检测方法能够获取多维度特征信息，从而准确地识别图像真伪。

发明内容

为解决上述现有技术图像检测不准确的问题，本发明提供一种图像伪造检测方法，包括以下步骤，

S1，获取原始图像，将所述原始图像进行灰度化处理，得到灰度图像；

S2，将所述原始图像以及所述灰度图像输入至预先训练的图像伪造检测模型中，得到图像特征分类结果；

S3，根据所述图像特征分类结果进行平均投票，获取图像伪造检测概率值以及图像真伪结果。

在上述技术方案的基础上本发明还可以做如下改进。

进一步，在所述S2之前还包括训练图像伪造检测模型的步骤，

训练图像伪造检测模型，具体包括如下步骤，

获取原始图像并进行灰度化处理，得到包括原始图像以及灰度图像的图像数据集，按照预设的比例将所述图像数据集分为训练集和验证集；

基于深度卷积神经网络构建图像伪造检测模型；

利用所述训练集对所述图像伪造检测模型进行多次迭代训练，通过交叉熵损失函数以及所述验证集对每次训练后的图像伪造检测模型进行验证，选取预测精度最大的图像伪造检测模型作为预先训练的图像伪造检测模型。

进一步，基于深度卷积神经网络构建图像伪造检测模型具体为：基于瓶颈层构建多个深度卷积神经网络ResNet50，所述多个深度卷积神经网络ResNet50中至少有两个深度卷积神经网络ResNet50分别用来提取图像数据集中的RGB图像以及灰度图像的特征信息，并根据所述特征信息得到所述图像特征分类结果，所述至少两个深度卷积神经网络ResNet50之间不共享权重。

进一步，在训练图像伪造检测模型过程中，还可以对所述图像数据集进行泛化处理，具体包括为，将所述图像以及所述灰度图像随机裁剪为不同大小的图片，并进行水平翻转或/和垂直翻转或/和随机裁剪或/和随机角度旋转或/和对比度调整或/和亮度调整，得到图像数据集。

进一步，所述S1中将所述原始图像进行灰度化处理后的得到灰度图像，其灰度化表示式如下所示：

Gray＝0.299*R+0.587*G+0.114*B；

其中，R、G、B分别代表RGB颜色***中的的三个通道。

进一步，所述S2具体包括以下步骤，S201，将所述原始图像以及所述灰度图像分别输入至所述图像伪造检测模型中的特征提取层中进行特征提取，分别得到RGB特征F₁∈R^{H ×W×C}以及灰度特征F₂∈R^H×W×C，其中H、W、C分别表示图像特征的高、宽和通道；

S202，将所述RGB特征与所述灰度特征进行融合后，将融合后的特征通过批规范化层进行批规范化操作以及激活函数进行非线性映射操作，其中将所述RGB特征与所述灰度特征进行融合表达式为：

其中，F₁₂∈R^{(H)×(W)×(2C)}，

代表通道级联；

S203，根据特征尺寸对F₁₂进行拆分，将特征图前一半作为F₃∈R^{(H/2)×(W)×(2C)}，特征图后一半作为F₄∈R^{(H/2)×(W)×2C}；

S204,将F₁、F₂、F₃以及F₄通过全局平均池化层进行特征展平，并通过所述图像伪造检测模型中分类层得到图像特征分类结果。

本发明另一个目的在于提供一种图像伪造检测装置，包括存储器和处理器，所述存储器存储有至少一段程序，所述至少一段程序由所述处理器执行以实现上述的图像伪造检测方法。

本发明再一个目的在于提供一种计算机可读存储介质，包括存储器，所述存储器内存储有计算机程序，所述计算机程序被处理器执行时，实现上述的图像伪造检测方法。

本发明的技术方案有益效果为：通过对于原始图像以及灰度化处理后的灰度图像分别进行特征提取，并通过图像伪造检测模型将两者进行特征信息的融合拆分，获取图像信息上的显著性差异信息，并通过灰度图像来进行特征信息补充，在图像伪造检测模型处理图像信息时来抑制颜色信息的表达，这样图像识别模型能够同时去关注颜色以外的信息，将RGB特征信息和灰度信息融合能更好的表现伪造图像的特征。使得模型可以在图像颜色空间检测技术多维度的进行伪造检测，在模型中增加了灰度流网络结构可以增强网络的图像检测能力。

附图说明

图1为本发明图像伪造检测方法的流程图；

图2为本发明图像伪造检测模型的结构示意图；

图3为本发明获取图像特征的方法流程图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，本发明提供了一种解决上述技术问题的技术方案如下：

S1，获取原始图像，并将所述原始图像进行灰度化处理，得到灰度图像；

S2，将所述原始图像以及所述灰度图像输入至预先训练的图像伪造检测模型中，得到图像特征分类结果；

S3，根据所述图像特征分类结果进行平均投票，获取图像伪造检测概率以及图像真伪结果。

本发明的技术方案通过对于原始图像以及灰度化处理后的灰度图像分别进行特征提取，并通过图像伪造检测模型将两者进行特征信息的融合拆分，获取图像信息上的显著性差异信息，并通过灰度图像来进行特征信息补充，在图像伪造检测模型处理图像信息时来抑制颜色信息的表达，这样图像识别模型能够同时去关注颜色以外的信息，将RGB特征信息和灰度信息融合能更好的表现伪造图像的特征。使得模型可以在图像颜色空间检测技术多维度的进行伪造检测，在模型中增加了灰度流网络结构可以增强网络的图像检测能力。

在本实施例中具体地，本发明通过结合RGB图像信息和灰度图像信息对真伪图像进行伪造检测。基于ResNet网络构建图像伪造检测模型，其网络框架如图2所示，本发明采用的图像伪造检测模型包含两个基于Bottleneck(瓶颈层)的深度卷积神经网络ResNet50，分别用来提取RGB图像和灰度图像的特征信息且并不共享权重。基于瓶颈层构建深度神经网络ResNet50，由于瓶颈层是一维的结构，相较于残差结构来说，使得构建完成的图像伪造检测模型的参数减少的同时网络深度加深了，极大地减少模型计算量，在对图像伪造检测模型进行训练时也就相对容易一些。获取原始图像并将所述原始图像进行灰度化处理，得到灰度图像，将RGB图像通过灰度化处理转换成灰度图像，其灰度化表示式如下所示：

Gray＝0.299*R+0.587*G+0.114*B；

其中R、G、B分别代表RGB的三个通道，0.299、0.587、0.114分别是灰度化的权重。将原始图像以及灰度图像分别通过图像伪造检测模型的多层卷积层进行特征提取后，分别得到RGB特征F₁∈R^H×W×C以及灰度特征F₂∈R^H×W×C，其中H、W、C分别表示图像特征的高、宽和通道。将RGB特征以及灰度特征分别通过全局平均池化层进行平均池化处理，通过分类层预测得到F₁、F₂的样本映射不同类别的概率，也就是上述RGB图像以及灰度图像预测结果的真伪分类概率。

为使得图像伪造检测模型可以在图像颜色空间检测技术进行多维度的伪造检测，将所述RGB特征与所述灰度特征进行融合，融合后得到的特征通过批规范化层进行批规范化操作以及激活函数进行非线性映射操作，所述激活函数主要用于把卷积层输出结果做非线性映射操作，目前主要有ReLU、sigmoid、tanh等函数，本发明以ReLU(Rectified LinearUnit)整流线性单元作为较优实施例，在深度神经网络的特定范围内，具有非线性和线性的特点，对于大于0的所有输入来说，相对应的梯度都有一常数导数值，使得信息整合能力大大增强，加快和简化了网络的训练，可有效地减少CNN模型的梯度消失和过拟合问题。此外，批规范化操作(batch normalization，BN)，BN是一种有效的逐层归一化方法，批数据在模型前向传播过程中，模型各层的参数分布发生改变，这就导致了训练的速度降低，同时要求良好的参数初始化，使得训练具有饱和非线性的模型变得非常困难，因此，需要对神经网络中的隐含层进行批规范化操作，在模型每次训练时通过变换将输入批次数据缩放平移至稳定的均值和标准差，使得净输入的每一维都归一化到标准正态分布，从而提高优化效率，而不需特别在意参数的初始化。应用BN层可以增强模型对输入不同分布的适应性，有轻微正则化效果，不仅加快了模型收敛速度、训练速度，有效提高了模型收敛率，可一定程度缓解深层网络训练时的“梯度弥散”效应，对网络泛化性能起到一定提升作用，从而使得训练深层网络模型更加容易和稳定。此外BN还可以用来加快模型的训练速度，提高模型精度。

在本实施例中，如图3所示将所述RGB特征与所述灰度特征进行融合，其融合表达式为：

F₁₂∈R^{(H)×(W)×(2C)}，其中

代表通道级联，根据特征尺寸对F₁₂进行拆分，将特征图前一半作为F₃∈R^{(H/2)×(W)×(2C)}，特征图后一半作为F₄∈R^{(H/2)×(W)×2C}，而后将F₃和F₄分别通过全局平均池化层进行平均池化处理，通过分类层预测得到F₃、F₄的样本映射不同类别的概率。将图像经过预处理后得到灰度图像，将RGB图像和灰度图像输入到双流ResNet50网络结构中进行模型推理，得到四个分类结果。在本实施例中具体地，训练图像伪造检测模型，获取原始图像并进行灰度化处理，得到包括原始图像以及灰度图像的图像数据集，按照预设的比例将所述图像数据集分为训练集和验证集；原始图像以及灰度图像的图像数据集，按照预设的比例将所述图像数据集分为训练集和验证集；基于ResNet50网络构建图像伪造检测模型；利用所述训练集对所述图像伪造检测模型进行多次迭代训练，通过交叉熵损失函数以及所述验证集对每次训练后的图像伪造检测模型进行验证，选取预测精度最大的图像伪造检测模型作为预先训练的图像伪造检测模型。选用交叉熵损失函数(Cross-entropy Loss Function)，定义为真实值和预测值之间的交叉熵。交叉熵表现了实际输出与期望输出的距离，交叉熵的值越小，两者越接近。每个特征都有一个对应的交叉熵损失函数进行约束。通过最小化目标函数来迭代更新优化学习参数，Loss越小，预测值则越接近真值。每个特征都有一个对应的交叉熵损失函数进行约束，如下式所示，

Loss_all＝0.25*Loss1+0.25*Loss2+0.25*Loss3+0.25*Loss4

其中0.25分别为每个损失的超参数，用来平衡每个损失对网络的约束，损失前的超参数可以调整，根据之前的实验结果，超参数均设置为0.25性能可以达到最佳，这是因为使得不管是RGB特征还是灰度特征或者是融合后的特征都能对网络做出相对应的约束，不会因为超参数的大小影响网络过于关注某些特征信息。

针对上述四个分类结果进行平均投票获取最终的类别和真伪检测概率值。

Prob₀＝0.25*prob₁₀+0.25*prob₂₀+0.25*prob₃₀+0.25*prob₄₀,

Prob₁＝0.25*prob₁₁+0.25*prob₂₁+0.25*prob₃₁+0.25*prob₄₁,

其中，Prob₀、Prob₁分别表示四个分类器类别为0和1的概率，prob₁₀、prob₂₀、prob₃₀、prob₄₀分别表示四个分类器类别为0的概率值。class表示最终的预测类别，如果Prob₁>Prob₀，预测结果为1，表示该图像为伪造图像，概率为Prob₁，否则，表示该图像为真实图像，概率为Prob₀。

在本实施例中，在训练图像伪造检测模型过程中，对所述图像数据集进行泛化处理，将所述图像以及所述图像灰度图像随机裁剪为不同大小的图片，并进行水平翻转或/和垂直翻转或/和随机裁剪或/和随机角度旋转或/和对比度调整或/和亮度调整，得到图像数据集。采集多种环境下原始图像，对图片进行泛化处理是为了扩充数据，还可以对在收集搜索网站上的检测目标图片进行数据扩充，利用经过数据扩充后的帧图像构建数据集进行迭代训练得到的图像伪造检测模型具有强大的泛化能力，图像伪造检测模型可以对多种场景下，不同角度以及不同类型图像进行伪造检测，可以有效避免在实际应用过程中，由于各种不可抗力使得所述原始图像出现模糊、翻转、倾斜等问题，从而导致YOLOv3改进目标检测模型对于目标检测的误差甚至无法对目标进行检测。

本发明还提供一种图像伪造检测装置，包括存储器和处理器，所述存储器存储有至少一段程序，所述至少一段程序由所述处理器执行以实现上述的图像伪造检测方法。作为一个可执行方案，图像伪造检测装置可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。***/电子设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，上述***/电子设备的组成结构仅仅是***/电子设备的示例，并不构成对***/电子设备的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件。例如***/电子设备还可以包括输入输出设备、网络接入设备、总线等，本发明实施例对此不做限定。

进一步地，作为一个可执行方案，所称处理器可以是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是***/电子设备的控制中心，利用各种接口和线路连接整个***/电子设备的各个部分。

存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现***/电子设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

本发明还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现本发明实施例上述方法的步骤。***/电子设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Onny Memory)、随机存取存储器(RAM，Random Access Memory)以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。

读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的方法实施例仅仅是示意性的，例如，步骤的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个步骤可以结合或者可以集成到另一个步骤，或一些特征可以忽略，或不执行。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种图像伪造检测方法，其特征在于：包括以下步骤，

S1，获取原始图像，将所述原始图像进行灰度化处理，得到灰度图像；

S2，将所述原始图像以及所述灰度图像输入至预先训练的图像伪造检测模型中，得到图像特征分类结果；

S3，根据所述图像特征分类结果进行平均投票，获取图像伪造检测概率值以及图像真伪结果。

2.根据权利要求1所述的图像伪造检测方法，其特征在于：在所述S2之前还包括训练所述图像伪造检测模型的步骤，

获取原始图像并进行灰度化处理，得到包括原始图像以及灰度图像的图像数据集，根据预设的比例将所述图像数据集分为训练集和验证集；

基于深度卷积神经网络构建图像伪造检测模型；

利用所述训练集对所述图像伪造检测模型进行迭代训练，通过交叉熵损失函数以及所述验证集对每次训练后的图像伪造检测模型进行验证，选取预测精度最大的图像伪造检测模型作为预先训练的图像伪造检测模型。

3.根据权利要求2所述的图像伪造检测方法，其特征在于：在训练图像伪造检测模型过程中，还可以对所述图像数据集进行泛化处理，具体包括为，将所述原始以及所述灰度图像随机裁剪为不同大小的图片，并进行水平翻转或/和垂直翻转或/和随机裁剪或/和随机角度旋转或/和对比度调整或/和亮度调整，得到所述图像数据集。

4.根据权利要求2所述的图像伪造检测方法，其特征在于：基于深度卷积神经网络构建图像伪造检测模型具体为：基于瓶颈层构建多个深度卷积神经网络ResNet50，所述多个深度卷积神经网络ResNet50中至少有两个深度卷积神经网络ResNet50分别用来提取图像数据集中的RGB图像以及灰度图像的特征信息，并根据所述特征信息得到所述图像特征分类结果，所述至少两个深度卷积神经网络ResNet50之间不共享权重。

5.根据权利要求1所述的图像伪造检测方法，其特征在于：所述S1中将所述原始图像进行灰度化处理后的得到灰度图像，其灰度化表示式如下所示：Gray＝0.299*R+0.587*G+0.114*B；

其中，R、G、B分别代表RGB颜色***中的三个通道。

6.根据权利要求1所述的图像伪造检测方法，其特征在于：所述S2具体包括以下步骤，

S201，将所述原始图像以及所述灰度图像分别输入至所述图像伪造检测模型中的特征提取层中进行特征提取，分别得到RGB特征F₁∈R^H×W×C以及灰度特征F₂∈R^H×W×C，其中H、W、C分别表示图像特征的高、宽和通道；

S202，将所述RGB特征与所述灰度特征进行特征融合，融合后的特征通过所述图像伪造检测模型中批规范化层进行批规范化操作以及激活函数进行非线性映射操作，其中将所述RGB特征与所述灰度特征进行融合的表达式为：

其中，F₁₂∈R^{(H)×(W)×(2C)}，

代表通道级联；

S203，根据特征尺寸对F₁₂进行拆分，将特征图像前一半作为F₃∈R^{(H/2)×(W)×(2C)}，特征图像后一半作为F₄∈R^{(H/2)×(W)×2C}；

S204,将F₁、F₂、F₃以及F₄通过全局平均池化层进行特征展平，并通过所述图像伪造检测模型中分类层得到图像特征分类结果。

7.一种图像伪造检测装置，其特征在于，包括存储器和处理器，所述存储器存储有至少一段程序，所述至少一段程序由所述处理器执行以实现如权利要求1至6任一所述的图像伪造检测方法。

8.一种计算机可读存储介质，其特征在于：包括存储器，所述存储器内存储有计算机程序，所述计算机程序被处理器执行时，实现如权利要求1至6任一项所述的图像伪造检测方法。

Images