CN114842524A - 一种基于不规则显著性像素簇的人脸鉴伪方法 - Google Patents

Abstract

本发明公开了一种基于不规则显著性像素簇的人脸鉴伪方法，包括：先获取真实人脸图像和伪造人脸图像并依次进行预处理和粗处理，再增强粗处理后人脸候选区域中浅层特征的纹理信息并进行显著性检测，以得到基于纹理信息的真实人脸显著图和伪造人脸显著图；再通过多注意力模块产生输入特征图的聚焦不同区域的多个注意力图，并将基于纹理信息的真实人脸显著图和伪造人脸显著图分别与多个注意力图进行融合，融合后再分别合并、进行标准化平均池化以及堆叠而得到纹理显著矩阵；最后基于多个注意力图得到全局深度特征，并和纹理显著矩阵一起送入分类器，实现对真实和伪造人脸的鉴别。本发明有效提高了人脸的伪造检测的速度与准确度。

Description

一种基于不规则显著性像素簇的人脸鉴伪方法

技术领域

本发明属于人脸检测技术领域，具体涉及一种基于不规则显著性像素簇的人脸鉴伪方法。

背景技术

随着生成模型的快速发展，近年来人脸伪造技术取得了显著的成功，其可以生成人眼都难以分辨的高质量假人脸，若一旦被恶意利用，将造成严重的社会问题或政治威胁。为了降低这样的风险，人脸鉴伪方法大量涌现，目前这些鉴伪方法大多将人脸伪造检测建模为一个普通的二进制分类问题(真/假)，或是仅仅倾向于从人脸的中心区域中检测伪造等。其中，对于建模为普通的二进制分类的检测方法来说，由于其网络专注于提取复杂的全局特征送入二分类器，因而存在着检测速度较低的技术问题。而对于从人脸中心区域中检测伪造的方法来说，由于不同的人脸伪造算法生成的伪造的形状和大小具有巨大差异，如Deepfakes和Face2Face生成的代表性伪造通常修改了人脸边界，而StyleGAN和PGGAN生成的代表性伪造则灵活地在整个人脸上进行修改，因此同样导致检测的准确率低。

另外，公开号为CN113536990A的文献还公开了一种深度伪造人脸数据鉴别方法。该方法通过引入一个多模态多尺度变换器(M2TR)，使用一个多尺度变换器，对不同大小的图像块进行操作，以检测不同尺度的局部上下文不一致。为了改善检测结果并提高对图像压缩的鲁棒性，M2TR还引入频率信息，并通过一个跨模态融合模块将其与RGB特征进一步结合起来。虽然该方法出能够实现伪造人脸的检测，但在实际应用中，该方法需要将特征图分割为不同大小的空间图像块，并计算不同头部的图像块之间的自注意力，而由于不同大小的图像块之间存在区域重叠，这将导致网络存在大量的冗余计算，计算时间的耗费增加，网络在图像上的检测速度降低。同时，具体分割为多少个图像块，分割为哪些不同尺度的图像块具有极大的不确定性，这将导致提取的多尺度信息不一定充足有效，网络的准确性受到影响。

限于以上原因，现有的人脸伪造检测方法不能高效、精准地鉴别伪造人脸和真实的人脸。所以，迫切需要一种能够快速、准确鉴别真假人脸的伪造检测方法，以提高人脸伪造检测的速度和准确度。

发明内容

本发明的目的在于克服现有技术中存在的上述技术问题，提供了一种基于不规则显著性像素簇的人脸鉴伪方法，该方法基于视觉注意力机制与显著性区域检测技术相结合，一方面，由于真实和伪造人脸图像之间的差异往往是微妙和局部的，因而本发明将人脸伪造检测重新定义为一种特殊的精细化二分类问题，使网络对不同的局部特征进行注意，同时由于伪造方法引起的伪影在纹理特征中呈现显著，将特别关注和增强上述特征的利用；另一方面，通过提升对人脸伪造检测问题有效的不同形状和大小的伪造的描述，以提高人脸的伪造检测的速度与准确度。

为实现上述目的，本发明采用的技术方案如下：

一种基于不规则显著性像素簇的人脸鉴伪方法，其特征在于包括如下步骤：

步骤一：获取若干真实人脸图像和伪造人脸图像并分别对获取的图像进行预处理，得到真实人脸标准图像和伪造人脸标准图像；

步骤二：使用人脸的肤色先验知识和几何先验知识分别对真实人脸标准图像和伪造人脸标准图像进行粗处理，得到均标记有人脸候选区域的真实人脸标准图像和伪造人脸标准图像；

步骤三：通过骨干网络增强人脸候选区域中浅层特征的纹理信息，并对增强了纹理信息的真实人脸标准图像和伪造人脸标准图像进行显著性检测，得到人脸候选区域的显著性图像特征；再对人脸候选区域的显著性图像特征进行处理以最大程度保留浅层特征中的精细伪影，处理完成后得到基于纹理信息的真实人脸显著图和伪造人脸显著图；

步骤四：提取骨干网络中特定层的特征图，并将特征图输入到多注意力模块中，通过多注意力模块产生输入特征图的聚焦不同区域的多个注意力图；

步骤五：将步骤三得到的结果分别与多个注意力图进行融合，融合后分别得到基于真实人脸显著图的纹理增强的局部显著表征和基于伪造人脸显著图的纹理增强的局部显著表征；再分别将每张真实人脸显著图的纹理增强的局部显著表征进行合并以及分别将每张伪造人脸显著图的纹理增强的局部显著表征进行合并，然后对合并后的局部显著表征进行标准化平均池化，并将池化后的标准化显著表征堆叠在一起得到纹理显著矩阵；

步骤六：对步骤四得到的多个注意力图进行拼接并作用于骨干网络特征提取层最后一层的特征图，得到全局深度特征，再将全局深度特征和步骤五得到的纹理显著矩阵一起送入分类器，实现对真实和伪造人脸的鉴别。

步骤一中使用领域通用的真实人脸数据集以获取不同视觉质量的真实人脸图像，使用FaceForensics++面部伪造数据集以获取伪造人脸图像，获取的图像数量共计十万张。

步骤一中的预处理是指使用normalize操作分别对真实人脸图像和伪造人脸图像进行处理变换，处理完成后得到真实人脸标准图像和伪造人脸标准图像。

步骤二中的使用人脸的肤色先验知识和几何先验知识进行粗处理是指：建立肤色模型，计算出图像中每个像素点的肤色相似度，得出肤色轮廓，再利用人脸的几何信息，检测和标记出人脸候选区域。

步骤三的具体处理过程为：先将标记有人脸候选区域的真实人脸标准图像和伪造人脸标准图像输入至骨干网络中，基于残差网络思想增强人脸候选区域中浅层特征的纹理信息；再使用注意力机制和ConvLSTM对增强了纹理信息的真实人脸标准图像和伪造人脸标准图像进行显著性检测，检测完成后得到人脸候选区域的显著性图像特征；然后使用空间注意力对得到人脸候选区域的显著性图像特征进行计算编码，实现对浅层特征中的精细伪影最大程度的保留，从而得到基于纹理信息的真实人脸显著图和伪造人脸显著图。

步骤四中的多注意力模块为轻量级模型，由1×1的卷积层、批量归一化层和非线性激活层ReLU组成。

步骤五中得到基于真实人脸显著图的纹理增强的局部显著表征和基于伪造人脸显著图的纹理增强的局部显著表征后，先以像素点为单位将局部显著表征转换为序列数据，并利用基于Transformer的结构对序列数据进行处理后再进行合并。

步骤六中全局深度特征的得出方法为：先对多个注意力图进行拼接得出单通道注意图，再将单通道注意图作用于骨干网络特征提取层最后一层的特征图即得到全局深度特征。

采用上述技术方案，本发明的有益技术效果是：

1.本发明基于视觉注意力机制与显著性区域检测技术相结合，一方面，由于真实和伪造人脸图像之间的差异往往是微妙和局部的，因而本发明将人脸伪造检测重新定义为一种特殊的精细化二分类问题，使网络对不同的局部特征进行注意，同时由于伪造方法引起的伪影在纹理特征中呈现显著，将特别关注和增强上述特征的利用；另一方面，通过提升对人脸伪造检测问题有效的不同形状和大小的伪造的描述，以提高人脸的伪造检测的速度与准确度。

进一步的，本发明中各步骤的优点分别如下：

步骤一中获取若干真实人脸图像和伪造人脸图像，其优点在于通过使用丰富和充足的数据集可减小数据本身对模型鉴伪表现的扰动。而分别对获取的图像进行预处理，则能够有效防止过拟合的产生。

步骤二中使用人脸的肤色先验知识和几何先验知识分别对真实人脸标准图像和伪造人脸标准图像进行粗处理，该粗处理是指对图像中的人脸进行检测，而人脸检测是人脸伪造鉴别的前提和基础，为实现高效的人脸鉴伪，需要使用前述先验知识对图像中的人脸进行准确检测，以形成标记了人脸候选区域的图像。

步骤三中，由于人脸伪造方法引起的伪影在纹理信息中呈现显著，因此该步骤通过骨干网络增强人脸候选区域中浅层特征的纹理信息，相当于增强了图像的浅层特征中纹理信息在特征中的表示，类比于RGB图像的残差信息，此处可以将纹理信息看作浅层特征的高频分量，以得到纹理加强的浅层特征，从而更有利于提高鉴伪效果。

另外，本步骤中进行的显著性检测能够模拟人类视觉***中的视觉注意机制，使骨干网络聚焦于人脸的重要区域，以学习人脸候选区域的显著性图像特征，在纹理加强的基础上为后续网络进行人脸鉴伪降低计算量，从而提高骨干网络的处理速度。而使用空间注意力对得到人脸候选区域的显著性图像特征进行计算编码，则能够实现对浅层特征中的精细伪影最大程度的保留，进而有效提升鉴伪效果。

步骤四中先提取骨干网络中特定层的特征图，并将特征图输入到多注意力模块中，再通过多注意力模块产生输入特征图的聚焦不同区域的多个注意力图。其中，这些不同区域分别对应于例如眼睛、嘴等区域，本步骤可通过语义特征进一步引导后续骨干网络关注不同的局部区域，而这些局部区域对于人脸鉴伪具有很强的判别性。

步骤五中将基于纹理信息的显著图和对不同局部区域产生注意的多注意力图进行融合，使骨干网络在不同的局部区域有效挖掘纹理信息，从而能够在这些强判别性的不同局部区域实现有效捕获伪造方法所产生的伪影。同时，这些局部区域具有不同的不规则结构信息，使用本步骤中基于Transformer的结构对伪影进行检测，可以有效提升对不规则伪造的描述，以提高人脸鉴伪的准确度。

步骤六中将纹理显著矩阵和全局深度特征一同送入分类器，实现局部特征和全局特征的互补，基于此可以实现构建辨识力强、鲁棒性高的特征，有效提升网络人脸鉴伪的整体性能。

2.本发明通过加强纹理信息的表达，从而更多地保留伪造方法产生的伪影，将浅层纹理特征和深层语义特征进行聚合，作为每个局部的判别表征，防止细微差异在深层消失。

3.本发明通过提升对不同形状和大小的伪造的描述，提高精细化分类效果，最终实现快速、准确的鉴别真假人脸的伪造检测。

附图说明

图1为本发明的流程图。

图2为本发明的模型框架图。

图3为本发明进行显著性检测的关键结构示意图。

图4为本发明中多注意力模块结构示意图。

具体实施方式

实施例1

本发明公开了一种基于不规则显著性像素簇的人脸鉴伪方法，该方法的流程图如图1所示，模型框架图如图2所示，其具体包括如下步骤：

步骤一：获取若干真实人脸图像和伪造人脸图像并分别对获取的图像进行预处理，得到真实人脸标准图像和伪造人脸标准图像。

本步骤需要说明的是，考虑到实际应用中环境的影响，对人脸进行图像的获取，优选使用领域通用的真实人脸数据集以获取不同视觉质量的真实人脸图像。而对于伪造人脸图像，优选使用出自不同的造假方法、提供多分级质量的FaceForensics++面部伪造数据集，共计拟获取十万张人脸图像，通过使用丰富和充足的数据集可减小数据本身对模型鉴伪表现的扰动。

进一步的，对获取的图像进行预处理指使用normalize操作分别对真实人脸图像和伪造人脸图像进行处理变换，处理完成后得到真实人脸标准图像和伪造人脸标准图像。其中使用normalize操作能有效防止过拟合的产生。

步骤二：使用人脸的肤色先验知识和几何先验知识分别对真实人脸标准图像和伪造人脸标准图像进行粗处理，得到均标记有人脸候选区域的真实人脸标准图像和伪造人脸标准图像。

本步骤中，使用人脸的肤色先验知识和几何先验知识进行粗处理是指：建立肤色模型，计算出图像中每个像素点的肤色相似度，得出肤色轮廓，再利用人脸的几何信息，检测和标记出人脸候选区域。需要说明的是，此处的粗处理主要是对图像中的人脸进行检测，人脸检测是人脸伪造鉴别的前提和基础，为实现高效的人脸鉴伪，需要使用前述先验知识对图像中的人脸进行准确检测，以形成标记了人脸候选区域的图像。

步骤三：通过骨干网络增强人脸候选区域中浅层特征的纹理信息，并对增强了纹理信息的真实人脸标准图像和伪造人脸标准图像进行显著性检测，得到人脸候选区域的显著性图像特征；再对人脸候选区域的显著性图像特征进行处理以最大程度保留浅层特征中的精细伪影，处理完成后得到基于纹理信息的真实人脸显著图和伪造人脸显著图。

本步骤对骨干网络不作限定，只要是能够增强图像纹理信息的网络均可，基于此，例如可采用EfficientNet-64作为骨干网络。其具体处理过程为：先将标记有人脸候选区域的真实人脸标准图像和伪造人脸标准图像输入至骨干网络中，基于残差网络思想增强人脸候选区域中浅层特征的纹理信息；再使用注意力机制和ConvLSTM对增强了纹理信息的真实人脸标准图像和伪造人脸标准图像进行显著性检测，检测完成后得到人脸候选区域的显著性图像特征；然后使用空间注意力对得到人脸候选区域的显著性图像特征进行计算编码，实现对浅层特征中的精细伪影最大程度的保留，从而得到基于纹理信息的真实人脸显著图和伪造人脸显著图。

本步骤需要说明的是，由于人脸伪造方法引起的伪影在纹理信息中呈现显著，因此需要对浅层特征的纹理信息进行加强。其详细过程为：将经粗处理后的真实人脸标准图像和伪造人脸标准图像输入骨干网络，对骨干网络提取到的浅层特征应用局部平均池化进行下采样获得池化后的特征D，基于残差网络的思想来获取突出纹理信息的特征表示，公式如下：

T_L＝f_L(I)-D

式中：下标L此处代表浅层层级，T代表最大程度表达纹理信息的特征，f(I)代表原始浅层特征，D代表池化后的特征。之后再使用一个DenseBlock来增强T的表达，得到纹理加强的特征。

纹理加强后，再使用注意力机制和ConvLSTM来进行显著性检测，为了准确捕捉高保留伪影的显著性区域，受到人脑机制的启发，通过面向记忆的理解方式去推导和优化检测结果的细节信息。该结构示意图如图3所示，图3中：下标t代表ConvLSTM中的时间步骤，ht代表按时间顺序对上次图像理解的记忆，F～代表加权过后更具代表性的特征，为强调不同像素点间的关系对最后显著性区域判断的重要程度，再使用空间注意力处理而得到基于纹理信息的真实人脸显著图和伪造人脸显著图。

步骤四：构建一个多注意力模块，该多注意力模块为轻量级模型，由1×1的卷积层、批量归一化层和非线性激活层ReLU组成。然后提取骨干网络中特定层的特征图，并将特征图输入到多注意力模块中，通过多注意力模块产生输入特征图的聚焦不同区域的多个注意力图。

本步骤需要说明的是，前述步骤关注并增强了浅层特征的利用，忽略了深层的语义特征，而通过语义特征可以进一步引导后续网络关注不同的局部区域，这些局部区域对于人脸鉴伪具有很强的判别性，因此此处的特定层拟指骨干网络的第四或第五层。将特征图输入到多注意力模块中，通过多注意力模块产生输入特征图的聚焦不同区域的多个注意力图，即得到多注意力图A，以探索有区别的局部区域。该模块的示意图如图4所示，图4中：下标L此处代表深层层级，其中Ak表示第k个注意图，并对应于一个特定的局部辨别区域，例如眼睛、嘴巴等，甚至是两个人脸图像的混合边界。

步骤五：将步骤三得到的结果分别与多个注意力图进行融合，融合后分别得到基于真实人脸显著图的纹理增强的局部显著表征和基于伪造人脸显著图的纹理增强的局部显著表征；得到基于真实人脸显著图的纹理增强的局部显著表征和基于伪造人脸显著图的纹理增强的局部显著表征后，先以像素点为单位将局部显著表征转换为序列数据，并利用基于Transformer的结构对序列数据进行处理；再分别将每张真实人脸显著图的纹理增强的局部显著表征进行合并以及分别将每张伪造人脸显著图的纹理增强的局部显著表征进行合并，然后对合并后的局部显著表征进行标准化平均池化，并将池化后的标准化显著表征堆叠在一起得到纹理显著矩阵。

步骤六：对步骤四得到的多个注意力图进行拼接并作用于骨干网络特征提取层最后一层的特征图，得到全局深度特征，再将全局深度特征和步骤五得到的纹理显著矩阵一起送入分类器，实现对真实和伪造人脸的鉴别。

本步骤中所述全局深度特征的得出方法为：先对多个注意力图进行拼接得出单通道注意图，再将单通道注意图作用于骨干网络特征提取层最后一层的特征图即得到全局深度特征。

综合而言，由于真实和伪造人脸图像之间的差异往往是微妙和局部的，因而本发明基于视觉注意力机制与显著性区域检测技术相结合实现人脸的鉴伪，将人脸伪造检测重新定义为一种特殊的精细化二分类问题，使网络对不同的局部特征进行注意，同时由于伪造方法引起的伪影在纹理特征中呈现显著，将特别关注和增强上述特征的利用。此外，本发明通过提升对人脸伪造检测问题有效的不同形状和大小的伪造的描述，能够有效地提高人脸的伪造检测的速度与准确度。

实施例2

本实施例对实施例1所述方法进行了验证，如下：

在领域通用的真实人脸数据集中获取不同视觉质量的真实人脸图像样本，在FaceForensics++面部伪造数据集中获取伪造人脸图像样本，为了达到真假标签的平衡和好的模型泛化性能，分别获取50000张真实人脸图像和50000伪造人脸图像。通过实施例1所述方法对人脸图像进行鉴伪，通过步骤一进行人脸图像的预处理获得标准图像，通过步骤二使用先验知识对标准图像进行人脸检测，步骤三将图像输入骨干网络，采用EfficientNet-64作为骨干网络，得到基于纹理信息的人脸显著图，通过步骤四获得多注意力图，通过步骤五将步骤三的人脸显著图和步骤四的多注意力图结合，进行处理合并后得到纹理显著矩阵，步骤六实现最终对真实人脸和伪造人脸的鉴别。

结果表明，本发明的鉴伪准确率即评价指标ACC达到97.6％，鉴伪速度即评价指标FPS达到213.8。

此外，作为对照以评估纹理信息的重要性，剔除步骤三，即不对浅层特征的纹理信息进行加强，由于伪影在纹理信息中呈现显著，这造成网络深层对伪影的感知消失，导致网络的准确率下降4.8％。

作为对照以评估多注意力的有效性，剔除步骤四和步骤五，即仅使用单一注意力，由于真实和伪造人脸的差异通常是局部微妙的，单注意力难以捕获伪造，导致网络的准确率下降1.6％。

综合来说，本发明通过提升对人脸伪造检测问题有效的不同形状和大小的伪造的描述，有效地提高了人脸的伪造检测的速度与准确度。

以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (8)

1.一种基于不规则显著性像素簇的人脸鉴伪方法，其特征在于包括如下步骤：

步骤一：获取若干真实人脸图像和伪造人脸图像并分别对获取的图像进行预处理，得到真实人脸标准图像和伪造人脸标准图像；

步骤二：使用人脸的肤色先验知识和几何先验知识分别对真实人脸标准图像和伪造人脸标准图像进行粗处理，得到均标记有人脸候选区域的真实人脸标准图像和伪造人脸标准图像；

步骤三：通过骨干网络增强人脸候选区域中浅层特征的纹理信息，并对增强了纹理信息的真实人脸标准图像和伪造人脸标准图像进行显著性检测，得到人脸候选区域的显著性图像特征；再对人脸候选区域的显著性图像特征进行处理以最大程度保留浅层特征中的精细伪影，处理完成后得到基于纹理信息的真实人脸显著图和伪造人脸显著图；

步骤四：提取骨干网络中特定层的特征图，并将特征图输入到多注意力模块中，通过多注意力模块产生输入特征图的聚焦不同区域的多个注意力图；

步骤五：将步骤三得到的结果分别与多个注意力图进行融合，融合后分别得到基于真实人脸显著图的纹理增强的局部显著表征和基于伪造人脸显著图的纹理增强的局部显著表征；再分别将每张真实人脸显著图的纹理增强的局部显著表征进行合并以及分别将每张伪造人脸显著图的纹理增强的局部显著表征进行合并，然后对合并后的局部显著表征进行标准化平均池化，并将池化后的标准化显著表征堆叠在一起得到纹理显著矩阵；

步骤六：对步骤四得到的多个注意力图进行拼接并作用于骨干网络特征提取层最后一层的特征图，得到全局深度特征，再将全局深度特征和步骤五得到的纹理显著矩阵一起送入分类器，实现对真实和伪造人脸的鉴别。

2.根据权利要求1所述的一种基于不规则显著性像素簇的人脸鉴伪方法，其特征在于：步骤一中使用领域通用的真实人脸数据集以获取不同视觉质量的真实人脸图像，使用FaceForensics++面部伪造数据集以获取伪造人脸图像，获取的图像数量共计十万张。

3.根据权利要求1所述的一种基于不规则显著性像素簇的人脸鉴伪方法，其特征在于：步骤一中的预处理是指使用normalize操作分别对真实人脸图像和伪造人脸图像进行处理变换，处理完成后得到真实人脸标准图像和伪造人脸标准图像。

4.根据权利要求1所述的一种基于不规则显著性像素簇的人脸鉴伪方法，其特征在于：步骤二中的使用人脸的肤色先验知识和几何先验知识进行粗处理是指：建立肤色模型，计算出图像中每个像素点的肤色相似度，得出肤色轮廓，再利用人脸的几何信息，检测和标记出人脸候选区域。

5.根据权利要求1-4中任一项所述的一种基于不规则显著性像素簇的人脸鉴伪方法，其特征在于：步骤三的具体处理过程为：先将标记有人脸候选区域的真实人脸标准图像和伪造人脸标准图像输入至骨干网络中，基于残差网络思想增强人脸候选区域中浅层特征的纹理信息；再使用注意力机制和ConvLSTM对增强了纹理信息的真实人脸标准图像和伪造人脸标准图像进行显著性检测，检测完成后得到人脸候选区域的显著性图像特征；然后使用空间注意力对得到人脸候选区域的显著性图像特征进行计算编码，实现对浅层特征中的精细伪影最大程度的保留，从而得到基于纹理信息的真实人脸显著图和伪造人脸显著图。

6.根据权利要求1所述的一种基于不规则显著性像素簇的人脸鉴伪方法，其特征在于：步骤四中的多注意力模块为轻量级模型，由1×1的卷积层、批量归一化层和非线性激活层ReLU组成。

7.根据权利要求1所述的一种基于不规则显著性像素簇的人脸鉴伪方法，其特征在于：步骤五中得到基于真实人脸显著图的纹理增强的局部显著表征和基于伪造人脸显著图的纹理增强的局部显著表征后，先以像素点为单位将局部显著表征转换为序列数据，并利用基于Transformer的结构对序列数据进行处理后再进行合并。

8.根据权利要求1所述的一种基于不规则显著性像素簇的人脸鉴伪方法，其特征在于：步骤六中全局深度特征的得出方法为：先对多个注意力图进行拼接得出单通道注意图，再将单通道注意图作用于骨干网络特征提取层最后一层的特征图即得到全局深度特征。

Images