CN111611873A - 人脸替换检测方法及装置、电子设备、计算机存储介质 - Google Patents

Abstract

本申请揭示了一种人脸替换检测方法及装置，涉及人工智能技术领域。该方法包括：对待检测的视频流进行图像帧提取，获得所述视频流对应的图像序列；将所述图像序列中相邻的两帧图像作为一图像对，提取所述图像序列中各个图像对的图像对特征；根据所述各个图像对的图像对特征，分别获取所述各个图像对的光流特征，所述光流特征反映了所述各个图像对中后一帧图像相对前一帧图像的像素运动信息；根据所述图像序列中每帧图像的图像特征，以及所述图像序列中各个图像对的光流特征，进行所述图像序列中连续图像所含有人脸特征变化的识别，获得所述视频流中发生人脸替换的概率。本申请能够预测出视频流中发生人脸替换的概率。

Description

人脸替换检测方法及装置、电子设备、计算机存储介质

技术领域

本申请涉及人工智能技术领域，特别涉及一种人脸替换检测方法及装置、电子设备、计算机可读存储介质。

背景技术

随着人工智能技术的发展，尤其是图像生成技术的不断进步，目前已经可以生成一些原本不存在的超现实视频，通过人眼很难分辨其真实性。此项技术的不正当使用会带来不同程度的安全风险，例如在人脸替换应用场景中，容易导致用户隐私信息泄露，也可能给个人或者集体的名誉带来损失，甚至影响司法公正。因此，针对视频中人脸真实性的鉴别十分有必要。

目前对于视频中人脸真实性的检测一般是通过人脸识别和活体检测共同实现的，在检测到合法用户的情况下，需进一步确定用户的可活动性，但是这种检测技术无法应用于人脸替换的场景中。

由此，如何鉴别视频中存在人脸替换的情况是亟待解决的技术问题。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

为了解决上述技术问题，本申请提供了一种人脸替换检测方法及装置、电子设备、计算机可读存储介质。

本申请所揭示的技术方案包括：

一种人脸替换检测方法，包括：对待检测的视频流进行图像帧提取，获得所述视频流对应的图像序列；将所述图像序列中相邻的两帧图像作为一图像对，提取所述图像序列中各个图像对的图像对特征；根据所述各个图像对的图像对特征，分别获取所述各个图像对的光流特征，所述光流特征反映了所述各个图像对中后一帧图像相对前一帧图像的像素运动信息；根据所述图像序列中连续图像的图像特征，以及所述图像序列中各个图像对的光流特征，进行所述图像序列中每帧图像所含有人脸特征变化的识别，获得所述视频流中发生人脸替换的概率。

在一个示例性实施例中，所述将所述图像序列中相邻的两帧图像作为一图像对，提取所述图像序列中各个图像对的图像对特征，包括：通过提取所述图像序列中每帧图像在空间维度和通道维度上的特征信息，获得所述每帧图像的原始图像特征；将所述图像序列中的各个图像对所含有图像的原始图像特征依次堆叠，获得所述各个图像对的原始图像对特征，所述原始图像对特征含有所述图像对在时间维度上的特征信息；依次对所述各个原始图像对特征进行所述时间维度和所述通道维度上的特征分离处理，获得所述各个图像对的图像对特征。

在一个示例性实施例中，所述根据所述各个图像对的图像对特征，分别获取所述各个图像对的光流特征，包括：通过对所述图像对特征进行特征压缩处理，获得所述图像对的压缩特征，所述压缩特征中含有压缩的所述图像对的光流信息；将所述压缩特征进行特征放大处理，获得所述图像对的光流特征。

在一个示例性实施例中，所述根据所述图像序列中每帧图像的图像特征，以及所述图像序列中各个图像对的光流特征，进行所述图像序列中连续图像所含有人脸特征变化的识别，获得所述视频流中发生人脸替换的概率，包括：根据所述图像序列中每帧图像的图像特征，确定所述视频流中首次含有人脸特征的目标图像，并将所述人脸特征获取为目标特征；以所述目标图像所在的图像对为起始，在所述图像序列中进行所述目标特征的跟踪，并根据所述视频流中各个图像对的光流特征，，对比所述各个图像对中前一帧图像与后一帧图像的图像特征差异，获得所述各个图像对所对应的对比结果；根据所述各个图像对所对应的对比结果，预测所述视频流中发生人脸替换的概率。

在一个示例性实施例中，所述对待检测的视频流进行图像帧提取，获得所述视频流对应的图像序列，包括：在对待检测的视频流进行图像帧提取的过程中，根据提取的每帧图像的图像特征，识别所述视频流中的关键图像；将所述关键图像构成的图像集合获取为所述视频流对应的图像序列。

在一个示例性实施例中，所述根据所述图像序列中每帧图像的图像特征，以及所述图像序列中各个图像对的光流特征，进行所述图像序列中连续图像所含有人脸特征变化的识别，获得所述视频流中发生人脸替换的概率的步骤由预先训练的人脸替换概率预测模型执行，所述人脸替换概率预测模型的训练方法包括：获取若干含有真实人脸特征的视频正样本，以及含有虚拟人脸特征的视频负样本；将混合的所述视频正样本和所述视频负样本作为训练样本数据，进行所述人脸替换概率预测模型的迭代训练，直至所述人脸替换概率预测模型收敛。

一种人脸替换检测装置，包括：图像帧提取模块，用于对待检测的视频流进行图像帧提取，获得所述视频流对应的图像序列；图像对特征提取模块，用于将所述图像序列中相邻的两帧图像作为一图像对，提取所述图像序列中各个图像对的图像对特征；光流特征提取模块，用于根据所述各个图像对的图像对特征，分别获取所述各个图像对的光流特征，所述光流特征反映了所述各个图像对中后一帧图像相对前一帧图像的像素运动信息；人脸替换预测模块，用于根据所述图像序列中每帧图像的图像特征，以及所述图像序列中各个图像对的光流特征，进行所述图像序列中连续图像所含有人脸特征变化的识别，获得所述视频流中发生人脸替换的概率。

在一个示例性实施例中，所述人脸替换预测模块包括：目标特征获取单元，用于根据所述图像序列中每帧图像的图像特征，确定所述视频流中首次含有人脸特征的目标图像，并将所述人脸特征获取为目标特征；图像特征对比单元，用于以所述目标图像所在的图像对为起始，根据所述视频流中各个图像对的光流特征，在所述视频流中进行所述目标特征的跟踪，并对比所述各个图像对中前一帧图像与后一帧图像的图像特征差异，获得所述各个图像对所对应的对比结果；人脸替换概率预测单元，用于根据所述各个图像对所对应的对比结果，预测所述视频流中发生人脸替换的概率。

一种电子设备，包括处理器和存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如前任一项所述的人脸替换检测方法。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如前任一项所述的人脸替换检测方法。

本申请实施例提供的技术方案可以包括以下有益效果：

在上述技术方案中，通过对待检测的视频流进行图像帧提取，获得视频流对应的图像序列，然后将图像序列中相邻的两帧图像作为一图像对，提取图像序列中各个图像对的图像对特征。根据各个图像对特征，进而能够获取各个图像对的光流特征，光流特征能够反映图像对中前后两帧图像之间的像素变化，因此根据各个图像对的光流特征，并结合图像序列中每帧图像的图像特征，可以获取视频流中人脸特征可能发生变化的情况，进而能够预测出视频流中发生人脸替换的概率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并于说明书一起用于解释本申请的原理。

图1是根据一示例性实施例示出的一种人脸替换检测方法的流程图；

图2是图1所示实施例中步骤110在一个实施例的流程图；

图3是图1所示实施例中步骤120在一个实施例的流程图；

图4是根据一示例性实施例示出的一种针对原始图像对特征进行特征分离的示意图；

图5是图1所示实施例中步骤130在一个实施例的流程图；

图6是图1所示实施例中步骤140在一个实施例的流程图；

图7是根据一示例性实施例示出的一种人脸替换检测装置的框图。

图8是根据一示例性实施例示出的一种服务器的硬件结构示意图；

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述，这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

如前所述，在现有的技术实现中，对于视频中人脸真实性的检测依赖于人脸识别技术和活体检测技术，在根据视频中的人脸能够确定相应合法用户的情况下，进一步确定该合法用户的可移动性，即可确定视频中的人脸为合法用户的真实人脸。

人脸替换技术通过对用户的人脸特征进行替换，进而改变视频中用户人脸的成像。也即使说，人脸替换技术可以将视频中A用户的脸部图像替换为B用户的脸部图像，但是视频中用户的行为实际上是A用户的真实行为。

此项技术的不正当使用会带来不同程度的安全风险。举例来说，在各类互联网***的用户识别应用中，例如网上银行***，违法者可以通过此项技术伪造含有合法用户人脸的视频，进而能够绕过常规的人脸识别和活体检测，骗取互联网***的信任，因此十分有必要针对视频中人脸真实性进行鉴别。

基于此，本申请的实施例提出了一种人脸替换检测方法、装置、电子设备以及计算机可读存储介质，用以对视频中存在人脸替换的可能性进行检测，由此避免人脸替换技术的不正当使用所导致的安全风险。

图1是根据一示例性实施例示出的一种人脸替换检测方法的流程图。如图1所示，该方法至少包括以下步骤：

步骤110，对待检测的视频流进行图像帧提取，获得视频流对应的图像序列。

其中，考虑到人脸替换是基于原始的人脸图像进行相应处理实现的，真实发生人脸替换的视频中必然存在脸部特征发生变化的过程，只是此过程通常不易于被肉眼发现。

在实现人脸替换后，随着原始人脸进行的移动、表情变化、面部动作等行为，所替换人脸的脸部特征也将在视频中进行相应替换。由此，可以在视频中进行脸部特征替换过程的检测，如果检测到视频中含有脸部替换的过程，则表示视频中进行了人脸替换。

在本实施例中，对待检测的视频流进行图像帧提取，是为了获取视频流中的各帧图像，进而通过对各帧图像中像素的变化情况进行分析，确定视频流中是否存在人脸替换的过程。

而在所得视频流对应的图像序列中，各帧图像按照视频流中所进行图像帧提取的顺序依次排列。

由于人脸替换是通过计算机技术处理实现的，脸部特征替换的过程是非常短暂的，为了保证人脸替换检测的准确性，可以对视频流逐帧进行图像提取，也即依次提取视频流中的每帧图像，使得视频流对应的图像序列中不会遗漏体现脸部特征替换过程的相关信息，但是此过程需要相应的硬件设备具备较佳的处理性能，否则会导致人脸替换检测的速度十分缓慢。

为提升人脸替换检测的速度，可以根据硬件设备的处理性能对图像帧的提取速率进行适应性调整，例如以设定的帧间隔对视频流中的图像帧进行周期性提取，但是提取每帧图像的间隔时间不能过程，否则会极大地增加图像序列中脸部特征的替换信息遗漏的可能性。

步骤120，将图像序列中相邻的两帧图像作为一图像对，提取图像序列中各个图像对的图像对特征。

其中，通过将视频流对应的图像序列中相邻的两帧图像作为一图像对，即可获得若干时间顺序上的图像对。各个图像对所反映的图像信息在时间上的变化情况，可以作为判断视频流中是否含有脸部特征替换的其中一种依据。

并且，图像对由相邻的两帧图像构成，相邻的两帧图像在时间上也具有前后对应关系，因此每个图像对中相邻两帧图像之间的相关性也可以作为判断视频流中是否含有脸部特征替换的依据。

由此，本实施例所提取图像序列中各个图像对所对应的图像对特征，能够反映相邻的每帧图像之间的运动信息，进而可以通过对这些运动信息进行分析，得到视频流中是否含有脸部特征替换的图像帧信息。

步骤130，根据各个图像对的图像对特征，分别获取各个图像对的光流特征，光流特征反映了各个图像对中后一帧图像相对前一帧图像的像素移动信息。

其中，光流是由于场景中目标本身的运动、相机的运动或者两者的共同运动所产生的相关运动信息。

图像对的光流特取过程，即是利用图像对中前后两帧图像的像素在时间上的变化情况，以及图像对中前后两帧图像之间的相关性，来找到前后两帧图像之间存在的对应关系，从而计算出这两帧图像之间的运动信息。

由此，图像对中后一帧图像中的像素相对前一帧图像中的像素的运动信息可以通过图像对的光流特征来体现。根据图像中各个像素点的移动，即可得知上一帧图像中的各个像素在下一帧图像中的位置，进而可以通过像素位置的对比情况来判断脸部特征的变化情况。

步骤140，根据图像序列中每帧图像的图像特征，以及图像序列中各个图像对的光流特征，进行图像序列中连续图像所含有人脸特征变化的识别，获得视频流中发生人脸替换的概率。

其中，根据图像序列中每帧图像的图像特征，可以确定视频流中首次出现的人脸的脸部特征。如果后续检测到此脸部特征发生替换，即可确定视频流中存在人脸替换的情况。

由于图像序列中各个图像对的光流特征能够反映相邻的两帧图像之间的运动信息，因此在确定视频流中首次出现的人脸的脸部特征的情况下，结合图像序列中各个图像对的光流特征可以确定此脸部特征是否发生变化。

由此，本实施例根据视频流所对应的图像序列中各个图像对的光流特征，以及图像序列中每帧图像的图像特征，能够识别到视频流中首次出现的人脸对应的脸部特征在时间维护上是否发生变化，进而能够判断视频流中是否发生了人脸替换。因此，通过本实施例提供的方法，能够避免人脸替换技术的不正当使用所导致的安全风险。

图2是图1所示实施例中步骤110在一个示例性实施例中的流程图。如图2所示，步骤110至少包括以下步骤：

步骤111，在对待检测的视频流进行图像帧提取的过程中，根据提取的每帧图像的图像特征，识别视频流中的关键图像；

步骤112，将关键图像构成的图像集合获取为视频流对应的图像序列。

首先需要说明的是，对待检测的视频流进行图像帧提取的过程请参加图1所示实施例中步骤110对应描述的内容，本处不进行赘述。

视频流中的关键图像是指视频流中对于人脸替换的检测过程具有较高贡献的图像，示例性的，视频流中的关键图像包括但不限于图像特征相对于相邻图像的图像特征具有较大差异的图像、视频流中含有人脸的首帧图像、含有人脸的首帧图像后在时间上相距指定间隔的图像，视频流中的其它图像即对应称为非关键图像。

在确定视频流中关键图像中，还可以对这些关键图像进行标记，以便于后续进行这些关键图像的提取。

还需要说明的是，在本实施例中，所确定关键图像的数量应当远大于非关键图像的数量，由此保证视频流对应的图像序列中不会遗漏与脸部特征替换相关的图像信息。

通过本实施例提供的方法，能够进一步降低硬件设备进行人脸替换检测所需的处理量，进而能够提升硬件设备进行人脸替换检测的速率，同时降低对于硬件设备的硬件需求。

图3是图1所示实施例中步骤120在一个示例性实施例中的流程图。如图3所示，步骤120至少包括以下步骤：

步骤121，通过提取图像序列中每帧图像在空间维度和通道维度上的特征信息，获得每帧图像的原始图像特征。

其中，对图像序列中每帧图像在空间维度和通道维度上的特征信息的提取，是通过卷积网络分别对每帧图像的图像数据进行卷积处理所实现的。示例性的，可以通过ResNet(Residual Network，残差网络)、MobileNet(是针对移动端以及嵌入式视觉的应用提出的一类网络模型)、ShuffleNet(也是一种针对移动端以及嵌入式视觉的应用提出的网络模型)等卷积网络对每帧图像进行特征信息的提取。

图像特征提取实质是卷积网络针对图像大小、图像中各个像素的像素值等图像数据执行神经元的相关计算的过程。应当理解，图像的空间维度即对应于图像大小(图像大小与图像的分辨率有关)，图像的通道维度对应于卷积网络中执行特征提取的神经元数量。

每帧图像的原始图像特征可以表示为(H，W，C)，其中H以及W分别表示每帧图像的宽和高，C表示每帧图像的通道信息。

步骤122，将图像序列中的各个图像对所含有图像的原始图像特征依次堆叠，获得各个图像对的原始图像对特征，原始图像对特征含有图像对在时间维度上的特征信息。

其中，原始图像对特征所在的时间维度是指相应图像对中含有的数量，在本实施例，图像对所对应的时间维度为2。

通过将各个图像对所含有图像的原始图像特征依次堆叠，所得到的原始图像对特征可以表示为(H，W，C，T)，其中T表示图像对的时间维度。由此，各个原始图像对特征中含有了时序信息。

步骤123，依次对各个原始图像对特征进行时间维度和通道维度上的特征分离处理，获得各个图像对的图像对特征。

其中，依次对各个原始图像对特征进行时间维度和通道维度上的特征分离处理，是依次利用逐点卷积网络(Pointwise Convolution)和深度卷积网络(DepthwiseConvolution)对各个原始图像对特征进行卷积处理的过程。

在逐点卷积网络中，所含有逐点卷积核的数量与步骤121中提取每帧图像的原始图像特征的卷积网络输出的通道数量相同，每个逐点卷积核在各个原始图像对特征的时间维度上执行卷积操作，因此理解为是分离出各个原始图像对特征在时间维度上的特征信息。

在深度卷积网络中，所含有深度卷积核的数量与逐点卷积网络输出的中间特征在通道维度上的通道数量相同，每个深度卷积核分别执行各个中间特征在通道维度上的卷积操作，因此理解为是进一步分离出各个原始图像对特征在通道维度上的特征信息。

如图4所示，在一个示例性实施例中，原始图像对特征表示为1×1×3×2，其中“1×1”表示原始图像对特征的空间维度，“3”表示原始图像对特征的通道维度，“2”表示原始图像对特征的时间维度。

逐点卷积网络中含有3个尺寸为1×1×3的逐点卷积核，逐点卷积核每次取一个时间点执行对原始图像对特征的卷积操作，在每一个时间点上，逐点卷积核对原始图像对特征在对应时间点上的全部特征元素进行卷积计算，获得中间特征。中间特征与原始图像对特征相比，虽然通道维度上发生了变化，但时间维度保持不变。

深度卷积网络中含有3个尺寸为1×1×3的深度卷积核，深度卷积网络分别为每一深度卷积核分配有相应的通道，使得每个深度卷积核分别执行中间特征在所分配通道上的卷积计算，获得图像对特征。深度卷积网络并不改变中间特征的通道和时间维度，只是将中间特征在通道维度上进行分离处理。

对图像序列中的各个图像对来说，由于图像对特征通是对中间特征执行通道维度上的特征提取结果，而中间特征是通过对原始图像对特征执行时间维度上的特征提取得到的，因此图像对特征与原始图像对特征相比，增强了图像对的视频特征信息在时间维度上的特征表达。

由此，基于本实施例所得到的各个图像对的图像对特征中加强了前后两帧图像之间的时间信息，通过该时间信息有利于后续步骤中更加精确地识别视频流中存在的人脸替换。

图5是图1所示实施例中步骤130在一个示例性实施例的流程图。如图5所示，步骤130至少包括以下步骤：

步骤131，通过对图像对特征进行特征压缩处理，获得图像对的压缩特征，压缩特征中含有图像对的光流信息；

步骤132，将压缩特征进行特征放大处理，获得图像对的光流特征。

在本实施例中，采用光流法来对图像对的光流特征进行预测。光流法是利用图像对中像素在时间域上的变化以及图像对中前后两帧图像之间的相关性，计算出图像对中相邻两帧图像之间物体的运动信息。

由于光流特征的预测涉及到图像中每个像素点的精确的位置信息，这不仅涉及到每帧图像的特征信息，还涉及到相邻两帧图像之间对应像素点的关联，因此用于光流特征预测的卷积网络与常见的卷积网络不同。

本实施例提取光流特征的卷积网络含有特征压缩部分和特征放大部分，其中特征压缩部分用于对图像对特征进行特征压缩处理，以深度地提取图像对中两帧图像的光流信息。

在一个实施例中，特征压缩部分可以采用flownetsimple网络模型具体实现。flownetsimple网络模型具有9个卷积网络层，每个卷积网络层的卷积步长为2，并且卷积网络层的卷积核随着卷积的深入逐渐减小，使得flownetsimple网络模型针对图像对特征进行逐层卷积计算的过程中，图像对中的两帧图像的分辨率会降低，使得光流信息被压缩。

由于特征压缩部分会使得图像对中两帧图像的分辨率降低，影响光流特征预测的准确性，因此需利用特征放大部分对压缩特征进行特征放大处理，以将光流特征恢复至高像素状态，由此能够进一步地提升视频流中人脸替换识别的精确性。示例性的，特征放大部分由unpooling(反向池化，与池化卷积网络相反，用于扩大特征)卷积网络和普通卷积网络构成，通过进行压缩特征的放大处理，能够使得压缩特征中含有的光流信息恢复至正常状态。

图6是图1所示实施例中步骤140在一个示例性实施例的流程图。如图6所示，步骤140至少包括以下步骤：

步骤141，根据图像序列中每帧图像的图像特征，确定视频流中首次含有人脸特征的目标图像，并将人脸特征获取为目标特征。

如前所述，人脸替换是基于原始的人脸图像进行相应处理实现的，因此视频流中首次出现的人脸极有可能是被执行人脸替换的目标，如果后续视频流中出现了其它人脸，则表示视频流中存在人脸替换。

基于此，本实施例需要确定视频流中首次含有人脸特征的目标图像，并将这些人脸特征确定为目标特征。

需要说明的是，视频流中首次出现的人脸，可以是根据视频流中各帧图像的图像特征进行人脸识别所得到的关于某个确定用户的人脸，也可以是进行人脸特征比对得到人脸，该人脸并非对应于某个确定的用户，只需具有一定的人脸形态即可，例如图像特征中含有五官特征。

步骤142，以目标图像所在的图像对为起始，在图像序列中进行目标特征的跟踪，并根据视频流中各个图像对的光流特征，对比各个图像对中前一帧图像与后一帧图像的图像特征差异，获得各个图像对所对应的对比结果。

由于图像序列中各个图像对的光流特征能够反映相邻的两帧图像之间的运动信息，因此在确定视频流中首次出现的人脸的脸部特征的情况下，结合图像序列中各个图像对的光流特征可以确定此脸部特征是否发生变化。

例如，针对每一图像对中的前一帧图像，都可以根据时间维度上的特征信息确定各像素在后一帧图像中的位置，然后针对所确定位置的像素进行对比，例如计算特征相似性。

由此，在本实施例中，以目标图像所在的图像对为起始，在视频流中进行目标特征的跟踪，并根据视频流中各个图像对的光流特征，对比各个图像对中前一帧图像与后一帧图像的图像特征差异，进而能够根据相应的对比结果检测到在视频流中首次出现的目标特征在时间维度上是否发生变化，进而能够判断视频流中是否发生了人脸替换。

步骤143，根据各个图像对所对应的对比结果，预测视频流中发生人脸替换的概率。

其中，对视频流中发生人脸替换的概率的预测过程，实质上是进行样本分类的过程，根据各图像对所对应的对比结果预测目标特征发生替换的概率，从而得到视频流中发生人脸替换的概率。在一个实施例中，如果所得概率大于设定阈值，则可以确定视频流中发生人脸替换，反之则确定视频流中为发生人脸替换。

由此，通过本实施例提供的方法，可以准确地获得视频流中为发生人脸替换的可能性大小。

在另一示例性的实施例中，图6所示方法由预先训练的人脸替换概率预测模型具体执行，通过将图像序列中每帧图像的图像特征、视频流中各个图像对的光流特征等信息输入人脸替换概率预测模型，即可相应获得人脸替换概率预测模型输出的视频流中发生人脸替换的概率值。

在人脸替换概率预测模型的训练中，需要获取若干含有真实人脸特征的视频正样本，以及含有虚拟人脸特征的视频负样本，并将混合的视频正样本和视频负样本作为训练样本数据，进行人脸替换概率预测模型的迭代训练，直至人脸替换概率预测模型收敛。

示例性的，视频正样本可以是一些活体检测的用户视频，其中含有用户人脸的动态过程，例如含有眨眼、抬头等用户动态动作。视频负样本可以是使用图像生成技术将包含人脸的视频数据中的人脸替换成其他的虚拟人脸的伪造视频，所涉及的图像生成技术包括但不限于基于深度学习的图像生成技术和基于传统图像处理方法的技术，例如PS等。

在人脸替换概率预测模型的迭代训练中，需根据每次训练的结果计算训练的损失值，并根据损失值反向传播，更新人脸替换概率预测模型的模型参数，并以更新的人脸替换概率预测模型继续进行下一次训练，直至得到的损失值小于设定阈值，即表示人脸替换概率预测模型收敛。

图7是根据一示例性实施例示出的一种人脸替换检测装置的框图。如图7所示，该装置至少包括图像帧提取模块210、图像对特征提取模块220、光流特征提取模块230和人脸替换预测模块240。

图像帧提取模块210用于对待检测的视频流进行图像帧提取，获得视频流对应的图像序列。

图像对特征提取模块220用于将图像序列中相邻的两帧图像作为一图像对，提取图像序列中各个图像对的图像对特征。

光流特征提取模块230用于根据各个图像对的图像对特征，分别获取各个图像对的光流特征，光流特征反映了所述图像对中后一帧图像相对前一帧图像的像素运动信息。

人脸替换预测模块240用于根据图像序列中每帧图像的图像特征，以及图像序列中各个图像对的光流特征，进行图像序列中连续图像所含有人脸特征变化的识别，获得视频流中发生人脸替换的概率。

在另一示例性的实施例中，图像帧提取模块210包括关键帧识别单元和图像序列获取单元。

关键帧识别单元用于在对待检测的视频流进行图像帧提取的过程中，根据提取的每帧图像的图像特征，识别视频流中的关键图像。

图像序列获取单元用于将关键图像构成的图像集合获取为视频流对应的图像序列。

在另一示例性的实施例中，图像对特征提取模块220包括特征提取单元、特征堆叠单元和特征分离单元。

特征提取单元用于通过提取图像序列中每帧图像在空间维度和通道维度上的特征信息，获得每帧图像的原始图像特征。

特征堆叠单元用于将图像序列中的各个图像对所含有图像的原始图像特征依次堆叠，获得各个图像对的原始图像对特征，原始图像对特征含有图像对在时间维度上的特征信息。

特征分离单元用于依次对各个原始图像对特征进行时间维度和通道维度上的特征分离处理，获得各个图像对的图像对特征。

在另一示例性的实施例中，光流特征提取模块230包括特征压缩单元和特征放大单元。

特征压缩单元用于通过对图像对特征进行特征压缩处理，获得图像对的压缩特征，压缩特征中含有压缩的图像对的光流信息。

特征放大单元用于将压缩特征进行特征放大处理，获得图像对的光流特征。

在另一示例性的实施例中，人脸替换预测模块240包括目标特征获取单元、图像特征对比单元和人脸替换概率预测单元。

目标特征获取单元用于根据图像序列中每帧图像的图像特征，确定视频流中首次含有人脸特征的目标图像，并将该人脸特征获取为目标特征。

图像特征对比单元用于以目标图像所在的图像对为起始，根据视频流中各个图像对的光流特征，在图像序列中进行目标特征的跟踪，并对比各个图像对中前一帧图像与后一帧图像的图像特征差异，获得各个图像对所对应的对比结果。

人脸替换概率预测单元用于根据各个图像对所对应的对比结果，预测视频流中发生人脸替换的概率。

需要说明的是，上述实施例所提供的装置与上述实施例所提供的方法属于同一构思，其中各个模块执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。

在一示例性的实施例中，本申请还提供一种电子设备，该设备包括处理器和存储器，该存储器上存储有计算机可读指令，该计算机可读指令被处理器执行时，实现如前所述的人脸替换检测方法。

图8是根据一示例性实施例所示出的一种电子设备的硬件示意图。

需要说明的是，该电子设备只是一个适配于本申请的示例，不能认为是提供了对本申请的使用范围的任何限制。该电子设备也不能解释为需要依赖于或者必须具有图2中示出的示例性的电子设备中的一个或者多个组件。

该电子设备的硬件结构可因配置或者性能的不同而产生较大的差异，如图8所示，电子设备包括：电源310、接口330、至少一存储器350、以及至少一中央处理器(CPU，CentralProcessing Units)370。

其中，电源310用于为电子设备上的各硬件设备提供工作电压。

接口330包括至少一有线或无线网络接口331、至少一串并转换接口333、至少一输入输出接口335以及至少一USB接口337等，用于与外部设备通信。

存储器350作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源包括操作***351、应用程序353或者数据355等，存储方式可以是短暂存储或者永久存储。

其中，操作***351用于管理与控制电子设备上的各硬件设备以及应用程序353，以实现中央处理器370对海量数据355的计算与处理，其可以是Windows ServerTM、Mac OSXTM、UnixTM、LinuxTM等。应用程序353是基于操作***351之上完成至少一项特定工作的计算机程序，其可以包括至少一模块(图8中未示出)，每个模块都可以分别包含有对电子设备的一系列计算机可读指令。数据355可以是存储于磁盘中的神经网络数据等。

中央处理器370可以包括一个或多个以上的处理器，并设置为通过总线与存储器350通信，用于运算与处理存储器350中的海量数据355。

如上面所详细描述的，适用本申请的电子设备将通过中央处理器370读取存储器350中存储的一系列计算机可读指令的形式来完成以下实施例所述的人脸替换检测方法。

此外，通过硬件电路或者硬件电路结合软件指令也能同样实现本申请，因此实现本申请并不限于任何特定硬件电路、软件以及两者的组合。

在一示例性的实施例中，本申请还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如前所述的人脸替换检测方法。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围执行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种人脸替换检测方法，其特征在于，包括：

对待检测的视频流进行图像帧提取，获得所述视频流对应的图像序列；

将所述图像序列中相邻的两帧图像作为一图像对，提取所述图像序列中各个图像对的图像对特征；

根据所述各个图像对的图像对特征，分别获取所述各个图像对的光流特征，所述光流特征反映了所述各个图像对中后一帧图像相对前一帧图像的像素运动信息；

根据所述图像序列中每帧图像的图像特征，以及所述图像序列中各个图像对的光流特征，进行所述图像序列中连续图像所含有人脸特征变化的识别，获得所述视频流中发生人脸替换的概率。

2.根据权利要求1所述的方法，其特征在于，所述将所述图像序列中相邻的两帧图像作为一图像对，提取所述图像序列中各个图像对的图像对特征，包括：

通过提取所述图像序列中每帧图像在空间维度和通道维度上的特征信息，获得所述每帧图像的原始图像特征；

将所述图像序列中的各个图像对所含有图像的原始图像特征依次堆叠，获得所述各个图像对的原始图像对特征，所述原始图像对特征含有所述图像对在时间维度上的特征信息；

依次对所述各个原始图像对特征进行所述时间维度和所述通道维度上的特征分离处理，获得所述各个图像对的图像对特征。

3.根据权利要求1所述的方法，其特征在于，所述根据所述各个图像对的图像对特征，分别获取所述各个图像对的光流特征，包括：

通过对所述图像对特征进行特征压缩处理，获得所述图像对的压缩特征，所述压缩特征中含有压缩的所述图像对的光流信息；

将所述压缩特征进行特征放大处理，获得所述图像对的光流特征。

4.根据权利要求1所述的方法，其特征在于，所述根据所述图像序列中每帧图像的图像特征，以及所述图像序列中各个图像对的光流特征，进行所述图像序列中连续图像所含有人脸特征变化的识别，获得所述视频流中发生人脸替换的概率，包括：

根据所述图像序列中每帧图像的图像特征，确定所述视频流中首次含有人脸特征的目标图像，并将所述人脸特征获取为目标特征；

以所述目标图像所在的图像对为起始，在所述图像序列中进行所述目标特征的跟踪，并根据所述视频流中各个图像对的光流特征，对比所述各个图像对中前一帧图像与后一帧图像的图像特征差异，获得所述各个图像对所对应的对比结果；

根据所述各个图像对所对应的对比结果，预测所述视频流中发生人脸替换的概率。

5.根据权利要求1-4中任一项所述的方法，其特征在于，所述对待检测的视频流进行图像帧提取，获得所述视频流对应的图像序列，包括：

在对待检测的视频流进行图像帧提取的过程中，根据提取的每帧图像的图像特征，识别所述视频流中的关键图像；

将所述关键图像构成的图像集合获取为所述视频流对应的图像序列。

6.根据权利要求1所述的方法，其特征在于，所述根据所述图像序列中每帧图像的图像特征，以及所述图像序列中各个图像对的光流特征，进行所述图像序列中连续图像所含有人脸特征变化的识别，获得所述视频流中发生人脸替换的概率的步骤由预先训练的人脸替换概率预测模型执行，所述人脸替换概率预测模型的训练方法包括：

获取若干含有真实人脸特征的视频正样本，以及含有虚拟人脸特征的视频负样本；

将混合的所述视频正样本和所述视频负样本作为训练样本数据，进行所述人脸替换概率预测模型的迭代训练，直至所述人脸替换概率预测模型收敛。

7.一种人脸替换检测装置，其特征在于，包括：

图像帧提取模块，用于对待检测的视频流进行图像帧提取，获得所述视频流对应的图像序列；

图像对特征提取模块，用于将所述图像序列中相邻的两帧图像作为一图像对，提取所述图像序列中各个图像对的图像对特征；

光流特征提取模块，用于根据所述各个图像对的图像对特征，分别获取所述各个图像对的光流特征，所述光流特征反映了所述各个图像对中后一帧图像相对前一帧图像的像素运动信息；

人脸替换预测模块，用于根据所述图像序列中每帧图像的图像特征，以及所述图像序列中各个图像对的光流特征，进行所述图像序列中连续图像所含有人脸特征变化的识别，获得所述视频流中发生人脸替换的概率。

8.根据权利要求7所述的装置，其特征在于，所述人脸替换预测模块包括：

目标特征获取单元，用于根据所述图像序列中每帧图像的图像特征，确定所述视频流中首次含有人脸特征的目标图像，并将所述人脸特征获取为目标特征；

图像特征对比单元，用于以所述目标图像所在的图像对为起始，根据所述视频流中各个图像对的光流特征，在所述视频流中进行所述目标特征的跟踪，并对比所述各个图像对中前一帧图像与后一帧图像的图像特征差异，获得所述各个图像对所对应的对比结果；

人脸替换概率预测单元，用于根据所述各个图像对所对应的对比结果，预测所述视频流中发生人脸替换的概率。

9.一种电子设备，其特征在于，包括：

存储器，存储有计算机可读指令；

处理器，读取存储器存储的计算机可读指令，以执行权利要求1-6中的任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行权利要求1-6中的任一项所述的方法。

Images