CN115953822A - 一种基于rPPG生理信号的人脸视频鉴伪方法和装置 - Google Patents

Abstract

本发明公开一种基于rPPG生理信号的人脸视频鉴伪方法和装置，该方法包括以下步骤：步骤一：采集人脸视频与手指PPG信号，构建PPG信号视频数据集；搜集真实人脸视频与伪造人脸视频，构建鉴伪数据集；步骤二：使用PPG信号视频数据集作为训练数据，训练得到rPPG信号提取网络；步骤三：使用鉴伪数据集，利用步骤二训练得到的rPPG信号提取网络提取rPPG信号，后输入二元决策网络并进行网络训练；步骤四：使用通过步骤二训练获得的rPPG信号提取网络和步骤三训练获得的二元决策网络，对待检测的视频进行真伪判断。本发明使用难以伪造的rPPG生理信号用于分辨人脸伪造合成视频，可以有效提升判断准确率。

Description

一种基于rPPG生理信号的人脸视频鉴伪方法和装置

技术领域

本发明属于计算机视觉、视频鉴伪领域，涉及一种基于rPPG生理信号的人脸视频鉴伪方法和装置。

背景技术

近几年来，随着深度学习的不断发展，各种换脸技术正在网络上逐渐兴起。多数的换脸技术以Deepfakes为基础，将图片和视频中的人脸进行修改和替换，达到以假乱真的效果，因此这类技术给社会带来了一定的安全隐患。

从最初的Deepfakes到最新的StyleGAN，人脸伪造技术所伪造出来的图像肉眼已经难以鉴别真伪，面对不断更新的人脸伪造技术，学术界和工业界也在积极探索人脸伪造的鉴别技术，从传统的图像取证方法到深度学习方法，从人脸的边缘轮廓、眨眼、张嘴和眼球转动行为到基于脉搏心率的生理信号方法。对于视频鉴伪问题，单纯依赖面部图像特征进行视频真伪的判断难以应对越来越先进的伪造手段。rPPG技术是借助光电手段在活体组织中检测血液容积变化的一种无创生理信号检测方法。rPPG生理信号是通过远程测量的一种信号,即基于视频进行测量得到的信号,通过该信号可以计算出心率。在心脏搏动周期内，外周血管中的微动脉、毛细血管和微静脉内流过的血液也相应呈脉动性变化。rPPG信号被广泛应用于人脸活体检测应用之中，这主要是因为针对真实人脸,当一定波长的光束照射到面部皮肤表面后，该血液脉动性的变化将导致对光的吸收也呈脉动性变化。通过普通摄像头对rPPG信号的捕捉，可以反映出血流流动的特点进而推算出生理信号值。而针对于虚假人脸，由于没有真实人脸皮肤，面部光线反射回摄像机的rPPG信号与真实人脸具有显著差异。由于生成的虚假人脸视频没有真实的rPPG信号，现有的伪造技术无法针对rPPG生理信号进行仿真伪造，基于上述的特征，我们认为rPPG信号在人脸视频鉴伪领域同样可以发挥出重要作用，以解决图像特征难以判断伪造人脸视频真伪的问题。

发明内容

为了解决现有技术中存在的上述技术问题，本发明提出了一种基于rPPG生理信号的人脸视频鉴伪方法和装置，其具体技术方案如下：

一种基于rPPG生理信号的人脸视频鉴伪方法，包括以下步骤：

步骤一：采集人脸视频与手指PPG信号，构建PPG信号视频数据集；搜集真实人脸视频与伪造人脸视频，构建鉴伪数据集；

步骤二：使用PPG信号视频数据集作为训练数据，训练得到rPPG信号提取网络；

步骤三：使用鉴伪数据集，利用步骤二中训练得到的rPPG信号提取网络提取rPPG信号，后输入二元决策网络并进行网络训练，获得训练好的二元决策网络；

步骤四：使用通过步骤二训练获得的rPPG信号提取网络和步骤三训练获得的二元决策网络，对待检测的视频进行真伪判断。

进一步的，所述步骤一，具体为：分别使用高光谱摄像设备和血氧仪采集高光谱人脸视频和手指PPG信号段，构建PPG信号视频数据集，再将PPG信号视频数据集分段处理，获得若干组PPG信号视频数据；利用开源数据集FaceForencics以及ForgeryNet，搜集真实人脸视频与伪造人脸视频，选取真实人脸视频段和伪造人脸视频段来构建鉴伪数据集，并分为训练集和测试集。

进一步的，所述步骤二，具体为：将PPG信号视频数据集中的高光谱人脸视频的每一帧图像输入ResNet50特征提取网络提取面部特征，将连续帧提取出的面部特征按时间顺序输入LSTM长短期记忆人工神经网络进行时序建模，并使用快速傅里叶变化以获得频域上的rPPG信号；使用PPG信号视频数据集中采集到的手指PPG信号作为真实标签，与所述的rPPG信号进行损失函数计算，通过SGD随机梯度下降法更新ResNet50特征提取网络和LSTM长短期记忆人工神经网络的参数，使用所有的PPG信号视频数据迭代训练，将训练结束后的参数保存，以获得rPPG信号提取网络。

进一步的，所述步骤三，具体为：将鉴伪数据集的训练集中的视频逐帧输入步骤二中训练得到的rPPG信号提取网络提取视频数据的rPPG信号，将提取的rPPG信号输入到ResNet18二元决策网络，获取二分类结果，将真实视频标签设定为0，伪造视频标签设定为1，再进行损失函数计算，通过SGD随机梯度下降法更新ResNet18二元决策网络的参数，进行迭代训练，将训练结束后的参数保存，以获得判断视频真伪的二元决策网络。

进一步的，所述步骤二和步骤三中的损失函数分别为MSE均方误差损失函数和交叉熵损失函数。

进一步的，所述步骤四，具体为：将待检测视频逐帧输入步骤二训练得到的rPPG信号提取网络，提取整段视频的rPPG信号，将获得的rPPG信号输入步骤三训练得到的二元决策网络，得到网络判断的标签，若标签为0则表示判断待检测视频为真实视频，若标签为1即判断为伪造视频。

一种基于rPPG生理信号的人脸视频鉴伪装置，包括一个或多个处理器，用于实现所述的基于rPPG生理信号的人脸视频鉴伪方法。

一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现所述的基于rPPG生理信号的人脸视频鉴伪方法。

有益效果：本发明使用难以伪造的rPPG生理信号用于分辨人脸伪造合成视频，可以有效提升判断准确率，应对多种伪造方法，解决图像特征难以判断伪造人脸视频真伪的问题。

附图说明

图1是本发明的一种基于rPPG生理信号的人脸视频鉴伪方法流程示意图；

图2是本发明使用的rPPG信号信号提取网络训练流程示意图；

图3是本发明使用的二元决策网络训练流程示意图；

图4是本发明实施例的一种基于rPPG生理信号的人脸视频鉴伪装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和技术效果更加清楚明白，以下结合说明书附图和实施例，对本发明作进一步详细说明。

如图1所示，本发明实施例的一种基于rPPG生理信号的人脸视频鉴伪方法，具体包括如下步骤：

步骤一：采集人脸视频与手指PPG信号，构建PPG信号视频数据集；搜集真实人脸视频与伪造人脸视频，构建鉴伪数据集。

具体的，本实施例使用了316对分别使用高光谱摄像设备和血氧仪采集的高光谱人脸视频和手指PPG信号段，用于构建PPG信号视频数据集。其中高光谱相机的采集帧率为30赫兹，波段为400nm~1000nm，采集周期为2分钟；血氧仪采集人右手指尖的PPG信号，采集频率为30赫兹，采集周期为2分钟。将采集的PPG信号视频数据集分割为15秒的小段，共获得2528组PPG信号视频数据。

搜集的真实人脸视频与伪造人脸视频主要来源于开源数据集FaceForencics以及ForgeryNet，从中选取10000段真实人脸视频和10000段伪造人脸视频用于构建鉴伪数据集。其中使用9000段真实人脸视频和9000段伪造人脸视频作为训练集，1000段真实人脸视频和1000段伪造人脸视频作为测试集。

步骤二：使用PPG信号视频数据集作为训练数据，训练得到rPPG信号提取网络，所述rPPG信号提取网络用于从人脸视频中提取rPPG信号。

具体的，如图2所示，将PPG信号视频数据集中录制好的高光谱人脸视频的每一帧图像输入ResNet50特征提取网络提取面部特征，其中输入图像的尺寸为112*112像素，ResNet50特征提取网络提取出的面部特征维度为512维，将连续帧提取出的面部特征按时间顺序送入LSTM长短期记忆人工神经网络进行时序建模，并使用快速傅里叶变化以获得频域上的rPPG信号，使用PPG信号视频数据集中采集到的PPG信号作为真实标签，与网络计算出的所述的rPPG信号使用MSE均方误差损失函数进行损失函数计算，通过SGD随机梯度下降法更新ResNet50特征提取网络和LSTM长短期记忆人工神经网络的参数，使用所有的PPG信号视频数据迭代训练，共训练50次，将训练结束后的参数保存，以获得rPPG信号提取网络。

步骤三：使用鉴伪数据集，利用步骤二中训练得到的rPPG信号提取网络提取rPPG信号，后输入二元决策网络并进行网络训练，获得训练好的二元决策网络，所述二元决策网络用于判断视频真伪。

具体的，如图3所示，将鉴伪数据集的训练集中的视频逐帧输入步骤二中训练得到的rPPG信号提取网络提取该段视频数据的rPPG信号，将提取的rPPG信号输入到ResNet18二元决策网络，获取二分类结果，将真实视频标签设定为0，伪造视频标签设定为1，使用交叉熵损失函数进行损失函数计算，通过SGD随机梯度下降法更新ResNet18二元决策网络的参数，共训练20次，将训练结束后的参数保存，以获得训练好的判断视频真伪的二元决策网络。

步骤四：使用通过步骤二训练获得的rPPG信号提取网络和步骤三训练获得的二元决策网络，对待检测的视频进行真伪判断。

具体的，将待检测视频段逐帧输入步骤二训练得到的rPPG信号提取网络，提取整段视频的rPPG信号，将获得的rPPG信号输入步骤三训练得到的二元决策网络，得到网络判断的标签,若标签为0则表示判断待检测视频为真实视频，若标签为1即判断为伪造视频。

以下表1，是基于本发明上述实施例所提供的方法在1000段真实人脸视频和1000段伪造人脸视频测试集上的表现，从上至下依次陈列了用于对照的其他基准方法与本实施例的结果，采用准确率作为评价指标，准确率定义如下：

P（准确率）= 判断正确的视频数量／测试集视频总数量；

具体表1如下所示：

。

表1 本发明实施例的方法与其他基准方法的鉴伪准确率表。

与前述一种基于rPPG生理信号的人脸视频鉴伪方法的实施例相对应，本发明还提供了一种基于rPPG生理信号的人脸视频鉴伪装置的实施例。

参见图4，本发明实施例提供的一种基于rPPG生理信号的人脸视频鉴伪装置，包括一个或多个处理器，用于实现上述实施例中的一种基于rPPG生理信号的人脸视频鉴伪方法。

本发明一种基于rPPG生理信号的人脸视频鉴伪装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图4所示，为本发明一种基于rPPG生理信号的人脸视频鉴伪装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图4所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的一种基于rPPG生理信号的人脸视频鉴伪方法。

所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。

以上所述，仅为本发明的优选实施案例，并非对本发明做任何形式上的限制。虽然前文对本发明的实施过程进行了详细说明，对于熟悉本领域的人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行同等替换。凡在本发明精神和原则之内所做修改、同等替换等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于rPPG生理信号的人脸视频鉴伪方法，其特征在于，包括以下步骤：

步骤一：采集人脸视频与手指PPG信号，构建PPG信号视频数据集；搜集真实人脸视频与伪造人脸视频，构建鉴伪数据集；

步骤二：使用PPG信号视频数据集作为训练数据，训练得到rPPG信号提取网络；

步骤三：使用鉴伪数据集，利用步骤二中训练得到的rPPG信号提取网络提取rPPG信号，后输入二元决策网络并进行网络训练，获得训练好的二元决策网络；

步骤四：使用通过步骤二训练获得的rPPG信号提取网络和步骤三训练获得的二元决策网络，对待检测的视频进行真伪判断。

2.如权利要求1所述的一种基于rPPG生理信号的人脸视频鉴伪方法，其特征在于，所述步骤一，具体为：分别使用高光谱摄像设备和血氧仪采集高光谱人脸视频和手指PPG信号段，构建PPG信号视频数据集，再将PPG信号视频数据集分段处理，获得若干组PPG信号视频数据；利用开源数据集FaceForencics以及ForgeryNet，搜集真实人脸视频与伪造人脸视频，选取真实人脸视频段和伪造人脸视频段来构建鉴伪数据集，并分为训练集和测试集。

3.如权利要求2所述的一种基于rPPG生理信号的人脸视频鉴伪方法，其特征在于，所述步骤二，具体为：将PPG信号视频数据集中的高光谱人脸视频的每一帧图像输入ResNet50特征提取网络提取面部特征，将连续帧提取出的面部特征按时间顺序输入LSTM长短期记忆人工神经网络进行时序建模，并使用快速傅里叶变化以获得频域上的rPPG信号；使用PPG信号视频数据集中采集到的手指PPG信号作为真实标签，与所述的rPPG信号进行损失函数计算，通过SGD随机梯度下降法更新ResNet50特征提取网络和LSTM长短期记忆人工神经网络的参数，使用所有的PPG信号视频数据迭代训练，将训练结束后的参数保存，以获得rPPG信号提取网络。

4.如权利要求3所述的一种基于rPPG生理信号的人脸视频鉴伪方法，其特征在于，所述步骤三，具体为：将鉴伪数据集的训练集中的视频逐帧输入步骤二中训练得到的rPPG信号提取网络提取视频数据的rPPG信号，将提取的rPPG信号输入到ResNet18二元决策网络，获取二分类结果，将真实视频标签设定为0，伪造视频标签设定为1，再进行损失函数计算，通过SGD随机梯度下降法更新ResNet18二元决策网络的参数，进行迭代训练，将训练结束后的参数保存，以获得判断视频真伪的二元决策网络。

5.如权利要求4所述的一种基于rPPG生理信号的人脸视频鉴伪方法，其特征在于，所述步骤二和步骤三中的损失函数分别为MSE均方误差损失函数和交叉熵损失函数。

6.如权利要求4所述的一种基于rPPG生理信号的人脸视频鉴伪方法，其特征在于，所述步骤四，具体为：将待检测视频逐帧输入步骤二训练得到的rPPG信号提取网络，提取整段视频的rPPG信号，将获得的rPPG信号输入步骤三训练得到的二元决策网络，得到网络判断的标签，若标签为0则表示判断待检测视频为真实视频，若标签为1即判断为伪造视频。

7.一种基于rPPG生理信号的人脸视频鉴伪装置，其特征在于，包括一个或多个处理器，用于实现权利要求1至6中任一项所述的基于rPPG生理信号的人脸视频鉴伪方法。

8.一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现权利要求1至6中任一项所述的基于rPPG生理信号的人脸视频鉴伪方法。

Images