CN113822160A - 深度伪造检测模型的评测方法、***及设备 - Google Patents

Abstract

本发明属于图像处理领域，公开了一种深度伪造检测模型的评测方法、***及设备，包括以下步骤：根据待评测深度伪造检测模型的训练方法，通过预设的各类型的深度伪造数据集，分别训练待评测深度伪造检测模型，得到各训练好的深度伪造检测模型；通过预设的多样化困难样本集，测试各训练好的深度伪造检测模型，获取训练好的深度伪造检测模型在同分布数据下的准确性指标值、在非同分布数据下的泛化性指标值、健壮性指标值以及实用性指标值并按照预设权重进行加权叠加，得到待评测深度伪造检测模型的评测结果。建立了准确、公平、全面的评测方法，所得到的评测结果更加符合深度伪造检测模型的实际情况。

Description

深度伪造检测模型的评测方法、***及设备

技术领域

本发明属于图像处理领域，涉及一种深度伪造检测模型的评测方法、***及设备。

背景技术

近年来，以深度学***评判。

针对以上问题，随着近年来大规模深度伪造深度伪造数据集的出现，已经有一些研究工作在建立深伪检测基准方面做了初步尝试。例如，有学者提出了一个不断更新的在线评测方法，检测方法的拥有者可以利用网站提供的测试深度伪造数据集测试其模型并上传推理结果，然后由网站审核结果并将其评测指标得分发布到网站维护的基准信息中。然而，这个基准评测工作存在其局限性，首先，其缺乏对基准测试深度伪造数据集相关重要信息的详细描述，比如数据规模和其中虚假数据的伪造类型，其次，它没有严格控制参加评测的检测方法的训练过程和训练数据，而是只提供了提交指南并指导参与者自行提交离线检测结果，这无法保证对不同方法进行公正评估。另一个评测方法，提出了一个大规模深度伪造数据集并利用这个深度伪造数据集组织了一场深度伪造检测比赛。但由于其仅对其比赛中出现的方法进行评估，并且在参赛方法的训练过程上没有设置任何限制，导致其缺乏对现有主流检测方法的严格公正的评测。

除此之外，由于以下原因，目前对深度伪造检测模型的评估是不公平且不充足的，导致得到的结果是不准确的。首先，许多深伪检测模型的评测工作利用了在不同训练深度伪造数据集上训练得到的模型进行评估，例如，有的方法在测评时直接应用了公开可用的训练好的模型，而不是使用相同的训练数据重新实现这些模型并进行评估，这种训练深度伪造数据集不一致的评估工作会导致方法间不公平且不正确的比较。其次，由于大多的深伪检测模型是在仅包含有限伪造生成方法生成的同分布深度伪造数据集上进行训练和评估的，因此存在过拟合和可迁移性差的问题，这就导致大多数看似性能优异的检测模型实际在真实场景中应用时性能大幅度下降。

发明内容

本发明的目的在于克服上述现有技术中的缺点，提供一种深度伪造检测模型的评测方法、***及设备。

为达到上述目的，本发明采用以下技术方案予以实现：

本发明第一方面，一种深度伪造检测模型的评测方法，包括以下步骤：

获取待评测深度伪造检测模型的训练方法；

根据待评测深度伪造检测模型的训练方法，通过预设的各类型的深度伪造数据集，分别训练待评测深度伪造检测模型，得到各训练好的深度伪造检测模型；

通过预设的多样化困难样本集和各类型的深度伪造数据集，测试各训练好的深度伪造检测模型，获取训练好的深度伪造检测模型在同分布数据下的准确性指标值、在非同分布数据下的泛化性指标值、健壮性指标值以及实用性指标值；

将训练好的深度伪造检测模型在同分布数据下的准确性指标值、在非同分布数据下的泛化性指标值、健壮性指标值以及实用性指标值，按照预设权重进行加权叠加，得到待评测深度伪造检测模型的评测结果。

本发明深度伪造检测模型的评测方法进一步的改进在于：

所述深度伪造数据集的类型包括基于GAN生成方法生成虚假数据的深度伪造数据集、基于自编码器生成方法生成虚假数据的深度伪造数据集、基于图形化生成方法生成虚假数据的深度伪造数据集以及基于GAN生成方法生成虚假数据、基于自编码器生成方法生成虚假数据以及基于图形化生成方法生成虚假数据中至少两个的深度伪造数据集。

预设的各类型的深度伪造数据集均包括训练集、验证集和测试集；且各类型的深度伪造数据集中，训练集、验证集和测试集之间的比例相同。

通过预设的各类型的深度伪造数据集，分别训练待评测深度伪造检测模型前，将深度伪造数据集中的样本数据进行视频帧抽取、图像人脸抽取或人脸校正处理；

或者，获取待评测深度伪造检测模型的样本数据预处理方法，将深度伪造数据集中的样本数据，根据样本数据预处理方法进行预处理。

多样化困难样本集包括标准样本数据与扰动样本数据；

其中，标准样本数据包括自动化标准样本数据和人工标准样本数据，自动化标准样本数据通过如下方式得到：通过训练好的深度伪造检测模型，预测各类型的深度伪造数据集中各样本数据的虚假得分值，将虚假得分值小于预设虚假得分阈值的样本数据作为自动化标准样本数据；人工标准样本数据通过如下方式得到：通过预设数量的用户，观测各类型的深度伪造数据集中各样本数据的真假性，将半数以上用户判断错误的样本数据作为人工标准样本数据；扰动样本数据通过如下方式得到：对标准样本数据添加预设类型的扰动，得到扰动样本数据。

预设类型的扰动包括高斯模糊、白高斯噪声、颜色对比度改变以及颜色饱和度改变中的一种或几种。

还包括从各类型的深度伪造数据集中选取真实样本数据作为标准样本数据，至所有标准样本数据中的虚假样本数据与真实样本数据数量相同。

所述准确性指标值包括AUC、准确率和精确率；所述泛化性指标值包括AUC、准确率和精确率；所述健壮性指标值包括扰动程度-AUC曲线的曲线下面积值；实用性指标值包括模型参数量-AUC散点图的纵轴与横轴比值、模型所需计算力 -AUC散点图的纵轴与横轴比值和模型推理时间-AUC散点图的纵轴与横轴比值。

本发明第二方面，一种深度伪造检测模型的评测***，包括：

获取模块，用于获取待评测深度伪造检测模型的训练方法；

训练模块，用于根据待评测深度伪造检测模型的训练方法，通过预设的各类型的深度伪造数据集，分别训练待评测深度伪造检测模型，得到各训练好的深度伪造检测模型；

测试模块，用于通过预设的多样化困难样本集和各类型的深度伪造数据集，测试各训练好的深度伪造检测模型，获取训练好的深度伪造检测模型在同分布数据下的准确性指标值、在非同分布数据下的泛化性指标值、健壮性指标值以及实用性指标值；

评测模块，用于将训练好的深度伪造检测模型在同分布数据下的准确性指标值、在非同分布数据下的泛化性指标值、健壮性指标值以及实用性指标值，按照预设权重进行加权叠加，得到待评测深度伪造检测模型的评测结果。

本发明第三方面，一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述深度伪造检测模型的评测方法的步骤。

与现有技术相比，本发明具有以下有益效果：

本发明深度伪造检测模型的评测方法，通过获取待评测深度伪造检测模型的训练方法，完全复现待评测深度伪造检测模型的训练过程，然后在预设的各类型的深度伪造数据集上进行训练，得到各类型的深度伪造数据集的训练模型，以保证后期各类型的深度伪造数据集内和深度伪造数据集间评测的公正性。然后，基于预设的多样化困难样本集，该测试集中包含对人眼和检测算法均欺骗度极高的伪造视频，且这些视频是由多种经典深度伪造生成方法生成的，具有多样化且挑战性强的特点，能够全面的评测待评测深度伪造检测模型，并且，提出了四个评测指标，即在同分布数据下的准确性指标值、在非同分布数据下的泛化性指标值、健壮性指标值以及实用性指标值，旨从准确性、泛化性、健壮性和实用性等方面来全面、综合地评价深度伪造检测模型，并最终综合这四个评测指标的结果得出深度伪造检测模型的评测得分，建立了准确、公平、全面的评测基准，所得到的评测结果更加符合深度伪造检测模型的实际情况。

附图说明

图1为本发明的深度伪造检测模型的评测方法流程框图；

图2为本发明的多样化困难样本集的生成流程示意图；

图3为本发明的终端设备结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面结合附图对本发明做进一步详细描述：

参见图1，本发明一实施例中，提供一种深度伪造检测模型的评测方法，包括以下步骤。

S1：获取待评测深度伪造检测模型的训练方法。

具体的，深度伪造检测模型一般包括图像深度伪造检测模型、视频深度伪造检测模型和音频深度伪造检测模型。对于每一种待评测深度伪造检测模型，在评测时的训练方法，包括训练过程及参数的设定均严格参照检测方法文献中的描述。

S2：根据待评测深度伪造检测模型的训练方法，通过预设的各类型的深度伪造数据集，分别训练待评测深度伪造检测模型，得到各训练好的深度伪造检测模型。

具体的，目前大多数深度伪造检测模型的检测方法，在评估不同深度伪造检测模型时，利用的深度伪造检测模型是在不同训练深度伪造数据集上训练得到的深度伪造检测模型，但由于深度伪造检测模型存在迁移性差、在不同伪造类型的样本数据间泛化性差的特点，导致这种深度伪造数据集不一致的评估工作中涉及的各深度伪造检测模型间的比较是不公平且不正确的。基于这个问题，本实施例在复现训练方法的策略下，在已预设的各类型的深度伪造数据集上进行训练，得到各深度伪造数据集上训练好的深度伪造检测模型，以保证后期在各类型的深度伪造数据集内和各类型的深度伪造数据集间进行评测的公正性。

优选的，预设的各类型的深度伪造数据集包括基于GAN生成方法生成虚假数据的深度伪造数据集、基于自编码器生成方法生成虚假数据的深度伪造数据集、基于图形化生成方法生成虚假数据的深度伪造数据集以及基于GAN生成方法生成虚假数据、基于自编码器生成方法生成虚假数据以及基于图形化生成方法生成虚假数据中至少两个的深度伪造数据集。

具体的，深度伪造数据集为现有深度伪造检测模型的评测方法中，常用的主流公开深度伪造数据集，对深度伪造数据集的分类是根据其中包含的虚假样本数据在生成时所运用的生成方法的原理差异进行的，收集的深度伪造数据集中的虚假样本数据的生成方法要能够覆盖上述GAN生成方法、自编码器生成方法以及图形化生成方法。

优选的，所述预设的各类型的深度伪造数据集均包括训练集、验证集和测试集；且各类型的深度伪造数据集中，训练集、验证集和测试集之间的比例相同。

具体的，在对收集的各类型的深度伪造数据集进行训练集、验证集和测试集进行划分时，选取某一类型的深度伪造数据集作为基准深度伪造数据集，并确定基准深度伪造数据集的训练集、验证集和测试集的样本数据量，然后其他深度伪造数据集根据其与基准深度伪造数据集间总样本数据量的倍数关系确定其应划分的训练集、验证集和测试集的样本数据量，这种划分方式可以反应各深度伪造数据集间样本数据量的关系，利于评测方法在深度伪造数据集间的公平对比。

优选的，所述通过预设的各类型的深度伪造数据集，分别训练待评测深度伪造检测模型前，将深度伪造数据集中的样本数据进行视频帧抽取、图像人脸抽取或人脸校正处理；或者，获取待评测深度伪造检测模型的样本数据预处理方法，将深度伪造数据集中的样本数据，根据样本数据预处理方法进行预处理。

具体的，由于深度伪造检测模型通常以单帧人脸图像或多帧人脸图像作为模型输入，因此数据预处理流程通常对于深度伪造检测模型的训练和测试是必不可少的，本实施例中的数据预处理操作包括方法通用的视频帧抽取、图像人脸抽取以及人脸校正等操作，同时也包括各深度伪造检测模型所特定的数据预处理操作，如人脸特征点抽取及额外监督信息生成等。

S3：通过预设的多样化困难样本集和各类型的深度伪造数据集，测试各训练好的深度伪造检测模型，获取训练好的深度伪造检测模型在同分布数据下的准确性指标值、在非同分布数据下的泛化性指标值、健壮性指标值以及实用性指标值。

其中，所述多样化困难样本集包括标准样本数据与扰动样本数据；其中，标准样本数据包括自动化标准样本数据和人工标准样本数据，自动化标准样本数据通过如下方式得到：通过训练好的深度伪造检测模型，预测各类型的深度伪造数据集中各样本数据的虚假得分值，将虚假得分值小于预设虚假得分阈值的样本数据作为自动化标准样本数据；人工标准样本数据通过如下方式得到：通过预设数量的用户，观测各类型的深度伪造数据集中各样本数据的真假性，将半数以上用户判断错误的样本数据作为人工标准样本数据；扰动样本数据通过如下方式得到：对标准样本数据添加预设类型的扰动，得到扰动样本数据。

具体的，为了模拟真实场景中的深度伪造数据的威胁，设计了多样化困难样本集。参见图2，多样化困难样本集包含标准样本数据与扰动样本数据，其中标准样本数据均来自上述中的深度伪造数据集，且其中的虚假数字内容类别可以覆盖各类型的深度伪造数据集中的全类别。标准样本数据中的虚假数字内容是经过自动化模型筛选和人工筛选得到的，在自动化模型筛选过程中，首先设置样本虚假得分阈值，然后利用训练好的模型进行虚假样本数据的自动化模型筛选，选取模型预测虚假得分小于所设阈值的样本数据加入多样化困难样本集，得到初始多样化困难样本集。

在人工筛选过程中，对初始多样化困难样本集中的虚假样本数据进行用户测试，测试过程中用户需要在未知样本数据正确标签的情况下观测样本并预测样本数据的真假性，用户测试完成后汇总结果，仅将半数以上用户判断错误的样本数据加入多样化困难样本集，再从每个深度伪造数据集的真实样本数据中选取部分真实样本数据加入多样化困难样本集，保证其中虚假样本数据和真实样本数据量一致，保证数据的类别平衡，至此得到多样化困难样本集的标准数据。然后对标准数据添加多种预设类型的扰动，生成带有单一扰动和混合扰动的扰动数据。其中，所述预设类型的扰动包括高斯模糊、白高斯噪声、颜色对比度改变以及颜色饱和度改变中的一种或几种。

S4：将训练好的深度伪造检测模型在同分布数据下的准确性指标值、在非同分布数据下的泛化性指标值、健壮性指标值以及实用性指标值，按照预设权重进行加权叠加，得到待评测深度伪造检测模型的评测结果。

由于广泛使用的评估指标(包括AUC(ROC曲线下的面积)和准确率)是无法全面反映检测方法的性能的，在先前的研究中，并没有用到与时间和空间复杂度相关的评估指标，这就导致在包含大规模、多样化的伪造视频和图片的实际场景中，看似性能优异的检测方法实际效率可能是低下的。因此，设计正确合理的评估流程与制定全面实用的评估指标对了解现有主流的深度伪造检测方法的优势和局限性具有重要意义。本实施例中，提出了四个评估度量指标，旨从深度伪造检测模型的准确性、泛化性、健壮性和实用性等方面来全面、综合地评价深度伪造检测模型，并最终综合这四个评价指标的结果得出方法的基准评测得分，建立了准确、公平、全面的深度伪造检测模型评测基准。

其中，同分布数据具体是指与训练的深度伪造数据集中包含的虚假样本数据的深度伪造生成方法一致的数据，非同分布数据是指与训练的深度伪造数据集中包含的虚假样本数据的深度伪造生成方法不一致的数据。所述准确性指标值包括 AUC(ROC曲线下方的面积大小)、准确率和精确率；所述泛化性指标值包括 AUC、准确率和精确率；所述健壮性指标值包括扰动程度-AUC曲线的曲线下面积值；实用性指标值包括模型参数量-AUC散点图的纵轴与横轴比值、模型所需计算力-AUC散点图的纵轴与横轴比值和模型推理时间-AUC散点图的纵轴与横轴比值。

具体的，本实施例中制定了全面公平的深度伪造检测方法度量指标，旨在对方法的准确性、泛化性、健壮性及实用性进行可量化的评估。在具体评测时，利用训练好的深度伪造检测模型，在同分布数据，即上述中各深度伪造数据集的测试集上评估得到各训练好的深度伪造检测模型对应的准确性度量指标值，在非同分布数据，即多样化困难样本集的标准数据上评估得到各训练好的深度伪造检测模型对应的泛化性度量指标值，在多样化困难样本集的扰动数据上评估得到各训练好的深度伪造检测模型对应的健壮性度量指标值，在多样化困难样本集的标准数据上评估得到各训练好的深度伪造检测模型对应的实用性度量指标值。然后综合以上四种度量指标，制定综合评估度量指标，计算出最终各训练好的深度伪造检测模型的评测基准得分值，并按照最终的评测基准得分值评价各训练好的深度伪造检测模型优劣。具体的，本实施例中对各指标的权值赋值为1，得到最终的综合评估指标结果。

后续的，可根据对各深度伪造检测模型的评测结果，即加权叠加后的指标值，可以选出评测结果最好的深度伪造检测模型，进行各待检测图像的图像深度伪造检测，进而得到较为准确的检测结果。

综上所述，本发明深度伪造检测模型的评测方法，通过获取待评测深度伪造检测模型的训练方法，完全复现待评测深度伪造检测模型的训练过程，然后在预设的各类型的深度伪造数据集上进行训练，得到各类型的深度伪造数据集的训练模型，以保证后期各类型的深度伪造数据集内和深度伪造数据集间评测的公正性。然后，基于预设的多样化困难样本集，该测试集中包含对人眼和检测算法均欺骗度极高的伪造视频，且这些视频是由多种经典深度伪造生成方法生成的，具有多样化且挑战性强的特点，能够全面的评测待评测深度伪造检测模型，并且，提出了四个评测指标，即在同分布数据下的准确性指标值、在非同分布数据下的泛化性指标值、健壮性指标值以及实用性指标值，旨从准确性、泛化性、健壮性和实用性等方面来全面、综合地评价深度伪造检测模型，并最终综合这四个评测指标的结果得出深度伪造检测模型的评测得分，建立了准确、公平、全面的评测基准，所得到的评测结果更加符合深度伪造检测模型的实际情况。

下述为本发明的装置实施例，可以用于执行本发明方法实施例。对于装置实施例中未纰漏的细节，请参照本发明方法实施例。

本发明再一实施例中，提供一种深度伪造检测模型的评测***，能够用于实现上述的深度伪造检测模型的评测方法，具体的，该深度伪造检测模型的评测***包括获取模块、训练模块、测试模块以及评测模块。

其中，获取模块用于获取待评测深度伪造检测模型的训练方法；训练模块用于根据待评测深度伪造检测模型的训练方法，通过预设的各类型的深度伪造数据集，分别训练待评测深度伪造检测模型，得到各训练好的深度伪造检测模型；测试模块用于通过预设的各类型深度伪造数据集的测试集和多样化困难样本集，测试各训练好的深度伪造检测模型，获取训练好的深度伪造检测模型在同分布数据下的准确性指标值、在非同分布数据下的泛化性指标值、健壮性指标值以及实用性指标值；评测模块用于将训练好的深度伪造检测模型在同分布数据下的准确性指标值、在非同分布数据下的泛化性指标值、健壮性指标值以及实用性指标值，按照预设权重进行加权叠加，得到待评测深度伪造检测模型的评测结果。

参见图3，再一个实施例中，本发明提供一种终端设备，可以是计算机设备，包括处理器、输入设备、输出设备以及计算机可读存储介质。其中，处理器、输入设备、输出设备以及计算机可读存储介质可通过总线或其他方式连接。

计算机可读存储介质用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机可读存储介质存储的程序指令。处理器可能是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor、DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable GateArray，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行计算机可读存储介质内一条或一条以上指令从而实现相应方法流程或相应功能，所述的处理器可以用于上述深度伪造检测模型的评测方法的操作。

本发明再一个实施例中，本发明还提供了一种存储介质，具体为计算机可读存储介质(Memory)，所述计算机可读存储介质是计算机设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括计算机设备中的内置存储介质，当然也可以包括计算机设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作***。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中有关深度伪造检测模型的评测方法的相应步骤。

本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和 /或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.一种深度伪造检测模型的评测方法，其特征在于，包括以下步骤：

获取待评测深度伪造检测模型的训练方法；

根据待评测深度伪造检测模型的训练方法，通过预设的各类型的深度伪造数据集，分别训练待评测深度伪造检测模型，得到各训练好的深度伪造检测模型；

通过预设的多样化困难样本集和各类型的深度伪造数据集，测试各训练好的深度伪造检测模型，获取训练好的深度伪造检测模型在同分布数据下的准确性指标值、在非同分布数据下的泛化性指标值、健壮性指标值以及实用性指标值；

将训练好的深度伪造检测模型在同分布数据下的准确性指标值、在非同分布数据下的泛化性指标值、健壮性指标值以及实用性指标值，按照预设权重进行加权叠加，得到待评测深度伪造检测模型的评测结果。

2.根据权利要求1所述的深度伪造检测模型的评测方法，其特征在于，所述深度伪造数据集的类型包括基于GAN生成方法生成虚假数据的深度伪造数据集、基于自编码器生成方法生成虚假数据的深度伪造数据集、基于图形化生成方法生成虚假数据的深度伪造数据集以及基于GAN生成方法生成虚假数据、基于自编码器生成方法生成虚假数据以及基于图形化生成方法生成虚假数据中至少两个的深度伪造数据集。

3.根据权利要求1所述的深度伪造检测模型的评测方法，其特征在于，所述预设的各类型的深度伪造数据集均包括训练集、验证集和测试集；且各类型的深度伪造数据集中，训练集、验证集和测试集之间的比例相同。

4.根据权利要求1所述的深度伪造检测模型的评测方法，其特征在于，所述通过预设的各类型的深度伪造数据集，分别训练待评测深度伪造检测模型前，将深度伪造数据集中的样本数据进行视频帧抽取、图像人脸抽取或人脸校正处理；

或者，获取待评测深度伪造检测模型的样本数据预处理方法，将深度伪造数据集中的样本数据，根据样本数据预处理方法进行预处理。

5.根据权利要求1所述的深度伪造检测模型的评测方法，其特征在于，所述多样化困难样本集包括标准样本数据与扰动样本数据；

其中，标准样本数据包括自动化标准样本数据和人工标准样本数据，自动化标准样本数据通过如下方式得到：通过训练好的深度伪造检测模型，预测各类型的深度伪造数据集中各样本数据的虚假得分值，将虚假得分值小于预设虚假得分阈值的样本数据作为自动化标准样本数据；人工标准样本数据通过如下方式得到：通过预设数量的用户，观测各类型的深度伪造数据集中各样本数据的真假性，将半数以上用户判断错误的样本数据作为人工标准样本数据；扰动样本数据通过如下方式得到：对标准样本数据添加预设类型的扰动，得到扰动样本数据。

6.根据权利要求5所述的深度伪造检测模型的评测方法，其特征在于，所述预设类型的扰动包括高斯模糊、白高斯噪声、颜色对比度改变以及颜色饱和度改变中的一种或几种。

7.根据权利要求5所述的深度伪造检测模型的评测方法，其特征在于，还包括从各类型的深度伪造数据集中选取真实样本数据作为标准样本数据，至所有标准样本数据中的虚假样本数据与真实样本数据数量相同。

8.根据权利要求1所述的深度伪造检测模型的评测方法，其特征在于，所述准确性指标值包括AUC、准确率和精确率；所述泛化性指标值包括AUC、准确率和精确率；所述健壮性指标值包括扰动程度-AUC曲线的曲线下面积值；实用性指标值包括模型参数量-AUC散点图的纵轴与横轴比值、模型所需计算力-AUC散点图的纵轴与横轴比值和模型推理时间-AUC散点图的纵轴与横轴比值。

9.一种深度伪造检测模型的评测***，其特征在于，包括：

获取模块，用于获取待评测深度伪造检测模型的训练方法；

训练模块，用于根据待评测深度伪造检测模型的训练方法，通过预设的各类型的深度伪造数据集，分别训练待评测深度伪造检测模型，得到各训练好的深度伪造检测模型；

测试模块，用于通过预设的多样化困难样本集和各类型的深度伪造数据集，测试各训练好的深度伪造检测模型，获取训练好的深度伪造检测模型在同分布数据下的准确性指标值、在非同分布数据下的泛化性指标值、健壮性指标值以及实用性指标值；

评测模块，用于将训练好的深度伪造检测模型在同分布数据下的准确性指标值、在非同分布数据下的泛化性指标值、健壮性指标值以及实用性指标值，按照预设权重进行加权叠加，得到待评测深度伪造检测模型的评测结果。

10.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述深度伪造检测模型的评测方法的步骤。

Images