CN113420665A - 对抗人脸图像生成、人脸识别模型训练方法、装置及设备 - Google Patents

Abstract

本发明公开了一种对抗人脸图像生成、人脸识别模型训练方法、装置、设备及介质，该方法通过对初始人脸图像的初始属性特征进行特征替换，生成包含替换属性特征的替换人脸图像；将初始人脸图像以及替换人脸图像输入至预设生成模型中采用插值处理方法生成交替人脸图像；获取预设图像变换参数集；根据图像变换参数对交替人脸图像以及区别人脸图像进行图像变换得到图像变换结果；将最小的所述区别损失值对应的所有参数变换图像均记录为初始对抗图像，并将与最大的所述图像距离对应的初始对抗图像记录为与所述初始人脸图像对应的对抗人脸图像。本发明提高了对抗人脸图像生成的鲁棒性以及准确率。

Description

对抗人脸图像生成、人脸识别模型训练方法、装置及设备

技术领域

本发明涉及图像处理技术领域，尤其涉及一种对抗人脸图像生成、人脸识别模型训练方法、装置、设备及介质。

背景技术

随着科学技术的发展，基于深度神经网络的人脸识别技术已广泛应用于各种人物身份认证场景中。然而，深度学习技术很容易受到对抗攻击，即通过对输入进行人眼不可察觉的细微的扰动，可以使深度神经网络以较高的置信度输出任意想要的分类，这揭示了深度学习***存在的安全隐患，另一方面，对抗攻击可以在物理域中实现，即通过创建可物理复现的对抗扰动来欺骗深度神经网络，这进一步揭示了深度神经网络面对对抗攻击的脆弱性，所以研究如何快速大量地生成高质量的对抗样本对防御对抗攻击尤为重要。

发明内容

本发明实施例提供一种对抗人脸图像生成、人脸识别模型训练方法、装置、设备及介质，以生成有效且准确率较高的对抗人脸图像。

一种对抗人脸图像生成方法，包括：

接收包含初始人脸图像的对抗人脸图像生成指令；所述初始人脸图像关联一个初始属性特征以及一个区别人脸图像；

对所述初始人脸图像的初始属性特征进行特征替换，生成包含替换属性特征的替换人脸图像；

将所述初始人脸图像以及所述替换人脸图像输入至预设生成模型中，以通过所述预设生成模型采用插值处理方法生成交替人脸图像；所述交替人脸图像包含所述初始属性特征以及所述替换属性特征；

获取预设图像变换参数集；所述预设图像变换参数集中包括至少一个图像变换参数；

根据所述图像变换参数对所述交替人脸图像以及所述区别人脸图像进行图像变换，得到图像变换结果；所述图像变换结果中包含与各所述图像变换参数对应的参数变换图像、区别损失值以及图像距离；所述参数变换图像是指图像变换后的所述交替人脸图像；

将最小的所述区别损失值对应的所有参数变换图像均记录为初始对抗图像，并将与最大的所述图像距离对应的初始对抗图像记录为与所述初始人脸图像对应的对抗人脸图像。

一种人脸识别模型训练方法，包括：

获取预设训练人脸图像集；所述预设训练人脸图像集中包含至少一个预设训练人脸图像；

将所述预设训练人脸图像记录为初始人脸图像，并通过上述对抗人脸图像生成方法生成与所述初始人脸图像对应的对抗人脸图像；

自所述对抗人脸图像中提取对抗属性特征；所述对抗属性特征为图像变换后的所述替换属性特征；

根据所述对抗属性特征以及所述初始人脸图像生成对抗属性人脸图像，并根据所述初始人脸图像以及所述对抗属性人脸图像对预设识别模型进行训练，并将训练完成的所述预设识别模型记录为人脸识别模型。

一种对抗人脸图像生成装置，包括：

图像生成指令接收模块，用于接收包含初始人脸图像的对抗人脸图像生成指令；所述初始人脸图像关联一个初始属性特征以及一个区别人脸图像；

特征替换模块，用于对所述初始人脸图像的初始属性特征进行特征替换，生成包含替换属性特征的替换人脸图像；

图像插值处理模块，用于将所述初始人脸图像以及所述替换人脸图像输入至预设生成模型中，以通过所述预设生成模型采用插值处理方法生成交替人脸图像；所述交替人脸图像包含所述初始属性特征以及所述替换属性特征；

变换参数获取模块，用于获取预设图像变换参数集；所述预设图像变换参数集中包括至少一个图像变换参数；

图像变换模块，用于根据所述图像变换参数对所述交替人脸图像以及所述区别人脸图像进行图像变换，得到图像变换结果；所述图像变换结果中包含与各所述图像变换参数对应的参数变换图像、区别损失值以及图像距离；所述参数变换图像是指图像变换后的所述交替人脸图像；

对抗人脸图像确定模块，用于将最小的所述区别损失值对应的所有参数变换图像均记录为初始对抗图像，并将与最大的所述图像距离对应的初始对抗图像记录为与所述初始人脸图像对应的对抗人脸图像。

一种人脸识别模型训练装置，包括：

训练人脸图像获取模块，用于获取预设训练人脸图像集；所述预设训练人脸图像集中包含至少一个预设训练人脸图像；

对抗人脸图像生成模块，用于将所述预设训练人脸图像记录为初始人脸图像，并通过上述对抗人脸图像生成方法生成与所述初始人脸图像对应的对抗人脸图像；

属性特征提取模块，用于自所述对抗人脸图像中提取对抗属性特征；所述对抗属性特征为图像变换后的所述替换属性特征；

模型训练模块，用于根据所述对抗属性特征以及所述初始人脸图像生成对抗属性人脸图像，并根据所述初始人脸图像以及所述对抗属性人脸图像对预设识别模型进行训练，并将训练完成的所述预设识别模型记录为人脸识别模型。

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述对抗人脸图像生成方法，或所述处理器执行所述计算机程序时实现上述人脸识别模型训练方法。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述对抗人脸图像生成方法，或所述计算机程序被处理器执行时实现上述人脸识别模型训练方法。

上述对抗人脸图像生成、人脸识别模型训练方法、装置、设备及介质，该对抗人脸图像生成方法通过将替换人脸图像的替换属性特征以及初始人脸图像的初始属性特征之间进行插值处理的方式合成包含两个属性特征的交替人脸图像，以该交替人脸图像进行对抗攻击，并辅助以多种图像变换等，提高了对抗人脸图像生成的鲁棒性以及准确率。

本发明中的人脸识别模型训练方法通过上述对抗人脸图像生成方法可以生成与各预设训练人脸图像对应的对抗人脸图像，进而通过各预设训练人脸图像以及与其对应的对抗人脸图像对预设识别模型进行训练，使得预设识别模型可以不断学习预设训练人脸图像以及与其对应的对抗人脸图像之间的区别技术特征，进而使得训练完成得到的人脸识别模型可以识别出仅存在细微特征差异时的人脸图像，提高人脸识别的准确率以及全面性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例中对抗人脸图像生成方法的一应用环境示意图；

图2是本发明一实施例中对抗人脸图像生成方法的一流程图；

图3是本发明一实施例中对抗人脸图像生成方法中步骤S50的一流程图；

图4是本发明一实施例中对抗人脸图像生成装置的一原理框图；

图5是本发明一实施例中对抗人脸图像生成装置中图像变换模块的一原理框图；

图6是本发明一实施例中计算机设备的一示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的对抗人脸图像生成方法，该对抗人脸图像生成方法可应用如图1所示的应用环境中。具体地，该对抗人脸图像生成方法应用在对抗人脸图像生成***中，该对抗人脸图像生成***包括如图1所示的客户端和服务器，客户端与服务器通过网络进行通信，用于生成有效且准确率较高的对抗人脸图像。其中，客户端又称为用户端，是指与服务器相对应,为客户提供本地服务的程序。客户端可安装在但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备上。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一实施例中，如图2所示，提供一种对抗人脸图像生成方法，以该方法应用在图1中的服务器为例进行说明，包括如下步骤：

S10：接收包含初始人脸图像的对抗人脸图像生成指令；所述初始人脸图像关联一个初始属性特征以及一个区别人脸图像；

可以理解地，对抗人脸图像生成指令可以由用户通过移动终端发送，或者在接收到用户传输的初始人脸图像之后自动生成。初始人脸图像可以为任意一个人脸图像，该初始人脸图像可以通过如相机、手机等设备拍摄后生成，也可以自网站，照相馆数据库等媒介中爬取得到。初始属性特征指的是初始人脸图像中包含的特征，示例性地，该初始属性特征可以为发型、发色、表情或者眼镜等。区别人脸图像为与初始人脸图像不同的人脸图像，也即区别人脸图像对应的用户，与初始人脸图像对应的用户不同，该区别人脸图像可以随机选取，也可以通过自定义方式设定。

S20：对所述初始人脸图像的初始属性特征进行特征替换，生成包含替换属性特征的替换人脸图像；

可以理解地，特征替换是指将初始人脸图像的初始属性特征替换成其它与初始属性特征不同的特征(如替换属性特征)的过程。替换属性特征即为与初始属性特征属于同类别但存在区别的特征，例如初始属性特征为黄色头发，替换属性特征可以为黑色头发。

在一实施例中，步骤S20中，也即所述对所述初始人脸图像的初始属性特征进行特征替换，生成包含替换属性特征的替换人脸图像，包括：

S201：获取预设属性特征集合；所述预设属性特征集合中包含至少一个与所述初始属性特征不同的区别属性特征；

可以理解地，预设属性特征集合为预先定义的属性特征集合，该预设属性特征集合中包含至少一个与初始属性特征不同的区别属性特征。示例性地，假设初始属性特征为黄色头发，则区别属性特征可以为除黄色头发之外的其它颜色的头发，如红色头发；假设初始属性特征为圆框眼镜，则区别属性特征可以为除圆框眼镜之外的其它边框的眼镜，如方形边框眼镜。

S202：自所述预设属性特征集合中，选取一个所述区别属性特征并将该区别属性特征记录为所述替换属性特征；

可以理解地，在获取预设属性特征集合之后，可以从预设属性特征集合中查找与初始属性特征关联的属性特征类别，例如初始属性特征为黄色头发，则在预设属性特征集合中查询头发颜色类别，进而在查找到与初始属性特征关联的属性特征类别之后，在该属性特征类别中的所有区别属性特征中，通过如随机选取的方法选取一个区别属性特征并将该区别属性特征记录为替换属性特征。

S203：将所述替换属性特征以及所述初始人脸图像输入至所述预设生成模型中，以通过所述预设生成模型在所述初始人脸图像中，将所述初始属性特征替换为所述替换属性特征之后得到所述替换人脸图像。

可选地，预设生成模型可以为StarGAN模型或者StyleGAN模型。

具体地，在自所述预设属性特征集合中，选取一个所述区别属性特征并将该区别属性特征记录为所述替换属性特征之后，将该替换属性特征以及初始人脸图像输入至预设生成模型中，进而可以通过预设生成模型在初始人脸图像中，将初始属性特征替换为替换属性特征，进而生成替换人脸图像。

S30：将所述初始人脸图像以及所述替换人脸图像输入至预设生成模型中，以通过所述预设生成模型采用插值处理方法生成交替人脸图像；所述交替人脸图像包含所述初始属性特征以及所述替换属性特征；

可以理解地，预设生成模型用于生成交替人脸图像，该预设生成模型可以为StarGAN模型或者StyleGAN模型。交替人脸图像中包含了初始属性特征以及替换属性特征。

在一实施例中，步骤S30中，所述预设生成模型中包含生成编码器以及生成解码器，所述将所述初始人脸图像以及所述替换人脸图像输入至预设生成模型中，以通过所述预设生成模型采用插值处理方法生成交替人脸图像，包括：

S301：通过所述生成编码器对所述初始人脸图像进行图像编码，得到初始特征图；通过所述生成编码器对所述替换人脸图像进行图像编码，得到替换特征图；

可以理解地，预设生成模型中包含至少一个生成编码器以及至少一个生成解码器；其中，生成编码器用于进行图像编码以得到与图像对应的特征图，生成解码器用于进行特征解码以得到新的图像。

具体地，在对所述初始人脸图像的初始属性特征进行特征替换，生成包含替换属性特征的替换人脸图像之后，将初始人脸图像以及替换人脸图像输入至预设生成模型中，进而通过预设生成模型中的生成编码器分别对初始人脸图像以及替换人脸图像进行图像编码，得到与初始人脸图像对应的初始特征图，以及与替换人脸图像对应的替换特征图。

S302：对所述初始特征图以及所述替换特征图进行插值处理，得到插值特征图；

具体地，通过所述生成编码器对所述初始人脸图像进行图像编码，得到初始特征图；通过所述生成编码器对所述替换人脸图像进行图像编码，得到替换特征图之后，对初始特征图以及替换特征图进行插值处理，得到插值特征图。

在一实施例中，步骤S302中，也即所述对所述初始特征图以及所述替换特征图进行插值处理，得到插值特征图，包括：

通过下述表达式确定所述插值特征图：

F＝γEnc(A,c)+(1-γ)Enc(A,c*)

其中，F为所述插值特征图；γ为预设系数矩阵，该预设系数矩阵的维度与初始特征图以及替换特征图的维度相同；Enc(A,c)为包含初始属性特征c的初始人脸图像A对应的初始特征图；Enc(A,c*)为包含替换属性特征c*的初始人脸图像A(也即替换人脸图像)对应的替换特征图。

S303：通过所述生成解码器对所述插值特征图进行解码处理，得到所述交替人脸图像。

具体地，在对所述初始特征图以及所述替换特征图进行插值处理，得到插值特征图之后，通过生成解码器对插值特征图进行解码处理，得到交替人脸图像，此时交替人脸图像中即包含了初始属性特征以及替换属性特征，且除初始属性特征之外的其它属性特征均不变换。

S40：获取预设图像变换参数集；所述预设图像变换参数集中包括至少一个图像变换参数；

可以理解地，预设图像变换参数集合中的图像变换参数为预先设定进行图像变换时的参数；其中，图像变换包括但不限于如图像旋转、图像缩放或者模拟光线变化的颜色迁移等；图像变换参数可以为图像旋转的角度、图像缩放的比例等。

S50：根据所述图像变换参数对所述交替人脸图像以及所述区别人脸图像进行图像变换，得到图像变换结果；所述图像变换结果中包含与各所述图像变换参数对应的参数变换图像、区别损失值以及图像距离；所述参数变换图像是指图像变换后的所述交替人脸图像；

具体地，在获取预设图像变换参数集之后，根据图像变换参数对交替人脸图像以及区别人脸图像进行图像变换，进而生成包含与各所述图像变换参数对应的参数变换图像、区别损失值以及图像距离的图像变换结果。

在一实施例中，如图3所示，步骤S50中，也即根据所述图像变换参数对所述交替人脸图像以及所述区别人脸图像进行图像变换，得到图像变换结果，包括：

S501：根据所述图像变换参数对所述交替人脸图像以及所述区别人脸图像进行图像变换，得到所述参数变换图像以及与所述区别人脸图像对应的变换区别图像；

具体地，在获取预设图像变换参数集之后，根据各图像变换参数对交替人脸图像以及区别人脸图像进行图像变换，将得到的图像变换后的交替人脸图像记录为参数变换图像，将图像变换后的区别人脸图像记录为变换区别图像。

S502：通过图像范数距离函数确定所述参数变换图像与所述变换区别图像之间的图像距离；

可以理解地，图像范数距离函数用于确定参数变换图像与变换区别图像之间的相似度，也即图像距离越大表征参数变换图像与变换区别图像之间的相似差距越大，图像距离越小表征参数变换图像与变换区别图像之间的相似程度越高。

S503：通过预设损失函数根据所述图像距离，确定所述参数变换图像与所述变换区别图像之间的区别损失值；

在一实施例中，步骤S503中，包括：

所述预设损失函数为：

其中，L为预设损失函数；α为损失参数；NormL2()为图像范数距离函数；T(A*)为参数变换图像；T(B)为变换区别图像；γ为预设系数矩阵，γ'为预设***矩阵的相邻元素。

本实施例中引入预设***矩阵以及预设***矩阵的相邻元素，可以补偿图像变换过程交替人脸图像和区别人脸图像的突变现象。

S504：将所述参数变换图像、图像距离以及所述区别损失值关联记录为与所述图像变换参数对应的图像变换结果。

具体地，在确定参数变换图像、图像距离以及区别损失值之后，将同一图像变换参数对应的参数变换图像、图像距离以及区别损失值，关联记录为与该图像变换参数对应的图像变换结果。

S60：将最小的所述区别损失值对应的所有参数变换图像均记录为初始对抗图像，并将与最大的所述图像距离对应的初始对抗图像记录为与所述初始人脸图像对应的对抗人脸图像。

具体地，在根据所述图像变换参数对所述交替人脸图像以及所述区别人脸图像进行图像变换，得到图像变换结果之后，首先需要确定所有图像变换参数对应的区别损失值的大小关系，也即先确定所有区别损失值中最小的区别损失值，此时可能包含多个相同的最小的区别损失值，将最小的区别损失值对应的所有参数变换图像均记录为初始对抗图像，进而确定所有最小的区别损失值对应的图像距离中最大的图像距离，进而将满足最小的区别损失值，以及最大的图像距离两个条件的参数变换图像记录为与初始人脸图像对应的对抗人脸图像，也即将与最大的图像距离对应的初始对抗图像记录为对抗人脸图像。可以理解地，此处选取最小的区别损失值目的是选取与初始人脸图像具有较大区别的参数变换图像，选取最大的图像距离的目的是为了在多个满足最小的区别损失值的参数变换图像中，选择一个与区别人脸图像之间的相似程度差距更大的参数变换图像，进而在该参数变换图像作为对抗人脸图像能被人脸识别模型，将其与初始人脸图像区分开时，其它图像距离较小的参数变换图像也能被人脸识别模型区分开。

在本实施例中，通过将替换人脸图像的替换属性特征以及初始人脸图像的初始属性特征之间进行插值处理的方式合成包含两个属性特征的交替人脸图像，以该交替人脸图像进行对抗攻击，并辅助以多种图像变换等，提高了对抗人脸图像生成的鲁棒性以及准确率。

在一实施例中，提出一种人脸识别模型训练方法，包括：

获取预设训练人脸图像集；所述预设训练人脸图像集中包含至少一个预设训练人脸图像；

可以理解地，预设训练人脸图像可以通过如相机、手机等设备拍摄后生成，也可以自网站，照相馆数据库等媒介中爬取得到。

将所述预设训练人脸图像记录为初始人脸图像，通过上述实施例中的对抗人脸图像生成方法生成与所述初始人脸图像对应的对抗人脸图像；

具体地，在获取预设训练人脸图像集之后，将预设训练人脸图像记录为初始人脸图像，进而通过上述实施例中的对抗人脸图像生成方法，也即对所述初始人脸图像的初始属性特征进行特征替换，生成包含替换属性特征的替换人脸图像；将所述初始人脸图像以及所述替换人脸图像输入至预设生成模型中，以通过所述预设生成模型采用插值处理方法生成交替人脸图像；获取预设图像变换参数集；所述预设图像变换参数集中包括至少一个图像变换参数；根据所述图像变换参数对所述交替人脸图像以及所述区别人脸图像进行图像变换，得到图像变换结果；将最小的所述区别损失值且最大的所述图像距离对应的参数变换图像，记录为与所述初始人脸图像对应的对抗人脸图像，生成与初始人脸图像对应的对抗人脸图像。

自所述对抗人脸图像中提取对抗属性特征；所述对抗属性特征为图像变换后的所述替换属性特征；

可以理解地，在上述实施例的步骤S20中指出生成的替换人脸图像中是包含替换属性特征的，且在步骤S30中的交替人脸图像也是包含替换属性特征的，进而在步骤S50中进行图像变换时的交替人脸图像是携带替换属性特征，因此在最终生成的对抗人脸图像中包含了图像变换后的替换属性特征，也即对抗属性特征。进一步地，在通过上述实施例中的对抗人脸图像生成方法生成与所述初始人脸图像对应的对抗人脸图像之后，提取对抗人脸图像中的对抗属性特征。

根据所述对抗属性特征以及所述预设训练人脸图像生成对抗属性人脸图像，并根据所述预设训练人脸图像以及所述对抗属性人脸图像对预设识别模型进行训练，并将训练完成的所述预设识别模型记录为人脸识别模型。

具体地，在自对抗人脸图像中提取对抗属性特征之后，将对抗属性特征添加至预设训练人脸图像中，生成对抗属性人脸图像，进而将预设训练人脸图像以及对抗属性人脸图像输入至预设识别模型中，通过训练预设识别模型，使得预设识别模型能够将预设训练人脸图像与对抗属性人脸图像区分开来，也即将预设训练人脸图像与对抗属性人脸图像分类成不同的类别，进而将训练完成的预设识别模型记录为人脸识别模型。

在本实施例中，通过上述对抗人脸图像生成方法可以生成与各预设训练人脸图像对应的对抗人脸图像，进而通过各预设训练人脸图像以及与其对应的对抗人脸图像对预设识别模型进行训练，使得预设识别模型可以不断学习预设训练人脸图像以及与其对应的对抗人脸图像之间的区别技术特征，进而使得训练完成得到的人脸识别模型可以识别出仅存在细微特征差异时的人脸图像，提高人脸识别的准确率以及全面性。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

在一实施例中，提供一种对抗人脸图像生成装置，该对抗人脸图像生成装置与上述实施例中对抗人脸图像生成方法一一对应。如图4所示，该对抗人脸图像生成装置包括图像生成指令接收模块10、特征替换模块20、图像插值处理模块30、变换参数获取模块40、图像变换模块50和对抗人脸图像确定模块60。各功能模块详细说明如下：

图像生成指令接收模块10，用于接收包含初始人脸图像的对抗人脸图像生成指令；所述初始人脸图像关联一个初始属性特征以及一个区别人脸图像；

特征替换模块20，用于对所述初始人脸图像的初始属性特征进行特征替换，生成包含替换属性特征的替换人脸图像；

图像插值处理模块30，用于将所述初始人脸图像以及所述替换人脸图像输入至预设生成模型中，以通过所述预设生成模型采用插值处理方法生成交替人脸图像；所述交替人脸图像包含所述初始属性特征以及所述替换属性特征；

变换参数获取模块40，用于获取预设图像变换参数集；所述预设图像变换参数集中包括至少一个图像变换参数；

图像变换模块50，用于根据所述图像变换参数对所述交替人脸图像以及所述区别人脸图像进行图像变换，得到图像变换结果；所述图像变换结果中包含与各所述图像变换参数对应的参数变换图像、区别损失值以及图像距离；所述参数变换图像是指图像变换后的所述交替人脸图像；

对抗人脸图像确定模块60，用于将最小的所述区别损失值对应的所有参数变换图像均记录为初始对抗图像，并将与最大的所述图像距离对应的初始对抗图像记录为与所述初始人脸图像对应的对抗人脸图像。

优选地，特征替换模块20包括：

属性特征集合获取单元，用于获取预设属性特征集合；所述预设属性特征集合中包含至少一个与所述初始属性特征不同的区别属性特征；

替换属性特征选取单元，用于自所述预设属性特征集合中，选取一个所述区别属性特征并将该区别属性特征记录为所述替换属性特征；

特征替换单元，用于将所述替换属性特征以及所述初始人脸图像输入至所述预设生成模型中，以通过所述预设生成模型在所述初始人脸图像中，将所述初始属性特征替换为所述替换属性特征之后得到所述替换人脸图像。

优选地，图像插值处理模块30包括：

图像编码单元，用于通过所述生成编码器对所述初始人脸图像进行图像编码，得到初始特征图；通过所述生成编码器对所述替换人脸图像进行图像编码，得到替换特征图；

插值处理单元，用于对所述初始特征图以及所述替换特征图进行插值处理，得到插值特征图；

图像解码单元，用于通过所述生成解码器对所述插值特征图进行解码处理，得到所述交替人脸图像。

优选地，插值处理单元包括：

插值处理子单元，用于通过下述表达式确定所述插值特征图：

F＝γEnc(A,c)+(1-γ)Enc(A,c*)

其中，F为所述插值特征图；γ为预设系数矩阵，该预设系数矩阵的维度与初始特征图以及替换特征图的维度相同；Enc(A,c)为包含初始属性特征c的初始人脸图像A对应的初始特征图；Enc(A,c*)为包含替换属性特征c*的初始人脸图像A(也即替换人脸图像)对应的替换特征图。

优选地，如图5所示，图像变换模块50包括：

图像变换单元501，用于根据所述图像变换参数对所述交替人脸图像以及所述区别人脸图像进行图像变换，得到所述参数变换图像以及与所述区别人脸图像对应的变换区别图像；

范数距离确定单元502，用于通过图像范数距离函数确定所述参数变换图像与所述变换区别图像之间的图像距离；

区别损失值确定单元503，用于通过预设损失函数根据所述图像距离，确定所述参数变换图像与所述变换区别图像之间的区别损失值；

图像变换结果记录单元504，用于将所述参数变换图像、图像距离以及所述区别损失值关联记录为与所述图像变换参数对应的图像变换结果。

关于对抗人脸图像生成装置的具体限定可以参见上文中对于对抗人脸图像生成方法的限定，在此不再赘述。上述对抗人脸图像生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一实施例中，提供一种人脸识别模型训练装置，包括：

训练人脸图像获取模块，用于获取预设训练人脸图像集；所述预设训练人脸图像集中包含至少一个预设训练人脸图像；

对抗人脸图像生成模块，用于将所述预设训练人脸图像记录为初始人脸图像，并通过上述对抗人脸图像生成方法生成与所述初始人脸图像对应的对抗人脸图像；

属性特征提取模块，用于自所述对抗人脸图像中提取对抗属性特征；所述对抗属性特征为图像变换后的所述替换属性特征；

模型训练模块，用于根据所述对抗属性特征以及所述初始人脸图像生成对抗属性人脸图像，并根据所述初始人脸图像以及所述对抗属性人脸图像对预设识别模型进行训练，并将训练完成的所述预设识别模型记录为人脸识别模型。

关于人脸识别模型训练装置的具体限定可以参见上文中对于人脸识别模型训练方法的限定，在此不再赘述。上述人脸识别模型训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储上述实施例中对抗人脸图像生成方法或者人脸识别模型训练方法所使用到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种对抗人脸图像生成方法，或该计算机程序被处理器执行时以实现一种人脸识别模型训练方法。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中的对抗人脸图像生成方法，或处理器执行计算机程序时实现上述实施例中的人脸识别模型训练方法。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中的对抗人脸图像生成方法，或计算机程序被处理器执行时实现上述实施例中的人脸识别模型训练方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种对抗人脸图像生成方法，其特征在于，包括：

接收包含初始人脸图像的对抗人脸图像生成指令；所述初始人脸图像关联一个初始属性特征以及一个区别人脸图像；

对所述初始人脸图像的初始属性特征进行特征替换，生成包含替换属性特征的替换人脸图像；

将所述初始人脸图像以及所述替换人脸图像输入至预设生成模型中，以通过所述预设生成模型采用插值处理方法生成交替人脸图像；所述交替人脸图像包含所述初始属性特征以及所述替换属性特征；

获取预设图像变换参数集；所述预设图像变换参数集中包括至少一个图像变换参数；

根据所述图像变换参数对所述交替人脸图像以及所述区别人脸图像进行图像变换，得到图像变换结果；所述图像变换结果中包含与各所述图像变换参数对应的参数变换图像、区别损失值以及图像距离；所述参数变换图像是指图像变换后的所述交替人脸图像；

将最小的所述区别损失值对应的所有参数变换图像均记录为初始对抗图像，并将与最大的所述图像距离对应的初始对抗图像记录为与所述初始人脸图像对应的对抗人脸图像。

2.如权利要求1所述的对抗人脸图像生成方法，其特征在于，所述对所述初始人脸图像的初始属性特征进行特征替换，生成包含替换属性特征的替换人脸图像，包括：

获取预设属性特征集合；所述预设属性特征集合中包含至少一个与所述初始属性特征不同的区别属性特征；

自所述预设属性特征集合中，选取一个所述区别属性特征并将该区别属性特征记录为所述替换属性特征；

将所述替换属性特征以及所述初始人脸图像输入至所述预设生成模型中，以通过所述预设生成模型在所述初始人脸图像中将所述初始属性特征替换为所述替换属性特征，得到所述替换人脸图像。

3.如权利要求1所述的对抗人脸图像生成方法，其特征在于，所述预设生成模型中包含生成编码器以及生成解码器；所述将所述初始人脸图像以及所述替换人脸图像输入至预设生成模型中，以通过所述预设生成模型采用插值处理方法生成交替人脸图像，包括：

通过所述生成编码器对所述初始人脸图像进行图像编码，得到初始特征图；通过所述生成编码器对所述替换人脸图像进行图像编码，得到替换特征图；

对所述初始特征图以及所述替换特征图进行插值处理，得到插值特征图；

通过所述生成解码器对所述插值特征图进行解码处理，得到所述交替人脸图像。

4.如权利要求3所述的对抗人脸图像生成方法，其特征在于，所述对所述初始特征图以及所述替换特征图进行插值处理，得到插值特征图，包括：

通过下述表达式确定所述插值特征图：

F＝γEnc(A,c)+(1-γ)Enc(A,c*)

其中，F为所述插值特征图；γ为预设系数矩阵，该预设系数矩阵的维度与初始特征图以及替换特征图的维度相同；Enc(A,c)为包含初始属性特征c的初始人脸图像A对应的初始特征图；Enc(A,c*)为包含替换属性特征c*的初始人脸图像A(也即替换人脸图像)对应的替换特征图。

5.如权利要求1所述的对抗人脸图像生成方法，其特征在于，所述根据所述图像变换参数对所述交替人脸图像以及所述区别人脸图像进行图像变换，得到图像变换结果，包括：

根据所述图像变换参数对所述交替人脸图像以及所述区别人脸图像进行图像变换，得到所述参数变换图像以及与所述区别人脸图像对应的变换区别图像；

通过图像范数距离函数确定所述参数变换图像与所述变换区别图像之间的图像距离；

通过预设损失函数根据所述图像距离，确定所述参数变换图像与所述变换区别图像之间的区别损失值；

将所述参数变换图像、图像距离以及所述区别损失值关联记录为与所述图像变换参数对应的图像变换结果。

6.一种人脸识别模型训练方法，其特征在于，包括：

获取预设训练人脸图像集；所述预设训练人脸图像集中包含至少一个预设训练人脸图像；

将所述预设训练人脸图像记录为初始人脸图像，并通过如权利要求1至5任一项所述对抗人脸图像生成方法生成与所述初始人脸图像对应的对抗人脸图像；

自所述对抗人脸图像中提取对抗属性特征；所述对抗属性特征为图像变换后的所述替换属性特征；

根据所述对抗属性特征以及所述初始人脸图像生成对抗属性人脸图像，并根据所述初始人脸图像以及所述对抗属性人脸图像对预设识别模型进行训练，并将训练完成的所述预设识别模型记录为人脸识别模型。

7.一种对抗人脸图像生成装置，其特征在于，包括：

图像生成指令接收模块，用于接收包含初始人脸图像的对抗人脸图像生成指令；所述初始人脸图像关联一个初始属性特征以及一个区别人脸图像；

特征替换模块，用于对所述初始人脸图像的初始属性特征进行特征替换，生成包含替换属性特征的替换人脸图像；

图像插值处理模块，用于将所述初始人脸图像以及所述替换人脸图像输入至预设生成模型中，以通过所述预设生成模型采用插值处理方法生成交替人脸图像；所述交替人脸图像包含所述初始属性特征以及所述替换属性特征；

变换参数获取模块，用于获取预设图像变换参数集；所述预设图像变换参数集中包括至少一个图像变换参数；

图像变换模块，用于根据所述图像变换参数对所述交替人脸图像以及所述区别人脸图像进行图像变换，得到图像变换结果；所述图像变换结果中包含与各所述图像变换参数对应的参数变换图像、区别损失值以及图像距离；所述参数变换图像是指图像变换后的所述交替人脸图像；

对抗人脸图像确定模块，用于将最小的所述区别损失值对应的所有参数变换图像均记录为初始对抗图像，并将与最大的所述图像距离对应的初始对抗图像记录为与所述初始人脸图像对应的对抗人脸图像。

8.一种人脸识别模型训练装置，其特征在于，包括：

训练人脸图像获取模块，用于获取预设训练人脸图像集；所述预设训练人脸图像集中包含至少一个预设训练人脸图像；

对抗人脸图像生成模块，用于将所述预设训练人脸图像记录为初始人脸图像，并通过如权利要求1至5任一项所述对抗人脸图像生成方法生成与所述初始人脸图像对应的对抗人脸图像；

属性特征提取模块，用于自所述对抗人脸图像中提取对抗属性特征；所述对抗属性特征为图像变换后的所述替换属性特征；

模型训练模块，用于根据所述对抗属性特征以及所述初始人脸图像生成对抗属性人脸图像，并根据所述初始人脸图像以及所述对抗属性人脸图像对预设识别模型进行训练，并将训练完成的所述预设识别模型记录为人脸识别模型。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述对抗人脸图像生成方法，或所述处理器执行所述计算机程序时实现如权利要求6所述人脸识别模型训练方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述对抗人脸图像生成方法，或所述计算机程序被处理器执行时实现如权利要求6所述人脸识别模型训练方法。

Images