CN111476200A - 基于生成对抗网络的人脸去识别化生成方法 - Google Patents

Abstract

本发明公开了一种基于生成对抗网络的人脸去识别化生成方法，获取N对人脸图像，对每张人脸图像分别提取得到特征向量，将每张人脸图像的人脸五官部分采用随机噪声进行遮挡获取遮挡人脸图像，将遮挡人脸图像与相应的人脸图像特征向量组合，二者结合作为生成对抗网络中生成器的输入，原始人脸图像作为辨别器的真实人脸图像，构成一个训练样本；采用训练样本对生成器和辨别器进行训练。训练完成后，在应用阶段，对于每一张待去识别化的人脸图片，同样得到遮挡人脸图像与人脸图像特征向量，然后组合输入至训练好的人脸去识别化生成模型的生成器，得到去识别化后的人脸图像。本发明可以在保护用户隐私的同时，生成高质量的虚拟用户的人脸图像。

Description

基于生成对抗网络的人脸去识别化生成方法

技术领域

本发明属于人脸识别技术领域，更为具体地讲，涉及一种基于生成对抗网络的人脸去识别化生成方法。

背景技术

随着网络信息技术飞速发展，人脸识别技术与应用已经逐渐从学术界发展到政府部门以及工业界，在越来越多的应用中扮演着重要的角色，这些角色通常为用以代替或辅助身份证、密码、其他证件等凭借标识来进行用户的身份信息验证。然而不论从人脸识别模型的训练以及实际应用中，往往需要大量高质量带标签的数据，而这些数据往往会携带着用户的个人肖像隐私，在训练或使用中被第三方运营商获取到将对用户的隐私产生影响。正是这样的需求使得人脸去识别化生成需求应运而生，提供在***露个人隐私的情况下唯一标识用户，能够进行人脸识别模型的训练以及人脸识别模型的实际应用。

人脸去识别化生成方法主要由两部分构成，人脸去识别化以及人脸图片生成。以往的传统方法往往更注重于人脸的去识别化部分，如K匿名等方法，这些方法存在着一定缺点：首先，用这些方法在对人脸去识别化后，数据虽然可以满足去识别化要求，但本身无法再唯一标识用户，因此无法用于人脸识别模型的训练与使用中，其实际使用价值较低。其次，这些方法的清晰度较差，图片比较模糊，与真实人脸图片存在较大差异。此外，对于同一用户的不同人脸图片，由于其拍摄环境、用户装束等因素不同，在脱敏后的图片可能会截然不同，即对于用户特征信息丢失较多。

因此，仅完成人脸去识别化任务是无法满足实际人脸使用需求的。在实际的人脸使用中，数据拥有方需要在保障用户肖像隐私不被泄露的情况下，还能够保证数据的唯一标识等特性，并具有足够高的清晰度，保留足够多的特征信息能够用于人脸识别模型的训练以及实际人脸识别应用，然而对于此种需求目前行业内并没有行之有效的解决方法。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于生成对抗网络的人脸去识别化生成方法，既保证用户个人信息隐私不被泄露，又保证图片具有足够高的清晰度以及尽可能保留用户特征，以便用于人脸识别模型的训练以及应用。

为了实现上述发明目的，本发明于生成对抗网络的人脸去识别化生成方法包括以下步骤：

S1：获取N对人脸图像，每对人脸图像中的两张人脸图像为属于同一用户的不同人脸图像，且每张人脸图像调整至预设尺寸，记人脸图像对

其中

表示第n对人脸图像中的第i张人脸图像，i＝1,2，n＝1,2,…,N；

S2：将每张人脸图像分别输入预训练的人脸特征提取模型中，获取对应的特征向量，记每张人脸图像

所对应的特征向量为

将每张人脸图像

的人脸五官部分采用随机噪声进行遮挡，得到遮挡人脸图像

将其转化为向量，与人脸图像

的特征向量

进行组合作为输入，将原始人脸图像

作为真实人脸图像，构成一个训练样本的三元组

S3：构建生成对抗网络，包括生成器和辨别器，其中生成器的输入为遮挡人脸图像和人脸图像特征向量的组合，输出为生成虚拟用户人脸图像，辨别器所采用的真实图像为对应的原始人脸图像；

S4：将步骤S2中所得到的训练样本对生成对抗网络进行训练，在训练过程中每批次从人脸图像对集合中选取若干对人脸图像，将对应的训练样本作为当前批次训练样本，所采用的损失包括对抗损失、梯度惩罚损失、用户内损失、用户间损失和相似度损失，各种损失的计算方法分别为：

对抗损失的计算方法为：采用生成对抗网络中的辨别器获取当前批次训练样本中每张真实人脸图像的分数，以及当前批次训练样本中真实人脸图像所对应的生成虚拟用户人脸图像的分数，计算真实人脸图像分数和生成虚拟用户人脸图像分数之间的Wasserstein距离作为对抗损失LD；

梯度惩罚损失的计算方法为：计算当前批次训练样本中每个训练样本的梯度惩罚损失，平均后作为梯度惩罚损失LGP；

用户内损失的计算方法为：采用人脸特征提取模型获取当前批次训练样本中每对人脸图像所对应的生成虚拟用户人脸图像的特征向量对，计算每个特征向量对中两个特征向量的余弦距离，将所有特征向量对所对应的余弦距离平均后作为用户内损失LFFI；

用户间损失的计算方法为：当前批次训练样本中随机选取K对人脸图像，每对人脸图像中的两张人脸图像属于不同用户，采用人脸特征提取模型获取K对不同用户人脸图像所对应的生成虚拟用户人脸图像的特征向量对，计算每个特征向量对中两个特征向量的余弦距离，将所有特征向量对所对应的余弦距离平均后作为用户间损失LFFO；

去识别化损失的计算方法为：采用人脸特征提取模型获取当前批次训练样本中每张人脸图像以及所对应的生成虚拟用户人脸图像的特征向量，计算每张人脸图像与其对应生成虚拟用户人脸图像特征向量之间的余弦距离，平均后作为去识别化损失LRF；

结构相似度损失的计算方法为：计算当前批次训练样本中每张人脸图像以及所对应的生成虚拟用户人脸图像的结构相似度，平均后作为结构相似度损失Ls；

设置辨别器损失为LD-θLGP，生成器损失为LD+αLFFI+βLs-γLRF+ηLFFO，其中θ、α、β、γ、η为预设的参数，交替训练辨别器与生成器；

S5：将需要进行去识别化生成的人脸图像调整至预设尺寸，将所得到的人脸图像p′通过人脸特征提取模型提取其特征向量f′，将人脸图像p′采用随机噪声进行人脸五官部分遮挡得到人脸图像

将其转化为向量，与特征向量f′进行组合，然后输入至生成对抗网络的生成器，得到去识别化后的人脸图像p′_*。

本发明基于生成对抗网络的人脸去识别化生成方法，获取N对人脸图像，将每张人脸图像分别输入预训练的人脸特征提取模型中得到特征向量，将每张人脸图像的人脸五官部分采用随机噪声进行遮挡获取遮挡人脸图像，将得到的遮挡人脸图像与相应的人脸图像特征向量组合，二者结合作为生成对抗网络中生成器的输入，原始人脸图像作为辨别器的真实人脸图像，构成一个训练样本；采用训练样本对生成器和辨别器进行训练。训练完成后，在应用阶段，对于每一张待去识别化的人脸图片，同样得到遮挡人脸图像与人脸图像特征向量，然后组合输入至训练好的人脸去识别化生成模型的生成器，得到去识别化后的人脸图像。

采用本发明可以利用的真实用户的人脸图像生成高质量的虚拟用户的人脸图像，在满足去识别化的基础上最大程度保留用户的性别、人种、肤色等与身份识别相关度较小的特征，保证用户集的统计信息不受影响，并且对于相同用户生成的图片均属于相同虚拟用户，保证了生成后人脸图像仍能用于人脸识别模型的训练以及使用，从而在保护用户隐私同时使去识别化生成的人脸图像具有高度可用性。

附图说明

图1是本发明基于生成对抗网络的人脸去识别化生成方法的具体实施方式流程图；

图2是本实施例中原始人脸图像和生成虚拟用户人脸图像的对比图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图1是本发明基于生成对抗网络的人脸去识别化生成方法的具体实施方式流程图。如图1所示，本发明基于生成对抗网络的人脸去识别化生成方法的具体步骤包括：

S101：获取人脸图像样本：

获取N对人脸图像，每对人脸图像中的两张人脸图像为属于同一用户的不同人脸图像，且每张人脸图像均归一化至预设尺寸，记人脸图像对

其中

表示第n对人脸图像中的第i张人脸图像，i＝1,2，n＝1,2,…,N。

S102：获取训练样本：

将每张人脸图像分别输入预训练的人脸特征提取模型中，获取对应的特征向量，记每张人脸图像

所对应的特征向量为

将每张人脸图像

的人脸五官部分采用随机噪声进行遮挡，得到遮挡人脸图像

将其转化为向量，与人脸图像

的特征向量

进行组合作为输入，将原始人脸图像

作为真实人脸图像，构成一个训练样本的三元组

在本发明中，遮挡人脸

用于给模型提供人脸无关的背景信息，在生成过程中尽可能保留，人脸图像的特征向量为模型提供人脸信息，用于人脸去识别化生成。

通过随机噪声的遮挡，从而使用户原有人脸信息不直接输入生成对抗网络，让生成对抗网络根据原始人脸特征向量学习生成与原始人脸存在差异的虚拟用户人脸，由于相同用户的原始人脸特征相似，在训练过程中可以让生成对抗网络保持这种相似性，进而使得去识别生成之后仍然属于相同的虚拟用户。

S103：构建生成对抗网络：

构建生成对抗网络，包括生成器和辨别器，其中生成器的输入为遮挡人脸图像和人脸图像特征向量的组合，输出为生成虚拟用户人脸图像，辨别器所采用的真实图像为对应的原始人脸图像。

S104：训练生成对抗网络：

将步骤S102中所得到的训练样本对生成对抗网络进行训练，在训练过程中每批次从人脸图像对集合中选取若干对人脸图像，将对应的训练样本作为当前批次训练样本。由于损失的设置对于生成对抗网络的训练是非常重要的，为了提高训练得到的生成对抗网络的性能，本发明中在生成对抗网络所采用的损失包括对抗损失、梯度惩罚损失、用户内损失、用户间损失和相似度损失，其计算方法分别如下：

·对抗损失：

采用生成对抗网络中的辨别器获取当前批次训练样本中每张真实人脸图像的分数，以及当前批次训练样本中真实人脸图像所对应的生成虚拟用户人脸图像的分数，计算真实人脸图像分数和生成虚拟用户人脸图像分数之间的Wasserstein距离作为对抗损失LD。

·梯度惩罚损失：

计算当前批次训练样本中每个训练样本的梯度惩罚损失，平均后作为梯度惩罚损失LGP。梯度惩罚损失是生成对抗网络中常用参数，其具体计算方法在此不再赘述。

·用户内损失：

采用人脸特征提取模型获取当前批次训练样本中每对人脸图像所对应的生成虚拟用户人脸图像的特征向量对，计算每个特征向量对中两个特征向量的余弦距离，将所有特征向量对所对应的余弦距离平均后作为用户内损失LFFI。

·用户间损失：

在当前批次训练样本中随机选取K对人脸图像，每对人脸图像中的两张人脸图像属于不同用户，采用人脸特征提取模型获取K对不同用户人脸图像所对应的生成虚拟用户人脸图像的特征向量对，计算每个特征向量对中两个特征向量的余弦距离，将所有特征向量对所对应的余弦距离平均后作为用户间损失LFFO。

·去识别化损失：

采用人脸特征提取模型获取当前批次训练样本中每张人脸图像以及所对应的生成虚拟用户人脸图像的特征向量，计算每张人脸图像与其对应的生成虚拟用户人脸图像特征向量之间的余弦距离，平均后作为去识别化损失LRF。

·结构相似度损失：

计算当前批次训练样本中每张人脸图像以及所对应的生成虚拟用户人脸图像的结构相似度(Structural Similarity Index)，平均后作为结构相似度损失Ls。结构相似度融合了两幅图像之间的对比度、亮度和结构相似性，可以较好地衡量两幅图像的相似度。

设置辨别器损失为LD-θLGP，生成器损失为LD+αLFFI+βLs-γLRF+ηLFFO，其中θ、α、β、γ、η为预设的参数，一般为正常数，根据实际需要设置即可，交替训练辨别器与生成器，即先固定生成器参数，训练辨别器，此时令LD-θLGP最大化，然后固定辨别器参数，训练生成器，此时令LD+αLFFI+βLs-γLRF+ηLFFO最小化，最终二者达到收敛，得到最终生成模型。在本实施例中，θ＝5，α＝0.5，β＝0.1，γ＝0.1，η＝0.25。

通过以上损失的设置，可以使生成对抗网络所生成的人脸图像既能与原有人脸图像存在区别，但是又能保留原有人脸图像中的特征，并且由相同用户的人脸图像得到的生成虚拟用户人脸图像尽可能相似。

训练的结束条件可以根据需要进行设置，本实施例中的训练结束采用以下方式进行判断：计算当前批次训练样本中每对人脸图像所对应特征向量对之间的余弦距离，平均后作为真实人脸图像余弦距离，然后计算当前批次训练样本中由每对人脸图像所得到的生成虚拟用户人脸图像对所对应特征向量对之间的余弦距离，平均后作为生成虚拟用户人脸图像余弦距离，如果生成虚拟用户人脸图像余弦距离大于真实人脸图像余弦距离，则继续训练，否则训练结束。

S105：人脸去识别化生成：

将需要进行去识别化生成的人脸图像归一化至预设尺寸，将所得到的人脸图像p′通过人脸特征提取模型提取其特征向量f′，将人脸图像p′采用随机噪声进行人脸五官部分遮挡得到人脸图像

将其转化为向量，与特征向量f′进行组合，然后输入至生成对抗网络的生成器，得到去识别化后的人脸图像p′_*。

为了进一步提升所生成的人脸图像质量，还可以对所生成的人脸图像进行校验，其具体方法如下：

1)获取和人脸图像p′属于同一用户的不同人脸图像，将其归一化至预设尺寸，得到人脸图像p″。同样地，将所得到的人脸图像p″通过人脸特征提取模型提取其特征向量f″，将人脸图像p″采用随机噪声进行人脸五官部分遮挡得到人脸图像

将其转化为向量，与特征向量f″进行组合，然后输入至生成对抗网络的生成器，得到去识别化后的人脸图像p″_*。

2)采用生成对抗网络的辨别器获取去识别化后的人脸图像p′_*对应的分数，如果小于预设阈值，则认为去识别化后的人脸图像p′_*不够逼真，校验不通过，否则进入步骤3)。

3)采用人脸特征提取模型提取去识别化后的人脸图像p′_*和人脸图像p″_*的特征向量，通过特征向量的相似度判断人脸图像p′_*和人脸图像p″_*是否来源于同一个用户，如果不是，校验不通过，否则进入步骤4)。

4)采用人脸特征提取模型提取人脸图像p′和去识别化后的人脸图像p′_*特征向量，通过特征向量的相似度判断人脸图像p′和人脸图像p′_*是否来源于同一个用户，如果属于同一用户，校验不通过，否则进入步骤5)。

5)计算人脸图像p′和人脸图像p′_*的结构相似度，如果结构相似度大于预设阈值，则校验通过，否则校验不通过。

为了更好地说明本发明的技术效果，采用具体实例对本发明进行实验验证。图2是本实施例中原始人脸图像和生成虚拟用户人脸图像的对比图。如图2所示，生成虚拟用户人脸图像与原始人脸图像存在显著区别，有效保护了用户隐私，但是保留了原始人脸图像中用户的性别、人种、肤色等特征，并且其清晰度与原始人脸图像相比的损失程度也在应用可接受范围之内。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (3)

1.一种基于生成对抗网络的人脸去识别化生成方法，其特征在于，包括以下步骤：

S1：获取N对人脸图像，每对人脸图像中的两张人脸图像为属于同一用户的不同人脸图像，且每张人脸图像调整至预设尺寸，记人脸图像对

其中

表示第n对人脸图像中的第i张人脸图像，i＝1,2，n＝1,2,…,N；

S2：将每张人脸图像分别输入预训练的人脸特征提取模型中，获取对应的特征向量，记每张人脸图像

所对应的特征向量为f_i ⁿ；

将每张人脸图像

的人脸五官部分采用随机噪声进行遮挡，得到遮挡人脸图像

将其转化为向量，与人脸图像

的特征向量f_i ⁿ进行组合作为输入，将原始人脸图像

作为真实人脸图像，构成一个训练样本的三元组

S3：构建生成对抗网络，包括生成器和辨别器，其中生成器的输入为遮挡人脸图像和人脸图像特征向量的组合，输出为生成虚拟用户人脸图像，辨别器所采用的真实图像为对应的原始人脸图像；

S4：将步骤S2中所得到的训练样本对生成对抗网络进行训练，在训练过程中每批次从人脸图像对集合中选取若干对人脸图像，将对应的训练样本作为当前批次训练样本，所采用的损失包括对抗损失、梯度惩罚损失、用户内损失、用户间损失和相似度损失，各种损失的计算方法分别为：

对抗损失的计算方法为：采用生成对抗网络中的辨别器获取当前批次训练样本中每张真实人脸图像的分数，以及当前批次训练样本中真实人脸图像所对应的生成虚拟用户人脸图像的分数，计算真实人脸图像分数和生成虚拟用户人脸图像分数之间的Wasserstein距离作为对抗损失LD；

梯度惩罚损失的计算方法为：计算当前批次训练样本中每个训练样本的梯度惩罚损失，平均后作为梯度惩罚损失LGP；

用户内损失的计算方法为：采用人脸特征提取模型获取当前批次训练样本中每对人脸图像所对应的生成虚拟用户人脸图像的特征向量对，计算每个特征向量对中两个特征向量的余弦距离，将所有特征向量对所对应的余弦距离平均后作为用户内损失LFFI；

用户内间损失的计算方法为：在当前批次训练样本中随机选取K对人脸图像，每对人脸图像中的两张人脸图像属于不同用户，采用人脸特征提取模型获取K对不同用户人脸图像所对应的生成虚拟用户人脸图像的特征向量对，计算每个特征向量对中两个特征向量的余弦距离，将所有特征向量对所对应的余弦距离平均后作为用户间损失LFFO；

去识别化损失的计算方法为：采用人脸特征提取模型获取当前批次训练样本中每张人脸图像以及所对应的生成虚拟用户人脸图像的特征向量，计算每张人脸图像与其对应生成虚拟用户人脸图像特征向量之间的余弦距离，平均后作为去识别化损失LRF；

结构相似度损失的计算方法为：计算当前批次训练样本中每张人脸图像以及所对应的生成虚拟用户人脸图像的结构相似度，平均后作为结构相似度损失Ls；

设置辨别器损失为LD-θLGP，生成器损失为LD+αLFFI+βLs-γLRF+ηLFFO，其中θ、α、β、γ、η为预设的参数，交替训练辨别器与生成器；

S5：将需要进行去识别化生成的人脸图像调整至预设尺寸，将所得到的人脸图像p′通过人脸特征提取模型提取其特征向量f′，将人脸图像p′采用随机噪声进行人脸五官部分遮挡得到人脸图像

将其转化为向量，与特征向量f′进行组合，然后输入至生成对抗网络的生成器，得到去识别化后的人脸图像p′_*。

2.根据权利要求1所述的人脸去识别化生成方法，其特征在于，所述步骤S4中生成对抗网络的训练结束判断方法为：计算当前批次训练样本中每对人脸图像所对应特征向量对之间的余弦距离，平均后作为真实人脸图像余弦距离，然后计算当前批次训练样本中由每对人脸图像所得到的生成虚拟用户人脸图像对所对应特征向量对之间的余弦距离，平均后作为生成虚拟用户人脸图像余弦距离，如果生成虚拟用户人脸图像余弦距离大于真实人脸图像余弦距离，则继续训练，否则训练结束。

3.根据权利要求1所述的人脸去识别化生成方法，其特征在于，所述步骤S5中还包括对所生成的去识别化后的人脸图像进行校验，具体步骤包括：

1)获取和人脸图像p′属于同一用户的不同人脸图像，将其调整至预设尺寸，得到人脸图像p″；将所得到的人脸图像p″通过人脸特征提取模型提取其特征向量f″，将人脸图像p″采用随机噪声进行人脸五官部分遮挡得到人脸图像

将其转化为向量，与特征向量f″进行组合，然后输入至生成对抗网络的生成器，得到去识别化后的人脸图像p″_*；

2)采用生成对抗网络的辨别器获取去识别化后的人脸图像p′_*对应的分数，如果小于预设阈值，校验不通过，否则进入步骤3)。

3)采用人脸特征提取模型提取去识别化后的人脸图像p′_*和人脸图像p″_*的特征向量，通过特征向量的相似度判断人脸图像p′_*和人脸图像p″_*是否来源于同一个用户，如果不是，校验不通过，否则进入步骤4)；

4)采用人脸特征提取模型提取人脸图像p′和去识别化后的人脸图像p′_*特征向量，通过特征向量的相似度判断人脸图像p′和人脸图像p′_*是否来源于同一个用户，如果属于同一用户，校验不通过，否则进入步骤5)；

5)计算人脸图像p′和人脸图像p′_*的结构相似度，如果结构相似度大于预设阈值，则校验通过，否则校验不通过。

Images