CN111414856A - 实现用户隐私保护的人脸图像生成方法及装置 - Google Patents

实现用户隐私保护的人脸图像生成方法及装置 Download PDF

Info

Publication number
CN111414856A
CN111414856A CN202010198211.6A CN202010198211A CN111414856A CN 111414856 A CN111414856 A CN 111414856A CN 202010198211 A CN202010198211 A CN 202010198211A CN 111414856 A CN111414856 A CN 111414856A
Authority
CN
China
Prior art keywords
feature
vector
real
loss
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010198211.6A
Other languages
English (en)
Other versions
CN111414856B (zh
Inventor
赵凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202010198211.6A priority Critical patent/CN111414856B/zh
Publication of CN111414856A publication Critical patent/CN111414856A/zh
Application granted granted Critical
Publication of CN111414856B publication Critical patent/CN111414856B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本说明书实施例提供一种实现用户隐私保护的人脸图像生成方法，该方法包括：首先，获取与目标用户的真实人脸图像对应的真实特征向量，该真实特征向量基于预先训练的人脸识别模型中的特征表示层而确定；接着，将该真实特征向量输入图像生成网络，得到可以识别为该目标用户的虚拟人脸图像。如此，使得无需对刷脸业务中产生的原始人脸图像进行存储，而只需存储识别该原始人脸图像对应的特征向量，就可以实现对刷脸业务的历史回溯，从而大大节省存储空间，降低因直接存储原始人脸图像而带来的用户隐私泄露风险，并带给用户良好的隐私保护体验。

Description

实现用户隐私保护的人脸图像生成方法及装置
技术领域
本说明书实施例涉及计算机技术领域，具体地，涉及一种实现用户隐私保护的人脸图像生成方法及装置。
背景技术
当下，机器学习技术已被广泛应用于许多领域，例如，将机器学习技术应用于人脸图像的生成领域。该生成领域关注的重点通常为，如何提高生成的人脸图像的真实感，也就是尽可能让人们在看到这些机器生成的人脸图像时，以为该人脸图像是在现实生活中对真人进行拍摄而得到。
然而，目前尚不存在一种方案，可以生成包含特定身份人脸、且真实感强的人脸图像，也即，肉眼可以识别出该人脸图像中的人脸所具有的特定身份，同时人脸识别模型也可以识别出该人脸图像对应的该特定身份，以满足人脸图像生成领域的更多需求，如实现对用户隐私的保护，等等。
发明内容
本说明书中的一个或多个实施例提供一种人脸图像生成方法及装置，可以生成包含特定身份人脸的人脸图像，用于实现对用户隐私的保护。
第一方面，提供一种实现用户隐私保护的人脸图像生成方法，该方法包括：获取与第一用户的真实人脸图像对应的真实特征向量，所述真实特征向量基于预先训练的人脸识别模型中的特征表示层而确定；将所述真实特征向量输入图像生成网络，所述图像生成网络至少包括N个处理单元和输出层；其中第i+1个处理单元利用所述真实特征向量和预先获取的随机噪声向量，将第i个处理单元输出的第一特征图转化为第二特征图，再利用其对应包括的卷积层对所述第二特征图进行卷积处理，得到第三特征图，作为第i+1个处理单元的输出；其中输出层根据第N个处理单元输出的特征图，输出用于识别为所述第一用户的虚拟人脸图像；其中N和i为正整数，且i＜N；将所述虚拟人脸图像输入所述特征表示层中，得到对应的虚拟特征向量；基于所述真实特征向量和虚拟特征向量，确定第一损失；将所述虚拟人脸图像输入判别网络中，得到第一判别结果，并基于所述第一判别结果和所述虚拟人脸图像对应的第一类别标签，确定第二损失；确定生成综合损失，所述生成综合损失分别与所述第一损失和所述第二损失正相关；利用所述生成综合损失，训练所述图像生成网络，用于生成与目标用户对应的目标虚拟人脸图像。
在一个实施例中，所述N个处理单元中的第1个处理单元将所述真实特征向量从向量空间映射到特征图空间，得到映射特征图，并利用其对应包括的卷积层对所述映射特征图进行卷积处理，得到转化特征图，作为第1个处理单元的输出。
在一个实施例中，所述图像生成网络还包括调制单元，所述调制单元对所述真实特征向量进行升维处理，得到升维特征向量；其中第i+1个处理单元利用所述真实特征向量和预先获取的随机噪声向量，将第i个处理单元输出的第一特征图转化为第二特征图，包括：第i+1个处理单元利用所述升维特征向量和所述随机噪声向量，将所述第一特征图转化为所述第二特征图。
在一个具体的实施例中，所述调制单元包括第一全连接层；其中，所述调制单元对所述真实特征向量进行升维处理，得到升维特征向量，包括：将所述真实特征向量输入所述第一全连接层中，输出所述升维特征向量。
在一个实施例中，其中第i+1个处理单元利用所述真实特征向量和预先获取的随机噪声向量，将第i个处理单元输出的第一特征图转化为第二特征图，包括：对所述真实特征向量和随机噪声向量进行融合处理，得到融合向量；利用所述融合向量，将所述第一特征图转化为所述第二特征图。
在一个具体的实施例中，所述第一特征图中包括任意的第一特征元素，对应于所述第二特征图中的第二特征元素；所述第i+1个处理单元中还包括对应的第二全连接层和第三全连接层；其中，利用所述融合向量，将所述第一特征图转化为所述第二特征图，包括：将所述融合向量输入第二全连接层中，得到对应的均值向量，其中包括用于对所述第一特征元素进行标准化处理的均值；将所述融合向量输入第三全连接层中，得到对应的方差向量，其中包括用于对所述第一特征元素进行标准化处理的方差；利用所述方差和均值，对所述第一特征元素进行标准化处理，得到标准化特征元素；利用所述第i+1个处理单元中对应包括的缩放学习参数和偏移学习参数，对所述标准化特征元素进行缩放和偏移处理，得到所述第二特征元素。
在一个实施例中，获取与第一用户的真实人脸图像对应的真实特征向量，包括：将所述真实人脸图像输入所述特征表示层中，得到所述真实特征向量；其中包括，在所述特征表示层所包括的特定卷积层中，通过卷积处理得到具有特定尺寸的真实特征图；其中，确定生成综合损失，包括：从所述N个处理单元输出的N个第三特征图中，获取具有所述特定尺寸的特征图作为虚拟特征图；基于所述真实特征图和所述虚拟特征图，确定第三损失；确定所述生成综合损失，所述生成综合损失还与所述第三损失正相关。
在一个实施例中，在确定第二损失之后，所述方法还包括：将所述真实人脸图像输入所述判别网络中，得到第二判别结果，并且，基于所述第二判别结果和所述真实人脸图像对应的第二类别标签，确定第四损失；确定判别综合损失，所述判别综合损失与所述第四损失正相关，且与所述第二损失负相关；基于所述判别综合损失，训练所述判别网络。
第二方面，提供一种实现用户隐私保护的人脸图像生成方法，包括：获取与目标用户的真实人脸图像对应的真实特征向量，所述真实特征向量基于预先训练的人脸识别模型中的特征表示层而确定；将所述真实特征向量输入图像生成网络，得到用于识别为所述目标用户的虚拟人脸图像，所述图像生成网络通过第一方面提供的方法进行预先训练而得到。
第三方面，提供一种实现用户隐私保护的人脸图像生成装置，该装置包括：真实向量获取模块，配置为获取与第一用户的真实人脸图像对应的真实特征向量，所述真实特征向量基于预先训练的人脸识别模型中的特征表示层而确定；虚拟图像生成模块，配置为将所述真实特征向量输入图像生成网络，所述图像生成网络至少包括N个处理单元和输出层；所述虚拟图像生成单元具体包括：特征图转换子模块，配置为通过其中的第i+1个处理单元，利用所述真实特征向量和预先获取的随机噪声向量，将第i个处理单元输出的第一特征图转化为第二特征图；卷积处理子模块，配置为通过该第i+1个处理单元，利用其对应包括的卷积层对所述第二特征图进行卷积处理，得到第三特征图，作为第i+1个处理单元的输出；图像输出子模块，配置为通过其中的输出层，根据第N个处理单元输出的特征图，输出用于识别为所述第一用户的虚拟人脸图像；其中N和i为正整数，且i＜N；虚拟向量确定模块，配置为将所述虚拟人脸图像输入所述特征表示层中，得到对应的虚拟特征向量；第一损失确定模块，配置为基于所述真实特征向量和虚拟特征向量，确定第一损失；第二损失确定模块，配置为将所述虚拟人脸图像输入判别网络中，得到第一判别结果，并且，基于所述第一判别结果和所述虚拟人脸图像对应的第一类别标签，确定第二损失；生成损失确定模块，配置为确定生成综合损失，所述生成综合损失分别与所述第一损失和所述第二损失正相关；生成网络训练模块，配置为利用所述生成综合损失，训练所述图像生成网络，用于生成与目标用户对应的目标虚拟人脸图像。
第四方面，提供一种实现用户隐私保护的人脸图像生成装置，包括：真实向量获取模块，配置为获取与目标用户的真实人脸图像对应的真实特征向量，所述真实特征向量基于预先训练的人脸识别模型中的特征表示层而确定；虚拟图像生成模块，配置为将所述真实特征向量输入图像生成网络，得到用于识别为所述目标用户的虚拟人脸图像，所述图像生成网络通过第三方面提供的装置进行预先训练而得到。
第五方面，提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面或第二方面中提供的方法。
第六方面，提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面或第二方面中提供的方法。
综上，在本说明是实施例披露的人脸图像生成方法中，真实特征向量和随机噪声向量多次输入图像生成网络，强化了身份特征信息，填充了图像中的随机细节信息，使得生成的虚拟人脸图像既可以较好地保障身份一致性，又可以保障细节丰富性进而增强图像的视觉真实性。同时，在图像生成网络的训练过程中，通过人脸识别模型引入特征监督，显式地保障了生成人脸与原人脸身份一致性；进一步地，还可以引入中间的特征图，以隐式地保障生成人脸在视觉空间和特征空间上与原人脸的一致性，避免了直接做像素监督因欠拟合出现的像素模糊现象。
附图说明
为了更清楚地说明本说明书披露的多个实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书披露的多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1示出本说明书实施例披露的一种算法框架的结构示意图；
图2示出本说明书实施例披露的一种实现用户隐私保护的人脸图像生成方法的流程示意图；
图3示出本说明书实施例披露的图像生成网络的网络结构示意图；
图4示出本说明书实施例披露的另一种实现用户隐私保护的人脸图像生成方法的流程示意图；
图5示出本说明书实施例披露的一种实现用户隐私保护的人脸图像生成装置的结构示意图；
图6示出本说明书实施例披露的另一种实现用户隐私保护的人脸图像生成装置的结构示意图。
具体实施方式
下面结合附图，对本说明书披露的多个实施例进行描述。
本说明书实施例开拓性地提出一种人脸图像的生成方法，可以生成包含特定身份人脸、且真实度高的虚拟人脸图像。在一个实施例中，图1示出本说明书实施例披露的一种算法框架的结构示意图，该算法框架中包括从提前训练好的人脸识别模型中提取特征表示层，基于该算法框架进行训练，可以得到训练好的判别网络和最终用于生成上述虚拟人脸图像的图像生成网络。
下面，首先结合具体的实施例，对基于图1示出的算法框架，训练上述图像生成网络和判别网络的方法步骤进行介绍。具体地，图2示出本说明书实施例披露的一种实现用户隐私保护的人脸图像生成方法的流程示意图，所述方法的执行主体可以为任何具有计算、处理能力的装置或设备或***或平台或服务器集群等。
如图2所示，所述方法可以包括以下步骤：
步骤S210，获取与第一用户的真实人脸图像对应的真实特征向量，该真实特征向量基于预先训练的人脸识别模型中的特征表示层而确定。步骤S220，将所述真实特征向量输入图像生成网络，所述图像生成网络至少包括N个处理单元和输出层；其中第i+1个处理单元利用所述真实特征向量和预先获取的随机噪声向量，将第i个处理单元输出的第一特征图转化为第二特征图，再利用其对应包括的卷积层对所述第二特征图进行卷积处理，得到第三特征图，作为第i+1个处理单元的输出；其中输出层根据第N个处理单元输出的特征图，输出用于识别为所述第一用户的虚拟人脸图像；其中N和i为正整数，且i＜N。步骤S230，将所述虚拟人脸图像输入所述特征表示层中，得到对应的虚拟特征向量。步骤S240，基于所述真实特征向量和虚拟特征向量，确定第一损失。步骤S250，将所述虚拟人脸图像输入判别网络中，得到第一判别结果，并且，基于所述第一判别结果和所述虚拟人脸图像对应的第一类别标签，确定第二损失。步骤S260，确定生成综合损失，所述生成综合损失分别与所述第一损失和第二损失正相关。步骤S270，利用所述生成综合损失，训练所述图像生成网络，用于生成与目标用户对应的目标虚拟人脸图像。
针对以上步骤，首先需要说明，对于上述真实人脸图像等用户隐私信息的使用，为经过用户授权的合法使用。此外，上述“第一用户”、“第一损失”中的“第一”，“第二损失”中的“第二”，以及文中其他的类似用语，仅用于区分同类事物，不具备其他限定作用。
以上步骤具体如下：
首先，在步骤S210，获取与第一用户的真实人脸图像对应的真实特征向量，所述真实特征向量基于预先训练的人脸识别模型中的特征表示层而确定。
针对上述人脸识别模型，先分别其构成和预选训练的方式进行介绍。具体地，人脸识别模型可以通过神经网络实现。在一个实施例中，具体可以通过CNN(ConvolutionalNeural Networks，卷积神经网络)实现。在另一个实施例中，具体可以通过DNN(DeepNeural Networks，深度神经网络)实现。
另一方面，人脸识别模型中可以包括顺序排列的输入层、特征表示层和输出层。其中输入层用于获取待识别的人脸图像，特征表示层用于对人脸图像进行特征表示，得到反映用户身份信息的人脸特征向量，输出层用于根据人脸特征向量，确定并输出人脸图像所对应用户的用户身份。在一个实施例中，特征表示层中可以包括若干卷积层。在另一个实施例中，特征表示层中可以包括若干自注意力层，自注意力层是指引入了自注意力(SelfAttention)机制的神经网络层。在一个实施例中，输出层可以包括若干全连接层和分类网络层，其中若干全连接层可以用于对人脸特征向量中的高阶特征进行提取、组合，分类网络层用于确定人脸图像属于不同类别(此处为不同用户身份)的概率，并最终输出其中最高概率所对应的类别(此处为用户身份)。在一个具体的实施例中，其中分类网络层可以用逻辑回归实现，如在多分类时通常采用Softmax。据此，可以建立人脸识别模型。
再者，在一个实施例中，对于人脸识别模型的预先训练，可以通过以下步骤实现:首先，获取多个训练样本，其中每个训练样本包括历史人脸图像和指示对应用户身份的类别标签；然后，利用多个训练样本，调整人脸识别模型的模型参数。在一个具体的实施例中，其中类别标签可以为用户身份证号、手机号、或者用户ID(例如，可以是***为用户分配的唯一编号)。在一个具体的实施例中，其中的历史人脸图像可以是在以往进行人脸识别(如刷脸付款、刷脸认证等)的过程中采集得到的。如此，可以得到训练好的人脸识别模型，也就相应得到其中训练好的特征表示层。
以上对人脸识别模型的建立，该人脸识别模型中包含的特征表示层，以及对该人脸识别模型进行预先训练的方式进行介绍。
基于此，可以通过上述训练好的特征表示层，得到上述与第一用户的真实人脸图像对应的真实特征向量。在一个实施例中，其中真实人脸图像可以是在历史的人脸识别(如刷脸支付或刷脸认证等)过程中采集得到的，或者，是在拍摄证件照片(如身份证或护照)时采集得到的。由此，可以将采集到的真实人脸图像输入训练好的特征表示层中，得到对应的真实特征向量。在另一个实施例中，在以往利用训练好的人脸识别模型进行人脸识别的过程中，可以积累大量的真实特征向量，由此可以从历史累积的大量真实特征向量中，直接获取得到对应于第一用户的真实特征向量。
以上，可以获取与第一用户的真实人脸图像对应的真实特征向量。接着，在步骤S220，将所述真实特征向量输入图像生成网络，得到用于识别为所述第一用户的虚拟人脸图像。
具体地，图3示出本说明书实施例披露的图像生成网络的网络结构示意图。如图3所示，所述图像生成网络中至少包括N(为大于1的正整数)个处理单元和输出层。
首先，对于N个处理单元中的第1个处理单元，其将上述真实特征向量从向量空间(一维空间)映射到特征图空间(三维空间)，得到映射特征图，用于确定第1个处理单元的输出。在一个实施例中，可以先对真实特征向量进行复制拼接，得到特征矩阵，再对特征矩阵进行复制拼接，得到该映射特征图。在另一个实施例中，还可以采用复制向量元素、利用固定数值(如0或0.1等)填充等方式，确定映射特征图中元素的具体数值。如此，可以得到映射特征图。
进一步地，在一个实施例中，可以直接将该映射特征图，作为第1个处理单元的输出。在另一个实施例中，第1个处理单元中包括卷积层31(参见图3)，由此还可以利用该卷积层31对所述映射特征图进行卷积处理，得到转化特征图，作为第1个处理单元的输出。
需要说明，卷积层31具体可以包括一个或多个卷积层，其中每个卷积层都会对输入该每个卷积层中的特征图进行卷积处理，经过这些卷积层的依次处理，可以得到上述转化特征图。其中卷积处理是使用单个卷积层中的若干卷积核，对特征图进行卷积计算，具体地，在进行卷积计算时，分别将若干卷积核中的每一个卷积核在特征图中高宽维度对应的特征矩阵上滑动，每滑动一个步长，对卷积核中每个元素和其覆盖的矩阵元素值进行乘积并求和，如此可以得到新的特征图。
在一个实施例中，卷积层31包括多个卷积层。在一个具体的实施例中，在这多个卷积层之间或在某些卷积层之后，还包括至少一个ReLU(The Rectified Linear Unit，修正线性单元)激励层，用于把卷积层输出结果做非线性映射。非线性映射的结果可以被输入其中下一卷积层继续进行卷积处理，或者可以作为上述转化特征图输出。在另一个具体的实施例中，在这多个卷积层之间，还包括至少一个池化层(pooling)，用于把卷积层输出结果进行池化操作。池化操作的结果可以被输入下一卷积层，继续进行卷积操作。在又一个具体的实施例中，在这多个卷积层之间或其中某些卷积层(例如，其中最后一个卷积层)之后，还可以包括放大层，用于放大特征图尺寸，进而提高最终生成的虚拟人脸图像的分辨率。在一个更具体的实施例中，其中放大层通过最近邻卷积上采样，将特征图的长度和宽度方向的维数进行预定倍数(如2倍或4倍)的翻倍处理。在另一个更具体的实施例中，其中放大层通过反卷积(conv_transpose)，实现特征图尺寸的放大。需要说明，其中最近邻卷积上采样和反卷积都可以采用现有的方式实现，对此不作赘述。
本领域技术人员了解，可以在多个卷积层之间或某些卷积层之后，选择性地加入ReLU层或池化层或放大层。如此，第1个处理单元利用其对应包括的卷积层31对上述映射特征图进行卷积处理，可以得到转化特征图。
然后，对于第2至第N个处理单元，其中每个处理单元利用上述真实特征向量和该每个处理单元预先获取的随机噪声向量，将上一处理单元输出的第一特征图转化为第二特征图，再利用该每个处理单元中的卷积层对该第二特征图进行卷积处理，得到第三特征图，作为该每个处理单元的输出，也就是作为下一处理单元或输出层的输入。需要说明，其中每个处理单元中各自包括对应的卷积层，并且，任意两个处理单元获取的随机噪声向量(参见图3，输入第i个处理单元中的随机噪声向量为vi)可以相同也可以不同。在一个实施例中，其中随机噪声向量可以是利用随机算法生成的随机噪声向量。在另一个实施例中，其中随机噪声向量可以是从符合特定分布(如高斯分布或拉普拉斯分布)的噪声空间，获取到的噪声向量。
如此，通过在处理单元中不断引入真实特征向量和随机噪声向量对特征图进行处理，可以同时实现身份信息的不断加强，以及引入丰富的冗余信息来强化图像细节，进而使得最终生成的虚拟人脸图像可以被识别为上述特定身份的第一用户，并且具有极强的真实感。
下面以其中的第i+1个处理单元为例，对第2至第N个处理单元的处理内容进行说明。具体地，第i+1个处理单元利用上述真实特征向量和预先获取的随机噪声向量，将第i个处理单元输出的第一特征图转化为第二特征图，再利用其对应包括的卷积层对所述第二特征图进行卷积处理，得到第三特征图，作为第i+1个处理单元的输出。
在一个实施例中，上述第i+1个处理单元利用上述真实特征向量和预先获取的随机噪声向量，将第i个处理单元输出的第一特征图转化为第二特征图，可以包括：先对所述真实特征向量和随机噪声向量进行融合处理，得到融合向量；再利用所述融合向量，将所述第一特征图转化为所述第二特征图。
在一个具体的实施例中，上述融合处理可以包括加和处理。在一个更具体的实施例中，可以将对真实特征向量和随机噪声向量直接相加得到的向量，作为上述融合向量。在另一个更具体的实施例中，可以将对真实特征向量和随机噪声向量进行加权求和后得到的向量，作为上述融合向量。在一个例子中，其中加权求和用到的权重可以为需要学习的模型参数。在另一个例子中，其中加权求和用到的权重可以为人工设定的超参，例如，将真实特征向量和随机噪声向量对应的权重分别设定为0.8和0.2，或者，0.7和0.3，等等。在另一个具体的实施例中，上述融合处理可以包括拼接处理。在一个更具体的实施例中，可以将把真实特征向量拼接在随机噪声向量之后得到的拼接向量，作为上述融合向量。在另一个更具体的实施例中，可以将把随机噪声向量拼接在真实特征向量之后得到的拼接向量，作为上述融合向量。
另一方面，在一个具体的实施例中，上述第一特征图中包括任意的第一特征元素，对应于所述第二特征图中的第二特征元素；所述第i+1个处理单元中还包括对应的第二全连接层和第三全连接层(可参见图3)；相应地，上述利用所述融合向量，将所述第一特征图转化为所述第二特征图，可以包括：首先，将上述融合向量输入第二全连接层中，得到对应的均值向量，其中包括用于对所述第一特征元素进行标准化处理的均值，并且，将所述融合向量输入第三全连接层中，得到对应的方差向量，其中包括用于对所述第一特征元素进行标准化处理的方差；接着，利用所述方差和均值，对所述第一特征元素进行标准化处理，得到标准化特征元素；然后，利用所述第i+1个处理单元中对应包括的缩放学习参数和偏移学习参数，对所述标准化特征元素进行缩放和偏移处理，得到所述第二特征元素。
为便于理解，下面借助数学符号和公式，对上述将第一特征图转化为第二特征图的过程进行进一步描述。具体地，特征图可以包括通道(channel)、高度(height)和宽度(width)这三个维度，第一特征图和第二特征图在这个三个维度上具有相同的维数，具体可以将这三个维度对应的维数分别记为C、H和W，并整体记为C*H*W。进一步地，将第一特征图中包括的任意的第一特征元素记为
Figure BDA0002418376740000121
其中j为小于C、H和W的乘积的正整数，并且，将第二特征图中经由
Figure BDA0002418376740000122
转化而来的第二特征元素记为
Figure BDA0002418376740000123
另外，将上述融合向量记为vM，其中M表示融合向量的向量维数，并将上述缩放学习参数和偏移学习参数分别记为γ和β。
基于此，对于上述利用融合向量vM，将第一特征图转化为第二特征图可以包括：首先，将vM分别输入第二全连接层和第三全连接层中，得到对应的均值向量μC和方差向量
Figure BDA0002418376740000124
其中C表示该均值向量的维数和方差向量的维数，均与上述通道方向的维数相等；然后，根据第一特征元素
Figure BDA0002418376740000125
所对应的通道数(c为小于C的正整数)，确定出μC和
Figure BDA0002418376740000126
中第k维的向量元素分别为μc和
Figure BDA0002418376740000127
接着，利用μc和
Figure BDA0002418376740000128
对
Figure BDA0002418376740000129
进行标准化处理，得到标准化特征元素
Figure BDA00024183767400001210
其中标准化处理使用的公式可以记为：
Figure BDA00024183767400001211
其中，∈为超参，用于防止
Figure BDA00024183767400001212
时导致计算无效的情况，例如，可以将∈可以设定为0.000001或0.0000002等。
进一步地，利用所述第i+1个处理单元中对应包括的缩放学习参数γ和偏移学习参数β，对
Figure BDA0002418376740000131
进行缩放和偏移处理，得到所述第二特征元素
Figure BDA0002418376740000132
其中缩放和偏移处理所使用的公式可以记为：
Figure BDA0002418376740000133
由上可以实现将第一特征元素
Figure BDA0002418376740000134
转化为第二特征元素
Figure BDA0002418376740000135
也就实现了将第一特征图转化为第二特征图。
在另一个具体的实施例中，利用所述融合向量，将所述第一特征图转化为所述第二特征图，还可以通过以下步骤实现：首先，将融合向量从向量空间(具体为一维空间)映射到特征图空间(具体为三维空间)，并使得该映射得到的特征图在各个维度的维数，与第一特征图在该各个维度的维数相同，对此在一个更具体的实施例中，可以采用复制向量元素、使用固定数值(如0或0.1等)填充等方式，确定映射得到的特征图中元素的具体数值；然后，对映射得到的特征图和第一特征图进行对位相加(也即，对具有相同位置的元素相加)，得到第二特征图。如此，同样可以实现利用上述融合向量，将第一特征图转化第二特征图。
以上，可以实现利用对真实特征向量和随机噪声向量进行融合得到的融合向量，将第一特征图转化为第二特征图。
在另一个实施例中，上述第i+1个处理单元利用真实特征向量和预先获取的随机噪声向量，将第i个处理单元输出的第一特征图转化为第二特征图，也可以包括：分别将真实特征向量和该随机噪声向量，从向量空间映射到特征图空间，得到对应的两个特征图，然后，将这两个特征图和第一特征图进行对位相加，得到上述第二特征图。
由上，第i+1个处理单元可以实现利用真实特征向量和随机噪声向量，将第一特征图转化为第二特征图。进一步地，第i+1个处理单元利用其对应包括的卷积层对所述第二特征图进行卷积处理，得到第三特征图，作为第i+1个处理单元的输出。需要说明，对于其中的卷积处理，可以参见上述实施例中的相关描述，不作赘述。
如此，第i+1个处理单元中可以实现第i个处理单元输出的第一特征图转化为第二特征图，再将第二特征图卷积处理为第三特征图，作为第i+2个处理单元的输入(当i+2＜N时)或输出层的输入(当i+2＝N时)。
经过以上第2至第N个处理单元的依次处理，可以得到第N个处理单元输出的特征图。基于此，输出层根据该第N个处理单元输出的特征图，输出用于识别为所述第一用户的虚拟人脸图像。在一个实施例中，在第N个处理单元输出的特征图的通道数(通道维度的维数)为3的情况下，输出层可以直接根据该特征图输出RGB图像，也就是上述虚拟人脸图像。在另一个实施例中，在该通道数不为3的情况下，输出层可以利用其中包括的卷积层，对该特征图进行卷积处理，以将该特征图转化为三通道的特征图，在根据该三通道的特征图输出上述虚拟人脸图像。需要理解，特征图中的特征值与图像中像素块的颜色具有映射关系，从三通道特征图到RGB图像的转化可以通过该映射关系实现。由此，输出层可以根据第N个处理单元输出的特征图，输出上述虚拟人脸图像。
以上，通过将真实特征向量输入包含N个处理单元和输出层的图像生成网络，可以得到用于识别为特定身份的第一用户的人脸图像。另一方面，在一个实施例中，图像生成网络中还可以包括调制单元32，用于先对真实特征向量进行调制升维，以增加真实特征向量中的冗余信息，进一步丰富图像细节，再将调制升维得到的同时带有身份信息和冗余信息的升维特征向量，引入后续的N个处理单元，实现身份信息的不断强化和细节信息的不断丰富。具体地，上述第i+1个处理单元利用所述真实特征向量和预先获取的随机噪声向量，将第i个处理单元输出的第一特征图转化为第二特征图，可以包括：第i+1个处理单元利用上述升维特征向量和上述随机噪声向量，将该第一特征图转化为该第二特征图。
在一个具体的实施例中，调制单元32可以利用其中包括的第一全连接层实现向量升维。具体地，将真实特征向量输入该第一全连接层中，输出上述升维特征向量。在另一个具体的实施例中，调制单元32可以利用插值的方式，实现向量升维,例如，可以在真实特征向量中的向量元素之间，***预定数值(如0.1或0.2等)或随机数，以得到上述升维特征向量。
由上，通过将真实特征向量输入图像生成网络，可以得到用于识别为特定身份的第一用户的虚拟人脸图像。
然后，基于上述虚拟人脸图像，确定用于训练图像生成网络的损生成综合失，具体可以通过执行步骤S230至步骤S260实现。一方面，在步骤S230中，将所述虚拟人脸图像输入所述特征表示层中，得到对应的虚拟特征向量，并且，在步骤S240，基于所述真实特征向量和虚拟特征向量，确定第一损失。另一方面，在步骤S250，将所述虚拟人脸图像输入判别网络中，得到第一判别结果，并且，基于所述第一判别结果和所述虚拟人脸图像对应的第一类别标签，确定第二损失。进一步地，在步骤S260，基于上述第一损失和第二损失，确定生成综合损失，所述生成综合损失分别与所述第一损失和所述第二损失正相关。
需要说明，对于步骤S230的描述，可以参见前述实施例中，对将真实人脸图像输入上述特征表示层，得到真实特征向量的相关描述。
在一种实施方式下，步骤S240可以包括：分别对真实特征向量和虚拟特征向量进行归一化处理，再计算归一化处理后得到的两个单位向量之间的余弦距离或欧式距离，作为上述第一损失。如此，通过真实特征向量和虚拟特征向量确定第一损失，参与训练图像生成网络，可以保证真实人脸图像和虚拟人脸图像在特征空间上的身份一致性，进而使得虚拟人脸图像可以被识别为特定身份。
在一种实施方式下，上述判别网络用于判别输入其中的图像是否为真实的人脸图像。在一个实施例中，其中判别网络可以采用CNN网络或DNN网络实现。在一个具体的实施例中，其中判别网络可以采用与图像生成网络对称的网络结构。另一方面，在一个实施例中，上述第一类别标签用于指示上述虚拟人脸图像不是真实的人脸图像。
在一种实施方式下，在步骤260中可以采用以下公式计算生成综合损失：
LG＝E[cos(vr,vv)]+E[logD(G(vr)] (3)
在公式(3)中，LG表示生成综合损失，vr和vv分别表示真实特征向量和虚拟特征向量，cos(vr,vv)表示vr和vv之间的余弦距离(为上述第一损失的一种示例)，G表示上述图像生成网络对应的函数，G(vr)表示上述虚拟人脸图像，D表示判别网络对应的函数，E表示针对一批次样本的期望。此外，其中logD(G(vr)为上述第二损失的一种示例。
如此，基于第一损失和第二损失，可以确定与该第一损失和第二损失分别正相关的生成综合损失。在一个实施例中，还可以引入特征图尺寸的损失，参与确定生成综合损失。具体地，可以计算将上述真实人脸图像输入上述特征表示层时、以及将上述虚拟人脸图像输入该特征表示层时，两个相同尺寸的特征图(具体可以为一对或多对，任意两对的尺寸可以相同也可以不同)之间的L2(二阶范数)距离或其他阶范数距离，作为第三损失，并使得上述生成综合损失与该第三损失正相关。如此，可以实现特征图角度的隐式监督，从而保障生成人脸在视觉空间和特征空间与原人脸的一致性，避免直接做像素监督因欠拟合出现的图像模糊现象。
在一个具体的实施例中，上述获取与第一用户的真实人脸图像对应的真实特征向量，可以包括：将所述真实人脸图像输入所述特征表示层中，得到所述真实特征向量；具体地，在所述特征表示层所包括的特定卷积层中，通过卷积处理得到具有特定尺寸的真实特征图。相应地，上述确定生成综合损失还可以包括：从上述N个处理单元输出的N个第三特征图中，获取具有所述特定尺寸的特征图作为虚拟特征图；接着，基于所述真实特征图和所述虚拟特征图，确定第三损失；再确定所述生成综合损失，所述生成综合损失还与所述第三损失正相关。
在一个例子中，可以采用以下公式计算生成综合损失：
LG＝E[cos(vr,vv)]+E[||mr-mv||2]+E[logD(G(vr)] (4)
在公式(4)中，mr和mv分别表示上述真实特征图和上述虚拟特征图，||mr-mv||2表示mr和mv之间的L2距离，并且，||mr-mv||2为上述第三损失的一种示例。此外，对公式(4)中其余参数的含义，可以参见对公式(3)中参数的描述，不作赘述。
如此，可以基于第一损失、第二损失和第三损失，确定出生成综合损失。
基于上述确定出的生成综合损失，在步骤S270，利用所述生成综合损失，训练所述图像生成网络。在一个实施例中，可以采用已有的反向传播算法，依次调整图像生成网络中各网络层的参数，进而实现对图像生成网络的训练。
由上，通过步骤S210-步骤S270，可以实现对图像生成网络的训练，多次迭代训练后，可以得到训练好的图像生成网络，用于生成与目标用户对应的目标虚拟人脸图像。
另一方面，对于上述判别网络，也是需要训练的。在一种实施方式中，可以进行端到端的训练，此时在一次训练中，可以利用同一批次训练样本，同时调整判别网络和图像生成网络中的参数。在另一种实施方式中，可以交替训练图像生成网络和判别网络，比如说，先固定图像生成网络中的模型参数，训练5次(或其他预设次数，如6次)判别网络，再固定判别网络中的模型参数，训练1次(或其他预设次数，如2次)图像生成网络。
为便于理解，下面对判别网络的训练进行介绍。在一个实施例中，在上述步骤S220之后，所述方法还可以包括：先将上述真实人脸图像输入所述判别网络中，得到第二判别结果，并且，基于该第二判别结果和上述真实人脸图像对应的第二类别标签，确定第四损失；再确定判别综合损失，该判别综合损失与该第四损失正相关，且与上述第二损失负相关；然后，基于该判别综合损失，训练上述判别网络。需要说明，该判别综合损失与上述第二损失负相关，而上述生成综合损失与上述第二损失正相关，如此实现了判别网络与图像生成网络之间的对抗。
在一个具体的实施例中，上述第二类别标签指示上述真实人脸图像是真实的人脸图像。在一个具体的实施例中，上述判别综合损失可以参考WGAN(Wasserstein GenerativeAdversarial Networks)中提出的损失函数。在一个例子中，确定判别综合损失所采用的公式如下：
Figure BDA0002418376740000181
在公式(5)中，LD表示判别综合损失，vr表示真实特征向量，G表示上述图像生成网络对应的函数，G(vr)表示上述虚拟人脸图像，pr表示上述真实人脸图像，D(pr)和logD(G(vr)分别为上述第四损失和第二损失的一种示例，E表示针对一批次样本的期望值，D表示判别网络对应的函数，D∈1-Lipschitz表示D函数满足1-Lipschitz连续。
在另一个例子中，对于判别综合损失的计算，还可以参考WGAN-GP中相对WGAN改进的损失函数，增加一个正则项，即WGAN-GP中GP(gradient penalty，梯度约束)，对此不赘述。
基于上述确定出的判别综合损失，可以调整判别网络中的参数，以实现对上述判别网络的训练。
综上，可以实现对图像生成网络和判别网络的训练。并且，在经过预定轮次的迭代训练，或者，在经过多轮次的迭代训练直到模型收敛后，可以获取其中训练好的图像生成网络，用于生成针对目标用户的目标虚拟人脸图像。
在本说明书实施例披露的人脸图像生成方法中，真实特征向量和随机噪声向量多次输入图像生成网络(或者说在图像生成网络中被多次使用)，强化了身份特征信息，填充了图像中的随机细节信息，使得生成的虚拟人脸图像既可以较好地保障身份一致性，又可以保障细节丰富性进而增强图像的视觉真实性。同时，在图像生成网络的训练过程中，通过人脸识别模型引入特征监督(参见上述利用真实特征向量和虚拟特征向量，参与确定生成综合损失)，显式地保障了生成人脸与原人脸身份一致性；进一步地，还可以引入中间的特征图，以隐式地保障生成人脸在视觉空间和特征空间上与原人脸的一致性，避免了直接做像素监督因欠拟合出现的像素模糊现象。
根据另一方面的实施例，本说明书实施例还披露另一种人脸图像生成方法。具体地，图4示出本说明书实施例披露的另一种实现用户隐私保护的人脸图像生成方法的流程示意图,所述方法的执行主体可以为任何具有计算、处理能力的装置或设备或***或平台或服务器集群等。
如图4所示，所述方法可以包括以下步骤：
步骤S410，获取与目标用户的真实人脸图像对应的真实特征向量，该真实特征向量基于预先训练的人脸识别模型中的特征表示层而确定；步骤S420，将所述真实特征向量输入图像生成网络，得到用于识别为所述目标用户的虚拟人脸图像。其中图像生成网络前述实施例中的方法进行预先训练而得到。
需要说明，对步骤S410和步骤S420的描述，可以参见前述对步骤S210和步骤S220的描述。
综上，采用本说明书实施例披露的人脸图像生成方法，将对目标用户进行人脸识别时得到的真实特征向量输入训练好的图像生成网络中，可以得到与目标用户具有一致身份、以及高相似容颜的虚拟人脸图像，进而实现对用户隐私的保护。举例来说，随着刷脸业务的普及，刷脸业务中捕获的人脸图像越来越多，因业务追溯的需要，不能直接对其抛弃，而直接存储将占用大量的存储空间，并且，容易造成用户隐私泄露。而基于本说明书实施例提供的人脸图像生成方法，业务方只需对刷脸业务中得到的人脸特征向量(将人脸图像输入人脸识别模型后，获取其中特征表示层的输出而得到)进行存储，不需要存储原图像，如此可以节省存储空间，并将降低用户隐私泄露的风险。并且，基于此，若用户觉得某次刷脸业务存在异常(例如收到手机短信提示，已发生一笔刷脸支付的消费，但该用户本人并未进行该次消费)，此时，若用户提起申诉，***可以获取该某次刷脸业务中对应存储的人脸特征向量，并将该人脸特征向量输入预先训练的图像生成网络中，得到虚拟人脸图像，然后将该虚拟人脸图像发送给用户，以供用户查看该虚拟人脸图像是否为其本人。如此，既可以实现刷脸业务的历史追溯，也可以让用户感受到其隐私信息得到了合理、有效地保护。
此外，由于经由人脸特征向量生成的人脸一般不包括化妆、发型、帽子等额外信息，所以上述人脸图像生成方法还可以用于人脸遮挡信息的去除，得到少遮挡，更加干净、直观的人脸图像。
再者，还可以通过上述虚拟人脸图像，从直觉上直观地衡量人脸特征向量地质量，用于评估人脸识别模型。如此为人脸识别模型的评估提供了全新的角度。
与前述实施例中披露的生成方法相对应的，本说明书实施例还披露人脸图像的生成装置。具体如下：
图5示出本说明书实施例披露的一种实现用户隐私保护的人脸图像生成装置的结构示意图。如图5所示，所述装置500包括：
真实向量获取模块501，配置为获取与第一用户的真实人脸图像对应的真实特征向量，所述真实特征向量基于预先训练的人脸识别模型中的特征表示层而确定。虚拟图像生成模块503，配置为将所述真实特征向量输入图像生成网络，所述图像生成网络至少包括N个处理单元和输出层；所述虚拟图像生成单元具体包括：特征图转换子模块5031，配置为通过其中的第i+1个处理单元，利用所述真实特征向量和预先获取的随机噪声向量，将第i个处理单元输出的第一特征图转化为第二特征图；卷积处理子模块5032，配置为通过该第i+1个处理单元，利用其对应包括的卷积层对所述第二特征图进行卷积处理，得到第三特征图，作为第i+1个处理单元的输出；图像输出子模块5033，配置为通过其中的输出层，根据第N个处理单元输出的特征图，输出用于识别为所述第一用户的虚拟人脸图像；其中N和i为正整数，且i＜N。虚拟向量确定模块505，配置为将所述虚拟人脸图像输入所述特征表示层中，得到对应的虚拟特征向量。第一损失确定模块507，配置为基于所述真实特征向量和虚拟特征向量，确定第一损失。第二损失确定模块509，配置为将所述虚拟人脸图像输入判别网络中，得到第一判别结果，并且，基于所述第一判别结果和所述虚拟人脸图像对应的第一类别标签，确定第二损失。生成损失确定模块511，配置为确定生成综合损失，所述生成综合损失分别与所述第一损失和所述第二损失正相关。生成网络训练模块513，配置为利用该生成综合损失，训练该图像生成网络，用于生成与目标用户对应的目标虚拟人脸图像。
在一个实施例中，所述虚拟图像生成模块503还配置为，通过所述N个处理单元中的第1个处理单元将所述真实特征向量从向量空间映射到特征图空间，得到映射特征图，并利用其对应包括的卷积层对所述映射特征图进行卷积处理，得到转化特征图，作为第1个处理单元的输出。
在一个实施例中,所述图像生成网络还包括调制单元，所述虚拟图像生成模块中还包括调制子模块5034，配置为通过所述调制单元对所述真实特征向量进行升维处理，得到升维特征向量；其中特征图转换子模块5031具体配置为：通过第i+1个处理单元利用所述升维特征向量和所述随机噪声向量，将所述第一特征图转化为所述第二特征图。
在一个具体的实施例中，所述调制单元包括第一全连接层；所述调制子模块5034具体配置为：通过所述调制单元将所述真实特征向量输入所述第一全连接层中，输出所述升维特征向量。
在一个实施例中,其中特征图转换子模块5031具体配置为：通过第i+1个处理单元对所述真实特征向量和随机噪声向量进行融合处理，得到融合向量；利用所述融合向量，将所述第一特征图转化为所述第二特征图。
在一个具体的实施例中，所述第一特征图中包括任意的第一特征元素，对应于所述第二特征图中的第二特征元素；所述第i+1个处理单元中还包括对应的第二全连接层和第三全连接层；特征图转换子模块5031进一步配置为：将所述融合向量输入第二全连接层中，得到对应的均值向量，其中包括用于对所述第一特征元素进行标准化处理的均值；将所述融合向量输入第三全连接层中，得到对应的方差向量，其中包括用于对所述第一特征元素进行标准化处理的方差；利用所述方差和均值，对所述第一特征元素进行标准化处理，得到标准化特征元素；利用所述第i+1个处理单元中对应包括的缩放学习参数和偏移学习参数，对所述标准化特征元素进行缩放和偏移处理，得到所述第二特征元素。
在一个实施例中,所述真实向量获取模块501具体配置为：将所述真实人脸图像输入所述特征表示层中，得到所述真实特征向量；其中包括，在所述特征表示层所包括的特定卷积层中，通过卷积处理得到具有特定尺寸的真实特征图；其中，所述生成损失确定模块511具体配置为：从所述N个处理单元输出的N个第三特征图中，获取具有所述特定尺寸的特征图作为虚拟特征图；基于所述真实特征图和所述虚拟特征图，确定第三损失；确定所述生成综合损失，所述生成综合损失还与所述第三损失正相关。
在一个实施例中,所述装置500还包括：判别损失确定单元515，配置为将所述真实人脸图像输入所述判别网络中，得到第二判别结果，并且，基于所述第二判别结果和所述真实人脸图像对应的第二类别标签，确定第四损失；确定判别综合损失，所述判别综合损失与所述第四损失正相关，且与所述第二损失负相关。判别网络训练模块517，配置为基于所述判别综合损失，训练所述判别网络。
在本说明书实施例披露的人脸图像生成装置中，真实特征向量和随机噪声向量多次输入图像生成网络(或者说在图像生成网络中被多次使用)，强化了身份特征信息，填充了图像中的随机细节信息，使得生成的虚拟人脸图像既可以较好地保障身份一致性，又可以保障细节丰富性进而增强图像的视觉真实性。同时，在图像生成网络的训练过程中，通过人脸识别模型引入特征监督(参见上述利用真实特征向量和虚拟特征向量，参与确定生成综合损失)，显式地保障了生成人脸与原人脸身份一致性；进一步地，还可以引入中间的特征图，以隐式地保障生成人脸在视觉空间和特征空间上与原人脸的一致性，避免了直接做像素监督因欠拟合出现的像素模糊现象。
图6示出本说明书实施例披露的另一种实现用户隐私保护的人脸图像生成装置的结构示意图。如图6所示，所述装置600包括：
真实向量获取模块610，配置为获取与目标用户的真实人脸图像对应的真实特征向量，所述真实特征向量基于预先训练的人脸识别模型中的特征表示层而确定；虚拟图像生成模块620，配置为将所述真实特征向量输入图像生成网络，得到用于识别为所述目标用户的虚拟人脸图像，所述图像生成网络通过图5示出的装置进行预先训练而得到。
如上，根据又一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图2或图4所描述的方法。
根据又一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图2或图4所描述的方法。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本说明书披露的多个实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式，对本说明书披露的多个实施例的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本说明书披露的多个实施例的具体实施方式而已，并不用于限定本说明书披露的多个实施例的保护范围，凡在本说明书披露的多个实施例的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本说明书披露的多个实施例的保护范围之内。

Claims (20)

1.一种实现用户隐私保护的人脸图像生成方法，包括：
获取与第一用户的真实人脸图像对应的真实特征向量，所述真实特征向量基于预先训练的人脸识别模型中的特征表示层而确定；
将所述真实特征向量输入图像生成网络，所述图像生成网络至少包括N个处理单元和输出层；其中第i+1个处理单元利用所述真实特征向量和预先获取的随机噪声向量，将第i个处理单元输出的第一特征图转化为第二特征图，再利用其对应包括的卷积层对所述第二特征图进行卷积处理，得到第三特征图，作为第i+1个处理单元的输出；其中输出层根据第N个处理单元输出的特征图，输出用于识别为所述第一用户的虚拟人脸图像；其中N和i为正整数，且i＜N；
将所述虚拟人脸图像输入所述特征表示层中，得到对应的虚拟特征向量；
基于所述真实特征向量和虚拟特征向量，确定第一损失；
将所述虚拟人脸图像输入判别网络中，得到第一判别结果，并且，基于所述第一判别结果和所述虚拟人脸图像对应的第一类别标签，确定第二损失；
确定生成综合损失，所述生成综合损失分别与所述第一损失和所述第二损失正相关；
利用所述生成综合损失，训练所述图像生成网络，用于生成与目标用户对应的目标虚拟人脸图像。
2.根据权利要求1所述的方法，其中，所述N个处理单元中的第1个处理单元将所述真实特征向量从向量空间映射到特征图空间，得到映射特征图，并利用其对应包括的卷积层对所述映射特征图进行卷积处理，得到转化特征图，作为第1个处理单元的输出。
3.根据权利要求1所述的方法，其中，所述图像生成网络还包括调制单元，所述调制单元对所述真实特征向量进行升维处理，得到升维特征向量；其中第i+1个处理单元利用所述真实特征向量和预先获取的随机噪声向量，将第i个处理单元输出的第一特征图转化为第二特征图，包括：
第i+1个处理单元利用所述升维特征向量和所述随机噪声向量，将所述第一特征图转化为所述第二特征图。
4.根据权利要求3所述的方法，其中，所述调制单元包括第一全连接层；其中，所述调制单元对所述真实特征向量进行升维处理，得到升维特征向量，包括：
将所述真实特征向量输入所述第一全连接层中，输出所述升维特征向量。
5.根据权利要求1所述的方法，其中第i+1个处理单元利用所述真实特征向量和预先获取的随机噪声向量，将第i个处理单元输出的第一特征图转化为第二特征图，包括：
对所述真实特征向量和随机噪声向量进行融合处理，得到融合向量；
利用所述融合向量，将所述第一特征图转化为所述第二特征图。
6.根据权利要求5所述的方法，其中，所述第一特征图中包括任意的第一特征元素，对应于所述第二特征图中的第二特征元素；所述第i+1个处理单元中还包括对应的第二全连接层和第三全连接层；其中，利用所述融合向量，将所述第一特征图转化为所述第二特征图，包括：
将所述融合向量输入第二全连接层中，得到对应的均值向量，其中包括用于对所述第一特征元素进行标准化处理的均值；
将所述融合向量输入第三全连接层中，得到对应的方差向量，其中包括用于对所述第一特征元素进行标准化处理的方差；
利用所述方差和均值，对所述第一特征元素进行标准化处理，得到标准化特征元素；
利用所述第i+1个处理单元中对应包括的缩放学习参数和偏移学习参数，对所述标准化特征元素进行缩放和偏移处理，得到所述第二特征元素。
7.根据权利要求1所述的方法，其中，获取与第一用户的真实人脸图像对应的真实特征向量，包括：
将所述真实人脸图像输入所述特征表示层中，得到所述真实特征向量；其中包括，在所述特征表示层所包括的特定卷积层中，通过卷积处理得到具有特定尺寸的真实特征图；
其中，确定生成综合损失，包括：
从所述N个处理单元输出的N个第三特征图中，获取具有所述特定尺寸的特征图作为虚拟特征图；
基于所述真实特征图和所述虚拟特征图，确定第三损失；
确定所述生成综合损失，所述生成综合损失还与所述第三损失正相关。
8.根据权利要求1所述的方法，其中，在确定第二损失之后，所述方法还包括：
将所述真实人脸图像输入所述判别网络中，得到第二判别结果，并且，基于所述第二判别结果和所述真实人脸图像对应的第二类别标签，确定第四损失；
确定判别综合损失，所述判别综合损失与所述第四损失正相关，且与所述第二损失负相关；
基于所述判别综合损失，训练所述判别网络。
9.一种实现用户隐私保护的人脸图像生成方法，包括：
获取与目标用户的真实人脸图像对应的真实特征向量，所述真实特征向量基于预先训练的人脸识别模型中的特征表示层而确定；
将所述真实特征向量输入图像生成网络，得到用于识别为所述目标用户的虚拟人脸图像，所述图像生成网络通过权利要求1所述的方法进行预先训练而得到。
10.一种实现用户隐私保护的人脸图像生成装置，包括：
真实向量获取模块，配置为获取与第一用户的真实人脸图像对应的真实特征向量，所述真实特征向量基于预先训练的人脸识别模型中的特征表示层而确定；
虚拟图像生成模块，配置为将所述真实特征向量输入图像生成网络，所述图像生成网络至少包括N个处理单元和输出层；所述虚拟图像生成单元具体包括：特征图转换子模块，配置为通过其中的第i+1个处理单元，利用所述真实特征向量和预先获取的随机噪声向量，将第i个处理单元输出的第一特征图转化为第二特征图；卷积处理子模块，配置为通过该第i+1个处理单元，利用其对应包括的卷积层对所述第二特征图进行卷积处理，得到第三特征图，作为第i+1个处理单元的输出；图像输出子模块，配置为通过其中的输出层，根据第N个处理单元输出的特征图，输出用于识别为所述第一用户的虚拟人脸图像；其中N和i为正整数，且i＜N；
虚拟向量确定模块，配置为将所述虚拟人脸图像输入所述特征表示层中，得到对应的虚拟特征向量；
第一损失确定模块，配置为基于所述真实特征向量和虚拟特征向量，确定第一损失；
第二损失确定模块，配置为将所述虚拟人脸图像输入判别网络中，得到第一判别结果，并且，基于所述第一判别结果和所述虚拟人脸图像对应的第一类别标签，确定第二损失；
生成损失确定模块，配置为确定生成综合损失，所述生成综合损失分别与所述第一损失和所述第二损失正相关；
生成网络训练模块，配置为利用所述生成综合损失，训练所述图像生成网络，用于生成与目标用户对应的目标虚拟人脸图像。
11.根据权利要求10所述的装置，其中，所述虚拟图像生成模块还配置为，通过所述N个处理单元中的第1个处理单元将所述真实特征向量从向量空间映射到特征图空间，得到映射特征图，并利用其对应包括的卷积层对所述映射特征图进行卷积处理，得到转化特征图，作为第1个处理单元的输出。
12.根据权利要求10所述的装置，其中，所述图像生成网络还包括调制单元，所述虚拟图像生成模块中还包括调制子模块，配置为通过所述调制单元对所述真实特征向量进行升维处理，得到升维特征向量；其中特征图转换子模块具体配置为：
通过第i+1个处理单元利用所述升维特征向量和所述随机噪声向量，将所述第一特征图转化为所述第二特征图。
13.根据权利要求12所述的装置，其中，所述调制单元包括第一全连接层；所述调制子模块具体配置为：
通过所述调制单元将所述真实特征向量输入所述第一全连接层中，输出所述升维特征向量。
14.根据权利要求10所述的装置，其中特征图转换子模块具体配置为：
通过第i+1个处理单元对所述真实特征向量和随机噪声向量进行融合处理，得到融合向量；
利用所述融合向量，将所述第一特征图转化为所述第二特征图。
15.根据权利要求14所述的装置，其中，所述第一特征图中包括任意的第一特征元素，对应于所述第二特征图中的第二特征元素；所述第i+1个处理单元中还包括对应的第二全连接层和第三全连接层；特征图转换子模块进一步配置为：
将所述融合向量输入第二全连接层中，得到对应的均值向量，其中包括用于对所述第一特征元素进行标准化处理的均值；
将所述融合向量输入第三全连接层中，得到对应的方差向量，其中包括用于对所述第一特征元素进行标准化处理的方差；
利用所述方差和均值，对所述第一特征元素进行标准化处理，得到标准化特征元素；
利用所述第i+1个处理单元中对应包括的缩放学习参数和偏移学习参数，对所述标准化特征元素进行缩放和偏移处理，得到所述第二特征元素。
16.根据权利要求10所述的装置，其中，所述真实向量获取模块具体配置为：将所述真实人脸图像输入所述特征表示层中，得到所述真实特征向量；其中包括，在所述特征表示层所包括的特定卷积层中，通过卷积处理得到具有特定尺寸的真实特征图；
其中，所述生成损失确定模块具体配置为：
从所述N个处理单元输出的N个第三特征图中，获取具有所述特定尺寸的特征图作为虚拟特征图；
基于所述真实特征图和所述虚拟特征图，确定第三损失；
确定所述生成综合损失，所述生成综合损失还与所述第三损失正相关。
17.根据权利要求10所述的装置，其中，所述装置还包括：
判别损失确定单元，配置为将所述真实人脸图像输入所述判别网络中，得到第二判别结果，并且，基于所述第二判别结果和所述真实人脸图像对应的第二类别标签，确定第四损失；确定判别综合损失，所述判别综合损失与所述第四损失正相关，且与所述第二损失负相关；
判别网络训练模块，配置为基于所述判别综合损失，训练所述判别网络。
18.一种实现用户隐私保护的人脸图像生成装置，包括：
真实向量获取模块，配置为获取与目标用户的真实人脸图像对应的真实特征向量，所述真实特征向量基于预先训练的人脸识别模型中的特征表示层而确定；
虚拟图像生成模块，配置为将所述真实特征向量输入图像生成网络，得到用于识别为所述目标用户的虚拟人脸图像，所述图像生成网络通过权利要求10所述的装置进行预先训练而得到。
19.一种计算机可读存储介质，其上存储有计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-9中任一项的所述的方法。
20.一种计算设备，包括存储器和处理器，其中，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-9中任一项所述的方法。
CN202010198211.6A 2020-03-19 2020-03-19 实现用户隐私保护的人脸图像生成方法及装置 Active CN111414856B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010198211.6A CN111414856B (zh) 2020-03-19 2020-03-19 实现用户隐私保护的人脸图像生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010198211.6A CN111414856B (zh) 2020-03-19 2020-03-19 实现用户隐私保护的人脸图像生成方法及装置

Publications (2)

Publication Number Publication Date
CN111414856A true CN111414856A (zh) 2020-07-14
CN111414856B CN111414856B (zh) 2022-04-12

Family

ID=71493090

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010198211.6A Active CN111414856B (zh) 2020-03-19 2020-03-19 实现用户隐私保护的人脸图像生成方法及装置

Country Status (1)

Country Link
CN (1) CN111414856B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112613445A (zh) * 2020-12-29 2021-04-06 深圳威富优房客科技有限公司 人脸图像生成方法、装置、计算机设备和存储介质
CN112668401A (zh) * 2020-12-09 2021-04-16 中国科学院信息工程研究所 一种基于特征解耦合的人脸隐私保护方法和装置
CN113033518A (zh) * 2021-05-25 2021-06-25 北京中科闻歌科技股份有限公司 图像检测方法、装置、电子设备及存储介质
CN113409437A (zh) * 2021-06-23 2021-09-17 北京字节跳动网络技术有限公司 一种虚拟角色捏脸的方法、装置、电子设备及存储介质
CN113420665A (zh) * 2021-06-23 2021-09-21 平安国际智慧城市科技股份有限公司 对抗人脸图像生成、人脸识别模型训练方法、装置及设备
CN113657350A (zh) * 2021-05-12 2021-11-16 支付宝(杭州)信息技术有限公司 人脸图像处理方法及装置
CN117912120A (zh) * 2024-03-19 2024-04-19 中国科学技术大学 人脸隐私保护方法、***、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011203835A (ja) * 2010-03-24 2011-10-13 Konami Digital Entertainment Co Ltd 画像生成装置、画像加工方法、および、プログラム
CN107220600A (zh) * 2017-05-17 2017-09-29 清华大学深圳研究生院 一种基于深度学习的图片生成方法及生成对抗网络
CN107545277A (zh) * 2017-08-11 2018-01-05 腾讯科技（上海）有限公司 模型训练、身份验证方法、装置、存储介质和计算机设备
CN108197525A (zh) * 2017-11-20 2018-06-22 中国科学院自动化研究所 人脸图像生成方法及装置
CN109753921A (zh) * 2018-12-29 2019-05-14 上海交通大学 一种人脸特征向量隐私保护识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011203835A (ja) * 2010-03-24 2011-10-13 Konami Digital Entertainment Co Ltd 画像生成装置、画像加工方法、および、プログラム
CN107220600A (zh) * 2017-05-17 2017-09-29 清华大学深圳研究生院 一种基于深度学习的图片生成方法及生成对抗网络
CN107545277A (zh) * 2017-08-11 2018-01-05 腾讯科技（上海）有限公司 模型训练、身份验证方法、装置、存储介质和计算机设备
CN108197525A (zh) * 2017-11-20 2018-06-22 中国科学院自动化研究所 人脸图像生成方法及装置
CN109753921A (zh) * 2018-12-29 2019-05-14 上海交通大学 一种人脸特征向量隐私保护识别方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112668401A (zh) * 2020-12-09 2021-04-16 中国科学院信息工程研究所 一种基于特征解耦合的人脸隐私保护方法和装置
CN112668401B (zh) * 2020-12-09 2023-01-17 中国科学院信息工程研究所 一种基于特征解耦合的人脸隐私保护方法和装置
CN112613445B (zh) * 2020-12-29 2024-04-30 深圳威富优房客科技有限公司 人脸图像生成方法、装置、计算机设备和存储介质
CN112613445A (zh) * 2020-12-29 2021-04-06 深圳威富优房客科技有限公司 人脸图像生成方法、装置、计算机设备和存储介质
CN113657350A (zh) * 2021-05-12 2021-11-16 支付宝(杭州)信息技术有限公司 人脸图像处理方法及装置
CN113033518B (zh) * 2021-05-25 2021-08-31 北京中科闻歌科技股份有限公司 图像检测方法、装置、电子设备及存储介质
CN113033518A (zh) * 2021-05-25 2021-06-25 北京中科闻歌科技股份有限公司 图像检测方法、装置、电子设备及存储介质
CN113420665A (zh) * 2021-06-23 2021-09-21 平安国际智慧城市科技股份有限公司 对抗人脸图像生成、人脸识别模型训练方法、装置及设备
CN113409437A (zh) * 2021-06-23 2021-09-17 北京字节跳动网络技术有限公司 一种虚拟角色捏脸的方法、装置、电子设备及存储介质
CN113409437B (zh) * 2021-06-23 2023-08-08 北京字节跳动网络技术有限公司 一种虚拟角色捏脸的方法、装置、电子设备及存储介质
CN113420665B (zh) * 2021-06-23 2024-05-07 平安国际智慧城市科技股份有限公司 对抗人脸图像生成、人脸识别模型训练方法、装置及设备
CN117912120A (zh) * 2024-03-19 2024-04-19 中国科学技术大学 人脸隐私保护方法、***、设备及存储介质
CN117912120B (zh) * 2024-03-19 2024-06-07 中国科学技术大学 人脸隐私保护方法、***、设备及存储介质

Also Published As

Publication number Publication date
CN111414856B (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
CN111414856B (zh) 实现用户隐私保护的人脸图像生成方法及装置
CN110516577B (zh) 图像处理方法、装置、电子设备及存储介质
CN108491848B (zh) 基于深度信息的图像显著性检测方法和装置
CN111476806B (zh) 图像处理方法、装置、计算机设备和存储介质
EP4085369A1 (en) Forgery detection of face image
CN108549836A (zh) 照片的翻拍检测方法、装置、设备及可读存储介质
CN115050064A (zh) 人脸活体检测方法、装置、设备及介质
CN115170746B (zh) 一种基于深度学习的多视图三维重建方法、***及设备
CN112365451B (zh) 图像质量等级的确定方法、装置、设备及计算机可读介质
CN111274946B (zh) 一种人脸识别方法和***及设备
CN111179270A (zh) 基于注意力机制的图像共分割方法和装置
CN114780768A (zh) 一种视觉问答任务处理方法、***、电子设备及存储介质
Sarmah et al. Optimization models in steganography using metaheuristics
CN116453232A (zh) 人脸活体检测方法、人脸活体检测模型的训练方法和装置
CN111582155A (zh) 活体检测方法、装置、计算机设备和存储介质
CN114036553A (zh) 一种结合k匿名的行人身份隐私保护方法
Xiao et al. Sat: Self-adaptive training for fashion compatibility prediction
US20130132310A1 (en) Method and System for Evaluating the Class of a Test Datum in a Large-Dimension Data Space
CN115620342A (zh) 跨模态行人重识别方法、***及计算机
CN116958306A (zh) 图像合成方法和装置、存储介质及电子设备
CN114299105A (zh) 图像处理方法、装置、计算机设备及存储介质
CN114120050A (zh) 地表生态数据提取方法及装置、设备和存储介质
Eurviriyanukul et al. Evaluation of recognition of water-meter digits with application programs, APIs, and machine learning algorithms
CN116071835B (zh) 人脸识别攻击事后筛查的方法、装置和电子设备
CN113572913B (zh) 图像加密方法、装置、介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40033609

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant