CN112733946A - 一种训练样本的生成方法、装置、电子设备及存储介质 - Google Patents

一种训练样本的生成方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112733946A
CN112733946A CN202110050175.3A CN202110050175A CN112733946A CN 112733946 A CN112733946 A CN 112733946A CN 202110050175 A CN202110050175 A CN 202110050175A CN 112733946 A CN112733946 A CN 112733946A
Authority
CN
China
Prior art keywords
face image
source
target
training data
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110050175.3A
Other languages
English (en)
Other versions
CN112733946B (zh
Inventor
杨博文
尹榛菲
邵婧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202110050175.3A priority Critical patent/CN112733946B/zh
Publication of CN112733946A publication Critical patent/CN112733946A/zh
Application granted granted Critical
Publication of CN112733946B publication Critical patent/CN112733946B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种训练样本的生成方法、装置、电子设备及存储介质，其中，该方法包括：获取源训练数据集、以及目标场景产生的目标人脸图像；基于目标人脸图像，以及源训练数据集中与目标人脸图像对应的源人脸图像，生成与目标人脸图像对应的合成人脸图像；基于合成人脸图像，对源训练数据集进行扩充，得到扩充训练数据集。本公开利用融合得到的合成人脸图像可以在样本空间内对目标人脸图像进行扩充，所扩充得到的训练数据集一定程度上可以涵盖目标场景下更多的训练数据，这样所训练出的神经网络在目标场景(例如，一个全新的环境)下的检测准确度较高。

Description

一种训练样本的生成方法、装置、电子设备及存储介质
技术领域
本公开涉及计算机视觉技术领域，具体而言，涉及一种训练样本的生成方法、装置、电子设备及存储介质。
背景技术
人脸识别作为计算机视觉技术领域中的一个重要研究方向，被广泛应用于手机解锁、门禁通行等各种应用场景中。但是由于人脸图片易于获取的特点，人脸识别***容易受到打印、视频重放等伪造方式的攻击，产生安全隐患，因此能够分辨人脸真假的活体检测是人脸识别***中不可或缺的关键环节。
目前的活体检测方法可以利用活体检测神经网络来自动识别所输入人脸图片是属于真人还是属于假人。相比于其它人脸任务(如人脸检测)，活体检测很容易受到各种各样攻击手段和攻击材料的影响，导致已经训练好的活体检测模型无法很好的适应新的攻击环境。
这里，考虑到新的攻击环境下产生的训练数据通常比较少，如果直接将新的直接加入到已有训练数据的数据集中，无法有效的提升神经网络在新的攻击环境下的检测准确度。
发明内容
本公开实施例至少提供一种训练样本的生成方法、装置、电子设备及存储介质。
第一方面，本公开实施例提供了一种训练数据的生成方法，包括：
获取源训练数据集、以及目标场景产生的目标人脸图像；
基于所述目标人脸图像，以及所述源训练数据集中与所述目标人脸图像对应的源人脸图像，生成与所述目标人脸图像对应的合成人脸图像；
基于所述合成人脸图像，对所述源训练数据集进行扩充，得到扩充训练数据集。
采用上述训练数据的生成方法，可以基于源训练数据集中的源人脸图像对目标人脸图像进行融合，这样所融合得到的合成人脸图像不仅包含了源人脸图像的图像特征，还包含了目标人脸图像的图像特征。在目标场景产生的目标人脸图像比较少的情况下，利用融合得到的合成人脸图像可以在样本空间内对目标人脸图像进行扩充，所扩充得到的训练数据集一定程度上可以涵盖目标场景下更多的训练数据，这样所训练出的神经网络在目标场景(例如，一个全新的环境)下的检测准确度较高。
在一种可能的实施方式中，所述基于所述目标人脸图像，以及所述源训练数据集中与所述目标人脸图像对应的源人脸图像，生成与所述目标人脸图像对应的合成人脸图像，包括：
从所述源训练数据集中提取与所述目标人脸图像配对的所述源人脸图像；
将所述目标人脸图像和与所述目标人脸图像配对的源人脸图像输入到训练好的图像生成神经网络进行特征融合处理，得到所述合成人脸图像，所述合成人脸图像融合有所述源人脸图像的内容特征以及所述目标人脸图像的风格特征。
本公开实施例中，可以利用图像生成神经网络进行配对的目标人脸图像以及源人脸图像之间的融合处理，操作简单，省时高效。
在一种可能的实施方式中，按照如下步骤训练所述图像生成神经网络：
获取配对的源人脸图像样本和目标人脸图像样本；
对所述配对的源人脸图像样本和目标人脸图像样本分别进行特征提取，得到所述源人脸图像样本的内容特征信息以及所述目标人脸图像样本的风格特征信息；
基于所述源人脸图像样本的内容特征信息以及所述目标人脸图像样本的风格特征信息，对待训练的图像生成神经网络进行至少一轮训练。
这里，为了增强目标场景下的目标人脸图像的特征在后续进行活体检测等应用中的显著性，这里，针对目标人脸图像可以提取影响活体检测比较重要的风格特征信息，针对源人脸图像样本可以提取内容特征信息，这样所训练出的图像生成神经网络可以更好的适应后续的检测网络。
在一种可能的实施方式中，所述基于所述源人脸图像样本的内容特征信息以及所述目标人脸图像样本的风格特征信息对待训练的图像生成神经网络进行至少一轮训练，包括：
针对当前轮训练，将所述源人脸图像样本的内容特征信息以及所述目标人脸图像样本的风格特征信息作为所述待训练的图像生成神经网络的输入特征，确定待训练的图像生成神经网络输出的融合特征信息；
在所述融合特征信息与所述内容特征信息之间的第一相似度小于第一阈值、且所述融合特征信息与所述风格特征信息之间的第二相似度小于第二阈值的情况下，调整所述图像生成神经网络的网络参数，并进行下一轮训练；
直至在所述融合特征信息与所述内容特征信息之间的第一相似度大于或等于第一阈值，且所述融合特征信息与所述风格特征信息之间的第二相似度大于或等于第二阈值的情况下，训练截止。
这里，旨在具有内容特征的前提下，提升风格特征显著性的融合图像，因而，可以利用融合特征信息与内容特征信息之间的第一相似度以及融合特征信息与风格特征信息之间的第二相似度来进行训练条件的约束，这样所训练出的网络可以满足场景的需要。
在一种可能的实施方式中，所述从所述源训练数据集中提取与所述目标人脸图像配对的源人脸图像，包括：
确定所述目标人脸图像所属的活体标签类别；
从所述源训练数据集中提取活体标签类别与所述目标人脸图像所属的活体标签类别相同的源人脸图像，作为与所述目标人脸图像配对的源人脸图像。
在一种可能的实施方式中，在所述得到扩充训练数据集之后，所述方法还包括：
基于所述扩充训练数据集对待训练的活体检测神经网络进行至少一轮训练，得到训练好的活体检测神经网络。
这里，由于扩充训练数据集可以很好的兼顾目标场景，这样所训练出的活体检测神经网络对于目标场景的兼容性会更好，检测准确度也会比较高。
在一种可能的实施方式中，所述基于所述扩充训练数据集对待训练的活体检测神经网络进行至少一轮训练，得到训练好的活体检测神经网络，包括：
利用待训练的活体检测神经网络，分别得到所述扩充训练数据集中每张人脸图像的特征信息；
基于得到的特征信息，确定所述待训练的活体检测神经网络对应的目标损失函数值；
在所述目标损失函数值不满足预设条件的情况下，对所述待训练的活体检测神经网络进行下一轮训练，直至所述目标损失函数值满足预设条件。
在一种可能的实施方式中，所述扩充训练数据集中每张人脸图像的特征信息，包括：
所述扩充训练数据集中的源人脸图像的第一特征信息、目标人脸图像的第二特征信息，以及合成人脸图像的第三特征信息。
在一种可能的实施方式中，所述基于得到的特征信息，确定所述待训练的活体检测神经网络对应的目标损失函数值，包括：
基于所述第一特征信息、所述第二特征信息以及所述第三特征信息，确定用于衡量同一活体标签类别内的训练数据的差异性的第一目标损失函数值，以及用于衡量不同来源的人脸图像的特征分布情况的第二目标损失函数值；
基于所述第一目标损失函数值和所述第二目标损失函数值，确定所述待训练的活体检测神经网络对应的目标损失函数值。
本公开实施例基于衡量同一活体标签类别内的训练数据的差异性的第一目标损失函数值以及衡量不同来源的人脸图像的特征分布的第二目标损失函数值同步对活体检测神经网络进行调整，这样所训练出的网络可以使得相同类别的样本在特征空间上具有更为相似的表达，从而可以提升分类结果的准确性。
在一种可能的实施方式中，所述基于所述第一特征信息、所述第二特征信息以及所述第三特征信息，确定用于衡量同一活体标签类别内的训练数据的差异性的第一目标损失函数值，包括：
从所述训练数据集中选取同一活体标签类别的两个第一人脸图像，以及选取不同活体标签类别的两个第二人脸图像；所述两个第一人脸图像的来源不同，且所述两个第二人脸图像的来源不同；
基于所述两个第一人脸图像的特征信息，确定所述两个第一人脸图像之间的第一图像相似度；以及，基于所述两个第二人脸图像的特征信息，确定所述两个第二人脸图像之间的第二图像相似度；
将所述第一图像相似度和所述第二图像相似度进行求和，得到所述第一目标损失函数值。
这里，可以通过计算样本间的图像相似度，来拉近相同类别，推远不同类别，从而使得所训练出的网络可以更好的进行分类。
在一种可能的实施方式中，基于所述第一特征信息、所述第二特征信息以及所述第三特征信息，确定用于衡量不同来源的人脸图像的特征分布情况的第二目标损失函数值，包括：
基于所述第一特征信息、所述第二特征信息以及所述第三特征信息，分别确定用于表征所述扩充训练数据集中的各张源人脸图像的特征分布的第一分布特征信息、用于表征所述扩充训练数据集中的各张目标人脸图像的特征分布的第二分布特征信息、以及用于表征所述扩充训练数据集中的各张合成人脸图像的特征分布的第三分布特征信息；
基于所述第二分布特征信息以及所述第三分布特征信息之间的相似度，确定各张目标人脸图像与各张合成人脸图像之间的第一特征分布相似度；并将所述第二分布特征信息以及所述第三分布特征信息进行拼接，得到拼接后的分布特征信息；
基于所述第一分布特征信息以及所述拼接后的分布特征信息之间的相似度，确定各张源人脸图像与各张合成人脸图像之间的第二特征分布相似度；
将所述第一特征分布相似度和所述第二特征分布相似度进行求和，得到所述第二目标损失函数值。
这里，可以基于特征分布层面，对三种分布特征信息进行处理，以使得整个扩充训练数据集在特征分布上对比，从而可以更好的进行活体分类。
在一种可能的实施方式中，所述基于得到的特征信息，确定所述待训练的活体检测神经网络对应的目标损失函数值，包括：
利用待训练的活体检测神经网络确定的所述扩充训练数据集中的每张源人脸图像的第一特征信息，以及利用训练好的源活体检测神经网络从该源人脸图像提取的第一源特征信息，确定所述待训练的活体检测神经网络对应的目标损失函数值；
其中，所述源活体检测神经网络由各张源人脸图像样本以及对每张源人脸图像样本标注的活体标签类别训练得到。
这里，为了使得所训练的活体检测神经网络能够在兼顾对于目标场景的高准确率的前提下，不降低对已有训练数据集所对应场景的检测准确率，这里，可以利用训练好的源活体检测神经网络从源人脸图像提取的第一源特征信息，基于这一源特征信息以及第一特征信息之间的相似度可以对网络进行参数调整，以得到上述目的。
第二方面，本公开实施例还提供了一种训练数据的生成装置，包括：
获取模块，用于获取源训练数据集、以及目标场景产生的目标人脸图像；
生成模块，用于基于所述目标人脸图像，以及所述源训练数据集中与所述目标人脸图像对应的源人脸图像，生成与所述目标人脸图像对应的合成人脸图像；
扩充模块，用于基于所述合成人脸图像，对所述源训练数据集进行扩充，得到扩充训练数据集。
第三方面，本公开实施例还提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如第一方面及其各种实施方式任一所述的训练数据的生成方法的步骤。
第四方面，本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面及其各种实施方式任一所述的训练数据的生成方法的步骤。
关于上述训练数据的生成装置、电子设备、及计算机可读存储介质的效果描述参见上述训练数据的生成方法的说明，这里不再赘述。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种训练数据的生成方法的流程图；
图2示出了本公开实施例所提供的一种训练数据的生成方法的应用示意图；
图3示出了本公开实施例所提供的一种训练数据的生成装置的示意图；
图4示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
经研究发现，目前的活体检测方法可以利用活体检测神经网络来自动识别所输入人脸图片是属于真人还是属于假人。相比于其它人脸任务(如人脸检测)，活体检测很容易受到各种各样攻击手段和攻击材料的影响，导致已经训练好的活体检测模型无法很好的适应新的攻击环境。
这里，考虑到新的攻击环境下产生的训练数据通常比较少，如果直接将新的直接加入到已有训练数据的数据集中，无法有效的提升神经网络在新的攻击环境下的检测准确度。
基于上述研究，本公开提供了一种训练样本的生成方法、装置、电子设备及存储介质，通过图像特征融合对训练数据集进行扩充，以使得这样所训练出的神经网络可以更好的适应各种场景。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种训练数据的生成方法进行详细介绍，本公开实施例所提供的训练数据的生成方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该训练数据的生成方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
参见图1所示，为本公开实施例提供的训练数据的生成方法的流程图，方法包括步骤S101～S103，其中：
S101：获取源训练数据集、以及目标场景产生的目标人脸图像；
S102：基于目标人脸图像，以及源训练数据集中与目标人脸图像对应的源人脸图像，生成与目标人脸图像对应的合成人脸图像；
S103：基于合成人脸图像，对源训练数据集进行扩充，得到扩充训练数据集。
这里，为了便于理解本公开实施例提供的训练数据的生成方法，首先可以对该生成方法的应用场景进行详细说明。上述训练数据的生成方法主要应用于训练活体检测神经网络之前的训练数据集的准备过程中。考虑到相关活体检测容易受到各样攻击手段和攻击材料的影响，导致已经训练好的活体检测模型无法很好的适应新的攻击环境，这主要是由于新的攻击环境下所产生的训练数据通常比较少，而直接将新的训练数据添加到已有训练数据集的话，无法有效的提升所训练的神经网络在新的攻击环境下的检测准确度。
正是为了解决上述问题，本公开实施例才提供了一种通过图像合成实现训练数据集扩充的方案，这样，基于扩充训练数据集所训练出的神经网络能够更好的适应新的攻击环境下的检测需求。
其中，上述源训练数据集可以是预先收集的，例如，可以是在已广泛应用的人脸活体攻击方式下所获取的人脸图片的合集，还可以是在其它活体攻击方式下获取的图片的合集。这里的目标场景可以对应的是上述新的攻击环境，在一种新的攻击环境下，所产生的目标人脸图像的数量通常比较少。
可知的是，本公开实施例中目标人脸图像所对应的目标场景和源训练数据集所对应的场景并不相同，这里的场景不同主要指的是人脸图像所处采集环境的不同，例如，源训练数据集所对应的采集环境包含了纸张攻击、手机屏幕攻击等方式的情况下，在电脑屏幕攻击方式这一新的攻击环境下所采集的人脸图像可以作为上述目标场景下的目标人脸图像。
在这种情况下，本公开实施例提供的训练数据的生成方法可以基于目标人脸图像以及源训练数据集中与目标人脸图像对应的源人脸图像，生成合成人脸图像，这里的合成人脸图像融合了目标人脸图像的图像特征以及源人脸图像的图像特征，这样，经过合成人脸图像对源训练数据集扩充之后，所得到的扩充训练数据集将包含更多符合目标场景的人脸图像，依照这样的扩充训练数据集所训练的神经网络可以更好的适应目标场景中的需求。
本公开实施例中的目标人脸图像可以有多张，在进行图像合成的过程中，可以针对所有的目标人脸图像来执行，例如，可以遍历源训练数据集中的每张源人脸图像，将遍历到的各张源人脸图像分别与每张目标人脸图像进行合成，这样，针对每张目标人脸图像，可以对应有多张合成人脸图像。除此之外，本公开实施例还可以针对每张目标人脸图像，对源训练数据集中的部分源人脸图像进行合成操作。
需要说明的是，考虑到在基于训练数据集进行相关活体检测神经网络训练的过程中，这里的训练数据集通常会包含具有真人标签的人脸图像，也会包含具有假体标签的人脸图像。为了避免不同类型的标签对于神经网络所可能带来的干扰，这里，这里先确定目标人脸图像所属的活体标签类别，例如对应为真人标签，这时，可以从源训练数据集中选取标签类别与上述真人标签相同的源人脸图像，再进行选取出的源人脸图像与目标人脸图像的合成操作。
本公开实施例提供的训练数据的生成方法可以利用训练好的图像生成神经网络实现上述图像合成的相关操作。
这里，首先可以从源训练数据集中提取与目标人脸图像配对的源人脸图像，而后可以将目标人脸图像和与目标人脸图像配对的源人脸图像输入到训练好的图像生成神经网络进行特征融合处理，得到融合有源人脸图像的内容特征以及目标人脸图像的风格特征的合成人脸图像。
本公开实施例中与目标人脸图像配对的源人脸图像可以指的是活体标签类别与目标人脸图像所属的活体标签类别相同的人脸图像。这里，可以将活体标签类别相同的两张人脸图像(即配对的目标人脸图像以及源人脸图像)直接输入到图像生成神经网络，进行融合有源人脸图像的内容特征以及目标人脸图像的风格特征的合成人脸图像。
本公开实施例中之所以选取源人脸图像的内容特征以及目标人脸图像的风格特征进行融合，主要是考虑到在后续的活体检测应用中，更为关注的是诸如活体攻击类型(例如，手机屏幕攻击、纸张攻击)等风格特征对活体检测结果的影响，而人脸图像本身的一些特征，例如五官尺寸、眉眼间距等内容特征是可以得以弱化的，因而，为了更好的适应在新的目标场景下的活体检测，这里可以针对目标人脸图像提取对应的风格特征，针对源人脸图像提取对应的内容特征。
这里的图像生成神经网络可以训练的是输入的两张人脸图像与输出的一张合成人脸图像之间的匹配关系，可以按照如下步骤训练图像生成神经网络：
步骤一、获取配对的源人脸图像样本和目标人脸图像样本；
步骤二、对配对的源人脸图像样本和目标人脸图像样本分别进行特征提取，得到源人脸图像样本的内容特征信息以及目标人脸图像样本的风格特征信息；
步骤三、基于源人脸图像样本的内容特征信息以及目标人脸图像样本的风格特征信息，对待训练的图像生成神经网络进行至少一轮训练。
这里，可以将源人脸图像样本和目标人脸图像样本作为配对的一组人脸图像样本。为了实现将目标人脸图像样本的风格特征迁徙至源人脸图像上的技术目的，本公开实施例在分别对配对的源人脸图像样本和目标人脸图像样本进行特征提取的情况下，可以确定源人脸图像样本的内容特征信息以及目标人脸图像样本的风格特征信息，基于源人脸图像样本的内容特征信息以及目标人脸图像样本的风格特征信息可以进行一轮或多轮网络训练。
其中，上述内容特征信息可以用于表征源人脸图像样本中的人脸，是较为上层的特征，在具体应用中，可以是人脸的相关信息，例如，可以是脸部轮廓、两眼间距等用于表征人脸的信息；上述风格特征信息可以是接近图像纹理的底层特征，例如，目标人脸图像样本所呈现的材质等信息。
这里，为了确保上述图像生成神经网络可以生成融合有源人脸图像样本的内容特征信息以及目标人脸图像样本的风格特征信息的合成人脸图像样本，这里，可以在每轮训练的过程中，按照如下步骤进行训练：
步骤一、针对当前轮训练，将源人脸图像样本的内容特征信息以及目标人脸图像样本的风格特征信息作为待训练的图像生成神经网络的输入特征，确定待训练的图像生成神经网络输出的融合特征信息；
步骤二、在融合特征信息与内容特征信息之间的第一相似度小于第一阈值、且融合特征信息与风格特征信息之间的第二相似度小于第二阈值的情况下，调整图像生成神经网络的网络参数，并进行下一轮训练；
步骤三、直至在融合特征信息与内容特征信息之间的第一相似度大于或等于第一阈值，且融合特征信息与风格特征信息之间的第二相似度大于或等于第二阈值的情况下，训练截止。
这里，可以在每轮神经网络训练的过程中，确定待训练的图像生成神经网络输出的融合特征信息与输入到网络中的内容特征信息以及风格特征信息之间的相似度，在融合特征信息与内容特征信息之间的第一相似度不够大时，一定程度上说明与融合特征信息对应的合成人脸图像样本所包含的内容特征不足，这时可以通过调整图像生成神经网络的网络参数来提升融合特征中有关内容特征的占比。同理，在融合特征信息与风格特征信息之间的第二相似度不够大时，一定程度上说明与融合特征信息对应的合成人脸图像样本所包含的风格特征不足，这时可以通过调整图像生成神经网络的网络参数来提升融合特征中有关风格特征的占比。这样，通过多次迭代训练，可以得到训练好的图像生成神经网络。
需要说明的是，上述有关第一阈值和第二阈值可以结合不同的应用场景来选取。以第二阈值的选取为例，在实际应用中，设置的第二阈值不宜过大也不宜过小，过大的第二阈值将导致整个合成人脸图像样本忽略了内容特征对应活体检测等应用的影响，过小的第二阈值将导致整个合成人脸图像样本无法很好的根据风格特征进行活体检测等应用，因而，这里可以选取风格占比0.6的方式来确定对应的第二阈值。
可知的是，本公开实施例中的图像生成神经网络实现的是风格迁徙操作。在具体应用中，可以利用白化和着色变换(whitening and coloring transforms，WCT2)这一风格迁徙网络实现上述风格迁徙操作，这里的WCT2对于不同级别的特征而言所重建得到的合成人脸图像样本也不同，所使用的特征级别越低(对应特征提取的层次较浅)，所对应合成人脸图像样本越能保留内容细节但是风格化效果越差，反之，所使用的特征级别越高(对应特征提取的层次较深)，所对应合成人脸图像样本风格化效果越好，本公开实施例中还可以通过风格化程度参数来控制风格化程度，例如设置为0.6来控制风格化程度。
本公开实施例利用上述扩充训练数据可以进行活体检测神经网络的训练，也即，基于扩充训练数据集对待训练的活体检测神经网络进行至少一轮训练，得到训练好的活体检测神经网络。
其中，上述扩充训练数据集中不仅可以包含源训练数据集包括的源人脸图像，还可以包括目标场景下产生的目标人脸图像，还可以包括合成有上述源人脸图像和目标人脸图像的图像特征的合成人脸图像。
另外，本公开实施例中的活体检测神经网络主要可以实现的是针对输入的任一张人脸图像进行真人或假体的二分类识别操作。与此同时，在实际应用中，还可以是针对判别为假体的人脸图像确定其对应的攻击方式的多分类识别操作，本公开实施例对此不做具体的限制。为了便于进行示例说明，接下来多以二分类识别为例进行描述。
本公开实施例中，可以按照以下步骤训练活体检测神经网络：
步骤一、利用待训练的活体检测神经网络，分别得到扩充训练数据集中每张人脸图像的特征信息；
步骤二、基于得到的特征信息，确定待训练的活体检测神经网络对应的目标损失函数值；
步骤三、在目标损失函数值不满足预设条件的情况下，对待训练的活体检测神经网络进行下一轮训练，直至目标损失函数值满足预设条件。
这里，针对扩充训练数据集中的每张源人脸图像，利用待训练的活体检测神经网络可以确定的是该张源人脸图像的第一特征信息，同理，针对扩充训练数据集中的每张目标人脸图像，利用待训练的活体检测神经网络可以确定的是该张目标人脸图像的第二特征信息，同理，针对扩充训练数据集中的每张合成人脸图像，利用待训练的活体检测神经网络可以确定的是该张合成人脸图像的第三特征信息。
其中，上述第一特征信息、第二特征信息、第三特征信息可以是与活体检测识别相关的特征信息，这里的特征信息可以随着针对活体检测神经网络的网络参数的调整而发生改变，从而使得所训练得到的特征信息能够更好的进行活体检测。
这里，不管是针对扩充训练数据集中的多张源人脸图像(对应源人脸图像子集)，还是针对扩充训练数据集中的多张目标人脸图像(对应目标人脸图像子集)，还是针对扩充训练数据集中的多张合成人脸图像(对应合成人脸图像子集)，均可以包含具有真人标签的人脸图像以及具有假体标签的人脸图像。
在提取出上述第一特征信息、第二特征信息以及第三特征信息的情况下，上述源人脸图像子集、目标人脸图像子集、以及合成人脸图像子集这三个子集的特征分布是相对独立的。为了实现针对这三个子集的活体分类目的，本公开实施例可以在人脸图像层面以及特征分布两个层面建立对应的目标损失函数，以达到对上述三个子集进行活体分类的良好效果。接下来可以通过如下两个方面进行说明。
第一方面：针对人脸图像层面而言，这里可以基于第一特征信息、第二特征信息以及第三特征信息，确定用于衡量同一活体标签类别内的训练数据的差异性的第一目标损失函数值。具体可以按照如下步骤确定这一目标损失函数值：
步骤一、从训练数据集中选取同一活体标签类别的两个第一人脸图像，以及选取不同活体标签类别的两个第二人脸图像；两个第一人脸图像的来源不同，且两个第二人脸图像的来源不同；
步骤二、基于两个第一人脸图像的特征信息，确定该两个第一人脸图像之间的第一图像相似度；以及，基于两个第二人脸图像的特征信息，确定该两个第二人脸图像之间的第二图像相似度；
步骤三、将第一图像相似度和第二图像相似度进行求和，得到第一目标损失函数值。
这里的两个第一人脸图像和两个第二人脸图像各自包括源人脸图像、目标人脸图像和合成人脸图像中的两种。本公开实施例中，可以是基于活体标签类别来选取对应的两个第一人脸图像和两个第二人脸图像，在实际应用中，所选取出的其中一张第一人脸图像和所选取出的其中一张第二人脸图像可以是同一图像，也可以是不同图像，在此不做具体的限制。
针对训练数据集中选取的属于同一活体标签类别的两个第一人脸图像，例如，两个具有真人标签的第一人脸图像，可以确定这两个第一人脸图像之间的第一图像相似度；同理，针对两个具有假体标签的第一人脸图像，也可以确定对应的第一图像相似度。针对训练数据集中选取的属于不同活体标签类别的两个第二人脸图像，例如，包括一张具有真人标签第二人脸图像以及一张具有假体标签的第二人脸图像，可以确定这两个第二人脸图像之间的第二图像相似度。
为了实现活体分类，这里所确定的第一目标损失函数需要尽可能的提高第一图像相似度，降低第二图像相似度。这里，可以参照图2所示的示例图对上述有关第一图像相似度以及第二图像相似度进行具体说明。
如图2所示，在提取出上述第一特征信息、第二特征信息以及第三特征信息的情况下，上述源人脸图像子集、目标人脸图像子集、以及合成人脸图像子集这三个子集的特征分布(分别对应标记为分布1、分布2和分布3)是相对独立的。
针对分布1而言，该分布1中对应的11和12分别对应的是具有真人标签和假体标签的源人脸图像；针对分布2而言，该分布2中对应的21和22分别对应的是具有真人标签和假体标签的目标人脸图像；针对分布3而言，该分布3中对应的31和32分别对应的是具有真人标签和假体标签的合成人脸图像。
执行上述第一图像相似度计算的过程，即是拉近分布1、分布2、分布3中属于同一活体标签的人脸图像之间的图像相似度的过程，例如，可以是针对分布1中标号为11的人脸图像以及针对分布2中标号为21的人脸图像确定第一图像相似度，这里，旨在使得训练出的活体检测神经网络能够拉近同属于真人标签的源人脸图像与目标人脸图像之间的距离。
执行上述第二图像相似度计算的过程，即是推远分布1、分布2、分布3中属于不同活体标签的人脸图像之间的图像相似度的过程，例如，可以是针对分布1中标号为11的人脸图像以及针对分布2中标号为22的人脸图像确定第二图像相似度，这里，旨在使得训练出的活体检测神经网络能够推远属于真人标签的源人脸图像以及属于假体标签的目标人脸图像之间的距离。
需要说明的是，在利用图像生成神经网络生成合成人脸图像的过程中，为了提升图像生成效果，所生成的合成人脸图像与输入的源人脸图像之间通常需要有一定的差异性，因而，在具体应用中，可以不对分布1与分布3中有关的图像相似度进行上述相关限定。
基于上述原理，本公开实施例可以确定出用于衡量同一活体标签类别内的训练数据的差异性的第一目标损失函数值。
第二方面：针对特征分布层面而言，这里可以基于第一特征信息、第二特征信息以及第三特征信息，确定用于衡量不同来源的人脸图像的特征分布情况的第二目标损失函数值。具体可以按照如下步骤确定这一目标损失函数值：
步骤一、基于第一特征信息、第二特征信息以及第三特征信息，分别确定用于表征扩充训练数据集中的各张源人脸图像的特征分布的第一分布特征信息、用于表征扩充训练数据集中的各张目标人脸图像的特征分布的第二分布特征信息、以及用于表征扩充训练数据集中的各张合成人脸图像的特征分布的第三分布特征信息；
步骤二、基于第二分布特征信息以及第三分布特征信息之间的相似度，确定各张目标人脸图像与各张合成人脸图像之间的第一特征分布相似度；并将第二分布特征信息以及第三分布特征信息进行拼接，得到拼接后的分布特征信息；
步骤三、基于第一分布特征信息以及拼接后的分布特征信息之间的相似度，确定各张源人脸图像与各张合成人脸图像之间的第二特征分布相似度；
步骤四、将第一特征分布相似度和第二特征分布相似度进行求和，得到第三目标损失函数值。
这里，在确定出针对源人脸图像的第一特征信息、针对目标人脸图像的第二特征信息以及针对合成人脸图像的第三特征信息的情况下，可以分别针对源人脸图像子集确定对应的第一分布特征信息、针对目标人脸图像子集确定对应的第二分布特征信息、以及针对合成人脸图像子集确定对应的第三分布特征信息。
这里，为了实现上述三个人脸图像子集在特征分布层面的拉近，这里，可以先确定第二分布特征信息以及第三分布特征信息之间的相似度，这里的第一特征分布相似度越大，一定程度上说明目标人脸图像子集与合成人脸图像子集对应的特征分布越靠近，如图2所示，相比原始分布而言，在第一次进行分布上的拉近之后，分布2’(对应拉近后的分布2)与分布3’(对应拉近后的分布3)之间更为靠近。
在将将第二分布特征信息以及第三分布特征信息进行拼接的情况下，可以确定第一分布特征信息以及拼接后的分布特征信息之间的相似度，这里的第二特征分布相似度一定程度上说明源人脸图像子集与拼接后的两个人脸图像子集对应的特征分布越靠近，如图2所示，相比原始分布而言，在第二次进行分布上的拉近之后，分布1’(对应拉近后的分布1)与分布2’以及分布3’之间均更为靠近。
需要说明的是，在具体执行拉近操作的过程中，一个分布可以保持不动，另一个分布基于分布相似度来靠拢即可，也可以选取一个具体的靠拢位置，两个分布均向这一位置进行靠近。
基于上述原理，本公开实施例可以确定出用于衡量不同来源的人脸图像的特征分布情况的第二目标损失函数值。
在执行完上述特征分布拉近的操作之后，很容易找到一个超平面将扩充训练数据集中属于真人标签的人脸图像以及属于假体标签的人脸图像进行有效的分割，提升了活体检测神经网络的识别准确率。
本公开实施例中，在确定出第一目标损失函数值和第二目标损失函数值的情况下，可以确定待训练的活体检测神经网络对应的目标损失函数值。一旦确定出一轮训练的目标损失函数值不满足预设条件，即可以按照上述方法进行下一轮训练，直至目标损失函数值满足预设条件，训练截止。
需要说明的是，这里的预设条件可以是针对第一目标损失函数值确定的、第二目标损失函数值、以及整个目标损失函数值单独确定的，还可以是针对上述三个函数值中的任意组合确定的，本公开实施例对此不做具体的限制。
本公开实施例提供的训练数据的生成方法，利用上述网络训练方法可以很好的挖掘出目标场景下的人脸图像特征，从而能够更好的适配目标场景下有关活体检测应用的需求。为了避免所训练的活体检测神经网络对于已有场景下有关活体检测应用的性能干扰，这里，可以通过源领域抗遗忘约束策略对活体检测神经网络进行干预。
这里，可以利用待训练的活体检测神经网络确定的扩充训练数据集中的每张源人脸图像的第一特征信息，以及利用训练好的源活体检测神经网络从该源人脸图像提取的第一源特征信息，确定待训练的活体检测神经网络对应的目标损失函数值。
其中，上述源活体检测神经网络由各张源人脸图像样本以及对每张源人脸图像样本标注的活体标签类别训练得到。
在具体应用中，可以通过上述第一特征信息与第一源特征信息之间的差值来确定目标损失函数值。差值越小，一定程度上说明当前待训练的活体检测神经网络与训练好的源活体检测神经网络在特征空间上不产生过大的偏移，也即，可以确保所训练的活体检测神经网络在源领域上的性能不会下降。
本公开实施例中，在目标损失函数值不够小时，可以通过活体检测神经网络的参数调整来惩罚上述偏移变化。
需要说明的是，本公开实施例训练活体检测神经网络的过程，可以是针对源领域抗遗忘约束策略所设置的目标损失函数、上述用于衡量同一活体标签类别内的训练数据的差异性的第一目标损失函数，以及用于衡量不同来源的人脸图像的特征分布的第二目标损失函数共同作用的结果，通过损失函数的约束，在提升了所训练的活体检测神经网络在新的目标场景下的识别性能的前提下，确保了在已有场景下的识别性能不会下降。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与训练数据的生成方法对应的训练数据的生成装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述训练数据的生成方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图3所示，为本公开实施例提供的一种训练数据的生成装置的示意图，装置包括：获取模块301、生成模块302、扩充模块303；其中，
获取模块301，用于获取源训练数据集、以及目标场景产生的目标人脸图像；
生成模块302，用于基于目标人脸图像，以及源训练数据集中与目标人脸图像对应的源人脸图像，生成与目标人脸图像对应的合成人脸图像；
扩充模块303，用于基于合成人脸图像，对源训练数据集进行扩充，得到扩充训练数据集。
本公开实施例可以基于源训练数据集中的源人脸图像对目标人脸图像进行融合，这样所融合得到的合成人脸图像不仅包含了源人脸图像的图像特征，还包含了目标人脸图像的图像特征。在目标场景产生的目标人脸图像比较少的情况下，利用融合得到的合成人脸图像可以在样本空间内对目标人脸图像进行扩充，所扩充得到的训练数据集一定程度上可以涵盖目标场景下更多的训练数据，这样所训练出的神经网络在目标场景(例如，一个全新的环境)下的检测准确度较高。
在一种可能的实施方式中，生成模块302，用于按照以下步骤基于目标人脸图像，以及源训练数据集中与目标人脸图像对应的源人脸图像，生成与目标人脸图像对应的合成人脸图像：
从源训练数据集中提取与目标人脸图像配对的源人脸图像；
将目标人脸图像和与目标人脸图像配对的源人脸图像输入到训练好的图像生成神经网络进行特征融合处理，得到合成人脸图像，合成人脸图像融合有源人脸图像的内容特征以及目标人脸图像的风格特征。
在一种可能的实施方式中，生成模块302，用于按照如下步骤训练图像生成神经网络：
获取配对的源人脸图像样本和目标人脸图像样本；
对配对的源人脸图像样本和目标人脸图像样本分别进行特征提取，得到源人脸图像样本的内容特征信息以及目标人脸图像样本的风格特征信息；
基于源人脸图像样本的内容特征信息以及目标人脸图像样本的风格特征信息，对待训练的图像生成神经网络进行至少一轮训练。
在一种可能的实施方式中，生成模块302，用于基于源人脸图像样本的内容特征信息以及目标人脸图像样本的风格特征信息对待训练的图像生成神经网络进行至少一轮训练：
针对当前轮训练，将源人脸图像样本的内容特征信息以及目标人脸图像样本的风格特征信息作为待训练的图像生成神经网络的输入特征，确定待训练的图像生成神经网络输出的融合特征信息；
在融合特征信息与内容特征信息之间的第一相似度小于第一阈值、且融合特征信息与风格特征信息之间的第二相似度小于第二阈值的情况下，调整图像生成神经网络的网络参数，并进行下一轮训练；
直至在融合特征信息与内容特征信息之间的第一相似度大于或等于第一阈值，且融合特征信息与风格特征信息之间的第二相似度大于或等于第二阈值的情况下，训练截止。
在一种可能的实施方式中，生成模块302，用于按照以下步骤从源训练数据集中提取与目标人脸图像配对的源人脸图像：
确定目标人脸图像所属的活体标签类别；
从源训练数据集中提取活体标签类别与目标人脸图像所属的活体标签类别相同的源人脸图像，作为与目标人脸图像配对的源人脸图像。
在一种可能的实施方式中，上述装置还包括：
训练模块304，用于在得到扩充训练数据集之后，基于扩充训练数据集对待训练的活体检测神经网络进行至少一轮训练，得到训练好的活体检测神经网络。
在一种可能的实施方式中，训练模块304，用于按照以下步骤基于扩充训练数据集对待训练的活体检测神经网络进行至少一轮训练，得到训练好的活体检测神经网络：
利用待训练的活体检测神经网络，分别得到扩充训练数据集中每张张人脸图像的特征信息；
基于得到的特征信息，确定待训练的活体检测神经网络对应的目标损失函数值；
在目标损失函数值不满足预设条件的情况下，对待训练的活体检测神经网络进行下一轮训练，直至目标损失函数值满足预设条件。
在一种可能的实施方式中，扩充训练数据集中每张人脸图像的特征信息，包括：
扩充训练数据集中的源人脸图像的第一特征信息、目标人脸图像的第二特征信息，以及合成人脸图像的第三特征信息。
在一种可能的实施方式中，训练模块304，用于按照以下步骤基于每张人脸图像的特征信息，确定待训练的活体检测神经网络对应的目标损失函数值：
基于第一特征信息、第二特征信息以及第三特征信息，确定用于衡量同一活体标签类别内的训练数据的差异性的第一目标损失函数值，以及用于衡量不同来源的人脸图像的特征分布情况的第二目标损失函数值；
基于第一目标损失函数值和第二目标损失函数值，确定待训练的活体检测神经网络对应的目标损失函数值。
在一种可能的实施方式中，训练模块304，用于按照以下步骤基于第一特征信息、第二特征信息以及第三特征信息，确定用于衡量同一活体标签类别内的训练数据的差异性的第一目标损失函数值：
从训练数据集中选取同一活体标签类别的两个第一人脸图像，以及选取不同活体标签类别的两个第二人脸图像；两个第一人脸图像的来源不同，且两个第二人脸图像的来源不同；
基于两个第一人脸图像的特征信息，确定两个第一人脸图像之间的第一图像相似度；以及，基于两个第二人脸图像的特征信息，确定两个第二人脸图像之间的第二图像相似度；
将第一图像相似度和第二图像相似度进行求和，得到第一目标损失函数值。
在一种可能的实施方式中，训练模块304，用于按照以下步骤基于第一特征信息、第二特征信息以及第三特征信息，确定用于衡量不同来源的人脸图像的特征分布情况的第二目标损失函数值：
基于第一特征信息、第二特征信息以及第三特征信息，分别确定用于表征扩充训练数据集中的各张源人脸图像的特征分布的第一分布特征信息、用于表征扩充训练数据集中的各张目标人脸图像的特征分布的第二分布特征信息、以及用于表征扩充训练数据集中的各张合成人脸图像的特征分布的第三分布特征信息；
基于第二分布特征信息以及第三分布特征信息之间的相似度，确定各张目标人脸图像与各张合成人脸图像之间的第一特征分布相似度；并将第二分布特征信息以及第三分布特征信息进行拼接，得到拼接后的分布特征信息；
基于第一分布特征信息以及拼接后的分布特征信息之间的相似度，确定各张源人脸图像与各张合成人脸图像之间的第二特征分布相似度；
将第一特征分布相似度和第二特征分布相似度进行求和，得到第三目标损失函数值。
在一种可能的实施方式中，训练模块304，用于按照以下步骤基于得到的特征信息，确定待训练的活体检测神经网络对应的目标损失函数值：
利用待训练的活体检测神经网络确定的扩充训练数据集中的每张源人脸图像的第一特征信息，以及利用训练好的源活体检测神经网络从该源人脸图像提取的第一源特征信息，确定待训练的活体检测神经网络对应的目标损失函数值；
其中，源活体检测神经网络由各张源人脸图像样本以及对每张源人脸图像样本标注的活体标签类别训练得到。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
本公开实施例还提供了一种电子设备，如图4所示，为本公开实施例提供的电子设备结构示意图，包括：处理器401、存储器402、和总线403。存储器402存储有处理器401可执行的机器可读指令(比如，图3中的装置中获取模块301、生成模块302、扩充模块303对应的执行指令等)，当电子设备运行时，处理器401与存储器402之间通过总线403通信，机器可读指令被处理器401执行时执行如下处理：
获取源训练数据集、以及目标场景产生的目标人脸图像；
基于目标人脸图像，以及源训练数据集中与目标人脸图像对应的源人脸图像，生成与目标人脸图像对应的合成人脸图像；
基于合成人脸图像，对源训练数据集进行扩充，得到扩充训练数据集。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的训练数据的生成方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的训练数据的生成方法的步骤，具体可参见上述方法实施例，在此不再赘述。
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (15)

1.一种训练数据的生成方法，其特征在于，包括：
获取源训练数据集、以及目标场景产生的目标人脸图像；
基于所述目标人脸图像，以及所述源训练数据集中与所述目标人脸图像对应的源人脸图像，生成与所述目标人脸图像对应的合成人脸图像；
基于所述合成人脸图像，对所述源训练数据集进行扩充，得到扩充训练数据集。
2.根据权利要求1所述的方法，其特征在于，所述基于所述目标人脸图像，以及所述源训练数据集中与所述目标人脸图像对应的源人脸图像，生成与所述目标人脸图像对应的合成人脸图像，包括：
从所述源训练数据集中提取与所述目标人脸图像配对的所述源人脸图像；
将所述目标人脸图像和与所述目标人脸图像配对的源人脸图像输入到训练好的图像生成神经网络进行特征融合处理，得到所述合成人脸图像，所述合成人脸图像融合有所述源人脸图像的内容特征以及所述目标人脸图像的风格特征。
3.根据权利要求2所述的方法，其特征在于，按照如下步骤训练所述图像生成神经网络：
获取配对的源人脸图像样本和目标人脸图像样本；
对所述配对的源人脸图像样本和目标人脸图像样本分别进行特征提取，得到所述源人脸图像样本的内容特征信息以及所述目标人脸图像样本的风格特征信息；
基于所述源人脸图像样本的内容特征信息以及所述目标人脸图像样本的风格特征信息，对待训练的图像生成神经网络进行至少一轮训练。
4.根据权利要求3所述的方法，其特征在于，所述基于所述源人脸图像样本的内容特征信息以及所述目标人脸图像样本的风格特征信息对待训练的图像生成神经网络进行至少一轮训练，包括：
针对当前轮训练，将所述源人脸图像样本的内容特征信息以及所述目标人脸图像样本的风格特征信息作为所述待训练的图像生成神经网络的输入特征，确定待训练的图像生成神经网络输出的融合特征信息；
在所述融合特征信息与所述内容特征信息之间的第一相似度小于第一阈值、且所述融合特征信息与所述风格特征信息之间的第二相似度小于第二阈值的情况下，调整所述图像生成神经网络的网络参数，并进行下一轮训练；
直至在所述融合特征信息与所述内容特征信息之间的第一相似度大于或等于第一阈值，且所述融合特征信息与所述风格特征信息之间的第二相似度大于或等于第二阈值的情况下，训练截止。
5.根据权利要求2-4任一所述的方法，其特征在于，所述从所述源训练数据集中提取与所述目标人脸图像配对的所述源人脸图像，包括：
确定所述目标人脸图像所属的活体标签类别；
从所述源训练数据集中提取活体标签类别与所述目标人脸图像所属的活体标签类别相同的源人脸图像，作为与所述目标人脸图像配对的源人脸图像。
6.根据权利要求1-5任一所述的方法，其特征在于，在所述得到扩充训练数据集之后，所述方法还包括：
基于所述扩充训练数据集对待训练的活体检测神经网络进行至少一轮训练，得到训练好的活体检测神经网络。
7.根据权利要求6所述的方法，其特征在于，所述基于所述扩充训练数据集对待训练的活体检测神经网络进行至少一轮训练，得到训练好的活体检测神经网络，包括：
利用待训练的活体检测神经网络，分别得到所述扩充训练数据集中每张人脸图像的特征信息；
基于得到的特征信息，确定所述待训练的活体检测神经网络对应的目标损失函数值；
在所述目标损失函数值不满足预设条件的情况下，对所述待训练的活体检测神经网络进行下一轮训练，直至所述目标损失函数值满足预设条件。
8.根据权利要求7所述的方法，其特征在于，所述扩充训练数据集中每张人脸图像的特征信息，包括：
所述扩充训练数据集中的源人脸图像的第一特征信息、目标人脸图像的第二特征信息，以及合成人脸图像的第三特征信息。
9.根据权利要求8所述的方法，其特征在于，所述基于得到的特征信息，确定所述待训练的活体检测神经网络对应的目标损失函数值，包括：
基于所述第一特征信息、所述第二特征信息以及所述第三特征信息，确定用于衡量同一活体标签类别内的训练数据的差异性的第一目标损失函数值，以及用于衡量不同来源的人脸图像的特征分布情况的第二目标损失函数值；
基于所述第一目标损失函数值和所述第二目标损失函数值，确定所述待训练的活体检测神经网络对应的目标损失函数值。
10.根据权利要求9所述的方法，其特征在于，所述基于所述第一特征信息、所述第二特征信息以及所述第三特征信息，确定用于衡量同一活体标签类别内的训练数据的差异性的第一目标损失函数值，包括：
从所述训练数据集中选取同一活体标签类别的两个第一人脸图像，以及选取不同活体标签类别的两个第二人脸图像；所述两个第一人脸图像的来源不同，且所述两个第二人脸图像的来源不同；
基于所述两个第一人脸图像的特征信息，确定所述两个第一人脸图像之间的第一图像相似度；以及，基于所述两个第二人脸图像的特征信息，确定所述两个第二人脸图像之间的第二图像相似度；
将所述第一图像相似度和所述第二图像相似度进行求和，得到所述第一目标损失函数值。
11.根据权利要求9或10所述的方法，其特征在于，基于所述第一特征信息、所述第二特征信息以及所述第三特征信息，确定用于衡量不同来源的人脸图像的特征分布情况的第二目标损失函数值，包括：
基于所述第一特征信息、所述第二特征信息以及所述第三特征信息，分别确定用于表征所述扩充训练数据集中的各张源人脸图像的特征分布的第一分布特征信息、用于表征所述扩充训练数据集中的各张目标人脸图像的特征分布的第二分布特征信息、以及用于表征所述扩充训练数据集中的各张合成人脸图像的特征分布的第三分布特征信息；
基于所述第二分布特征信息以及所述第三分布特征信息之间的相似度，确定各张目标人脸图像与各张合成人脸图像之间的第一特征分布相似度；并将所述第二分布特征信息以及所述第三分布特征信息进行拼接，得到拼接后的分布特征信息；
基于所述第一分布特征信息以及所述拼接后的分布特征信息之间的相似度，确定各张源人脸图像与各张合成人脸图像之间的第二特征分布相似度；
将所述第一特征分布相似度和所述第二特征分布相似度进行求和，得到所述第二目标损失函数值。
12.根据权利要求8所述的方法，其特征在于，所述基于得到的特征信息，确定所述待训练的活体检测神经网络对应的目标损失函数值，包括：
利用待训练的活体检测神经网络确定的所述扩充训练数据集中的每张源人脸图像的第一特征信息，以及利用训练好的源活体检测神经网络从该源人脸图像提取的第一源特征信息，确定所述待训练的活体检测神经网络对应的目标损失函数值；
其中，所述源活体检测神经网络由各张源人脸图像样本以及对每张源人脸图像样本标注的活体标签类别训练得到。
13.一种训练数据的生成装置，其特征在于，包括：
获取模块，用于获取源训练数据集、以及目标场景产生的目标人脸图像；
生成模块，用于基于所述目标人脸图像，以及所述源训练数据集中与所述目标人脸图像对应的源人脸图像，生成与所述目标人脸图像对应的合成人脸图像；
扩充模块，用于基于所述合成人脸图像，对所述源训练数据集进行扩充，得到扩充训练数据集。
14.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至12任一所述的训练数据的生成方法的步骤。
15.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至12任一所述的训练数据的生成方法的步骤。
CN202110050175.3A 2021-01-14 2021-01-14 一种训练样本的生成方法、装置、电子设备及存储介质 Active CN112733946B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110050175.3A CN112733946B (zh) 2021-01-14 2021-01-14 一种训练样本的生成方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110050175.3A CN112733946B (zh) 2021-01-14 2021-01-14 一种训练样本的生成方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112733946A true CN112733946A (zh) 2021-04-30
CN112733946B CN112733946B (zh) 2023-09-19

Family

ID=75593155

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110050175.3A Active CN112733946B (zh) 2021-01-14 2021-01-14 一种训练样本的生成方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112733946B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990378A (zh) * 2021-05-08 2021-06-18 腾讯科技（深圳）有限公司 基于人工智能的场景识别方法、装置及电子设备
WO2023030427A1 (zh) * 2021-09-02 2023-03-09 北京字节跳动网络技术有限公司 生成模型的训练方法、息肉识别方法、装置、介质及设备
CN116051926A (zh) * 2023-01-12 2023-05-02 北京百度网讯科技有限公司 图像识别模型的训练方法、图像识别方法和装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107767328A (zh) * 2017-10-13 2018-03-06 上海交通大学 基于少量样本生成的任意风格和内容的迁移方法和***
CN108133238A (zh) * 2017-12-29 2018-06-08 国信优易数据有限公司 一种人脸识别模型训练方法和装置及人脸识别方法和装置
CN108961358A (zh) * 2017-05-22 2018-12-07 阿里巴巴集团控股有限公司 一种获得样本图片的方法、装置及电子设备
CN109308681A (zh) * 2018-09-29 2019-02-05 北京字节跳动网络技术有限公司 图像处理方法和装置
CN109344716A (zh) * 2018-08-31 2019-02-15 深圳前海达闼云端智能科技有限公司 活体检测模型的训练方法、检测方法、装置、介质及设备
US20200126205A1 (en) * 2018-10-18 2020-04-23 Boe Technology Group Co., Ltd. Image processing method, image processing apparatus, computing device and computer-readable storage medium
CN111292384A (zh) * 2020-01-16 2020-06-16 西安交通大学 基于生成式对抗网络的跨域多样性图像生成方法及***
US20200285896A1 (en) * 2019-03-09 2020-09-10 Tongji University Method for person re-identification based on deep model with multi-loss fusion training strategy
CN112052759A (zh) * 2020-08-25 2020-12-08 腾讯科技（深圳）有限公司 一种活体检测方法和装置
WO2020258902A1 (zh) * 2019-06-24 2020-12-30 商汤集团有限公司 图像生成和神经网络训练方法、装置、设备和介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961358A (zh) * 2017-05-22 2018-12-07 阿里巴巴集团控股有限公司 一种获得样本图片的方法、装置及电子设备
CN107767328A (zh) * 2017-10-13 2018-03-06 上海交通大学 基于少量样本生成的任意风格和内容的迁移方法和***
CN108133238A (zh) * 2017-12-29 2018-06-08 国信优易数据有限公司 一种人脸识别模型训练方法和装置及人脸识别方法和装置
CN109344716A (zh) * 2018-08-31 2019-02-15 深圳前海达闼云端智能科技有限公司 活体检测模型的训练方法、检测方法、装置、介质及设备
CN109308681A (zh) * 2018-09-29 2019-02-05 北京字节跳动网络技术有限公司 图像处理方法和装置
US20200126205A1 (en) * 2018-10-18 2020-04-23 Boe Technology Group Co., Ltd. Image processing method, image processing apparatus, computing device and computer-readable storage medium
US20200285896A1 (en) * 2019-03-09 2020-09-10 Tongji University Method for person re-identification based on deep model with multi-loss fusion training strategy
WO2020258902A1 (zh) * 2019-06-24 2020-12-30 商汤集团有限公司 图像生成和神经网络训练方法、装置、设备和介质
CN111292384A (zh) * 2020-01-16 2020-06-16 西安交通大学 基于生成式对抗网络的跨域多样性图像生成方法及***
CN112052759A (zh) * 2020-08-25 2020-12-08 腾讯科技（深圳）有限公司 一种活体检测方法和装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990378A (zh) * 2021-05-08 2021-06-18 腾讯科技（深圳）有限公司 基于人工智能的场景识别方法、装置及电子设备
WO2023030427A1 (zh) * 2021-09-02 2023-03-09 北京字节跳动网络技术有限公司 生成模型的训练方法、息肉识别方法、装置、介质及设备
CN116051926A (zh) * 2023-01-12 2023-05-02 北京百度网讯科技有限公司 图像识别模型的训练方法、图像识别方法和装置
CN116051926B (zh) * 2023-01-12 2024-04-16 北京百度网讯科技有限公司 图像识别模型的训练方法、图像识别方法和装置

Also Published As

Publication number Publication date
CN112733946B (zh) 2023-09-19

Similar Documents

Publication Publication Date Title
CN107330408B (zh) 视频处理方法、装置、电子设备及存储介质
Rathgeb et al. Impact and detection of facial beautification in face recognition: An overview
Zhou et al. Salient region detection via integrating diffusion-based compactness and local contrast
CN112733946A (zh) 一种训练样本的生成方法、装置、电子设备及存储介质
CN107333071A (zh) 视频处理方法、装置、电子设备及存储介质
CN110188829B (zh) 神经网络的训练方法、目标识别的方法及相关产品
CN107330904A (zh) 图像处理方法、装置、电子设备及存储介质
Cai et al. Semi-supervised natural face de-occlusion
CN113128271A (zh) 脸部图像的伪造检测
Dibeklioğlu et al. A smile can reveal your age: Enabling facial dynamics in age estimation
CN108198172B (zh) 图像显著性检测方法和装置
Li et al. A multi-level contextual model for person recognition in photo albums
CN112818767B (zh) 数据集生成、伪造检测方法、装置、电子设备及存储介质
CN113762309B (zh) 对象匹配方法、装置及设备
CN115862120B (zh) 可分离变分自编码器解耦的面部动作单元识别方法及设备
CN112818955A (zh) 一种图像分割方法、装置、计算机设备以及存储介质
CN114639150A (zh) 情绪识别方法、装置、计算机设备和存储介质
Kim et al. Robust facial landmark extraction scheme using multiple convolutional neural networks
Barroso et al. Periocular recognition: how much facial expressions affect performance?
Balachandar et al. Deep learning technique based visually impaired people using YOLO V3 framework mechanism
CN113255575A (zh) 一种神经网络训练方法、装置、计算机设备及存储介质
Balaji et al. Temporally coherent video anonymization through GAN inpainting
CN114360015A (zh) 活体检测方法、装置、设备及存储介质
Hannan et al. Analysis of detection and recognition of Human Face using Support Vector Machine
CN112883831A (zh) 一种活体检测的方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant