CN113392769A - 人脸图像的合成方法、装置、电子设备及存储介质 - Google Patents
人脸图像的合成方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113392769A CN113392769A CN202110664896.3A CN202110664896A CN113392769A CN 113392769 A CN113392769 A CN 113392769A CN 202110664896 A CN202110664896 A CN 202110664896A CN 113392769 A CN113392769 A CN 113392769A
- Authority
- CN
- China
- Prior art keywords
- face image
- target
- face
- age
- target person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001308 synthesis method Methods 0.000 title description 9
- 238000000034 method Methods 0.000 claims abstract description 40
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 21
- 238000005286 illumination Methods 0.000 claims description 43
- 230000001815 facial effect Effects 0.000 claims description 30
- 230000015572 biosynthetic process Effects 0.000 claims description 11
- 238000003786 synthesis reaction Methods 0.000 claims description 11
- 230000002093 peripheral effect Effects 0.000 description 10
- 230000036544 posture Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 230000032683 aging Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000011840 criminal investigation Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000013179 statistical model Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开提供了一种人脸图像的合成方法、装置、电子设备及存储介质，属于互联网技术领域。所述方法包括：获取原始人脸图像中目标人物符合预设条件的条件人脸图像；获取指定年龄对应的指定年龄编码信息，指定年龄编码信息用于指示指定年龄的人脸所具有的人脸特征，指定年龄编码信息根据与指定年龄之间的年龄差满足差值条件的人脸所具有的人脸特征确定；基于指定年龄编码信息，对条件人脸图像中目标人物的人脸特征进行调整，得到目标人脸图像。本公开中的指定年龄编码信息能够反映指定年龄的人脸所具有的人脸特征，基于该指定年龄编码信息合成的目标人脸图像中目标人物的相貌为该目标人物在指定年龄时的相貌，因而合成的目标人脸图像更准确。
Description
技术领域
本公开涉及图像处理技术领域，特别涉及一种人脸图像的合成方法、装置、电子设备及存储介质。
背景技术
人脸容貌的模拟合成技术是图像处理领域的研究热点,在公安刑事侦破、人脸识别、影视化妆辅助设计以及数字娱乐等领域都有着重要的应用价值。例如，在刑侦应用中，警方根据多年前的照片，合成逃亡多年的犯人或走失儿童当前的相貌；在影视制作中，化妆师们利用各种化妆技巧，为演员画上不同年龄段的妆容，从而打造出角色不同年龄的扮相。
然而，上述人脸图像的合成方法主要基于经验进行合成，导致合成的人脸图像不够准确。
发明内容
本公开实施例提供了一种人脸图像的合成方法、装置、电子设备及存储介质，能够提高所合成的人脸图像的准确性。所述技术方案如下：
第一方面，提供了一种人脸图像的合成方法，所述方法包括：
获取原始人脸图像和指定年龄，所述指定年龄为所述原始人脸图像中目标人物在待合成的目标人脸图像中的年龄；
获取所述原始人脸图像中目标人物符合预设条件的条件人脸图像；
获取所述指定年龄对应的指定年龄编码信息，所述指定年龄编码信息用于指示所述指定年龄的人脸所具有的人脸特征，所述指定年龄编码信息根据与所述指定年龄之间的年龄差满足差值条件的人脸所具有的人脸特征确定；
基于所述指定年龄编码信息，对所述条件人脸图像中目标人物的人脸特征进行调整，得到所述目标人脸图像。
在本公开的另一个实施例中，所述获取所述原始人脸图像中目标人物符合预设条件的条件人脸图像，包括：
获取所述原始人脸图像中目标人物的人脸姿态和光照强度；
当所述原始人脸图像中目标人物的人脸姿态和光照强度中任一项不符合所述预设条件，根据所述原始人脸图像，构建符合所述预设条件的条件人脸图像。
在本公开的另一个实施例中，所述根据所述原始人脸图像，构建符合所述预设条件的条件人脸图像，包括：
识别所述原始人脸图像中目标人物的脸部轮廓，得到所述目标人物的人脸轮廓模型；
识别所述原始人脸图像中目标人物的人脸五官，得到所述目标人物的人脸细节图片；
将所述人脸细节图片叠加到所述人脸轮廓模型中，得到新的人脸图像；
按照所述预设条件，对所述新的人脸图像中目标人物的人脸姿态和光照强度进行调整，得到所述条件人脸图像。
在本公开的另一个实施例中，所述方法还包括：
当所述原始人脸图像中目标人物的人脸姿态和光照强度符合所述预设条件，将所述原始人脸图像确定为所述条件人脸图像。
在本公开的另一个实施例中，所述基于所述指定年龄编码信息，对所述条件人脸图像中目标人物的人脸特征进行调整，得到所述目标人脸图像，包括：
将所述指定年龄编码信息和所述条件人脸图像输入到条件生成-对抗网络中，输出所述目标人脸图像，所述条件生成-对抗网络用于基于不同年龄编码信息，对人脸图像的人脸特征进行调整，得到不同年龄的人脸图像。
在本公开的另一个实施例中，所述基于所述指定年龄编码信息，对所述条件人脸图像中目标人物的人脸特征进行调整，得到所述目标人脸图像之后，还包括：
识别所述目标人脸图像中目标人物的目标年龄和目标身份信息；
当所述目标身份信息与所述原始人脸图像中目标人物的身份信息相匹配，和/或所述目标年龄与所述指定年龄相匹配，则将所述目标人脸图像确定为最终合成结果。
第二方面，提供了一种人脸图像的合成装置，所述装置包括：
第一获取模块，用于获取原始人脸图像和指定年龄，所述指定年龄为所述原始人脸图像中目标人物在待合成的目标人脸图像中的年龄；
第二获取模块，用于获取所述原始人脸图像中目标人物符合预设条件的条件人脸图像；
第三获取模块，用于获取所述指定年龄对应的指定年龄编码信息，所述指定年龄编码信息用于指示所述指定年龄的人脸所具有的人脸特征，所述指定年龄编码信息根据与所述指定年龄之间的年龄差满足差值条件的人脸所具有的人脸特征确定；
调整模块，用于基于所述指定年龄编码信息，对所述条件人脸图像中目标人物的人脸特征进行调整，得到所述目标人脸图像。
在本公开的另一个实施例中，所述第二获取模块，用于获取所述原始人脸图像中目标人物的人脸姿态和光照强度；当所述原始人脸图像中目标人物的人脸姿态和光照强度中任一项不符合所述预设条件，根据所述原始人脸图像，构建符合所述预设条件的条件人脸图像。
在本公开的另一个实施例中，所述第二获取模块，用于识别所述原始人脸图像中目标人物的脸部轮廓，得到所述目标人物的人脸轮廓模型；识别所述原始人脸图像中目标人物的人脸五官，得到所述目标人物的人脸细节图片；将所述人脸细节图片叠加到所述人脸轮廓模型中，得到新的人脸图像；按照所述预设条件，对所述新的人脸图像中目标人物的人脸姿态和光照强度进行调整，得到所述条件人脸图像。
在本公开的另一个实施例中，所述装置还包括：
确定模块，用于当所述原始人脸图像中目标人物的人脸姿态和光照强度符合所述预设条件，将所述原始人脸图像确定为所述条件人脸图像。
在本公开的另一个实施例中，所述调整模块，用于将所述指定年龄编码信息和所述条件人脸图像输入到条件生成-对抗网络中，输出所述目标人脸图像，所述条件生成-对抗网络用于基于不同年龄编码信息，对人脸图像的人脸特征进行调整，得到不同年龄的人脸图像。
在本公开的另一个实施例中，所述装置还包括：
识别模块，用于识别所述目标人脸图像中目标人物的目标年龄和目标身份信息；
确定模块，用于当所述目标身份信息与所述原始人脸图像中目标人物的身份信息相匹配，和/或所述目标年龄与所述指定年龄相匹配，则将所述目标人脸图像确定为最终合成结果。
第三方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行，以实现如第一方面所述的人脸图像的合成方法。
第四方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行，以实现第一方面所述的人脸图像的合成方法。
本公开实施例提供的技术方案带来的有益效果是：
基于指定年龄编码信息，对于条件人脸图像中目标人物的人脸特征进行调整，得到目标人脸图像，该指定年龄编码信息学***滑、准确。且合成目标人脸图像的原始人脸图像可以为任何姿态、光照强度的人脸图像，提高了人脸图像的合成方法的应用范围和普适性。再者，当合成目标人脸图像之后，通过预测目标人脸图像中目标人物的目标年龄和目标身份信息，并基于该预测的目标年龄和指定年龄对目标人脸图像进行校验，进一步保证所合成的目标人脸图像的准确性。
附图说明
为了更清楚地说明本公开实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本公开实施例提供的一种人脸图像的合成方法的流程图；
图2是本公开实施例提供的另一种人脸图像的合成方法的流程图；
图3是本公开实施例提供的一种人脸图像的合成装置结构示意图；
图4示出了本公开一个示例性实施例提供的一种电子设备的结构框图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开实施方式作进一步地详细描述。
可以理解，本公开实施例所使用的术语“每个”、“多个”及“任一”等，多个包括两个或两个以上，每个是指对应的多个中的每一个，任一是指对应的多个中的任意一个。举例来说，多个词语包括10个词语，而每个词语是指这10个词语中的每一个词语，任一词语是指10个词语中的任意一个词语。
本公开实施例提供了一种人脸图像的合成方法，参见图1，本公开实施例提供的方法流程包括：
101.获取原始人脸图像和指定年龄。
其中，原始人脸图像为用户输入或者选定的用于合成目标人物在不同年龄相貌的图像，该原始人脸图像中包括目标人物，该目标人物的数量可以为一个，也可以为多个，本公开实施例不对原始人脸图像中包括的目标人物的数量进行确定。指定年龄为原始人脸图像中目标人物在待合成的目标人脸图像中的年龄，该指定年龄可以比原始人脸图像中目标人物的年龄要大，也可以为原始人脸图像中目标人物的年龄要小，也即是，采用本公开实施例提供的方法既可以合成衰老人脸图像，也可以合成年轻人脸图像。
102.获取原始人脸图像中目标人物符合预设条件的条件人脸图像。
其中，预设条件用于对目标人物的人脸姿态、光照强度等进行约束。人脸姿态包括上下翻转、左右翻转、平面内旋转等多种姿态。通过对原始人脸图像中的目标人物的人脸姿态进行约束，使得生成的目标人脸图像便于用户查看；通过对原始人脸图像中目标人物的光照强度进行约束，能够去除光照强度对目标人物的纹理产生影响，使得生成的目标人脸图像的观感较佳。
103.获取指定年龄对应的指定年龄编码信息。
其中，指定年龄编码信息用于指示指定年龄的人脸所具有的人脸特征，该指定年龄编码信息根据与指定年龄之间的年龄差满足差值条件的人脸所具有的人脸特征确定，该差值条件可以为与指定年龄之间的年龄差的绝对值小于预设数值，该预设数值可以为1岁、2岁等等。由于该指定年龄编码信息学习了邻近年龄的年轻或衰老的人脸特征，使得基于指定年龄编码信息生成的目标人脸图像更准确。
104.基于指定年龄编码信息，对条件人脸图像中目标人物的人脸特征进行调整，得到目标人脸图像。
基于指定年龄编码信息和条件人脸图像，电子设备采用指定年龄编码信息对条件人脸图像中的人脸特征进行加权计算，得到符合指定年龄的人脸特征，进而生成目标人脸图像输出。
本公开实施例提供的方法，基于指定年龄编码信息，对于条件人脸图像中目标人物的人脸特征进行调整，得到目标人脸图像，该指定年龄编码信息学***滑、准确。
本公开实施例提供了一种人脸图像的合成方法，以电子设备执行本公开实施例为例，该电子设备可以为具较强计算能力的终端，例如，智能手机、平板电脑、智能相机、电子书阅读器等等，该电子设备还可以为拍照应用、图像处理应用等应用的服务器，该服务器可以为独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***。参见图2，本公开实施例提供的方法流程包括：
201.电子设备获取原始人脸图像和指定年龄。
其中，原始人脸图像可以为任何姿态的人脸图像，包括正面人脸图像、侧面人脸图像、以及存在模糊、遮挡的人脸图像等，这样，用户可以随机输入自己喜欢的人脸图像，而不必只输入正面的“证件照”，提高了用户的自由度，扩大了本公开实施例提供的人脸图像的合成方法的应用范围。
电子设备获取原始人脸图像的方式，包括但不限于：电子设备获取用户输入的人脸图像，并将用户输入的人脸图像作为原始人脸图像。该用户输入的人脸图像包括用户采用照相设备或照相应用对目标人物或包括目标人物的图片进行拍摄得到的图像，也可以为用户从互联网上获取到的包括目标人物的图像。
电子设备获取指定年龄的方式，包括但不限于如下几种方式：
第一种方式、在人脸图像合成过程中，电子设备获取用户为待合成的目标人脸图像输入的年龄数字，并将用户所输入的年龄数字确定为指定年龄。
第二种方式、如果电子设备为具有显示屏幕的设备，该电子设备的显示屏幕上显示有年龄进度条，用户通过左右滑动该年龄进度条，来控制待合成的目标人脸图像对应的目标年龄。
进一步地，由于本公开实施例提供的方法是为了合成指定年龄的目标人脸图像，这样就需要原始人脸图像中必须包括目标人物的人脸区域，如果原始人脸图像不包括目标人物的人脸区域，则无法采用本公开实施例提供的方法合成指定年龄的目标人脸图像，因此，当获取到原始人脸图像之后，电子设备还将检测原始人脸图像中是否包括人脸区域，如果检测到原始人脸图像包括人脸区域，则执行步骤202，如果检测到原始人脸图像中不包括人脸区域，则需要继续执行步骤201重新获取原始人脸图像，直至获取到的原始人脸图像中包括人脸区域。
电子设备检测原始人脸图像中是否包括人脸区域时，可提取原始人脸图像的哈尔特征，如果原始人脸图像的哈尔特征为人脸对应的哈尔特征，则确定该原始人脸图像包括人脸区域。其中，哈尔特征为一种图像特征，通常同种物体具有相同的哈尔特征，不同种物体具有不同的哈尔特征，例如，人脸图像具有相同的哈尔特征，人脸图像和非人脸图像具有不同的哈尔特征，因此，可利用人脸对应的哈尔特征检测原始人脸图像中是否包括人脸区域。
202.电子设备获取原始人脸图像中目标人物的人脸姿态和光照强度。
电子设备在获取原始人脸图像中目标人物的人脸姿态时，可将原始人脸图像输入到人脸姿态识别模型中，输出原始人脸图像中目标人物的人脸姿态，该人脸姿态识别模型用于识别人脸图像中各个人物的人脸姿态，该人脸姿态识别模型可根据标注有人脸姿态的训练样本人脸图像训练得到。
基于所获取到的原始人脸图像中目标人物的人脸姿态和光照强度，电子设备将原始人脸图像中目标人物的人脸姿态与预设条件所要求的人脸姿态进行比较，并将原始人脸图像中目标人物的光照强度与预设条件所要求的光照强度进行比较，如果原始人脸图像中目标人物的人脸姿态符合预设条件所要求的人脸姿态，且原始人脸图像中目标人物的光照强度符合预设条件所要求的光照强度，则确定当原始人脸图像中目标人物的人脸姿态和光照强度符合预设条件，电子设备将执行步骤203；如果原始人脸图像中目标人物的人脸姿态不符合预设条件所要求的人脸姿态，或原始人脸图像中目标人物的光照强度不符合预设条件所要求的光照强度，或原始人脸图像中目标人物的人脸姿态不符合预设条件所要求的人脸姿态且原始人脸图像中目标人物的光照强度不符合预设条件所要求的光照强度，则确定当原始人脸图像中目标人物的人脸姿态和光照强度不符合预设条件，电子设备将执行步骤204。
203.当原始人脸图像中目标人物的人脸姿态和光照强度符合预设条件，电子设备将原始人脸图像确定为条件人脸图像。
响应于原始人脸图像中目标人物的人脸姿态和光照强度符合预设条件，电子设备直接将该原始人脸图像确定为条件人脸图像，该条件人脸图像为后续合成目标人脸图像的基础图像。
204.当原始人脸图像中目标人物的人脸姿态、光照强度中任一项不符合预设条件，电子设备根据原始人脸图像，构建符合预设条件的条件人脸图像。
响应于原始人脸图像的人脸姿态、光照强度中任一项不符合预设条件，电子设备根据原始人脸图像，采用如下方法构建符合预设条件的条件人脸图像：
2041.电子设备识别原始人脸图像中目标人物的脸部轮廓，得到目标人物的人脸轮廓模型。
电子设备识别原始人脸图像中目标人物的人脸形状和纹理特征，并将识别出的人脸形状和纹理特征输入到3DMM(3D Morphable Models，三维可变人脸模型)中，由3DMM对目标人物的脸部轮廓进行3D(3Dimensions，三维)重构，得到目标人物的人脸轮廓模型。其中，3DMM是一种较为基础的三维人脸统计模型，用于解决从二维人脸图像恢复到三维形状的问题，该3DMM能够基于一组人脸形状和纹理特征的统计模型来表示任意一张人脸轮廓模型。
2042.电子设备识别原始人脸图像中目标人物的人脸五官，得到目标人物的人脸细节图片。
电子设备将原始人脸图像输入到3D-GAN(3Dimensions Generative AdversarialNetwork，三维生成对抗网络)网络中，基于3D-GAN网络识别原始人脸图像中目标人物的人脸五官，得到目标人物的人脸细节图片，该人脸细节图片类似于人皮面具能够平铺于平面上。
2043.电子设备将人脸细节图叠加到人脸轮廓模型中，得到新的人脸图像。
电子设备通过将目标人物的人脸细节图片中各个部件贴回到人脸轮廓模型的相应位置上，得到新的人脸图像，该新的人脸图像包括目标人物。
2044.电子设备按照预设条件，对新的人脸图像中目标人物的人脸姿态和光照强度进行调整，得到条件人脸图像。
基于所得到的新的人脸图像，电子设备对按照预设条件中人脸姿态要求，对新的人脸图像中目标人物的人脸姿态进行调整，并按照预设条件中光照强度要求对新的人脸图像中目标人物的光照强度进行调整，得到符合预设条件且包括目标人物的条件人脸图像。
205.电子设备获取指定年龄对应的指定年龄编码信息。
在本公开实施例中，电子设备维护一个年龄卷积核序列，该年龄卷积核序列包括不同年龄对应的年龄卷积核，且不同年龄对应的年龄卷积核按照年龄特征进行排列，每个年龄对应的年龄卷积核能够学***滑过渡。其中，每个年龄的年龄卷积核用于确定每个年龄的人脸特征的权重值，采用每个年龄的人脸特征的权重值对人脸图像中的人脸特征进行加权计算，可得到每个年龄的人脸特征，进而得到每个年龄的人脸图像。
当获取到指定年龄，电子设备根据该指定年龄，获取到该指定年龄对应的年龄卷积核，进而获取该年龄卷积核对应的人脸特征的权重值，通过对该人脸特征的权重值进行编码，得到指定年龄编码信息。在应用过程中，电子设备不断学习指定年龄及与该指定年龄之间的年龄差满足差值条件的人脸所具有的人脸特征，使得指定年龄编码信息能够准确反映出指定年龄人脸所具有的人脸特征。
206.基于指定年龄编码信息，电子设备对条件人脸图像中目标人物的人脸特征进行调整，得到目标人脸图像。
电子设备将指定年龄编码信息和条件人脸图像输入到条件生成-对抗网络中，输出目标人脸图像。其中，条件生成-对抗网络(CGAN)为带有约束的GAN(GenerativeAdversarial Network，生成对抗网络)网络，包括生成网络、对抗网络及标签，对于输入的噪声，该条件生成-对抗网络能够生成标签所指示的图像。在本公开实施例中，条件生成-对抗网络能够基于不同年龄编码信息，对人脸图像的人脸特征进行调整，得到不同年龄的人脸图像。
在本公开的另一个实施例中，电子设备根据指定年龄编码信息和条件人脸图像，合成目标人脸图像之后，还将对生成的目标人脸图像的质量进行校验，以确保生成的目标人脸图像为属于目标人物且年龄符合预期要求的人脸图像。电子设备对生成的目标人脸图像的质量进行校验时，可采用如下方法：
2061.电子设备识别目标人脸图像中目标人物的目标年龄和目标身份信息。
电子设备将目标人脸图像输入到预先构建的注意力模型中，输出目标人脸图像中目标人物的目标年龄和目标身份信息。其中，注意力模型可由Channel Attention(通道注意力)、Spatial Attention(空间注意力)以及Mask Attention(掩饰注意力)等几个注意力网络构成，该Channel Attention主要关注图像中的不同特征，该Spatial Attention主要关注图像中的不同区域，该Mask Attention主要关注与年龄和身份相关的信息。该身份信息是指能够确定目标人物身份的信息。
2062.当目标身份信息与原始人脸图像中目标人物的身份信息相匹配，和/或目标年龄与指定年龄相匹配，则电子设备将目标人脸图像确定为最终合成结果。
电子设备将目标人脸图像中目标人物的目标身份信息与原始人脸图像中目标人物的身份信息进行匹配，并将目标人脸图像的目标年龄与指定年龄进行匹配，当目标身份信息与原始人脸图像中目标人物的身份信息相匹配，和/或目标年龄与指定年龄相匹配，则将目标人脸图像确定为最终合成结果。具体地，当目标人脸图像中目标人物的目标身份信息与原始人脸图像中目标人物的身份信息相匹配，电子设备确定该目标人脸图像中的目标人物与原始人脸图像中的目标人物为同一人脸，进而将该目标人脸图像确定为最终合成结果；当目标人脸图像的目标年龄与指定年龄相匹配，电子设备确定所生成的目标人脸图像符合要求年龄要求，进而将该目标人脸图像确定为最终合成结果；当目标人脸图像中目标人物的目标身份信息与原始人脸图像中目标人物的身份信息相匹配，且目标人脸图像的目标年龄与指定年龄相匹配，电子设备将目标人脸图像确定为最终合成结果。
本公开实施例提供的方法，基于指定年龄编码信息，对于条件人脸图像中目标人物的人脸特征进行调整，得到目标人脸图像，该指定年龄编码信息学***滑、准确。且合成目标人脸图像的原始人脸图像可以为任何姿态、光照强度的人脸图像，提高了人脸图像的合成方法的应用范围和普适性。再者，当合成目标人脸图像之后，通过预测目标人脸图像中目标人物的目标年龄和目标身份信息，并基于该预测的目标年龄和指定年龄对目标人脸图像进行校验，进一步保证所合成的目标人脸图像的准确性。
参见图3，本公开实施例提供了一种人脸图像的合成装置，该装置包括：
第一获取模块301，用于获取原始人脸图像和指定年龄，指定年龄为原始人脸图像中目标人物在待合成的目标人脸图像中的年龄；
第二获取模块302，用于获取原始人脸图像中目标人物符合预设条件的条件人脸图像；
第三获取模块303，用于获取指定年龄对应的指定年龄编码信息，指定年龄编码信息用于指示指定年龄的人脸所具有的人脸特征，指定年龄编码信息根据与指定年龄之间的年龄差满足差值条件的人脸所具有的人脸特征确定；
调整模块304，用于基于指定年龄编码信息，对条件人脸图像中目标人物的人脸特征进行调整，得到目标人脸图像。
在本公开的另一个实施例中，第二获取模块302，用于获取原始人脸图像中目标人物的人脸姿态和光照强度；当原始人脸图像中目标人物的人脸姿态和光照强度中任一项不符合预设条件，根据原始人脸图像，构建符合预设条件的条件人脸图像。
在本公开的另一个实施例中，第二获取模块302，用于识别原始人脸图像中目标人物的脸部轮廓，得到目标人物的人脸轮廓模型；识别原始人脸图像中目标人物的人脸五官，得到目标人物的人脸细节图片；将人脸细节图片叠加到人脸轮廓模型中，得到新的人脸图像；按照预设条件，对新的人脸图像中目标人物的人脸姿态和光照强度进行调整，得到条件人脸图像。
在本公开的另一个实施例中，该装置还包括：
确定模块，用于当原始人脸图像中目标人物的人脸姿态和光照强度符合预设条件，将原始人脸图像确定为条件人脸图像。
在本公开的另一个实施例中，合成模块，用于将指定年龄编码信息和条件人脸图像输入到条件生成-对抗网络中，输出目标人脸图像，条件生成-对抗网络用于基于不同年龄编码信息，对人脸图像的人脸特征进行调整，得到不同年龄的人脸图像。
在本公开的另一个实施例中，该装置还包括：
识别模块，用于识别目标人脸图像中目标人物的目标年龄和目标身份信息；
确定模块，用于当目标身份信息与原始人脸图像中目标人物的身份信息相匹配，和/或目标年龄与指定年龄相匹配，则将目标人脸图像确定为最终合成结果。
综上，本公开实施例提供的装置，基于指定年龄编码信息，对于条件人脸图像中目标人物的人脸特征进行调整，得到目标人脸图像，该指定年龄编码信息学***滑、准确。且合成目标人脸图像的原始人脸图像可以为任何姿态、光照强度的人脸图像，提高了人脸图像的合成方法的应用范围和普适性。再者，当合成目标人脸图像之后，通过预测目标人脸图像中目标人物的目标年龄和目标身份信息，并基于该预测的目标年龄和指定年龄对目标人脸图像进行校验，进一步保证所合成的目标人脸图像的准确性。
图4示出了本公开一个示例性实施例提供的一种电子设备400的结构框图。通常，设备400包括有：处理器401和存储器402。
处理器401可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器401可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器401也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器401可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器401还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器402可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器402还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器402中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器401所执行以实现本公开中方法实施例提供的人脸图像的合成方法。
在一些实施例中，电子设备400还可选包括有：***设备接口403和至少一个***设备。处理器401、存储器402和***设备接口403之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口403相连。具体地，***设备包括：电源404。
***设备接口403可被用于将I/O(Input/Output，输入/输出)相关的至少一个***设备连接到处理器401和存储器402。在一些实施例中，处理器401、存储器402和***设备接口403被集成在同一芯片或电路板上；在一些其他实施例中，处理器401、存储器402和***设备接口403中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
电源404用于为电子设备400中的各个组件进行供电。电源404可以是交流电、直流电、一次性电池或可充电电池。当电源404包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
本领域技术人员可以理解，图4中示出的结构并不构成对电子设备400的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器，上述指令可由电子设备400的处理器执行以完成上述视频处理方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本公开实施例提供的电子设备，基于指定年龄编码信息，对于条件人脸图像中目标人物的人脸特征进行调整，得到目标人脸图像，该指定年龄编码信息学***滑、准确。且合成目标人脸图像的原始人脸图像可以为任何姿态、光照强度的人脸图像，提高了人脸图像的合成方法的应用范围和普适性。再者，当合成目标人脸图像之后，通过预测目标人脸图像中目标人物的目标年龄和目标身份信息，并基于该预测的目标年龄和指定年龄对目标人脸图像进行校验，进一步保证所合成的目标人脸图像的准确性。
本公开实施例提供了一种计算机可读存储介质，所述存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行，以实现人脸图像的合成方法。该计算机可读存储介质可以是非暂态的。例如，该计算机可读存储介质可以是只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本公开实施例提供的计算机可读存储介质，基于指定年龄编码信息，对于条件人脸图像中目标人物的人脸特征进行调整，得到目标人脸图像，该指定年龄编码信息学***滑、准确。且合成目标人脸图像的原始人脸图像可以为任何姿态、光照强度的人脸图像，提高了人脸图像的合成方法的应用范围和普适性。再者，当合成目标人脸图像之后，通过预测目标人脸图像中目标人物的目标年龄和目标身份信息，并基于该预测的目标年龄和指定年龄对目标人脸图像进行校验，进一步保证所合成的目标人脸图像的准确性。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本公开的可选实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
Claims (10)
1.一种人脸图像的合成方法，其特征在于，所述方法包括：
获取原始人脸图像和指定年龄，所述指定年龄为所述原始人脸图像中目标人物在待合成的目标人脸图像中的年龄；
获取所述原始人脸图像中目标人物符合预设条件的条件人脸图像；
获取所述指定年龄对应的指定年龄编码信息，所述指定年龄编码信息用于指示所述指定年龄的人脸所具有的人脸特征，所述指定年龄编码信息根据与所述指定年龄之间的年龄差满足差值条件的人脸所具有的人脸特征确定；
基于所述指定年龄编码信息，对所述条件人脸图像中目标人物的人脸特征进行调整，得到所述目标人脸图像。
2.根据权利要求1所述的方法，其特征在于，所述获取所述原始人脸图像中目标人物符合预设条件的条件人脸图像，包括：
获取所述原始人脸图像中目标人物的人脸姿态和光照强度；
当所述原始人脸图像中目标人物的人脸姿态、光照强度中任一项不符合所述预设条件，根据所述原始人脸图像，构建符合所述预设条件的条件人脸图像。
3.根据权利要求2所述的方法，其特征在于，所述根据所述原始人脸图像，构建符合所述预设条件的条件人脸图像，包括：
识别所述原始人脸图像中目标人物的脸部轮廓，得到所述目标人物的人脸轮廓模型；
识别所述原始人脸图像中目标人物的人脸五官，得到所述目标人物的人脸细节图片；
将所述人脸细节图片叠加到所述人脸轮廓模型中，得到新的人脸图像；
按照所述预设条件，对所述新的人脸图像中目标人物的人脸姿态和光照强度进行调整，得到所述条件人脸图像。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当所述原始人脸图像中目标人物的人脸姿态和光照强度符合所述预设条件，将所述原始人脸图像确定为所述条件人脸图像。
5.根据权利要求1所述的方法，其特征在于，所述基于所述指定年龄编码信息，对所述条件人脸图像中目标人物的人脸特征进行调整，得到所述目标人脸图像，包括：
将所述指定年龄编码信息和所述条件人脸图像输入到条件生成-对抗网络中，输出所述目标人脸图像，所述条件生成-对抗网络用于基于不同年龄编码信息，对人脸图像的人脸特征进行调整，得到不同年龄的人脸图像。
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述基于所述指定年龄编码信息，对所述条件人脸图像中目标人物的人脸特征进行调整，得到所述目标人脸图像之后，还包括：
识别所述目标人脸图像中目标人物的目标年龄和目标身份信息；
当所述目标身份信息与所述原始人脸图像中目标人物的身份信息相匹配，和/或所述目标年龄与所述指定年龄相匹配，则将所述目标人脸图像确定为最终合成结果。
7.一种人脸图像的合成装置，其特征在于，所述装置包括：
第一获取模块，用于获取原始人脸图像和指定年龄，所述指定年龄为所述原始人脸图像中目标人物在待合成的目标人脸图像中的年龄；
第二获取模块，用于获取所述原始人脸图像中目标人物符合预设条件的条件人脸图像；
第三获取模块，用于获取所述指定年龄对应的指定年龄编码信息，所述指定年龄编码信息用于指示所述指定年龄的人脸所具有的人脸特征，所述指定年龄编码信息根据与所述指定年龄之间的年龄差满足差值条件的人脸所具有的人脸特征确定；
调整模块，用于基于所述指定年龄编码信息，对所述条件人脸图像中目标人物的人脸特征进行调整，得到所述目标人脸图像。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
识别模块，用于识别所述目标人脸图像中目标人物的目标年龄和目标身份信息；
确定模块，用于当所述目标身份信息与所述原始人脸图像中目标人物的身份信息相匹配，和/或所述目标年龄与所述指定年龄相匹配，则将所述目标人脸图像确定为最终合成结果。
9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行，以实现如权利要求1至6中任一项所述的人脸图像的合成方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行，以实现如权利要求1至6中任一项所述的人脸图像的合成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110664896.3A CN113392769A (zh) | 2021-06-16 | 2021-06-16 | 人脸图像的合成方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110664896.3A CN113392769A (zh) | 2021-06-16 | 2021-06-16 | 人脸图像的合成方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113392769A true CN113392769A (zh) | 2021-09-14 |
Family
ID=77621284
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110664896.3A Pending CN113392769A (zh) | 2021-06-16 | 2021-06-16 | 人脸图像的合成方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113392769A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113556471A (zh) * | 2021-09-18 | 2021-10-26 | 广州卓腾科技有限公司 | 证件照生成方法、***及计算机可读存储介质 |
| CN113902957A (zh) * | 2021-10-11 | 2022-01-07 | 北京百度网讯科技有限公司 | 图像生成方法、模型的训练方法、装置、电子设备及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107679451A (zh) * | 2017-08-25 | 2018-02-09 | 百度在线网络技术（北京）有限公司 | 建立人脸识别模型的方法、装置、设备和计算机存储介质 |
| CN112101204A (zh) * | 2020-09-14 | 2020-12-18 | 北京百度网讯科技有限公司 | 生成式对抗网络的训练方法、图像处理方法、装置和设备 |
| CN112287852A (zh) * | 2020-11-02 | 2021-01-29 | 腾讯科技（深圳）有限公司 | 人脸图像的处理方法、显示方法、装置及设备 |
| CN112487971A (zh) * | 2020-11-30 | 2021-03-12 | 南京信息工程大学 | 一种面向弱标签数据进行人脸年龄合成的方法 |
-
2021
- 2021-06-16 CN CN202110664896.3A patent/CN113392769A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107679451A (zh) * | 2017-08-25 | 2018-02-09 | 百度在线网络技术（北京）有限公司 | 建立人脸识别模型的方法、装置、设备和计算机存储介质 |
| CN112101204A (zh) * | 2020-09-14 | 2020-12-18 | 北京百度网讯科技有限公司 | 生成式对抗网络的训练方法、图像处理方法、装置和设备 |
| CN112287852A (zh) * | 2020-11-02 | 2021-01-29 | 腾讯科技（深圳）有限公司 | 人脸图像的处理方法、显示方法、装置及设备 |
| CN112487971A (zh) * | 2020-11-30 | 2021-03-12 | 南京信息工程大学 | 一种面向弱标签数据进行人脸年龄合成的方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113556471A (zh) * | 2021-09-18 | 2021-10-26 | 广州卓腾科技有限公司 | 证件照生成方法、***及计算机可读存储介质 |
| CN113902957A (zh) * | 2021-10-11 | 2022-01-07 | 北京百度网讯科技有限公司 | 图像生成方法、模型的训练方法、装置、电子设备及介质 |
| CN113902957B (zh) * | 2021-10-11 | 2024-02-09 | 北京百度网讯科技有限公司 | 图像生成方法、模型的训练方法、装置、电子设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Pang et al. | Image-to-image translation: Methods and applications | |
| CN109558864B (zh) | 人脸关键点检测方法、装置及存储介质 | |
| CN107330408B (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| US11836853B2 (en) | Generation and presentation of predicted personalized three-dimensional body models | |
| CN109359538B (zh) | 卷积神经网络的训练方法、手势识别方法、装置及设备 | |
| CN110111418A (zh) | 创建脸部模型的方法、装置及电子设备 | |
| CN115205949B (zh) | 图像生成方法以及相关设备 | |
| WO2020078119A1 (zh) | 模拟用户穿戴服装饰品的方法、装置和*** | |
| EP3885965B1 (en) | Image recognition method based on micro facial expressions, apparatus and related device | |
| CN113287118A (zh) | 用于面部再现的***和方法 | |
| CN112419170A (zh) | 遮挡检测模型的训练方法及人脸图像的美化处理方法 | |
| CN110288513B (zh) | 用于改变人脸属性的方法、装置、设备和存储介质 | |
| CN113261013A (zh) | 用于移动装置上逼真的头部转动和面部动画合成的***和方法 | |
| CN110599395A (zh) | 目标图像生成方法、装置、服务器及存储介质 | |
| CN111008935B (zh) | 一种人脸图像增强方法、装置、***及存储介质 | |
| CN113850168A (zh) | 人脸图片的融合方法、装置、设备及存储介质 | |
| CN113392769A (zh) | 人脸图像的合成方法、装置、电子设备及存储介质 | |
| WO2024109374A1 (zh) | 换脸模型的训练方法、装置、设备、存储介质和程序产品 | |
| CN115049016B (zh) | 基于情绪识别的模型驱动方法及设备 | |
| CN113658324A (zh) | 图像处理方法及相关设备、迁移网络训练方法及相关设备 | |
| CN114239717A (zh) | 模型训练方法、图像处理方法及装置、电子设备、介质 | |
| Agarwal et al. | Synthesis of realistic facial expressions using expression map | |
| CN114973349A (zh) | 面部图像处理方法和面部图像处理模型的训练方法 | |
| Chalup et al. | Simulating pareidolia of faces for architectural image analysis | |
| CN112528760B (zh) | 图像处理方法、装置、计算机设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |