CN111612872B - 人脸年龄变化图像对抗生成方法及*** - Google Patents

人脸年龄变化图像对抗生成方法及*** Download PDF

Info

Publication number
CN111612872B
CN111612872B CN202010441089.0A CN202010441089A CN111612872B CN 111612872 B CN111612872 B CN 111612872B CN 202010441089 A CN202010441089 A CN 202010441089A CN 111612872 B CN111612872 B CN 111612872B
Authority
CN
China
Prior art keywords
face
image
loss value
real
age
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010441089.0A
Other languages
English (en)
Other versions
CN111612872A (zh
Inventor
李琦
刘云帆
孙哲南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202010441089.0A priority Critical patent/CN111612872B/zh
Publication of CN111612872A publication Critical patent/CN111612872A/zh
Application granted granted Critical
Publication of CN111612872B publication Critical patent/CN111612872B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种人脸年龄变化图像对抗生成方法及***，生成方法包括：获取多对真实人脸图像与目标年龄特征向量；基于空域注意力机制的人脸生成器，根据每对真实人脸图像及目标年龄特征向量，得到合成图像；基于人脸判别器，根据各真实人脸图像及对应的合成图像，计算图像损失函数的损失值；根据所述损失值，利用损失梯度反向传播算法迭代调整人脸生成器及人脸判别器的权值直到收敛；基于当前人脸生成器，根据待处理人脸图像及对应的目标年龄特征向量，得到具有目标年龄特征的人脸图像。本发明通过空域注意力机制限制输入图像经由生成器的改变区域，可降低与年龄变化无关的图像区域中像素发生变化的可能性，从而能够减小引入噪声和失真的几率。

Description

人脸年龄变化图像对抗生成方法及***
技术领域
本发明涉及图像处理技术领域，特别涉及一种人脸年龄变化图像对抗生成方法及***。
背景技术
合成年龄变化后的人脸图像是计算机视觉领域图像编辑问题的重要分支，其旨在保持人脸身份信息不变的前提下，基于给定的人脸图像和目标年龄特征向量，生成逼真的具有指定年龄外貌特征的人脸图像。
随着深度学习理论的广泛应用，尤其是对抗生成网络(Generative AdversarialNetworks，GANs)的快速发展，现有的人脸年龄变化技术大多使用基于GANs的模型合成逼真的人脸图像。通常来讲，年龄变化只集中于人脸的局部区域(额头、眼角、嘴部等)，一个合理的年龄变化模型应该只关注这些区域内的像素变化，而保持其他部分的图像信息不变。
但是大多数现有的模型都是对整张输入图像进行变化，导致图像背景等与年龄变化无关的区域中的像素值也发生变化，从而引入噪声和失真，降低生成图像的质量和逼真度。
发明内容
为了解决现有技术中的上述问题，即为了提高生成图像的质量，本发明的目的在于提供一种人脸年龄变化图像对抗生成方法及***。
为解决上述技术问题，本发明提供了如下方案：
一种人脸年龄变化图像对抗生成方法，所述生成方法包括：
获取多对真实人脸图像与目标年龄特征向量；
基于空域注意力机制的人脸生成器，根据每对真实人脸图像及目标年龄特征向量，得到合成图像；
基于人脸判别器，根据各真实人脸图像及对应的合成图像，计算图像损失函数的损失值；
根据所述损失值，利用损失梯度反向传播算法迭代调整所述人脸生成器及人脸判别器的权值直到收敛，得到当前人脸生成器；
基于当前人脸生成器，根据待处理人脸图像及对应的目标年龄特征向量，得到具有目标年龄特征的人脸图像。
可选地，所述基于空域注意力机制的人脸生成器，根据每对真实人脸图像及目标年龄特征向量，得到合成图像，具体包括：
针对每对真实人脸图像及目标年龄特征向量，
将所述真实人脸图像及目标年龄特征向量沿通道维度拼接，得到拼接结果；
基于空域注意力机制的人脸生成器，根据所述拼接结果，得到对应的合成图像。
可选地，所述真实人脸图像与目标年龄特征向量分为真实年轻人脸图像和目标老化年龄特征向量，以及真实年老人脸图像和目标年轻化年龄特征向量。
可选地，所述图像损失函数的损失值包括：
真实年轻人脸图像的对抗损失值、年龄估计损失值和人脸重建损失值，及真实年老人脸图像的对抗损失值、年龄估计损失值和人脸重建损失值。
可选地，根据以下公式，计算图像损失函数的损失值：
真实年老人脸图像的对抗损失值
真实年老人脸图像的年龄估计损失值
真实年老人脸图像的人脸重建损失值
真实年轻人脸图像的对抗损失值
真实年轻人脸图像的年龄估计损失值
真实年轻人脸图像的人脸重建损失值
其中，Iy表示真实年轻人脸图像，Io表示真实年老人脸图像，αy表示目标年轻化年龄特征向量，αo表示目标老化年龄特征向量，Gr表示基于空域注意力机制的人脸年轻化生成器，Gp表示基于空域注意力机制的人脸老化生成器，Dr表示年轻人脸判别器，Dp表示年老人脸判别器，Dr和Dp上标I表示为对图像真实性的判别输出，上标α表示为对图像中人脸年龄的回归输出，D表示人脸判别器，G表示人脸生成器。
可选地，根据所述损失值，利用损失梯度反向传播算法迭代调整所述人脸生成器及人脸判别器的权值直到收敛，具体包括：
根据以下公式，计算总损失值L：
以总损失值L为目标函数，根据进行迭代优化；
利用梯度反向传播算法更新生成器Gr和Gp与判别器Dr和Dp权值直至收敛。
为解决上述技术问题，本发明还提供了如下方案：
一种人脸年龄变化图像对抗生成***，所述生成***包括：
获取单元，用于获取多对真实人脸图像与目标年龄特征向量；
合成单元，用于基于空域注意力机制的人脸生成器，根据每对真实人脸图像及目标年龄特征向量，得到合成图像；
计算单元，用于基于人脸判别器，根据各真实人脸图像及对应的合成图像，计算图像损失函数的损失值；
迭代单元，用于根据所述损失值，利用损失梯度反向传播算法迭代调整所述人脸生成器及人脸判别器的权值直到收敛，得到当前人脸生成器；
处理单元，用于基于当前人脸生成器，根据待处理人脸图像及对应的目标年龄特征向量，得到具有目标年龄特征的人脸图像。
可选地，所述合成单元包括：
拼接模块，用于针对每对真实人脸图像及目标年龄特征向量，将所述真实人脸图像及目标年龄特征向量沿通道维度拼接，得到拼接结果；
合成模块，用于基于空域注意力机制的人脸生成器，根据所述拼接结果，得到对应的合成图像。
为解决上述技术问题，本发明还提供了如下方案：
一种人脸年龄变化图像对抗生成***，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：
获取多对真实人脸图像与目标年龄特征向量；
基于空域注意力机制的人脸生成器，根据每对真实人脸图像及目标年龄特征向量，得到合成图像；
基于人脸判别器，根据各真实人脸图像及对应的合成图像，计算图像损失函数的损失值；
根据所述损失值，利用损失梯度反向传播算法迭代调整所述人脸生成器及人脸判别器的权值直到收敛，得到当前人脸生成器；
基于当前人脸生成器，根据待处理人脸图像及对应的目标年龄特征向量，得到具有目标年龄特征的人脸图像。
为解决上述技术问题，本发明还提供了如下方案：
一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：
获取多对真实人脸图像与目标年龄特征向量；
基于空域注意力机制的人脸生成器，根据每对真实人脸图像及目标年龄特征向量，得到合成图像；
基于人脸判别器，根据各真实人脸图像及对应的合成图像，计算图像损失函数的损失值；
根据所述损失值，利用损失梯度反向传播算法迭代调整所述人脸生成器及人脸判别器的权值直到收敛，得到当前人脸生成器；
基于当前人脸生成器，根据待处理人脸图像及对应的目标年龄特征向量，得到具有目标年龄特征的人脸图像。
根据本发明的实施例，本发明公开了以下技术效果：
本发明通过空域注意力机制限制输入图像经由生成器的改变区域，可降低与年龄变化无关的图像区域中像素发生变化的可能性，从而能够减小引入噪声和失真的几率，提高合成老化人脸图像的质量和可信度。
附图说明
图1是本发明人脸年龄变化图像对抗生成方法的流程图；
图2是本发明人脸年龄变化图像对抗生成方法的具体实施流程图；
图3是针对图2的实施流程图；
图4是基于空域注意力机制的生成器的结构框图；
图5是本发明人脸年龄变化图像对抗生成***的模块结构示意图。
符号说明：
获取单元—1，合成单元—2，计算单元—3，迭代单元—4，处理单元—5。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
本发明的目的在于提供一种人脸年龄变化图像对抗生成方法，通过空域注意力机制限制输入图像经由生成器的改变区域，可降低与年龄变化无关的图像区域中像素发生变化的可能性，从而能够减小引入噪声和失真的几率，提高合成老化人脸图像的质量和可信度。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示，本发明人脸年龄变化图像对抗生成方法包括：
步骤100：获取多对真实人脸图像与目标年龄特征向量；
步骤200：基于空域注意力机制的人脸生成器，根据每对真实人脸图像及目标年龄特征向量，得到合成图像；
步骤300：基于人脸判别器，根据各真实人脸图像及对应的合成图像，计算图像损失函数的损失值；
步骤400：根据所述损失值，利用损失梯度反向传播算法迭代调整所述人脸生成器及人脸判别器的权值直到收敛，得到当前人脸生成器；
步骤500：基于当前人脸生成器，根据待处理人脸图像及对应的目标年龄特征向量，得到具有目标年龄特征的人脸图像。
其中，如图2和图3所示，所述真实人脸图像与目标年龄特征向量分为真实年轻人脸图像和目标老化年龄特征向量，以及真实年老人脸图像和目标年轻化年龄特征向量。
可选地，在步骤200中，所述基于空域注意力机制的人脸生成器，根据每对真实人脸图像及目标年龄特征向量，得到合成图像，具体包括：
步骤201：针对每对真实人脸图像及目标年龄特征向量，将所述真实人脸图像及目标年龄特征向量沿通道维度拼接，得到拼接结果；
步骤202：基于空域注意力机制的人脸生成器，根据所述拼接结果，得到对应的合成图像(如图4所示)。
具体地，所述图像损失函数的损失值包括：真实年轻人脸图像的对抗损失值、年龄估计损失值和人脸重建损失值，及真实年老人脸图像的对抗损失值、年龄估计损失值和人脸重建损失值。
进一步地，根据以下公式，计算图像损失函数的损失值：
真实年老人脸图像的对抗损失值
真实年老人脸图像的年龄估计损失值
真实年老人脸图像的人脸重建损失值
真实年轻人脸图像的对抗损失值
真实年轻人脸图像的年龄估计损失值
真实年轻人脸图像的人脸重建损失值
其中，Iy表示真实年轻人脸图像，Io表示真实年老人脸图像，αy表示目标年轻化年龄特征向量，αo表示目标老化年龄特征向量，Gr表示基于空域注意力机制的人脸年轻化生成器，Gp表示基于空域注意力机制的人脸老化生成器，Dr表示年轻人脸判别器，Dp表示年老人脸判别器，Dr和Dp上标I表示为对图像真实性的判别输出，上标α表示为对图像中人脸年龄的回归输出，D表示人脸判别器，G表示人脸生成器。
在步骤400中，根据所述损失值，利用损失梯度反向传播算法迭代调整所述人脸生成器及人脸判别器的权值直到收敛，具体包括：
步骤401：根据以下公式，计算总损失值L：
步骤402：以总损失值L为目标函数，根据进行迭代优化；
步骤403：利用梯度反向传播算法更新生成器Gr和Gp与判别器Dr和Dp权值直至收敛。
本发明使用了基于GANs(Generative Adversarial Networks，抗生成网络)的模型生成年龄变化的人脸图像，该模型主要包括三个部分：基于空域注意力机制的生成器、判别器、损失函数。其中基于空域注意力机制的生成器包含人脸老化生成器和人脸年轻化生成器，分别以真实年轻人脸图像和真实年老人脸图像为输入。输入图像与目标年龄特征向量沿通道维度拼接后输入生成器。生成器基于空域注意力机制对图像改变区域进行引导，使得与变化无关的区域中像素值得以保持，并最终输出年龄改变后的人脸图像。
为了使得该生成图像尽量逼真并且能够体现目标年龄的外貌特征，我们使用了两个判别器(年老人脸判别器和年轻人脸判别器)来区分合成的与真实的年龄变化人脸图像，并且对输入判别器的人脸图像的年龄进行回归。
为了监督该模型的训练过程，本发明采用了对抗损失、年龄估计损失和人脸重建损失对合成的年龄变化人脸图像进行约束。具体来说，对抗损失通过惩罚合成人脸和真实人脸两者数据分布之间的差距，提升了合成人脸图像的逼真度；年龄估计损失使得生成人脸能够具有和同年龄真实人脸相似的外貌特征；人脸重建误差减小了与年龄变化无关的图像区域中像素值的变化。
下面以具体实施例详细说明本发明：
如图2和图3所示，步骤S1，将真实年轻人脸图像(图3中以一年轻男性人脸图像为例)和目标老化年龄特征向量(目标年龄为51-60岁)拼接后输入基于空域注意力机制的人脸老化生成器，得到合成年老人脸图像；将真实年老人脸图像(图3中以一年老女性人脸图像为例)和目标年轻化年龄特征向量(目标年龄21-30岁)拼接后输入基于空域注意力机制的人脸年轻化生成器，得到合成年轻人脸图像。
所述步骤S1具体包括如下：
步骤S11，将真实年轻人脸图像与目标老化年龄特征向量沿通道维度拼接后输入基于空域注意力机制的人脸老化生成器(结构如图4所示)，并输出合成年老人脸图像。
步骤S12，将真实年老人脸图像与目标年轻化年龄特征向量沿通道维度拼接后输入基于空域注意力机制的人脸年轻化生成器(结构如图4所示)，并输出合成年轻人脸图像。
步骤S2，将真实与合成年轻人脸图像送入年轻人脸判别器，将真实与合成年老人脸送入年老人脸判别器，分别计算对抗损失、年龄估计损失和人脸重建损失，利用损失梯度反向传播算法迭代调整人脸老化生成器、人脸年轻化生成器、年老人脸判别器和年轻人脸判别器模型的权值直到收敛。
所述步骤S2具体包括以下步骤：
步骤S21，基于步骤S11中得到的合成年老人脸图像，将其与真实年老人脸图像一并输入年老人脸判别器中，计算损失函数的值。所述损失函数分为三部分：对抗损失值、年龄估计损失值和人脸重建损失值
步骤S22，计算真实年老人脸图像的对抗损失值、年龄估计损失值和人脸重建损失值。
步骤S23，基于步骤S12中得到的合成年轻人脸图像，将其与真实年轻人脸图像一并输入年轻人脸判别器中，计算损失函数的值。
步骤S24，计算真实年轻人脸图像的对抗损失值、年龄估计损失值和人脸重建损失值。
此外，本发明还提供一种人脸年龄变化图像对抗生成***，可提高生成图像的质量。
如图5所示，本发明人脸年龄变化图像对抗生成***包括获取单元1、合成单元2、计算单元3、迭代单元4及处理单元5。
其中，所述获取单元1用于获取多对真实人脸图像与目标年龄特征向量；
所述合成单元2用于基于空域注意力机制的人脸生成器，根据每对真实人脸图像及目标年龄特征向量，得到合成图像；
所述计算单元3用于基于人脸判别器，根据各真实人脸图像及对应的合成图像，计算图像损失函数的损失值；
所述迭代单元4用于根据所述损失值，利用损失梯度反向传播算法迭代调整所述人脸生成器及人脸判别器的权值直到收敛，得到当前人脸生成器；
所述处理单元5用于基于当前人脸生成器，根据待处理人脸图像及对应的目标年龄特征向量，得到具有目标年龄特征的人脸图像。
优选地，所述合成单元2包括拼接模块及合成模块。
所述拼接模块用于针对每对真实人脸图像及目标年龄特征向量，将所述真实人脸图像及目标年龄特征向量沿通道维度拼接，得到拼接结果；所述合成模块用于基于空域注意力机制的人脸生成器，根据所述拼接结果，得到对应的合成图像。
本发明还提供一种人脸年龄变化图像对抗生成***，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：
获取多对真实人脸图像与目标年龄特征向量；
基于空域注意力机制的人脸生成器，根据每对真实人脸图像及目标年龄特征向量，得到合成图像；
基于人脸判别器，根据各真实人脸图像及对应的合成图像，计算图像损失函数的损失值；
根据所述损失值，利用损失梯度反向传播算法迭代调整所述人脸生成器及人脸判别器的权值直到收敛，得到当前人脸生成器；
基于当前人脸生成器，根据待处理人脸图像及对应的目标年龄特征向量，得到具有目标年龄特征的人脸图像。
为解决上述技术问题，本发明还提供了如下方案：
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：
获取多对真实人脸图像与目标年龄特征向量；
基于空域注意力机制的人脸生成器，根据每对真实人脸图像及目标年龄特征向量，得到合成图像；
基于人脸判别器，根据各真实人脸图像及对应的合成图像，计算图像损失函数的损失值；
根据所述损失值，利用损失梯度反向传播算法迭代调整所述人脸生成器及人脸判别器的权值直到收敛，得到当前人脸生成器；
基于当前人脸生成器，根据待处理人脸图像及对应的目标年龄特征向量，得到具有目标年龄特征的人脸图像。
相对于现有技术，本发明计算机可读存储介质、人脸年龄变化图像对抗生成***与上述人脸年龄变化图像对抗生成方法的有益效果相同，在此不再赘述。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (7)

1.一种人脸年龄变化图像对抗生成方法，其特征在于，所述生成方法包括：
获取多对真实人脸图像与目标年龄特征向量；
基于空域注意力机制的人脸生成器，根据每对真实人脸图像及目标年龄特征向量，得到合成图像；
基于人脸判别器，根据各真实人脸图像及对应的合成图像，计算图像损失函数的损失值；
根据所述损失值，利用损失梯度反向传播算法迭代调整所述人脸生成器及人脸判别器的权值直到收敛，得到当前人脸生成器；
基于当前人脸生成器，根据待处理人脸图像及对应的目标年龄特征向量，得到具有目标年龄特征的人脸图像；
所述真实人脸图像与目标年龄特征向量分为真实年轻人脸图像和目标老化年龄特征向量，以及真实年老人脸图像和目标年轻化年龄特征向量；
所述图像损失函数的损失值包括：
真实年轻人脸图像的对抗损失值、年龄估计损失值和人脸重建损失值，及真实年老人脸图像的对抗损失值、年龄估计损失值和人脸重建损失值；
根据以下公式，计算图像损失函数的损失值：
真实年老人脸图像的对抗损失值
真实年老人脸图像的年龄估计损失值
真实年老人脸图像的人脸重建损失值
真实年轻人脸图像的对抗损失值
真实年轻人脸图像的年龄估计损失值
真实年轻人脸图像的人脸重建损失值
其中，Iy表示真实年轻人脸图像，Io表示真实年老人脸图像，αy表示目标年轻化年龄特征向量，αo表示目标老化年龄特征向量，Gr表示基于空域注意力机制的人脸年轻化生成器，Gp表示基于空域注意力机制的人脸老化生成器，Dr表示年轻人脸判别器，Dp表示年老人脸判别器，Dr和Dp上标I表示为对图像真实性的判别输出，上标α表示为对图像中人脸年龄的回归输出，D表示人脸判别器，G表示人脸生成器。
2.根据权利要求1所述的人脸年龄变化图像对抗生成方法，其特征在于，所述基于空域注意力机制的人脸生成器，根据每对真实人脸图像及目标年龄特征向量，得到合成图像，具体包括：
针对每对真实人脸图像及目标年龄特征向量，
将所述真实人脸图像及目标年龄特征向量沿通道维度拼接，得到拼接结果；
基于空域注意力机制的人脸生成器，根据所述拼接结果，得到对应的合成图像。
3.根据权利要求2所述的人脸年龄变化图像对抗生成方法，其特征在于，根据所述损失值，利用损失梯度反向传播算法迭代调整所述人脸生成器及人脸判别器的权值直到收敛，具体包括：
根据以下公式，计算总损失值L：
以总损失值L为目标函数，根据进行迭代优化；
利用梯度反向传播算法更新生成器Gr和Gp与判别器Dr和Dp权值直至收敛。
4.一种人脸年龄变化图像对抗生成***，其特征在于，所述生成***包括：
获取单元，用于获取多对真实人脸图像与目标年龄特征向量；
合成单元，用于基于空域注意力机制的人脸生成器，根据每对真实人脸图像及目标年龄特征向量，得到合成图像；所述真实人脸图像与目标年龄特征向量分为真实年轻人脸图像和目标老化年龄特征向量，以及真实年老人脸图像和目标年轻化年龄特征向量；
计算单元，用于基于人脸判别器，根据各真实人脸图像及对应的合成图像，计算图像损失函数的损失值；所述图像损失函数的损失值包括：
真实年轻人脸图像的对抗损失值、年龄估计损失值和人脸重建损失值，及真实年老人脸图像的对抗损失值、年龄估计损失值和人脸重建损失值；根据以下公式，计算图像损失函数的损失值：
真实年老人脸图像的对抗损失值
真实年老人脸图像的年龄估计损失值
真实年老人脸图像的人脸重建损失值
真实年轻人脸图像的对抗损失值
真实年轻人脸图像的年龄估计损失值
真实年轻人脸图像的人脸重建损失值
其中，Iy表示真实年轻人脸图像，Io表示真实年老人脸图像，αy表示目标年轻化年龄特征向量，αo表示目标老化年龄特征向量，Gr表示基于空域注意力机制的人脸年轻化生成器，Gp表示基于空域注意力机制的人脸老化生成器，Dr表示年轻人脸判别器，Dp表示年老人脸判别器，Dr和Dp上标I表示为对图像真实性的判别输出，上标α表示为对图像中人脸年龄的回归输出，D表示人脸判别器，G表示人脸生成器；
迭代单元，用于根据所述损失值，利用损失梯度反向传播算法迭代调整所述人脸生成器及人脸判别器的权值直到收敛，得到当前人脸生成器；
处理单元，用于基于当前人脸生成器，根据待处理人脸图像及对应的目标年龄特征向量，得到具有目标年龄特征的人脸图像。
5.根据权利要求4所述的人脸年龄变化图像对抗生成***，其特征在于，所述合成单元包括：
拼接模块，用于针对每对真实人脸图像及目标年龄特征向量，将所述真实人脸图像及目标年龄特征向量沿通道维度拼接，得到拼接结果；
合成模块，用于基于空域注意力机制的人脸生成器，根据所述拼接结果，得到对应的合成图像。
6.一种人脸年龄变化图像对抗生成***，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：
获取多对真实人脸图像与目标年龄特征向量；
基于空域注意力机制的人脸生成器，根据每对真实人脸图像及目标年龄特征向量，得到合成图像；所述真实人脸图像与目标年龄特征向量分为真实年轻人脸图像和目标老化年龄特征向量，以及真实年老人脸图像和目标年轻化年龄特征向量；
基于人脸判别器，根据各真实人脸图像及对应的合成图像，计算图像损失函数的损失值；所述图像损失函数的损失值包括：
真实年轻人脸图像的对抗损失值、年龄估计损失值和人脸重建损失值，及真实年老人脸图像的对抗损失值、年龄估计损失值和人脸重建损失值；根据以下公式，计算图像损失函数的损失值：
真实年老人脸图像的对抗损失值
真实年老人脸图像的年龄估计损失值
真实年老人脸图像的人脸重建损失值
真实年轻人脸图像的对抗损失值
真实年轻人脸图像的年龄估计损失值
真实年轻人脸图像的人脸重建损失值
其中，Iy表示真实年轻人脸图像，Io表示真实年老人脸图像，αy表示目标年轻化年龄特征向量，αo表示目标老化年龄特征向量，Gr表示基于空域注意力机制的人脸年轻化生成器，Gp表示基于空域注意力机制的人脸老化生成器，Dr表示年轻人脸判别器，Dp表示年老人脸判别器，Dr和Dp上标I表示为对图像真实性的判别输出，上标α表示为对图像中人脸年龄的回归输出，D表示人脸判别器，G表示人脸生成器；
根据所述损失值，利用损失梯度反向传播算法迭代调整所述人脸生成器及人脸判别器的权值直到收敛，得到当前人脸生成器；
基于当前人脸生成器，根据待处理人脸图像及对应的目标年龄特征向量，得到具有目标年龄特征的人脸图像。
7.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：
获取多对真实人脸图像与目标年龄特征向量；
基于空域注意力机制的人脸生成器，根据每对真实人脸图像及目标年龄特征向量，得到合成图像；所述真实人脸图像与目标年龄特征向量分为真实年轻人脸图像和目标老化年龄特征向量，以及真实年老人脸图像和目标年轻化年龄特征向量；
基于人脸判别器，根据各真实人脸图像及对应的合成图像，计算图像损失函数的损失值；所述图像损失函数的损失值包括：
真实年轻人脸图像的对抗损失值、年龄估计损失值和人脸重建损失值，及真实年老人脸图像的对抗损失值、年龄估计损失值和人脸重建损失值；根据以下公式，计算图像损失函数的损失值：
真实年老人脸图像的对抗损失值
真实年老人脸图像的年龄估计损失值
真实年老人脸图像的人脸重建损失值
真实年轻人脸图像的对抗损失值
真实年轻人脸图像的年龄估计损失值
真实年轻人脸图像的人脸重建损失值
其中，Iy表示真实年轻人脸图像，Io表示真实年老人脸图像，αy表示目标年轻化年龄特征向量，αo表示目标老化年龄特征向量，Gr表示基于空域注意力机制的人脸年轻化生成器，Gp表示基于空域注意力机制的人脸老化生成器，Dr表示年轻人脸判别器，Dp表示年老人脸判别器，Dr和Dp上标I表示为对图像真实性的判别输出，上标α表示为对图像中人脸年龄的回归输出，D表示人脸判别器，G表示人脸生成器；
根据所述损失值，利用损失梯度反向传播算法迭代调整所述人脸生成器及人脸判别器的权值直到收敛，得到当前人脸生成器；
基于当前人脸生成器，根据待处理人脸图像及对应的目标年龄特征向量，得到具有目标年龄特征的人脸图像。
CN202010441089.0A 2020-05-22 2020-05-22 人脸年龄变化图像对抗生成方法及*** Active CN111612872B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010441089.0A CN111612872B (zh) 2020-05-22 2020-05-22 人脸年龄变化图像对抗生成方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010441089.0A CN111612872B (zh) 2020-05-22 2020-05-22 人脸年龄变化图像对抗生成方法及***

Publications (2)

Publication Number Publication Date
CN111612872A CN111612872A (zh) 2020-09-01
CN111612872B true CN111612872B (zh) 2024-04-23

Family

ID=72199534

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010441089.0A Active CN111612872B (zh) 2020-05-22 2020-05-22 人脸年龄变化图像对抗生成方法及***

Country Status (1)

Country Link
CN (1) CN111612872B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112287852B (zh) * 2020-11-02 2023-11-21 腾讯科技（深圳）有限公司 人脸图像的处理方法、显示方法、装置及设备
CN112766157B (zh) * 2021-01-20 2022-08-30 乐山师范学院 一种基于解纠缠表示学习的跨年龄人脸图像识别方法
CN113436061B (zh) * 2021-07-01 2022-08-09 中科人工智能创新技术研究院(青岛)有限公司 人脸图像重构方法及***
CN113569780A (zh) * 2021-08-03 2021-10-29 东南大学 一种基于梯度对抗攻击和生成对抗模型的人脸图片年龄转换方法
CN113837930B (zh) * 2021-09-24 2024-02-02 重庆中科云从科技有限公司 人脸图像合成方法、装置以及计算机可读存储介质
CN114022931A (zh) * 2021-10-29 2022-02-08 北京字节跳动网络技术有限公司 一种图像处理方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109308450A (zh) * 2018-08-08 2019-02-05 杰创智能科技股份有限公司 一种基于生成对抗网络的脸部变化预测方法
CN109635745A (zh) * 2018-12-13 2019-04-16 广东工业大学 一种基于生成对抗网络模型生成多角度人脸图像的方法
CN110322394A (zh) * 2019-06-18 2019-10-11 中国科学院自动化研究所 基于属性引导的人脸年龄老化图像对抗生成方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10825219B2 (en) * 2018-03-22 2020-11-03 Northeastern University Segmentation guided image generation with adversarial networks

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109308450A (zh) * 2018-08-08 2019-02-05 杰创智能科技股份有限公司 一种基于生成对抗网络的脸部变化预测方法
WO2020029356A1 (zh) * 2018-08-08 2020-02-13 杰创智能科技股份有限公司 一种基于生成对抗网络的脸部变化预测方法
CN109635745A (zh) * 2018-12-13 2019-04-16 广东工业大学 一种基于生成对抗网络模型生成多角度人脸图像的方法
CN110322394A (zh) * 2019-06-18 2019-10-11 中国科学院自动化研究所 基于属性引导的人脸年龄老化图像对抗生成方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Attribute Enhanced Face Aging with Wavelet-based Generative Adversarial Networks;Yunfan Liu et al;《arXiv》;第1-5页 *

Also Published As

Publication number Publication date
CN111612872A (zh) 2020-09-01

Similar Documents

Publication Publication Date Title
CN111612872B (zh) 人脸年龄变化图像对抗生成方法及***
WO2022267641A1 (zh) 一种基于循环生成对抗网络的图像去雾方法及***
CN107301458B (zh) 基于强度传输方程的相位优化方法
CN111739082A (zh) 一种基于卷积神经网络的立体视觉无监督深度估计方法
CN112767534B (zh) 视频图像处理方法、装置、电子设备及存储介质
CN115914505B (zh) 基于语音驱动数字人模型的视频生成方法及***
US20220414838A1 (en) Image dehazing method and system based on cyclegan
CN112419455B (zh) 基于人体骨架序列信息的人物动作视频生成方法、***及存储介质
WO2022166797A1 (zh) 图像生成模型的训练方法、生成方法、装置及设备
CN115409937A (zh) 基于集成神经辐射场的人脸视频表情迁移模型构建方法及表情迁移方法和***
Cheng et al. Towards pose-invariant lip-reading
Liu et al. Learning hadamard-product-propagation for image dehazing and beyond
CN112232281B (zh) 一种人脸属性编辑方法、装置、智能终端及存储介质
CN114419300A (zh) 风格化图像生成方法、装置、电子设备及存储介质
CN111476749A (zh) 基于人脸关键点引导式生成对抗网络的人脸修复方法
CN112766413A (zh) 一种基于加权融合模型的鸟类分类方法及***
DE102021124537A1 (de) Energiebasierte variational autoencoder
CN115860113B (zh) 一种自对抗神经网络模型的训练方法及相关装置
CN115908662B (zh) 说话人视频的生成模型训练和使用方法、装置及设备
Li et al. Facial attribute editing by latent space adversarial variational autoencoders
CN105872315A (zh) 一种针对混合噪声的视频去噪方法
Chen et al. Dense voxel 3d reconstruction using a monocular event camera
Li et al. Unsupervised neural rendering for image hazing
US20220101145A1 (en) Training energy-based variational autoencoders
Song Research on Data Augmentation of Dynamic Object Detection Based on Generative Adversarial Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant