CN116579917B - 基于级联双生成器的人脸正面化方法及*** - Google Patents
基于级联双生成器的人脸正面化方法及*** Download PDFInfo
- Publication number
- CN116579917B CN116579917B CN202310559491.2A CN202310559491A CN116579917B CN 116579917 B CN116579917 B CN 116579917B CN 202310559491 A CN202310559491 A CN 202310559491A CN 116579917 B CN116579917 B CN 116579917B
- Authority
- CN
- China
- Prior art keywords
- generator
- face
- face image
- image
- shallow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000009977 dual effect Effects 0.000 title claims abstract description 24
- 238000010606 normalization Methods 0.000 title claims description 13
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 230000008569 process Effects 0.000 claims description 12
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 7
- 238000011160 research Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000001502 supplementing effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 101100409308 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) adv-1 gene Proteins 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/54—Extraction of image or video features relating to texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
本公开提供了一种基于级联双生成器的人脸正面化方法及***，涉及图像数据转换技术领域，方法包括获取多姿态人脸图像并进行预处理；将多姿态人脸图像输入至人脸正面化模型的生成对抗网络中，首先通过深层生成器提取正面人脸图像的轮廓深层特征，输出正面人脸图像；将合成人脸图像再通过浅层生成器提取合成人脸图像的面部细节的纹理浅层特征，输出最终的正面人脸图像；本公开能够使生成的人脸图像在面部细节和整体结构上有更好的表现。
Description
技术领域
本公开涉及图像数据转换技术领域，具体涉及基于级联双生成器的人脸正面化方法及***。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
人脸识别技术是生活中常用的生物特征识别技术，具有非接触性和非强制性的优点，不需要用户高度配合便能实现远距离快速获取被识别者的身份信息。然而在非受限的环境中，如监控视频中，现有人脸识别模型受到姿态、光照和遮挡等因素的影响，导致性能严重下降。近年来，人们对人脸识别的研究逐渐从受限环境下的研究转为非受限环境下的研究。其中，多姿态人脸识别是一个研究热点。目前主流的多姿态人脸识别研究方法是：首先从姿态人脸图像中恢复出保留身份信息的正面人脸图像，这个过程也称为人脸正面化，再对得到的正面人脸图像进行特征提取与识别。使用正面化后的人脸图像进行识别与直接使用姿态人脸图像进行识别相比准确率有了较高提升，因此研究人脸正面化有助于多姿态人脸识别任务的完成，具有重要的实际意义。
人脸正面化任务是在姿态人脸图像的基础上生成一张全新的正面人脸图像，本质上是一种图像生成任务。近年来，生成对抗网络的出现大大提升了图像生成任务的视觉效果，在图像生成领域有着广泛应用。很多基于生成对抗网络的人脸正面化方法也被提出，这些方法能够生成逼真的正面人脸图像，提升多姿态人脸识别准确率。
但是现有的一些先进方法仍然存在一些问题，包括有的网络需要依赖输入人脸图像以外的先验知识，比如人脸偏转角度，并且生成的图像的质量不高，仍有进一步的提升空间。
发明内容
本公开为了解决上述问题，提出了基于级联双生成器的人脸正面化方法及***，整体网络结构基于生成对抗网络，其中生成网络部分由两个设置成不同网络层数的生成器级联组成，结合深层特征和浅层特征，对多种姿态的人脸图像进行正面化。
根据一些实施例，本公开采用如下技术方案：
基于级联双生成器的人脸正面化方法，包括：
获取多姿态人脸图像并进行预处理；
将多姿态人脸图像输入至人脸正面化模型的生成对抗网络中，首先通过深层生成器提取正面人脸图像的轮廓深层特征，输出正面人脸图像；将合成人脸图像再通过浅层生成器提取合成人脸图像的面部细节的纹理浅层特征，输出最终的正面人脸图像；最后，通过人脸识别准确率评估生成图像的质量；
其中，深层生成器和浅层生成器的网络结构均采用U-net骨干网络，每个生成器均有对应的判别器，两个判别器的结构相同，所述深层生成器和浅层生成器级联合成输出最终正面人脸图像。
根据一些实施例，本公开采用如下技术方案：
基于级联双生成器的人脸正面化***，包括：
图像获取模块，用于获取多姿态人脸图像并进行预处理；
图像生成模块，用于将多姿态人脸图像输入至人脸正面化模型的生成对抗网络中，首先通过深层生成器提取正面人脸图像的轮廓深层特征，输出正面人脸图像；将合成人脸图像再通过浅层生成器提取合成人脸图像的面部细节的纹理浅层特征，输出最终的正面人脸图像；
其中，深层生成器和浅层生成器的网络结构均采用U-net骨干网络，每个生成器均有对应的判别器，两个判别器的结构相同，所述深层生成器和浅层生成器级联合成输出最终正面人脸图像。
根据一些实施例，本公开采用如下技术方案：
一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的基于级联双生成器的人脸正面化方法。
根据一些实施例，本公开采用如下技术方案：
一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的基于级联双生成器的人脸正面化方法。
与现有技术相比，本公开的有益效果为：
本公开人脸正面化模型基于生成对抗网络进行搭建，生成网络由两个不同深度生成器级联组成。深层生成器可以提取粗粒度特征(人脸轮廓)，生成在整体结构上更接近真实情况的正面人脸图像；浅层生成器可以提取细粒度特征(纹理特征)，生成在面部细节上更接近真实情况的正面人脸图像。
本公开利用残差块加深生成网络和判别网络，增强网络的拟合能力，从而使生成器生成的图像在整体上更接近真实图像，使判别器对图像有更强的判别能力。
本公开提出的方法能有效为监控、门禁等场景下的人脸识别提供帮助，同时满足准确性和实时性要求。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1为本公开实施例1的流程图；
图2为本公开实施例1的网络框架示意图；
图3为本公开实施例1的深层生成器示意图；
图4为本公开实施例1的浅层生成器示意图。
具体实施方式：
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例1
本公开的一种实施例中提供了一种基于级联双生成器的人脸正面化方法，包括：
步骤一：获取多姿态人脸图像并进行预处理；
步骤二：将多姿态人脸图像输入至人脸正面化模型的生成对抗网络中，首先通过深层生成器提取正面人脸图像的轮廓深层特征，输出正面人脸图像；将合成人脸图像再通过浅层生成器提取合成人脸图像的面部细节的纹理浅层特征，输出最终的正面人脸图像；
其中，深层生成器和浅层生成器的网络结构均采用U-net骨干网络，每个生成器均有对应的判别器，两个判别器的结构相同，所述深层生成器和浅层生成器级联合成输出最终正面人脸图像。
本公开的整体思路为：获取人脸图像，依据获取的多姿态人脸图像，以及预设的人脸正面化模型，得到正面人脸图像；
其中，所述人脸正面化模型通过生成对抗网络训练得到。
利用人脸正面化模型对人脸图像库中的多姿态人脸图像转换成正面人脸图像，多姿态人脸图像可以理解为多种视角的人脸图像，包括水平偏转角度和垂直俯仰角度，人脸正面化模型可以理解为级联双生成器的生成对抗网络。
作为一种实施例，本公开的人脸正面化模型的训练过程包括：
步骤1：获取多姿态人脸图像并进行预处理；
步骤2：将多姿态人脸图像输入至人脸正面化模型的生成网络中，先通过深层生成器生成在轮廓上更接近真实情况的正面人脸图像，再通过浅层生成器生成在面部纹理细节上更接近真实情况的正面人脸图像；
步骤3：将生成的正面人脸图像和真实的正面人脸图像输入至人脸正面化模型的判别网络中，对生成的图像判别真假，和损失函数一起指导生成网络的生成过程。
步骤4：重复上述步骤直至生成对抗网络达到“纳什均衡”。
作为一种实施例，具体的实施方式为：
S1、获取人脸图像并进行预处理，组成人脸图像库，其中每张姿态人脸图像必须有对应的正面人脸图像。对人脸图像库的图像划分形成训练集和测试集。
步骤S1的具体过程为：预处理的方式为对图像进行裁剪，进行图像大小格式的统一裁剪，使得图像大小为相同尺寸。
对获取的人脸图像，可以先采用python库处理不同的格式文件和图像类型，使用numpy ndarray存储图像，再通过PIL裁剪图像为相同尺寸大小。
S2、将预处理之后的人脸照片图像的训练集输入到如图2所示的生成对抗网络中进行训练，训练过程通过两个级联的生成器完成图像的合成，每个生成器均有对应的判别器和损失函数；
步骤S2的具体过程为：
S2.1、深层生成器G1的网络结构如图3所示，采用U-net骨干网络结构，包括下采样和上采样两个过程。下采样部分依次通过一个步长为1卷积核为7×7的卷积层，一个步长为2卷积核为5×5的卷积层，以及三个步长为2卷积核为3×3的卷积层，每个卷积层后均包括一个残差块，残差块不改变特征图的大小，然后将得到的特征通过全连接层和池化层整合为一维特征。上采样部分采用了和下采样对称的结构，经过五次反卷积层将特征的宽和高恢复到原图像尺寸大小，每个反卷积层后均包括一个残差块，残差块不改变特征图的大小，最后接两个卷积层做降维处理，将通道数降低至特定的数量，得到正面人脸图像。同时，在上采样过程中使用了跳跃连接结构进行特征融合，前两层反卷积将前一层的反卷积特征图和对应尺度的侧脸特征图(编码器提取得到的)在通道维度上进行拼接，后三层反卷积将前一层反卷积特征图、对应尺度的侧脸特征图(编码器提取得到的)和对应尺度的姿态人脸图像(输入图像)在通道维度上进行拼接，跳跃连接结构能够起到补全信息的作用。
S2.2、浅层生成器G2的网络结构如图4所示，采用U-net骨干网络结构，包括下采样和上采样两个过程。下采样部分依次通过一个步长为1卷积核为7×7的卷积层，一个步长为2卷积核为5×5的卷积层，以及一个步长为2卷积核为3×3的卷积层，然后将得到的特征通过全连接层和池化层整合为一维特征。上采样部分首先通过四个反卷积层将特征图恢复至原图像尺寸，再经过两个卷积层将特征图的通道数降维至特定数量，得到最终的正面人脸图像。同时，在上采样过程中使用了跳跃连接结构，后三层反卷积层将前一层反卷积特征图、对应尺度的侧脸特征图(编码器提取得到的)和对应尺度的姿态人脸图像在通道维度进行拼接，起到补全信息的作用。
S2.3、每个生成器均有对应的判别器，两个判别器的结构相同，包括一个下采样模块和一个卷积层。其中，下采样模块包括四个步长为2卷积核为3×3的卷积层，且每个卷积层后均包括一个残差块。下采样后网络通过一个1卷积核为4×4的卷积层得到判别结果。
作为一种实施例，损失函数分为深层生成器的损失函数和浅层生成器的损失函数，其中，深层生成器的损失函数包括对抗损失和像素损失：
对抗损失：
其中，D1为深层生成器对应的判别器，IF代表真实的人脸图像，代表深层生成器生成的人脸图像。
像素损失：
其中，IF为真实的人脸图像，为深层生成器生成的人脸图像。
深层生成器总的损失函数为上述损失函数的加权和：
L1＝λ1Ladv1+λ2Lpixel1。
其中，浅层生成器的损失函数包括对抗损失、多尺度像素损失函数、感知损失函数、身份保留损失函数和总变分损失函数：
对抗损失：
其中，D2为浅层生成器对应的判别器，IF代表真实的人脸图像，代表浅层生成器生成的人脸图像。
多尺度像素损失函数为：
其中，IF为真实的正面人脸图像，为最终生成的正面人脸图像，三个尺度i分别为128×128,64×64,32×32。C为图像通道数，W和H为对应的宽度和高度。
感知损失函数为：
其中，IF为真实的正面人脸图像，为最终生成的正面人脸图像。C为特征图通道数，W和H为对应的宽度和高度。/>代表求取特征图的网络(vgg16)。
身份保留损失函数为：
其中，IF为真实的正面人脸图像，为最终生成的正面人脸图像。i从1到2，代表的是分类网络的最后两层卷积层。/>代表求取特征图的网络(Light-cnn)。
总变分损失函数为：
其中，IF为真实的正面人脸图像，为最终生成的正面人脸图像。C为图像通道数，W和H为对应的宽度和高度。
浅层生成器总的损失函数为上述损失函数的加权和：
L2＝λ3Ladv2+λ4Lpixel2+λ5Lpercep+λ6Lip+λ7Ltv
本实施例通过级联双生成器的生成对抗网络解决了多姿态人脸正面化问题；对人脸照片库中的人脸照片划分形成训练集和测试集，对人脸照片的图像进行预处理，得到相同尺寸的图像，输入到神经网络中；通过级联双生成器的生成对抗网络，先提取多姿态人脸图像的粗粒度信息，再提取多姿态人脸图像的细粒度信息，高效结合富含粗粒度信息的深层特征和富含细粒度的浅层特征，使生成的人脸图像在整体结构和面部细节上有更真实的表现，提高人脸正面化效果，从而提高多姿态人脸识别准确率；本实施例提出的人脸正面化算法能有效为监控视频等非受控环境下的人脸识别应用领域提供帮助，同时满足准确性和实时性要求，且不需要输入人脸图像以外的先验知识。
实施例2
本公开的一种实施例中提供了一种基于级联双生成器的人脸正面化***，包括：
图像获取模块，用于获取多姿态人脸图像并进行预处理；
图像生成模块，用于将多姿态人脸图像输入至人脸正面化模型的生成对抗网络中，首先通过深层生成器提取正面人脸图像的轮廓深层特征，输出正面人脸图像；将合成人脸图像再通过浅层生成器提取合成人脸图像的面部细节的纹理浅层特征，输出最终的正面人脸图像。
其中，深层生成器和浅层生成器的网络结构均采用U-net骨干网络，每个生成器均有对应的判别器，两个判别器的结构相同，所述深层生成器和浅层生成器级联合成输出最终正面人脸图像。
实施例3
本公开的一种实施例中提供了一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的基于级联双生成器的人脸正面化方法。
实施例4
本公开的一种实施例中提供了一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的基于级联双生成器的人脸正面化方法。
本公开是参照根据本公开实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。
Claims (10)
1.基于级联双生成器的人脸正面化方法，其特征在于，包括：
获取多姿态人脸图像并进行预处理；
将多姿态人脸图像输入至人脸正面化模型的生成对抗网络中，首先通过深层生成器提取正面人脸图像的轮廓深层特征，输出正面人脸图像；将合成人脸图像再通过浅层生成器提取合成人脸图像的面部细节的纹理浅层特征，输出最终的正面人脸图像；
其中，深层生成器和浅层生成器的网络结构均采用U-net骨干网络，每个生成器均有对应的判别器，两个判别器的结构相同，所述深层生成器和浅层生成器级联合成输出最终正面人脸图像。
2.如权利要求1所述的基于级联双生成器的人脸正面化方法，其特征在于，所述预处理的步骤包括：对于获取的多姿态人脸图像现采用python库处理不同的格式文件和图像类型，使用numpy ndarray存储图像，再通过PIL裁剪图像为相同尺寸大小。
3.如权利要求1所述的基于级联双生成器的人脸正面化方法，其特征在于，所述人脸正面化模型为级联双生成器的生成对抗网络，所述人脸正面化模型实现将多姿态人脸图像转换成正面人脸图像，多姿态人脸图像为多种视角的人脸图像，包括水平偏转角度和垂直俯仰角度。
4.如权利要求1所述的基于级联双生成器的人脸正面化方法，其特征在于，深层生成器采用U-net骨干网络结构，包括下采样和上采样两个过程，上采样部分采用和下采样对称的结构，下采样部分包括不同步长的卷积层，每个卷积层后包括一个残差块，所述残差块将得到的特征通过全连接层和池化层整合为一维特征。
5.权利要求4所述的基于级联双生成器的人脸正面化方法，其特征在于，在上采样过程中使用跳跃连接结构进行特征融合，前两层反卷积将前一层的反卷积特征图和对应尺度的侧脸特征图在通过维度上进行拼接，后三层反卷积将前一层反卷积特征图、对应尺度的侧脸特征图和对应尺度的姿态人脸图像在通道维度上进行拼接，通过跳跃连接结构进行补全信息。
6.权利要求1所述的基于级联双生成器的人脸正面化方法，其特征在于，每个生成器均有对应的判别器，两个判别器的结构相同，包括一个下采样结构和一个卷积层，下采样结构包括四个相同步长的卷积层，且每个卷积层后均包括一个残差块，下采样后网络通过一个卷积层得到判别结果。
7.权利要求1所述的基于级联双生成器的人脸正面化方法，其特征在于，生成对抗网络的损失函数分为深层生成器的损失函数和浅层生成器的损失函数，深层生成器的损失函数包括对抗损失和像素损失，浅层生成器的损失函数包括对抗损失、多尺度像素损失函数、感知损失函数、身份保留损失函数和总变分损失函数，浅层生成器总的损失函数为多个损失函数的加权和。
8.基于级联双生成器的人脸正面化***，其特征在于，包括：
图像获取模块，用于获取多姿态人脸图像并进行预处理；
图像生成模块，用于将多姿态人脸图像输入至人脸正面化模型的生成对抗网络中，首先通过深层生成器提取正面人脸图像的轮廓深层特征，输出正面人脸图像；将合成人脸图像再通过浅层生成器提取合成人脸图像的面部细节的纹理浅层特征，输出最终的正面人脸图像；
其中，深层生成器和浅层生成器的网络结构均采用U-net骨干网络，每个生成器均有对应的判别器，两个判别器的结构相同，所述深层生成器和浅层生成器级联合成输出最终正面人脸图像。
9.一种计算机可读存储介质，其特征在于，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行权利要求1-7中任一项所述的基于级联双生成器的人脸正面化方法。
10.一种终端设备，其特征在于，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行如权利要求1-7中任一项所述的基于级联双生成器的人脸正面化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310559491.2A CN116579917B (zh) | 2023-05-16 | 2023-05-16 | 基于级联双生成器的人脸正面化方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310559491.2A CN116579917B (zh) | 2023-05-16 | 2023-05-16 | 基于级联双生成器的人脸正面化方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116579917A CN116579917A (zh) | 2023-08-11 |
| CN116579917B true CN116579917B (zh) | 2023-09-26 |
Family
ID=87544872
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310559491.2A Active CN116579917B (zh) | 2023-05-16 | 2023-05-16 | 基于级联双生成器的人脸正面化方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116579917B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112418041A (zh) * | 2020-11-16 | 2021-02-26 | 武汉大学 | 一种基于人脸正面化的多姿态人脸识别方法 |
| CN113255788A (zh) * | 2021-05-31 | 2021-08-13 | 西安电子科技大学 | 基于两阶段掩码指导的生成对抗网络人脸校正方法及*** |
| CN113361489A (zh) * | 2021-07-09 | 2021-09-07 | 重庆理工大学 | 基于解耦表示的人脸正面化模型构建方法和训练方法 |
| CN113553895A (zh) * | 2021-03-19 | 2021-10-26 | 武汉大学深圳研究院 | 一种基于人脸正面化的多姿态人脸识别方法 |
| CN115063859A (zh) * | 2022-06-23 | 2022-09-16 | 山东大学 | 基于生成对抗网络的人脸图像转换成素描的方法及*** |
| CN115471901A (zh) * | 2022-11-03 | 2022-12-13 | 山东大学 | 基于生成对抗网络的多姿态人脸正面化方法及*** |
-
2023
- 2023-05-16 CN CN202310559491.2A patent/CN116579917B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112418041A (zh) * | 2020-11-16 | 2021-02-26 | 武汉大学 | 一种基于人脸正面化的多姿态人脸识别方法 |
| CN113553895A (zh) * | 2021-03-19 | 2021-10-26 | 武汉大学深圳研究院 | 一种基于人脸正面化的多姿态人脸识别方法 |
| CN113255788A (zh) * | 2021-05-31 | 2021-08-13 | 西安电子科技大学 | 基于两阶段掩码指导的生成对抗网络人脸校正方法及*** |
| CN113361489A (zh) * | 2021-07-09 | 2021-09-07 | 重庆理工大学 | 基于解耦表示的人脸正面化模型构建方法和训练方法 |
| CN115063859A (zh) * | 2022-06-23 | 2022-09-16 | 山东大学 | 基于生成对抗网络的人脸图像转换成素描的方法及*** |
| CN115471901A (zh) * | 2022-11-03 | 2022-12-13 | 山东大学 | 基于生成对抗网络的多姿态人脸正面化方法及*** |
Non-Patent Citations (2)
| Title |
|---|
| CP-GAN: A Cross-Pose Profile Face Frontalization Boosting Pose-Invariant Face Recognition;Jinjin Liu 等;《IEEE Access》(第8期);198659 - 198667 * |
| 基于生成对抗网络的人脸转正和多姿态人脸生成方法研究;赵志舜;《中国优秀硕士学位论文全文数据库 信息科技辑》(第3期);I138-1015 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116579917A (zh) | 2023-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021073418A1 (zh) | 人脸识别方法、装置、设备及存储介质 | |
| CN110689599B (zh) | 基于非局部增强的生成对抗网络的3d视觉显著性预测方法 | |
| KR20200046181A (ko) | 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템 및 이를 이용하여 무보정 탐지 서비스를 제공하는 방법 | |
| CN111062854B (zh) | 检测水印的方法、装置、终端及存储介质 | |
| CN110909724B (zh) | 一种多目标图像的缩略图生成方法 | |
| CN113961736B (zh) | 文本生成图像的方法、装置、计算机设备和存储介质 | |
| CN111833360B (zh) | 一种图像处理方法、装置、设备以及计算机可读存储介质 | |
| CN111242181B (zh) | 基于图像语义和细节的rgb-d显著性物体检测器 | |
| CN113762138A (zh) | 伪造人脸图片的识别方法、装置、计算机设备及存储介质 | |
| CN110619334A (zh) | 基于深度学习的人像分割方法、架构及相关装置 | |
| CN115082966A (zh) | 行人重识别模型训练方法、行人重识别方法、装置和设备 | |
| CN113887494A (zh) | 用于嵌入式平台的实时高精度人脸检测识别*** | |
| CN113344110B (zh) | 一种基于超分辨率重建的模糊图像分类方法 | |
| CN113297956A (zh) | 一种基于视觉的手势识别方法及*** | |
| CN113077470A (zh) | 一种横竖屏转换画面的裁剪方法、***、装置及介质 | |
| CN113705358B (zh) | 一种基于特征映射的多角度侧脸正面化方法 | |
| CN114758145B (zh) | 一种图像脱敏方法、装置、电子设备及存储介质 | |
| CN112257612A (zh) | 一种基于边缘智能的无人机视频帧过滤方法及装置 | |
| CN116229531A (zh) | 一种协作渐进生成对抗网络的人脸正面图像合成方法 | |
| CN111027440A (zh) | 一种基于神经网络的人群异常行为检测装置和检测方法 | |
| CN115471901B (zh) | 基于生成对抗网络的多姿态人脸正面化方法及*** | |
| KR20200046182A (ko) | 딥러닝 기반 이미지 보정 탐지 시스템 및 이를 이용하여 무보정 탐지 서비스를 제공하는 방법 | |
| CN116579917B (zh) | 基于级联双生成器的人脸正面化方法及*** | |
| JP2020017136A (ja) | 物体検出認識装置、方法、及びプログラム | |
| CN115359088B (zh) | 一种图像处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |