WO2020168731A1 - 一种基于生成对抗机制与注意力机制的标准人脸生成方法 - Google Patents

一种基于生成对抗机制与注意力机制的标准人脸生成方法 Download PDF

Info

Publication number
WO2020168731A1
WO2020168731A1 PCT/CN2019/112045 CN2019112045W WO2020168731A1 WO 2020168731 A1 WO2020168731 A1 WO 2020168731A1 CN 2019112045 W CN2019112045 W CN 2019112045W WO 2020168731 A1 WO2020168731 A1 WO 2020168731A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
network
face
model
standard
Prior art date
Application number
PCT/CN2019/112045
Other languages
English (en)
French (fr)
Inventor
谢巍
余孝源
潘春文
吴伟林
张浪文
Original Assignee
华南理工大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华南理工大学 filed Critical 华南理工大学
Priority to AU2019430859A priority Critical patent/AU2019430859B2/en
Publication of WO2020168731A1 publication Critical patent/WO2020168731A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • the invention relates to the technical field of deep learning applications, in particular to a standard face generation method based on a generation confrontation mechanism and an attention mechanism.
  • the purpose of the present invention is to solve the above-mentioned shortcomings in the prior art, and provide a standard face generation method based on a generation confrontation mechanism and an attention mechanism, and use a deep learning network framework to design related models to obtain a more standard face.
  • the image lays a solid foundation for face recognition in the subsequent single-sample database.
  • a standard face generation method based on a generational confrontation mechanism and an attention mechanism includes: data set design steps, model design and training steps, and model prediction steps; the data set design steps are mainly through the current mainstream RaFD data set And IAIR face data set, based on the relevant annotation data of the database, construct a face code with a variety of non-limiting factors for each face image, including facial expression factors, facial posture factors, and shooting light factors.
  • the model prediction step is mainly for the predicted result after model processing is performed on the face image acquired in reality.
  • the network model includes three sub-networks, which correspond to the image generator sub-network that generates standard faces, the model discriminator sub-network that discriminates the generated results, and the generation
  • the resulting restored image is returned to the atomic network; first, the input face image is generated using the image generator sub-network and the attention mechanism; then, the model discriminator sub-network is used to discriminate the generated image, and finally, Construct an image restoration network, restore the generated image, compare the restoration result with the input image, and optimize the network model;
  • Model training using the image unit generated in step S1, taking images with multiple non-limiting factors as input to optimize the output and label similarity of the image generator sub-network, model discriminator sub-network, and image reduction atom network , To achieve the convergence of the network model based on the generative confrontation mechanism and the attention mechanism;
  • Model prediction extracting the face in the actual image, as the input of the model, by controlling the unified information unit, and finally obtaining a more standard frontal image output.
  • step S1 the face information in the face data set is correspondingly encoded, and divided into two types: non-limiting factor face images and standard frontal natural face images;
  • step S1 The process of step S1 is as follows;
  • a face code with multiple non-limiting factors is constructed for each face image.
  • the non-limiting factors include, but are not limited to, facial expression factors, facial posture factors, and shooting lighting Factors etc.
  • the facial expression factors are divided into eight situations, which are happy, angry, sad, contemptuous, disappointed, scared, surprised and natural.
  • Classification of face data classify the encoded face data into non-limiting factor face images and standard frontal natural clear face images, as follows:
  • the corresponding original unified information code is U y
  • the generated standard face image is I o
  • the unified information code corresponding to the standard face image I o The corresponding standard face image in the database is I
  • the unified information code corresponding to the standard face image I is U 0 .
  • the input content is image Y and unified information code U 0 .
  • the present invention designs two codec networks G c and G f , by combining the attention mechanism to generate the color information mask C and the attention mask F respectively; then, the standard human face is generated through the following synthesis mechanism:
  • ⁇ represents the operation of element-wise multiplication of the matrix.
  • the codec network G c mainly focuses on the color information and texture information of the human face
  • the codec network G f mainly focuses on the areas that need to be changed in the human face
  • the input content is the image I o generated by the image generator sub-network.
  • the present invention also designs two deep convolutional networks: the image discrimination sub-network D I and the information coding discrimination sub-network D U , which are used to discriminate the generated standard face image I o and the corresponding standard face in the database.
  • the difference of the image I, and the unified information coding corresponding to the generated standard face image I o The difference between the unified information code U 0 corresponding to the corresponding standard face image I in the database;
  • the input content is the original unified information code U y corresponding to the generated standard face image I o and the input image Y.
  • the atomic network is consistent with the image generator sub-network, and the network restoration result is By comparing the restoration result with the input image Y of the overall network, the goal of cyclically optimizing the network result is achieved.
  • the generated standard face image I o and the corresponding standard face image I in the database are sent to the image discriminating sub-network D I in the model discriminator sub-network.
  • the unified information code corresponding to the standard face image I o will be generated
  • the unified information coding U 0 corresponding to the standard face image I in the database is sent to the information coding discrimination sub-network D U in the model discriminator sub-network for discrimination, and through continuous loop optimization, the image generator sub-network and the model discriminator sub-network are made Achieve common progress;
  • the present invention designs an image reduction network, and the generated standard face image I o is further restored according to the original unified information code U y corresponding to the original input image Y, and restores The result is compared with the input image Y.
  • the entire network achieves the convergence of the overall network model by continuously optimizing the corresponding loss function.
  • model training in the step S3 achieves the convergence of the model by optimizing the loss function, wherein the design process of the loss function is specifically as follows:
  • conditional expression loss function that is, determine the unified information coding corresponding to the generated standard face image I o and the corresponding standard face image I in the database
  • expression of the conditional expression loss function is designed as follows: Where N is the length of the output uniform information encoding. Then, in the conditional expression loss function, adding the mapping relationship between the input image Y and the corresponding original unified information code U y , can improve the discriminative ability of the discriminator.
  • conditional expression loss function is designed as U y is the original unified information code corresponding to the input image Y, U 0 is the unified information code corresponding to the standard face image I, and D U (I o ) and D U (Y) are the information coding discriminant sub-network for the image I o Discrimination result with Y;
  • step S4 For the generation of the actual face image in step S4, first use the face positioning method based on the face HOG image to obtain the face image in the actual image; then, use the generator trained by the model and the unified information manually set Encoding to realize fast standard face generation of human faces in actual images.
  • the generator trained by the model and the unified information manually set Encoding to realize fast standard face generation of human faces in actual images.
  • the present invention has the following advantages and effects:
  • the present invention applies the deep learning network technology to the standard face generation task to generate color, forward, and standard face images under normal illumination; using the deep learning network method, accurate standard face images can be obtained It reduces the difficulty of matching with the data in the single-sample database, and lays a solid foundation for subsequent facial feature extraction and single-sample face recognition.
  • Figure 1 is a flowchart of model training and model application in an embodiment of the present invention
  • Figure 2 is a flowchart of data construction of a database in an embodiment of the present invention
  • Figure 3 is an overall design diagram of a network model in an embodiment of the present invention.
  • Figure 4 is a specific structure diagram of an image generation network in an embodiment of the present invention.
  • Fig. 5 is a specific structure diagram of an image discrimination network in an embodiment of the present invention.
  • This embodiment discloses a standard face generation method based on a generation confrontation mechanism and an attention mechanism, which mainly involves the following types of technologies: 1) Training data design: Use existing data sets to design unified information coding; 2) Network model structure design: The basic network structure is based on the generation of the confrontation network framework and the loop optimization network method; 3) Standard face generation method: The attention mechanism is added to the generator to restrict the accuracy of standard face generation.
  • the TensorFlow framework is a development framework based on the python language, which can quickly and easily build a reasonable deep learning network, and has good cross-platform interaction capabilities.
  • TensorFlow provides interfaces for many package functions and various image processing functions in the deep learning architecture, including OpenCV-related image processing functions.
  • the TensorFlow framework can also use GPU to train and verify the model, which improves the efficiency of calculation.
  • the Pycharm development environment under the Windows platform or Linux platform becomes the development environment (IDE), which is currently one of the first choices for deep learning network design and development.
  • IDE development environment
  • Pycharm provides customers with new templates, design tools, testing and debugging tools, and can provide customers with an interface to directly call remote servers.
  • This embodiment discloses a standard face generation method based on a generation confrontation mechanism and an attention mechanism.
  • the main process includes two stages of model training and model application.
  • model training stage First, process the existing face data set, and generate a data set that meets the model training by designing a unified information coding mechanism; then, use a cloud server with high computing power to train the network model, and optimize the Loss function, and adjust the network model parameters until the network model converges to obtain the generator structure and weights for generating standard faces.
  • model application stage First, use the HOG face image processing method to extract the actual picture to obtain the actual face image; then, call the trained network model to use the face image with non-limiting factors and the designed unified information encoding as Input and generate standard face; finally obtain a colorful, frontal face image.
  • Fig. 1 is a flowchart of a standard face generation method based on a generation confrontation mechanism and an attention mechanism disclosed in this embodiment. Specific steps are as follows:
  • Step 1 Since the current face database mainly focuses on recognition tasks, there is no face image database with uniform information coding required by the present invention, so it is necessary to integrate the existing databases to construct a suitable database.
  • Figure 2 shows the construction process of face image and unified information coding in the database.
  • FIG. 3 is a schematic diagram of the overall architecture of the network model.
  • the entire model framework mainly includes three sub-networks, which correspond to the image generator sub-network for generating standard faces, the model discriminator sub-network for discriminating the generated results, and the image restoration network for restoring the generated results.
  • the image generator sub-network is Parameter sharing is carried out between the network and the image reduction network, and the image generator sub-network mainly combines the attention mechanism to generate face images.
  • Fig. 4 is the specific network structure of the image generator sub-network
  • Fig. 5 is the specific network structure of the model discriminator sub-network.
  • the image generator sub-network has the same parameters as the image-to-atom network, and contains two generators respectively, namely the color information generator and the attention mask generator, as follows:
  • the color information generator contains 8 convolutional layers and 7 deconvolutional layers.
  • the convolution kernel size of all convolutional layers is 5, the step size is 1, and finally a 3-channel color information image is generated;
  • the attention mask generator contains 8 convolutional layers and 7 deconvolutional layers.
  • the convolution kernel size of all convolutional layers is 5 and the step length is 1, and finally a 1-channel attention mask is generated.
  • the model discriminator sub-network consists of two parts, namely the information encoding discriminating sub-network and the image discriminating sub-network, as follows:
  • the information encoding discriminating sub-network includes 6 convolutional layers and 1 fully connected layer, convolutional layer
  • the size of the convolution kernel is 5, and the step size is 1, and finally a one-dimensional unified information code of length N is generated;
  • the image discrimination sub-network contains 6 convolution layers, the size of the convolution kernel is 5, and the step size is 1.
  • Step 3 The training of the model is carried out on a high-performance GPU.
  • the specific training parameters are designed as follows: Adam optimizer can be used, and its parameters are set to 0.9/0.999; the learning rate is set to 0.0001; the training epoch is set to 100 ; The batch setting of training depends on the training sample of the data.
  • Step 4 model prediction, extract the face in the actual image, as the input of the model, by controlling the unified information unit, and finally obtain a more standard frontal image output.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于生成对抗机制与注意力机制的标准人脸生成方法，包括：数据集设计步骤，依据数据库相关标注数据，为一张人脸图像构建出具有多种非限制因素的人脸编码，以编码和人脸图像作为模型的输入；模型设计与训练步骤，利用生成对抗机制与注意力机制设计相应的网络结构，并利用所构建的数据对进行模型训练，进而获得网络模型权重；模型预测步骤，将获取的人脸图像通过模型进行预测。将深度学习网络技术应用到标准人脸生成，用来生成彩色的、正向的、以及正常光照下的标准人脸图像；用深度学习网络的方法，能够获得准确的标准正脸照，减少与单样本数据库中数据的匹配难度，为后续人脸的特征提取与单样本人脸识别打下坚实基础。

Description

一种基于生成对抗机制与注意力机制的标准人脸生成方法 技术领域
本发明涉及深度学习应用技术领域，具体涉及一种基于生成对抗机制与注意力机制的标准人脸生成方法。
背景技术
近年来视频监控在全国大中城市普及，并已广泛应用于社会治安防控体系建设中，并成为公安机关侦查破案的有力技术手段。特别是在***、重特大案件及两抢案件中，视频监控录像中获取的证据线索对于案件的快速侦破起到关键作用。目前国内公安机关主要运用视频监控录像进行事后犯罪线索及犯罪证据查找，并通过对比对重点嫌疑人的人脸信息与公安局数据库中的人员信息，锁定嫌疑人的身份。但是，监控视频中的嫌疑人人脸信息会存在多种限制性因素,如表情信息干扰、姿态干扰或者拍摄光照的干扰。由于公安局数据库中的人员人脸信息图像大多只有单张证件照样本，而具有上述多种限制性因素干扰的人脸图像进行识别处理时，成功率受到很大的约束，往往容易造成漏检和错检等情况。
近年来，人工智能领域已经被提到国家重点建设的范围。这预示着人工智能与相关行业的结合是我国朝着智能化方向发展的必然趋势，对推动行业朝智能化、自动化方面发展具有重要意义。人工智能领域中最主要的是针对不同的行业任务，设计相应的深度学习网络模型。随着计算机算力的提高，网络训练的难度大大减低，网络预测精度也在不断提高。深度学习网络的基本特点是模型拟合能力强、信息量大和精度高，能够满足不同行业中不同需求。对于具有多种非限制性因素的人脸识别问题，其关键的 问题是如何生成标准的正脸图像，以满足后续人脸图像特征提取与识别的需要。目前亟待针对这一问题，设计相应合理的深度学习网络框架，利用高性能的计算机处理能力对网络进行训练，进而可以生成较标准的正脸图像，提高人脸匹配的准确度，减少人脸识别时错检情况的发生。
发明内容
本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于生成对抗机制与注意力机制的标准人脸生成方法，用深度学习网络框架设计相关模型，进而可以获得较为标准的正脸图像，为后续单样本数据库下的人脸识别打下坚实基础。
本发明的目的可以通过采取如下技术方案达到：
一种基于生成对抗机制与注意力机制的标准人脸生成方法，该生成方法包括：数据集设计步骤、模型设计与训练步骤以及模型预测步骤；数据集设计步骤主要是通过当前主流的RaFD数据集和IAIR人脸数据集，依据数据库相关标注数据，为每一张人脸图像构建出具有多种非限制因素的人脸编码，包括人脸表情因素、人脸姿态因素和拍摄光照因素等，以编码和人脸图像作为模型的输入；模型设计与训练步骤主要是利用生成对抗机制与注意力机制的相关原理，设计相应的网络结构，并利用所构建的数据对进行模型训练，进而获得网络模型权重；模型预测步骤主要是针对现实所获取的人脸图像，进行模型处理后，所预测的结果。
具体的，操作步骤如下：
S1、数据构建，采集RaFD人脸数据集和IAIR人脸数据集中人脸数据，为每一张人脸图像构建出具有多种非限制因素的人脸编码，然后对人脸数据进行分类，其中，非限制因素包括人脸表情因素、人脸姿态因素和拍摄光照因素，编码后的人脸图像构成信息单元U＝{L u,E u,A u}，包括8位的光照编码L u、8位的表情编码E u以及19位的姿态编码A u；
S2、建立基于生成对抗机制与注意力机制的网络模型，该网络模型包括三个子网络，分别对应生成标准人脸的图像生成器子网络、对生成结果进行判别的模型判别器子网络以及通过生成结果进行还原的图像还原子网络；首先，利用图像生成器子网络和注意力机制对输入的人脸图像进行标准脸生成；接着，利用模型判别器子网络，对生成的图像进行判别，最后，构建一个图像还原子网络，对生成图像进行还原，并将还原结果与输入图像进行比较，对网络模型进行优化约束；
S3、模型训练，利用步骤S1中所生成的图像单元，以具有多种非限制因素的图像为输入，优化图像生成器子网络、模型判别器子网络以及图像还原子网络的输出与标签相似度，实现基于生成对抗机制与注意力机制的网络模型的收敛；
S4、模型预测，提取实际图像中的人脸，作为模型的输入，通过控制统一信息单元，最后获得较为标准的正脸图像输出。
进一步地，步骤S1中，对人脸数据集中的人脸信息进行相应编码，并分为非限制因素的人脸图像和标准正面自然人脸图像两类；
步骤S1过程如下；
S11、人脸信息编码。针对数据集中的不同人脸数据，为每一张人脸图像构建出具有多种非限制因素的人脸编码，其中，非限制因素包括但不限于人脸表情因素、人脸姿态因素和拍摄光照因素等。
对人脸图像进行编码遵循的规律具体如下：
A)人脸表情因素分为八种情况，分别为开心、生气、悲伤、轻蔑、失望、害怕、惊讶以及自然，将人脸的表情编码为E u＝(E u1,E u2,...,E u8)，其中E ul代表第l种表情，l＝0,1,2,…,8，其取值为[0,1]，E u＝(0,0,...,1)表示为自然表情；
B)人脸光照因素分为八种情况，主要是正面光照、左侧光照、右侧光照以及这三种光照的组合，即正面光照、左侧光照、右侧光照、正左光 照、正右光照、左右光照、无光照以及全光照，将人脸的光照信息编码为L u＝(L u1,L u2,...,L u8)，其中L un代表第n种光照情形，n＝0,1,2,…,8,其取值为[0,1]，L u＝(0,0,...,1)表示为正面光照图像信息；
C)人脸姿态因素分为19种情况，包括以10°为间隔的左侧脸9种姿态、以10°为间隔的右侧脸9种姿态、以及正脸姿态图像，即左侧90°、左侧80°、左侧70°、左侧60°、左侧50°、左侧40°、左侧30°、左侧20°、左侧10°、正脸、右侧10°、右侧20°、右侧30°、右侧40°、右侧50°、右侧60°、右侧70°、右侧80°、右侧90°，将人脸的姿态信息编码为A u＝(A u1,A u2,...,A um,...,A u19)，其中A um代表第m种人脸姿态，m＝0,1,2,…,19，其取值为[0,1]，A u＝(0,0,...,1)表示为正面姿态信息。最终，将人脸信息编码整合为统一信息编码U＝{L u,E u,A u}，其是一个35位的一维信息。
S12、人脸数据分类，将编码后的人脸数据分类为非限制因素的人脸图像和标准正面自然清晰人脸图像，具体如下：
将统一编码信息为U 0＝(L u(0,0,...,1),E u(0,0,...,1),A u(0,0,...,1),)的人脸图像作为标准正面自然清晰人脸图像，并以此作为模型的目标图像；其余的人脸图像作为非限制因素的人脸图像，并以此作为模型的输入图像。
进一步地，所述的步骤S2中，
假设输入的图像为Y，其对应的原始统一信息编码为U y,生成的标准人脸图像为I o，标准人脸图像I o对应的统一信息编码
Figure PCTCN2019112045-appb-000001
数据库中对应的标准人脸图像为I，标准人脸图像I对应的统一信息编码为U 0。
在图像生成器子网络中，其输入的内容是图像Y与统一信息编码U 0。本发明设计了两个编码解码器网络G c和G f，通过结合注意力机制，分别生成颜色信息掩码C和注意力掩码F；接着通过以下的合成机制，生成标准的人脸：
C＝G c(Y,U 0)，F＝G f(Y,U 0)
I o＝(1-F)⊙C+F⊙Y
其中⊙表示矩阵的逐元素相乘的操作。
因此，编码解码器网络G c主要关注的是人脸的颜色信息与纹理信息，编码解码器网络G f主要关注的是人脸中需要变化的区域；
在模型判别器子网络中，其输入的内容是图像生成器子网络生成的图像I o。类似的，本发明也设计了两个深度卷积网络:图像判别子网络D I和信息编码判别子网络D U，分别用于判别生成的标准人脸图像I o与数据库中对应的标准人脸图像I的差异，以及生成的标准人脸图像I o所对应的统一信息编码
Figure PCTCN2019112045-appb-000002
与数据库中对应的标准人脸图像I所对应的统一信息编码U 0之间的差异；
在图像还原子网络中，其输入的内容为生成的标准人脸图像I o与输入图像Y对应的原始统一信息编码U y。还原子网络与图像生成器子网络一致，其网络还原结果为
Figure PCTCN2019112045-appb-000003
通过将还原结果与整体网络的输入图像Y进行比较，达到循环优化网络结果的目的。
进一步地，基于生成对抗机制与注意力机制的网络模型的处理流程如下：
首先，将输入图像Y和标准人脸图像I对应的统一信息编码U 0输入到图像生成器子网络中，用于生成标准人脸图像I o，其中图像生成器子网络融合了注意力机制；
接着，为了区分真实图像和生成图像，将生成的标准人脸图像I o和数据库中对应的标准人脸图像I(即真实图像I)送入模型判别器子网络中图像判别子网络D I进行判别，同时，将生成标准人脸图像I o对应的统一信息编码
Figure PCTCN2019112045-appb-000004
与数据库中标准人脸图像I对应的统一信息编码U 0送入模型判别器子网络中信息编码判别子网络D U进行判别，通过不断循环优化，使得图像生成器子网络和模型判别器子网络达到共同进步；
最后，为了实现循环优化网络模型的目的，本发明设计了一个图像还原子网络，将生成的标准人脸图像I o进一步根据原始输入图像Y对应的原始统一信息编码U y进行还原，并将还原结果与输入图像Y进行比较。整个网络通过不断优化相应的损失函数，实现对整体网络模型的收敛。最终实现人脸图像的非限制环境因素的去除。
进一步地，所述的步骤S3中模型训练通过优化损失函数，实现模型的收敛，其中，所述的损失函数设计过程具体如下：
1)优化判别生成的标准人脸图像I o与数据库中对应的标准人脸图像I之间的差异：设置图像损失函数如下所示
Figure PCTCN2019112045-appb-000005
其中H与W分别是输出的人脸图像的高度与宽度，D I(I o)与D I(I)分别为图像判别子网络对图像I o与I的评判结果；然后，考虑到梯度损失的有效性，在图像损失函数中加上基于梯度的惩罚项，能够提高收敛的效率和图像生成的质量，即图像损失函数设计为
Figure PCTCN2019112045-appb-000006
其中
Figure PCTCN2019112045-appb-000007
表示图像的梯度操作，λ I为惩罚项权重；
2)优化条件式统一信息编码的差异：设置条件式表达损失函数，即判别生成的标准人脸图像I o与数据库中对应的标准人脸图像I各自对应的统一信息编码
Figure PCTCN2019112045-appb-000008
与U 0之间的差异，因此，条件式表达损失函数设计如下：
Figure PCTCN2019112045-appb-000009
其中N为输出的统一信息编码长度。然后，在条件式表达损失函数中，加上输入图像Y与对应的原始统一信息编码U y,之间的映射关系，能够提高判别器的判别能力，因此，条件式表达损失函数设计为
Figure PCTCN2019112045-appb-000010
U y为输入图像Y对应的原始统一信息编码，U 0为标准人脸图像I对应的统一信息编码，D U(I o)与D U(Y)分别是信息编码判别子网络对图像I o与Y的判别结果；
3)优化图像还原子网络的结果与原始输入图像之间的差异：通过输入生成器所生成的图像I o与原始统一信息编码U y进行还原，进而与原始输入图像Y进行比较。因此还原损失函数设计为
Figure PCTCN2019112045-appb-000011
其中h与w表示图像的高度与宽度。
因此，整个网络的训练损失函数如下：
L＝L I+L U+L r
通过优化该损失函数，实现网络模型的收敛，获得生成标准人脸的生成器结构与权重。
进一步地，针对步骤S4中实际人脸图像的生成，首先使用基于人脸HOG图像的人脸定位方法，获取实际图像中的人脸图像；然后，利用模型训练的生成器以及人工设置的统一信息编码，实现对实际图像中人脸的快速标准脸生成。此外，可以预见的，通过设置不同的统一信息编码，能够对人脸的其他结构进行改变，如控制其他表情，或者人脸姿态的进一步改变，这应该都是可行的。
本发明相对于现有技术具有如下的优点及效果：
本发明将深度学习网络技术应用到标准人脸的生成任务，用来生成彩色的、正向的、以及正常光照下的标准人脸图像；用深度学习网络的方法，能够获得准确的标准正脸照，减少与单样本数据库中数据的匹配难度，为后续人脸的特征提取与单样本人脸识别打下坚实基础。
附图说明
图1是本发明实施例中模型训练与模型运用流程图；
图2是本发明实施例中数据库的数据构建流程图；
图3是本发明实施例中网络模型整体设计图；
图4是本发明实施例中图像生成网络的具体结构图；
图5是本发明实施例中图像判别网络的具体结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
本实施例公开了一种基于生成对抗机制与注意力机制的标准人脸生成方法，主要涉及如下几类技术：1)训练数据的设计：利用现有的数据集，设计统一信息编码；2)网络模型结构设计：以生成对抗网络框架和循环优化网络方法作为基本网络结构；3)标准人脸生成方法：在生成器中加入注意力机制，约束标准人脸的生成准确度。
本实施例基于TensorFlow框架和Pycharm开发环境：TensorFlow框架是基于python语言的开发架构，能够方便快捷地搭建合理的深度学***台交互能力。TensorFlow提供了深度学习架构中的众多封装函数和各类图像处理函数的接口，包括了OpenCV相关的图像处理函数。TensorFlow框架同时能够使用GPU对模型进行训练和验证，提高了计算的效率。
在Windows平台或者Linux平台下的Pycharm开发环境成开发环境(IDE)，是目前深度学习网路设计与开发的首选之一。Pycharm为客户提供了新的模板、设计工具以及测试和调试工具，同时能够为客户提供直接调用远程服务器的接口。
本实施例公开的一种基于生成对抗机制与注意力机制的标准人脸生 成方法，主要过程包括模型训练和模型运用两个阶段。
在模型训练阶段：首先，对现有人脸数据集进行处理，通过设计统一信息编码机制，生成符合模型训练的数据集；然后，利用具有高算力的云端服务器对网络模型进行训练，通过优化该损失函数，并调整网络模型参数，直至网络模型的收敛，获得生成标准人脸的生成器结构与权重。
在模型运用阶段：首先，利用HOG人脸图像处理方法，对实际画面进行提取获得实际人脸图像；接着，调用训练好网络模型，以具有非限制因素的人脸图像和设计的统一信息编码作为输入，进行标准人脸生成；最终获得彩色的、正面的人脸图像。
如图1为本实施例公开的一种基于生成对抗机制与注意力机制的标准人脸生成方法的流程图。具体步骤如下：
步骤一、由于目前的人脸数据库主要以识别任务为主，没有满足本发明所需的具有统一信息编码的人脸图像数据库，因此需要对现有的数据库进行整合，构建合适的数据库。
图2为数据库中人脸图像与统一信息编码的构建流程。
步骤二、附图3为网络模型的整体架构示意图。整个模型框架主要包含有三个子网络，分别对应生成标准人脸的图像生成器子网络、对生成结果进行判别的模型判别器子网络以及通过生成结果进行还原的图像还原子网络；其中图像生成器子网络与图像还原子网络之间进行参数共享，图像生成器子网络主要是结合注意力机制对人脸图像进行生成。附图4是图像生成器子网络的具体网络结构，附图5是模型判别器子网络的具体网络结构。
主要的参数如下：
1)图像生成器子网络与图像还原子网络的参数一致，又分别包含有两个生成器，分别是颜色信息生成器与注意力掩摸生成器，具体如下：
颜色信息生成器包含有8个卷积层和7个反卷积层，所有卷积层的卷 积核大小为5，步长为1，最后生成3通道的颜色信息图像；
注意力掩摸生成器包含有8个卷积层和7个反卷积层，所有卷积层的卷积核大小为5步长为1，最后生成1通道的注意力掩摸。
2)模型判别器子网络包含两个部分，分别是信息编码判别子网络和图像判别子网络，具体如下：信息编码判别子网络包含有6个卷积层和1个全连接层，卷积层的卷积核大小为5，步长为1，最后生成长度为N的一维统一信息编码；图像判别子网络包含有6个卷积层，卷积核大小为5，步长为1。
步骤三、模型的训练是在高性能的GPU上进行的，具体的训练参数设计如下：可以使用Adam优化器，其参数设置为0.9/0.999；学习率的设置为0.0001；训练的epoch设置为100；训练的batch设置依据数据的训练样本而定。
步骤四、模型预测，提取实际图像中的人脸，作为模型的输入，通过控制统一信息单元，最后获得较为标准的正脸图像输出。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

  1. 一种基于生成对抗机制与注意力机制的标准人脸生成方法，其特征在于，所述的生成方法包括下列步骤：
    S1、数据构建，采集人脸数据，为每一张人脸图像构建出具有多种非限制因素的人脸编码，然后对人脸数据进行分类，其中，非限制因素包括人脸表情因素、人脸姿态因素和拍摄光照因素，编码后的人脸图像构成信息单元U＝{L u,E u,A u}，包括8位的光照编码L u、8位的表情编码E u以及19位的姿态编码A u；
    S2、建立基于生成对抗机制与注意力机制的网络模型，该网络模型包括三个子网络，分别对应生成标准人脸的图像生成器子网络、对生成结果进行判别的模型判别器子网络以及通过生成结果进行还原的图像还原子网络；首先，利用图像生成器子网络和注意力机制对输入的人脸图像进行标准脸生成；接着，利用模型判别器子网络，对生成的图像进行判别，最后，构建一个图像还原子网络，对生成图像进行还原，并将还原结果与输入图像进行比较，对网络模型进行优化约束；
    S3、模型训练，以信息单元U＝{L u,E u,A u}作为输入，优化图像生成器子网络、模型判别器子网络以及图像还原子网络的输出与标签相似度，实现基于生成对抗机制与注意力机制的网络模型的收敛；
    S4、模型预测，提取实际图像中的人脸图像，作为网络模型的输入，通过控制信息单元U，最后获得标准的正脸图像输出。
  2. 根据权利要求1所述的一种基于生成对抗机制与注意力机制的标准人脸生成方法，其特征在于，
    所述的人脸表情因素分为八种情况，分别为开心、生气、悲伤、轻蔑、失望、害怕、惊讶以及自然，将人脸的表情编码为E u＝(E u1,E u2,...,E u8)，其 中E ul代表第l种表情，l＝0,1,2,…,8，其取值为[0,1]，E u＝(0,0,...,1)表示为自然表情；
    所述的人脸光照因素分为八种情况，分别为正面光照、左侧光照、右侧光照、正左光照、正右光照、左右光照、无光照以及全光照，将人脸的光照信息编码为L u＝(L u1,L u2,...,L u8)，其中L un代表第n种光照情形，其取值为[0,1]，L u＝(0,0,...,1)表示为全光照图像信息；
    所述的人脸姿态因素分为19种情况，分别为左侧90°、左侧80°、左侧70°、左侧60°、左侧50°、左侧40°、左侧30°、左侧20°、左侧10°、正脸、右侧10°、右侧20°、右侧30°、右侧40°、右侧50°、右侧60°、右侧70°、右侧80°、右侧90°，将人脸的姿态信息编码为A u＝(A u1,A u2,...,A um,...,A u19)，其中A um代表第m种人脸姿态，m＝0,1,2,…,19，其取值为[0,1]，A u＝(0,0,...,1)表示为正面姿态信息。
  3. 根据权利要求2所述的一种基于生成对抗机制与注意力机制的标准人脸生成方法，其特征在于，所述的步骤S1中对人脸数据进行分类过程如下：将编码后的人脸数据分类为非限制因素的人脸图像和标准正面自然清晰人脸图像，其中，
    将统一编码信息为U 0＝(L u(0,0,...,1),E u(0,0,...,1),A u(0,0,...,1),)的人脸图像作为标准正面自然清晰人脸图像，并以此作为模型的目标图像，其余的人脸图像作为非限制因素的人脸图像，并以此作为模型的输入图像。
  4. 根据权利要求1所述的一种基于生成对抗机制与注意力机制的标准人脸生成方法，其特征在于，
    所述的图像生成器子网络，其输入是图像Y与标准人脸统一信息编码U 0，图像生成器子网络包括两个编码解码器网络G c和G f，其中，编码解码器网络G c关注人脸的颜色信息与纹理信息，编码解码器网络G f关注人脸中需要变化的区域，通过结合注意力机制，分别生成颜色信息掩码C和 注意力掩码F，接着通过以下的合成机制，生成标准的人脸：
    C＝G c(Y,U 0)，F＝G f(Y,U 0)
    I o＝(1-F)⊙C+F⊙Y
    其中⊙表示矩阵的逐元素相乘的操作；
    所述的模型判别器子网络中，其输入是图像生成器子网络生成的图像I o，模型判别器子网络包括两个深度卷积网络图像判别子网络D I和信息编码判别子网络D U，分别用于判别生成的标准人脸图像I o与数据库中对应的标准人脸图像I的差异，以及生成的标准人脸图像I o所对应的统一信息编码
    Figure PCTCN2019112045-appb-100001
    与数据库中对应的标准人脸图像I所对应的统一信息编码U 0之间的差异；
    所述的图像还原子网络，其输入是生成的标准人脸图像I o与输入图像Y对应的原始统一信息编码U y，其输出为网络还原结果为
    Figure PCTCN2019112045-appb-100002
    通过将还原结果
    Figure PCTCN2019112045-appb-100003
    与整体网络的输入图像Y进行比较，实现循环优化网络结果。
  5. 根据权利要求4所述的一种基于生成对抗机制与注意力机制的标准人脸生成方法，其特征在于，所述的步骤S2过程如下：
    首先，将输入图像Y和标准人脸图像I对应的统一信息编码U 0输入到融合注意力机制的图像生成器子网络中，用于生成标准人脸图像I o；
    接着，将生成的标准人脸图像I o和数据库中对应的标准人脸图像I送入模型判别器子网络中深度卷积网络D I进行判别，同时，将生成标准人脸图像I o对应的统一信息编码
    Figure PCTCN2019112045-appb-100004
    与数据库中标准人脸图像I对应的统一信息编码U 0送入模型判别器子网络中深度卷积网络D U进行判别，使得图像生成器子网络和模型判别器子网络同时实现优化；
    最后，将生成的标准人脸图像I o输入到图像还原子网络，根据原始输入图像Y对应的原始统一信息编码U y进行还原，并将还原结果
    Figure PCTCN2019112045-appb-100005
    与输入图 像Y进行比较，通过不断优化相应的损失函数，实现基于生成对抗机制与注意力机制的网络模型的收敛。
  6. 根据权利要求1所述的一种基于生成对抗机制与注意力机制的标准人脸生成方法，其特征在于，所述的步骤S3中模型训练通过优化损失函数，实现模型的收敛，其中，所述的损失函数设计过程如下：
    优化判别生成的标准人脸图像I o与数据库中对应的标准人脸图像I之间的差异：设置图像损失函数如下所示
    Figure PCTCN2019112045-appb-100006
    其中H与W分别是输出的人脸图像的高度与宽度，D I(I o)与D I(I)分别为图像判别子网络对图像I o与I的评判结果；然后，考虑到梯度损失的有效性，在图像损失函数中加上基于梯度的惩罚项，即图像损失函数设计为
    Figure PCTCN2019112045-appb-100007
    其中
    Figure PCTCN2019112045-appb-100008
    表示图像的梯度操作，λ I为惩罚项权重；
    优化条件式统一信息编码的差异：设置条件式表达损失函数，即判别生成的标准人脸图像I o与数据库中对应的标准人脸图像I各自对应的统一信息编码
    Figure PCTCN2019112045-appb-100009
    与U 0之间的差异，条件式表达损失函数设计如下：
    Figure PCTCN2019112045-appb-100010
    其中N为输出的统一信息编码长度，然后，在条件式表达损失函数中，加上输入图像Y与对应的原始统一信息编码U y,之间的映射关系，因此，条件式表达损失函数设计如下：
    Figure PCTCN2019112045-appb-100011
    其中U y为输入图像Y对应的原始统一信息编码，U 0为标准人脸图像I对应的统一信息编码，D U(I o)与D U(Y)分别是信息编码判别子网络对图像I o与Y的判别结果；
    优化图像还原子网络的结果与原始输入图像之间的差异：通过输入生成器所生成的图像I o与原始统一信息编码U y进行还原，进而与原始输入图 像Y进行比较，因此，还原损失函数设计为
    Figure PCTCN2019112045-appb-100012
    其中h与w表示图像的的高度与宽度，G代表图像生成器子网络；
    整个网络模型的损失函数如下：
    L＝L I+L U+L r。
  7. 根据权利要求1所述的一种基于生成对抗机制与注意力机制的标准人脸生成方法，其特征在于，所述的步骤S4过程如下：
    首先，使用基于人脸HOG图像的人脸定位方法，获取实际图像中的人脸图像；
    然后，利用网络模型训练的生成器以及人工设置的统一信息编码，实现对实际图像中人脸的快速标准脸生成。
  8. 根据权利要求1所述的一种基于生成对抗机制与注意力机制的标准人脸生成方法，其特征在于，所述的步骤S1中采集RaFD人脸数据集和IAIR人脸数据集中人脸数据。
PCT/CN2019/112045 2019-02-19 2019-10-18 一种基于生成对抗机制与注意力机制的标准人脸生成方法 WO2020168731A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
AU2019430859A AU2019430859B2 (en) 2019-02-19 2019-10-18 Generative adversarial mechanism and attention mechanism-based standard face generation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910121233.X 2019-02-19
CN201910121233.XA CN109934116B (zh) 2019-02-19 2019-02-19 一种基于生成对抗机制与注意力机制的标准人脸生成方法

Publications (1)

Publication Number Publication Date
WO2020168731A1 true WO2020168731A1 (zh) 2020-08-27

Family

ID=66985683

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/112045 WO2020168731A1 (zh) 2019-02-19 2019-10-18 一种基于生成对抗机制与注意力机制的标准人脸生成方法

Country Status (3)

Country Link
CN (1) CN109934116B (zh)
AU (1) AU2019430859B2 (zh)
WO (1) WO2020168731A1 (zh)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102191A (zh) * 2020-09-15 2020-12-18 北京金山云网络技术有限公司 一种人脸图像处理方法及装置
CN112199637A (zh) * 2020-09-21 2021-01-08 浙江大学 基于回归注意力生成对抗网络数据增强的回归建模方法
CN112258402A (zh) * 2020-09-30 2021-01-22 北京理工大学 一种快速去雨的密集残差生成对抗网络
CN112686817A (zh) * 2020-12-25 2021-04-20 天津中科智能识别产业技术研究院有限公司 一种基于不确定性估计的图像补全方法
CN112766160A (zh) * 2021-01-20 2021-05-07 西安电子科技大学 基于多级属性编码器和注意力机制的人脸替换方法
CN112802160A (zh) * 2021-01-12 2021-05-14 西北大学 一种基于u-gat-it改进的秦腔角色卡通化风格迁移的方法
CN112950661A (zh) * 2021-03-23 2021-06-11 大连民族大学 一种基于注意力生成对抗网络人脸卡通画生成方法
CN113239867A (zh) * 2021-05-31 2021-08-10 西安电子科技大学 一种基于掩码区域自适应增强的光照变化人脸识别方法
CN113239870A (zh) * 2021-05-31 2021-08-10 西安电子科技大学 一种基于身份约束的生成对抗网络人脸校正方法及***
CN113239914A (zh) * 2021-07-13 2021-08-10 北京邮电大学 课堂学生表情识别及课堂状态评估方法、装置
CN113255530A (zh) * 2021-05-31 2021-08-13 合肥工业大学 基于注意力的多通道数据融合网络架构及数据处理方法
CN113255788A (zh) * 2021-05-31 2021-08-13 西安电子科技大学 基于两阶段掩码指导的生成对抗网络人脸校正方法及***
CN113255738A (zh) * 2021-05-06 2021-08-13 武汉象点科技有限公司 一种基于自注意力生成对抗网络的异常图像检测方法
CN113658040A (zh) * 2021-07-14 2021-11-16 西安理工大学 一种基于先验信息和注意力融合机制的人脸超分辨方法
CN113688857A (zh) * 2021-04-26 2021-11-23 贵州电网有限责任公司 一种基于生成对抗网络的电力巡检图像中异物检测方法
CN113705400A (zh) * 2021-08-18 2021-11-26 中山大学 一种基于多模态人脸训练的单模态人脸活体检测方法
CN113743284A (zh) * 2021-08-30 2021-12-03 杭州海康威视数字技术股份有限公司 图像识别方法、装置、设备、相机及门禁设备
CN113837953A (zh) * 2021-06-11 2021-12-24 西安工业大学 一种基于生成对抗网络的图像修复方法
CN113989444A (zh) * 2021-12-08 2022-01-28 北京航空航天大学 一种基于侧脸照片进行人脸三维重建的方法
CN114022930A (zh) * 2021-10-28 2022-02-08 天津大学 一种人像证件照自动生成方法
CN114120391A (zh) * 2021-10-19 2022-03-01 哈尔滨理工大学 一种多姿态人脸识别***及其方法
CN114359034A (zh) * 2021-12-24 2022-04-15 北京航空航天大学 一种基于手绘的人脸图片生成方法及***
CN114399431A (zh) * 2021-12-06 2022-04-26 北京理工大学 一种基于注意力机制的暗光图像增强方法
CN114626042A (zh) * 2022-03-18 2022-06-14 杭州师范大学 一种人脸验证攻击方法和装置
CN114663539A (zh) * 2022-03-09 2022-06-24 东南大学 一种基于音频驱动的口罩下2d人脸还原技术
CN114943585A (zh) * 2022-05-27 2022-08-26 天翼爱音乐文化科技有限公司 一种基于生成对抗网络的业务推荐方法及***
CN115546848A (zh) * 2022-10-26 2022-12-30 南京航空航天大学 一种对抗生成网络训练方法、跨设备掌纹识别方法及***
CN116486464A (zh) * 2023-06-20 2023-07-25 齐鲁工业大学(山东省科学院) 一种基于注意力机制的卷积对抗网络的人脸伪造检测方法

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934116B (zh) * 2019-02-19 2020-11-24 华南理工大学 一种基于生成对抗机制与注意力机制的标准人脸生成方法
CN110633655A (zh) * 2019-08-29 2019-12-31 河南中原大数据研究院有限公司 一种attention-attack人脸识别攻击算法
CN110619315B (zh) * 2019-09-24 2020-10-30 重庆紫光华山智安科技有限公司 人脸识别模型的训练方法、装置及电子设备
CN110796111B (zh) * 2019-11-05 2020-11-10 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及存储介质
CN111144314B (zh) * 2019-12-27 2020-09-18 北京中科研究院 一种篡改人脸视频检测方法
CN111242078A (zh) * 2020-01-20 2020-06-05 重庆邮电大学 一种基于自注意力机制的人脸正脸化生成方法
CN111325319B (zh) * 2020-02-02 2023-11-28 腾讯云计算（北京）有限责任公司 一种神经网络模型的检测方法、装置、设备及存储介质
CN111325809B (zh) * 2020-02-07 2021-03-12 广东工业大学 一种基于双对抗网络的外观图像生成方法
CN111275613A (zh) * 2020-02-27 2020-06-12 辽宁工程技术大学 一种引入注意力机制生成对抗网络人脸属性编辑方法
CN111400531B (zh) * 2020-03-13 2024-04-05 广州文远知行科技有限公司 目标标注方法、装置、设备与计算机可读存储介质
CN112036281B (zh) * 2020-07-29 2023-06-09 重庆工商大学 基于改进胶囊网络的人脸表情识别方法
CN112200055B (zh) * 2020-09-30 2024-04-30 深圳市信义科技有限公司 联合对抗生成网络的行人属性识别方法、***及装置
CN112508800A (zh) * 2020-10-20 2021-03-16 杭州电子科技大学 一种基于注意力机制的单张灰度图像的金属零件表面高光去除方法
CN112580011B (zh) * 2020-12-25 2022-05-24 华南理工大学 一种面向生物特征隐私保护的人像加解密***
CN112800937B (zh) * 2021-01-26 2023-09-05 华南理工大学 一种智能人脸识别方法
CN112818850B (zh) * 2021-02-01 2023-02-10 华南理工大学 基于渐进式神经网络和注意力机制的跨姿态人脸识别方法和***
CN113361489B (zh) * 2021-07-09 2022-09-16 重庆理工大学 基于解耦表示的人脸正面化模型构建方法和训练方法
CN114331904B (zh) * 2021-12-31 2023-08-08 电子科技大学 一种人脸遮挡识别方法
CN117808854B (zh) * 2024-02-29 2024-05-14 腾讯科技（深圳）有限公司 图像生成方法、模型训练方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101777116A (zh) * 2009-12-23 2010-07-14 中国科学院自动化研究所 一种基于动作跟踪的脸部表情分析方法
CN103186774A (zh) * 2013-03-21 2013-07-03 北京工业大学 一种基于半监督学习的多姿态人脸表情识别方法
WO2016099556A1 (en) * 2014-12-19 2016-06-23 Hewlett-Packard Development Company, Lp 3d visualization
CN108510061A (zh) * 2018-03-19 2018-09-07 华南理工大学 基于条件生成对抗网络的多监控视频人脸合成正脸的方法
CN109934116A (zh) * 2019-02-19 2019-06-25 华南理工大学 一种基于生成对抗机制与注意力机制的标准人脸生成方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5371083B2 (ja) * 2008-09-16 2013-12-18 Ｋｄｄｉ株式会社 顔識別特徴量登録装置、顔識別特徴量登録方法、顔識別特徴量登録プログラム及び記録媒体
JP5310506B2 (ja) * 2009-03-26 2013-10-09 ヤマハ株式会社 オーディオミキサ
CN102496174A (zh) * 2011-12-08 2012-06-13 中国科学院苏州纳米技术与纳米仿生研究所 一种用于安防监控的人脸素描索引生成方法
CN102938065B (zh) * 2012-11-28 2017-10-20 北京旷视科技有限公司 基于大规模图像数据的人脸特征提取方法及人脸识别方法
CN104361328B (zh) * 2014-11-21 2018-11-02 重庆中科云丛科技有限公司 一种基于自适应多列深度模型的人脸图像正规化方法
GB201613138D0 (en) * 2016-07-29 2016-09-14 Unifai Holdings Ltd Computer vision systems
US10475174B2 (en) * 2017-04-06 2019-11-12 General Electric Company Visual anomaly detection system
CN107292813B (zh) * 2017-05-17 2019-10-22 浙江大学 一种基于生成对抗网络的多姿态人脸生成方法
CN107506770A (zh) * 2017-08-17 2017-12-22 湖州师范学院 糖尿病视网膜病变眼底照相标准图像生成方法
CN107909061B (zh) * 2017-12-07 2021-03-30 电子科技大学 一种基于不完备特征的头部姿态跟踪装置及方法
CN108564119B (zh) * 2018-04-04 2020-06-05 华中科技大学 一种任意姿态行人图片生成方法
CN108520503B (zh) * 2018-04-13 2020-12-22 湘潭大学 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101777116A (zh) * 2009-12-23 2010-07-14 中国科学院自动化研究所 一种基于动作跟踪的脸部表情分析方法
CN103186774A (zh) * 2013-03-21 2013-07-03 北京工业大学 一种基于半监督学习的多姿态人脸表情识别方法
WO2016099556A1 (en) * 2014-12-19 2016-06-23 Hewlett-Packard Development Company, Lp 3d visualization
CN108510061A (zh) * 2018-03-19 2018-09-07 华南理工大学 基于条件生成对抗网络的多监控视频人脸合成正脸的方法
CN109934116A (zh) * 2019-02-19 2019-06-25 华南理工大学 一种基于生成对抗机制与注意力机制的标准人脸生成方法

Cited By (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102191A (zh) * 2020-09-15 2020-12-18 北京金山云网络技术有限公司 一种人脸图像处理方法及装置
CN112199637A (zh) * 2020-09-21 2021-01-08 浙江大学 基于回归注意力生成对抗网络数据增强的回归建模方法
CN112199637B (zh) * 2020-09-21 2024-04-12 浙江大学 基于回归注意力生成对抗网络数据增强的回归建模方法
CN112258402A (zh) * 2020-09-30 2021-01-22 北京理工大学 一种快速去雨的密集残差生成对抗网络
CN112686817A (zh) * 2020-12-25 2021-04-20 天津中科智能识别产业技术研究院有限公司 一种基于不确定性估计的图像补全方法
CN112686817B (zh) * 2020-12-25 2023-04-07 天津中科智能识别产业技术研究院有限公司 一种基于不确定性估计的图像补全方法
CN112802160A (zh) * 2021-01-12 2021-05-14 西北大学 一种基于u-gat-it改进的秦腔角色卡通化风格迁移的方法
CN112802160B (zh) * 2021-01-12 2023-10-17 西北大学 一种基于u-gat-it改进的秦腔角色卡通化风格迁移的方法
CN112766160A (zh) * 2021-01-20 2021-05-07 西安电子科技大学 基于多级属性编码器和注意力机制的人脸替换方法
CN112766160B (zh) * 2021-01-20 2023-07-28 西安电子科技大学 基于多级属性编码器和注意力机制的人脸替换方法
CN112950661B (zh) * 2021-03-23 2023-07-25 大连民族大学 一种基于注意力生成对抗网络人脸卡通画生成方法
CN112950661A (zh) * 2021-03-23 2021-06-11 大连民族大学 一种基于注意力生成对抗网络人脸卡通画生成方法
CN113688857A (zh) * 2021-04-26 2021-11-23 贵州电网有限责任公司 一种基于生成对抗网络的电力巡检图像中异物检测方法
CN113255738A (zh) * 2021-05-06 2021-08-13 武汉象点科技有限公司 一种基于自注意力生成对抗网络的异常图像检测方法
CN113255788A (zh) * 2021-05-31 2021-08-13 西安电子科技大学 基于两阶段掩码指导的生成对抗网络人脸校正方法及***
CN113239867A (zh) * 2021-05-31 2021-08-10 西安电子科技大学 一种基于掩码区域自适应增强的光照变化人脸识别方法
CN113239867B (zh) * 2021-05-31 2023-08-11 西安电子科技大学 一种基于掩码区域自适应增强的光照变化人脸识别方法
CN113239870A (zh) * 2021-05-31 2021-08-10 西安电子科技大学 一种基于身份约束的生成对抗网络人脸校正方法及***
CN113239870B (zh) * 2021-05-31 2023-08-11 西安电子科技大学 一种基于身份约束的生成对抗网络人脸校正方法及***
CN113255530B (zh) * 2021-05-31 2024-03-29 合肥工业大学 基于注意力的多通道数据融合网络架构及数据处理方法
CN113255530A (zh) * 2021-05-31 2021-08-13 合肥工业大学 基于注意力的多通道数据融合网络架构及数据处理方法
CN113837953A (zh) * 2021-06-11 2021-12-24 西安工业大学 一种基于生成对抗网络的图像修复方法
CN113837953B (zh) * 2021-06-11 2024-04-12 西安工业大学 一种基于生成对抗网络的图像修复方法
CN113239914A (zh) * 2021-07-13 2021-08-10 北京邮电大学 课堂学生表情识别及课堂状态评估方法、装置
CN113658040A (zh) * 2021-07-14 2021-11-16 西安理工大学 一种基于先验信息和注意力融合机制的人脸超分辨方法
CN113705400B (zh) * 2021-08-18 2023-08-15 中山大学 一种基于多模态人脸训练的单模态人脸活体检测方法
CN113705400A (zh) * 2021-08-18 2021-11-26 中山大学 一种基于多模态人脸训练的单模态人脸活体检测方法
CN113743284A (zh) * 2021-08-30 2021-12-03 杭州海康威视数字技术股份有限公司 图像识别方法、装置、设备、相机及门禁设备
CN114120391A (zh) * 2021-10-19 2022-03-01 哈尔滨理工大学 一种多姿态人脸识别***及其方法
CN114022930A (zh) * 2021-10-28 2022-02-08 天津大学 一种人像证件照自动生成方法
CN114022930B (zh) * 2021-10-28 2024-04-16 天津大学 一种人像证件照自动生成方法
CN114399431A (zh) * 2021-12-06 2022-04-26 北京理工大学 一种基于注意力机制的暗光图像增强方法
CN114399431B (zh) * 2021-12-06 2024-06-04 北京理工大学 一种基于注意力机制的暗光图像增强方法
CN113989444A (zh) * 2021-12-08 2022-01-28 北京航空航天大学 一种基于侧脸照片进行人脸三维重建的方法
CN114359034B (zh) * 2021-12-24 2023-08-08 北京航空航天大学 一种基于手绘的人脸图片生成方法及***
CN114359034A (zh) * 2021-12-24 2022-04-15 北京航空航天大学 一种基于手绘的人脸图片生成方法及***
CN114663539A (zh) * 2022-03-09 2022-06-24 东南大学 一种基于音频驱动的口罩下2d人脸还原技术
CN114663539B (zh) * 2022-03-09 2023-03-14 东南大学 一种基于音频驱动的口罩下2d人脸还原技术
CN114626042A (zh) * 2022-03-18 2022-06-14 杭州师范大学 一种人脸验证攻击方法和装置
CN114943585A (zh) * 2022-05-27 2022-08-26 天翼爱音乐文化科技有限公司 一种基于生成对抗网络的业务推荐方法及***
CN114943585B (zh) * 2022-05-27 2023-05-05 天翼爱音乐文化科技有限公司 一种基于生成对抗网络的业务推荐方法及***
CN115546848B (zh) * 2022-10-26 2024-02-02 南京航空航天大学 一种对抗生成网络训练方法、跨设备掌纹识别方法及***
CN115546848A (zh) * 2022-10-26 2022-12-30 南京航空航天大学 一种对抗生成网络训练方法、跨设备掌纹识别方法及***
CN116486464A (zh) * 2023-06-20 2023-07-25 齐鲁工业大学(山东省科学院) 一种基于注意力机制的卷积对抗网络的人脸伪造检测方法
CN116486464B (zh) * 2023-06-20 2023-09-01 齐鲁工业大学(山东省科学院) 一种基于注意力机制的卷积对抗网络的人脸伪造检测方法

Also Published As

Publication number Publication date
AU2019430859A1 (en) 2021-04-29
AU2019430859B2 (en) 2022-12-08
CN109934116B (zh) 2020-11-24
CN109934116A (zh) 2019-06-25

Similar Documents

Publication Publication Date Title
WO2020168731A1 (zh) 一种基于生成对抗机制与注意力机制的标准人脸生成方法
Khan et al. Multi-gcn: Graph convolutional networks for multi-view networks, with applications to global poverty
Zanardelli et al. Image forgery detection: a survey of recent deep-learning approaches
CN114418030B (zh) 图像分类方法、图像分类模型的训练方法及装置
CN110472519A (zh) 一种基于多模型的人脸活体检测方法
Chen et al. Self-supervised vision transformer-based few-shot learning for facial expression recognition
KR20220044828A (ko) 얼굴 속성 인식 방법, 장치, 전자 기기 및 저장 매체
JP2014164656A (ja) 画像処理方法およびプログラム
Shukla et al. Masked face recognition using mobilenet v2 with transfer learning.
Gupta et al. Advanced security system in video surveillance for COVID-19
Suratkar et al. Employing transfer-learning based CNN architectures to enhance the generalizability of deepfake detection
CN113657272B (zh) 一种基于缺失数据补全的微视频分类方法及***
Zheng et al. La-net: Layout-aware dense network for monocular depth estimation
Lin et al. IR-capsule: two-stream network for face forgery detection
Zheng et al. Template‐Aware Transformer for Person Reidentification
CN114882288B (zh) 基于分层图增强堆叠自编码器的多视图图像分类方法
Sebyakin et al. Tracking emotional state of a person with artificial intelligence methods and its application to customer services
Gao et al. 3d face reconstruction from volumes of videos using a mapreduce framework
Rui et al. Data Reconstruction based on supervised deep auto-encoder
Li et al. Face recognition algorithm based on multiscale feature fusion network
Liu et al. SGCNN for 3D point cloud classification
Muhamad et al. A comparative study using improved LSTM/GRU for human action recognition
Arman et al. A data mining approach to finding face mask from Bangladeshi news channel
Shi et al. Alleviating Spatial Misalignment and Motion Interference for UAV-based Video Recognition
Santha Deepfakes generation using LSTM based generative adversarial networks

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19915870

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019430859

Country of ref document: AU

Date of ref document: 20191018

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 12.10.2021)

122 Ep: pct application non-entry in european phase

Ref document number: 19915870

Country of ref document: EP

Kind code of ref document: A1