CN114862716B - 人脸图像的图像增强方法、装置、设备及存储介质 - Google Patents

人脸图像的图像增强方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114862716B
CN114862716B CN202210512796.3A CN202210512796A CN114862716B CN 114862716 B CN114862716 B CN 114862716B CN 202210512796 A CN202210512796 A CN 202210512796A CN 114862716 B CN114862716 B CN 114862716B
Authority
CN
China
Prior art keywords
image
face
target
network
definition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210512796.3A
Other languages
English (en)
Other versions
CN114862716A (zh
Inventor
叶明�
李佼
盛建达
戴磊
刘玉宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202210512796.3A priority Critical patent/CN114862716B/zh
Publication of CN114862716A publication Critical patent/CN114862716A/zh
Application granted granted Critical
Publication of CN114862716B publication Critical patent/CN114862716B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及人工智能领域，公开了一种人脸图像的图像增强方法、装置、设备及存储介质。所述方法包括：接收待处理的目标人脸高清图像，并对其进行关键点检测，得到多个面部关键点；基于面部关键点，渲染生成目标虚拟人物的低模图像；基于特征编码器对目标人脸高清图像进行特征提取，得到面部细节特征图；将目标虚拟人物的低模图像、所述面部细节特征图以及所述目标人脸高清图像输入至预置的面部图像增强模型中进行处理，得到所述目标虚拟人物的高模图像。本发明通过人脸关键点捕捉，从而关键点生成人脸的低细节图像，进而结合所提取特征细节进行对抗训练生成人脸的高细节图像，相比传统基于像素的人脸图像处理，效率更高。

Description

人脸图像的图像增强方法、装置、设备及存储介质
技术领域
本发明涉及人工智能领域，尤其涉及一种人脸图像的图像增强方法、装置、设备及存储介质。
背景技术
近年来，随着人工智能技术的普及与发展，利用计算机技术对图像进行美化处理被应用到越来越多的场景当中，例如人脸图像增强等应用。其中，人脸图像增强由于能为用户带来较好的使用体验从而逐渐成为图像美化领域中的重要应用，通过人脸图像增强，能够让人脸图像更加生动形象。
现有人脸图像的图像增强方法，通常基于像素级别对调整各脸部区域，例如基于肤色变换、图像平滑、滤波器处理等方式，且需要人为判断进而调整，其效率低下。
发明内容
本发明的主要目的在于解决现有人脸图像的图像增强方法效率低下的问题。
本发明第一方面提供了一种人脸图像的图像增强方法，包括：
接收待处理的目标人脸高清图像，并对所述目标人脸高清图像进行关键点检测，得到多个面部关键点；
基于所述多个面部关键点，对目标虚拟人物进行图像渲染，得到所述目标虚拟人物的低模图像；
基于预置的特征编码器对所述目标人脸高清图像进行特征提取，得到所述目标人脸高清图像的面部细节特征图；
将所述目标虚拟人物的低模图像、所述目标人脸高清图像的面部细节特征图以及所述目标人脸高清图像输入至预置的面部图像增强模型中进行处理，得到所述目标虚拟人物的高模图像。
可选的，在本发明第一方面的第一种实现方式中，所述接收待处理的目标人脸高清图像，并对所述目标人脸高清图像进行关键点检测，得到多个面部关键点包括：
接收待处理的目标人脸高清图像，对所述目标人脸高清图像进行预处理；
将预处理后的目标人脸高清图像输入至预置的人脸关键点检测模型中以进行关键点检测，得到多个面部关键点。
可选的，在本发明第一方面的第二种实现方式中，所述将预处理后的目标人脸高清图像输入至预置的人脸关键点检测模型中以进行关键点检测，得到多个面部关键点之前，还包括：
获取预置的人脸样本图像以及所述人脸样本图像对应的人脸关键点位置数据，其中，所述人脸关键点位置数据为所述人脸样本图像对应的样本标签；
对所述人脸关键点位置数据进行先验计算，得到所述人脸样本图像的结构先验特征；
调用预置的初始网络模型提取所述人脸样本图像的自注意力特征，并基于所述自注意力特征进行图像识别，得到所述初始网络模型输出的人脸关键点检测结果；
基于预置的第一损失函数，计算所述自注意力特征与所述结构先验特征之间的第一损失结果，以及基于预置的第二损失函数，计算所述人脸关键点检测结果与所述人脸关键点位置数据之间的第二损失结果；
根据所述第一损失结果和所述第二损失结果，调整所述初始网络模型的网络参数，得到人脸关键点检测模型。
可选的，在本发明第一方面的第三种实现方式中，所述对所述人脸关键点位置数据进行先验计算，得到所述人脸样本图像的结构先验特征包括：
以所述人脸关键点位置数据中的每个关键点为中心，基于高斯分布，将每个关键点的邻域作为每个所述关键点的掩模；
基于每个所述关键点的掩模，确定所述人脸样本图像的结构先验特征。
可选的，在本发明第一方面的第四种实现方式中，所述将所述目标虚拟人物的低模图像、所述目标人脸高清图像的面部细节特征图以及所述目标人脸高清图像输入至预置的面部图像增强模型中进行处理，得到所述目标虚拟人物的高模图像之前，还包括：
获取预置人脸图像样本集中的目标训练图像；
对所述目标训练图像进行图像模糊化，得到所述目标训练图像的模糊化图像；
基于所述特征编码器对所述目标训练图像进行特征提取，得到所述目标训练图像的面部细节特征图；
将所述目标训练图像的模糊化图像、所述目标训练图像的面部细节特征图以及所述目标训练图像输入至预置的生成对抗网络执行对抗训练，得到面部图像增强模型。
可选的，在本发明第一方面的第五种实现方式中，所述生成对抗网络包括生成网络和判别网络，所述将所述目标训练图像的模糊化图像、所述目标训练图像的面部细节特征图以及所述目标训练图像输入至预置的生成对抗网络执行对抗训练，得到面部图像增强模型包括：
将所述目标训练图像的模糊化图像和所述目标训练图像的面部细节特征图作为所述生成网络的先验参数，并调用所述生成网络生成所述目标训练图像对应的目标预测图像；
将所述目标预测图像输入至所述判别网络中，并调用所述判别网络计算所述目标预测图像为所述目标训练图像的概率值；
基于预置的第三损失函数，计算所述概率值对应的损失结果；
根据所述概率值对应的损失结果，调整所述生成网络的网络参数，直至所述生成网络收敛，保存当前所述生成对抗网络的网络参数，得到所述面部图像增强模型。
可选的，在本发明第一方面的第六种实现方式中，所述将所述目标虚拟人物的低模图像、所述目标人脸高清图像的面部细节特征图以及所述目标人脸高清图像输入至预置的面部图像增强模型中进行处理，得到所述目标虚拟人物的高模图像之后，还包括：
基于所述多个面部关键点，对目标虚拟人物进行多次图像渲染，得到所述目标虚拟人物的低模动画图像序列；
分别将所述低模动画图像序列、所述目标人脸高清图像的面部细节特征图以及所述目标人脸高清图像输入至预置的面部图像增强模型中进行处理，得到所述目标虚拟人物的高模动画图像序列；
基于所述高模动画图像序列中图像排列顺序，对所述高模动画图像序列中的图像进行视频编码，得到所述目标虚拟人物的动画视频。
本发明第二方面提供了一种人脸图像的图像增强装置，包括：
关键点检测模块，用于接收待处理的目标人脸高清图像，并对所述目标人脸高清图像进行关键点检测，得到多个面部关键点；
图像渲染模块，用于基于所述多个面部关键点，对目标虚拟人物进行图像渲染，得到所述目标虚拟人物的低模图像；
特征提取模块，用于基于预置的特征编码器对所述目标人脸高清图像进行特征提取，得到所述目标人脸高清图像的面部细节特征图；
图像增强模块，用于将所述目标虚拟人物的低模图像、所述目标人脸高清图像的面部细节特征图以及所述目标人脸高清图像输入至预置的面部图像增强模型中进行处理，得到所述目标虚拟人物的高模图像。
可选的，在本发明第二方面的第一种实现方式中，所述关键点检测模块具体包括：
图像预处理单元，用于接收待处理的目标人脸高清图像，对所述目标人脸高清图像进行预处理；
模型检测单元，用于将预处理后的目标人脸高清图像输入至预置的人脸关键点检测模型中以进行关键点检测，得到多个面部关键点。
可选的，在本发明第二方面的第二种实现方式中，所述关键点检测模块具体包括：
样本获取单元，用于获取预置的人脸样本图像以及所述人脸样本图像对应的人脸关键点位置数据，其中，所述人脸关键点位置数据为所述人脸样本图像对应的样本标签；
先验计算单元，用于对所述人脸关键点位置数据进行先验计算，得到所述人脸样本图像的结构先验特征；
图像识别单元，用于调用预置的初始网络模型提取所述人脸样本图像的自注意力特征，并基于所述自注意力特征进行图像识别，得到所述初始网络模型输出的人脸关键点检测结果；
损失计算单元，用于基于预置的第一损失函数，计算所述自注意力特征与所述结构先验特征之间的第一损失结果，以及基于预置的第二损失函数，计算所述人脸关键点检测结果与所述人脸关键点位置数据之间的第二损失结果；
参数调整单元，用于根据所述第一损失结果和所述第二损失结果，调整所述初始网络模型的网络参数，得到人脸关键点检测模型；
图像预处理单元，用于接收待处理的目标人脸高清图像，对所述目标人脸高清图像进行预处理；
模型检测单元，用于将预处理后的目标人脸高清图像输入至预置的人脸关键点检测模型中以进行关键点检测，得到多个面部关键点。
可选的，在本发明第二方面的第三种实现方式中，所述先验计算单元具体用于：
以所述人脸关键点位置数据中的每个关键点为中心，基于高斯分布，将每个关键点的邻域作为每个所述关键点的掩模；
基于每个所述关键点的掩模，确定所述人脸样本图像的结构先验特征。
可选的，在本发明第二方面的第四种实现方式中，所述装置还包括用于对预置的生成对抗网络进行训练以构建面部图像增强模型的模型构建模块，所述模型构建模块具体包括：
图像获取单元，用于获取预置人脸图像样本集中的目标训练图像；
模糊化单元，用于对所述目标训练图像进行图像模糊化，得到所述目标训练图像的模糊化图像；
特征提取单元，用于基于所述特征编码器对所述目标训练图像进行特征提取，得到所述目标训练图像的面部细节特征图；
对抗训练单元，用于将所述目标训练图像的模糊化图像、所述目标训练图像的面部细节特征图以及所述目标训练图像输入至预置的生成对抗网络执行对抗训练，得到面部图像增强模型。
可选的，在本发明第二方面的第五种实现方式中，所述生成对抗网络包括生成网络和判别网络，所述对抗训练单元具体用于：
将所述目标训练图像的模糊化图像和所述目标训练图像的面部细节特征图作为所述生成网络的先验参数，并调用所述生成网络生成所述目标训练图像对应的目标预测图像；
将所述目标预测图像输入至所述判别网络中，并调用所述判别网络计算所述目标预测图像为所述目标训练图像的概率值；
基于预置的第三损失函数，计算所述概率值对应的损失结果；
根据所述概率值对应的损失结果，调整所述生成网络的网络参数，直至所述生成网络收敛，保存当前所述生成对抗网络的网络参数，得到所述面部图像增强模型。
可选的，在本发明第二方面的第六种实现方式中，所述装置还包括用于合成目标虚拟人物的动画视频的视频合成模块，所述视频合成模块具体包括：
图像序列渲染单元，用于基于所述多个面部关键点，对目标虚拟人物进行多次图像渲染，得到所述目标虚拟人物的低模动画图像序列；
模型处理单元，用于分别将所述低模动画图像序列、所述目标人脸高清图像的面部细节特征图以及所述目标人脸高清图像输入至预置的面部图像增强模型中进行处理，得到所述目标虚拟人物的高模动画图像序列；
视频编码单元，用于基于所述高模动画图像序列中图像排列顺序，对所述高模动画图像序列中的图像进行视频编码，得到所述目标虚拟人物的动画视频。
本发明第三方面提供了一种人脸图像的图像增强设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述人脸图像的图像增强设备执行上述的人脸图像的图像增强方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的人脸图像的图像增强方法。
本发明提供的技术方案中，通过人脸关键点捕捉，从而关键点生成人脸的低细节图像，进而结合所提取特征细节进行对抗训练生成人脸的高细节图像，相比传统基于像素的人脸图像处理，效率更高。可基于关键点捕捉从而生成任意人脸的低细节图像，进而结合提取的人脸细节特征，从而生成任意人脸的高细节图像，应用范围更广。
附图说明
图1为本发明实施例中人脸图像的图像增强方法的第一个实施例示意图；
图2为本发明实施例中人脸图像的图像增强方法的第二个实施例示意图；
图3为本发明实施例中人脸图像的图像增强方法的第三个实施例示意图；
图4为本发明实施例中人脸图像的图像增强装置的一个实施例示意图；
图5为本发明实施例中人脸图像的图像增强装置的另一个实施例示意图；
图6为本发明实施例中人脸图像的图像增强设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种人脸图像的图像增强方法、装置、设备及存储介质，效率更高。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。
本发明中的服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中人脸图像的图像增强方法的一个实施例包括：
101、接收待处理的目标人脸高清图像，并对该目标人脸高清图像进行关键点检测，得到多个面部关键点；
可以理解的是，目标人脸高清图像中包含人脸细节特征，例如面部褶皱、毛发胡须、微表情、人脸姿态角度等，本实施例对其不做限定。
进一步的，服务器可基于计算机视觉技术对该目标人脸高清图像进行人脸关键点检测，例如通过训练人脸关键点检测模型，并将该目标人脸高清图像输入至训练好的人脸关键点检测模型中以进行识别，例如服务器基于Retinaface人脸检测模型中的关键点检测网络对该目标人脸高清图像进行识别，关键点检测的过程即深度语义的分类过程，例如关键点检测规则中定义检测时提供7个关键点的位置，左眼的位置、右眼的位置、鼻子的位置、左嘴角的位置、右嘴角的位置、左眉的位置、右眉的位置，在如果检测到人脸，那么在相应的人脸框图中将会用点标记出这些位置，可选的，服务器可基于人脸关键点检测模型识别出该目标人脸高清图像中用于标识五官轮廓的68个关键点。需要说明的是，本实施例对该关键点检测的具体方式不做限定。
可选的，在检测到目标人脸高清图像中包含的多个人脸关键点之后，服务器还可以基于这些人脸关键点对目标人脸高清图像进行人脸分割，从而从目标人脸高清图像中分割出相应的五官掩模，进而对该五官掩模进行像素级别的图像处理，从而让图像更加生动逼真。例如基于预置的高斯滤波对该五官掩模进行卷积处理，从而使其更加平滑；或者，基于预置的五官RGB参数，对该五官掩模中的各区域进行色彩重绘，使其更贴合标准的肤色。
102、基于检测到的多个面部关键点，对目标虚拟人物进行图像渲染，得到目标虚拟人物的低模图像；
可以理解的是，服务器基于所检测到的多个面部关键点，从而进行图像渲染以生成目标虚拟人物的低模图像，即低细节的人脸图像，该图像渲染的方式具体可以为基于传统的图形学渲染器进行图像渲染，也可以为基于深度学习模型的生成式渲染器进行图像渲染，以重建人脸图像。
可选的，服务器还可基于反向渲染技术充分利用生成式渲染器，以生成与该目标虚拟人物预置的人脸图像相似的图像为目标，反推出人脸形状和纹理。
具体的，本实施例对该图像渲染的方式不做限定。
103、基于预置的特征编码器对该目标人脸高清图像进行特征提取，得到该目标人脸高清图像的面部细节特征图；
可以理解的是，该特征编码器可为对如LeNet、AlexNet、VGG等网络预训练后得到的特征提取网络，从而从目标人脸高清图像中解耦出面部细节特征，本实施例对其不做限定。
可选的，在对该目标人脸高清图像进行特征提取之前，服务器还可对该目标人脸高清图像进行包括但不限于几何变换、平滑、增强、复原、降噪的预处理，从而保证所提取特征的可靠性。
104、将该目标虚拟人物的低模图像、该目标人脸高清图像的面部细节特征图以及该目标人脸高清图像输入至预置的面部图像增强模型中进行处理，得到目标虚拟人物的高模图像。
可以理解的是，面部图像增强模型为一种生成式图像模型，其通过训练隐式密度的生成对抗网络(Generative Adversarial Networks，GAN)所得。该目标虚拟人物的低模图像以及该目标人脸高清图像的面部细节特征图作为该面部图像增强模型的先验参数，该目标人脸高清图像作为目标数据分布，进而基于该先验参数生成服从该目标数据分布的图像，得到目标虚拟人物的高模图像，即高细节的人脸图像。
可选的，服务器还可基于所检测到的多个面部关键点，对目标虚拟人物进行多次图像渲染，以得到目标虚拟人物的低模动画图像序列；其次，将该低模动画图像序列、目标人脸高清图像的面部细节特征图以及目标人脸高清图像输入至预置的面部图像增强模型中进行处理，得到目标虚拟人物的高模动画图像序列；最后，基于高模动画图像序列中图像排列顺序，对高模动画图像序列中的图像进行视频编码，得到目标虚拟人物的动画视频。
本实施例中，通过人脸关键点捕捉，从而关键点生成人脸的低细节图像，进而结合所提取特征细节进行对抗训练生成人脸的高细节图像，相比传统基于像素的人脸图像处理，效率更高。可基于关键点捕捉从而生成任意人脸的低细节图像，进而结合提取的人脸细节特征，从而生成任意人脸的高细节图像，应用范围更广。
参阅图2，本发明实施例中人脸图像的图像增强方法的第二个实施例包括：
201、接收待处理的目标人脸高清图像，对目标人脸高清图像进行预处理；
可以理解的是，为使关键点检测准确以及减少图像处理的计算量，服务器还对该目标人脸高清图像进行包括但不限于灰度化、几何变换、平滑、增强、复原、降噪等预处理方式，本实施例对其不做限定。
202、将预处理后的目标人脸高清图像输入至预置的人脸关键点检测模型中以进行关键点检测，得到多个面部关键点；
可以理解的是，人脸关键点检测模型用于检测人脸图像中的人脸关键点，可以是在卷积神经网络的基础上构建的模型，比如可以利用卷积网络结构HRNet-v2作为模型架构进行构建，基础框架使用HRNet-v2；其通常输出各关键点所在的坐标位置，该人脸关键点检测模型可以为基于五官位置的五点检测模型，也可以为基于五官轮廓的68点检测模型，本实施例对该人脸关键点检测模型的类型不做限定。
可选的，在将预处理后的目标人脸高清图像输入至预置的人脸关键点检测模型中以进行关键点检测，得到多个面部关键点之前，服务器还训练构建该人脸关键点检测模型，例如对预置的初始网络模型进行有监督训练，从而构建基于先验约束的人脸关键点检测模型，具体包括：
获取预置的人脸样本图像以及人脸样本图像对应的人脸关键点位置数据，其中，人脸关键点位置数据为人脸样本图像对应的样本标签；
对人脸关键点位置数据进行先验计算，得到人脸样本图像的结构先验特征；
调用预置的初始网络模型提取人脸样本图像的自注意力特征，并基于自注意力特征进行图像识别，得到初始网络模型输出的人脸关键点检测结果；
基于预置的第一损失函数，计算自注意力特征与结构先验特征之间的第一损失结果，以及基于预置的第二损失函数，计算人脸关键点检测结果与人脸关键点位置数据之间的第二损失结果；
根据第一损失结果和第二损失结果，调整初始网络模型的网络参数，得到人脸关键点检测模型。
可以理解的是，在该初始网络模型中特征提取网络之后还包括一个空间自注意力模块，从而从该人脸样本图像中提取自注意力特征，并进一步使用自注意力特征增强人脸特征，得到人脸关键点位置信息，从而对提取出的多分辨率人脸特征进行增强，引入全局上下文信息。
需要说明的是，注意力机制是一类有效增强网络特征表达的机制。自注意力机制为注意力机制的一种，能够对长距离的特征依赖进行建模，在多种计算机视觉任务，比如检测和识别领域中均有所运用，能够弥补由卷积等操作带来的全局上下文信息缺失的问题。
可选的，本实施例基于热图回归确定人脸关键点的位置，通过使用该初始网络模型中预置的卷积神经网络，从而保留了人脸面部的空间细节信息，为每一个人脸关键点相应地预测一个热图，并将热图中具有最大值的位置作为对应人脸关键点的位置。
而传统的基于坐标回归确定人脸关键点的位置，隐式地对人脸形状进行学习，通过网络直接预测关键点坐标，然而其在直接预测时使用的全连接层使得人脸的细节结构有所损失。
可选的，对人脸关键点位置数据进行先验计算，得到人脸样本图像的结构先验特征具体包括：
以人脸关键点位置数据中的每个关键点为中心，基于高斯分布，将每个关键点的邻域作为每个关键点的掩模；
根据每个关键点的掩模，确定人脸样本图像的结构先验特征。
203、基于检测到的多个面部关键点，对目标虚拟人物进行图像渲染，得到目标虚拟人物的低模图像；
204、基于预置的特征编码器对该目标人脸高清图像进行特征提取，得到该目标人脸高清图像的面部细节特征图；
205、将该目标虚拟人物的低模图像、该目标人脸高清图像的面部细节特征图以及该目标人脸高清图像输入至预置的面部图像增强模型中进行处理，得到目标虚拟人物的高模图像。
其中，步骤203-205与上述步骤102-104的执行步骤类似，具体此处不再赘述。
本实施例中，详细描述了对目标人脸高清图像进行关键点检测的过程，通过预处理后输入至基于大量样本训练的关键点检测模型，从而高效且准确地获取关键点。
参阅图3，本发明实施例中人脸图像的图像增强方法的第三个实施例包括：
301、获取预置人脸图像样本集中的目标训练图像；
可以理解的是，目标训练图像为待用于模型训练的图像，服务器依次从人脸图像样本集中获取一张目标训练图像用于对生成对抗网络训练。
302、对目标训练图像进行图像模糊化，得到目标训练图像的模糊化图像；
可以理解的是，图像模糊化的具体方式包括但不限于高斯模糊、图像缩放、区域遮挡等，从而生成低细节的图像。
303、基于特征编码器对目标训练图像进行特征提取，得到目标训练图像的面部细节特征图；
可以理解的是，该特征编码器可为对如LeNet、AlexNet、VGG等网络预训练后得到的特征提取网络，服务器调用该特征编码器，从目标训练图像中解耦出面部细节特征。
304、将目标训练图像的模糊化图像、目标训练图像的面部细节特征图以及目标训练图像输入至预置的生成对抗网络执行对抗训练，得到面部图像增强模型；
可以理解的是，生成对抗网络模型(Generative Adversarial Networks，GAN)是一种隐式密度模型，包括一个生成网络(Generator Network)和一个判别网络(Discriminator Network)；其中，服务器将该目标训练图像作为真实样本，将目标训练图像的模糊化图像、目标训练图像的面部细节特征图输入Generator Network生成尽可能逼近真实样本的伪样本，Discriminator Network从真实样本和伪样本之间尽可能高准确度的判别出伪样本，通过对抗训练的方式来使得生成网络产生的样本图像服从真实数据分布，当所生成的样本图像服从真实数据分布时，保存当前的网络参数，得到面部图像增强模型。
本实施例中，该生成对抗网络模型可以为GAN、styleGAN、styleGAN2等网络模型，本实施例对其不做限定。
具体的，服务器首先基于预置样本数据训练判别网络，在判别网络训练完成时冻结其网络参数；
其次将目标训练图像的模糊化图像和目标训练图像的面部细节特征图作为该生成网络的先验参数，并调用该生成网络生成目标训练图像对应的目标预测图像，先验参数即对所生成的目标数据分布进行了约束，减少生对抗感知路径长度，从而提升了模型的拟合效率；
将目标预测图像输入至该判别网络中，并调用判别网络计算目标预测图像为目标训练图像的概率值，该判别网络为二分类网络，通过预设的匹配函数或概率矩阵计算该目标预测图像与真实样本之间的匹配得分，进而通过激活函数将其收敛至[0,1]区间内，得到该概率值；
基于预置的第三损失函数，计算该概率值对应的损失结果，该预设的损失函数请参考公式1，其中D表示判别网络，G表示生成网络。
公式1:
其中，为计算在生成网络损失最小的约束下以及在判别网络损失最大的约束下计算该生成对抗网络整体的损失值，z为先验参数，G(z)为生成网络基于先验参数所生成的伪样本(即目标预测图像)，D(G(z))为判断伪样本是否真实的概率，D(G(z))越小则生成的目标预测图像与目标训练图像越相似，x表示的是真实数据，D(x)为判断真实数据(即目标训练图像)是否真实的概率，D(x)越大则表示越真实，E表示计算期望值，x～Pdata(x)表示x服从真实数据的概率密度分布，z～Pz(z)表示z服从先验参数的概率密度分布。
对上述公式1进行拆分，得到优化判别网络D的部分损失函数，请参考公式2：
其中，为计算在判别网络损失最大的约束下计算该生成对抗网络整体的损失值。
对上述公式1进一步拆分，得到优化生成网络G的部分损失函数，请参考公式3：
其中，为计算在生成网络损失最小的约束下计算该生成对抗网络整体的损失值。
最小化该函数，就是令D(G(z))最大，该值越大则表示该目标预测图像越逼真，判别网络D无法识别，即生成网络G和判别网络D为一此消彼长的过程。
可选的，该第三损失函数中引入了图像特征损失和人脸特征损失来作为判别网络损失的辅助函数，从而计算该生成对抗网络的全局损失值，进而根据全局损失值调整网络参数，减少所生成图像与真实图像在数据分布上的误差，减少所生成图像与真实图像在人脸特征上的误差，减少判别网络和生成网络的误差。
应当理解的是，在调整生成网络的网络参数时，需对判别网络的参数进行冻结，即判别网络的作用只是传递误差，而不是联合训练。
根据该概率值对应的损失结果，调整生成网络的网络参数，直至生成网络收敛，保存当前生成对抗网络的网络参数，得到面部图像增强模型。
可选的，服务器可采用随机梯度下降算法来迭代调整网络参数，从而微调生成对抗网络，得到该面部图像增强模型。
305、接收待处理的目标人脸高清图像，并对该目标人脸高清图像进行关键点检测，得到多个面部关键点；
306、基于检测到的多个面部关键点，对目标虚拟人物进行图像渲染，得到目标虚拟人物的低模图像；
307、基于预置的特征编码器对该目标人脸高清图像进行特征提取，得到该目标人脸高清图像的面部细节特征图；
308、将该目标虚拟人物的低模图像、该目标人脸高清图像的面部细节特征图以及该目标人脸高清图像输入至预置的面部图像增强模型中进行处理，得到目标虚拟人物的高模图像。
其中，步骤305-308与上述步骤101-104的执行步骤类似，具体此处不再赘述。
本实施例中，详细描述了构建面部图像增强模型的过程，通过基于对抗生成网络中的生成网络对低细节的模糊化图像和面部细节特征图生成预测图像，基于生成对抗网络中的判别网络判定预测图像是否为目标训练图像，若果不为该目标训练图像则对前者的生成网络进行调整，直至生成准确的图像，得到面部图像增强模型，从而用于对人脸图像进行增强处理。
上面对本发明实施例中人脸图像的图像增强方法进行了描述，下面对本发明实施例中人脸图像的图像增强装置进行描述，请参阅图4，本发明实施例中人脸图像的图像增强装置的一个实施例包括：
关键点检测模块401，用于接收待处理的目标人脸高清图像，并对所述目标人脸高清图像进行关键点检测，得到多个面部关键点；
图像渲染模块402，用于基于所述多个面部关键点，对目标虚拟人物进行图像渲染，得到所述目标虚拟人物的低模图像；
特征提取模块403，用于基于预置的特征编码器对所述目标人脸高清图像进行特征提取，得到所述目标人脸高清图像的面部细节特征图；
图像增强模块404，用于将所述目标虚拟人物的低模图像、所述目标人脸高清图像的面部细节特征图以及所述目标人脸高清图像输入至预置的面部图像增强模型中进行处理，得到所述目标虚拟人物的高模图像。
本实施例中，通过人脸关键点捕捉，从而关键点生成人脸的低细节图像，进而结合所提取特征细节进行对抗训练生成人脸的高细节图像，相比传统基于像素的人脸图像处理，效率更高。可基于关键点捕捉从而生成任意人脸的低细节图像，进而结合提取的人脸细节特征，从而生成任意人脸的高细节图像，应用范围更广。
参阅图5，本发明实施例中人脸图像的图像增强装置的另一个实施例包括：
关键点检测模块501，用于接收待处理的目标人脸高清图像，并对所述目标人脸高清图像进行关键点检测，得到多个面部关键点；
图像渲染模块502，用于基于所述多个面部关键点，对目标虚拟人物进行图像渲染，得到所述目标虚拟人物的低模图像；
特征提取模块503，用于基于预置的特征编码器对所述目标人脸高清图像进行特征提取，得到所述目标人脸高清图像的面部细节特征图；
模型构建模块504，用于对预置的生成对抗网络进行训练以构建面部图像增强模型；
图像增强模块505，用于将所述目标虚拟人物的低模图像、所述目标人脸高清图像的面部细节特征图以及所述目标人脸高清图像输入至预置的面部图像增强模型中进行处理，得到所述目标虚拟人物的高模图像；
视频合成模块506，用于合成目标虚拟人物的动画视频。
其中，所述关键点检测模块501具体包括：
图像预处理单元5011，用于接收待处理的目标人脸高清图像，对所述目标人脸高清图像进行预处理；
模型检测单元5012，用于将预处理后的目标人脸高清图像输入至预置的人脸关键点检测模型中以进行关键点检测，得到多个面部关键点。
其中，所述模型构建模块504具体包括：
图像获取单元5041，用于获取预置人脸图像样本集中的目标训练图像；
模糊化单元5042，用于对所述目标训练图像进行图像模糊化，得到所述目标训练图像的模糊化图像；
特征提取单元5043，用于基于所述特征编码器对所述目标训练图像进行特征提取，得到所述目标训练图像的面部细节特征图；
对抗训练单元5044，用于将所述目标训练图像的模糊化图像、所述目标训练图像的面部细节特征图以及所述目标训练图像输入至预置的生成对抗网络执行对抗训练，得到面部图像增强模型。
其中，所述对抗训练单元5044具体用于：
将所述目标训练图像的模糊化图像和所述目标训练图像的面部细节特征图作为所述生成网络的先验参数，并调用所述生成网络生成所述目标训练图像对应的目标预测图像；
将所述目标预测图像输入至所述判别网络中，并调用所述判别网络计算所述目标预测图像为所述目标训练图像的概率值；
基于预置的第三损失函数，计算所述概率值对应的损失结果；
根据所述概率值对应的损失结果，调整所述生成网络的网络参数，直至所述生成网络收敛，保存当前所述生成对抗网络的网络参数，得到所述面部图像增强模型。
其中，所述视频合成模块506具体包括：
图像序列渲染单元5061，用于基于所述多个面部关键点，对目标虚拟人物进行多次图像渲染，得到所述目标虚拟人物的低模动画图像序列；
模型处理单元5062，用于分别将所述低模动画图像序列、所述目标人脸高清图像的面部细节特征图以及所述目标人脸高清图像输入至预置的面部图像增强模型中进行处理，得到所述目标虚拟人物的高模动画图像序列；
视频编码单元5063，用于基于所述高模动画图像序列中图像排列顺序，对所述高模动画图像序列中的图像进行视频编码，得到所述目标虚拟人物的动画视频。
本发明实施例中，模块化的设计让人脸图像的图像增强装置各部位的硬件专注于某一功能的实现，最大化实现了硬件的性能，同时模块化的设计也降低了装置的模块之间的耦合性，更加方便维护。
上面图4和图5从模块化功能实体的角度对本发明实施例中的人脸图像的图像增强装置进行详细描述，下面从硬件处理的角度对本发明实施例中人脸图像的图像增强设备进行详细描述。
图6是本发明实施例提供的一种人脸图像的图像增强设备的结构示意图，该人脸图像的图像增强设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)610(例如，一个或一个以上处理器)和存储器620，一个或一个以上存储应用程序633或数据632的存储介质630(例如一个或一个以上海量存储设备)。其中，存储器620和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对人脸图像的图像增强设备600中的一系列指令操作。更进一步地，处理器610可以设置为与存储介质630通信，在人脸图像的图像增强设备600上执行存储介质630中的一系列指令操作。
人脸图像的图像增强设备600还可以包括一个或一个以上电源640，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口660，和/或，一个或一个以上操作***631，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图6示出的人脸图像的图像增强设备结构并不构成对人脸图像的图像增强设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种人脸图像的图像增强设备，所述人脸图像的图像增强设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述人脸图像的图像增强方法的步骤。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述人脸图像的图像增强方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种人脸图像的图像增强方法，其特征在于，所述人脸图像的图像增强方法包括：
获取预置人脸图像样本集中的目标训练图像；
对所述目标训练图像进行图像模糊化，得到所述目标训练图像的模糊化图像；
基于所述特征编码器对所述目标训练图像进行特征提取，得到所述目标训练图像的面部细节特征图；
将所述目标训练图像的模糊化图像、所述目标训练图像的面部细节特征图以及所述目标训练图像输入至预置的生成对抗网络执行对抗训练，得到面部图像增强模型；
接收待处理的目标人脸高清图像，并对所述目标人脸高清图像进行关键点检测，得到多个面部关键点；
基于所述多个面部关键点，对目标虚拟人物进行图像渲染，得到所述目标虚拟人物的低模图像；
基于预置的特征编码器对所述目标人脸高清图像进行特征提取，得到所述目标人脸高清图像的面部细节特征图；
将所述目标虚拟人物的低模图像、所述目标人脸高清图像的面部细节特征图以及所述目标人脸高清图像输入至预置的面部图像增强模型中进行处理，得到所述目标虚拟人物的高模图像。
2.根据权利要求1所述的人脸图像的图像增强方法，其特征在于，所述接收待处理的目标人脸高清图像，并对所述目标人脸高清图像进行关键点检测，得到多个面部关键点包括：
接收待处理的目标人脸高清图像，对所述目标人脸高清图像进行预处理；
将预处理后的目标人脸高清图像输入至预置的人脸关键点检测模型中以进行关键点检测，得到多个面部关键点。
3.根据权利要求2所述的人脸图像的图像增强方法，其特征在于，所述将预处理后的目标人脸高清图像输入至预置的人脸关键点检测模型中以进行关键点检测，得到多个面部关键点之前，还包括：
获取预置的人脸样本图像以及所述人脸样本图像对应的人脸关键点位置数据，其中，所述人脸关键点位置数据为所述人脸样本图像对应的样本标签；
对所述人脸关键点位置数据进行先验计算，得到所述人脸样本图像的结构先验特征；
调用预置的初始网络模型提取所述人脸样本图像的自注意力特征，并基于所述自注意力特征进行图像识别，得到所述初始网络模型输出的人脸关键点检测结果；
基于预置的第一损失函数，计算所述自注意力特征与所述结构先验特征之间的第一损失结果，以及基于预置的第二损失函数，计算所述人脸关键点检测结果与所述人脸关键点位置数据之间的第二损失结果；
根据所述第一损失结果和所述第二损失结果，调整所述初始网络模型的网络参数，得到人脸关键点检测模型。
4.根据权利要求3所述的人脸图像的图像增强方法，其特征在于，所述对所述人脸关键点位置数据进行先验计算，得到所述人脸样本图像的结构先验特征包括：
以所述人脸关键点位置数据中的每个关键点为中心，基于高斯分布，将每个关键点的邻域作为每个所述关键点的掩模；
基于每个所述关键点的掩模，确定所述人脸样本图像的结构先验特征。
5.根据权利要求1所述的人脸图像的图像增强方法，其特征在于，所述生成对抗网络包括生成网络和判别网络，所述将所述目标训练图像的模糊化图像、所述目标训练图像的面部细节特征图以及所述目标训练图像输入至预置的生成对抗网络执行对抗训练，得到面部图像增强模型包括：
将所述目标训练图像的模糊化图像和所述目标训练图像的面部细节特征图作为所述生成网络的先验参数，并调用所述生成网络生成所述目标训练图像对应的目标预测图像；
将所述目标预测图像输入至所述判别网络中，并调用所述判别网络计算所述目标预测图像为所述目标训练图像的概率值；
基于预置的第三损失函数，计算所述概率值对应的损失结果；
根据所述概率值对应的损失结果，调整所述生成网络的网络参数，直至所述生成网络收敛，保存当前所述生成对抗网络的网络参数，得到所述面部图像增强模型。
6.根据权利要求1-5中任意一项所述的人脸图像的图像增强方法，其特征在于，所述将所述目标虚拟人物的低模图像、所述目标人脸高清图像的面部细节特征图以及所述目标人脸高清图像输入至预置的面部图像增强模型中进行处理，得到所述目标虚拟人物的高模图像之后，还包括：
基于所述多个面部关键点，对目标虚拟人物进行多次图像渲染，得到所述目标虚拟人物的低模动画图像序列；
分别将所述低模动画图像序列、所述目标人脸高清图像的面部细节特征图以及所述目标人脸高清图像输入至预置的面部图像增强模型中进行处理，得到所述目标虚拟人物的高模动画图像序列；
基于所述高模动画图像序列中图像排列顺序，对所述高模动画图像序列中的图像进行视频编码，得到所述目标虚拟人物的动画视频。
7.一种人脸图像的图像增强装置，其特征在于，所述人脸图像的图像增强装置包括：
关键点检测模块，用于接收待处理的目标人脸高清图像，并对所述目标人脸高清图像进行关键点检测，得到多个面部关键点；
图像渲染模块，用于基于所述多个面部关键点，对目标虚拟人物进行图像渲染，得到所述目标虚拟人物的低模图像；
特征提取模块，用于基于预置的特征编码器对所述目标人脸高清图像进行特征提取，得到所述目标人脸高清图像的面部细节特征图；
图像增强模块，用于将所述目标虚拟人物的低模图像、所述目标人脸高清图像的面部细节特征图以及所述目标人脸高清图像输入至预置的面部图像增强模型中进行处理，得到所述目标虚拟人物的高模图像；
模型构建模块，具体包括：
图像获取单元，用于获取预置人脸图像样本集中的目标训练图像；
模糊化单元，用于对所述目标训练图像进行图像模糊化，得到所述目标训练图像的模糊化图像；
特征提取单元，用于基于所述特征编码器对所述目标训练图像进行特征提取，得到所述目标训练图像的面部细节特征图；
对抗训练单元，用于将所述目标训练图像的模糊化图像、所述目标训练图像的面部细节特征图以及所述目标训练图像输入至预置的生成对抗网络执行对抗训练，得到面部图像增强模型。
8.根据权利要求7所述的人脸图像的图像增强装置，其特征在于，所述生成对抗网络包括生成网络和判别网络，所述对抗训练单元具体用于：
将所述目标训练图像的模糊化图像和所述目标训练图像的面部细节特征图作为所述生成网络的先验参数，并调用所述生成网络生成所述目标训练图像对应的目标预测图像；
将所述目标预测图像输入至所述判别网络中，并调用所述判别网络计算所述目标预测图像为所述目标训练图像的概率值；
基于预置的第三损失函数，计算所述概率值对应的损失结果；
根据所述概率值对应的损失结果，调整所述生成网络的网络参数，直至所述生成网络收敛，保存当前所述生成对抗网络的网络参数，得到所述面部图像增强模型。
9.一种人脸图像的图像增强设备，其特征在于，所述人脸图像的图像增强设备包括：存储器和至少一个处理器，所述存储器中存储有指令；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述人脸图像的图像增强设备执行如权利要求1-6中任意一项所述的人脸图像的图像增强方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-6中任一项所述的人脸图像的图像增强方法。
CN202210512796.3A 2022-05-12 2022-05-12 人脸图像的图像增强方法、装置、设备及存储介质 Active CN114862716B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210512796.3A CN114862716B (zh) 2022-05-12 2022-05-12 人脸图像的图像增强方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210512796.3A CN114862716B (zh) 2022-05-12 2022-05-12 人脸图像的图像增强方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114862716A CN114862716A (zh) 2022-08-05
CN114862716B true CN114862716B (zh) 2024-07-09

Family

ID=82636456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210512796.3A Active CN114862716B (zh) 2022-05-12 2022-05-12 人脸图像的图像增强方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114862716B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116993948B (zh) * 2023-09-26 2024-03-26 粤港澳大湾区数字经济研究院(福田) 一种人脸三维重建方法、***及智能终端

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113379667A (zh) * 2021-07-16 2021-09-10 浙江大华技术股份有限公司 脸部图像生成方法、装置、设备及介质
CN113409437A (zh) * 2021-06-23 2021-09-17 北京字节跳动网络技术有限公司 一种虚拟角色捏脸的方法、装置、电子设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2764144C1 (ru) * 2020-07-27 2022-01-13 Самсунг Электроникс Ко., Лтд. Быстрый двухслойный нейросетевой синтез реалистичных изображений нейронного аватара по одному снимку
CN114298901A (zh) * 2020-09-22 2022-04-08 广州虎牙科技有限公司 人像超分辨率重建方法、模型训练方法、装置、电子设备和可读存储介质
CN114118303B (zh) * 2022-01-25 2022-04-29 中科视语(北京)科技有限公司 基于先验约束的人脸关键点检测方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113409437A (zh) * 2021-06-23 2021-09-17 北京字节跳动网络技术有限公司 一种虚拟角色捏脸的方法、装置、电子设备及存储介质
CN113379667A (zh) * 2021-07-16 2021-09-10 浙江大华技术股份有限公司 脸部图像生成方法、装置、设备及介质

Also Published As

Publication number Publication date
CN114862716A (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
Yeh et al. Lightweight deep neural network for joint learning of underwater object detection and color conversion
US11908244B2 (en) Human posture detection utilizing posture reference maps
US10949649B2 (en) Real-time tracking of facial features in unconstrained video
CN110717977B (zh) 游戏角色脸部处理的方法、装置、计算机设备及存储介质
CN110348330B (zh) 基于vae-acgan的人脸姿态虚拟视图生成方法
Cohen et al. Inference of human postures by classification of 3D human body shape
WO2020103700A1 (zh) 一种基于微表情的图像识别方法、装置以及相关设备
CN111401216B (zh) 图像处理、模型训练方法、装置、计算机设备和存储介质
CN112037320B (zh) 一种图像处理方法、装置、设备以及计算机可读存储介质
CN112419170A (zh) 遮挡检测模型的训练方法及人脸图像的美化处理方法
CN113850168A (zh) 人脸图片的融合方法、装置、设备及存储介质
CN111108508B (zh) 脸部情感识别方法、智能装置和计算机可读存储介质
CN109359527B (zh) 基于神经网络的头发区域提取方法及***
JP4567660B2 (ja) 電子画像内で物体のセグメントを求める方法
CN113658324A (zh) 图像处理方法及相关设备、迁移网络训练方法及相关设备
CN117218246A (zh) 图像生成模型的训练方法、装置、电子设备及存储介质
CN114862716B (zh) 人脸图像的图像增强方法、装置、设备及存储介质
Wang et al. Digital twin: Acquiring high-fidelity 3D avatar from a single image
CN114783017A (zh) 基于逆映射的生成对抗网络优化方法及装置
CN114283265A (zh) 一种基于3d旋转建模的无监督人脸转正方法
CN110008922A (zh) 用于终端设备的图像处理方法、设备、装置、介质
CN111723688B (zh) 人体动作识别结果的评价方法、装置和电子设备
RU2755396C1 (ru) Нейросетевой перенос выражения лица и позы головы с использованием скрытых дескрипторов позы
Shukla et al. Deep Learning Model to Identify Hide Images using CNN Algorithm
CN115311403A (zh) 深度学习网络的训练方法、虚拟形象生成方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant