CN114842123A - 三维人脸重建模型训练和三维人脸形象生成方法及装置 - Google Patents

三维人脸重建模型训练和三维人脸形象生成方法及装置 Download PDF

Info

Publication number
CN114842123A
CN114842123A CN202210738050.4A CN202210738050A CN114842123A CN 114842123 A CN114842123 A CN 114842123A CN 202210738050 A CN202210738050 A CN 202210738050A CN 114842123 A CN114842123 A CN 114842123A
Authority
CN
China
Prior art keywords
face image
face
stylized
dimensional
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210738050.4A
Other languages
English (en)
Other versions
CN114842123B (zh
Inventor
王迪
陈睿智
赵晨
刘经拓
丁二锐
吴甜
王海峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202210738050.4A priority Critical patent/CN114842123B/zh
Publication of CN114842123A publication Critical patent/CN114842123A/zh
Application granted granted Critical
Publication of CN114842123B publication Critical patent/CN114842123B/zh
Priority to US18/099,602 priority patent/US20230419592A1/en
Priority to JP2023029589A priority patent/JP2024004444A/ja
Priority to KR1020230033387A priority patent/KR20240002898A/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/02—Non-photorealistic rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/40—Hidden part removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Image Generation (AREA)

Abstract

本公开提供了一种三维人脸重建模型训练和三维人脸形象生成方法及装置，涉及人工智能技术领域，具体涉及增强现实、虚拟现实、计算机视觉和深度学习等技术领域，可应用于元宇宙等场景。具体实现方案为：将获取的样本人脸图像输入三维人脸重建模型，得到坐标变换参数和样本人脸图像中的人脸参数；根据获取的样本人脸图像的人脸参数和风格化人脸图，确定样本人脸图像的三维风格化人脸形象；基于坐标变换参数，将样本人脸图像的三维风格化人脸形象变换到相机坐标系下，并对变换后的三维风格化人脸形象进行渲染，得到渲染图；根据渲染图和样本人脸图像的风格化人脸图，对三维人脸重建模型进行训练。上述技术方案，可以精准构建三维风格化人脸形象。

Description

三维人脸重建模型训练和三维人脸形象生成方法及装置
技术领域
本公开涉及人工智能技术领域，尤其涉及增强现实、虚拟现实、计算机视觉和深度学习等技术领域，可应用于元宇宙等场景，具体涉及一种三维人脸重建模型训练和三维人脸形象生成方法及装置。
背景技术
随着人工智能技术的不断发展，三维人脸重建技术逐渐兴起。相较于二维人脸图像，三维人脸形象携带更丰富的个性化特征，具有重要的研究意义和应用前景。为满足人们的多样化需求，跨风格的三维人脸重建被提出。在跨风格场景下，如何低成本且精准实现三维人脸重建至关重要。
发明内容
本公开提供了一种三维人脸重建模型训练和三维人脸形象生成方法及装置。
根据本公开的一方面，提供了一种三维人脸重建模型训练方法，该方法包括：
获取样本人脸图像，以及所述样本人脸图像的风格化人脸图；
将所述样本人脸图像输入三维人脸重建模型，得到坐标变换参数和所述样本人脸图像中的人脸参数；
根据所述样本人脸图像中的人脸参数和风格化人脸图，确定所述样本人脸图像的三维风格化人脸形象；
基于所述坐标变换参数，将所述样本人脸图像的三维风格化人脸形象变换到相机坐标系下，并对变换后的三维风格化人脸形象进行渲染，得到渲染图；
根据所述渲染图和所述样本人脸图像的风格化人脸图，对所述三维人脸重建模型进行训练。
根据本公开的另一方面，提供了一种三维人脸形象生成方法，该方法包括：
获取目标人脸图像，以及所述目标人脸图像的风格化人脸图；
将所述目标人脸图像输入三维人脸重建模型，得到所述目标人脸图像中的人脸参数；其中，所述三维人脸重建模型基于本公开实施例中任一所述的三维人脸重建模型训练方法训练得到；
根据所述目标人脸图像中的人脸参数和风格化人脸图，确定所述目标人脸图像的三维风格化人脸形象。
根据本公开的另一方面，提供了一种电子设备，该电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开任一实施例所述的三维人脸重建模型训练方法，或者三维人脸形象生成方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行本公开任一实施例所述的三维人脸重建模型训练方法，或者三维人脸形象生成方法。
根据本公开的技术，能够精准构建三维风格化人脸形象。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开实施例提供的一种三维人脸重建模型训练方法的流程图；
图2A是根据本公开实施例提供的另一种三维人脸重建模型训练方法的流程图；
图2B是根据本公开实施例提供的一种获取风格化人脸图的示意图；
图3是根据本公开实施例提供的又一种三维人脸重建模型训练方法的流程图；
图4A是根据本公开实施例提供的再一种三维人脸重建模型训练方法的流程图；
图4B是根据本公开实施例提供的一种三维人脸重建模型训练过程示意图；
图5根据本公开实施例提供的一种三维人脸形象生成方法的流程图；
图6是根据本公开实施例提供的另一种三维人脸形象生成方法的流程图；
图7是根据本公开实施例提供的又一种三维人脸形象生成方法的流程图；
图8是根据本公开实施例提供的一种三维人脸重建模型训练装置的结构示意图；
图9是根据本公开实施例提供的一种三维人脸形象生成装置的结构示意图；
图10是用来实现本公开实施例的三维人脸重建模型训练或三维人脸形象生成方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
需要说明的是，本公开的技术方案中，所涉及的样本人脸图像、目标人脸图像和风格化人脸图等的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
图1是根据本公开实施例提供的一种三维人脸重建模型训练方法的流程图。本实施例适用于如何对三维人脸重建模型进行训练的情况。该方法可以由三维人脸重建模型训练装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成于承载三维人脸重建模型训练功能的电子设备中，比如服务器中。如图1所示，本实施例的三维人脸重建模型训练方法可以包括：
S101，获取样本人脸图像，以及样本人脸图像的风格化人脸图。
本实施例中，样本人脸图像是指包含人脸的图像。所谓风格化人脸图是指与样本人脸图对应的跨风格的人脸图像，例如动漫风格人脸图等。
具体的，可以从互联网等中获取样本人脸图像；对样本人脸图像进行跨风格化处理，以获得样本人脸图像的风格化人脸图。可选的，可以基于跨风格化生成模型，来对样本人脸图像进行跨风格化处理。
S102，将样本人脸图像输入三维人脸重建模型，得到坐标变换参数和样本人脸图像中的人脸参数。
本实施例中，三维人脸重建模型即为用于执行回归重建三维人脸形象所需参数等任务的模型；可选的，本实施例中的三维人脸重建模型优选可以是残差网络resnet。
坐标变换参数是指将三维人脸形象变换到相机坐标系下的变换参数，可以包括平移变换参数和缩放变换参数；进一步的，还可以包括旋转变换参数。所谓样本人脸图像中的人脸参数即为三维人脸形象的几何参数，可以包括人脸形状参数；进一步的，样本人脸图像中的人脸参数还可以包括人脸表情参数。
可选的，可以将样本人脸图像输入三维人脸重建模型，经过模型处理，得到坐标变换参数和样本人脸图像的人脸参数。
S103，根据样本人脸图像的人脸参数和风格化人脸图，确定样本人脸图像的三维风格化人脸形象。
本实施例中，三维风格化人脸形象是指三维的跨风格的人脸虚拟形象。
可选的，基于三维风格化人脸形象生成逻辑，根据样本人脸图像的人脸参数和风格化人脸图，来生成样本人脸图像的三维风格化人脸形象。例如，可以将样本人脸图像的人脸参数和风格化人脸图，输入至预先训练好的三维风格化模型，由该三维风格化模型输出样本人脸图像的三维风格化人脸形象。
S104，基于坐标变换参数，将样本人脸图像的三维风格化人脸形象变换到相机坐标系下，并对变换后的三维风格化人脸形象进行渲染，得到渲染图。
本实施例中，相机坐标系为可微分渲染器所在的坐标系，与三维风格化人脸形象所在的坐标系不同。所谓渲染图是指三维风格化人脸形象在相机坐标系内投影的二维图像。
可选的，可以基于平移变换参数、缩放变换参数和旋转变换参数，将样本人脸图像的三维风格化人脸形象变换到相机坐标系下，并采用预先配置好的相机视场角，对可微分渲染器中的参数进行调整，并将变换后的三维风格化人脸形象输入至可微分渲染器中，对变换后的三维风格化人脸形象进行渲染，得到渲染图。
S105，根据渲染图和样本人脸图像的风格化人脸图，对三维人脸重建模型进行训练。
可选的，可以基于预先设定的损失函数，根据渲染图和样本人脸图像的风格化人脸图，确定训练损失，之后根据训练损失对三维人脸重建模型进行训练，不断优化三维人脸重建模型中的网络参数。具体的，本实施例可基于上述方法对三维人脸重建模型进行多次迭代训练，直至达到预设的训练停止条件，则停止调整三维人脸重建模型的网络参数，得到经训练的三维人脸重建模型。训练停止条件可以包括：训练次数达到预设次数，或者训练损失收敛等。
本公开实施例提供的技术方案，通过将所获取的样本人脸图像输入三维人脸重建模型，得到坐标变换参数和样本人脸图像中的人脸参数，并根据样本人脸图像的人脸参数和所获取的样本人脸图像的风格化人脸图，确定样本人脸图像的三维风格化人脸形象，之后基于坐标变换参数，将样本人脸图像的三维风格化人脸形象变换到相机坐标系下，并对变换后的三维风格化人脸形象进行渲染，得到渲染图，进而根据渲染图和样本人脸图像的风格化人脸图，对三维人脸重建模型进行训练。上述技术方案，在跨风格的三维人脸重建场景下，无需进行人脸关键点标注，通过样本人脸图像和风格化人脸图，即可训练三维人脸重建模型，减少了样本标注成本。进一步的，在跨风格场景下，基于本方案所训练的三维人脸重建模型，可精准获取构建三维人脸所需的数据，进而可精准构建三维风格化人脸形象。
在上述实施例的基础上，作为本公开的一种可选方式，根据渲染图和样本人脸图像的风格化人脸图，对三维人脸重建模型进行训练还可以是，从样本人脸图像的风格化人脸图中提取风格化人脸区域；根据渲染图的背景颜色，对风格化人脸区域的背景颜色进行调整；根据渲染图和调整后的风格化人脸区域，确定图像对比损失；根据图像对比损失，对三维人脸重建模型进行训练。
具体的，可以基于图像分割算法，对样本人脸图像的风格化人脸图进行分割处理，以提取到风格化人脸区域，之后将风格化人脸区域的背景颜色调整为渲染图的背景颜色。进而可以基于预先设定好的损失函数，根据渲染图和调整后的风格化人脸区域，确定图像对比损失；或者，确定渲染图和调整后的风格化人脸区域之间的相似度，将相似度作为图像对比损失。最后根据图像对比损失，对三维人脸重建模型进行训练。
可以理解是，通过将风格化人脸区域的背景颜色，调整为与渲染图的背景颜色一致，消除了背景干扰，使得所确定的图像对比损失更加精准，从而可以使得三维人脸重建模型训练的更加精准和有效。
图2A是根据本公开实施例提供的另一种三维人脸重建模型训练方法的流程图；图2B是根据本公开实施例提供的一种获取风格化人脸图的示意图。本实施例在上述实施例的基础上，对“获取样本人脸图像的风格化人脸图”进一步优化，提供一种可选实施方案。结合图2A和2B所示，本实施例的三维人脸重建模型训练方法可以包括：
S201，获取样本人脸图像。
S202，从风格化编码网络中提取风格化特征。
本实施例中，风格化编码网络可以为风格化模型中的编码网络；可选的，风格化模型由风格化编码网络和风格化解码网络构建，在对风格化模型训练阶段，输入一张人脸图像，该风格化模型将输出该张人脸图像对应的风格化人脸图；进一步的，在风格化模型训练好以后，风格化编码网络可以输出固定的风格化特征。所谓风格化特征是指具有特定风格的特征。
进一步的，风格化编码网络和风格化解码网络可以是卷积神经网络；更进一步的，本实施例中的风格化编码网络可以是包括18个卷积层的卷积神经网络，其中，每一个卷积层可输出一个1*512的特征向量，也就是说，从风格化编码网络所提取的风格化特征可以为一个18*（1*512）的特征向量。
S203，将样本人脸图像输入人脸还原编码网络，得到样本人脸图像的人脸特征。
本实施例中，人脸还原编码网络可以为人脸还原模型中的编码网络；可选的，人脸还原模型由人脸还原编码网络和人脸还原解码网络构成，将一张人脸图像输入人脸还原模型，该人脸还原模型将输出与输入的人脸图像极为相像的人脸图像。
进一步的，人脸还原编码网络是指用于提取人脸图像的人脸特征的编码网络。所谓人脸特征为真实人脸中固有的特征，可以包括但不限于脸型、五官、肤色、痣和疤等特征。
进一步的，人脸还原编码网络和人脸还原解码网络可以是卷积神经网络；更进一步的，本实施例中的人脸还原编码网络可以是包括18个卷积层的卷积神经网络，其中，每一个卷积层可输出一个1*512的特征向量，也就是说，从人脸还原编码网络所提取的人脸特征可以为一个18*（1*512）的特征向量。
具体的，可以将样本人脸图像输入至还原编码网络中，经过网络处理，得到样本人脸图像的人脸特征。
S204，基于风格图生成网络，根据风格化特征和样本人脸图像的人脸特征，生成样本人脸图像的风格化人脸图。
本实施例中，风格图生成网络是指生成风格化人脸图的解码网络；可选的，风格图生成网络初始输入可以是一个随机值，风格化特征和样本人脸图像的人脸特征可作用于风格图生成网络中的每一层，具体为将风格化特征和人脸特征位于相同层输出的特征向量，共同作用于风格图生成网络中对应层，比如将风格化特征位于第三层输出的特征向量和人脸特征位于第三层输出的特征向量，共同作用于风格图生成网络中的第三层。
进一步的，通过调整风格化特征和人脸特征在风格图生成网络中每一层的权重，可以控制风格化人脸图的风格化程度。
示例性的，本实施例中的风格图生成网络可以是包括18个卷积层的卷积神经网络，其中1-7层关注风格化特征，8-18层更关注样本人脸图像的真实人脸信息。也就是说，如果在1-7层中，将风格化特征的权重比例配置高于人脸特征，那么最终所获得的风格化人脸图，将与输入的人脸图相差较大；如果在8-18层中，将人脸特征的权重比例配置高于风格化特征，那么最终所获得的风格化人脸图，将与输入的人脸图像更为接近。
具体的，可以将风格化特征和样本人脸图像的人脸特征输入至风格图生成网络，经过网络处理，得到样本人脸图像的风格化人脸图。
S205，将样本人脸图像输入三维人脸重建模型，得到坐标变换参数和样本人脸图像中的人脸参数。
其中，样本人脸图像中的人脸参数至少包括人脸形状参数。
S206，根据样本人脸图像的人脸参数和风格化人脸图，确定样本人脸图像的三维风格化人脸形象。
S207，基于坐标变换参数，将样本人脸图像的三维风格化人脸形象变换到相机坐标系下，并对变换后的三维风格化人脸形象进行渲染，得到渲染图。
S208，根据渲染图和样本人脸图像的风格化人脸图，对三维人脸重建模型进行训练。
本公开实施例提供的技术方案，通过从风格化编码网络中提取风格化特征，同时将所获取的样本人脸图像输入人脸还原编码网络，得到样本人脸图像的人脸特征，并基于风格图生成网络，根据风格化特征和样本人脸图像的人脸特征，生成样本人脸图像的风格化人脸图，之后将样本人脸图像输入三维人脸重建模型，得到坐标变换参数和样本人脸图像中的人脸参数，并根据样本人脸图像的人脸参数和风格化人脸图，确定样本人脸图像的三维风格化人脸形象，进而基于坐标变换参数，将样本人脸图像的三维风格化人脸形象变换到相机坐标系下，并对变换后的三维风格化人脸形象进行渲染，得到渲染图，最后根据渲染图和样本人脸图像的风格化人脸图，对三维人脸重建模型进行训练。上述技术方案，通过风格图生成网络，来确定样本人脸图像的风格化人脸图，可以使得样本人脸图像的风格化人脸图的风格化程度可控。
示例性的，在上述实施例的基础上，根据样本人脸图像的人脸参数和风格化人脸图，得到样本人脸图像的三维风格化人脸形象一种可选方式是，基于样本人脸图像中的人脸参数，构建样本人脸图像的三维人脸形象；根据样本人脸图像的风格化人脸图，对样本人脸图像的三维人脸形象进行处理，得到样本人脸图像的三维风格化人脸形象。
本实施例中，三维人脸形象是指人脸的三维虚拟形象。
可选的，基于样本人脸图像中的人脸参数，构建样本人脸图像的三维人脸形象的一种可选方式是，将样本人脸图像中人脸参数的人脸形状参数，与预先定义的形状基底（即三维特征向量）进行线性求和，以得到样本人脸图像的三维人脸形象。
基于样本人脸图像中的人脸参数，构建样本人脸图像的三维人脸形象的又一种可选方式是，将样本人脸图像中人脸参数的人脸形状参数和人脸表情参数，与预先定义好的形状表情基底进行线性求和，以得到样本人脸图像的三维人脸形象。
在获得样本人脸图像的三维人脸形象之后，可以在样本人脸图像的三维人脸形象上显示样本人脸图像的风格化人脸图，即可得到样本人脸图像的三维风格化人脸形象。
可以理解的是，本方案提供一种构建三维风格化人脸形象的可选方式，为后续模型训练提供了数据支撑。
图3是根据本公开实施例提供的又一种三维人脸重建模型训练方法的流程图。本实施例在上述实施例的基础上，对“根据样本人脸图像的风格化人脸图，对样本人脸图像的三维人脸形象进行处理，得到样本人脸图像的三维风格化人脸形象”进一步优化，提供一种可选实施方案。如图3所示，本实施例的三维人脸重建模型训练方法可以包括：
S301，获取样本人脸图像，以及样本人脸图像的风格化人脸图。
S302，将样本人脸图像输入三维人脸重建模型，得到坐标变换参数和样本人脸图像中的人脸参数。
其中，样本人脸图像中的人脸参数至少包括人脸形状参数。
S303，基于样本人脸图像中的人脸参数，构建样本人脸图像的三维人脸形象。
S304，对样本人脸图像的风格化人脸图进行纹理展开，得到初始纹理贴图。
本实施例中，纹理贴图是指二维坐标系下的图像，具体可以为纹理坐标（即UV）下的图像。所谓初始纹理贴图是指初始得到的未经过后处理的纹理贴图。
具体的，可以基于设定的纹理展开逻辑，对样本人脸图像的风格化人脸图进行纹理展开，得到初始纹理贴图。
S305，基于贴图回归网络，对初始纹理贴图进行遮挡去除处理、高光去除处理或人脸位姿调整处理中的至少一项，得到目标纹理贴图。
本实施例中，贴图回归网络可以是预先训练好的，用于对初始纹理贴图进行处理的卷积神经网络。所谓目标纹理贴图是指经过处理后的纹理贴图。
具体的，可以将初始纹理贴图输入至贴图回归网络中，对初始纹理贴图进行处理，比如遮挡去除处理、高光去除处理或人脸位姿调整处理中的至少一项，得到目标纹理贴图。
S306，根据目标纹理贴图，对样本人脸图像的三维人脸形象进行处理，得到样本人脸图像的三维风格化人脸形象。
具体的，可以基于三维人脸形象与纹理坐标贴图（即UV贴图）之间的映射关系，将目标纹理贴图中像素点的颜色值（比如RGB值），赋值给样本人脸图像的三维人脸形象上对应的顶点，以得到样本人脸图像的三维风格化人脸形象。也可以理解为将目标纹理贴图包裹到样本人脸图像的三维人脸形象上，以得到样本人脸图像的三维风格化人脸形象。
S307，基于坐标变换参数，将样本人脸图像的三维风格化人脸形象变换到相机坐标系下，并对变换后的三维风格化人脸形象进行渲染，得到渲染图。
S308，根据渲染图和样本人脸图像的风格化人脸图，对三维人脸重建模型进行训练。
本公开实施例提供的技术方案，通过将所获取样本人脸图像输入三维人脸重建模型，得到坐标变换参数和样本人脸图像中的人脸参数，并基于样本人脸图像中的人脸参数，构建样本人脸图像的三维人脸形象，之后对获取的样本人脸图像的风格化人脸图进行纹理展开，得到初始纹理贴图，基于贴图回归网络，对初始纹理贴图进行遮挡去除处理、高光去除处理或人脸位姿调整处理中的至少一项，得到目标纹理贴图，并根据目标纹理贴图，对样本人脸图像的三维人脸形象进行处理，得到样本人脸图像的三维风格化人脸形象，进而基于坐标变换参数，将样本人脸图像的三维风格化人脸形象变换到相机坐标系下，并对变换后的三维风格化人脸形象进行渲染，得到渲染图，最后根据渲染图和样本人脸图像的风格化人脸图，对三维人脸重建模型进行训练。上述技术方案，通过贴图回归网络对初始纹理贴图进行处理，避免了由于遮挡、高光或者人脸位姿偏差对确定三维风格化人脸形象时产生的干扰，使得所确定的三维风格化人脸形象更为精准。
在上述实施例的基础上，作为本公开的一种可选方式，根据渲染图和样本人脸图像的风格化人脸图，对三维人脸重建模型进行训练还可以是，根据渲染图和样本人脸图像的风格化人脸图，对三维人脸重建模型和贴图回归网络进行联合训练。
具体的，可以基于设定的损失函数，根据渲染图和样本人脸图像的风格化人脸图，确定训练损失，之后，基于训练损失对三维人脸重建模型和贴图回归网络进行联合训练，不断优化三维人脸重建模型的参数，以及贴图回归网络的参数。
可以理解是，通过对三维人脸重建模型和贴图回归网络进行联合训练，不断优化贴图回归网络和三维人脸重建模型，从而使得三维人脸重建模型的精度更高。
图4A是根据本公开实施例提供的再一种三维人脸重建模型训练方法的流程图；图4B是根据本公开实施例提供的一种三维人脸重建模型训练过程示意图。本实施例在上述实施例的基础上，分别对“将样本人脸图像输入三维人脸重建模型，得到坐标变换参数和样本人脸图像中的人脸参数”和“基于坐标变换参数，将样本人脸图像的三维风格化人脸形象变换到相机坐标系下，并对变换后的三维风格化人脸形象进行渲染，得到渲染图”进一步优化，提供一种可选实施方案。结合图4A和4B所示，本实施例的三维人脸重建模型训练方法可以包括：
S401，获取样本人脸图像，以及样本人脸图像的风格化人脸图。
S402，将样本人脸图像输入三维人脸重建模型，得到欧拉角、坐标变换参数中的平移变换参数和缩放变换参数，以及样本人脸图像中的人脸参数。
本实施例中，欧拉角即为人头朝向角度。
具体的，在坐标变换参数不包括旋转参数的情况下，可以将样本人脸图像输入至三维人脸重建模型，经过模型处理，得到欧拉角，坐标变换参数中的平移变换参数和缩放变换参数，以及样本人脸图像中的人脸参数。
S403，根据样本人脸图像中的人脸参数和风格化人脸图，确定样本人脸图像的三维风格化人脸形象。
S404，基于平移变换参数和缩放变换参数，将样本人脸图像的三维风格化人脸形象仿射变换到相机坐标系下。
具体的，可以基于平移变换参数和缩放变换参数，将样本人脸图像的三维风格化人脸形象仿射变换到相机坐标系下。
S405，基于相机视场角和欧拉角，对仿射变换后的三维风格化人脸形象进行渲染，得到渲染图。
具体的，可以采用相机视场角和欧拉角对可微分渲染器中的参数进行调整，之后将仿射变换后的三维风格化人脸形象输入至可微分渲染器进行渲染，得到渲染图。
S406，根据渲染图和样本人脸图像的风格化人脸图，对三维人脸重建模型进行训练。
具体的，可以基于预先设定的损失函数，根据渲染图和样本人脸图像的风格化人脸图，确定训练损失，之后根据训练损失对三维人脸重建模型进行训练，不断优化三维人脸重建模型中的网络参数。
本公开实施例提供的技术方案，通过将所获取的样本人脸图像输入三维人脸重建模型，得到欧拉角，坐标变换参数中的平移变换参数和缩放变换参数，以及样本人脸图像中的人脸参数，基于样本人脸图像中的人脸参数和所获取的样本人脸图像的风格化人脸图，确定样本人脸图像的三维风格化人脸形象，进而基于平移变换参数和缩放变换参数，将样本人脸图像的三维风格化人脸形象仿射变换到相机坐标系下，基于相机视场角和欧拉角，对仿射变换后的三维风格化人脸形象进行渲染，得到渲染图，最后根据渲染图和样本人脸图像的风格化人脸图，对三维人脸重建模型进行训练。上述技术方案，在相机变换参数不包含旋转参数的情况下，还可以通过三维人脸重建模型，来得到欧拉角，从而可以更精准地确定渲染图。
图5根据本公开实施例提供的一种三维人脸形象生成方法的流程图。本实施例适用于如何生成三维人脸形象的情况。该方法可以由三维人脸形象生成装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成于承载三维人脸形象生成功能的电子设备中，比如服务器中。如图5所示，本实施例的三维人脸形象生成方法可以包括：
S501，获取目标人脸图像，以及目标人脸图像的风格化人脸图。
本实施例中，目标人脸图像是指需要进行三维风格化的人脸图像。
具体的，可以通过人机交互界面、特定应用程序、或者小程序，获取目标人脸图像；对目标人脸图像进行跨风格化处理，以获取目标人脸图像的风格化人脸图。可选的，可以基于跨风格生成模型，来对目标人脸图像进行跨风格化处理。
S502，将目标人脸图像输入三维人脸重建模型，得到目标人脸图像中的人脸参数。
本实施例中，三维人脸重建模型基于上述任一实施例所提供的三维人脸重建模型训练方法训练得到。所谓目标人脸图像中的人脸参数即为重建目标人脸图像中人脸的三维人脸形象所需的几何参数，可以包括人脸形状参数；进一步的，还目标人脸图像中的人脸参数还包括人脸表情参数。
可选的，可以将目标人脸图像输入至三维人脸重建模型，经过模型处理，得到目标人脸图像中的人脸参数。
S503，根据目标人脸图像中的人脸参数和风格化人脸图，确定目标人脸图像的三维风格化人脸形象。
本实施例中，三维风格化人脸形象是指三维的跨风格的人脸虚拟形象。
可选的，基于三维风格化人脸形象生成逻辑，根据目标人脸图像的人脸参数和风格化人脸图，来生成目标人脸图像的三维风格化人脸形象。例如，可以将目标人脸图像的人脸参数和风格化人脸图，输入至预先训练好的三维风格化模型，由该三维风格化模型输出目标人脸图像的三维风格化人脸形象。
本公开实施例提供的技术方案，通过将所获取的目标人脸图像输入三维人脸重建模型，得到目标人脸图像中的人脸参数，之后根据目标人脸图像中的人脸参数和所获取的目标人脸图像的风格化人脸图，确定目标人脸图像的三维风格化人脸形象。上述技术方案，在跨风格场景下，通过三维人脸重建模型，可以精准构建三维风格化人脸形象。
图6是根据本公开实施例提供的另一种三维人脸形象生成方法的流程图。本实施例在上述实施例的基础上，对“获取目标人脸图像的风格化人脸图”进一步优化，提供一种可选实施方案。如图6所示，本实施例的三维人脸形象生成方法可以包括：
S601，获取目标人脸图像。
S602，从风格化编码网络中提取风格化特征。
本实施例中，风格化编码网络可以为风格化模型中的编码网络；可选的，风格化模型由风格化编码网络和风格化解码网络构建，在对风格化模型训练阶段，输入一张人脸图像，该风格化模型将输出该张人脸图像对应的风格化人脸图；进一步的，在风格化模型训练好以后，风格化编码网络可以输出固定的风格化特征。所谓风格化特征是指具有特定风格的特征。
进一步的，风格化编码网络和风格化解码网络可以是卷积神经网络，更进一步的，本实施例中的风格化编码网络可以是包括18个卷积层的卷积神经网络，其中，每一个卷积层可输出一个1*512的特征向量，也就是说，从风格化编码网络所提取的风格化特征可以为一个18*（1*512）的特征向量。
S603，将目标人脸图像输入人脸还原编码网络，得到目标人脸图像的人脸特征。
本实施例中，人脸还原编码网络可以为人脸还原模型中的编码网络；可选的，人脸还原模型由人脸还原编码网络和人脸还原解码网络构成，将一张人脸图像输入人脸还原模型，该人脸还原模型将输出与输入的人脸图像极为相像的人脸图像。
进一步的，人脸还原编码网络是指用于提人脸图像的人脸特征的编码网络。所谓人脸特征为真实人脸中固有的特征，可以包括但不限于脸型、五官、肤色、痣和疤等特征。
进一步的，人脸还原编码网络和人脸还原解码网络可以是卷积神经网络；更进一步的，本实施例中的人脸还原编码网络可以是包括18个卷积层的卷积神经网络，其中，每一个卷积层可输出一个1*512的特征向量，也就是说，从人脸还原编码网络所提取的人脸特征可以为一个18*（1*512）的特征向量。
具体的，可以将目标人脸图像输入至还原编码网络中，经过网络处理，得到目标人脸图像的人脸特征。
S604，基于风格图生成网络，根据风格化特征和目标人脸图像的人脸特征，生成目标人脸图像的风格化人脸图。
本实施例中，风格图生成网络是指生成风格化人脸图的解码网络；可选的，风格图生成网络初始输入可以是一个随机值，风格化特征和目标人脸图像的人脸特征可作用于风格图生成网络中的每一层，具体为将风格化特征和人脸特征位于相同层输出的特征向量，共同作用于风格图生成网络中对应层，比如将风格化特征位于第三层输出的特征向量和人脸特征位于第三层输出的特征向量，共同作用于风格图生成网络中的第三层。
进一步的，通过调整风格化特征和人脸特征在风格图生成网络中每一层的权重，可以控制风格化人脸图的风格化程度。
示例性的，风格图生成网络可以是包括18个卷积层的卷积神经网络，其中1-7层关注风格化特征，8-18层更关注目标人脸图像的真实人脸信息。也就是说，如果在1-7层中，将风格化特征的权重比例配置高于人脸特征，那么最终所获得的风格化人脸图，将与输入的人脸图相差较大；如果在8-18层中，将人脸特征的权重比例配置高于风格化特征，那么最终所获得的风格化人脸图，将与输入的人脸图像更为接近。
具体的，可以将风格化特征和目标人脸图像的人脸特征输入至风格图生成网络，经过网络处理，得到目标人脸图像的风格化人脸图。
S605，将目标人脸图像输入三维人脸重建模型，得到目标人脸图像中的人脸参数。
S606，根据目标人脸图像中的人脸参数和风格化人脸图，确定目标人脸图像的三维风格化人脸形象。
本公开实施例提供的技术方案，通过从风格化编码网络中提取风格化特征，将目标人脸图像输入人脸还原编码网络，得到目标人脸图像的人脸特征，基于风格图生成网络，根据风格化特征和目标人脸图像的人脸特征，生成目标人脸图像的风格化人脸图，之后将目标人脸图像输入三维人脸重建模型，得到目标人脸图像中的人脸参数，进而根据目标人脸图像中的人脸参数和风格化人脸图，确定目标人脸图像的三维风格化人脸形象。上述技术方案，通过风格图生成网络，来确定目标人脸图像的风格化人脸图，可以使得目标人脸图像的风格化人脸图的风格化程度可控。
示例性的，在上述实施例的基础上，根据目标人脸图像的人脸参数和风格化人脸图，得到目标人脸图像的三维风格化人脸形象的一种可选方式是，基于目标人脸图像中的人脸参数，构建目标人脸图像的三维人脸形象。根据目标人脸图像的风格化人脸图，对目标人脸图像的三维人脸形象进行处理，得到目标人脸图像的三维风格化人脸形象。
本实施例中，三维人脸形象是指人脸的三维虚拟形象。
可选的，基于目标人脸图像中的人脸参数，构建目标人脸图像的三维人脸形象的一种可选方式是，将目标人脸图像中人脸参数的人脸形状参数，与预先定义的形状基底（即三维特征向量）进行线性求和，以得到目标人脸图像的三维人脸形象。
基于目标人脸图像中的人脸参数，构建目标人脸图像的三维人脸形象的又一种可选方式是，将目标人脸图像中人脸参数的人脸形状参数和人脸表情参数，与预先定义好的形状表情基底进行线性求和，以得到目标人脸图像的三维人脸形象。
在获得目标人脸图像的三维人脸形象之后，可以在目标人脸图像的三维人脸形象上显示目标人脸图像的风格化人脸图，即可得到目标人脸图像的三维风格化人脸形象。
可以理解的是，本方案提供一种构建三维风格化人脸形象的可选方式，为后续三维人脸形象生成提供了数据支撑。
图7是根据本公开实施例提供的又一种三维人脸形象生成方法的流程图。本实施例在上述实施例的基础上，对“根据目标人脸图像的风格化人脸图，对目标人脸图像的三维人脸形象进行处理，得到目标人脸图像的三维风格化人脸形象”进一步优化，提供一种可选实施方案。如图7所示，本实施例的三维人脸形象生成方法可以包括：
S701，获取目标人脸图像，以及目标人脸图像的风格化人脸图。
S702，将目标人脸图像输入三维人脸重建模型，得到目标人脸图像中的人脸参数。
S703，基于目标人脸图像中的人脸参数，构建目标人脸图像的三维人脸形象。
S704，对目标人脸图像的风格化人脸图进行纹理展开，得到待处理的纹理贴图。
本实施例中，纹理贴图是指二维坐标系下的图像，具体可以为纹理坐标（即UV）下的图像。
具体的，可以基于设定的纹理展开逻辑，对目标人脸图像的风格化人脸图进行纹理展开，得到待处理的纹理贴图。
S705，基于贴图回归网络，对待处理的纹理贴图进行遮挡去除处理、高光去除处理或人脸位姿调整处理中的至少一项，得到经处理的纹理贴图。
本实施例中，所谓贴图回归网络可以是预先训练好的，可用于对待处理的纹理贴图进行处理的卷积神经网络。
具体的，将待处理的纹理贴图输入至贴图回归网络中，经过网络处理，比如遮挡去除处理、高光去除处理或人脸位姿调整处理中的至少一项，得到经处理的纹理贴图。
S706，根据经处理的纹理贴图，对目标人脸图像的三维人脸形象进行处理，得到目标人脸图像的三维风格化人脸形象。
具体的，基于三维人脸形象与UV贴图之间的映射关系，将经处理的纹理贴图中像素点的RGB值，赋值给目标人脸图像的三维人脸形象上对应的顶点，以得到目标人脸图像的三维风格化人脸形象。也可以理解为将经处理的纹理贴图包裹到目标人脸图像的三维人脸形象上，以得到目标人脸图像的三维风格化人脸形象。
本公开实施例提供的技术方案，通过将所获取的目标人脸图像输入三维人脸重建模型，得到目标人脸图像中的人脸参数，之后对目标人脸图像的风格化人脸图进行纹理展开，得到待处理的纹理贴图，并基于贴图回归网络，对待处理的纹理贴图进行遮挡去除处理、高光去除处理或人脸位姿调整处理中的至少一项，得到经处理的纹理贴图，进而根据经处理的纹理贴图，对目标人脸图像的三维人脸形象进行处理，得到目标人脸图像的三维风格化人脸形象。上述技术方案，引入纹理贴图来得到目标人脸图像的三维风格化人脸形象，可以使得三维风格化人脸形象更加准确；进一步的，通过贴图回归网络对初始纹理贴图进行处理，避免了由于遮挡、高光或者人脸位姿偏差对确定三维风格化人脸形象时产生的干扰。
图8是根据本公开实施例提供的一种三维人脸重建模型训练装置的结构示意图。本实施例适用于如何对三维人脸重建模型进行训练的情况。该装置可以采用软件和/或硬件的方式实现，并可集成于承载三维人脸重建模型训练功能的电子设备中，比如服务器中。如图8所示，本实施例的三维人脸重建模型训练装置800可以包括：
样本图像获取模块801，用于获取样本人脸图像，以及样本人脸图像的风格化人脸图；
样本人脸参数确定模块802，用于将样本人脸图像输入三维人脸重建模型，得到坐标变换参数和样本人脸图像中的人脸参数；
样本风格化人脸形象确定模块803，用于根据样本人脸图像中的人脸参数和风格化人脸图，确定样本人脸图像的三维风格化人脸形象；
渲染图确定模块804，用于基于坐标变换参数，将样本人脸图像的三维风格化人脸形象变换到相机坐标系下，并对变换后的三维风格化人脸形象进行渲染，得到渲染图；
人脸重建模型训练模块805，用于根据渲染图和样本人脸图像的风格化人脸图，对三维人脸重建模型进行训练。
本公开实施例提供的技术方案，通过将所获取的样本人脸图像输入三维人脸重建模型，得到坐标变换参数和样本人脸图像中的人脸参数，并根据样本人脸图像中的人脸参数和所获取的样本人脸图像的风格化人脸图，确定样本人脸图像的三维风格化人脸形象，之后基于坐标变换参数，将样本人脸图像的三维风格化人脸形象变换到相机坐标系下，并对变换后的三维风格化人脸形象进行渲染，得到渲染图，进而根据渲染图和样本人脸图像的风格化人脸图，对三维人脸重建模型进行训练。上述技术方案，在跨风格的三维人脸重建场景下，无需进行人脸关键点标注，通过样本人脸图像和风格化人脸图，即可训练三维人脸重建模型，减少了样本标注成本。进一步的，在跨风格场景下，基于本方案所训练的三维人脸重建模型，可精准获取构建三维人脸所需的数据，进而可精准构建三维风格化人脸形象。
进一步地，样本图像获取模块801具体用于：
从风格化编码网络中提取风格化特征；
将样本人脸图像输入人脸还原编码网络，得到样本人脸图像的人脸特征；
基于风格图生成网络，根据风格化特征和样本人脸图像的人脸特征，生成样本人脸图像的风格化人脸图。
进一步地，样本风格化人脸形象确定模块803包括：
样本三维人脸形象确定单元，用于基于样本人脸图像中的人脸参数，构建样本人脸图像的三维人脸形象；
样本风格化人脸形象确定单元，用于根据样本人脸图像的风格化人脸图，对样本人脸图像的三维人脸形象进行处理，得到样本人脸图像的三维风格化人脸形象。
进一步地，样本风格化人脸形象确定单元具体用于：
对样本人脸图像的风格化人脸图进行纹理展开，得到初始纹理贴图；
基于贴图回归网络，对初始纹理贴图进行遮挡去除处理、高光去除处理或人脸位姿调整处理中的至少一项，得到目标纹理贴图；
根据目标纹理贴图，对样本人脸图像的三维人脸形象进行处理，得到样本人脸图像的三维风格化人脸形象。
进一步地，人脸重建模型训练模块805具体用于：
根据渲染图和样本人脸图像的风格化人脸图，对三维人脸重建模型和贴图回归网络进行联合训练。
进一步地，人脸重建模型训练模块805还具体用于：
从样本人脸图像的风格化人脸图中提取风格化人脸区域；
根据渲染图的背景颜色，对风格化人脸区域的背景颜色进行调整；
根据渲染图和调整后的风格化人脸区域，确定图像对比损失；
根据图像对比损失，对三维人脸重建模型进行训练。
进一步地，样本人脸参数确定模块802具体用于：
将样本人脸图像输入三维人脸重建模型，得到欧拉角、坐标变换参数中的平移变换参数和缩放变换参数，以及样本人脸图像中的人脸参数；
相应的，渲染图确定模块804具体用于：
基于平移变换参数和缩放变换参数，将样本人脸图像的三维风格化人脸形象仿射变换到相机坐标系下；
基于相机视场角和欧拉角，对仿射变换后的三维风格化人脸形象进行渲染，得到渲染图。
进一步地，样本人脸图像中的人脸参数包括人脸形状参数。
图9是根据本公开实施例提供的一种三维人脸形象生成装置的结构示意图。本实施例适用于如何生成三维人脸形象的情况。该装置可以采用软件和/或硬件的方式实现，并可集成于承载三维人脸形象生成功能的电子设备中，比如服务器中。如图9所示，本实施例的三维人脸形象生成装置900可以包括：
目标图像获取模块901，用于获取目标人脸图像，以及目标人脸图像的风格化人脸图；
目标人脸参数确定模块902，用于将目标人脸图像输入三维人脸重建模型，得到目标人脸图像中的人脸参数；其中，三维人脸重建模型基于上述任一实施例所提供的三维人脸重建模型训练方法训练得到；
目标风格化人脸形象确定模块903，用于根据目标人脸图像中的人脸参数和风格化人脸图，确定目标人脸图像的三维风格化人脸形象。
本公开实施例提供的技术方案，通过将所获取的目标人脸图像输入三维人脸重建模型，得到目标人脸图像中的人脸参数，之后基于目标人脸图像中的人脸参数和所获取的目标人脸图像的风格化人脸图，确定目标人脸图像的三维风格化人脸形象。上述技术方案，在跨风格场景下，通过三维人脸重建模型，可以精准构建三维风格化人脸形象。
进一步地，目标图像获取模块901具体用于：
从风格化编码网络中提取风格化特征；
将目标人脸图像输入人脸还原编码网络，得到目标人脸图像的人脸特征；
基于风格图生成网络，根据风格化特征和目标人脸图像的人脸特征，生成目标人脸图像的风格化人脸图。
进一步地，目标风格化人脸形象确定模块903包括：
目标三维人脸形象确定单元，用于基于样本人脸图像中的人脸参数，构建样本人脸图像的三维人脸形象；
目标风格化人脸形象确定单元，用于根据样本人脸图像的风格化人脸图，对样本人脸图像的三维人脸形象进行处理，得到样本人脸图像的三维风格化人脸形象。
进一步地，目标风格化人脸形象确定单元具体用于：
对目标人脸图像的风格化人脸图进行纹理展开，得到待处理的纹理贴图；
基于贴图回归网络，对待处理的纹理贴图进行遮挡去除处理、高光去除处理或人脸位姿调整处理中的至少一项，得到经处理的纹理贴图；
根据经处理的纹理贴图，对目标人脸图像的三维人脸形象进行处理，得到目标人脸图像的三维风格化人脸形象。
进一步地，目标人脸图像中的人脸参数包括人脸形状参数。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图10是用来实现本公开实施例的三维人脸重建模型训练或三维人脸形象生成方法的电子设备的框图。图10示出了可以用来实施本公开的实施例的示例电子设备1000的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图10所示，电子设备1000包括计算单元1001，其可以根据存储在只读存储器（ROM）1002中的计算机程序或者从存储单元1008加载到随机访问存储器（RAM）1003中的计算机程序，来执行各种适当的动作和处理。在RAM 1003中，还可存储电子设备1000操作所需的各种程序和数据。计算单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出（I/O）接口1005也连接至总线1004。
电子设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006，例如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许电子设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理，例如三维人脸重建模型训练或三维人脸形象生成方法。例如，在一些实施例中，三维人脸重建模型训练或三维人脸形象生成方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到电子设备1000上。当计算机程序加载到RAM 1003并由计算单元1001执行时，可以执行上文描述的三维人脸重建模型训练或三维人脸形象生成方法的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行三维人脸重建模型训练或三维人脸形象生成方法。
本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、现场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上***的***（SOC）、复杂可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***（例如，作为数据服务器）、或者包括中间件部件的计算***（例如，应用服务器）、或者包括前端部件的计算***（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将***的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式***的服务器，或者是结合了区块链的服务器。
人工智能是研究使计算机来模拟人的某些思维过程和智能行为（如学习、推理、思考、规划等）的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术及机器学习/深度学习技术、大数据处理技术、知识图谱技术等几大方向。
云计算（cloud computing），指的是通过网络接入弹性可扩展的共享物理或虚拟资源池，资源可以包括服务器、操作***、网络、软件、应用和存储设备等，并可以按需、自服务的方式对资源进行部署和管理的技术体系。通过云计算技术，可以为人工智能、区块链等技术应用、模型训练提供高效强大的数据处理能力。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (28)

1.一种三维人脸重建模型训练方法，其特征在于，包括：
获取样本人脸图像，以及所述样本人脸图像的风格化人脸图；
将所述样本人脸图像输入三维人脸重建模型，得到坐标变换参数和所述样本人脸图像中的人脸参数；
根据所述样本人脸图像的人脸参数和风格化人脸图，确定所述样本人脸图像的三维风格化人脸形象；
基于所述坐标变换参数，将所述样本人脸图像的三维风格化人脸形象变换到相机坐标系下，并对变换后的三维风格化人脸形象进行渲染，得到渲染图；
根据所述渲染图和所述样本人脸图像的风格化人脸图，对所述三维人脸重建模型进行训练。
2.根据权利要求1所述的方法，其特征在于，获取所述样本人脸图像的风格化人脸图，包括：
从风格化编码网络中提取风格化特征；
将所述样本人脸图像输入人脸还原编码网络，得到所述样本人脸图像的人脸特征；
基于风格图生成网络，根据所述风格化特征和所述样本人脸图像的人脸特征，生成所述样本人脸图像的风格化人脸图。
3.根据权利要求1所述的方法，其特征在于，所述根据所述样本人脸图像的人脸参数和风格化人脸图，确定所述样本人脸图像的三维风格化人脸形象，包括：
基于所述样本人脸图像中的人脸参数，构建所述样本人脸图像的三维人脸形象；
根据所述样本人脸图像的风格化人脸图，对所述样本人脸图像的三维人脸形象进行处理，得到所述样本人脸图像的三维风格化人脸形象。
4.根据权利要求3所述的方法，其特征在于，所述根据所述样本人脸图像的风格化人脸图，对所述样本人脸图像的三维人脸形象进行处理，得到所述样本人脸图像的三维风格化人脸形象，包括：
对所述样本人脸图像的风格化人脸图进行纹理展开，得到初始纹理贴图；
基于贴图回归网络，对所述初始纹理贴图进行遮挡去除处理、高光去除处理或人脸位姿调整处理中的至少一项，得到目标纹理贴图；
根据所述目标纹理贴图，对所述样本人脸图像的三维人脸形象进行处理，得到所述样本人脸图像的三维风格化人脸形象。
5.根据权利要求4所述的方法，其特征在于，所述根据所述渲染图和所述样本人脸图像的风格化人脸图，对所述三维人脸重建模型进行训练，包括：
根据所述渲染图和所述样本人脸图像的风格化人脸图，对所述三维人脸重建模型和所述贴图回归网络进行联合训练。
6.根据权利要求1所述的方法，其特征在于，所述根据所述渲染图和所述样本人脸图像的风格化人脸图，对所述三维人脸重建模型进行训练，包括：
从所述样本人脸图像的风格化人脸图中提取风格化人脸区域；
根据所述渲染图的背景颜色，对所述风格化人脸区域的背景颜色进行调整；
根据所述渲染图和调整后的风格化人脸区域，确定图像对比损失；
根据所述图像对比损失，对所述三维人脸重建模型进行训练。
7.根据权利要求1所述的方法，其特征在于，所述将所述样本人脸图像输入三维人脸重建模型，得到坐标变换参数和所述样本人脸图像中的人脸参数，包括：
将所述样本人脸图像输入三维人脸重建模型，得到欧拉角、坐标变换参数中的平移变换参数和缩放变换参数，以及所述样本人脸图像中的人脸参数；
相应的，所述基于所述坐标变换参数，将所述样本人脸图像的三维风格化人脸形象变换到相机坐标系下，并对变换后的三维风格化人脸形象进行渲染，得到渲染图，包括：
基于所述平移变换参数和缩放变换参数，将所述样本人脸图像的三维风格化人脸形象仿射变换到相机坐标系下；
基于相机视场角和所述欧拉角，对仿射变换后的三维风格化人脸形象进行渲染，得到渲染图。
8.根据权利要求1-7中任一项所述的方法，其特征在于，所述样本人脸图像中的人脸参数包括人脸形状参数。
9.一种三维人脸形象生成方法，其特征在于，包括：
获取目标人脸图像，以及所述目标人脸图像的风格化人脸图；
将所述目标人脸图像输入三维人脸重建模型，得到所述目标人脸图像中的人脸参数；其中，所述三维人脸重建模型基于权利要求1-8中任一项所述的三维人脸重建模型训练方法训练得到；
根据所述目标人脸图像的人脸参数和风格化人脸图，确定所述目标人脸图像的三维风格化人脸形象。
10.根据权利要求9所述的方法，其特征在于，获取所述目标人脸图像的风格化人脸图，包括：
从风格化编码网络中提取风格化特征；
将所述目标人脸图像输入人脸还原编码网络，得到所述目标人脸图像的人脸特征；
基于风格图生成网络，根据所述风格化特征和所述目标人脸图像的人脸特征，生成所述目标人脸图像的风格化人脸图。
11.根据权利要求9所述的方法，其特征在于，所述根据所述目标人脸图像的人脸参数和风格化人脸图，确定所述目标人脸图像的三维风格化人脸形象，包括：
基于所述目标人脸图像中的人脸参数，构建所述目标人脸图像的三维人脸形象；
根据所述目标人脸图像的风格化人脸图，对所述目标人脸图像的三维人脸形象进行处理，得到所述目标人脸图像的三维风格化人脸形象。
12.根据权利要求11所述的方法，其特征在于，所述根据所述目标人脸图像的风格化人脸图，对所述目标人脸图像的三维人脸形象进行处理，得到所述目标人脸图像的三维风格化人脸形象，包括：
对所述目标人脸图像的风格化人脸图进行纹理展开，得到待处理的纹理贴图；
基于贴图回归网络，对所述待处理的纹理贴图进行遮挡去除处理、高光去除处理或人脸位姿调整处理中的至少一项，得到经处理的纹理贴图；
根据所述经处理的纹理贴图，对所述目标人脸图像的三维人脸形象进行处理，得到所述目标人脸图像的三维风格化人脸形象。
13.根据权利要求9-12中任一项所述的方法，其特征在于，所述目标人脸图像中的人脸参数包括人脸形状参数。
14.一种三维人脸重建模型训练装置，其特征在于，包括：
样本图像获取模块，用于获取样本人脸图像，以及所述样本人脸图像的风格化人脸图；
样本人脸参数确定模块，用于将所述样本人脸图像输入三维人脸重建模型，得到坐标变换参数和所述样本人脸图像中的人脸参数；
样本风格化人脸形象确定模块，用于根据所述样本人脸图像中的人脸参数和风格化人脸图，确定所述样本人脸图像的三维风格化人脸形象；
渲染图确定模块，用于基于所述坐标变换参数，将所述样本人脸图像的三维风格化人脸形象变换到相机坐标系下，并对变换后的三维风格化人脸形象进行渲染，得到渲染图；
人脸重建模型训练模块，用于根据所述渲染图和所述样本人脸图像的风格化人脸图，对所述三维人脸重建模型进行训练。
15.根据权利要求14所述的装置，其特征在于，所述样本图像获取模块具体用于：
从风格化编码网络中提取风格化特征；
将所述样本人脸图像输入人脸还原编码网络，得到所述样本人脸图像的人脸特征；
基于风格图生成网络，根据所述风格化特征和所述样本人脸图像的人脸特征，生成所述样本人脸图像的风格化人脸图。
16.根据权利要求14所述的装置，其特征在于，所述样本风格化人脸形象确定模块包括：
样本三维人脸形象确定单元，用于基于所述样本人脸图像中的人脸参数，构建所述样本人脸图像的三维人脸形象；
样本风格化人脸形象确定单元，用于根据所述样本人脸图像的风格化人脸图，对所述样本人脸图像的三维人脸形象进行处理，得到所述样本人脸图像的三维风格化人脸形象。
17.根据权利要求16所述的装置，其特征在于，所述样本风格化人脸形象确定单元具体用于：
对所述样本人脸图像的风格化人脸图进行纹理展开，得到初始纹理贴图；
基于贴图回归网络，对所述初始纹理贴图进行遮挡去除处理、高光去除处理或人脸位姿调整处理中的至少一项，得到目标纹理贴图；
根据所述目标纹理贴图，对所述样本人脸图像的三维人脸形象进行处理，得到所述样本人脸图像的三维风格化人脸形象。
18.根据权利要求17所述的装置，其特征在于，所述人脸重建模型训练模块具体用于：
根据所述渲染图和所述样本人脸图像的风格化人脸图，对所述三维人脸重建模型和所述贴图回归网络进行联合训练。
19.根据权利要求14所述的装置，其特征在于，所述人脸重建模型训练模块还具体用于：
从所述样本人脸图像的风格化人脸图中提取风格化人脸区域；
根据所述渲染图的背景颜色，对所述风格化人脸区域的背景颜色进行调整；
根据所述渲染图和调整后的风格化人脸区域，确定图像对比损失；
根据所述图像对比损失，对所述三维人脸重建模型进行训练。
20.根据权利要求14所述的装置，其特征在于，所述样本人脸参数确定模块具体用于：
将所述样本人脸图像输入三维人脸重建模型，得到欧拉角、坐标变换参数中的平移变换参数和缩放变换参数，以及所述样本人脸图像中的人脸参数；
相应的，所述渲染图确定模块具体用于：
基于所述平移变换参数和缩放变换参数，将所述样本人脸图像的三维风格化人脸形象仿射变换到相机坐标系下；
基于相机视场角和所述欧拉角，对仿射变换后的三维风格化人脸形象进行渲染，得到渲染图。
21.根据权利要求14-20中任一项所述的装置，其特征在于，所述样本人脸图像中的人脸参数包括人脸形状参数。
22.一种三维人脸形象生成装置，其特征在于，包括：
目标图像获取模块，用于获取目标人脸图像，以及所述目标人脸图像的风格化人脸图；
目标人脸参数确定模块，用于将所述目标人脸图像输入三维人脸重建模型，得到所述目标人脸图像中的人脸参数；其中，所述三维人脸重建模型基于权利要求1-8中任一项所述的三维人脸重建模型训练方法训练得到；
目标风格化人脸形象确定模块，用于根据所述目标人脸图像中的人脸参数和风格化人脸图，确定所述目标人脸图像的三维风格化人脸形象。
23.根据权利要求22所述的装置，其特征在于，所述目标图像获取模块具体用于：
从风格化编码网络中提取风格化特征；
将所述目标人脸图像输入人脸还原编码网络，得到所述目标人脸图像的人脸特征；
基于风格图生成网络，根据所述风格化特征和所述目标人脸图像的人脸特征，生成所述目标人脸图像的风格化人脸图。
24.根据权利要求22所述的装置，其特征在于，所述目标风格化人脸形象确定模块包括：
目标三维人脸形象确定单元，用于基于所述目标人脸图像中的人脸参数，构建所述目标人脸图像的三维人脸形象；
目标风格化人脸形象确定单元，用于根据所述目标人脸图像的风格化人脸图，对所述目标人脸图像的三维人脸形象进行处理，得到所述目标人脸图像的三维风格化人脸形象。
25.根据权利要求24所述的装置，其特征在于，所述目标风格化人脸形象确定单元具体用于：
对所述目标人脸图像的风格化人脸图进行纹理展开，得到待处理的纹理贴图；
基于贴图回归网络，对所述待处理的纹理贴图进行遮挡去除处理、高光去除处理或人脸位姿调整处理中的至少一项，得到经处理的纹理贴图；
根据所述经处理的纹理贴图，对所述目标人脸图像的三维人脸形象进行处理，得到所述目标人脸图像的三维风格化人脸形象。
26.根据权利要求22-25中任一项所述的装置，其特征在于，所述目标人脸图像中的人脸参数包括人脸形状参数。
27.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的三维人脸重建模型训练方法，或者权利要求9-13中任一项所述的三维人脸形象生成方法。
28.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使计算机执行根据权利要求1-8中任一项所述的三维人脸重建模型训练方法，或者权利要求9-13中任一项所述的三维人脸形象生成方法。
CN202210738050.4A 2022-06-28 2022-06-28 三维人脸重建模型训练和三维人脸形象生成方法及装置 Active CN114842123B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202210738050.4A CN114842123B (zh) 2022-06-28 2022-06-28 三维人脸重建模型训练和三维人脸形象生成方法及装置
US18/099,602 US20230419592A1 (en) 2022-06-28 2023-01-20 Method and apparatus for training a three-dimensional face reconstruction model and method and apparatus for generating a three-dimensional face image
JP2023029589A JP2024004444A (ja) 2022-06-28 2023-02-28 ３次元顔再構成モデルトレーニング、３次元顔イメージ生成方法及び装置
KR1020230033387A KR20240002898A (ko) 2022-06-28 2023-03-14 3d 얼굴 재구성 모델 훈련 방법과 장치 및 3d 얼굴 형상 생성 방법과 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210738050.4A CN114842123B (zh) 2022-06-28 2022-06-28 三维人脸重建模型训练和三维人脸形象生成方法及装置

Publications (2)

Publication Number Publication Date
CN114842123A true CN114842123A (zh) 2022-08-02
CN114842123B CN114842123B (zh) 2022-09-09

Family

ID=82574846

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210738050.4A Active CN114842123B (zh) 2022-06-28 2022-06-28 三维人脸重建模型训练和三维人脸形象生成方法及装置

Country Status (4)

Country Link
US (1) US20230419592A1 (zh)
JP (1) JP2024004444A (zh)
KR (1) KR20240002898A (zh)
CN (1) CN114842123B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115345980A (zh) * 2022-10-18 2022-11-15 北京百度网讯科技有限公司 个性化纹理贴图的生成方法及装置
CN115409933A (zh) * 2022-10-28 2022-11-29 北京百度网讯科技有限公司 多风格纹理贴图生成方法及其装置
CN116051729A (zh) * 2022-12-15 2023-05-02 北京百度网讯科技有限公司 三维内容生成方法、装置和电子设备
CN116229008A (zh) * 2023-03-06 2023-06-06 北京百度网讯科技有限公司 图像处理方法和装置
CN116310008A (zh) * 2023-05-11 2023-06-23 深圳大学 一种基于少样本学习的图像处理方法及相关设备
CN116958451A (zh) * 2023-09-15 2023-10-27 腾讯科技（深圳）有限公司 模型处理、图像生成方法、装置、计算机设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108399649A (zh) * 2018-03-05 2018-08-14 中科视拓（北京）科技有限公司 一种基于级联回归网络的单张图片三维人脸重建方法
CN109255830A (zh) * 2018-08-31 2019-01-22 百度在线网络技术（北京）有限公司 三维人脸重建方法和装置
US20190035149A1 (en) * 2015-08-14 2019-01-31 Metail Limited Methods of generating personalized 3d head models or 3d body models
CN111951372A (zh) * 2020-06-30 2020-11-17 重庆灵翎互娱科技有限公司 一种三维人脸模型的生成方法和设备
US10991154B1 (en) * 2019-12-27 2021-04-27 Ping An Technology (Shenzhen) Co., Ltd. Method for generating model of sculpture of face with high meticulous, computing device, and non-transitory storage medium
CN113506367A (zh) * 2021-08-24 2021-10-15 广州虎牙科技有限公司 一种三维人脸模型训练方法、三维人脸重建方法及相关装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190035149A1 (en) * 2015-08-14 2019-01-31 Metail Limited Methods of generating personalized 3d head models or 3d body models
CN108399649A (zh) * 2018-03-05 2018-08-14 中科视拓（北京）科技有限公司 一种基于级联回归网络的单张图片三维人脸重建方法
CN109255830A (zh) * 2018-08-31 2019-01-22 百度在线网络技术（北京）有限公司 三维人脸重建方法和装置
US10991154B1 (en) * 2019-12-27 2021-04-27 Ping An Technology (Shenzhen) Co., Ltd. Method for generating model of sculpture of face with high meticulous, computing device, and non-transitory storage medium
CN111951372A (zh) * 2020-06-30 2020-11-17 重庆灵翎互娱科技有限公司 一种三维人脸模型的生成方法和设备
CN113506367A (zh) * 2021-08-24 2021-10-15 广州虎牙科技有限公司 一种三维人脸模型训练方法、三维人脸重建方法及相关装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115345980A (zh) * 2022-10-18 2022-11-15 北京百度网讯科技有限公司 个性化纹理贴图的生成方法及装置
CN115409933A (zh) * 2022-10-28 2022-11-29 北京百度网讯科技有限公司 多风格纹理贴图生成方法及其装置
CN115409933B (zh) * 2022-10-28 2023-02-03 北京百度网讯科技有限公司 多风格纹理贴图生成方法及其装置
CN116051729A (zh) * 2022-12-15 2023-05-02 北京百度网讯科技有限公司 三维内容生成方法、装置和电子设备
CN116051729B (zh) * 2022-12-15 2024-02-13 北京百度网讯科技有限公司 三维内容生成方法、装置和电子设备
CN116229008A (zh) * 2023-03-06 2023-06-06 北京百度网讯科技有限公司 图像处理方法和装置
CN116229008B (zh) * 2023-03-06 2023-12-12 北京百度网讯科技有限公司 图像处理方法和装置
CN116310008A (zh) * 2023-05-11 2023-06-23 深圳大学 一种基于少样本学习的图像处理方法及相关设备
CN116310008B (zh) * 2023-05-11 2023-09-19 深圳大学 一种基于少样本学习的图像处理方法及相关设备
CN116958451A (zh) * 2023-09-15 2023-10-27 腾讯科技（深圳）有限公司 模型处理、图像生成方法、装置、计算机设备和存储介质
CN116958451B (zh) * 2023-09-15 2023-12-26 腾讯科技（深圳）有限公司 模型处理、图像生成方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
KR20240002898A (ko) 2024-01-08
US20230419592A1 (en) 2023-12-28
CN114842123B (zh) 2022-09-09
JP2024004444A (ja) 2024-01-16

Similar Documents

Publication Publication Date Title
CN114842123B (zh) 三维人脸重建模型训练和三维人脸形象生成方法及装置
CN115345980B (zh) 个性化纹理贴图的生成方法及装置
CN113963110B (zh) 纹理图生成方法、装置、电子设备及存储介质
CN112562069B (zh) 三维模型的构造方法、装置、设备和存储介质
CN113327278A (zh) 三维人脸重建方法、装置、设备以及存储介质
CN115049799A (zh) 3d模型和虚拟形象的生成方法和装置
CN113409430B (zh) 可驱动三维人物生成方法、装置、电子设备及存储介质
CN114549710A (zh) 一种虚拟形象的生成方法、装置、电子设备及存储介质
CN114792359B (zh) 渲染网络训练和虚拟对象渲染方法、装置、设备及介质
CN115018992B (zh) 发型模型的生成方法、装置、电子设备及存储介质
CN113658309A (zh) 三维重建方法、装置、设备以及存储介质
CN113591566A (zh) 图像识别模型的训练方法、装置、电子设备和存储介质
CN114792355B (zh) 虚拟形象生成方法、装置、电子设备和存储介质
CN114549728A (zh) 图像处理模型的训练方法、图像处理方法、装置及介质
CN115170703A (zh) 虚拟形象驱动方法、装置、电子设备及存储介质
CN114998490A (zh) 一种虚拟对象生成方法、装置、设备及存储介质
CN114708374A (zh) 虚拟形象生成方法、装置、电子设备和存储介质
CN113052962A (zh) 模型训练、信息输出方法，装置，设备以及存储介质
CN115359166B (zh) 一种图像生成方法、装置、电子设备和介质
CN115409951B (zh) 图像处理方法、装置、电子设备及存储介质
CN116524162A (zh) 三维虚拟形象迁移方法、模型更新方法及相关设备
EP4086853A2 (en) Method and apparatus for generating object model, electronic device and storage medium
CN113421335B (zh) 图像处理方法、图像处理装置、电子设备和存储介质
CN115311403A (zh) 深度学习网络的训练方法、虚拟形象生成方法及装置
CN115222895A (zh) 图像生成方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant