CN113538221A - 三维人脸的处理方法、训练方法、生成方法、装置及设备 - Google Patents

三维人脸的处理方法、训练方法、生成方法、装置及设备 Download PDF

Info

Publication number
CN113538221A
CN113538221A CN202110826278.4A CN202110826278A CN113538221A CN 113538221 A CN113538221 A CN 113538221A CN 202110826278 A CN202110826278 A CN 202110826278A CN 113538221 A CN113538221 A CN 113538221A
Authority
CN
China
Prior art keywords
dimensional face
model
dimensional
image
current iteration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110826278.4A
Other languages
English (en)
Inventor
王顺飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202110826278.4A priority Critical patent/CN113538221A/zh
Publication of CN113538221A publication Critical patent/CN113538221A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本申请适用于图像处理技术领域，提供了一种三维人脸的处理方法、训练方法、生成方法、装置及设备。所述处理方法包括：获取二维人脸目标图像；获取三维人脸参考模型；根据所述二维人脸目标图像、所述三维人脸参考模型和三维人脸重建网络，获取重建的所述二维人脸目标图像对应的三维人脸目标模型，所述三维人脸目标模型是所述二维人脸目标图像对应的风格化的三维人脸模型。通过本申请可获取风格化的三维人脸模型。

Description

三维人脸的处理方法、训练方法、生成方法、装置及设备
技术领域
本申请属于图像处理技术领域，尤其涉及一种三维人脸的处理方法、训练方法、生成方法、装置及设备。
背景技术
人脸图像是图像领域中应用较为广泛的图像。近几年随着研究方法的进步以及相关数据集的收集，人脸风格化成为了一个较为热门的研究领域和应用方向。人脸风格化是将人脸头像转换为特定的风格头像，例如常见的素描肖像风格、卡通形象(动画)风格、油画风格等。但现有技术还无法实现三维的人脸风格化，难以满足用户需求。
发明内容
本申请实施例提供了一种三维人脸的处理方法、训练方法、生成方法、装置及设备，可以获取风格化的三维人脸模型。
第一方面，本申请实施例提供了一种三维人脸的处理方法，所述处理方法包括：
获取二维人脸目标图像；
获取三维人脸参考模型；
根据所述二维人脸目标图像、所述三维人脸参考模型和三维人脸重建网络，获取重建的所述二维人脸目标图像对应的三维人脸目标模型，所述三维人脸目标模型是所述二维人脸目标图像对应的风格化的三维人脸模型。
在本申请实施例中，通过获取二维人脸目标图像和三维人脸参考模型，可以根据二维人脸目标图像、三维人脸参考模型和三维人脸重建网络，得到重建的二维人脸图像对应的三维人脸目标模型，从而获得二维人脸图像对应的风格化的三维人脸模型。
第二方面，本申请实施例提供了一种三维人脸重建网络的训练方法，所述训练方法包括：
获取至少一个二维人脸样本图像及其对应的三维人脸样本模型，所述三维人脸样本模型基于所述二维人脸样本图像和三维人脸参考模型获取得到；
基于所述二维人脸样本图像、所述三维人脸参考模型和待训练的神经网络，获取所述二维人脸样本图像对应的三维人脸预测模型；
根据所述三维人脸样本模型和所述三维人脸预测模型的损失值，训练所述神经网络，以得到三维人脸重建网络，所述三维人脸重建网络用于重建风格化的三维人脸模型。
在本申请实施例中，根据至少一个二维人脸样本图像及其对应的三维人脸样本模型，以及待训练的神经网络，可以生成作为预测值的风格化的三维人脸预测模型，根据作为预测值的三维人脸预测模型和作为真实值的三维人脸样本模型的损失值，可以对上述神经网络进行训练，得到三维人脸重建网络。另外，在训练得到三维人脸重建网络的过程中，通过将基于二维人脸参考图像和三维人脸参考模型快速获取的三维人脸样本模型作为真实值，可以减少人工对真实值的标注，提高三维人脸重建网络的训练效率。
第三方面，本申请实施例提供了一种三维人脸样本模型的生成方法，所述生成方法包括：
获取二维人脸样本图像对应的二维人脸参考图像，所述二维人脸参考图像是所述二维人脸样本图像风格化之后的图像；
获取三维人脸参考模型；
根据所述二维人脸参考图像和所述三维人脸参考模型，生成所述二维人脸样本图像对应的三维人脸样本模型，所述三维人脸样本模型是所述三维人脸参考模型风格化之后的模型，所述三维人脸样本模型用于训练得到三维人脸重建网络，所述三维人脸重建网络用于重建风格化的三维人脸模型。
在本申请实施例中，通过获取三维人脸参考模型和二维人脸样本图像对应的二维人脸参考图像，可以基于二维人脸参考图像中包含的风格化信息，三维人脸参考模型中包含的人脸的三维信息，快速生成用于训练三维人脸重建网络的风格化的三维人脸样本模型，减少了人工对三维人脸样本模型的标注。
第四方面，本申请实施例提供了一种三维人脸的处理装置，所述处理装置包括：
目标图像获取模块，用于获取二维人脸目标图像；
参考模型获取模块，用于获取三维人脸参考模型；
目标模型获取模块，用于根据所述二维人脸目标图像、所述三维人脸参考模型和三维人脸重建网络，获取重建的所述二维人脸目标图像对应的三维人脸目标模型，所述三维人脸目标模型是所述二维人脸目标图像对应的风格化的三维人脸模型。
第五方面，本申请实施例提供了一种三维人脸重建网络的训练装置，所述训练装置包括：
样本模型获取模块，用于获取至少一个二维人脸样本图像及其对应的三维人脸样本模型，所述三维人脸样本模型基于所述二维人脸样本图像和三维人脸参考模型获取得到；
预测模型获取模块，用于基于所述二维人脸样本图像、所述三维人脸参考模型和待训练的神经网络，获取所述二维人脸样本图像对应的三维人脸预测模型；
重建网络训练模块，用于根据所述三维人脸样本模型和所述三维人脸预测模型的损失值，训练所述神经网络，以得到三维人脸重建网络，所述三维人脸重建网络用于重建风格化的三维人脸模型。
第六方面，本申请实施例提供了一种三维人脸样本模型的生成装置，所述生成装置包括：
参考图像获取模块，用于获取二维人脸样本图像对应的二维人脸参考图像，所述二维人脸参考图像是所述二维人脸样本图像风格化之后的图像；
参考模型获取模块，用于获取三维人脸参考模型；
样本模型生成模块，用于根据所述二维人脸参考图像和所述三维人脸参考模型，生成所述二维人脸样本图像对应的三维人脸样本模型，所述三维人脸样本模型是所述三维人脸参考模型风格化之后的模型，所述三维人脸样本模型用于训练得到三维人脸重建网络，所述三维人脸重建网络用于重建风格化的三维人脸模型。
第七方面，本申请实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的处理方法的步骤，或者如上述第二方面所述的训练方法的步骤，或者如上述第三方面所述的生成方法的步骤。
第八方面，本申请实施例提供了一种芯片，包括处理器，所述处理器用于读取并执行存储器中存储的计算机程序，以执行如上述第一方面所述的处理方法的步骤，或者如上述第二方面所述的训练方法的步骤，或者如上述第三方面所述的生成方法的步骤。
可选地，所述芯片还包括存储器，所述存储器与所述处理器通过电路或电线连接。
第九方面，本申请实施例提供了一种计算机可读存储介质，所述计算机程序被处理器执行时实现如上述第一方面所述的处理方法的步骤，或者如上述第二方面所述的训练方法的步骤，或者如上述第三方面所述的生成方法的步骤。
第十方面，本申请实施例提供了一种计算机程序产品，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行如上述第一方面所述的处理方法的步骤，或者如上述第二方面所述的训练方法的步骤，或者如上述第三方面所述的生成方法的步骤
可以理解地，上述提供的第四方面、第五方面、第六方面、第七方面、第八方面、第九方面和第十方面均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可以参考上文所提供的对应的方法中的有益效果，此处不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1a是拍照应用程序的拍照界面的一示例图；图1b是拍照应用程序的拍照界面的另一示例图；
图2是本申请实施例一提供的三维人脸的处理方法的实现流程示意图；
图3是三维人脸目标模型的重建示例图；
图4是本申请实施例二提供的三维人脸重建网络的训练方法的实现流程示例图；
图5是训练得到三维人脸重建网络的流程示例图；
图6是本申请实施例三提供的三维人脸样本模型的生成方法的实现流程示意图；
图7a是人脸朝上的示例图；图7b是人脸朝下的示例图；图7c是人脸朝左的示例图；图7d是人脸朝右的示例图；
图8a是二维人脸样本图像的一处理示例图；图8b是二维人脸样本图像的另一处理示例图；
图9是生成器的基本结构示例图；
图10a是二维人脸样本图像的示例图；图10b是二维人脸参考图像的示例图；图10c是三维人脸参考模型的示例图；图10d是三维人脸样本模型的示例图；
图11是本申请实施例四提供的三维人脸样本模型的生成方法的实现流程示意图；
图12是二维人脸参考图像的关键特征点的示例图；
图13是本申请实施例五提供的三维人脸的处理装置的结构示意图；
图14是本申请实施例六提供的三维人脸重建网络的训练装置的结构示意图；
图15是本申请实施例七提供的三维人脸样本模型的生成装置的结构示意图；
图16是本申请实施例八提供的电子设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
本申请实施例提供的三维人脸的处理方法、三维人脸重建网络的训练方法以及三维人脸样本模型的生成方法可以应用于手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personaldigital assistant，PDA)等电子设备上，本申请实施例对电子设备的具体类型不作任何限制。
应理解，本实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
本申请实施例提供一种三维人脸的处理方法，可以应用于三维的人脸风格化。例如拍照、社交软件等应用程序中通常具有人脸风格化功能，电子设备在检测到这些应用程序中的人脸风格化功能启动时，可以基于三维人脸重建网络将二维人脸图像转化为风格化的三维人脸模型，再对风格化的三维人脸模型进行渲染，即可实现人脸风格化。
如图1a所示是拍照应用程序的拍照界面的一示例图，该拍照界面可以包括预览区域、位于预览区域中的二维人脸图像、“录像”选项、“人像”选项、“人脸风格化”选项、“拍照”按钮等。在检测到对拍照界面中的“人脸风格化”选项的点击操作时，可以基于本申请中三维人脸重建网络，将拍照界面中的预览区域中的二维人脸图像转化为风格化的三维人脸模型，通过对风格化的三维人脸模型进行渲染，可以得到风格化的三维人脸图像。如图1b所示是拍照应用程序的拍照界面的另一示例图，图1b的拍照界面中的预览区域显示的是风格化的三维人脸图像。
在将二维人脸图像转化为风格化的三维人脸模型时，相关技术方案是基于图像类比算法，图像类比算法是基于图像块的纹理仿真运算，其风格化效果有限。为了改善相关技术方案对二维人脸图像的风格化效果，本申请实施例采用深度学习的方法进行人脸风格化和三维人脸重建的端到端生成，便于部署和优化，且在部署过程中不依赖于人脸关键点的输入，简化了部署流程。
本申请实施例在采用深度学习的方法(即三维人脸重建网络)进行人脸风格化和三维人脸重建的端到端生成之前，需要先获取训练数据集，训练数据集包括H个二维人脸样本图像及对应的三维人脸样本模型，H为大于零的整数；再根据训练数据集训练神经网络，以得到三维人脸重建网络，基于二维人脸目标图像、三维人脸参考模型和三维人脸重建网络，可以得到二维人脸目标图像对应的风格化的三维人脸目标模型，通过对三维人脸目标模型进行渲染，可以得到二维人脸目标图像对应的风格化的三维人脸图像。
本申请实施例在获取训练数据集中的三维人脸样本模型时，可以先获取二维人脸样本图像对应的二维人脸参考图像和三维人脸参考模型，由于二维人脸参考图像中包含风格化信息，三维人脸参考模型中包括人脸的三维信息，故根据二维人脸参考图像和三维人脸参考模型，可以快速地生成三维人脸样本模型，减少人工对三维人脸样本模型的标注。
本申请实施例在三维人脸重建网络的训练过程中，通过将基于二维人脸参考图像和三维人脸参考模型快速获取的三维人脸样本模型作为真实值，可以减少人工对真实值的标注，提高三维人脸重建网络的训练效率。
为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。
参见图2，是本申请实施例一提供的三维人脸的处理方法的实现流程示意图，该处理方法可以应用于电子设备。如图2所示，该处理方法可以包括以下步骤：
步骤201，获取二维人脸目标图像。
其中，二维人脸目标图像可以是指任一需要进行三维的人脸风格化的二维人脸图像。二维人脸目标图像的格式可以为YUV、RGB等任一格式，二维人脸目标图像也可以为纹理数据，在此不做限定。
本实施例对二维人脸目标图像的获取方式不做限定。例如，可以从电子设备存储的人脸图像中获取，也可以从其他设备获取，或者二维人脸目标图像也可以是在使用电子设备拍照时所拍摄的人脸图像或者拍照界面的预览区域中显示的人脸图像。
步骤202，获取三维人脸参考模型。
其中，三维人脸参考模型是一个三维人脸模型。本实施例基于二维人脸目标图像对三维人脸参考模型进行形变，可以得到二维人脸目标图像对应的风格化的三维人脸模型。三维人脸模型可以称之为三维人脸mesh。三维人脸模型通常包括较多的三维点，这些三维点以及每个三维点与周边三维点之间的相对位置，可以表示出三维人脸模型。
在一个实施例中，可以获取至少一个人脸的三维模型，根据各个三维模型，确定三维人脸参考模型。在三维人脸参考模型基于多个人脸的三维模型得到时，三维人脸参考模型具有较好的适应性。
可选地，可以根据各个三维模型的权重，确定三维人脸参考模型。
示例性的，可以获取三个人脸的三维模型，分别为X1、X2和X3，pj表示三维人脸参考模型中的第j个三维点的坐标，
Figure BDA0003173706970000091
表示X1中与三维人脸参考模型中的第j个三维点对应的三维点的坐标，
Figure BDA0003173706970000092
表示X2中与三维人脸参考模型中的第j个三维点对应的三维点的坐标，
Figure BDA0003173706970000093
表示X3中与三维人脸参考模型中的第j个三维点对应的三维点的坐标，α1表示X1的权重，α2表示X2的权重，α3表示X3的权重，那么
Figure BDA0003173706970000094
其中，α1+α2+α3＝1。
在基于各个三维模型对应的权重，对各个三维模型进行加权之前，可以先将各个三维模型进行人脸对齐，避免得到的三维人脸参考模型出现重影。
在获取人脸的三维模型时，可以采用深度相机采集人脸，得到人脸点云数据，根据人脸点云数据可以生成人脸的三维模型。
步骤203，根据二维人脸目标图像、三维人脸参考模型和三维人脸重建网络，获取重建的二维人脸目标图像对应的三维人脸目标模型。
其中，三维人脸目标模型是二维人脸目标图像对应的风格化的三维人脸模型。三维人脸重建网络用于重建风格化的三维人脸模型。
三维人脸重建网络可以包括特征提取模块和多层感知器。
特征提取模块用于提取二维人脸目标图像中的图像特征。特征提取模块可以是基于卷积神经网络(Convolutional Neural Networks，CNN)的编码器，具体可采用MobileNet、残差网络(Residual Network，ResNet)、Xception等网络。二维人脸目标图像在经过特征提取模块之后，其尺度减小，通道数增大。
可选地，在将二维人脸目标图像输入至特征提取模块之前，可以先对二维人脸目标图像进行归一化，以防止过拟合。例如，先获取二维人脸目标图像中每个像素点的RGB三通道的值，每个像素点的RGB三通道的值减去预设均值(例如127.5)，再除以预设方差(例如127.5)，可以实现对二维人脸目标图像的归一化。可选地，也可以采用其他方式(例如每个像素点的RGB三通道的值均除以255)对二维人脸目标图像进行归一化，在此不做限定。
多层感知器用于基于特征提取模块提取的图像特征回归形变参数。多层感知器通常由多个全连接层组成，全连接层的节点数依次增多。
可选地，本实施例也可以采用卷积层和全连接层结合的方式回归形变参数，可以在卷积层之后增加flatten层，再与全连接层相连接。通过flatten层可以将全连接层的多维输入一维化，实现从卷积层到全连接层的过渡。
在一个实施例中，根据二维人脸目标图像、三维人脸参考模型和三维人脸重建网络，获取重建的二维人脸目标图像对应的三维人脸目标模型，包括：
将二维人脸目标图像输入三维人脸重建网络，得到二维人脸目标图像对应的第一形变参数，第一形变参数用于调整三维人脸参考模型的形变；
根据第一形变参数，将三维人脸参考模型转化为三维人脸目标模型。
将二维人脸目标图像输入三维人脸重建网络，三维人脸重建网络可以输出二维人脸目标图像对应的第一形变参数，基于二维人脸目标图像对应的第一形变参数，即可调整三维人脸参考模型的形变，得到三维人脸目标模型，通过对三维人脸目标模型进行渲染，即可得到二维人脸目标图像对应的风格化的三维人脸图像，实现三维的人脸风格化。如图3所示是三维人脸目标模型的重建示例图。
在一个实施例中，上述处理方法还包括：
获取至少一个二维人脸样本图像及其对应的三维人脸样本模型；
将二维人脸样本图像输入待训练的神经网络，得到二维人脸样本图像对应的第二形变参数，第二形变参数用于调整三维人脸参考模型的形变；
根据第二形变参数，将三维人脸参考模型转化为二维人脸样本图像对应的三维人脸预测模型；
根据三维人脸样本模型和三维人脸预测模型的损失值，训练上述神经网络，以得到三维人脸重建网络。
其中，二维人脸样本图像是指用于训练得到三维人脸重建网络的二维人脸图像。二维人脸样本图像的格式可以为YUV、RGB等任一格式，二维人脸样本图像也可以为纹理数据，在此不做限定。
三维人脸样本模型是二维人脸样本图像对应的风格化的三维人脸模型，也可以理解为三维人脸参考模型风格化之后的模型，三维人脸样本模型用于训练得到三维人脸重建网络。二维人脸样本图像和其对应的三维人脸样本模型构成训练数据，可以用于训练得到三维人脸重建网络。
在一个实施例中，获取至少一个二维人脸样本图像对应的三维人脸样本模型包括：
获取二维人脸样本图像对应的二维人脸参考图像，二维人脸参考图像是二维人脸样本图像风格化之后的图像；
根据二维人脸参考图像和三维人脸参考模型，生成二维人脸样本图像对应的三维人脸样本模型。
其中，可以先获取二维人脸样本图像，再通过对二维人脸样本图像进行风格化处理，得到二维人脸样本图像对应的二维人脸参考图像。
在对二维人脸样本图像进行风格化处理之前，可以先获取二维人脸样本图像中人脸区域的图像，再对人脸区域的图像进行风格化处理，得到二维人脸参考图像，从而可实现对人脸区域的图像的风格化，而无需对二维人脸样本图像中的非人脸区域的图像进行风格化处理，提高了人脸的风格化效率。
二维人脸参考图像是二维人脸样本图像风格化之后的图像，二维人脸参考图像中通常包含风格化信息，三维人脸参考模型中通常包含人脸的三维信息，故根据二维人脸参考图像和三维人脸参考模型，可以自动生成包含风格化信息和人脸的三维信息的三维人脸样本模型，减少人工对三维人脸样本模型的标注。其中，风格化信息可以包括人脸的轮廓、五官的位置和大小等信息。人脸的三维信息可以包括人脸的三维点以及每个三维点与周边三维点之间的相对位置等信息。
其中，三维人脸预测模型可以是指在训练得到三维人脸重建网络的过程中，基于待训练的神经网络，从二维人脸样本图像和三维人脸参考模型中重建出的风格化的三维人脸模型。
根据预设的损失函数，可以计算三维人脸样本模型和三维人脸预测模型的损失值，根据三维人脸样本模型和三维人脸预测模型的损失值和反向传播算法，可以更新上述神经网络(即用于训练得到三维人脸重建网络的神经网络)的网络参数。在损失值小于损失阈值或者迭代次数达到迭代阈值时，可以终止迭代，训练结束，训练结束后的神经网络即为三维人脸重建网络。
损失函数也可以称之为代价函数。本实施例对损失函数的类型不做限定。例如损失函数可以采用均方误差(Mean Square Error，MSE)，也可以采用绝对误差和(Sum ofAbsolute Differences，SAD)，或者MSE和SAD相联合。
本申请实施例通过获取二维人脸目标图像和三维人脸参考模型，可以根据二维人脸目标图像、三维人脸参考模型和三维人脸重建网络，得到重建的二维人脸图像对应的三维人脸目标模型，从而获得二维人脸图像对应的风格化的三维人脸模型。
参见图4，是本申请实施例二提供的三维人脸重建网络的训练方法的实现流程示例图，该训练方法可以应用于电子设备，通过该训练方法可以训练得到实施例一中的三维人脸重建网络。如图4所示，该训练方法可以包括以下步骤：
步骤401，获取至少一个二维人脸样本图像及其对应的三维人脸样本模型。
其中，三维人脸样本模型基于二维人脸样本图像和三维人脸参考模型获取得到。
二维人脸样本图像是指用于训练得到三维人脸重建网络的二维人脸图像。二维人脸样本图像的格式可以为YUV、RGB等任一格式，二维人脸样本图像也可以为纹理数据，在此不做限定。
三维人脸样本模型是三维人脸参考模型风格化之后的模型，三维人脸样本模型用于训练得到三维人脸重建网络。二维人脸样本图像和其对应的三维人脸样本模型构成训练数据，可以用于训练得到实施例一中的三维人脸重建网络。
步骤402，基于二维人脸样本图像、三维人脸参考模型和待训练的神经网络，获取二维人脸样本图像对应的三维人脸预测模型。
其中，三维人脸预测模型可以是指在训练得到三维人脸重建网络的过程中，基于待训练的神经网络，从二维人脸样本图像和三维人脸参考模型中重建出的风格化的三维人脸模型。
在一个实施例中，基于二维人脸样本图像、三维人脸参考模型和三维人脸重建网络，获取二维人脸样本图像对应的三维人脸预测模型，包括：
将二维人脸样本图像输入神经网络，得到二维人脸样本图像对应的第二形变参数；
根据第二形变参数，将三维人脸参考模型转化为三维人脸预测模型。
待训练的神经网络可以包括特征提取模块和多层感知器。
特征提取模块用于提取二维人脸样本图像中的图像特征。特征提取模块可以是基于CNN的编码器，具体可采用MobileNet、ResNet、Xception等网络。
二维人脸样本图像在经过特征提取模块之后，其尺度减小，通道数增大。
可选地，在将二维人脸样本图像输入至特征提取模块之前，可以先对二维人脸样本图像进行归一化，以防止过拟合。例如，先获取二维人脸样本图像中每个像素点的RGB三通道的值，每个像素点的RGB三通道的值减去预设均值(例如127.5)，再除以预设方差(例如127.5)，可以实现对二维人脸样本图像的归一化。可选地，也可以采用其他方式(例如每个像素点的RGB三通道的值均除以255)对二维人脸样本图像进行归一化，在此不做限定。
多层感知器用于基于特征提取模块提取的图像特征回归形变参数。多层感知器通常有多个全连接层组成，全连接层的节点数依次增多。
可选地，本实施例也可以采用卷积层和全连接层结合的方式回归形变参数，可以在卷积层之后增加flatten层，再与全连接层相连接。通过flatten层可以将全连接层的多维输入一维化，实现从卷积层到全连接层的过渡。
步骤403，根据三维人脸样本模型和三维人脸预测模型的损失值，训练神经网络，以得到三维人脸重建网络。
其中，三维人脸重建网络用于重建风格化的三维人脸模型。
根据预设的损失函数，可以计算三维人脸样本模型和三维人脸预测模型的损失值，根据三维人脸样本模型和三维人脸预测模型的损失值和反向传播算法可以更新步骤402中的神经网络的网络参数。在损失值小于损失阈值或者迭代次数达到迭代阈值时，可以终止迭代，训练结束，训练结束后的神经网络即为三维人脸重建网络。
上述损失函数的相关描述，可参见实施例一，在此不再赘述。
如图5所示是训练得到三维人脸重建网络的过程示例图，将二维人脸样本图像输入至待训练的神经网络，该神经网络输出第二形变参数，根据第二形变参数可以将三维人脸参考模型转换为三维人脸预测模型，根据三维人脸预测模型和三维人脸样本模型可以计算损失值，反向传播损失值，以更新神经网络中的网络参数，得到三维人脸重建网络。
本申请实施例根据二维人脸样本图像、三维人脸样本模型和三维人脸重建网络，可以生成作为预测值的风格化的三维人脸预测模型，根据作为预测值的三维人脸预测模型和作为真实值的三维人脸样本模型的损失值，可以实现对待训练的神经网络进行训练，得到三维人脸重建网络。另外，在训练得到三维人脸重建网络的过程中，通过将基于二维人脸参考图像和三维人脸参考模型快速获取的三维人脸样本模型作为真实值，可以减少人工对真实值的标注，提高三维人脸重建网络的训练效率。
参见图6，是本申请实施例三提供的三维人脸样本模型的生成方法的实现流程示意图，该生成方法可以应用于电子设备，通过该生成方法可以生成实施例一和实施例二中的三维人脸样本模型。如图6所示，该生成方法可以包括以下步骤：
步骤601，获取二维人脸样本图像对应的二维人脸参考图像。
其中，二维人脸样本图像是指用于训练三维人脸重建网络的二维人脸图像。二维人脸样本图像的格式可以为YUV、RGB等任一格式，二维人脸样本图像也可以为纹理数据，在此不做限定。
二维人脸参考图像是二维人脸样本图像风格化之后的图像。三维人脸重建网络用于重建风格化的三维人脸模型。在一个实施例中，可以先获取二维人脸样本图像，再通过对二维人脸样本图像进行风格化处理，得到二维人脸样本图像对应的二维人脸参考图像。
在对二维人脸样本图像进行风格化处理之前，可以先获取二维人脸样本图像中人脸区域的图像，再对人脸区域的图像进行风格化处理，得到二维人脸参考图像，从而可实现对人脸区域的图像的风格化，而无需对二维人脸样本图像中的非人脸区域的图像进行风格化处理，提高了人脸的风格化效率。
本实施例对二维人脸样本图像的获取方式不做限定。例如，可以从包含较多人脸图像的CASIA-FaceV5、IMDB-WIKI等开源数据集中获取，也可以通过网络爬虫或者电子设备拍摄等方式获取。
在训练得到三维人脸重建网络时，可以针对一个参考方向训练，也可以针对两个以上的参考方向训练。参考方向可以是上下左右四个方向。
在针对一个参考方向训练时，在获取到二维人脸样本图像之后，需要先检测二维人脸样本图像中人脸朝向是否为参考方向，若人脸朝向为参考方向，则可以从二维人脸样本图像中裁剪出人脸区域的图像，对人脸区域的图像进行风格化处理；若人脸朝向不为参考方向，则可以先旋转二维人脸样本图像，使得旋转后的二维人脸样本图像中人脸朝向为参考方向，再从旋转后的二维人脸样本图像中裁剪出人脸区域的图像，对人脸区域的图像进行风格化处理。其中，人脸朝向可以是指人脸中的下巴指向头顶的方向。如图7a所示是人脸朝上的示例图，图7b所示是人脸朝下的示例图，图7c所示是人脸朝左的示例图，图7d所示是人脸朝右的示例图。
如图8a所示是二维人脸样本图像的一处理示例图。在图8a中，是针对人脸朝上训练得到三维人脸重建网络，在对二维人脸样本图像进行人脸朝向检测后，检测到二维人脸样本图像中人脸朝左，故可以先对二维人脸样本图像进行图像旋转，再进行人脸区域裁剪。
在针对两个参考方向训练时，两个参考方向分别为第一参考方向和第二参考方向，在获取到二维人脸样本图像之后，需要先检测二维人脸样本图像中人脸朝向是否为第一参考方向或者第二参考方向，若人脸朝向为第一参考方向或者第二参考方向，则可以从二维人脸样本图像中裁剪出人脸区域的图像，对人脸区域的图像进行风格化处理；若人脸朝向不为第一参考方向和第二参考方向，则可以先旋转二维人脸样本图像，使得旋转后的二维人脸样本图像中人脸朝向为第一参考方向或者第二参考方向，再从旋转后的二维人脸样本图像中裁剪出人脸区域的图像，对人脸区域的图像进行风格化处理。
在针对三个参考方向训练时，三个参考方向分别为第一参考方向、第二参考方向和第三参考方向，在获取到二维人脸样本图像之后，需要先检测二维人脸样本图像中人脸朝向是否为上述三个参考方向中的任一参考方向，若人脸朝向为上述三个参考方向中的任一参考方向，则可以从二维人脸样本图像中裁剪出人脸区域的图像，对人脸区域的图像进行风格化处理；若人脸朝向不为上述三个参考方向中的任一参考方向，则可以先旋转二维人脸样本图像，使得旋转后的二维人脸样本图像中人脸朝向为上述三个参考方向中的任一参考方向，再从旋转后的二维人脸样本图像中裁剪出人脸区域的图像，对人脸区域的图像进行风格化处理。
由于人脸朝向通常为上下左右四个方向，故在针对四个参考方向训练时，可以直接从二维人脸样本图像中裁剪出人脸区域的图像，而无需对二维人脸样本图像进行旋转操作。
如图8b所示是二维人脸样本图像的另一处理示例图。在图8b中，是针对上下左右四个方向训练得到三维人脸重建网络，在对二维人脸样本图像进行人脸检测后，可以直接进行人脸区域裁剪，无需进行图像旋转。
在一个实施例中，可以采用基于生成式对抗网络(Generative AdversarialNetworks，GAN)的循环生成网络(Cycle Generative Adversarial Networks，CycleGAN)对二维人脸样本图像进行风格化处理。CycleGAN是以一种无监督的方式训练的，不需要成对的训练数据。CycleGAN通常包括生成器和鉴别器，鉴别器的相关介绍可参见相关技术，在此不再赘述。
在本申请实施例中，CycleGAN的生成器可以由基于Unet网络构成，采用人脸重建训练过程中的损失函数和GAN的损失函数对网络进行训练学习。Unet网络也称之为编码器-解码器结构。如图9所示是生成器的基本结构示例图，编码器和解码器采用跳跃连接，将浅层特征融合到深层特征处，增加了生成器的泛化能力。可选地，三维人脸重建网络中的特征提取模块的结构可以采用图9中的编码器的结构。
步骤602，获取三维人脸参考模型。
该步骤与步骤202相同，具体可参见步骤202的相关描述，在此不再赘述。
步骤603，根据二维人脸参考图像和三维人脸参考模型，生成二维人脸样本图像对应的三维人脸样本模型。
其中，三维人脸样本模型是三维人脸参考模型风格化之后的模型，三维人脸样本模型用于训练得到三维人脸重建网络。
二维人脸参考图像是二维人脸样本图像风格化之后的图像，故二维人脸参考图像中通常包含风格化信息，三维人脸参考模型中通常包含人脸的三维信息，故根据二维人脸参考图像和三维人脸参考模型，可以自动生成包含风格化信息和人脸的三维信息的三维人脸样本模型，减少人工对三维人脸样本模型的标注。
在本实施例中，二维人脸样本图像和其对应的三维人脸样本模型构成训练数据，可以用于训练得到三维人脸重建网络。
如图10a所示是二维人脸样本图像的示例图。将图10a所示的二维人脸样本图像进行风格化处理，可以得到如图10b所示的二维人脸参考图像。如图10c所示是三维人脸参考模型的示例图。根据图10b中的二维人脸参考图像和图10c中的三维人脸参考模型，可以得到如图10d所示的三维人脸样本模型。
本申请实施例通过获取二维人脸样本图像对应的二维人脸参考图像和三维人脸参考模型，可以基于二维人脸参考图像中包含风格化信息，三维人脸参考模型中包含人脸三维信息，快速生成用于三维人脸重建网络的风格化的三维人脸样本模型，减少了人工对三维人脸样本模型的标注。
参见图11，是本申请实施例四提供的三维人脸样本模型的生成方法的实现流程示意图，该生成方法应用于电子设备，通过该生成方法可以生成实施例一和实施例二中的三维人脸样本模型。如图11所示，该生成方法可以包括以下步骤：
步骤1101，获取二维人脸样本图像对应的二维人脸参考图像。
该步骤与步骤601相同，具体可参见步骤601的相关描述，在此不再赘述。
步骤1102，获取三维人脸参考模型。
该步骤与步骤202相同，具体可参见步骤202的相关描述，在此不再赘述。
步骤1103，提取二维人脸参考图像的关键特征点。
在一个实施例中，可以先对二维人脸参考图像进行关键特征点检测，在检测到关键特征点时，从二维人脸参考图像中提取关键特征点的坐标(即关键特征点在二维人脸参考图像中的坐标)。其中，关键特征点可以是人脸关键点。如图12所示是二维人脸参考图像的关键特征点的示例图，图12中人脸上的圆点即为关键特征点。
在一个实施例中，可以采用CV目标检测算法或者CNN提取二维人脸参考图像的关键特征点，也可以采用其他算法提起二维人脸参考图像的关键特征点，在此不做限定。
步骤1104，基于关键特征点对三维人脸参考模型的形变进行约束，以生成二维人脸样本图像对应的三维人脸样本模型。
在一个实施例中，可以通过调整三维人脸参考模型的形变，生成二维人脸样本图像对应的三维人脸样本模型。在调整三维人脸参考模型的形变时，可以基于关键特征点对三维人脸参考模型的形变进行约束，使得生成的三维人脸样本模型的风格化接近二维人脸参考图像的风格化，实现三维的人脸风格化。
在一个实施例中，基于关键特征点对三维人脸参考模型的形变进行约束，以生成二维人脸样本图像对应的三维人脸样本模型包括：
获取当次迭代对应的第三形变参数，第三形变参数用于调整三维人脸参考模型的形变，第三形变参数包括形状调整参数、旋转参数、尺度调整参数和平移参数；
根据关键特征点在二维人脸参考图像中的坐标、三维人脸参考模型中各个三维点的坐标以及当次迭代对应的第三形变参数，确定当次迭代对应的三维人脸样本模型中各个三维点的坐标；
根据第一公式计算当次迭代对应的第一能量值；
若当次迭代对应的第一能量或者当前迭代次数满足预设的迭代停止条件，则根据当次迭代对应的三维人脸样本模型中各个三维点的坐标，生成三维人脸样本模型；
若当次迭代对应的第一能量和当前迭代次数不满足迭代停止条件，则根据当次迭代对应的三维人脸样本模型中各个三维点的坐标，更新当次迭代对应的第三形变参数，并返回执行确定当次迭代对应的三维人脸样本模型中各个三维点的坐标的步骤以及后续步骤，直至满足迭代停止条件。
根据当次迭代对应的三维人脸样本模型中各个三维点的坐标，可以确定各个三维点之间的相对位置，根据各个三维点之间的相对位置即可生成三维人脸样本模型；
其中，第一公式为：
Figure BDA0003173706970000201
在w、p'j和pj均为已知量时，Edef表示当次迭代对应的第一能量值；
M表示三维人脸参考模型中三维点的总个数，M为大于零的整数；pj表示三维人脸参考模型中的第j个三维点，j为大于零且小于或者等于M的整数；p'j表示三维人脸参考模型中的第j个三维点在当次迭代对应的三维人脸样本模型中的坐标；w表示当次迭代对应的形状调整参数。
更新当次迭代对应的第三形变参数之后，可以理解为进入下一轮迭代，当前迭代次数加1。
在进行迭代之前，可以获取初始的第三形变参数，初始的第三形变参数可以理解为第零次迭代对应的第三形变参数，基于关键特征点在二维人脸参考图像中的坐标、三维人脸参考模型中各个三维点的坐标以及初始的第一形变参数，可以确定第零次迭代对应的三维人脸样本模型中各个三维点的坐标。可选地，可以在电子设备中预先设置初始的第三形变参数。
在一个实施例中，可以通过求解偏微分方程，得到当次迭代对应的三维人脸样本模型中各个三维点的坐标。
其中，偏微分方程为
Figure BDA0003173706970000202
E表示总能量函数；p'g表示三维人脸参考模型中第g个三维点在当次迭代对应的三维人脸样本模型中的坐标；λ表示调整系数；N表示关键特征点的总个数，N为大于零且小于M的整数；Π表示当次迭代对应的尺度参数；R表示当次迭代对应的旋转参数；t表示当次迭代对应的平移参数；si'表示第i个关键特征点在当次迭代对应的三维人脸样本模型中的坐标；qi表示第i个关键特征点在二维人脸参考图像中的坐标，i为大于零且小于或者等于N的整数。第g个三维点为三维人脸参考模型中的任一三维点，故根据偏微分方程可以求解出当次迭代对应的三维人脸样本模型中每个三维点的坐标。
可选地，可以采用梯度法求解上述偏微分方程。
第三形变参数中的形状调整参数可以理解为三维人脸参考模型中每个三维点到三维人脸样本模型中对应三维点的映射关系，或者三维人脸参考模型中相邻两个三维点之间的距离到三维人脸样本模型中对应相邻两个三维点之间的距离的映射关系。可选地，可以采用矩阵的形式表示形状调整参数，以矩阵表示后可以称之为形状调整矩阵。
第三形变参数中的尺度参数、旋转参数和平移参数可以理解为关键特征点在三维人脸样本模型中对应的三维点到二维人脸参考图像中相应关键特征点的映射关系。根据尺度参数、旋转参数和平移参数可以将关键特征点在三维人脸样本模型中对应的三维点映射到二维人脸参考图像中，通过计算与二维人脸参考图像中对应的关键特征点的距离，并减小该距离，可以使得生成的三维人脸样本模型的风格化接近二维人脸参考图像的风格化，实现三维的人脸风格化。
可选地，调整系数λ为预先设置的常量，可以根据实际需求修改。
在一个实施例中，在根据第一公式计算当次迭代对应的第一能量值，之后包括：
计算当次迭代对应的第一能量值和上次迭代对应的第一能量值的差值的绝对值；
若差值的绝对值小于预设阈值，或者当前迭代次数达到最大迭代次数，则确定当次迭代对应的第一能量值或者所述当前迭代次数满足迭代停止条件；
若差值的绝对值大于或者等于预设阈值，且当前迭代次数未达到最大迭代次数，则确定当次迭代对应的第二能量和当前迭代次数不满足迭代停止条件。
在当次迭代为第零次迭代时，上次迭代对应的第一能量值可以为预设值，例如上次迭代对应的第一能量值为零。
迭代停止条件包括差值的绝对值小于预设阈值，或者当前迭代次数达到最大迭代次数。
在一个实施例中，根据当次迭代对应的三维人脸样本模型中各个三维点的坐标，更新当次迭代对应的第三形变参数包括：
根据当次迭代对应的第一能量函数，更新当次迭代对应的形状调整参数；
根据当次迭代对应的第二能量函数，更新当次迭代对应的旋转参数、尺度调整参数和平移参数；
其中，当次迭代对应的第一能量函数为：
Figure BDA0003173706970000221
在w为未知量且p'j和pj为已知量时，Edef表示当次迭代对应的第一能量函数；
当次迭代对应的第二能量函数为：
Figure BDA0003173706970000222
在Π、R和t为未知量且si'和qi为已知量时，Elan表示当次迭代对应的第二能量函数。
在根据当次迭代对应的第一能量函数，更新当次迭代对应的形状调整参数时，可以采用最小二乘法，从当次迭代对应的第一能量函数中求解出更新后的当次迭代对应的形状调整参数，进入下一轮迭代，且当前迭代次数加1。
在根据当次迭代对应的第二能量函数，更新当次迭代对应的旋转参数、尺度调整参数和平移参数时，可以以减小第二能量值为目标或者向第二能量值减小的方向，更新当次迭代对应的旋转参数、尺度调整参数和平移参数，即要求根据更新后当次迭代对应的旋转参数、尺度调整参数和平移参数计算的第二能量值小于根据更新前当次迭代对应的旋转参数、尺度调整参数和平移参数计算的第二能量值。其中，在Π、R、t、si'和qi均为已知量时，Elan表示第二能量值。
本申请实施例在实施例一的基础上，通过提取二维人脸参考图像的关键特征点，并基于关键特征点对三维人脸参考模型的形变进行约束，可以生成风格化接近二维人脸参考图像的风格化的三维人脸样本图像，实现三维的人脸风格化。
参见图13，是本申请实施例五提供的三维人脸的处理装置的结构示例图。为了便于说明，仅示出了与本申请实施例相关的部分。
上述处理装置包括：
目标图像获取模块131，用于获取二维人脸目标图像；
参考模型获取模块132，用于获取三维人脸参考模型；
目标模型获取模块133，用于根据二维人脸目标图像、三维人脸参考模型和三维人脸重建网络，获取重建的二维人脸目标图像对应的三维人脸目标模型，三维人脸目标模型是二维人脸目标图像对应的风格化的三维人脸模型。
可选地，上述目标模型获取模块133具体用于：
将二维人脸目标图像输入三维人脸重建网络，得到二维人脸目标图像对应的第一形变参数，第一形变参数用于调整三维人脸参考模型的形变；
根据第一形变参数，将三维人脸参考模型转化为三维人脸目标模型。
可选地，上述处理装置还包括：
样本模型获取模块，用于获取至少一个二维人脸样本图像及其对应的三维人脸样本模型；
样本图像输入模块，用于将二维人脸样本图像输入待训练的神经网络，得到二维人脸样本图像对应的第二形变参数，第二形变参数用于调整三维人脸参考模型的形变；
参考模型转化模块，用于根据第二形变参数，将三维人脸参考模型转化为二维人脸样本图像对应的三维人脸预测模型；
根据三维人脸样本模型和三维人脸预测模型的损失值，训练神经网络，以得到三维人脸重建网络。
可选地，上述样本模型获取模块具体用于：
获取二维人脸样本图像对应的二维人脸参考图像，二维人脸参考图像是二维人脸样本图像风格化之后的图像；
根据二维人脸参考图像和三维人脸参考模型，生成二维人脸样本图像对应的三维人脸样本模型。
可选地，上述参考模型获取模块132具体用于：
获取至少一个人脸的三维模型；
根据各个三维模型，确定三维人脸参考模型。
本申请实施例提供的处理装置可以应用在前述方法实施例一中，详情参见上述方法实施例一的描述，在此不再赘述。
参见图14，是本申请实施例六提供的三维人脸重建网络的训练装置的结构示例图。为了便于说明，仅示出了与本申请实施例相关的部分。
上述训练装置包括：
样本模型获取模块141，用于获取至少一个二维人脸样本图像及其对应的三维人脸样本模型，三维人脸样本模型基于二维人脸样本图像和三维人脸参考模型获取得到；
预测模型获取模块142，用于基于二维人脸样本图像、三维人脸参考模型和待训练的神经网络，获取二维人脸样本图像对应的三维人脸预测模型；
重建网络训练模块143，用于根据三维人脸样本模型和三维人脸预测模型的损失值，训练神经网络，以得到三维人脸重建网络，三维人脸重建网络用于重建风格化的三维人脸模型。
可选地，上述预测模型获取模块142具体用于：
将二维人脸样本图像输入神经网络，得到二维人脸样本图像对应的第二形变参数；
根据第二形变参数，将三维人脸参考模型转化为三维人脸预测模型，第二形变参数用于调整三维人脸参考模型的形变。
本申请实施例提供的训练装置可以应用在前述方法实施例二中，详情参见上述方法实施例二的描述，在此不再赘述。
参见图15，是本申请实施例七提供的三维人脸样本模型的生成装置的结构示意图。为了便于说明，仅示出了与本申请实施例相关的部分。
上述生成装置包括：
参考图像获取模块151，用于获取二维人脸样本图像对应的二维人脸参考图像，二维人脸参考图像是二维人脸样本图像风格化之后的图像；
参考模型获取模块152，用于获取三维人脸参考模型；
样本模型生成模块153，用于根据二维人脸参考图像和三维人脸参考模型，生成二维人脸样本图像对应的三维人脸样本模型，三维人脸样本模型是三维人脸参考模型风格化之后的模型，三维人脸样本模型用于训练得到三维人脸重建网络，三维人脸重建网络用于重建风格化的三维人脸模型。
可选地，上述样本模型生成模块153包括：
特征点提取单元，用于提取二维人脸参考图像的关键特征点；
形变约束单元，用于基于关键特征点对三维人脸参考模型的形变进行约束，以生成二维人脸样本图像对应的三维人脸样本模型。
可选地，上述形变约束单元包括：
获取子单元，用于获取当次迭代对应的第三形变参数，第三形变参数用于调整三维人脸参考模型的形变，第三形变参数包括形状调整参数、旋转参数、尺度调整参数和平移参数；
确定子单元，用于根据关键特征点在二维人脸参考图像中的坐标、三维人脸参考模型中各个三维点的坐标以及当次迭代对应的第三形变参数，确定当次迭代对应的三维人脸样本模型中各个三维点的坐标；
计算子单元，用于根据第一公式计算当次迭代对应的第一能量值；
生成子单元，用于若当次迭代对应的第一能量或者当前迭代次数满足预设的迭代停止条件，则根据当次迭代对应的三维人脸样本模型中各个三维点的坐标，生成三维人脸样本模型；
更新子单元，用于若当次迭代对应的第一能量和当前迭代次数不满足迭代停止条件，则根据当次迭代对应的三维人脸样本模型中各个三维点的坐标，更新当次迭代对应的第三形变参数，并返回执行确定子单元以及后续子单元，直至满足迭代停止条件；
其中，第一公式为：
Figure BDA0003173706970000261
在w、p'j和pj均为已知量时，Edef表示当次迭代对应的第一能量值；
M表示三维人脸参考模型中三维点的总个数，M为大于零的整数；pj表示三维人脸参考模型中的第j个三维点，j为大于零且小于或者等于M的整数；p'j表示三维人脸参考模型中的第j个三维点在当次迭代对应的三维人脸样本模型中的坐标；w表示当次迭代对应的形状调整参数。
可选地，上述形变约束单元还包括：
差值子单元，用于计算当次迭代对应的第一能量值和上次迭代对应的第一能量值的差值的绝对值；
判断子单元，用于若差值的绝对值小于预设阈值，或者当前迭代次数达到最大迭代次数，则确定当次迭代对应的第一能量值或者当前迭代次数满足迭代停止条件；
停止子单元，用于若差值的绝对值大于或者等于预设阈值，且当前迭代次数未达到最大迭代次数，则确定当次迭代对应的第二能量和当前迭代次数不满足迭代停止条件。
可选地，上述更新子单元具体用于：
根据当次迭代对应的第一能量函数，更新当次迭代对应的形状调整参数；
根据当次迭代对应的第二能量函数，更新当次迭代对应的旋转参数、尺度调整参数和平移参数；
其中，当次迭代对应的第一能量函数为：
Figure BDA0003173706970000271
在w为未知量且p'j和pj为已知量时，Edef表示当次迭代对应的第一能量函数；
当次迭代对应的第二能量函数为：
Figure BDA0003173706970000272
在Π、R和t为未知量且si'和qi为已知量时，Elan表示当次迭代对应的第二能量函数；
N表示关键特征点的总个数，N为大于零且小于M的整数；Π表示当次迭代对应的尺度参数；R表示当次迭代对应的旋转参数；t表示当次迭代对应的平移参数；si'表示第i个关键特征点在当次迭代对应的三维人脸样本模型中的坐标；qi表示第i个关键特征点在二维人脸参考图像中的坐标，i为大于零且小于或者等于N的整数。
可选地，上述参考图像获取模块151具体用于：
获取二维人脸样本图像中人脸区域的图像；
对人脸区域的图像进行风格化处理，得到二维人脸参考图像。
本申请实施例提供的生成装置可以应用在前述方法实施例三和实施例四中，详情参见上述方法实施例三和实施例四的描述，在此不再赘述。
图16是本申请实施例八提供的电子设备的结构示意图。如图16所示，该实施例的电子设备16包括：一个或多个处理器160(图中仅示出一个)、存储器161以及存储在所述存储器161中并可在所述至少一个处理器160上运行的计算机程序162。所述处理器160执行所述计算机程序162时实现上述各个方法实施例中的步骤。
所述电子设备可包括，但不仅限于，处理器160、存储器161。本领域技术人员可以理解，图16仅仅是电子设备16的示例，并不构成对电子设备16的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器160可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器161可以是所述电子设备16的内部存储单元，例如电子设备16的硬盘或内存。所述存储器161也可以是所述电子设备16的外部存储设备，例如所述电子设备16上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器161还可以既包括所述电子设备16的内部存储单元也包括外部存储设备。所述存储器161用于存储所述计算机程序以及所述电子设备所需的其他程序和数据。所述存储器161还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述装置中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例还提供了一种计算机程序产品，当计算机程序产品在电子设备运行时，使得电子设备执行时实现可实现上述各个方法实施例中的步骤。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/电子设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/电子设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (19)

1.一种三维人脸的处理方法，其特征在于，所述处理方法包括：
获取二维人脸目标图像；
获取三维人脸参考模型；
根据所述二维人脸目标图像、所述三维人脸参考模型和三维人脸重建网络，获取重建的所述二维人脸目标图像对应的三维人脸目标模型，所述三维人脸目标模型是所述二维人脸目标图像对应的风格化的三维人脸模型。
2.如权利要求1所述的处理方法，其特征在于，所述根据所述二维人脸目标图像、所述三维人脸参考模型和三维人脸重建网络，获取重建的所述二维人脸目标图像对应的三维人脸目标模型，包括：
将所述二维人脸目标图像输入所述三维人脸重建网络，得到所述二维人脸目标图像对应的第一形变参数，所述第一形变参数用于调整所述三维人脸参考模型的形变；
根据所述第一形变参数，将所述三维人脸参考模型转化为所述三维人脸目标模型。
3.如权利要求2所述的处理方法，其特征在于，所述处理方法还包括：
获取至少一个二维人脸样本图像及其对应的三维人脸样本模型；
将所述二维人脸样本图像输入待训练的神经网络，得到所述二维人脸样本图像对应的第二形变参数，所述第二形变参数用于调整所述三维人脸参考模型的形变；
根据所述第二形变参数，将所述三维人脸参考模型转化为所述二维人脸样本图像对应的三维人脸预测模型；
根据所述三维人脸样本模型和所述三维人脸预测模型的损失值，训练所述神经网络，以得到所述三维人脸重建网络。
4.如权利要求3所述的处理方法，其特征在于，获取至少一个二维人脸样本图像对应的三维人脸样本模型包括：
获取所述二维人脸样本图像对应的二维人脸参考图像，所述二维人脸参考图像是所述二维人脸样本图像风格化之后的图像；
根据所述二维人脸参考图像和所述三维人脸参考模型，生成所述二维人脸样本图像对应的三维人脸样本模型。
5.如权利要求1至4任一项所述的处理方法，其特征在于，所述获取三维人脸参考模型包括：
获取至少一个人脸的三维模型；
根据各个三维模型，确定所述三维人脸参考模型。
6.一种三维人脸重建网络的训练方法，其特征在于，所述训练方法包括：
获取至少一个二维人脸样本图像及其对应的三维人脸样本模型，所述三维人脸样本模型基于所述二维人脸样本图像和三维人脸参考模型获取得到；
基于所述二维人脸样本图像、所述三维人脸参考模型和待训练的神经网络，获取所述二维人脸样本图像对应的三维人脸预测模型；
根据所述三维人脸样本模型和所述三维人脸预测模型的损失值，训练所述神经网络，以得到三维人脸重建网络，所述三维人脸重建网络用于重建风格化的三维人脸模型。
7.如权利要求6所述的训练方法，其特征在于，所述基于所述二维人脸样本图像、所述三维人脸参考模型和待训练的神经网络，获取所述二维人脸样本图像对应的三维人脸预测模型，包括：
将所述二维人脸样本图像输入所述神经网络，得到所述二维人脸样本图像对应的第二形变参数，所述第二形变参数用于调整所述三维人脸参考模型的形变；
根据所述第二形变参数，将所述三维人脸参考模型转化为所述三维人脸预测模型。
8.一种三维人脸样本模型的生成方法，其特征在于，所述生成方法包括：
获取二维人脸样本图像对应的二维人脸参考图像，所述二维人脸参考图像是所述二维人脸样本图像风格化之后的图像；
获取三维人脸参考模型；
根据所述二维人脸参考图像和所述三维人脸参考模型，生成所述二维人脸样本图像对应的三维人脸样本模型，所述三维人脸样本模型是所述三维人脸参考模型风格化之后的模型，所述三维人脸样本模型用于训练得到三维人脸重建网络，所述三维人脸重建网络用于重建风格化的三维人脸模型。
9.如权利要求8所述的生成方法，其特征在于，所述根据所述二维人脸参考图像和所述三维人脸参考模型，生成所述二维人脸样本图像对应的三维人脸样本模型，包括：
提取所述二维人脸参考图像的关键特征点；
基于所述关键特征点对所述三维人脸参考模型的形变进行约束，以生成所述二维人脸样本图像对应的三维人脸样本模型。
10.如权利要求9所述的生成方法，其特征在于，所述基于所述关键特征点对所述三维人脸参考模型的形变进行约束，以生成所述二维人脸样本图像对应的三维人脸样本模型，包括：
获取当次迭代对应的第三形变参数，所述第三形变参数用于调整所述三维人脸参考模型的形变，所述第三形变参数包括形状调整参数、旋转参数、尺度调整参数和平移参数；
根据所述关键特征点在所述二维人脸参考图像中的坐标、所述三维人脸参考模型中各个三维点的坐标以及当次迭代对应的第三形变参数，确定当次迭代对应的所述三维人脸样本模型中各个三维点的坐标；
根据第一公式计算当次迭代对应的第一能量值；
若当次迭代对应的第一能量或者当前迭代次数满足预设的迭代停止条件，则根据当次迭代对应的所述三维人脸样本模型中各个三维点的坐标，生成所述三维人脸样本模型；
若当次迭代对应的第一能量和所述当前迭代次数不满足所述迭代停止条件，则根据当次迭代对应的所述三维人脸样本模型中各个三维点的坐标，更新当次迭代对应的第三形变参数，并返回执行所述确定当次迭代对应的所述三维人脸样本模型中各个三维点的坐标的步骤以及后续步骤，直至满足所述迭代停止条件；
其中，所述第一公式为：
Figure FDA0003173706960000041
在w、p′j和pj均为已知量时，Edef表示当次迭代对应的第一能量值；
M表示所述三维人脸参考模型中三维点的总个数，M为大于零的整数；pj表示所述三维人脸参考模型中的第j个三维点，j为大于零且小于或者等于M的整数；p′j表示所述三维人脸参考模型中的第j个三维点在当次迭代对应的所述三维人脸样本模型中的坐标；w表示当次迭代对应的形状调整参数。
11.如权利要求10所述的生成方法，其特征在于，所述根据第一公式计算当次迭代对应的第一能量值，之后包括：
计算当次迭代对应的第一能量值和上次迭代对应的第一能量值的差值的绝对值；
若所述差值的绝对值小于预设阈值，或者所述当前迭代次数达到最大迭代次数，则确定当次迭代对应的第一能量值或者所述当前迭代次数满足所述迭代停止条件；
若所述差值的绝对值大于或者等于所述预设阈值，且所述当前迭代次数未达到最大迭代次数，则确定当次迭代对应的第二能量和所述当前迭代次数不满足所述迭代停止条件。
12.如权利要求10所述的生成方法，其特征在于，所述根据当次迭代对应的所述三维人脸样本模型中各个三维点的坐标，更新当次迭代对应的第三形变参数，包括：
根据当次迭代对应的第一能量函数，更新当次迭代对应的形状调整参数；
根据当次迭代对应的第二能量函数，更新当次迭代对应的旋转参数、尺度调整参数和平移参数；
其中，所述当次迭代对应的第一能量函数为：
Figure FDA0003173706960000051
在w为未知量且p′j和pj为已知量时，Edef表示当次迭代对应的第一能量函数；
所述当次迭代对应的第二能量函数为：
Figure FDA0003173706960000052
在Π、R和t为未知量且s′i和qi为已知量时，Elan表示当次迭代对应的第二能量函数；
N表示所述关键特征点的总个数，N为大于零且小于M的整数；Π表示当次迭代对应的尺度参数；R表示当次迭代对应的旋转参数；t表示当次迭代对应的平移参数；s′i表示第i个关键特征点在当次迭代对应的所述三维人脸样本模型中的坐标；qi表示所述第i个关键特征点在所述二维人脸参考图像中的坐标，i为大于零且小于或者等于N的整数。
13.如权利要求8至12任一项所述的生成方法，其特征在于，所述获取二维人脸样本图像对应的二维人脸参考图像，包括：
获取所述二维人脸样本图像中人脸区域的图像；
对所述人脸区域的图像进行风格化处理，得到所述二维人脸参考图像。
14.一种三维人脸的处理装置，其特征在于，所述处理装置包括：
目标图像获取模块，用于获取二维人脸目标图像；
参考模型获取模块，用于获取三维人脸参考模型；
目标模型获取模块，用于根据所述二维人脸目标图像、所述三维人脸参考模型和三维人脸重建网络，获取重建的所述二维人脸目标图像对应的三维人脸目标模型，所述三维人脸目标模型是所述二维人脸目标图像对应的风格化的三维人脸模型。
15.一种三维人脸重建网络的训练装置，其特征在于，所述训练装置包括：
样本模型获取模块，用于获取至少一个二维人脸样本图像及其对应的三维人脸样本模型，所述三维人脸样本模型基于所述二维人脸样本图像和三维人脸参考模型获取得到；
预测模型获取模块，用于基于所述二维人脸样本图像、所述三维人脸参考模型和待训练的神经网络，获取所述二维人脸样本图像对应的三维人脸预测模型；
重建网络训练模块，用于根据所述三维人脸样本模型和所述三维人脸预测模型的损失值，训练所述神经网络，以得到三维人脸重建网络，所述三维人脸重建网络用于重建风格化的三维人脸模型。
16.一种三维人脸样本模型的生成装置，其特征在于，所述生成装置包括：
参考图像获取模块，用于获取二维人脸样本图像对应的二维人脸参考图像，所述二维人脸参考图像是所述二维人脸样本图像风格化之后的图像；
参考模型获取模块，用于获取三维人脸参考模型；
样本模型生成模块，用于根据所述二维人脸参考图像和所述三维人脸参考模型，生成所述二维人脸样本图像对应的三维人脸样本模型，所述三维人脸样本模型是所述三维人脸参考模型风格化之后的模型，所述三维人脸样本模型用于训练得到三维人脸重建网络，所述三维人脸重建网络用于重建风格化的三维人脸模型。
17.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的处理方法的步骤，或者如权利要求6至7任一项所述的训练方法的步骤，或者如权利要求8至13任一项所述的生成方法的步骤。
18.一种芯片，包括处理器，其特征在于，所述处理器用于读取并执行存储器中存储的计算机程序，以执行如权利要求1至5任一项所述的处理方法的步骤，或者如权利要求6至7任一项所述的训练方法的步骤，或者如权利要求8至13任一项所述的生成方法的步骤。
19.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的处理方法的步骤，或者如权利要求6至7任一项所述的训练方法的步骤，或者如权利要求8至13任一项所述的生成方法的步骤。
CN202110826278.4A 2021-07-21 2021-07-21 三维人脸的处理方法、训练方法、生成方法、装置及设备 Pending CN113538221A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110826278.4A CN113538221A (zh) 2021-07-21 2021-07-21 三维人脸的处理方法、训练方法、生成方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110826278.4A CN113538221A (zh) 2021-07-21 2021-07-21 三维人脸的处理方法、训练方法、生成方法、装置及设备

Publications (1)

Publication Number Publication Date
CN113538221A true CN113538221A (zh) 2021-10-22

Family

ID=78129155

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110826278.4A Pending CN113538221A (zh) 2021-07-21 2021-07-21 三维人脸的处理方法、训练方法、生成方法、装置及设备

Country Status (1)

Country Link
CN (1) CN113538221A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114187408A (zh) * 2021-12-15 2022-03-15 中国电信股份有限公司 三维人脸模型重建方法、装置、电子设备及存储介质
CN114187173A (zh) * 2021-12-15 2022-03-15 北京欧珀通信有限公司 模型训练方法、图像处理方法及装置、电子设备、介质
CN116958451A (zh) * 2023-09-15 2023-10-27 腾讯科技（深圳）有限公司 模型处理、图像生成方法、装置、计算机设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978930A (zh) * 2019-03-27 2019-07-05 杭州相芯科技有限公司 一种基于单幅图像的风格化人脸三维模型自动生成方法
CN110956691A (zh) * 2019-11-21 2020-04-03 Oppo广东移动通信有限公司 一种三维人脸重建方法、装置、设备及存储介质
CN111524226A (zh) * 2020-04-21 2020-08-11 中国科学技术大学 讽刺肖像画的关键点检测与三维重建方法
CN112288851A (zh) * 2020-10-23 2021-01-29 武汉大学 一种基于双支流网络的三维人脸建模方法
CN112669447A (zh) * 2020-12-30 2021-04-16 网易（杭州）网络有限公司 一种模型头像创建方法、装置、电子设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978930A (zh) * 2019-03-27 2019-07-05 杭州相芯科技有限公司 一种基于单幅图像的风格化人脸三维模型自动生成方法
CN110956691A (zh) * 2019-11-21 2020-04-03 Oppo广东移动通信有限公司 一种三维人脸重建方法、装置、设备及存储介质
CN111524226A (zh) * 2020-04-21 2020-08-11 中国科学技术大学 讽刺肖像画的关键点检测与三维重建方法
CN112288851A (zh) * 2020-10-23 2021-01-29 武汉大学 一种基于双支流网络的三维人脸建模方法
CN112669447A (zh) * 2020-12-30 2021-04-16 网易（杭州）网络有限公司 一种模型头像创建方法、装置、电子设备和存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114187408A (zh) * 2021-12-15 2022-03-15 中国电信股份有限公司 三维人脸模型重建方法、装置、电子设备及存储介质
CN114187173A (zh) * 2021-12-15 2022-03-15 北京欧珀通信有限公司 模型训练方法、图像处理方法及装置、电子设备、介质
CN114187408B (zh) * 2021-12-15 2023-04-07 中国电信股份有限公司 三维人脸模型重建方法、装置、电子设备及存储介质
CN116958451A (zh) * 2023-09-15 2023-10-27 腾讯科技（深圳）有限公司 模型处理、图像生成方法、装置、计算机设备和存储介质
CN116958451B (zh) * 2023-09-15 2023-12-26 腾讯科技（深圳）有限公司 模型处理、图像生成方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
TWI779969B (zh) 圖像處理方法、處理器、電子設備與電腦可讀存儲介質
CN109949255B (zh) 图像重建方法及设备
CN113077471B (zh) 一种基于u型网络的医学图像分割方法
WO2021093620A1 (en) Method and system for high-resolution image inpainting
CN110348330B (zh) 基于vae-acgan的人脸姿态虚拟视图生成方法
WO2021184933A1 (zh) 一种人体三维模型重建方法
CN111325851B (zh) 图像处理方法及装置、电子设备和计算机可读存储介质
CN113538221A (zh) 三维人脸的处理方法、训练方法、生成方法、装置及设备
CN109816011A (zh) 生成人像分割模型的方法和视频关键帧提取方法
WO2020119527A1 (zh) 人体动作识别方法、装置、终端设备及存储介质
Wang et al. Laplacian pyramid adversarial network for face completion
CN111696028A (zh) 真实场景图像卡通化的处理方法、装置、计算机设备和存储介质
CN112419170A (zh) 遮挡检测模型的训练方法及人脸图像的美化处理方法
CN112132739B (zh) 3d重建以及人脸姿态归一化方法、装置、存储介质及设备
CA3137297C (en) Adaptive convolutions in neural networks
CN109948454B (zh) 表情数据库的增强方法、训练方法、计算设备及存储介质
CN112308866A (zh) 图像处理方法、装置、电子设备及存储介质
CN113112559A (zh) 一种超声图像的分割方法、装置、终端设备和存储介质
CN109961397B (zh) 图像重建方法及设备
Huang et al. Skin lesion segmentation based on mask R-CNN
CN113658326A (zh) 三维毛发的重建方法及装置
Ma et al. VommaNet: An End-to-End network for disparity estimation from reflective and texture-less light field images
CN111325252A (zh) 图像处理方法、装置、设备、介质
CN116363561A (zh) 一种时序动作定位方法、装置、设备及存储介质
CN116385259A (zh) 基于gan网络的图像风格迁移方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination