CN116012513A - 脸部模型生成方法、装置、设备及存储介质 - Google Patents
脸部模型生成方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116012513A CN116012513A CN202111221324.4A CN202111221324A CN116012513A CN 116012513 A CN116012513 A CN 116012513A CN 202111221324 A CN202111221324 A CN 202111221324A CN 116012513 A CN116012513 A CN 116012513A
- Authority
- CN
- China
- Prior art keywords
- face
- face images
- target
- images
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 82
- 238000009877 rendering Methods 0.000 claims abstract description 94
- 238000005286 illumination Methods 0.000 claims description 54
- 230000001815 facial effect Effects 0.000 claims description 52
- 230000014509 gene expression Effects 0.000 claims description 39
- 230000008921 facial expression Effects 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000012804 iterative process Methods 0.000 claims description 2
- 238000013473 artificial intelligence Methods 0.000 abstract description 12
- 238000005516 engineering process Methods 0.000 description 22
- 238000012545 processing Methods 0.000 description 14
- 238000005457 optimization Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000000513 principal component analysis Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本申请公开了一种脸部模型生成方法、装置、设备及存储介质，涉及人工智能技术领域。所述方法包括：获取目标对象的多个脸部图像对应的共享参数，以及多个脸部图像分别对应的独立参数；基于共享参数和独立参数，得到多个脸部图像分别对应的渲染图像；基于多个脸部图像和多个渲染图像，确定匹配损失；以收敛匹配损失为目标，得到多个脸部图像对应的目标共享参数和多个脸部图像分别对应的目标独立参数；在多个脸部图像对应的目标共享参数的基础上，结合多个脸部图像分别对应的目标独立参数，生成目标对象的脸部模型。本申请通过将目标对象的多个脸部图像进行关联，以获取目标对象的脸部模型，从而提高脸部模型生成的精确度和精细度。
Description
技术领域
本申请实施例涉及人工智能技术领域，特别涉及一种脸部模型生成方法、装置、设备及存储介质。
背景技术
随着人工智能技术的发展，目前，开发人员可以通过采用计算机视觉算法，实现人的脸部模型的自动重建。
在相关技术中，通过利用3DMM(3D Morphable Model，3维形变模型)来实现人的脸部模型的自动重建。例如，对于一张给定的脸部图片，首先基于3DMM设置一组参数，以对该脸部图片进行参数化表征，再根据该组参数，通过3DMM生成该脸部图片对应的脸部模型，随后将该脸部模型渲染成渲染图片，最后通过调整该组参数，以使得渲染图片与脸部图片尽可能地接近，从而得到脸部图片对应的最终脸部模型。
然而，由于单图往往具有歧义性，相关技术得到的脸部模型不够精确。
发明内容
本申请实施例提供了一种脸部模型生成方法、装置、设备及存储介质，能够提高脸部模型生成的精确度和精细度。所述技术方案如下：
根据本申请实施例的一个方面，提供了一种脸部模型生成方法，所述方法包括：
获取目标对象的多个脸部图像；
获取所述多个脸部图像对应的共享参数，以及所述多个脸部图像分别对应的独立参数；其中，所述共享参数用于表征所述多个脸部图像之间的公有特征，所述独立参数用于表征所述多个脸部图像分别对应的私有特征；
基于所述多个脸部图像对应的共享参数和所述多个脸部图像分别对应的独立参数，得到所述多个脸部图像分别对应的渲染图像；
基于所述多个脸部图像和所述多个脸部图像分别对应的渲染图像，确定匹配损失，所述匹配损失用于表征所述多个脸部图像和所述多个脸部图像分别对应的渲染图像之间的差异度；
以收敛所述匹配损失为目标，调整所述多个脸部图像对应的共享参数和所述多个脸部图像分别对应的独立参数，得到所述多个脸部图像对应的目标共享参数和所述多个脸部图像分别对应的目标独立参数；
在所述多个脸部图像对应的目标共享参数的基础上，结合所述多个脸部图像分别对应的目标独立参数，生成所述目标对象的脸部模型。
根据本申请实施例的一个方面，提供了一种脸部模型生成装置，所述装置包括：
脸部图像获取模块，用于获取目标对象的多个脸部图像；
初始参数获取模块，用于获取所述多个脸部图像对应的共享参数，以及所述多个脸部图像分别对应的独立参数；其中，所述共享参数用于表征所述多个脸部图像之间的公有特征，所述独立参数用于表征所述多个脸部图像分别对应的私有特征；
渲染图像获取模块，用于基于所述多个脸部图像对应的共享参数和所述多个脸部图像分别对应的独立参数，得到所述多个脸部图像分别对应的渲染图像；
匹配损失获取模块，用于基于所述多个脸部图像和所述多个脸部图像分别对应的渲染图像，确定匹配损失，所述匹配损失用于表征所述多个脸部图像和所述多个脸部图像分别对应的渲染图像之间的差异度；
目标参数获取模块，用于以收敛所述匹配损失为目标，调整所述多个脸部图像对应的共享参数和所述多个脸部图像分别对应的独立参数，得到所述多个脸部图像对应的目标共享参数和所述多个脸部图像分别对应的目标独立参数；
脸部模型生成模块，用于在所述多个脸部图像对应的目标共享参数的基础上，结合所述多个脸部图像分别对应的目标独立参数，生成所述目标对象的脸部模型。
根据本申请实施例的一个方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述脸部模型生成方法。
所述计算机设备为终端或服务器。
根据本申请实施例的一个方面，提供了一种计算机可读存储介质，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述脸部模型生成方法。
根据本申请实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述脸部模型生成方法。
本申请实施例提供的技术方案可以包括如下有益效果：
通过对目标对象的多个脸部图像进行参数化表征，并通过共享参数(如共享形状参数和共享纹理参数)将目标对象的多个脸部图像进行关联，以得到多个脸部图像分别对应的渲染图像，进而基于多个脸部图像与多个脸部图像分别对应的渲染图像之间的差异度，迭代优化得到目标对象的脸部模型，既可以解决相关技术中因单张图像所导致的歧义性问题，从而提高了脸部模型生成的精确度，又可以通过集合多个脸部图像，得到目标对象对应的丰富的图像特征(如多视角图像特征)，进而提高了脸部模型生成的精细度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的方案实施环境的流程图；
图2是本申请一个实施例提供的脸部模型生成方法的流程图；
图3是本申请一个实施例提供的脸部模型的示意图；
图4是本申请一个实施例提供的脸部图像的示意图；
图5是本申请一个实施例提供的转化脸部模型的脸部拓扑结构的示意图；
图6是本申请一个实施例提供的总损失的获取方法的示意图；
图7是本申请一个实施例提供的基于公开测试数据的对比结果的示意图；
图8是本申请一个实施例提供的脸部模型生成装置的框图；
图9是本申请另一个实施例提供的脸部模型生成装置的框图；
图10是本申请一个实施例提供的计算机设备的框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision，CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition，光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
本申请实施例提供的技术方案涉及人工智能的计算机视觉技术，利用计算机视觉技术对目标对象的多张脸部图像进行参数化，以及将多张脸部图像进行关联，从而实现基于目标对象的多张脸部图像，得到目标对象的脸部模型。
本申请实施例提供的方法，各步骤的执行主体可以是计算机设备，该计算机设备是指具备数据计算、处理和存储能力的电子设备。该计算机设备可以是诸如PC(PersonalComputer，个人计算机)、平板电脑、智能手机、可穿戴设备、智能机器人等终端；也可以是服务器。其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云计算服务的云服务器。
本申请实施例提供的技术方案适用于任何需要脸部模型生成的场景中，诸如脸部模型重建场景、捏脸***(如基于用户上传的脸部图像生成对应的具有设定风格(如游戏风格)的脸部模型)、面部识别场景等。本申请实施例提供的技术方案能够有效提升脸部模型的精确度和精细度。
在一个示例中，如图1所示，以捏脸***为例，该***可以包括终端10和服务器20。
终端10可以是诸如手机、数码相机、平板电脑、PC、可穿戴设备等电子设备。用户可以通过终端10接入服务器20，并进行脸部模型生成操作。例如，终端10中可以安装目标应用程序的客户端，用户可以通过该客户端接入服务器20，并进行脸部模型生成操作。上述目标应用程序可以是脸部模型生成类应用程序、捏脸类应用程序、游戏类应用程序、娱乐类应用程序等，本申请实施例对此不做限定。
服务器20可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云计算服务的云服务器。服务器20用于为终端10中的目标应用程序的客户端提供后台服务。例如，服务器20可以是上述目标应用程序(如脸部模型生成类应用程序)的后台服务器。
终端10和服务器20之间可以通过网络30进行通信。
示例性地，用户在目标应用程序的客户端中输入目标对象的多张脸部图像，客户端将多张脸部图像发送至服务器20，服务器20基于多张脸部图像，生成目标对象的脸部模型，服务器20再将该脸部模型发送给客户端。
当然，在一些其他示例中，脸部模型生成方法也可以在终端10中执行，如上述目标应用程序的客户端中。例如，该客户端可以基于用户输入的目标对象的多张脸部图像，直接生成目标对象的脸部图像，本申请实施例对此不做限定。
请参考图2，其示出了本申请一个实施例提供的脸部模型生成方法的流程图，该方法各步骤的执行主体可以是图1所示方案实施环境中的终端10或服务器20，该方法可以包括如下几个步骤(201～206)。
步骤201，获取目标对象的多个脸部图像。
在本申请实施例中，目标对象是指需要被生成脸部模型的对象，其可以是任意对象，诸如人、动物、虚拟人物、虚拟动物等，本申请实施例对目标对象不做限定。其中，脸部模型是指目标对象的脸部区域对应的模型。例如，参考图3，脸部模型301为目标对象的左侧面3D脸部模型，脸部模型302为目标对象的正面3D脸部模型，脸部模型303为目标对象的右侧面3D脸部模型。
脸部图像是指包括目标对象脸部区域的图像。例如，该脸部图像可以是不同脸部姿态下的目标对象对应的图像，也可以是不同脸部表情下的目标对象对应的图像，还可以是不同脸部光照下的目标对象对应的图像。
在一个示例中，可以将挑选得到的高质量脸部图像作为目标对象的脸部模型生成所需的脸部图像，以提高脸部模型生成的质量，该多个脸部图像的挑选要求可以如下：1、多个脸部图像可以包括各个脸部姿态下的目标对象对应的图像，避免多个脸部图像集中在正面或侧面脸部姿态下；2、对于脸部表情，需要避免极端夸张表情；3、对于脸部光照，需要避免极端光照情况。其中，对于脸部表情和脸部光照，个别极端表情和极端光照情况也不会对脸部模型的生成造成严重影响。示例性地，该多个脸部图像可以同时包括正面脸部姿态与侧面脸部姿态相差90度的脸部图像。可选地，在只有正面脸部姿态与侧面脸部姿态下的脸部图像的情况下，可以对侧面脸部姿态下的脸部图像进行水平镜像翻转，即可得到目标对象的其他脸部图像。例如，参考图4，脸部图像401为右侧面脸部图像，脸部图像402为左侧面脸部图像，脸部图像403为正面脸部图像，脸部图像401可以由脸部图像402进行水平镜像翻转得到。可选地，正面脸部图像也可以由侧面脸部图像进行水平镜像翻转得到。
可选地，在只获取到目标对象的一个原始图像的情况下，可以通过采用对称法，基于该原始图像构造出第二个原始图像(例如，对原始图像进行左右翻转)，从而获取目标对象的多个脸部图像，进而将单视角优化问题转化为伪多视角优化问题。
可选地，可以通过人工挑选的方式进行脸部图像的挑选，也可以通过训练好的网络模型进行脸部图像的挑选，本申请实施例对此不做限定。
在一个示例中，在挑选完目标对象的多个脸部图像之后，还可以对多个脸部图像进行关键点检测，得到多个脸部图像分别对应的关键点位置集，再基于多个脸部图像分别对应的关键点位置集，对多个脸部图像进行位置对齐，以进一步提高脸部图像的质量，从而提高脸部模型生成的质量。例如，参考图4，脸部图像401、脸部图像402和脸部图像403以关键点(诸如眼睛、鼻子、嘴等关键点)进行了位置对齐。
可选地，还可以通过采用分割网络，检测图像的区脸部区域，从而分割得到聚焦于脸部区域的脸部图像，以进一步提高脸部图像的质量。同时，可以通过识别网络提取出每个脸部图像分别对应的图像特征(如脸部特征)。
步骤202，获取多个脸部图像对应的共享参数，以及多个脸部图像分别对应的独立参数；其中，共享参数用于表征多个脸部图像之间的公有特征，独立参数用于表征多个脸部图像分别对应的私有特征。
在本申请实施例中，可以通过采用计算机视觉技术对多个脸部图像进行参数化表示。示例性地，以采用3DMM为例。首先可以利用脸部扫描仪得到众多带有自然表情的脸部模型(如3D脸部模型)，然后采用注册算法将众多脸部模型的拓扑结构转换成一致，可以用(S1，S2，S3，…，SN)来表示。假设任意带有自然表情的脸部形状S都可以由已知的脸部模型进行线性差值来近似得到，则有：
其中，Si为第i个脸部模型，N为脸部模型的数量，αi为第i个脸部模型对应的形状参数(即脸部形状系数)。
则脸部模型生成问题就被转化为求解线性差值系数αi的问题。可选地，可以通过采用PCA(Principal Component Analysis，主成分分析)技术，对已知的脸部模型构成的矩阵(S1，S2，S3，…，SN)进行压缩，得到：
其中，
是基于PCA技术得到的N个脸部模型对应的形状均值表征，si是前M1个主成分(M1一般选小于N)，我们将
称为脸部形状基底，将
称为形状系数(即共享形状参数集)。
对于任意脸部纹理T，我们也假设它可以由已知的脸部纹理进行线性插值来得到，采用与脸部形状类似的操作，则可以得到：
其中，
是基于PCA技术得到的N个脸部模型对应的纹理均值表征，ti是前M2个主成分(M2一般选小于N)，我们将
称为脸部纹理基底，将
称为纹理系数(即共享纹理参数集)。
对于任意脸部表情E，我们也假设它可以由已知的脸部表情进行线性插值来得到，采用与脸部形状类似的操作，则可以得到：
其中，
是基于PCA技术得到的N个脸部模型对应的表情均值表征，ei是前M3个主成分(M3一般选小于N)，我们将
称为脸部纹理基底，将
称为表情系数(即子表情参数集)。
如此，通过3DMM，我们可以对脸部模型进行参数化表示。在本申请实施例中，考虑到多个脸部图像对应的是同一个目标对象，多个脸部图像对应的脸部形状和脸部纹理应当一致，而脸部表情、脸部姿态和脸部光照等应当具有独立性，因此，可以将脸部形状和脸部纹理作为共享参数，将脸部表情、脸部姿态和脸部光照作为独立参数，也即该共享参数可以包括共享形状参数和共享纹理参数，该独立参数包括表情参数、姿态参数和日照参数。其中，共享形状参数用于表征目标对象的脸部形状，共享纹理参数用于表征目标对象的脸部纹理，表情参数用于表征各个脸部图像中的目标对象的脸部表情，姿态参数用于表征各个脸部图像中的目标对象的脸部姿态，光照参数用于表征各个脸部图像中的目标对象的脸部光照。
因此，脸部模型的生成任务被转换为求
任务。其中，
为共享形状参数集，
为共享纹理参数集，
为第i个脸部图像对应的子表情参数集，
为第i个脸部图像对应的姿态参数集，
为第i个脸部图像对应的光照参数集。
示例性地，在求解的初始阶段，可以通过随机地设置共享形状参数和共享纹理参数，得到目标对象对应的初始共享形状参数集和初始共享纹理参数集，也可以通过基于目标分布随机地设置共享形状参数和共享纹理参数，得到目标对象对应的初始共享形状参数集和初始共享纹理参数集。其中，初始共享形状参数集合中的各个共享形状参数的和值可以为1，初始共享纹理参数集中的各个共享纹理参数的和值可以为1。可选地，对于多个脸部图像中的第一脸部图像，可以通过随机地设置表情参数，得到第一脸部图像对应的初始子表情参数集，初始子表情参数集中的各个表情参数的和值可以为1。可以通过随机地设置姿态参数和光照参数，得到第一脸部图像对应的初始姿态参数和初始光照参数。
步骤203，基于多个脸部图像对应的共享参数和多个脸部图像分别对应的独立参数，得到多个脸部图像分别对应的渲染图像。
渲染图像是指将脸部模型渲染至图像平面内而生成的图像。可选地，可以采用可微分渲染技术将脸部模型渲染至图像平面内，以生成渲染图像。
在一个示例中，渲染图像的获取过程可以如下：对于多个脸部图像中的第一脸部图像，设置第一脸部图像对应的第一子表情参数集、第一姿态参数和第一光照参数；根据多个脸部图像对应的共享形状参数集和共享纹理参数集，以及第一脸部图像对应的第一子表情参数集、第一姿态参数和第一光照参数，渲染得到第一脸部图像对应的渲染图像。
其中，第一脸部图像可以是多个两部图像中的任一脸部图像。可选地，可以随机地对第一脸部图像的子表情参数、姿态参数和光照参数进行设置，得到第一脸部图像对应的第一子表情参数集、第一姿态参数和第一光照参数。
可选地，可以先基于共享形状参数集，构造第一脸部图像对应的第一脸部模型的脸部形状，再基于共享纹理参数集，在上述步骤的基础上，构建第一脸部模型的脸部纹理，随后，基于第一子表情参数集，完成第一脸部模型的脸部表的情构造，最后基于第一姿态参数和第一光照参数，完成第一脸部模型的脸部姿态和脸部关照的构造，从而得到第一脸部图像对应的最终的第一脸部模型。
在获取到第一脸部图像对应的最终的第一脸部模型之后，通过采用可微分渲染技术将第一脸部模型渲染至图像平面内，以渲染得到第一脸部图像对应的渲染图像。
步骤204，基于多个脸部图像和多个脸部图像分别对应的渲染图像，确定匹配损失，该匹配损失用于表征多个脸部图像和多个脸部图像分别对应的渲染图像之间的差异度。
可选地，该匹配损失包括总重渲染损失和总关键点损失。其中，总重渲染损失是指多个脸部图像分别对应的重渲染损失的和值，其用于表征多个脸部图像和多个脸部图像分别对应的渲染图像在图像特征方面的总差异度，总关键点损失是指多个脸部图像分别对应的关键点损失的和值，其用于表征多个脸部图像和多个脸部图像分别对应的渲染图像在关键点位置方面的总差异度。
在一个示例中，总重渲染损失和总关键点损失的获取过程可以如下：获取多个脸部图像分别对应的重渲染损失，重渲染损失用于表征脸部图像和脸部图像对应的渲染图像在图像特征方面的差异度；将多个脸部图像分别对应的重渲染损失求和，得到总重渲染损失；获取多个脸部图像分别对应的关键点损失，关键点损失用于表征脸部图像和脸部图像对应的渲染图像在关键点位置方面的差异度；将多个脸部图像分别对应的关键点损失求和，得到总关键点损失。
可选地，重渲染损失的获取方法可以如下：对于多个脸部图像中的第一脸部图像，对第一脸部图像进行特征提取，得到第一特征图，以及对第一脸部图像对应的渲染图像进行特征提取，得到第二特征图；基于第一特征图和第二特征图，得到第一中间参数，第一中间参数用于表征第一脸部图像和第一脸部图像对应的渲染图像之间的差异；对第一脸部图像进行脸部识别，得到第一脸部区域，以及对第一脸部图像对应的渲染图像进行脸部识别，得到第二脸部区域；基于第一脸部区域和第二脸部区域，得到第二中间参数，第二中间参数用于表征第一脸部区域和二脸部区域之间的有效计算区域；基于第一中间参数和第二中间参数，得到第一脸部图像对应的重渲染损失。
其中，第一特征图是指第一脸部图像对应的图像特征信息，第二特征图是指第一脸部图像对应的渲染图像对应的图像特征信息。第一中间参数可以是指第一特征图和第二特征图之间的差值。第一脸部区域是指第一脸部图像对应的脸部区域，第二脸部区域是指第一脸部图像对应的渲染图像对应的脸部区域。第二中间参数可以是指第一特征图和第二特征图之间的乘积。
在一个示例中，重渲染损失可以表示如下：
其中，N为脸部图像的个数，IRender，i为第i个脸部图像对应的渲染图像的图像特征(即第二特征图)，Ii为第i个脸部图像的图像特征(即第一特征图)，Mi为第i个脸部图像对应的脸部区域(即第一脸部区域)，MRender，i为第i个脸部图像对应的渲染图像的脸部区域(即第二脸部区域)。
可选地，关键点损失的获取过程可以如下：对于多个脸部图像中的第一脸部图像，对第一脸部图像进行关键点检测，得到第一关键点位置集，以及对第一脸部图像对应的渲染图像进行关键点检测，得到第二关键点位置集；基于第一关键点位置集和第二关键点位置集之间的差异，得到第一脸部图像对应的关键点损失。
其中，第一关键点位置集包括第一脸部图像对应的关键点位置，第二关键点位置集包括第一脸部图像对应的渲染图像对应的关键点位置(如脸部模型上的关键点在渲染图像上的投影位置)。可以基于第一关键点位置集和第二关键点位置集之间的差值，得到关键点损失。
在一个示例中，关键点损失可以表示如下：
其中，N为脸部图像的个数，qRender，i为第i个脸部图像对应的渲染图像的关键点位置集，qi为第i个脸部图像的关键点位置集。
可选地，在获取总重渲染损失和总关键点损失之后，还可以获取正则损失，以生成总损失，其过程可以如下：获取多个脸部图像对应的正则损失，该正则损失用于正则化共享形状参数、共享纹理参数和表情参数，以维持脸部模型的脸部结构；根据匹配损失和正则损失，得到总损失。
其中，正则损失的获取过程可以如下：基于多个脸部图像对应的共享形状参数集，获取多个脸部图像对应的形状正则损失；基于多个脸部图像对应的共享纹理参数集，获取多个脸部图像对应的纹理正则损失；基于多个脸部图像分别对应的子表情参数集，获取多个脸部图像对应的表情正则损失；对形状正则损失、纹理正则损失和表情正则损失进行加权求和，获取多个脸部图像对应的正则损失。
形状正则损失用于对共享形状参数进行正则化，纹理正则损失用于对共享纹理参数进行正则化，表情正则损失用于对表情参数进行正则化。
在一个示例中，正则损失可以表示如下：
其中，wshp、wtex和wex分别是形状正则损失、纹理正则损失和表情正则损失对应的权重，Nshp是指共享形状参数集中的共享形状参数的数量，aj为共享形状参数集中的第j个共享形状参数，σj为αj对应的标准差，Ntex是指共享纹理参数集中的共享纹理参数的数量，βj为共享纹理参数集中的第j个共享纹理参数，ρj为βj对应的标准差，N为多个脸部图像对应的数量，Ntex是指子表情参数集中的表情参数的数量，γi，j为第i个脸部图像对应的子表情参数集中的第j个表情参数，τi，j为γi，j对应的标准差。
可选地，αj、βj和γi，j可以分别是指脸部形状基底、脸部纹理基底和脸部表情基底中每一维主成分分别对应的标准差。
在一个示例中，总损失可以表示如下：
L＝WRender·LRender+WLm·LLm+WReg·LReg；
其中，WRender、WLm、WReg分别是总重渲染损失、总关键点损失和正则损失对应的权重，LRender为总重渲染损失，其可以使得脸部图像对应的渲染图像和脸部图像尽可能地接近，LLm为总关键点损失，其可以使得脸部模型对应的脸部姿态维持正确，LReg为正则损失，其可以维持脸部模型具有脸部结构。
步骤205，以收敛匹配损失为目标，调整多个脸部图像对应的共享参数和多个脸部图像分别对应的独立参数，得到多个脸部图像对应的目标共享参数和多个脸部图像分别对应的目标独立参数。
其中，目标共享参数是指初始共享参数通过迭代优化后的贡献参数，其可以包括目标共享形状参数和目标共享纹理参数。目标独立参数是指初始独立参数通过迭代优化后的贡献参数，其可以包括目标表情参数、目标姿态参数和目标光照参数。
示例性地，以收敛匹配损失为目标，对上述初始共享形状参数集和初始共享纹理参数集、以及多个脸部图像分别对应的初始子表情参数集、初始姿态参数和初始光照参数进行调整，得到目标共享形状参数集和目标共享纹理参数集，以及多个脸部图像分别对应的目标子表情参数集、目标姿态参数和目标光照参数。
可选地，可以以收敛总重渲染损失和总关键点损失为目标，调整多个脸部图像对应的共享参数和多个脸部图像分别对应的独立参数，得到多个脸部图像对应的目标共享参数和多个脸部图像分别对应的目标独立参数，也可以以收敛总损失为目标，调整多个脸部图像对应的共享参数和多个脸部图像分别对应的独立参数，得到多个脸部图像对应的目标共享参数和多个脸部图像分别对应的目标独立参数。
在一个示例中，目标贡献参数和目标独立参数的获取过程可以如下：在收敛总损失的过程中，调整共享形状参数集、共享纹理参数集、表情参数集、姿态参数集和光照参数集；若检测到总重渲染损失停止变化，则完成总损失的收敛，得到目标共享形状参数集、目标共享纹理参数集、目标表情参数集、目标姿态参数集和目标光照参数集；其中，表情参数集包括所述多个脸部图像分别对应的子表情参数集，姿态参数集包括多个脸部图像分别对应的姿态参数，光照参数集包括多个脸部图像分别对应的光照参数。
可选地，在迭代的初期，可以将总重渲染损失的权重设置为大于总关键点损失的权重和正则损失的权重，并以第一迭代步长，最小总损失；在迭代过程中，逐渐减小总关键点损失的权重、正则损失的权重，以及第一迭代步长。
示例性地，在迭代的初期，可以采用较大的权重和迭代步长，以使得共享参数和独立参数快速收敛至最优解的附近，随后可以逐渐减小总关键点损失的权重和正则损失的权重，同时调小迭代的步长，使得共享参数和独立参数可以缓慢而准确地收敛到至优解。可选地，可以用总重渲染损失(或匹配损失)作为迭代结束的终止条件，响应于若干次优化后，识别到总重渲染损失(或匹配损失)不再下降，则可以停止迭代。
步骤206，在多个脸部图像对应的目标共享参数的基础上，结合多个脸部图像分别对应的目标独立参数，生成目标对象的脸部模型。
可选地，脸部模型的获取过程可以如下：对于多个脸部图像中的第一脸部图像，在多个脸部图像对应的目标共享形状参数集和目标共享纹理参数集的基础上，结合第一脸部图像对应的目标子表情参数集、目标姿态参数和目标光照参数，生成第一脸部图像对应的脸部模型。
示例性地，对于多个脸部图像中第一脸部图像，基于目标共享形状参数集和脸部形状基底，得到第一脸部模型的脸部形状，基于目标共享纹理参数集和脸部纹理基底，得到第一脸部模型的脸部纹理，基于第一脸部图像对应的目标子表情参数集和脸部表情基底，得到第一脸部模型的脸部表情，基于第一脸部图像对应的目标姿态参数，得到第一脸部模型的脸部姿态，基于第一脸部图像对应的目标光照参数，得到第一脸部图像对应的脸部光照，最后基于第一脸部模型的脸部形状、脸部纹理、脸部表情、脸部姿态和脸部光照，生成第一脸部图像对应的第一脸部模型。
可选地，本申请实施例对脸部模型的生成数量不做限定。例如，可以生成多个脸部图像分别对应的脸部模型，也可以只生成多个脸部图像中的部分脸部图像的脸部模型(如正面脸部模型和侧面脸部模型)。
可选地，在生成目标对象的脸部模型之后，还可以根据需求对脸部模型进行调整，其具体过程可以如下：获取目标脸部拓扑结构；根据目标脸部拓扑结构，对脸部模型进行调整，得到调整后的脸部模型，调整后的脸部模型的脸部拓扑结构与目标脸部拓扑结构相同。
其中，目标脸部拓扑结构是指用户所需的脸部拓扑结构，诸如游戏类脸部拓扑结构、自定义类脸部拓扑结构、BFM(Basel Face Model，一个开源的人脸数据库)的平均脸模型等。示例性地，在得到的脸部模型的脸部拓扑结构和设计人员所需的脸部拓扑结构不一致的情况下，基于设计人员所需的脸部拓扑结构，采用注册算法将目标脸部拓扑结构形变至脸部模型上，以使得调整后的脸部模型的脸部拓扑结构与目标脸部拓扑结构相同。例如，参考图5，采用注册算法将目标脸部拓扑结构502形变至脸部模型501上，得到调整后的脸部模型503，调整后的脸部模型503的脸部拓扑结构与目标脸部拓扑结构502相同。
如此，设计人员只需设计如何将脸部模型的脸部拓扑结构转化成所需的脸部拓扑结构，而无需在不同的场景(如游戏场景)下，重新设计3DMM，从而提高了脸部模型生成的灵活性，以及减少脸部模型生成的工作量。可选地，在场景固定的情况下，也可以将3DMM直接设计成所需的脸部拓扑结构，从而节省脸部拓扑结构转化这一过程，进而减少脸部模型生成的工作量。
综上所述，本申请实施例提供的技术方案，通过对目标对象的多个脸部图像进行参数化表征，并通过共享参数(如共享形状参数和共享纹理参数)将目标对象的多个脸部图像进行关联，以得到多个脸部图像分别对应的渲染图像，进而基于多个脸部图像与多个脸部图像分别对应的渲染图像之间的差异度，迭代优化得到目标对象的脸部模型，既可以解决相关技术中因单张图像所导致的歧义性问题，从而提高了脸部模型生成的精确度，又可以通过集合多个脸部图像，得到目标对象对应的丰富的图像特征(如多视角图像特征)，进而提高了脸部模型生成的精细度。
另外，通过在获取脸部模型之后，根据需求进行脸部拓扑结构的转化，设计人员只需设计如何将脸部模型的脸部拓扑结构转化成所需的脸部拓扑结构，而无需在不同的场景下，重新设计3DMM，从而提高了脸部模型生成的灵活性，以及减少脸部模型生成的工作量。
另外，由于本申请实施例提供的技术方案综合了脸部形状基底、脸部纹理基底和脸部表情基底这些先验信息，可以提高脸部模型生成的稳定性。同时，可以得到脸部拓扑结构一致的脸部模型，从而降低了脸部模型的转化难度。
在一个示例性实施例中，参考图6，其示出了本申请一个实施例提供的总损失的获取方法的示意图。
获取目标对象601的N个脸部图像，记I1至IN。该N个脸部图像可以是不同脸部表情或不同脸部姿态或不同脸部光照下的目标对象601的脸部图像。可选地，该N个脸部图像是经过关键点位置对齐处理的，N为大于1的整数。
分别对N个脸部图像进行关键点检测，得到N个脸部图像分别对应的关键点位置集，记q1至qN。
随机设置N个脸部图像对应的初始共享形状参数集α和初始共享纹理参数集β，以及随机设置各个脸部图像分别对应的初始子表情参数集(γN)、初始姿态参数(pN)和初始光照参数(1N)。
基于初始共享形状参数集α和初始共享纹理参数集B，以及N个脸部图像分别对应的初始子表情参数集(γ)、初始姿态参数(p)和初始光照参数(1)，得到N个脸部图像分别对应的初始脸部模型，再采用可微分渲染技对将N个脸部图像分别对应的初始脸部模型进行渲染，得到N个脸部图像分别对应的初始脸部渲染图像，记为IRender，1至IRender，N。例如，基于初始共享形状参数集α和初始共享纹理参数集β，以及第N个脸部图像对应的初始子表情参数集(γN)、初始姿态参数(pN)和初始光照参数(1N)，得到第N个脸部图像对应的初始脸部模型，进而得到第N个脸部图像对应的初始渲染图像IRender，N。
基于N个脸部图像和N个脸部图像分别对应的初始脸部渲染图像之间的总差异度，得到总重渲染损失LRender。例如，基于对11和IRender，1之间的差异度、12和IRender，2之间的差异度、...、IN和IRender，N之间的差异度求和，得到LRender。
分别对N个脸部图像对应的渲染图像进行关键点检测，得到N个脸部图像对应的渲染图像分别对应的关键点位置集，记为qRender，1至qRender，N。
基于N个脸部图像分别对应的关键点位置集和N个脸部图像对应的初始脸部渲染图像分别对应的关键点位置集之间的总差异度，得到总关键点损失LLm。例如，基于对q1和qRender，1之间的差异度、q2和qRender，2之间的差异度、...、qN和qRender，N之间的差异度求和，得到LLm。
基于基于初始共享形状参数集α、初始共享纹理参数集β和N个脸部图像分别对应的初始子表情参数集(γ)，得到正则损失LReg。
对总重渲染损失LRender、总关键点损失LLm和正则损失LReg进行加权求和，得到总损失。
以收敛总损失为目标，调整N个脸部图像对应的初始共享形状参数集和初始共享纹理参数集，以及N个脸部图像分别对应的初始子表情参数集、初始姿态参数和初始光照参数；响应于总重渲染损失停止变化，完成总损失的收敛，得到目标共享形状参数集和目标共享纹理参数集，以及N个脸部图像分别对应的目标子表情参数集、目标姿态参数和目标光照参数。
在脸部形状基底、脸部纹理基底和脸部表情基底的基础上，结合目标共享形状参数集和目标共享纹理参数集，以及N个脸部图像分别对应的目标子表情参数集、目标姿态参数和目标光照参数，得到N个脸部图像分别对象的脸部图像。
在一个示例性实施例中，本申请实施例提供的技术方案，可以用于辅助美术设计人员。美术设计人员只需要搜集目标对象的若干张脸部图像，再基于本申请实施例提供的技术方案，即可自动重建出高质量的脸部模型，相比于从零开始设计脸部图像，减少了脸部模型生成工作量。同时，美术设计人员可以对脸部模型的脸部拓扑结构进行进一步的加工，得到更精细的模型。
在另一个示例性实施例中，本申请实施例提供的技术方案，可以应用于捏脸***。相关技术中的捏脸***往往需要美术设计人员预先捏好非常多的人脸，以构建好脸部模型库，随后基于用户上传的照片，从该脸部模型库中查找出最接近的脸部模型。而采用本申请实施例提供的技术方案，根据用户上传的照片，即可直接生成高质量的脸部模型，美术设计人员要做的只是设计如何将脸部模型转换为所需风格的脸部模型即可，如此一来可以免去为不同的场景重新设计脸部模型库的麻烦。
在一个示例性实施例中，为了更进一步对比本申请实施例提供的技术方案与相关技术提供的技术方案，我们挑选了公开数据集FG2018作为评测数据集(一个可靠度非常高的评测数据集)。公开数据集FG2018提供了测试图片、测试代码以及GT(Ground Truth，基本事实)数据。我们主要对比的是开源算法D3DFR(Deep 3D Face Reconstruction，深度3维人脸重建)和DECA(Detailed Expression Capture and Animation，详细地表情捕捉和动画)。参考图7，其示出了本申请一个实施例提供的基于公开数据集FG2018的对比结果的示意图。该对比结果包括测试图片701、GT对应的脸部模型702、D3DFR对应的脸部模型703、DECA对应的脸部模型704和本申请对应的脸部模型705。从对比结果中，可以看出通过本申请实施例提供的技术方案得到的脸部模型705，可以较好地捕捉到人物的几何信息，脸部模型705具有很高的身份辨识度。另外，本申请实施例中的脸部模型的整个过程完全自动进行，相对于人工实现脸部模型的生成，可以减少1-2天时间。
另外，由于本申请实施例提供的技术方案使用了迭代优化的思想，从对比结果中，可以看出，相比D3DFR和DECA，本申请实施例提供的技术方案可以得到更为精细的脸部模型，在视觉效果上，明显更像GT对应的脸部模型。
同时，本申请也通过使用测试代码，分别对D3DFR对应的脸部模型、DECA对应的脸部模型和本申请对应的脸部模型与GT对应的脸部模型之间的平均误差进行了测试，D3DFR对应的平均误差为2.31，DECA对应的平均误差为1.89(公开的SOTA(Stateofthe Art，目前技术水平))，而本申请对应的平均误差为1.56，其远低于D3DFR和DECA，这证明本申请提供的技术方案(即多视角优化)无论是在视觉效果还是重建精度上都要优于目前开源的最佳算法。
综上所述，本申请实施例提供的技术方案，通过对目标对象的多个脸部图像进行参数化表征，并通过共享参数(如共享形状参数和共享纹理参数)将目标对象的多个脸部图像进行关联，以得到多个脸部图像分别对应的渲染图像，进而基于多个脸部图像与多个脸部图像分别对应的渲染图像之间的差异度，迭代优化得到目标对象的脸部模型，既可以解决相关技术中因单张图像所导致的歧义性问题，从而提高了脸部模型生成的精确度，又可以通过集合多个脸部图像，得到目标对象对应的丰富的图像特征(如多视角图像特征)，进而提高了脸部模型生成的精细度。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
参考图8，其示出了本申请一个实施例提供的脸部模型生成装置的框图。该装置具有实现上述方法示例的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置可以是上文介绍的计算机设备，也可以设置在计算机设备中。如图8所示，该装置800包括：脸部图像获取模块801、初始参数获取模块802、渲染图像获取模块803、匹配损失获取模块804、目标参数获取模块805和脸部模型生成模块806。
脸部图像获取模块801，用于获取目标对象的多个脸部图像。
初始参数获取模块802，用于获取所述多个脸部图像对应的共享参数，以及所述多个脸部图像分别对应的独立参数；其中，所述共享参数用于表征所述多个脸部图像之间的公有特征，所述独立参数用于表征所述多个脸部图像分别对应的私有特征。
渲染图像获取模块803，用于基于所述多个脸部图像对应的共享参数和所述多个脸部图像分别对应的独立参数，得到所述多个脸部图像分别对应的渲染图像。
匹配损失获取模块804，用于基于所述多个脸部图像和所述多个脸部图像分别对应的渲染图像，确定匹配损失，所述匹配损失用于表征所述多个脸部图像和所述多个脸部图像分别对应的渲染图像之间的差异度。
目标参数获取模块805，用于以收敛所述匹配损失为目标，调整所述多个脸部图像对应的共享参数和所述多个脸部图像分别对应的独立参数，得到所述多个脸部图像对应的目标共享参数和所述多个脸部图像分别对应的目标独立参数。
脸部模型生成模块806，用于在所述多个脸部图像对应的目标共享参数的基础上，结合所述多个脸部图像分别对应的目标独立参数，生成所述目标对象的脸部模型。
在一个示例性实施例中，所述共享参数包括共享形状参数和共享纹理参数，所述独立参数包括表情参数、姿态参数和日照参数；其中，所述共享形状参数用于表征所述目标对象的脸部形状，所述共享纹理参数用于表征所述目标对象的脸部纹理，所述表情参数用于表征各个脸部图像中的所述目标对象的脸部表情，所述姿态参数用于表征各个脸部图像中的所述目标对象的脸部姿态，所述光照参数用于表征各个脸部图像中的所述目标对象的脸部光照。
在一个示例性实施例中，所述匹配损失包括总重渲染损失和总关键点损失；所述匹配损失获取模块804，还用于：
获取所述多个脸部图像分别对应的重渲染损失，所述重渲染损失用于表征所述脸部图像和所述脸部图像对应的渲染图像在图像特征方面的差异度；
将所述多个脸部图像分别对应的重渲染损失求和，得到所述总重渲染损失；
获取所述多个脸部图像分别对应的关键点损失，所述关键点损失用于表征所述脸部图像和所述脸部图像对应的渲染图像在关键点位置方面的差异度；
将所述多个脸部图像分别对应的关键点损失求和，得到所述总关键点损失。
在一个示例性实施例中，所述匹配损失获取模块804，还用于：
对于所述多个脸部图像中的第一脸部图像，对所述第一脸部图像进行特征提取，得到第一特征图，以及对所述第一脸部图像对应的渲染图像进行特征提取，得到第二特征图；
基于所述第一特征图和所述第二特征图，得到第一中间参数，所述第一中间参数用于表征所述第一脸部图像和所述第一脸部图像对应的渲染图像之间的差异；
对所述第一脸部图像进行脸部识别，得到第一脸部区域，以及对所述第一脸部图像对应的渲染图像进行脸部识别，得到第二脸部区域；
基于所述第一脸部区域和所述第二脸部区域，得到第二中间参数，所述第二中间参数用于表征所述第一脸部区域和所述二脸部区域之间的有效计算区域；
基于所述第一中间参数和所述第二中间参数，得到所述第一脸部图像对应的重渲染损失。
在一个示例性实施例中，所述匹配损失获取模块804，还用于：
对于所述多个脸部图像中的第一脸部图像，对所述第一脸部图像进行关键点检测，得到第一关键点位置集，以及对所述第一脸部图像对应的渲染图像进行关键点检测，得到第二关键点位置集；
基于所述第一关键点位置集和所述第二关键点位置集之间的差异，得到所述第一脸部图像对应的关键点损失。
在一个示例性实施例中，如图9所示，所述装置800还包括：正则损失获取模块807和总损失获取模块808。
正则损失获取模块807，用于获取所述多个脸部图像对应的正则损失，所述正则损失用于正则化共享形状参数、共享纹理参数和表情参数，以维持所述脸部模型的脸部结构。
总损失获取模块808，用于根据所述匹配损失和所述正则损失，得到总损失。
所述目标参数获取模块805，还用于以收敛所述总损失为目标，调整所述多个脸部图像对应的共享参数和所述多个脸部图像分别对应的独立参数，得到所述多个脸部图像对应的目标共享参数和所述多个脸部图像分别对应的目标独立参数。
在一个示例性实施例中，所述正则损失获取模块807，还用于：
基于所述多个脸部图像对应的共享形状参数集，获取所述多个脸部图像对应的形状正则损失；
基于所述多个脸部图像对应的共享纹理参数集，获取所述多个脸部图像对应的纹理正则损失；
基于所述多个脸部图像分别对应的子表情参数集，获取所述多个脸部图像对应的表情正则损失；
对所述形状正则损失、所述纹理正则损失和所述表情正则损失进行加权求和，获取所述多个脸部图像对应的正则损失。
在一个示例性实施例中，所述目标参数获取模块805，还用于：
在收敛所述总损失的过程中，调整共享形状参数集、共享纹理参数集、表情参数集、姿态参数集和光照参数集；
若检测到所述总重渲染损失停止变化，则完成所述总损失的收敛，得到目标共享形状参数集、目标共享纹理参数集、目标表情参数集、目标姿态参数集和目标光照参数集；
其中，所述表情参数集包括所述多个脸部图像分别对应的子表情参数集，所述姿态参数集包括所述多个脸部图像分别对应的姿态参数，所述光照参数集包括所述多个脸部图像分别对应的光照参数。
在一个示例性实施例中，所述目标参数获取模块805，还用于：
将所述总重渲染损失的权重设置为大于所述总关键点损失的权重和所述正则损失的权重，并以第一迭代步长，最小化所述总损失；
在迭代过程中，逐渐减小所述总关键点损失的权重、所述正则损失的权重，以及所述第一迭代步长。
在一个示例性实施例中，所述渲染图像获取模块803，还用于：
对于所述多个脸部图像中的第一脸部图像，设置所述第一脸部图像对应的第一子表情参数集、第一姿态参数和第一光照参数；
根据所述多个脸部图像对应的共享形状参数集和共享纹理参数集，以及所述第一脸部图像对应的第一子表情参数集、第一姿态参数和第一光照参数，渲染得到所述第一脸部图像对应的渲染图像。
在一个示例性实施例中，所述脸部模型生成模块806，还用于对于所述多个脸部图像中的第一脸部图像，在所述多个脸部图像对应的目标共享形状参数集和目标共享纹理参数集的基础上，结合所述第一脸部图像对应的目标子表情参数集、目标姿态参数和目标光照参数，生成所述第一脸部图像对应的脸部模型。
在一个示例性实施例中，如图9所示，所述装置800还包括：目标拓扑获取模块809和拓扑结构调整模块810。
目标拓扑获取模块809，用于获取目标脸部拓扑结构。
拓扑结构调整模块810，用于根据所述目标脸部拓扑结构，对所述脸部模型进行调整，得到调整后的脸部模型，所述调整后的脸部模型的脸部拓扑结构与所述目标脸部拓扑结构相同。
综上所述，本申请实施例提供的技术方案，通过对目标对象的多个脸部图像进行参数化表征，并通过共享参数(如共享形状参数和共享纹理参数)将目标对象的多个脸部图像进行关联，以得到多个脸部图像分别对应的渲染图像，进而基于多个脸部图像与多个脸部图像分别对应的渲染图像之间的差异度，迭代优化得到目标对象的脸部模型，既可以解决相关技术中因单张图像所导致的歧义性问题，从而提高了脸部模型生成的精确度，又可以通过集合多个脸部图像，得到目标对象对应的丰富的图像特征(如多视角图像特征)，进而提高了脸部模型生成的精细度。
需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
请参考图10，其示出了本申请一个实施例提供的计算机设备的结构框图。该计算机设备可以用于实施上述实施例中提供的脸部模型生成方法。具体可以包括如下内容。
该计算机设备1000包括中央处理单元(如CPU(Central Processing Unit，中央处理器)、GPU(Graphics Processing Unit，图形处理器)和FPGA(Field Programmable GateArray，现场可编程逻辑门阵列)等)1001、包括RAM(Random-Access Memory，随机存取存储器)1002和ROM(Read-Only Memory，只读存储器)1003的***存储器1004，以及连接***存储器1004和中央处理单元1001的***总线1005。该计算机设备1000还包括帮助服务器内的各个器件之间传输信息的基本输入/输出***(Input Output System，I/O***)1006，和用于存储操作***1013、应用程序1014和其他程序模块1015的大容量存储设备1007。
该基本输入/输出***1006包括有用于显示信息的显示器1008和用于用户输入信息的诸如鼠标、键盘之类的输入设备1009。其中，该显示器1008和输入设备1009都通过连接到***总线1005的输入输出控制器1010连接到中央处理单元1001。该基本输入/输出***1006还可以包括输入输出控制器1010以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1010还提供输出到显示屏、打印机或其他类型的输出设备。
该大容量存储设备1007通过连接到***总线1005的大容量存储控制器(未示出)连接到中央处理单元1001。该大容量存储设备1007及其相关联的计算机可读介质为计算机设备1000提供非易失性存储。也就是说，该大容量存储设备1007可以包括诸如硬盘或者CD-ROM(Compact Disc Read-Only Memory，只读光盘)驱动器之类的计算机可读介质(未示出)。
不失一般性，该计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM(Erasable Programmable Read-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read-Only Memory，电可擦写可编程只读存储器)、闪存或其他固态存储其技术，CD-ROM、DVD(Digital Video Disc，高密度数字视频光盘)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知该计算机存储介质不局限于上述几种。上述的***存储器1004和大容量存储设备1007可以统称为存储器。
根据本申请实施例，该计算机设备1000还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备1000可以通过连接在该***总线1005上的网络接口单元1011连接到网络1012，或者说，也可以使用网络接口单元1011来连接到其他类型的网络或远程计算机***(未示出)。
所述存储器还包括至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集存储于存储器中，且经配置以由一个或者一个以上处理器执行，以实现上述脸部模型生成方法。
在一个示例性实施例中，还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集在被处理器执行时以实现上述脸部模型生成方法。
可选地，该计算机可读存储介质可以包括：ROM(Read-Only Memory，只读存储器)、RAM(Random-Access Memory，随机存储器)、SSD(Solid State Drives，固态硬盘)或光盘等。其中，随机存取记忆体可以包括ReRAM(Resistance Random Access Memory，电阻式随机存取记忆体)和DRAM(Dynamic Random Access Memory，动态随机存取存储器)。
在一个示例性实施例中，还提供了一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机指令，所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从所述计算机可读存储介质中读取所述计算机指令，所述处理器执行所述计算机指令，使得所述计算机设备执行上述脸部模型生成方法。
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。另外，本文中描述的步骤编号，仅示例性示出了步骤间的一种可能的执行先后顺序，在一些其它实施例中，上述步骤也可以不按照编号顺序来执行，如两个不同编号的步骤同时执行，或者两个不同编号的步骤按照与图示相反的顺序执行，本申请实施例对此不作限定。
以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (16)
1.一种脸部模型生成方法，其特征在于，所述方法包括：
获取目标对象的多个脸部图像；
获取所述多个脸部图像对应的共享参数，以及所述多个脸部图像分别对应的独立参数；其中，所述共享参数用于表征所述多个脸部图像之间的公有特征，所述独立参数用于表征所述多个脸部图像分别对应的私有特征；
基于所述多个脸部图像对应的共享参数和所述多个脸部图像分别对应的独立参数，得到所述多个脸部图像分别对应的渲染图像；
基于所述多个脸部图像和所述多个脸部图像分别对应的渲染图像，确定匹配损失，所述匹配损失用于表征所述多个脸部图像和所述多个脸部图像分别对应的渲染图像之间的差异度；
以收敛所述匹配损失为目标，调整所述多个脸部图像对应的共享参数和所述多个脸部图像分别对应的独立参数，得到所述多个脸部图像对应的目标共享参数和所述多个脸部图像分别对应的目标独立参数；
在所述多个脸部图像对应的目标共享参数的基础上，结合所述多个脸部图像分别对应的目标独立参数，生成所述目标对象的脸部模型。
2.根据权利要求1所述的方法，其特征在于，所述共享参数包括共享形状参数和共享纹理参数，所述独立参数包括表情参数、姿态参数和日照参数；
其中，所述共享形状参数用于表征所述目标对象的脸部形状，所述共享纹理参数用于表征所述目标对象的脸部纹理，所述表情参数用于表征各个脸部图像中的所述目标对象的脸部表情，所述姿态参数用于表征各个脸部图像中的所述目标对象的脸部姿态，所述光照参数用于表征各个脸部图像中的所述目标对象的脸部光照。
3.根据权利要求1所述的方法，其特征在于，所述匹配损失包括总重渲染损失和总关键点损失；
所述基于所述多个脸部图像和所述多个脸部图像分别对应的渲染图像，确定匹配损失，包括：
获取所述多个脸部图像分别对应的重渲染损失，所述重渲染损失用于表征所述脸部图像和所述脸部图像对应的渲染图像在图像特征方面的差异度；
将所述多个脸部图像分别对应的重渲染损失求和，得到所述总重渲染损失；
获取所述多个脸部图像分别对应的关键点损失，所述关键点损失用于表征所述脸部图像和所述脸部图像对应的渲染图像在关键点位置方面的差异度；
将所述多个脸部图像分别对应的关键点损失求和，得到所述总关键点损失。
4.根据权利要求3所述的方法，其特征在于，所述获取所述多个脸部图像分别对应的重渲染损失，包括：
对于所述多个脸部图像中的第一脸部图像，对所述第一脸部图像进行特征提取，得到第一特征图，以及对所述第一脸部图像对应的渲染图像进行特征提取，得到第二特征图；
基于所述第一特征图和所述第二特征图，得到第一中间参数，所述第一中间参数用于表征所述第一脸部图像和所述第一脸部图像对应的渲染图像之间的差异；
对所述第一脸部图像进行脸部识别，得到第一脸部区域，以及对所述第一脸部图像对应的渲染图像进行脸部识别，得到第二脸部区域；
基于所述第一脸部区域和所述第二脸部区域，得到第二中间参数，所述第二中间参数用于表征所述第一脸部区域和所述二脸部区域之间的有效计算区域；
基于所述第一中间参数和所述第二中间参数，得到所述第一脸部图像对应的重渲染损失。
5.根据权利要求3所述的方法，其特征在于，所述获取所述多个脸部图像分别对应的关键点损失，包括：
对于所述多个脸部图像中的第一脸部图像，对所述第一脸部图像进行关键点检测，得到第一关键点位置集，以及对所述第一脸部图像对应的渲染图像进行关键点检测，得到第二关键点位置集；
基于所述第一关键点位置集和所述第二关键点位置集之间的差异，得到所述第一脸部图像对应的关键点损失。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述多个脸部图像对应的正则损失，所述正则损失用于正则化共享形状参数、共享纹理参数和表情参数，以维持所述脸部模型的脸部结构；
根据所述匹配损失和所述正则损失，得到总损失；
所述以收敛所述匹配损失为目标，调整所述多个脸部图像对应的共享参数和所述多个脸部图像分别对应的独立参数，得到所述多个脸部图像对应的目标共享参数和所述多个脸部图像分别对应的目标独立参数，包括：
以收敛所述总损失为目标，调整所述多个脸部图像对应的共享参数和所述多个脸部图像分别对应的独立参数，得到所述多个脸部图像对应的目标共享参数和所述多个脸部图像分别对应的目标独立参数。
7.根据权利要求6所述的方法，其特征在于，所述获取所述多个脸部图像对应的正则损失，包括：
基于所述多个脸部图像对应的共享形状参数集，获取所述多个脸部图像对应的形状正则损失；
基于所述多个脸部图像对应的共享纹理参数集，获取所述多个脸部图像对应的纹理正则损失；
基于所述多个脸部图像分别对应的子表情参数集，获取所述多个脸部图像对应的表情正则损失；
对所述形状正则损失、所述纹理正则损失和所述表情正则损失进行加权求和，获取所述多个脸部图像对应的正则损失。
8.根据权利要求6所述的方法，其特征在于，所述以收敛所述总损失为目标，调整所述多个脸部图像对应的共享参数和所述多个脸部图像分别对应的独立参数，得到所述多个脸部图像对应的目标共享参数和所述多个脸部图像分别对应的目标独立参数，包括：
在收敛所述总损失的过程中，调整共享形状参数集、共享纹理参数集、表情参数集、姿态参数集和光照参数集；
若检测到所述总重渲染损失停止变化，则完成所述总损失的收敛，得到目标共享形状参数集、目标共享纹理参数集、目标表情参数集、目标姿态参数集和目标光照参数集；
其中，所述表情参数集包括所述多个脸部图像分别对应的子表情参数集，所述姿态参数集包括所述多个脸部图像分别对应的姿态参数，所述光照参数集包括所述多个脸部图像分别对应的光照参数。
9.根据权利要求8所述的方法，其特征在于，所述方法还包括：
将所述总重渲染损失的权重设置为大于所述总关键点损失的权重和所述正则损失的权重，并以第一迭代步长，最小化所述总损失；
在迭代过程中，逐渐减小所述总关键点损失的权重、所述正则损失的权重，以及所述第一迭代步长。
10.根据权利要求1所述的方法，其特征在于，所述基于所述多个脸部图像对应的共享参数和所述多个脸部图像分别对应的独立参数，得到所述多个脸部图像分别对应的渲染图像，包括：
对于所述多个脸部图像中的第一脸部图像，设置所述第一脸部图像对应的第一子表情参数集、第一姿态参数和第一光照参数；
根据所述多个脸部图像对应的共享形状参数集和共享纹理参数集，以及所述第一脸部图像对应的第一子表情参数集、第一姿态参数和第一光照参数，渲染得到所述第一脸部图像对应的渲染图像。
11.根据权利要求1所述的方法，其特征在于，所述在所述多个脸部图像对应的目标共享参数的基础上，结合所述多个脸部图像分别对应的目标独立参数，生成所述目标对象的脸部模型，包括：
对于所述多个脸部图像中的第一脸部图像，在所述多个脸部图像对应的目标共享形状参数集和目标共享纹理参数集的基础上，结合所述第一脸部图像对应的目标子表情参数集、目标姿态参数和目标光照参数，生成所述第一脸部图像对应的脸部模型。
12.根据权利要求1所述的方法，其特征在于，所述在所述多个脸部图像对应的目标共享参数的基础上，结合所述多个脸部图像分别对应的目标独立参数，生成所述目标对象的脸部模型之后，还包括：
获取目标脸部拓扑结构；
根据所述目标脸部拓扑结构，对所述脸部模型进行调整，得到调整后的脸部模型，所述调整后的脸部模型的脸部拓扑结构与所述目标脸部拓扑结构相同。
13.一种脸部模型生成装置，其特征在于，所述装置包括：
脸部图像获取模块，用于获取目标对象的多个脸部图像；
初始参数获取模块，用于获取所述多个脸部图像对应的共享参数，以及所述多个脸部图像分别对应的独立参数；其中，所述共享参数用于表征所述多个脸部图像之间的公有特征，所述独立参数用于表征所述多个脸部图像分别对应的私有特征；
渲染图像获取模块，用于基于所述多个脸部图像对应的共享参数和所述多个脸部图像分别对应的独立参数，得到所述多个脸部图像分别对应的渲染图像；
匹配损失获取模块，用于基于所述多个脸部图像和所述多个脸部图像分别对应的渲染图像，确定匹配损失，所述匹配损失用于表征所述多个脸部图像和所述多个脸部图像分别对应的渲染图像之间的差异度；
目标参数获取模块，用于以收敛所述匹配损失为目标，调整所述多个脸部图像对应的共享参数和所述多个脸部图像分别对应的独立参数，得到所述多个脸部图像对应的目标共享参数和所述多个脸部图像分别对应的目标独立参数；
脸部模型生成模块，用于在所述多个脸部图像对应的目标共享参数的基础上，结合所述多个脸部图像分别对应的目标独立参数，生成所述目标对象的脸部模型。
14.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至12任一项所述的脸部模型生成方法。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至12任一项所述的脸部模型生成方法。
16.一种计算机程序产品或计算机程序，其特征在于，所述计算机程序产品或计算机程序包括计算机指令，所述计算机指令存储在计算机可读存储介质中，处理器从所述计算机可读存储介质读取并执行所述计算机指令，以实现如权利要求1至12任一项所述的脸部模型生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111221324.4A CN116012513A (zh) | 2021-10-20 | 2021-10-20 | 脸部模型生成方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111221324.4A CN116012513A (zh) | 2021-10-20 | 2021-10-20 | 脸部模型生成方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116012513A true CN116012513A (zh) | 2023-04-25 |
Family
ID=86021498
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111221324.4A Pending CN116012513A (zh) | 2021-10-20 | 2021-10-20 | 脸部模型生成方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116012513A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110163953A (zh) * | 2019-03-11 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 三维人脸重建方法、装置、存储介质和电子装置 |
| CN111583399A (zh) * | 2020-06-28 | 2020-08-25 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备、介质和电子设备 |
| CN112819947A (zh) * | 2021-02-03 | 2021-05-18 | Oppo广东移动通信有限公司 | 三维人脸的重建方法、装置、电子设备以及存储介质 |
-
2021
- 2021-10-20 CN CN202111221324.4A patent/CN116012513A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110163953A (zh) * | 2019-03-11 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 三维人脸重建方法、装置、存储介质和电子装置 |
| CN111583399A (zh) * | 2020-06-28 | 2020-08-25 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备、介质和电子设备 |
| CN112819947A (zh) * | 2021-02-03 | 2021-05-18 | Oppo广东移动通信有限公司 | 三维人脸的重建方法、装置、电子设备以及存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| YU DENG, ET AL;: "Accurate 3D Face Reconstruction with Weakly-Supervised Learning: From Single Image to Image Set", ARXIV, 9 April 2020 (2020-04-09), pages 1 - 11 * |
| ZHENYU ZHANG ET AL: "Learning to Aggregate and Personalize 3D Face from In-the-Wild Photo Collection", ARXIV, 15 June 2021 (2021-06-15), pages 1 - 5 * |
| 刘嘉佩;曹林;杜康宁;: "双层级联神经网络的人脸超分辨率重建", 计算机工程与应用, no. 13, 18 September 2019 (2019-09-18), pages 3 * |
| 吴越: "基于深度学习的三维人脸重建算法研究", 中国优秀硕士学位论文全文数据库 信息科技, no. 01, 15 January 2021 (2021-01-15), pages 4 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111354079B (zh) | 三维人脸重建网络训练及虚拟人脸形象生成方法和装置 | |
| WO2021093453A1 (zh) | 三维表情基的生成方法、语音互动方法、装置及介质 | |
| US11983850B2 (en) | Image processing method and apparatus, device, and storage medium | |
| CN110348330B (zh) | 基于vae-acgan的人脸姿态虚拟视图生成方法 | |
| CN111325851B (zh) | 图像处理方法及装置、电子设备和计算机可读存储介质 | |
| WO2021175050A1 (zh) | 三维重建方法和三维重建装置 | |
| CN110807451B (zh) | 人脸关键点检测方法、装置、设备及存储介质 | |
| EP4198814A1 (en) | Gaze correction method and apparatus for image, electronic device, computer-readable storage medium, and computer program product | |
| WO2022089391A9 (zh) | 模型训练方法、人体姿态检测方法、装置、设备及存储介质 | |
| CN111652974B (zh) | 三维人脸模型的构建方法、装置、设备及存储介质 | |
| US20230072627A1 (en) | Gaze correction method and apparatus for face image, device, computer-readable storage medium, and computer program product face image | |
| CN109684969B (zh) | 凝视位置估计方法、计算机设备及存储介质 | |
| CN109685873B (zh) | 一种人脸重建方法、装置、设备和存储介质 | |
| CN111625667A (zh) | 一种基于复杂背景图像的三维模型跨域检索方法及*** | |
| CN112085835B (zh) | 三维卡通人脸生成方法、装置、电子设备及存储介质 | |
| WO2022148248A1 (zh) | 图像处理模型的训练方法、图像处理方法、装置、电子设备及计算机程序产品 | |
| CN114445633A (zh) | 图像处理方法、装置和计算机可读存储介质 | |
| CN111444957B (zh) | 图像数据处理方法、装置、计算机设备和存储介质 | |
| CN114266693A (zh) | 图像处理方法、模型生成方法及设备 | |
| CN116012513A (zh) | 脸部模型生成方法、装置、设备及存储介质 | |
| CN111581411B (zh) | 高精度人脸形状库的构建方法、装置、设备及存储介质 | |
| WO2024164596A1 (zh) | 面部建模模型的训练方法、建模方法、装置、电子设备、存储介质及程序产品 | |
| CN112990215B (zh) | 图像去噪方法、装置、设备及存储介质 | |
| US20230177722A1 (en) | Apparatus and method with object posture estimating | |
| CN116778107A (zh) | 表情模型的生成方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40085238 Country of ref document: HK |