CN116894911A - 三维重建方法、装置、电子设备及可读存储介质 - Google Patents
三维重建方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN116894911A CN116894911A CN202310336781.0A CN202310336781A CN116894911A CN 116894911 A CN116894911 A CN 116894911A CN 202310336781 A CN202310336781 A CN 202310336781A CN 116894911 A CN116894911 A CN 116894911A
- Authority
- CN
- China
- Prior art keywords
- color
- map
- target
- loss value
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000013528 artificial neural network Methods 0.000 claims abstract description 124
- 238000012549 training Methods 0.000 claims abstract description 87
- 230000008707 rearrangement Effects 0.000 claims abstract description 59
- 238000013507 mapping Methods 0.000 claims description 150
- 238000009499 grossing Methods 0.000 claims description 72
- 230000006870 function Effects 0.000 claims description 50
- 238000009877 rendering Methods 0.000 claims description 41
- 238000012545 processing Methods 0.000 claims description 31
- 208000037516 chromosome inversion disease Diseases 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 9
- 230000000694 effects Effects 0.000 abstract description 5
- 230000000007 visual effect Effects 0.000 description 8
- 230000000295 complement effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Graphics (AREA)
- Biophysics (AREA)
- Geometry (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种三维重建方法、装置、电子设备及可读存储介质，包括：获取待重建的人脸图像；通过预先训练得到的第一目标神经网络，预测人脸图像对应的第一3DMM参数；基于第一3DMM参数得到第一颜色重排列贴图和第一初始颜色贴图；通过预先训练得到的第二目标神经网络，基于第一颜色重排列贴图和第一初始颜色贴图，预测人脸图像对应的第一目标颜色贴图和第一目标法线贴图，以基于第一目标颜色贴图和第一目标法线贴图对人脸图像进行三维重建。本发明有效提升三维重建效果，显著降低了三维重建所需的人力成本和负担。
Description
技术领域
本发明涉及图像处理技术领域，尤其是涉及一种三维重建方法、装置、电子设备及可读存储介质。
背景技术
目前，在给定无约束的单张包含人脸的二维图像的情况下，单目人脸三维重建的任务旨在生成该人脸的三维模型及纹理贴图。近年来该技术快速发展，已被广泛地应用于虚拟人制作、游戏建模等诸多领域，具备广泛的应用前景和巨大的市场价值。
现有单目人脸三维重建技术中，使用单个网络进行单目人脸三维重建方案，其输出结果与给定的二维图像的视觉效果差异较大；使用多个网络进行单目人脸三维重建方案则需要真值纹理进行监督，真实纹理贴图依赖工作人员手工处理，极大地增加了人力成本和负担。
发明内容
有鉴于此，本发明的目的在于提供一种三维重建方法、装置、电子设备及可读存储介质，可以在不依赖真值纹理贴图的情况下，有效提升三维重建效果，显著降低了单三维重建所需的人力成本和负担。
第一方面，本发明实施例提供了一种三维重建方法，包括：获取待重建的人脸图像；通过预先训练得到的第一目标神经网络，预测所述人脸图像对应的第一3DMM参数；基于所述第一3DMM参数，对所述人脸图像中的每个像素点的颜色值进行重排列得到第一颜色重排列贴图；以及，基于所述第一3DMM参数生成所述人脸图像对应的第一初始颜色贴图；通过预先训练得到的第二目标神经网络，基于所述第一颜色重排列贴图和所述第一初始颜色贴图，预测所述人脸图像对应的第一目标颜色贴图和第一目标法线贴图，以基于所述第一目标颜色贴图和所述第一目标法线贴图对所述人脸图像进行三维重建；其中，所述第二目标神经网络是基于训练阶段下的第二初始颜色贴图、第二目标颜色贴图、第二目标法线贴图和预设标准法线贴图训练得到的。
第二方面，本发明实施例还提供一种三维重建装置，包括：图像获取模块，用于获取待重建的人脸图像；第一预测模块，用于通过预先训练得到的第一目标神经网络，预测所述人脸图像对应的第一3DMM参数；贴图生成模块，用于基于所述第一3DMM参数，对所述人脸图像中的每个像素点的颜色值进行重排列得到第一颜色重排列贴图；以及，基于所述第一3DMM参数生成所述人脸图像对应的第一初始颜色贴图；第二预测模块，用于通过预先训练得到的第二目标神经网络，基于所述第一颜色重排列贴图和所述第一初始颜色贴图，预测所述人脸图像对应的第一目标颜色贴图和第一目标法线贴图，以基于所述第一目标颜色贴图和所述第一目标法线贴图对所述人脸图像进行三维重建；其中，所述第二目标神经网络是基于训练阶段下的第二初始颜色贴图、第二目标颜色贴图、第二目标法线贴图和预设标准法线贴图训练得到的。
第三方面，本发明实施例还提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1至11任一项所述的方法。
第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现权利要求1至11任一项所述的方法。
本发明实施例提供的一种三维重建方法、装置、电子设备及可读存储介质，首先获取待重建的人脸图像，再通过预先训练得到的第一目标神经网络，预测人脸图像对应的第一3DMM参数，从而基于第一3DMM参数，对人脸图像中的每个像素点的颜色值进行重排列得到第一颜色重排列贴图，以及基于第一3DMM参数生成人脸图像对应的第一初始颜色贴图，最后通过预先训练得到的第二目标神经网络，基于第一颜色重排列贴图和第一初始颜色贴图，预测人脸图像对应的第一目标颜色贴图和第一目标法线贴图，以基于第一目标颜色贴图和第一目标法线贴图对人脸图像进行三维重建；其中，所述第二目标神经网络是基于训练阶段下的第二初始颜色贴图、第二目标颜色贴图、第二目标法线贴图和预设标准法线贴图训练得到的。上述方法首先利用第一目标神经网络预测第一3DMM参数，从而基于第一3DMM参数生成第一初始颜色截图，以及基于第一3DMM参数重新排列人脸图像中的每个像素点的颜色值得到第一颜色重排列贴图，进一步通过第二目标神经网络利用第一初始颜色贴图和第一颜色重排列贴图之间的互补信息，预测三维重建所需的第一目标颜色贴图和第一目标法线贴图，通过结合第一目标颜色贴图和第一目标法线贴图，可以显著提升三维重建结果的视觉效果，还可以有效提升三维重建结果与人脸图像之间的相似度，另外，本发明实施例中第二目标神经网络是基于训练阶段下的第二初始颜色贴图、第二目标颜色贴图、第二目标法线贴图和预设标准法线贴图训练得到的，训练阶段下无需获取相应的真值纹理贴图，因此本发明实施例还可以在不依赖真值纹理贴图的情况下，有效提升三维重建效果，显著降低了三维重建所需的人力成本和负担。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种三维重建方法的流程示意图；
图2为本发明实施例提供的另一种三维重建方法的流程示意图；
图3为本发明实施例提供的一种第一目标神经网络的训练方法的流程示意图；
图4为本发明实施例提供的一种第二初始神经网络的输入输出示意图；
图5为本发明实施例提供的一种第二目标神经网络的训练方法的流程示意图；
图6为本发明实施例提供的一种三维重建装置的结构示意图；
图7为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，使用单个网络进行单目人脸三维重建方案，其输出结果与给定的二维图像的视觉效果差异较大；使用多个网络进行单目人脸三维重建方案则需要真值纹理进行监督，因此真实纹理贴图的准确性会影响三维重建的效果，如果真实纹理贴图如果依赖工作人员手工处理，会极大地增加了人力成本和负担，而如果依赖机器处理，则缺乏准确性。基于此，本发明实施提供了一种三维重建方法、装置、电子设备及可读存储介质，可以在不依赖真值纹理贴图的情况下，有效提升三维重建效果，显著降低了三维重建所需的人力成本和负担。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种三维重建方法进行详细介绍，该方法的所有步骤由终端或服务器执行，参见图1所示的一种三维重建方法的流程示意图，该方法主要包括以下步骤S102至步骤S108：
步骤S102，获取待重建的人脸图像。其中，人脸图像可以为包含有人脸的二维图像，也可称之为单目人脸图像。在一种实施方式中，可以将人脸图像存储至指定区域内，从而在该指定区域内读取待重建的人脸图像；也可以为用户提供上传通道，从而获取用户通过该上传通道上传的人脸图像。
步骤S104，通过预先训练得到的第一目标神经网络，预测人脸图像对应的第一3DMM参数。其中，第一目标神经网络的输入为人脸图像，输出为第一3DMM参数，第一3DMM(3DMorphable Model，三维可变形模型)参数也即在模型应用阶段通过第一目标神经网络预测得到的3DMM参数，3DMM参数可以包括3DMM形状系数、3DMM表情系数、3DMM纹理系数、三维模型姿态、光照系数中的一种或多种。在一种实施方式中，将人脸图像输入至第一目标神经网络，即可得到相应的第一3DMM参数。
步骤S106，基于第一3DMM参数，对人脸图像中的每个像素点的颜色值进行重排列得到第一颜色重排列贴图；以及，基于第一3DMM参数生成人脸图像对应的第一初始颜色贴图。在一种实施方式中，可以基于第一3DMM参数生成第一人脸三维模型，再对第一人脸三维模型与人脸图像进行对齐之后，利用第一人脸三维模型提供的贴图坐标对人脸图像中的每个像素点的颜色值进行重排列，即可得到第一颜色重排列贴图，另外，可以基于第一3DMM参数对3DMM所提供的纹理基(也即，3DMM纹理基)进行线性加和，即可得到第一初始颜色贴图。其中，上述第一颜色重排列贴图、第一初始颜色贴图、第一人脸三维模型分别为模型应用阶段下的颜色重排列贴图、初始颜色贴图、人脸三维模型。
步骤S108，通过预先训练得到的第二目标神经网络，基于第一颜色重排列贴图和第一初始颜色贴图，预测人脸图像对应的第一目标颜色贴图和第一目标法线贴图，以基于第一目标颜色贴图和第一目标法线贴图对人脸图像进行三维重建；其中，所述第二目标神经网络是基于训练阶段下的第二初始颜色贴图、第二目标颜色贴图、第二目标法线贴图和预设标准法线贴图训练得到的，第二目标神经网络的输入为第一颜色重排列贴图和第一初始颜色贴图进行通道拼接后得到的第一拼接贴图，输出为第一目标颜色贴图和第一目标法线贴图，第一拼接贴图、第一目标颜色贴图、第一目标法线贴图分别为模型应用阶段下的拼接贴图、目标颜色贴图、目标法线贴图。在一种实施方式中，将第一拼接贴图输入至第二目标神经网络，即可得到第一目标颜色贴图和第一目标法线贴图。
本发明实施例提供过的三维重建方法，首先利用第一目标神经网络预测第一3DMM参数，从而基于第一3DMM参数生成第一初始颜色截图，以及基于第一3DMM参数重新排列人脸图像中的每个像素点的颜色值得到第一颜色重排列贴图，进一步通过第二目标神经网络利用第一初始颜色贴图和第一颜色重排列贴图之间的互补信息，预测三维重建所需的第一目标颜色贴图和第一目标法线贴图，通过结合第一目标颜色贴图和第一目标法线贴图，可以显著提升三维重建结果的视觉效果，还可以有效提升三维重建结果与人脸图像之间的相似度，另外，本发明实施例中第二目标神经网络是基于训练阶段下的第二初始颜色贴图、第二目标颜色贴图、第二目标法线贴图和预设标准法线贴图训练得到的，训练阶段下无需获取相应的真值纹理贴图，因此本发明实施例还可以在不依赖真值纹理贴图的情况下，有效提升三维重建效果，显著降低了三维重建所需的人力成本和负担。
为便于对前述步骤S106进行理解，本发明实施例提供了一种基于第一3DMM参数，对人脸图像中的每个像素点的颜色值进行重排列得到第一颜色重排列贴图的实施方式，包括：(1)根据第一3DMM参数中的3DMM形状系数和3DMM表情系数，生成人脸图像对应的第一人脸三维模型；(2)根据第一3DMM参数中的三维模型姿态，对人脸图像和第一人脸三维模型进行对齐处理；(3)在人脸图像与第一人脸三维模型对齐的情况下，按照第一人脸三维模型的贴图坐标，对人脸图像中的每个像素点的颜色值进行重排列得到第一颜色重排列贴图。其中，贴图坐标是用于对齐人脸图像和第一人脸三维模型的一种坐标形式，它对第一人脸三维模型的每一个三角面都提供了对应在人脸图像上的二维坐标，贴图坐标是固定的，可以由3DMM提供。在一种实施方式中，可以根据3DMM形状系数和3DMM表情系数计算生成的人脸三维模型S，使用三维模型姿态对齐人脸三维模型S和输入的人脸图像，将人脸图像中的人脸像素颜色按照人脸三维模型S提供的贴图坐标排列，得到生成的第一颜色重排列贴图。
为便于对前述步骤S106进行理解，本发明实施例还提供了一种基于第一3DMM参数生成人脸图像对应的第一初始颜色贴图的实施方式，可以根据第一3DMM参数中的3DMM纹理系数，对预设的3DMM纹理基进行线性加和，得到人脸图像对应的第一初始颜色贴图。在一种实施方式中，3DMM纹理基包含多个基纹理，每个基纹理都是一张带有颜色的贴图，将所有基纹理按对应的3DMM纹理系数计算加权和，即可得到第一初始颜色贴图。
为便于对前述步骤S108进行理解，本发明实施例还提供了一种通过预先训练得到的第二目标神经网络，基于第一颜色重排列贴图和第一初始颜色贴图，预测人脸图像对应的第一目标颜色贴图和第一目标法线贴图，的实施方式，具体的：对第一颜色重排列贴图和第一初始颜色贴图进行通道拼接得到第一拼接贴图，再通过预先训练得到的第二目标神经网络，基于第一拼接贴图预测人脸图像对应的第一目标颜色贴图和第一目标法线贴图。在一种实施方式中，第一颜色重排列贴图和第一初始颜色贴图均为三通道图像，包括RGB(RedGreen Blue)三个通道，通过对第一颜色重排列贴图和第一初始颜色贴图进行通道拼接，可以得到六通道图像，该六通道图像即为第一拼接图像，可选的，第一拼接图像的前三个通道为第一颜色重排列贴图的RGB通道，后三个通道为第一初始颜色贴图的RGB通道，将第一贫瘠图像输入至第二目标神经网络，即可得到第一目标颜色贴图和第一目标法线贴图。
在前述实施例的基础上，本发明实施例提供了另一种三维重建方法，参见图2所示的另一种三维重建方法的流程示意图，该方法包括以下步骤S202至步骤S218：
步骤S202，加载第一神经网络模型和第二神经网络模型。在一种实施方式中，在进行三维重建之前，需要预先加载第一神经网络模型和第二神经网络模型的参数，以便于后续利用第一神经网络模型和第二神经网络模型进行三维重建。
步骤S204，输入任意人脸图像。
步骤S206，由第一目标神经网络预测人脸图像的第一3DMM参数。
步骤S208，根据第一3DMM参数生成第一人脸三维模型。
步骤S210，对齐第一人脸三维模型与人脸图像。
步骤S212，对人脸图像中的像素按第一人脸三维模型提供的贴图坐标排列，得到第一颜色重排列贴图。
步骤S124，根据第一3DMM参数生成第一初始颜色贴图。
步骤S216，按通道拼接第一颜色重排列贴图和第一初始颜色贴图，由第二目标神经网络预测第一目标颜色贴图和第一目标法线贴图。
步骤S218，判断是否结束。如果是，结束；如果否，执行步骤S204。
对于前述实施例提供的第一目标神经网络，本发明实施例还提供了一种第一目标神经网络的训练方法，参见如下步骤1.1至步骤1.4：
步骤1.1，获取训练图像集。其中，训练图像集包括多个人脸二维图像。
步骤1.2，通过第一初始神经网络，预测人脸二维图像对应的第二3DMM参数。在一种实施方式中，对于每个人脸二维图像It，将该人脸二维图像It输入至第一初始神经网络Net1，即可得到第一初始神经网络Net1针对该人脸二维图像输出的3DMM形状系数、3DMM表情系数、3DMM纹理系数、三维模型姿态、光照系数等第二3DMM参数。其中，第二3DMM参数也即模型训练阶段第一初始神经网络预测的3DMM参数。
步骤1.3，基于第二3DMM参数，生成人脸二维图像对应的第二人脸三维模型和第二初始颜色贴图。其中，第二人脸三维模型、第二初始颜色贴图分别为模型训练阶段下的人脸三维模型、初始颜色贴图。在一种实施方式中，可以根据3DMM形状系数和3DMM表情系数计算生成的人脸三维模型S，根据3DMM纹理系数计算生成的人脸颜色贴图T1。
步骤1.4，基于第二人脸三维模型和第二初始颜色贴图确定第一目标损失值，并利用第一目标损失值对第一初始神经网络进行训练得到第一目标神经网络。在一种具体的实施方式中，可以参见如下步骤1.4.1至步骤1.4.3：
步骤1.4.1，对第二人脸三维模型和第二初始颜色贴图进行可微渲染处理得到第一渲染图像。在一种实施方式中，可以使用可微渲染，根据人脸三维模型S和第二初始颜色贴图T1得到第一渲染图像
步骤1.4.2，计算人脸二维图像与第一渲染图像之间的第一误差值，以及计算人脸二维图像中的关键点坐标与第二人脸三维模型中的关键点坐标之间的第二误差值。在一种实施方式中，可以使用面部关键点检测方法(如Mediapipe)进行提取人脸二维图像中的关键点坐标LMt，以及使用投影矩阵计算第二人脸三维模型中的关键点坐标分别计算人脸二维图像It与第一渲染图像/>之间的第一误差值，以及关键点坐标LMt与关键点坐标之间的第二误差值。
步骤1.4.3，对第一误差值和第二误差值进行加权求和，得到第一目标损失值。在一种实施方式中，可以将第一误差值和第二误差值的加权求和作为最终的第一目标损失值，并利用该第一目标损失值训练第一初始神经网络Net1。
在前述实施例的基础上，本发明实施例提供了另一种第一目标神经网络的训练方法，参见图3所示的一种第一目标神经网络的训练方法的流程示意图，该方法包括以下步骤S302至步骤S316：
步骤S302，输入任意人脸二维图像。
步骤S304，由第一初始神经网络Net1预测第二3DMM参数。
步骤S306，通过可微渲染生成第二渲染图像。
步骤S308，通过投影矩阵计算关键点坐标。
步骤S310，计算第一目标损失值。
步骤S312，优化第一初始神经网络Net1的网络参数。
步骤S314，判断是否达到最大迭代次数。如果是，执行步骤S316；如果否，执行步骤S302。
步骤S316，保存网络参数。
对于前述实施例提供的第二目标神经网络，本发明实施例还提供了一种第二目标神经网络的训练方法，参见如下步骤2.1至步骤1.5：
步骤2.1，根据第二3DMM参数和第二人脸三维模型，对人脸二维图像中的每个像素点的颜色值进行重排列得到第二颜色重排列贴图。在一种实施方式中，可以使用第二3DMM参数中的三维模型姿态，对齐第二人脸三维模型S和人脸二维图像It，将人脸二维图像It中的人脸像素颜色按照贴图坐标排列，得到第二颜色重排列贴图T2。
步骤2.2，对第二颜色重排列贴图和第二初始颜色贴图进行通道拼接得到第二拼接贴图。在一种实施方式中，可以使用3DMM纹理系数对3DMM纹理基进行线性加和生成第二初始颜色贴图T1，然后将第二初始颜色贴图T1和第二颜色重排列贴图T2进行通道拼接，得到第二拼接贴图。
步骤2.3，通过第二初始神经网络，基于第二拼接贴图预测人脸二维图像对应的第二目标颜色贴图和第二目标法线贴图。参见图4所示的一种第二初始神经网络的输入输出示意图，其中，第二初始神经网络的输入为第二颜色重排列贴图T2和第二初始颜色贴图T1拼进行通道拼接后的图像(也即，第二拼接贴图)，输出为第二目标颜色贴图TF-D和第二目标法线贴图TF-N。
步骤2.4，基于第二目标颜色贴图和第二目标法线贴图，确定渲染损失值、结构损失值、对称损失值和平滑损失值。为便于理解，本发明实施例分别提出了确定渲染损失值、结构损失值、对称损失值和平滑损失值的实施方式，具体参见如下方式一至方式四：
方式一，渲染损失值：
步骤a1，对第二目标颜色贴图、第二目标法线贴图和第二人脸三维模型进行可微渲染处理得到第二渲染图像。在一种实施方式中，利用可微渲染技术，将第二目标颜色贴图TF-D、第二目标法线贴图TF-N和第二人脸三维模型S渲染为二维图像，该二维图像也即第二渲染图像
步骤a2，利用预设的绝对误差损失函数，基于人脸二维图像和第二渲染图像计算渲染损失值。在一种实施方式中，可以根据第二渲染图像与输入的人脸二维图像It计算均绝对误差损失函数/>该绝对误差损失函数的计算结果即为渲染损失值L1。
方式二，结构损失值，结构损失值包括颜色结构损失值和/或法线结构损失值：
步骤b1，利用预设的绝对误差损失函数，基于第二目标颜色贴图和第二初始颜色贴图计算颜色结构损失值。其中，颜色结构损失值也即第二目标颜色贴图的结构损失值。在一种实施方式中，将第二目标颜色贴图TF-D与第二初始颜色贴图T1计算均绝对误差损失函数L2＝MAE(TF-D,T1)，该绝对误差损失函数的计算结果即为颜色结构损失值L2。
步骤b2，利用预设的绝对误差损失函数，基于第二目标法线贴图和预设标准法线贴图计算法线结构损失值。其中，法线结构损失值也即第二目标法线贴图的结构损失值。在一种实施方式中，将第二目标法线贴图TF-N与标准法线贴图TN计算均绝对误差损失函数L3＝MAE(TF-N,TN)，该绝对误差损失函数的计算结果即为法线结构损失值L3。
方式三，对称损失值，对称损失值包括颜色对称损失值和/或法线对称损失值：
步骤c1，对第二目标颜色贴图进行平滑滤波处理得到滤波后颜色贴图，再对滤波后颜色贴图进行对称反转处理得到翻转后颜色贴图。在一种实施方式中，可以使用高斯滤波核对第二目标颜色贴图TF-D进行平滑滤波处理得到滤波后颜色贴图Tsmooth-F-D，再对滤波后颜色贴图Tsmooth-F-D进行左右对称反转得到翻转后颜色贴图Tsmooth-F-D'。
步骤c2，利用预设的绝对误差损失函数，基于滤波后颜色贴图和翻转后颜色贴图计算颜色对称损失值。其中，颜色对称损失值也即第二目标颜色贴图的对称损失值。在一种实施方式中，可以计算滤波后颜色贴图Tsmooth-F-D和翻转后颜色贴图Tsmooth-F-D'的均绝对误差损失函数L4＝MAE(Tsmooth-F-D,Tsmooth-F-D')，该绝对误差损失函数的计算结果即为颜色对称损失值L4。
步骤c3，对第二目标法线贴图进行平滑滤波处理得到滤波后法线贴图，再对滤波后法线贴图进行对称反转处理得到翻转后法线贴图。在一种实施方式中，可以使用高斯滤波核对第二目标法线贴图TF-N进行平滑滤波处理得到滤波后法线贴图Tsmooth-F-N，再对滤波后法线贴图Tsmooth-F-N进行左右对称反转得到翻转后法线贴图Tsmooth-F-N'。
步骤c4，利用预设的绝对误差损失函数，基于滤波后法线贴图和翻转后法线贴图计算法线对称损失值。其中，法线对称损失值也即第二目标法线贴图的对称损失值。在一种实施方式中，可以计算滤波后法线贴图Tsmooth-F-N和翻转后法线贴图Tsmooth-F-N'的均绝对误差损失函数L5＝MAE(Tsmooth-F-N,Tsmooth-F-N')，该绝对误差损失函数的计算结果即为法线对称损失值L5。
方式四，平滑损失值，平滑损失值包括颜色平滑总损失值和/或法线平滑总损失值：
步骤d1，按照至少一个指定方向对第二目标颜色贴图进行偏移处理，得到每个指定方向对应的偏移后颜色贴图。其中，指定方向可以包括上、下、左、右四个方向。在一种实施方式中，对第二目标颜色贴图TF-D向上下左右四个方向分别偏移一个像素，得到偏移后颜色贴图TF-D1、TF-D2、TF-D3、TF-D4。
步骤d2，利用预设的绝对误差损失函数，基于每个指定方向对应的偏移后颜色贴图与第二目标颜色贴图，确定每个指定方向对应的颜色平滑损失值，并将每个指定方向对应的颜色平滑损失值的和值，确定为颜色平滑总损失值。其中，颜色平滑总损失值也即第二目标颜色贴图的平滑总损失值。在一种实施方式中，可以对偏移后颜色贴图TF-D1、TF-D2、TF-D3、TF-D4与偏移前的第二目标颜色贴图TF-D计算均绝对误差损失函数的加和L6＝MAE(TF-D1,TF-D)+MAE(TF-D2,TF-D)+MAE(TF-D3,TF-D)+MAE(TF-D4,TF-D)，结果即为颜色平滑总损失值L6。
步骤d3，按照至少一个指定方向对第二目标法线贴图进行偏移处理，得到每个指定方向对应的偏移后法线贴图。在一种实施方式中，对第二目标法线贴图TF-N向上下左右四个方向分别偏移一个像素，得到偏移后法线贴图TF-N1、TF-N2、TF-N3、TF-N4。
步骤d4，利用预设的绝对误差损失函数，基于每个指定方向对应的偏移后法线贴图与第二目标法线贴图，确定每个指定方向对应的法线平滑损失值，并将每个指定方向对应的法线平滑损失值的和值，确定为法线平滑总损失值。其中，法线平滑总损失值也即第二目标法线贴图的平滑总损失值。在一种实施方式中，可以对偏移后法线贴图TF-N1、TF-N2、TF-N3、TF-N4与偏移前的第二目标法线贴图TF-N计算均绝对误差损失函数的加和L7＝MAE(TF-N1,TF-N)+MAE(TF-N2,TF-N)+MAE(TF-N3,TF-DN)+MAE(TF-N4,TF-N)，结果即为法线平滑总损失值L7。
步骤2.5，对渲染损失值、结构损失值、对称损失值和平滑损失值中的一种或多种进行加权求和得到第二目标损失值，并利用第二目标损失值对第二初始神经网络进行训练得到第二目标神经网络。在一种实施方式中，可以渲染损失值L1、颜色结构损失值L2、法线结构损失值L3、颜色对称损失值L4、法线对称损失值L5、颜色平滑总损失值L6、法线平滑总损失值L7进行加权求和得到最终的第二目标损失值LF：
LF＝w1*L1+w2*L2+w3*L3+w4*L4+w5*L5+w6*L6+w7*L7。
其中，w1、w2、w3、w4、w5、w6、w7为权重。在一种实施方式中，
对每张输入的人脸二维图像计算第二目标损失值LF并使用梯度下降算法训练第二初始神经网络Net2。
在前述实施例的基础上，本发明实施例提供了另一种第二目标神经网络的训练方法，参见图5所示的一种第二目标神经网络的训练方法的流程示意图，该方法包括以下步骤S502至步骤S524：
步骤S502，输入任意人脸二维图像。
步骤S504，由第一初始神经网络Net1预测第二3DMM参数。
步骤S506，根据第二3DMM参数生成第二人脸三维模型。
步骤S508，对齐第二人脸三维模型与人脸二维图像。
步骤S510，对人脸二维图像中的像素按第二人脸三维模型提供的贴图坐标排列，得到第二颜色重排列贴图。
步骤S512，根据第二3DMM参数生成第二初始颜色贴图。
步骤S514，按通道拼接第二颜色重排列贴图和第二初始颜色贴图，由第二初始神经网络Net2预测第二目标颜色贴图和第二目标法线贴图。
步骤S516，计算渲染损失值。
步骤S518，计算结构损失值/对称损失值/平滑损失值。
步骤S520，优化第二初始神经网络Net2的网络参数。
步骤S522，判断是否达到最大迭代次数。如果是，执行步骤S526；如果否，执行步骤S502。
步骤S524，保存网络参数。
本发明实施例提供的三维重建方法，充分、自适应地探索、利用3DMM线性加和生成的第一初始颜色贴图和输入的人脸图像按纹理坐标重新排列的第一颜色重排列贴图之间的互补信息，设计额外的先验损失函数，在不依赖真值纹理贴图的情况下，显著提升重建的人脸三维模型和纹理贴图与人脸图像的相似度。
本发明实施例提供的三维重建方法的核心技术点如下：
(1)对于每张人脸二维图像It，首先利用面部关键点检测方法提取其面部二维关键点坐标LMt，使用第一初始神经网络Net1预测3DMM形状系数、3DMM表情系数、3DMM纹理系数、三维模型姿态、光照系数，计算生成的人脸三维模型S，使用可微渲染得到S的第一渲染图像使用投影矩阵计算人脸三维模型S的面部关键点坐标/>通过计算关键点坐标/>与关键点坐标LMt的逐像素的MSE误差，以及人脸二维图像It与第一渲染图像/>的误差，及全球和作为第一目标损失值训练第一初始神经网络Net1。
(2)在第一初始神经网络Net1训练完成后，对于第二初始神经网络Net2的训练：对于每张人脸二维图像It，利用已训练完成的第一目标神经网络预测3DMM形状系数、3DMM表情系数、3DMM纹理系数和三维模型姿态。使用3DMM纹理系数对3DMM所提供的纹理基进行线性加和，生成第二初始颜色贴图T1，使用三维模型姿态对齐第二人脸三维模型S和人脸二维图像It，将人脸二维图像It中的人脸像素颜色按照贴图坐标排列，得到第二颜色重排列贴图T2。
(3)将第二初始颜色贴图T1和第二颜色重排列贴图T2进行通道拼接作为输入，并通过第二初始神经网络Net2得到第二目标颜色贴图TF-D和第二目标法线贴图TF-N。利用可微渲染技术，将第二目标颜色贴图TF-D、第二目标法线贴图TF-N和第二人脸三维模型S渲染为第二渲染图像并计算第二渲染图像/>与人脸二维图像It的误差；对第二目标颜色贴图TF-D、第二目标法线贴图TF-N进行平滑操作和翻转操作，计算翻转前后贴图之间的误差进而约束人脸贴图的对称性质；计算第二目标颜色贴图TF-D与第二初始颜色贴图T1之间的误差进而约束第二目标颜色贴图TF-D的结构性质；计算第二目标法线贴图TF-N与标准法线贴图TN之间的误差进而约束第二目标法线贴图TF-N的结构性质；计算第二目标颜色贴图TF-D、第二目标法线贴图TF-N的每个像素与相邻像素的误差进而约束第二目标颜色贴图TF-D、第二目标法线贴图TF-N的平滑性质；将以上四中误差损失函数加权求和作为最终损失函数，并通过梯度下降算法训练第二初始神经网络Net2。
综上所述，本发明实施例可以有效提升重建结果的视觉效果及与输入图像的相似程度。另外，本发明实施例还可以避免在神经网络训练过程对真值纹理贴图的依赖，从而减少在真值纹理贴图数据准备过程中所消耗的人工成本。
对于前述实施例提供的三维重建方法，本发明实施例提供了一种三维重建装置，参见图6所示的一种三维重建装置的结构示意图，该装置主要包括以下部分：
图像获取模块602，用于获取待重建的人脸图像；
第一预测模块604，用于通过预先训练得到的第一目标神经网络，预测人脸图像对应的第一3DMM参数；
贴图生成模块606，用于基于第一3DMM参数，对人脸图像中的每个像素点的颜色值进行重排列得到第一颜色重排列贴图；以及，基于第一3DMM参数生成人脸图像对应的第一初始颜色贴图；
第二预测模块608，用于通过预先训练得到的第二目标神经网络，基于第一颜色重排列贴图和第一初始颜色贴图，预测人脸图像对应的第一目标颜色贴图和第一目标法线贴图，以基于第一目标颜色贴图和第一目标法线贴图对人脸图像进行三维重建；其中，其中，所述第二目标神经网络是基于训练阶段下的第二初始颜色贴图、第二目标颜色贴图、第二目标法线贴图和预设标准法线贴图训练得到的。
本发明实施例提供的三维重建装置，首先利用第一目标神经网络预测第一3DMM参数，从而基于第一3DMM参数生成第一初始颜色截图，以及基于第一3DMM参数重新排列人脸图像中的每个像素点的颜色值得到第一颜色重排列贴图，进一步通过第二目标神经网络利用第一初始颜色贴图和第一颜色重排列贴图之间的互补信息，预测单目人脸三维重建所需的第一目标颜色贴图和第一目标法线贴图，通过结合第一目标颜色贴图和第一目标法线贴图，可以显著提升三维重建结果的视觉效果，还可以有效提升三维重建结果与人脸图像之间的相似度，另外，本发明中第二目标神经网络是基于训练阶段下的第二初始颜色贴图、第二目标颜色贴图、第二目标法线贴图和预设标准法线贴图训练得到的，训练阶段下无需获取相应的真值纹理贴图，因此本发明实施例还可以在不依赖真值纹理贴图的情况下，有效提升单目人脸三维重建效果，显著降低了单目人脸三维重建所需的人力成本和负担。
在一种实施方式中，贴图生成模块606还用于：根据第一3DMM参数中的3DMM形状系数和3DMM表情系数，生成人脸图像对应的第一人脸三维模型；根据第一3DMM参数中的三维模型姿态，对人脸图像和第一人脸三维模型进行对齐处理；在人脸图像与第一人脸三维模型对齐的情况下，按照第一人脸三维模型的贴图坐标，对人脸图像中的每个像素点的颜色值进行重排列得到第一颜色重排列贴图。
在一种实施方式中，贴图生成模块606还用于：根据第一3DMM参数中的3DMM纹理系数，对预设的3DMM纹理基进行线性加和，得到人脸图像对应的第一初始颜色贴图。
在一种实施方式中，第二预测模块608还用于：对第一颜色重排列贴图和第一初始颜色贴图进行通道拼接得到第一拼接贴图；通过预先训练得到的第二目标神经网络，基于第一拼接贴图预测人脸图像对应的第一目标颜色贴图和第一目标法线贴图。
本发明实施例还提供了一种训练装置，上述训练装置还包括第一训练模块，用于：获取训练图像集；其中，训练图像集包括多个人脸二维图像；通过第一初始神经网络，预测人脸二维图像对应的第二3DMM参数；基于第二3DMM参数，生成人脸二维图像对应的第二人脸三维模型和第二初始颜色贴图；基于第二人脸三维模型和第二初始颜色贴图确定第一目标损失值，并利用第一目标损失值对第一初始神经网络进行训练得到第一目标神经网络。
在一种实施方式中，第一训练模块还用于：对第二人脸三维模型和第二初始颜色贴图进行可微渲染处理得到第一渲染图像；计算人脸二维图像与第一渲染图像之间的第一误差值，以及计算人脸二维图像中的关键点坐标与第二人脸三维模型中的关键点坐标之间的第二误差值；对第一误差值和第二误差值进行加权求和，得到第一目标损失值。
在一种实施方式中，上述训练装置还包括第二训练模块，用于：根据第二3DMM参数和第二人脸三维模型，对人脸二维图像中的每个像素点的颜色值进行重排列得到第二颜色重排列贴图；对第二颜色重排列贴图和第二初始颜色贴图进行通道拼接得到第二拼接贴图；通过第二初始神经网络，基于第二拼接贴图预测人脸二维图像对应的第二目标颜色贴图和第二目标法线贴图；基于第二目标颜色贴图和第二目标法线贴图，确定渲染损失值、结构损失值、对称损失值和平滑损失值；对渲染损失值、结构损失值、对称损失值和平滑损失值中的一种或多种进行加权求和得到第二目标损失值，并利用第二目标损失值对第二初始神经网络进行训练得到第二目标神经网络。
在一种实施方式中，第二训练模块还用于：对第二目标颜色贴图、第二目标法线贴图和第二人脸三维模型进行可微渲染处理得到第二渲染图像；利用预设的绝对误差损失函数，基于人脸二维图像和第二渲染图像计算渲染损失值。
在一种实施方式中，第二训练模块还用于：利用预设的绝对误差损失函数，基于第二目标颜色贴图和第二初始颜色贴图计算颜色结构损失值；以及，利用预设的绝对误差损失函数，基于第二目标法线贴图和预设标准法线贴图计算法线结构损失值；其中，结构损失值包括颜色结构损失值和/或法线结构损失值。
在一种实施方式中，第二训练模块还用于：对第二目标颜色贴图进行平滑滤波处理得到滤波后颜色贴图，再对滤波后颜色贴图进行对称反转处理得到翻转后颜色贴图；利用预设的绝对误差损失函数，基于滤波后颜色贴图和翻转后颜色贴图计算颜色对称损失值；以及，对第二目标法线贴图进行平滑滤波处理得到滤波后法线贴图，再对滤波后法线贴图进行对称反转处理得到翻转后法线贴图；利用预设的绝对误差损失函数，基于滤波后法线贴图和翻转后法线贴图计算法线对称损失值；其中，对称损失值包括颜色对称损失值和/或法线对称损失值。
在一种实施方式中，第二训练模块还用于：按照至少一个指定方向对第二目标颜色贴图进行偏移处理，得到每个指定方向对应的偏移后颜色贴图；利用预设的绝对误差损失函数，基于每个指定方向对应的偏移后颜色贴图与第二目标颜色贴图，确定每个指定方向对应的颜色平滑损失值，并将每个指定方向对应的颜色平滑损失值的和值，确定为颜色平滑总损失值；以及，按照至少一个指定方向对第二目标法线贴图进行偏移处理，得到每个指定方向对应的偏移后法线贴图；利用预设的绝对误差损失函数，基于每个指定方向对应的偏移后法线贴图与第二目标法线贴图，确定每个指定方向对应的法线平滑损失值，并将每个指定方向对应的法线平滑损失值的和值，确定为法线平滑总损失值；其中，平滑损失值包括颜色平滑总损失值和/或法线平滑总损失值。
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
本发明实施例提供了一种电子设备，具体的，该电子设备包括处理器和存储装置；存储装置上存储有计算机程序，计算机程序在被所述处理器运行时执行：
一种三维重建方法，包括：获取待重建的人脸图像；通过预先训练得到的第一目标神经网络，预测人脸图像对应的第一3DMM参数；基于第一3DMM参数，对人脸图像中的每个像素点的颜色值进行重排列得到第一颜色重排列贴图；以及，基于第一3DMM参数生成人脸图像对应的第一初始颜色贴图；通过预先训练得到的第二目标神经网络，基于第一颜色重排列贴图和第一初始颜色贴图，预测人脸图像对应的第一目标颜色贴图和第一目标法线贴图，以基于第一目标颜色贴图和第一目标法线贴图对人脸图像进行三维重建；其中，所述第二目标神经网络是基于训练阶段下的第二初始颜色贴图、第二目标颜色贴图、第二目标法线贴图和预设标准法线贴图训练得到的。
在一种实施方式中，基于第一3DMM参数，对人脸图像中的每个像素点的颜色值进行重排列得到第一颜色重排列贴图，包括：根据第一3DMM参数中的3DMM形状系数和3DMM表情系数，生成人脸图像对应的第一人脸三维模型；根据第一3DMM参数中的三维模型姿态，对人脸图像和第一人脸三维模型进行对齐处理；在人脸图像与第一人脸三维模型对齐的情况下，按照第一人脸三维模型的贴图坐标，对人脸图像中的每个像素点的颜色值进行重排列得到第一颜色重排列贴图。
在一种实施方式中，基于第一3DMM参数生成人脸图像对应的第一初始颜色贴图，包括：根据第一3DMM参数中的3DMM纹理系数，对预设的3DMM纹理基进行线性加和，得到人脸图像对应的第一初始颜色贴图。
在一种实施方式中，通过预先训练得到的第二目标神经网络，基于第一颜色重排列贴图和第一初始颜色贴图，预测人脸图像对应的第一目标颜色贴图和第一目标法线贴图，包括：对第一颜色重排列贴图和第一初始颜色贴图进行通道拼接得到第一拼接贴图；通过预先训练得到的第二目标神经网络，基于第一拼接贴图预测人脸图像对应的第一目标颜色贴图和第一目标法线贴图。
在一种实施方式中，第一目标神经网络的预先训练方法包括：获取训练图像集；其中，训练图像集包括多个人脸二维图像；通过第一初始神经网络，预测人脸二维图像对应的第二3DMM参数；基于第二3DMM参数，生成人脸二维图像对应的第二人脸三维模型和第二初始颜色贴图；基于第二人脸三维模型和第二初始颜色贴图确定第一目标损失值，并利用第一目标损失值对第一初始神经网络进行训练得到第一目标神经网络。
在一种实施方式中，基于第二人脸三维模型和第二初始颜色贴图确定第一目标损失值，包括：对第二人脸三维模型和第二初始颜色贴图进行可微渲染处理得到第一渲染图像；计算人脸二维图像与第一渲染图像之间的第一误差值，以及计算人脸二维图像中的关键点坐标与第二人脸三维模型中的关键点坐标之间的第二误差值；对第一误差值和第二误差值进行加权求和，得到第一目标损失值。
在一种实施方式中，第二目标神经网络的预先训练方法包括：根据第二3DMM参数和第二人脸三维模型，对人脸二维图像中的每个像素点的颜色值进行重排列得到第二颜色重排列贴图；对第二颜色重排列贴图和第二初始颜色贴图进行通道拼接得到第二拼接贴图；通过第二初始神经网络，基于第二拼接贴图预测人脸二维图像对应的第二目标颜色贴图和第二目标法线贴图；基于第二目标颜色贴图和第二目标法线贴图，确定渲染损失值、结构损失值、对称损失值和平滑损失值；对渲染损失值、结构损失值、对称损失值和平滑损失值中的一种或多种进行加权求和得到第二目标损失值，并利用第二目标损失值对第二初始神经网络进行训练得到第二目标神经网络。
在一种实施方式中，基于第二目标颜色贴图和第二目标法线贴图，确定渲染损失值，包括：对第二目标颜色贴图、第二目标法线贴图和第二人脸三维模型进行可微渲染处理得到第二渲染图像；利用预设的绝对误差损失函数，基于人脸二维图像和第二渲染图像计算渲染损失值。
在一种实施方式中，基于第二目标颜色贴图和第二目标法线贴图，确定结构损失值，包括：利用预设的绝对误差损失函数，基于第二目标颜色贴图和第二初始颜色贴图计算颜色结构损失值；以及，利用预设的绝对误差损失函数，基于第二目标法线贴图和预设标准法线贴图计算法线结构损失值；其中，结构损失值包括颜色结构损失值和/或法线结构损失值。
在一种实施方式中，基于第二目标颜色贴图和第二目标法线贴图，确定对称损失值，包括：对第二目标颜色贴图进行平滑滤波处理得到滤波后颜色贴图，再对滤波后颜色贴图进行对称反转处理得到翻转后颜色贴图；利用预设的绝对误差损失函数，基于滤波后颜色贴图和翻转后颜色贴图计算颜色对称损失值；以及，对第二目标法线贴图进行平滑滤波处理得到滤波后法线贴图，再对滤波后法线贴图进行对称反转处理得到翻转后法线贴图；利用预设的绝对误差损失函数，基于滤波后法线贴图和翻转后法线贴图计算法线对称损失值；其中，对称损失值包括颜色对称损失值和/或法线对称损失值。
在一种实施方式中，基于第二目标颜色贴图和第二目标法线贴图，确定平滑损失值，包括：按照至少一个指定方向对第二目标颜色贴图进行偏移处理，得到每个指定方向对应的偏移后颜色贴图；利用预设的绝对误差损失函数，基于每个指定方向对应的偏移后颜色贴图与第二目标颜色贴图，确定每个指定方向对应的颜色平滑损失值，并将每个指定方向对应的颜色平滑损失值的和值，确定为颜色平滑总损失值；以及，按照至少一个指定方向对第二目标法线贴图进行偏移处理，得到每个指定方向对应的偏移后法线贴图；利用预设的绝对误差损失函数，基于每个指定方向对应的偏移后法线贴图与第二目标法线贴图，确定每个指定方向对应的法线平滑损失值，并将每个指定方向对应的法线平滑损失值的和值，确定为法线平滑总损失值；其中，平滑损失值包括颜色平滑总损失值和/或法线平滑总损失值。
本发明实施例提供的电子设备，首先利用第一目标神经网络预测第一3DMM参数，从而基于第一3DMM参数生成第一初始颜色截图，以及基于第一3DMM参数重新排列人脸图像中的每个像素点的颜色值得到第一颜色重排列贴图，进一步通过第二目标神经网络利用第一初始颜色贴图和第一颜色重排列贴图之间的互补信息，预测单目人脸三维重建所需的第一目标颜色贴图和第一目标法线贴图，通过结合第一目标颜色贴图和第一目标法线贴图，可以显著提升三维重建结果的视觉效果，还可以有效提升三维重建结果与人脸图像之间的相似度，另外，本发明中第二目标神经网络是基于训练阶段下的第二初始颜色贴图、第二目标颜色贴图、第二目标法线贴图和预设标准法线贴图训练得到的，训练阶段下无需获取相应的真值纹理贴图，因此本发明实施例还可以在不依赖真值纹理贴图的情况下，有效提升单目人脸三维重建效果，显著降低了单目人脸三维重建所需的人力成本和负担。
图7为本发明实施例提供的一种电子设备的结构示意图，该电子设备100包括：处理器70，存储器71，总线72和通信接口73，所述处理器70、通信接口73和存储器71通过总线72连接；处理器70用于执行存储器71中存储的可执行模块，例如计算机程序。
其中，存储器71可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口73(可以是有线或者无线)实现该***网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
总线72可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器71用于存储程序，所述处理器70在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器70中，或者由处理器70实现。
处理器70可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器70中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器70可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器71，处理器70读取存储器71中的信息，结合其硬件完成上述方法的步骤。
本发明实施例所提供的可读存储介质的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行：
一种三维重建方法，包括：获取待重建的人脸图像；通过预先训练得到的第一目标神经网络，预测人脸图像对应的第一3DMM参数；基于第一3DMM参数，对人脸图像中的每个像素点的颜色值进行重排列得到第一颜色重排列贴图；以及，基于第一3DMM参数生成人脸图像对应的第一初始颜色贴图；通过预先训练得到的第二目标神经网络，基于第一颜色重排列贴图和第一初始颜色贴图，预测人脸图像对应的第一目标颜色贴图和第一目标法线贴图，以基于第一目标颜色贴图和第一目标法线贴图对人脸图像进行三维重建；其中，所述第二目标神经网络是基于训练阶段下的第二初始颜色贴图、第二目标颜色贴图、第二目标法线贴图和预设标准法线贴图训练得到的。
在一种实施方式中，基于第一3DMM参数，对人脸图像中的每个像素点的颜色值进行重排列得到第一颜色重排列贴图，包括：根据第一3DMM参数中的3DMM形状系数和3DMM表情系数，生成人脸图像对应的第一人脸三维模型；根据第一3DMM参数中的三维模型姿态，对人脸图像和第一人脸三维模型进行对齐处理；在人脸图像与第一人脸三维模型对齐的情况下，按照第一人脸三维模型的贴图坐标，对人脸图像中的每个像素点的颜色值进行重排列得到第一颜色重排列贴图。
在一种实施方式中，基于第一3DMM参数生成人脸图像对应的第一初始颜色贴图，包括：根据第一3DMM参数中的3DMM纹理系数，对预设的3DMM纹理基进行线性加和，得到人脸图像对应的第一初始颜色贴图。
在一种实施方式中，通过预先训练得到的第二目标神经网络，基于第一颜色重排列贴图和第一初始颜色贴图，预测人脸图像对应的第一目标颜色贴图和第一目标法线贴图，包括：对第一颜色重排列贴图和第一初始颜色贴图进行通道拼接得到第一拼接贴图；通过预先训练得到的第二目标神经网络，基于第一拼接贴图预测人脸图像对应的第一目标颜色贴图和第一目标法线贴图。
在一种实施方式中，第一目标神经网络的预先训练方法包括：获取训练图像集；其中，训练图像集包括多个人脸二维图像；通过第一初始神经网络，预测人脸二维图像对应的第二3DMM参数；基于第二3DMM参数，生成人脸二维图像对应的第二人脸三维模型和第二初始颜色贴图；基于第二人脸三维模型和第二初始颜色贴图确定第一目标损失值，并利用第一目标损失值对第一初始神经网络进行训练得到第一目标神经网络。
在一种实施方式中，基于第二人脸三维模型和第二初始颜色贴图确定第一目标损失值，包括：对第二人脸三维模型和第二初始颜色贴图进行可微渲染处理得到第一渲染图像；计算人脸二维图像与第一渲染图像之间的第一误差值，以及计算人脸二维图像中的关键点坐标与第二人脸三维模型中的关键点坐标之间的第二误差值；对第一误差值和第二误差值进行加权求和，得到第一目标损失值。
在一种实施方式中，第二目标神经网络的预先训练方法包括：根据第二3DMM参数和第二人脸三维模型，对人脸二维图像中的每个像素点的颜色值进行重排列得到第二颜色重排列贴图；对第二颜色重排列贴图和第二初始颜色贴图进行通道拼接得到第二拼接贴图；通过第二初始神经网络，基于第二拼接贴图预测人脸二维图像对应的第二目标颜色贴图和第二目标法线贴图；基于第二目标颜色贴图和第二目标法线贴图，确定渲染损失值、结构损失值、对称损失值和平滑损失值；对渲染损失值、结构损失值、对称损失值和平滑损失值中的一种或多种进行加权求和得到第二目标损失值，并利用第二目标损失值对第二初始神经网络进行训练得到第二目标神经网络。
在一种实施方式中，基于第二目标颜色贴图和第二目标法线贴图，确定渲染损失值，包括：对第二目标颜色贴图、第二目标法线贴图和第二人脸三维模型进行可微渲染处理得到第二渲染图像；利用预设的绝对误差损失函数，基于人脸二维图像和第二渲染图像计算渲染损失值。
在一种实施方式中，基于第二目标颜色贴图和第二目标法线贴图，确定结构损失值，包括：利用预设的绝对误差损失函数，基于第二目标颜色贴图和第二初始颜色贴图计算颜色结构损失值；以及，利用预设的绝对误差损失函数，基于第二目标法线贴图和预设标准法线贴图计算法线结构损失值；其中，结构损失值包括颜色结构损失值和/或法线结构损失值。
在一种实施方式中，基于第二目标颜色贴图和第二目标法线贴图，确定对称损失值，包括：对第二目标颜色贴图进行平滑滤波处理得到滤波后颜色贴图，再对滤波后颜色贴图进行对称反转处理得到翻转后颜色贴图；利用预设的绝对误差损失函数，基于滤波后颜色贴图和翻转后颜色贴图计算颜色对称损失值；以及，对第二目标法线贴图进行平滑滤波处理得到滤波后法线贴图，再对滤波后法线贴图进行对称反转处理得到翻转后法线贴图；利用预设的绝对误差损失函数，基于滤波后法线贴图和翻转后法线贴图计算法线对称损失值；其中，对称损失值包括颜色对称损失值和/或法线对称损失值。
在一种实施方式中，基于第二目标颜色贴图和第二目标法线贴图，确定平滑损失值，包括：按照至少一个指定方向对第二目标颜色贴图进行偏移处理，得到每个指定方向对应的偏移后颜色贴图；利用预设的绝对误差损失函数，基于每个指定方向对应的偏移后颜色贴图与第二目标颜色贴图，确定每个指定方向对应的颜色平滑损失值，并将每个指定方向对应的颜色平滑损失值的和值，确定为颜色平滑总损失值；以及，按照至少一个指定方向对第二目标法线贴图进行偏移处理，得到每个指定方向对应的偏移后法线贴图；利用预设的绝对误差损失函数，基于每个指定方向对应的偏移后法线贴图与第二目标法线贴图，确定每个指定方向对应的法线平滑损失值，并将每个指定方向对应的法线平滑损失值的和值，确定为法线平滑总损失值；其中，平滑损失值包括颜色平滑总损失值和/或法线平滑总损失值。
本发明实施例提供的可读存储介质，首先利用第一目标神经网络预测第一3DMM参数，从而基于第一3DMM参数生成第一初始颜色截图，以及基于第一3DMM参数重新排列人脸图像中的每个像素点的颜色值得到第一颜色重排列贴图，进一步通过第二目标神经网络利用第一初始颜色贴图和第一颜色重排列贴图之间的互补信息，预测单目人脸三维重建所需的第一目标颜色贴图和第一目标法线贴图，通过结合第一目标颜色贴图和第一目标法线贴图，可以显著提升三维重建结果的视觉效果，还可以有效提升三维重建结果与人脸图像之间的相似度，另外，本发明中第二目标神经网络是基于训练阶段下的第二初始颜色贴图、第二目标颜色贴图、第二目标法线贴图和预设标准法线贴图训练得到的，训练阶段下无需获取相应的真值纹理贴图，因此本发明实施例还可以在不依赖真值纹理贴图的情况下，有效提升单目人脸三维重建效果，显著降低了单目人脸三维重建所需的人力成本和负担。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (14)
1.一种三维重建方法，其特征在于，包括：
获取待重建的人脸图像；
通过预先训练得到的第一目标神经网络，预测所述人脸图像对应的第一3DMM参数；
基于所述第一3DMM参数，对所述人脸图像中的每个像素点的颜色值进行重排列得到第一颜色重排列贴图；以及，基于所述第一3DMM参数生成所述人脸图像对应的第一初始颜色贴图；
通过预先训练得到的第二目标神经网络，基于所述第一颜色重排列贴图和所述第一初始颜色贴图，预测所述人脸图像对应的第一目标颜色贴图和第一目标法线贴图，以基于所述第一目标颜色贴图和所述第一目标法线贴图对所述人脸图像进行三维重建；其中，所述第二目标神经网络是基于训练阶段下的第二初始颜色贴图、第二目标颜色贴图、第二目标法线贴图和预设标准法线贴图训练得到的。
2.根据权利要求1所述的三维重建方法，其特征在于，基于所述第一3DMM参数，对所述人脸图像中的每个像素点的颜色值进行重排列得到第一颜色重排列贴图，包括：
根据所述第一3DMM参数中的3DMM形状系数和3DMM表情系数，生成所述人脸图像对应的第一人脸三维模型；
根据所述第一3DMM参数中的三维模型姿态，对所述人脸图像和所述第一人脸三维模型进行对齐处理；
在所述人脸图像与所述第一人脸三维模型对齐的情况下，按照所述第一人脸三维模型的贴图坐标，对所述人脸图像中的每个像素点的颜色值进行重排列得到第一颜色重排列贴图。
3.根据权利要求1所述的三维重建方法，其特征在于，基于所述第一3DMM参数生成所述人脸图像对应的第一初始颜色贴图，包括：
根据所述第一3DMM参数中的3DMM纹理系数，对预设的3DMM纹理基进行线性加和，得到所述人脸图像对应的第一初始颜色贴图。
4.根据权利要求1所述的三维重建方法，其特征在于，通过预先训练得到的第二目标神经网络，基于所述第一颜色重排列贴图和所述第一初始颜色贴图，预测所述人脸图像对应的第一目标颜色贴图和第一目标法线贴图，包括：
对所述第一颜色重排列贴图和所述第一初始颜色贴图进行通道拼接得到第一拼接贴图；
通过预先训练得到的第二目标神经网络，基于所述第一拼接贴图预测所述人脸图像对应的第一目标颜色贴图和第一目标法线贴图。
5.根据权利要求1所述的三维重建方法，其特征在于，所述第一目标神经网络的预先训练方法包括：
获取训练图像集；其中，所述训练图像集包括多个人脸二维图像；
通过第一初始神经网络，预测所述人脸二维图像对应的第二3DMM参数；
基于所述第二3DMM参数，生成所述人脸二维图像对应的第二人脸三维模型和第二初始颜色贴图；
基于所述第二人脸三维模型和所述第二初始颜色贴图确定第一目标损失值，并利用所述第一目标损失值对所述第一初始神经网络进行训练得到第一目标神经网络。
6.根据权利要求5所述的三维重建方法，其特征在于，基于所述第二人脸三维模型和所述第二初始颜色贴图确定第一目标损失值，包括：
对所述第二人脸三维模型和所述第二初始颜色贴图进行可微渲染处理得到第一渲染图像；
计算所述人脸二维图像与所述第一渲染图像之间的第一误差值，以及计算所述人脸二维图像中的关键点坐标与所述第二人脸三维模型中的关键点坐标之间的第二误差值；
对所述第一误差值和所述第二误差值进行加权求和，得到第一目标损失值。
7.根据权利要求5所述的三维重建方法，其特征在于，所述第二目标神经网络的预先训练方法包括：
根据所述第二3DMM参数和所述第二人脸三维模型，对所述人脸二维图像中的每个像素点的颜色值进行重排列得到第二颜色重排列贴图；
对所述第二颜色重排列贴图和所述第二初始颜色贴图进行通道拼接得到第二拼接贴图；
通过第二初始神经网络，基于所述第二拼接贴图预测所述人脸二维图像对应的第二目标颜色贴图和第二目标法线贴图；
基于所述第二目标颜色贴图和所述第二目标法线贴图，确定渲染损失值、结构损失值、对称损失值和平滑损失值；
对所述渲染损失值、所述结构损失值、所述对称损失值和所述平滑损失值中的一种或多种进行加权求和得到第二目标损失值，并利用所述第二目标损失值对所述第二初始神经网络进行训练得到第二目标神经网络。
8.根据权利要求7所述的三维重建方法，其特征在于，基于所述第二目标颜色贴图和所述第二目标法线贴图，确定渲染损失值，包括：
对所述第二目标颜色贴图、所述第二目标法线贴图和所述第二人脸三维模型进行可微渲染处理得到第二渲染图像；
利用预设的绝对误差损失函数，基于所述人脸二维图像和所述第二渲染图像计算渲染损失值。
9.根据权利要求7所述的三维重建方法，其特征在于，基于所述第二目标颜色贴图和所述第二目标法线贴图，确定结构损失值，包括：
利用预设的绝对误差损失函数，基于所述第二目标颜色贴图和所述第二初始颜色贴图计算颜色结构损失值；
以及，利用预设的绝对误差损失函数，基于所述第二目标法线贴图和预设标准法线贴图计算法线结构损失值；
其中，所述结构损失值包括所述颜色结构损失值和/或所述法线结构损失值。
10.根据权利要求7所述的三维重建方法，其特征在于，基于所述第二目标颜色贴图和所述第二目标法线贴图，确定对称损失值，包括：
对所述第二目标颜色贴图进行平滑滤波处理得到滤波后颜色贴图，再对所述滤波后颜色贴图进行对称反转处理得到翻转后颜色贴图；
利用预设的绝对误差损失函数，基于所述滤波后颜色贴图和所述翻转后颜色贴图计算颜色对称损失值；
以及，对所述第二目标法线贴图进行平滑滤波处理得到滤波后法线贴图，再对所述滤波后法线贴图进行对称反转处理得到翻转后法线贴图；
利用预设的绝对误差损失函数，基于所述滤波后法线贴图和所述翻转后法线贴图计算法线对称损失值；
其中，所述对称损失值包括所述颜色对称损失值和/或所述法线对称损失值。
11.根据权利要求7所述的三维重建方法，其特征在于，基于所述第二目标颜色贴图和所述第二目标法线贴图，确定平滑损失值，包括：
按照至少一个指定方向对所述第二目标颜色贴图进行偏移处理，得到每个所述指定方向对应的偏移后颜色贴图；
利用预设的绝对误差损失函数，基于每个所述指定方向对应的所述偏移后颜色贴图与所述第二目标颜色贴图，确定每个所述指定方向对应的颜色平滑损失值，并将每个所述指定方向对应的所述颜色平滑损失值的和值，确定为颜色平滑总损失值；
以及，按照至少一个指定方向对所述第二目标法线贴图进行偏移处理，得到每个所述指定方向对应的偏移后法线贴图；
利用预设的绝对误差损失函数，基于每个所述指定方向对应的所述偏移后法线贴图与所述第二目标法线贴图，确定每个所述指定方向对应的法线平滑损失值，并将每个所述指定方向对应的所述法线平滑损失值的和值，确定为法线平滑总损失值；
其中，所述平滑损失值包括所述颜色平滑总损失值和/或所述法线平滑总损失值。
12.一种三维重建装置，其特征在于，包括：
图像获取模块，用于获取待重建的人脸图像；
第一预测模块，用于通过预先训练得到的第一目标神经网络，预测所述人脸图像对应的第一3DMM参数；
贴图生成模块，用于基于所述第一3DMM参数，对所述人脸图像中的每个像素点的颜色值进行重排列得到第一颜色重排列贴图；以及，基于所述第一3DMM参数生成所述人脸图像对应的第一初始颜色贴图；
第二预测模块，用于通过预先训练得到的第二目标神经网络，基于所述第一颜色重排列贴图和所述第一初始颜色贴图，预测所述人脸图像对应的第一目标颜色贴图和第一目标法线贴图，以基于所述第一目标颜色贴图和所述第一目标法线贴图对所述人脸图像进行三维重建；其中，所述第二目标神经网络是基于训练阶段下的第二初始颜色贴图、第二目标颜色贴图、第二目标法线贴图和预设标准法线贴图训练得到的。
13.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1至11任一项所述的方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现权利要求1至11任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310336781.0A CN116894911A (zh) | 2023-03-28 | 2023-03-28 | 三维重建方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310336781.0A CN116894911A (zh) | 2023-03-28 | 2023-03-28 | 三维重建方法、装置、电子设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116894911A true CN116894911A (zh) | 2023-10-17 |
Family
ID=88313947
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310336781.0A Pending CN116894911A (zh) | 2023-03-28 | 2023-03-28 | 三维重建方法、装置、电子设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116894911A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117237547A (zh) * | 2023-11-15 | 2023-12-15 | 腾讯科技（深圳）有限公司 | 图像重建方法、重建模型的处理方法和装置 |
-
2023
- 2023-03-28 CN CN202310336781.0A patent/CN116894911A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117237547A (zh) * | 2023-11-15 | 2023-12-15 | 腾讯科技（深圳）有限公司 | 图像重建方法、重建模型的处理方法和装置 |
| CN117237547B (zh) * | 2023-11-15 | 2024-03-01 | 腾讯科技（深圳）有限公司 | 图像重建方法、重建模型的处理方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022134337A1 (zh) | 人脸遮挡检测方法、***、设备及存储介质 | |
| CN108154105B (zh) | 水下生物检测与识别方法、装置、服务器及终端设备 | |
| Chen et al. | Cross parallax attention network for stereo image super-resolution | |
| CN113496507A (zh) | 一种人体三维模型重建方法 | |
| CN109448007B (zh) | 图像处理方法、图像处理装置及存储介质 | |
| CN113159143B (zh) | 基于跳跃连接卷积层的红外与可见光图像融合方法和装置 | |
| Sang et al. | PCANet: Pyramid convolutional attention network for semantic segmentation | |
| CN112581370A (zh) | 人脸图像的超分辨率重建模型的训练及重建方法 | |
| CN111583381B (zh) | 游戏资源图的渲染方法、装置及电子设备 | |
| CN110084154B (zh) | 渲染图像的方法、装置、电子设备和计算机可读存储介质 | |
| CN113642585B (zh) | 图像处理方法、装置、设备、存储介质及计算机程序产品 | |
| CN109920018A (zh) | 基于神经网络的黑白照片色彩恢复方法、装置及存储介质 | |
| CN116894911A (zh) | 三维重建方法、装置、电子设备及可读存储介质 | |
| CN113096249A (zh) | 训练顶点重建模型的方法、图像重建方法及电子设备 | |
| CN107766803B (zh) | 基于场景分割的视频人物装扮方法、装置及计算设备 | |
| CN111429388B (zh) | 一种图像处理方法、装置和终端设备 | |
| CN116740261A (zh) | 图像重建方法和装置、图像重建模型的训练方法和装置 | |
| CN109166172B (zh) | 服装模型的构建方法、装置、服务器和存储介质 | |
| CN114742783A (zh) | 基于神经网络模型的食品检测方法和装置 | |
| CN110533740A (zh) | 一种图像着色方法、装置、***及存储介质 | |
| CN109615620A (zh) | 图像压缩度识别方法、装置、设备及计算机可读存储介质 | |
| CN117392293A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN109658360B (zh) | 图像处理的方法、装置、电子设备和计算机存储介质 | |
| CN114862866B (zh) | 标定板的检测方法、装置、计算机设备和存储介质 | |
| CN114119923B (zh) | 三维人脸重建方法、装置以及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |