CN115861515A - 一种三维人脸重建方法、计算机程序产品及电子设备 - Google Patents
一种三维人脸重建方法、计算机程序产品及电子设备 Download PDFInfo
- Publication number
- CN115861515A CN115861515A CN202211436433.2A CN202211436433A CN115861515A CN 115861515 A CN115861515 A CN 115861515A CN 202211436433 A CN202211436433 A CN 202211436433A CN 115861515 A CN115861515 A CN 115861515A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- face image
- face
- key points
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本申请提供一种三维人脸重建方法、计算机程序产品及电子设备，其中，方法包括：根据采集初始人脸图像的图像采集设备的相机参数对初始人脸图像进行坐标转换，得到初始人脸图像所对应的三维点云集；确定三维点云集中的关键点；其中，关键点包括：空间关键点，和/或，光谱关键点，空间关键点用于表征初始人脸图像中脸部区域的几何特征，光谱关键点用于表征初始人脸图像中脸部区域的纹理特征；根据关键点和相机参数，对初始人脸图像进行三维重建，得到三维人脸模型。其中，由于可以直接基于携带有初始人脸图像中人脸特征的关键点得到三维人脸模型，因此，可以将更准确的人脸特征转换到三维人脸模型上，使得重建得到的三维人脸模型的准确度较高。
Description
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种三维人脸重建方法、计算机程序产品及电子设备。
背景技术
三维人脸模型的重建，是指从一张或多张2D图像中重建出人脸的3D模型。随着图像处理的发展，三维人脸模型的重建有越来越多的应用场景，例如：在专业影视特效中对真实面部的编辑(包括润色、虚拟化妆、表情驱动等)，在高端产品(电影、广告、音乐视频、3D游戏等)中的完全数字化的逼真人脸生成，用于娱乐、社交媒体和通信的面部增强现实(Augmented Reality，AR)和虚拟现实(Virtual Reality，VR)等领域有广泛的应用。
在现有技术中，可以采用参数化处理的方式基于2D图像得到三维人脸模型。但是，采用上述方式进行三维人脸图像，对于不同的人脸，得到的三维人脸模型的区别性较小，也就是说，得到的三维人脸模型的准确度较低。
发明内容
本申请实施例的目的在于提供一种三维人脸重建方法、计算机程序产品及电子设备，用以解决现有技术中重建得到的三维人脸模型的准确度较低的技术问题。
第一方面，本申请实施例提供一种三维人脸重建方法，包括：根据采集初始人脸图像的图像采集设备的相机参数对所述初始人脸图像进行坐标转换，得到所述初始人脸图像所对应的三维点云集；确定所述三维点云集中的关键点；其中，所述关键点包括：空间关键点，和/或，光谱关键点，所述空间关键点用于表征所述初始人脸图像中脸部区域的几何特征，所述光谱关键点用于表征所述初始人脸图像中脸部区域的纹理特征；根据所述关键点和所述相机参数，对所述初始人脸图像进行三维重建，得到三维人脸模型。在上述方案中，根据相机参数可以将二维的初始人脸图像转换至三维坐标系中得到三维点云集，并且可以从三维点云集中确定关键点；基于上述关键点，便可以实现三维人脸的重建。其中，由于可以直接基于携带有初始人脸图像中脸部区域几何特征的空间关键点以及携带有初始人脸图像中脸部区域纹理特征的光谱关键点得到三维人脸模型，因此，与现有技术相比，可以将更准确的人脸特征转换到三维人脸模型上，使得重建得到的三维人脸模型的准确度较高。
在可选的实施方式中，所述关键点包括空间关键点；相应的，所述确定所述三维点云集中的关键点，包括：根据所述初始人脸图像中的人脸关键点，将所述三维点云集中具有空间不变性的点云确定为所述空间关键点；其中，所述具有空间不变性的点云是指对位置信息不敏感的点云。在上述方案中，根据初始人脸图像中的人脸关键点，可以从三维点云集中确定对位置信息不敏感的空间关键点，用于更准确的表征初始人脸图像中人脸区域的几何特征。因此，可以将更准确的几何特征转换到三维人脸模型上，使得重建得到的三维人脸模型的准确度较高。
在可选的实施方式中，所述根据所述初始人脸图像中的人脸关键点，将所述三维点云集中具有空间不变性的点云确定为所述空间关键点，包括：确定所述初始人脸图像中的人脸关键点；根据所述人脸关键点将所述三维点云集划分为多个子点集；针对每个所述子点集，将所述子点集的中心点云确定为所述空间关键点。在上述方案中，空间关键点是指反映相机深度估计信息的可靠性的关键点，因此，可以根据二维的人脸关键点进一步确定三维点云集中的空间关键点，从而可以基于空间关键点将更准确的几何特征转换到三维人脸模型上，使得重建得到的三维人脸模型的准确度较高。
在可选的实施方式中，所述关键点包括光谱关键点；相应的，所述确定所述三维点云集中的关键点，包括：根据多个视角对应的三维坐标系，将所述三维点云集中具有光谱不变性的点云确定为所述光谱关键点；其中，所述多个视角对应的三维坐标系通过调整所述相机参数得到，所述具有光谱不变性的点云是指在相机参数调整过程中位置的改变在可移动范围内的点云。在上述方案中，根据多个视角对应的三维坐标系，可以从三维点云集中确定在相机参数调整过程中位置的改变在可移动范围内的空间关键点，用于更准确的表征初始人脸图像中人脸区域的纹理特征。因此，可以将更准确的纹理特征转换到三维人脸模型上，使得重建得到的三维人脸模型的准确度较高。
在可选的实施方式中，所述根据多个视角对应的三维坐标系，将所述三维点云集中具有光谱不变性的点云确定为所述光谱关键点，包括：针对所述三维点云集中的一个点云，根据该点在所述多个视角对应的三维坐标系中的三维坐标确定该点的运动距离；将所述三维点云集中运动距离小于可移动距离的点云确定为所述光谱关键点。在上述方案中，光谱关键点是指反映相机与拍摄对象之间可靠性的关键点，其在相机参数发生改变时，位置基本不发生变化。因此，可以根据多个视角对应的三维坐标系中关键点的运动距离进一步确定三维点云集中的光谱关键点，从而可以基于光谱关键点将更准确的纹理特征转换到三维人脸模型上，使得重建得到的三维人脸模型的准确度较高。
在可选的实施方式中，所述根据所述关键点和所述相机参数，对所述初始人脸图像进行三维重建，得到三维人脸模型，包括：分别计算各所述空间关键点与所述初始人脸图像对应的相机平面之间的距离值；根据所述相机参数确定与所述初始人脸图像之间的距离等于所述距离值的目标人脸图像；根据所述相机参数，将所述目标人脸图像以及所述目标人脸图像共同投影到3D空间中，得到初始三维模型；将所述光谱关键点与所述初始三维模型对齐并叠加，得到所述三维人脸模型。在上述方案中，基于空间关键点可以计算得到可靠性较高的距离值，并可以根据距离值确定准确度较高的目标人脸图像，因此，根据上述目标人脸图像，可以得到准确度更高的不包括纹理信息的初始三维模型。然后，再将光谱关键点信息与初始三维模型对齐并叠加，可以得到准确度更高的包括纹理信息的初始三维人脸模型。
在可选的实施方式中，在所述根据所述相机参数确定与所述初始人脸图像之间的距离等于所述距离值的目标人脸图像之后，所述方法还包括：对所述初始人脸图像以及所述目标人脸图像进行归一化互相关匹配检验，得到所述初始人脸图像与所述目标人脸图像之间的相似度；若所述相似度大于相似度阈值，则根据所述相似度对所述三维点云集中点云的坐标进行调整，得到新的三维点云集；根据所述新的三维点云集确定新的目标人脸图像，直至所述初始人脸图像与所述新的目标人脸图像之间的相似度大于所述相似度阈值。在上述方案中，在计算得到目标人脸图像之后，通过对初始人脸图像以及目标人脸图像进行归一化互相关匹配检验，可以判断目标人脸图像是否满足检验要求，并在不满足时对三维点云集中点云的坐标进行调整，直至标人脸图像满足检验要求。由于调整后的三维点云集中确定出的关键点能够更好的表征脸部区域的特征，因此，可以提高重建得到的三维人脸模型的准确度。
在可选的实施方式中，在所述根据相机参数对初始人脸图像进行坐标转换，得到所述初始人脸图像所对应的三维点云集之前，所述方法还包括：利用对抗生成网络对原始人脸图像中的人脸细节进行调整，得到所述原始人脸图像对应的初始人脸图像；其中，所述人脸细节包括人脸图像中人脸的发型、妆容、表情中的至少一项。在上述方案中，针对原始人脸图像，可以根据用户的定制化需求对原始人脸图像进行编辑，使得编辑后的初始人脸图像中的人脸细节与原始人脸图像中的人脸细节不一样，从而满足不同的用户需求。
第二方面，本申请实施例提供一种计算机程序产品，包括计算机程序指令，所述计算机程序指令被处理器读取并运行时，执行如第一方面所述的三维人脸重建方法。
第三方面，本申请实施例提供一种电子设备，包括：处理器、存储器和总线；所述处理器和所述存储器通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的计算机程序指令，所述处理器调用所述计算机程序指令能够执行如第一方面所述的三维人脸重建方法。
第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序指令，所述计算机程序指令被计算机运行时，使所述计算机执行如第一方面所述的三维人脸重建方法。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举本申请实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种三维人脸重建方法的流程图；
图2为本申请实施例提供的另一种三维人脸重建方法的流程图；
图3为本申请实施例提供的一种三维人脸重建装置的结构框图；
图4为本申请实施例提供的一种电子设备的结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
请参照图1，图1为本申请实施例提供的一种三维人脸重建方法的流程图，该三维人脸重建方法可以包括如下步骤：
步骤S101：根据采集初始人脸图像的图像采集设备的相机参数对初始人脸图像进行坐标转换，得到初始人脸图像所对应的三维点云集。
步骤S102：确定三维点云集中的关键点。
步骤S103：根据关键点和相机参数，对初始人脸图像进行三维重建，得到三维人脸模型。
具体的，在上述步骤S101中，相机参数是指采集初始人脸图像的图像采集设备在拍摄初始人脸图像时涉及的参数。需要说明的是，本申请实施例对相机参数的具体实施方式并不作具体的限定，本领域技术人员可以根据实际情况进行合适的调整。举例来说，相机参数可以包括：相机拍摄时的仰角、俯角、焦距、运动外参数、拍摄内参数等。
其中，在执行上述步骤S101时，相机参数为已经确定的参数。可以理解的是，本申请实施例对确定相机参数的具体实施方式同样不作具体的限定，本领域技术人员可以根据实际情况进行合适的调整。举例来说，在采集初始人脸图像的图像采集设备不会发生改变的场景下，相机参数可以根据上述图像采集设备的实际参数确定；或者，相机参数也可以通过模型训练确定(该实施方式将在后续实施例中进行详细的介绍)等。
初始人脸图像是指包括人脸的二维图像，其中，初始人脸图像可以有多种不同的实施方式。作为一种实施方式，初始人脸图像为图像采集设备采集的人脸图像；作为另一种实施方式，初始人脸图像为图像采集设备采集的人脸图像经过图像处理后得到的人脸图像。
需要说明的是，本申请实施例对上述图像处理的具体实施方式不作具体的限定，本领域技术人员可以根据实际情况进行合适的调整。举例来说，图像处理可以包括对图像采集设备采集的人脸图像进行放大、缩小、裁剪等处理；或者，图像处理可以包括对图像采集设备采集的人脸图像进行去噪处理；或者，图像处理可以包括对图像采集设备采集的人脸图像进行图像编辑处理等。
此外，本申请实施例对获取初始人脸图像的具体实施方式也不作具体的限定，本领域技术人员同样可以根据实际情况进行合适的调整。举例来说，可以直接采集得到初始人脸图像；或者，可以接收外部设备发送的初始人脸图像；或者，可以对原始人脸图像进行图像处理后，得到初始人脸图像等。
在上述步骤S101中，根据上述相机参数可以对上述初始人脸图像进行坐标转换，得到初始人脸图像所对应的三维点云集，其中，三维点云集是指在三维坐标系中的一系列点组成的集合。也就是说，通过上述步骤S101，可以将二维坐标系中像素点转换至三维坐标系中。
需要说明的是，本申请实施例对将初始人脸图像进行坐标转换得到三维点云集的具体实施方式不作具体的限定，本领域技术人员可以根据实际情况进行合适的调整。举例来说，可以根据事先存储的图像采集设备对应的坐标系与三维坐标系之间的对应关系(例如：转换矩阵等)将初始人脸图像进行坐标转换得到三维点云集；或者，可以利用神经网络模型将初始人脸图像进行坐标转换得到三维点云集等。
下面对将初始人脸图像进行坐标转换得到三维点云集的一种实现原理进行简要的介绍。其中，初始人脸图像中像素点的坐标与三维点与集中点的坐标之间的对应关系如下：
其中，p表示初始人脸图像中某一像素点的位置，(xim,yim)表示初始人脸图像中某一像素点的在初始人脸图像中的像素坐标，f表示图像采集设备的焦距，(x0,y0)表示该像素点在x-y坐标系中的点坐标，R表示图像采集设备对应的坐标与地面坐标的转换矩阵，(Xω,Yω,Zω)表示转换后在X-Y-Z坐标系中与该像素点对应的点坐标，t表示图像采集设备对应的坐标与地面坐标间的平移向量，
为图像采集设备的外部参数矩阵，表示图像采集设备对应的坐标系与世界坐标系相应的转换关系。
在上述步骤S102中，关键点为三维点云集中比较重要的点。在本申请实施例中，关键点可以包括空间关键点和/或光谱关键点。
其中，空间关键点是指在空间关系上比较重要的关键点，可以反映相机深度估计信息的可靠性，其可以用于表征初始人脸图像中脸部区域的几何特征；而光谱关键点是指在相机参数发生改变时位置基本不发生变化的关键点，可以反映相机与拍摄对象之间可靠性的关键点，其可以用于表征初始人脸图像中脸部区域的纹理特征。
作为一种实施方式，关键点可以仅包括空间关键点，此时，重建得到的三维人脸模型仅包括初始人脸图像中的脸部区域对应的几何信息，而不包括该脸部区域对应的纹理信息；作为另一种实施方式，关键点可以仅包括光谱关键点，此时，重建得到的三维人脸模型的几何信息不包括初始人脸图像中的脸部区域对应的几何信息，但是其包括该脸部区域对应的纹理信息；作为又一种实施方式，关键点可以既包括空间关键点，又包括光谱关键点，此时，重建得到的三维人脸模型包括初始人脸图像中的脸部区域脸对应的几何信息以及纹理信息。
需要说明的是，本申请实施例对确定上述关键点的具体实施方式均不作具体的限定，本领域技术人员可以根据实际情况进行合适的调整。举例来说，可以利用图像处理算法确定关键点；或者，可以通过计算三维点云集中点的运动距离确定关键点等。
在上述步骤S103中，在得到关键点后，结合相机参数，可以对初始人脸图像进行三维重建，得到重建后的三维人脸模型。
需要说明的是，本申请实施例对初始人脸图像进行三维重建的具体实施方式不作具体的限定，本领域技术人员可以根据实际情况进行合适的调整。举例来说，可以利用神经网络对初始人脸图像进行三维重建；或者，可以通过关键点匹配对初始人脸图像进行三维重建等。
在上述方案中，根据相机参数可以将二维的初始人脸图像转换至三维坐标系中得到三维点云集，并且可以从三维点云集中确定关键点；基于上述关键点，便可以实现三维人脸的重建。其中，由于可以直接基于携带有初始人脸图像中脸部区域几何特征的空间关键点以及携带有初始人脸图像中脸部区域纹理特征的光谱关键点得到三维人脸模型，因此，与现有技术相比，可以将更准确的人脸特征转换到三维人脸模型上，使得重建得到的三维人脸模型的准确度较高。
进一步的，在上述实施例的基础上，在关键点包括空间关键点时，上述步骤S102具体可以包括如下步骤：
根据初始人脸图像中的人脸关键点，将三维点云集中具有空间不变性的点云确定为空间关键点。
具体的，根据初始人脸图像中的人脸关键点，可以从三维点云集中确定一组空间关键点，这一组空间关键点为具有空间不变性的关键点。其中，具有空间不变性的点云是指对位置信息不敏感的点云。
需要说明的是，本申请实施例对确定空间关键点的具体实施方式均不作具体的限定，本领域技术人员可以根据实际情况进行合适的调整。举例来说，可以利用神经网络从三维点云集中确定空间关键点；或者，可以利用K中心算法从三维点云集中确定空间关键点等。
在上述方案中，根据初始人脸图像中的人脸关键点，可以从三维点云集中确定对位置信息不敏感的空间关键点，用于更准确的表征初始人脸图像中人脸区域的几何特征。因此，可以将更准确的几何特征转换到三维人脸模型上，使得重建得到的三维人脸模型的准确度较高。
进一步的，在上述实施例的基础上，下面对确定空间关键点的具体实施方式进行详细的介绍，上述根据初始人脸图像中的人脸关键点，将三维点云集中具有空间不变性的点云确定为空间关键点的步骤，具体可以包括如下步骤：
步骤1)，确定初始人脸图像中的人脸关键点。
步骤2)，根据人脸关键点将三维点云集划分为多个子点集。
步骤3)，针对每个子点集，将子点集的中心点云确定为空间关键点。
具体的，在上述步骤1)中，利用现有技术中的人脸关键点检测方法，可以根据初始人脸图像确定初始人脸图像中的人脸关键点。
其中，人脸关键点作为初始人脸图像中的脸部区域上特征比较明显的地方，更容易被检测，因此，从人脸关键点中确定空间关键点以及光谱关键点可以得到效果更好的三维重建模型。
在上述步骤2)中，在得到初始人脸图像中的人脸关键点之后，可以根据上述人脸关键点对三维点云集进行划分，从而得到多个子点集，每个子点集中包括至少一个三维点云集中的点。
作为一种实施方式，可以根据每个人脸关键点所对应空间区域作为一个三维点云集，这样划分得到的子点集的数量与上述步骤1)中确定得到的人脸关键点的数量相等，例如：上述步骤1)中确定得到的人脸关键点的数量为56，则可以将三维点云集划分为56个子点集。
作为另一种实施方式，可以使用多个人脸关键点对应的空间区域组合形成一个三维点云集。
在上述步骤3)中，针对上述多个子点集，可以利用中心算法确定多个中心点云作为空间关键点。举例来说，中心点云可以包括K中心点，在此基础上，下面对一种K中心算法的实施方式进行简要的介绍，K中心算法可以包括如下步骤：
第一步，随机选择k个代表对象作为初始的中心点；第二步，指派每个剩余对象给离它最近的中心点所代表的簇；第三步，随机地选择一个非中心点对象y；第四步，计算用y代替中心点x的总代价s；第五步，如果s为负，则用可用y代替x，形成新的中心点；第六步，重复第二至五步，直到k个中心点不再发生变化。
在上述方案中，空间关键点是指反映相机深度估计信息的可靠性的关键点，因此，可以根据二维的人脸关键点进一步确定三维点云集中的空间关键点，从而可以基于空间关键点将更准确的几何特征转换到三维人脸模型上，使得重建得到的三维人脸模型的准确度较高。
进一步的，在上述实施例的基础上，在关键点包括光谱关键点时，上述步骤S102具体可以包括如下步骤：
根据多个视角对应的三维坐标系，将三维点云集中具有光谱不变性的点云确定为光谱关键点。
具体的，根据多个视角对应的三维坐标系，可以从三维点云集中确定一组光谱关键点，这一组光谱关键点为具有光谱不变性的关键点。其中，多个视角对应的三维坐标系通过调整相机参数得到，具有光谱不变性的点云是指在相机参数调整过程中位置的改变在可移动范围内的点云。
需要说明的是，本申请实施例对确定光谱关键点的具体实施方式均不作具体的限定，本领域技术人员可以根据实际情况进行合适的调整。举例来说，可以利用神经网络从三维点云集中确定光谱关键点；或者，可以通过计算运动距离从三维点云集中确定光谱关键点等。
可以理解的是，作为一种实施方式，当关键点仅包括空间关键点时，可以仅执行根据初始人脸图像确定空间关键点的步骤；作为另一种实施方式，当关键点仅包括光谱关键点时，可以仅执行根据多个视角对应的三维坐标系确定光谱关键点的步骤；作为又一种实施方式，当关键点包括空间关键点以及光谱关键点时，可以执行根据初始人脸图像确定空间关键点以及根据多个视角对应的三维坐标系确定光谱关键点的步骤。
在上述方案中，空间关键点是指反映相机深度估计信息的可靠性的关键点，因此，可以根据二维的人脸关键点进一步确定三维点云集中的空间关键点，从而可以基于空间关键点将更准确的几何特征转换到三维人脸模型上，使得重建得到的三维人脸模型的准确度较高。
进一步的，在上述实施例的基础上，下面对确定光谱关键点的具体实施方式进行详细的介绍，上述根据多个视角对应的三维坐标系，将三维点云集中具有光谱不变性的点云确定为光谱关键点的步骤，具体可以包括如下步骤：
步骤1)，针对三维点云集中的一个点云，根据该点在多个视角对应的三维坐标系中的三维坐标确定该点的运动距离。
步骤2)，将三维点云集中运动距离小于可移动距离的点云确定为光谱关键点。
具体的，在本申请实施例中，可以对相机的运动参数进行估计，包括三维人脸的结构、相机与三维人脸的距离朝向等；此时，可以通过控制相机的运动参数，来模拟从不同角度观察点云图像，从而获得三维点云集中的点云在多个视角对应的三维坐标系中的三维坐标。
在上述步骤1)中，根据三维点云集中的一个点云在多个视角对应的三维坐标系中的三维坐标，可以计算得到该点的运动距离。以两个视角为例，根据该点云在这两个视角对应的三维坐标系中的三维坐标，可以计算得到该点云在这两个视角对应的三维坐标系中的三维坐标之间的运动距离。
在上述步骤2)中，在确定三维点云集中的每一个点的运动距离后，作为一种实施方式，可以将多个点云中运动距离小于可移动距离的点云确定为光谱关键点，其中，上述可移动距离可以为预先设置的距离大小。作为另一种实施方式，可以对所有的运动距离由大到小进行大小排序，并将排序前N个的点云确定为光谱关键点，其中，N可以为预先设置的数量大小。
需要说明的是，本申请实施例对上述可移动距离以及N的大小的具体实施方式不作具体的限定，本领域技术人员可以根据实际情况进行合适的调整。举例来说，可移动距离以及N的大小可以使得光谱关键点的数量与上述实施例中人脸关键点的数量相等；或者，可移动距离以及N的大小可以使得光谱关键点的数量为三维点云集中一半的点对应的数量等。
在上述方案中，光谱关键点是指反映相机与拍摄对象之间可靠性的关键点，其在相机参数发生改变时，位置基本不发生变化。因此，可以根据多个视角对应的三维坐标系中关键点的运动距离进一步确定三维点云集中的光谱关键点，从而可以基于光谱关键点将更准确的纹理特征转换到三维人脸模型上，使得重建得到的三维人脸模型的准确度较高。
进一步的，在上述实施例的基础上，上述步骤S103具体可以包括如下步骤：
步骤1)，分别计算各空间关键点与初始人脸图像对应的相机平面之间的距离值。
步骤2)，根据相机参数确定与初始人脸图像之间的距离等于距离值的目标人脸图像。
步骤3)，根据相机参数，将目标人脸图像以及目标人脸图像共同投影到3D空间中，得到初始三维模型。
步骤4)，将光谱关键点与初始三维模型对齐并叠加，得到三维人脸模型。
具体的，在上述步骤1)中，可以计算空间关键点与初始人脸图像对应的相机平面之间的距离值。其中，相机平面可以根据相机参数确定，而空间关键点的坐标也是已知的，因此，根据点到线的计算方法可以计算得到每一个空间关键点的距离值。
可以理解的是，由于空间关键点为具有空间不变性的关键点，因此，基于空间关键点确定的距离值具有较高的可靠性。
在上述步骤2)中，根据上述距离值以及相机参数，还可以确定初始人脸图像对应的目标人脸图像，其中，初始人脸图像与目标人脸图像之间的距离等于上述距离值。下面对本申请实施例提供的一种确定目标人脸图像的实施方式进行简要的介绍，其中，初始人脸图像中像素点的距离值与视差值之间的对应关系如下：
其中，D表示初始人脸图像中某一像素点的距离值，d表示初始人脸图像中某一像素点的视差值，B表示预先设定的基线长度，f表示相机的焦距，x0r、x0l分别表示左右视图主点的列坐标。
在上述步骤3)中，根据相机参数，可以将目标人脸图像以及初始人脸图像共同投影到3D空间中，从而得到初始三维模型。
在上述步骤4)中，将光谱关键点与上述初始三维模型对齐并叠加，可以进一步得到三维人脸模型。
在上述方案中，基于空间关键点可以计算得到可靠性较高的距离值，并可以根据距离值确定准确度较高的目标人脸图像，因此，根据上述目标人脸图像，可以得到准确度更高的不包括纹理信息的初始三维模型。然后，再将光谱关键点信息与初始三维模型对齐并叠加，可以得到准确度更高的包括纹理信息的初始三维人脸模型。
进一步的，在上述实施例的基础上，在上述根据相机参数确定与初始人脸图像之间的距离等于距离值的目标人脸图像的步骤之后，本申请实施例提供的三维人脸重建方法还可以包括如下步骤：
步骤1)，对初始人脸图像以及目标人脸图像进行归一化互相关匹配检验，得到初始人脸图像与目标人脸图像之间的相似度。
步骤2)，若相似度大于相似度阈值，则根据相似度对三维点云集中点云的坐标进行调整，得到新的三维点云集。
步骤3)，根据新的三维点云集确定新的目标人脸图像，直至初始人脸图像与新的目标人脸图像之间的相似度大于相似度阈值。
具体的，在上述步骤1)中，可以对初始人脸图像以及目标人脸图像进行归一化互相关匹配检验，得到初始人脸图像与目标人脸图像之间的相似度。
下面对一种归一化互相关匹配检验的实施方式进行简要的介绍：对于原始的图像内任意一个像素点(px,py)，构建一个n×n的邻域作为匹配窗口；然后对于目标相素位置(px+d,py)，同样构建一个n×n大小的匹配窗口；对两个窗口进行相似度度量，当相似度不大于相似度阈值时，可以认为目标人脸图像满足检验要求。
其中，可以采用如下公式实现对初始人脸图像以及目标人脸图像进行归一化互相关匹配检验：
其中，R(x,y)表示初始人脸图像I1与目标人脸图像I2之间的相似度，px及py表示初始人脸图像I1的待匹配像素坐标，d表示目标人脸图像I2被查询像素位置在水平方向上与px的距离。
作为一种实施方式，针对初始人脸图像以及目标人脸图像，在进行归一化互相关匹配检验之前，可以对初始人脸图像以及目标人脸图像进行处理：将初始人脸图像以及目标人脸图像校正到水平位置，即光心处于同一水平线上。
可以理解的是，在得到初始人脸图像与目标人脸图像之间的相似度后，可以将上述相似度与相似度阈值进行比对。若上述相似度大于相似度阈值，可以认为目标人脸图像不满足检验要求，此时可以继续执行上述步骤2)；若上述相似度不大于相似度阈值，此时可以结束迭代，可以认为目标人脸图像满足检验要求，此时可以直接利用目标人脸图像重建得到三维人脸模型。
需要说明的是，本申请实施例对上述相似度阈值的具体大小不作具体的限定，本领域技术人员可以根据实际情况进行合适的调整。
在上述步骤2)中，在初始人脸图像与目标人脸图像之间的相似度大于相似度阈值时，可以根据该相似度对三维点云集中点云的坐标进行调整，从而得到新的三维点云集。
其中，本申请实施例对根据相似度对三维点云集中点云的坐标进行调整的方式同样不作具体的限定，其调整的目的在于降低初始人脸图像与目标人脸图像之间的相似度。
在上述步骤3)中，在调整得到的新的三维点云集后，可以基于上述新的三维点云集确定新的目标人脸图像。其中，根据新的三维点云集确定新的目标人脸图像的具体实施方式，与上述实施例中根据三维点云集确定目标人脸图像的具体实施方式类似，此处不再赘述。
在得到新的目标人脸图像之后，可以进一步对初始人脸图像以及新的目标人脸图像进行归一化互相关匹配检验，得到初始人脸图像与新的目标人脸图像之间的相似度；然后在判断该相似度是否大于相似度阈值。
可以理解的是，在相似度大于相似度阈值的情况下，可以循环执行：根据相似度调整三维点云集中点云的坐标、根据新的三维点云集确定新的目标人脸图像、对初始人脸图像以及新的目标人脸图像进行归一化互相关匹配检验、判断相似度是否大于相似度阈值，直至上述相似度大于相似度阈值后停止循环，利用满足上述相似度不大于相似度阈值这一条件的目标人脸图像重建得到三维人脸模型。
在上述方案中，在计算得到目标人脸图像之后，通过对初始人脸图像以及目标人脸图像进行归一化互相关匹配检验，可以判断目标人脸图像是否满足检验要求，并在不满足时对三维点云集中点云的坐标进行调整，直至标人脸图像满足检验要求。由于调整后的三维点云集中确定出的关键点能够更好的表征脸部区域的特征，因此，可以提高重建得到的三维人脸模型的准确度。
进一步的，在一些具体实施方式中，上述三维人脸重建方法中的步骤S101-步骤S103可由三维人脸重建模型执行。需要说明的是，本申请实施例对三维人脸重建模型的具体结构不作具体的限定，本领域技术人员可以根据实际情况对三维人脸重建模型的结构进行合适的调整。
此外，本申请实施例对训练三维人脸重建模型的具体实施方式同样不作具体的限定，本领域技术人员可以结合现有技术进行合适的调整。举例来说，可以对三维人脸重建模型采用无监督学习的方式进行训练等。
进一步的，在上述实施例的基础上，在上述步骤S101之前，本申请实施例提供的三维人脸重建方法还可以包括如下步骤：
利用对抗生成网络对原始人脸图像中的人脸细节进行调整，得到原始人脸图像对应的初始人脸图像。
具体的，原始人脸图像是指图像采集设备采集的包括人脸的二维图像。需要说明的是，本申请实施例对获取原始人脸图像的具体实施方式也不作具体的限定，本领域技术人员同样可以根据实际情况进行合适的调整。举例来说，可以直接采集得到原始人脸图像；或者，可以接收外部设备发送的原始人脸图像等。
对抗生成网络用于对人脸图像中的人脸细节进行调整。可以将原始人脸图像输入对抗生成网络中，通过生成网络进行一种无监督的学习方式，实现对原始人脸图像进行编辑，从而使得重建出的三维人脸模型可以具有更多样的选择与变化。其中，作为一种实施方式，对原始人脸图像进行编辑的内容可以包括：原始人脸图像中人脸的发型、妆容、表情等；作为另一种实施方式，除了原始人脸图像中人脸的发型、妆容、表情等外，对原始人脸图像进行编辑的内容可以包括：原始人脸图像的图像风格、语义表示等，本申请实施例对此不作具体的限定。
可以理解的是，对原始人脸图像进行编辑之后，得到的初始人脸图像与原始人脸图像中的人应该是相同，但是初始人脸图像与原始人脸图像中的人脸细节不同。其中，上述不同的人脸细节根据编辑的具体内容决定，例如：编辑的内容为原始人脸图像中人脸的发型以及妆容，那么不同的人脸细节即为发型以及妆容。
在上述方案中，针对原始人脸图像，可以根据用户的定制化需求对原始人脸图像进行编辑，使得编辑后的初始人脸图像中的人脸细节与原始人脸图像中的人脸细节不一样，从而满足不同的用户需求。
请参照图2，图2为本申请实施例提供的另一种三维人脸重建方法的流程图。在该三维人脸重建方法中，首先，可以将2D的原始人脸图像或者2D的原始人脸图像帧序列输入到对抗生成网络中，得到原始人脸图像调整人脸细节后对应的2D的初始人脸图像；然后，再将初始人脸图像输入三维人脸重建模型中，得到初始人脸图像对应的关键点；最后，再根据关键点对初始人脸图像进行三维重建，得到三维人脸模型。
请参照图3，图3为本申请实施例提供的一种三维人脸重建装置的结构框图，该三维人脸重建装置300包括：转换模块301，用于根据采集初始人脸图像的图像采集设备的相机参数对所述初始人脸图像进行坐标转换，得到所述初始人脸图像所对应的三维点云集；第一确定模块302，用于确定所述三维点云集中的关键点；其中，所述关键点包括：空间关键点，和/或，光谱关键点，所述空间关键点用于表征所述初始人脸图像中脸部区域的几何特征，所述光谱关键点用于表征所述初始人脸图像中脸部区域的纹理特征；重建模块303，用于根据所述关键点和所述相机参数，对所述初始人脸图像进行三维重建，得到三维人脸模型。
在上述方案中，根据相机参数可以将二维的初始人脸图像转换至三维坐标系中得到三维点云集，并且可以从三维点云集中确定关键点；基于上述关键点，便可以实现三维人脸的重建。其中，由于可以直接基于携带有初始人脸图像中脸部区域几何特征的空间关键点以及携带有初始人脸图像中脸部区域纹理特征的光谱关键点得到三维人脸模型，因此，与现有技术相比，可以将更准确的人脸特征转换到三维人脸模型上，使得重建得到的三维人脸模型的准确度较高。
在可选的实施方式中，所述关键点包括空间关键点；相应的，所述第一确定模块302具体用于：根据所述初始人脸图像中的人脸关键点，将所述三维点云集中具有空间不变性的点云确定为所述空间关键点；其中，所述具有空间不变性的点云是指对位置信息不敏感的点云。
在上述方案中，根据初始人脸图像中的人脸关键点，可以从三维点云集中确定对位置信息不敏感的空间关键点，用于更准确的表征初始人脸图像中人脸区域的几何特征。因此，可以将更准确的几何特征转换到三维人脸模型上，使得重建得到的三维人脸模型的准确度较高。
在可选的实施方式中，所述第一确定模块302还用于：确定所述初始人脸图像中的人脸关键点；根据所述人脸关键点将所述三维点云集划分为多个子点集；针对每个所述子点集，将所述子点集的中心点云确定为所述空间关键点。
在上述方案中，空间关键点是指反映相机深度估计信息的可靠性的关键点，因此，可以根据二维的人脸关键点进一步确定三维点云集中的空间关键点，从而可以基于空间关键点将更准确的几何特征转换到三维人脸模型上，使得重建得到的三维人脸模型的准确度较高。
在可选的实施方式中，所述关键点包括光谱关键点；相应的，所述第一确定模块302具体用于：根据多个视角对应的三维坐标系，将所述三维点云集中具有光谱不变性的点云确定为所述光谱关键点；其中，所述多个视角对应的三维坐标系通过调整所述相机参数得到，所述具有光谱不变性的点云是指在相机参数调整过程中位置的改变在可移动范围内的点云。
在上述方案中，根据多个视角对应的三维坐标系，可以从三维点云集中确定在相机参数调整过程中位置的改变在可移动范围内的空间关键点，用于更准确的表征初始人脸图像中人脸区域的纹理特征。因此，可以将更准确的纹理特征转换到三维人脸模型上，使得重建得到的三维人脸模型的准确度较高。
在可选的实施方式中，所述第一确定模块302还用于：针对所述三维点云集中的一个点云，根据该点在所述多个视角对应的三维坐标系中的三维坐标确定该点的运动距离；将所述三维点云集中运动距离小于可移动距离的点云确定为所述光谱关键点。
在上述方案中，光谱关键点是指反映相机与拍摄对象之间可靠性的关键点，其在相机参数发生改变时，位置基本不发生变化。因此，可以根据多个视角对应的三维坐标系中关键点的运动距离进一步确定三维点云集中的光谱关键点，从而可以基于光谱关键点将更准确的纹理特征转换到三维人脸模型上，使得重建得到的三维人脸模型的准确度较高。
在可选的实施方式中，所述重建模块303具体用于：分别计算各所述空间关键点与所述初始人脸图像对应的相机平面之间的距离值；根据所述相机参数确定与所述初始人脸图像之间的距离等于所述距离值的目标人脸图像；根据所述相机参数，将所述目标人脸图像以及所述目标人脸图像共同投影到3D空间中，得到初始三维模型；将所述光谱关键点与所述初始三维模型对齐并叠加，得到所述三维人脸模型。
在上述方案中，基于空间关键点可以计算得到可靠性较高的距离值，并可以根据距离值确定准确度较高的目标人脸图像，因此，根据上述目标人脸图像，可以得到准确度更高的不包括纹理信息的初始三维模型。然后，再将光谱关键点信息与初始三维模型对齐并叠加，可以得到准确度更高的包括纹理信息的初始三维人脸模型。
在可选的实施方式中，所述三维人脸重建装置300还包括：检验模块，用于对所述初始人脸图像以及所述目标人脸图像进行归一化互相关匹配检验，得到所述初始人脸图像与所述目标人脸图像之间的相似度；调整模块，用于若所述相似度大于相似度阈值，则根据所述相似度对所述三维点云集中点云的坐标进行调整，得到新的三维点云集；第二确定模块，用于根据所述新的三维点云集确定新的目标人脸图像，直至所述初始人脸图像与所述新的目标人脸图像之间的相似度大于所述相似度阈值。
在上述方案中，在计算得到目标人脸图像之后，通过对初始人脸图像以及目标人脸图像进行归一化互相关匹配检验，可以判断目标人脸图像是否满足检验要求，并在不满足时对三维点云集中点云的坐标进行调整，直至标人脸图像满足检验要求。由于调整后的三维点云集中确定出的关键点能够更好的表征脸部区域的特征，因此，可以提高重建得到的三维人脸模型的准确度。
在可选的实施方式中，所述三维人脸重建装置300还包括：调整模块，用于利用对抗生成网络对原始人脸图像中的人脸细节进行调整，得到所述原始人脸图像对应的初始人脸图像；其中，所述人脸细节包括人脸图像中人脸的发型、妆容、表情中的至少一项。
在上述方案中，针对原始人脸图像，可以根据用户的定制化需求对原始人脸图像进行编辑，使得编辑后的初始人脸图像中的人脸细节与原始人脸图像中的人脸细节不一样，从而满足不同的用户需求。
请参照图4，图4为本申请实施例提供的一种电子设备的结构框图，该电子设备400包括：至少一个处理器401，至少一个通信接口402，至少一个存储器403和至少一个通信总线404。其中，通信总线404用于实现这些组件直接的连接通信，通信接口402用于与其他节点设备进行信令或数据的通信，存储器403存储有处理器401可执行的机器可读指令。当电子设备400运行时，处理器401与存储器403之间通过通信总线404通信，机器可读指令被处理器401调用时执行上述三维人脸重建方法。
例如，本申请实施例的处理器401通过通信总线404从存储器403读取计算机程序并执行该计算机程序可以实现如下方法：步骤S101：根据采集初始人脸图像的图像采集设备的相机参数对初始人脸图像进行坐标转换，得到初始人脸图像所对应的三维点云集。步骤S102：确定三维点云集中的关键点。步骤S103：根据关键点和相机参数，对初始人脸图像进行三维重建，得到三维人脸模型。
其中，处理器401包括一个或多个，其可以是一种集成电路芯片，具有信号的处理能力。上述的处理器401可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、微控制单元(Micro Controller Unit，简称MCU)、网络处理器(NetworkProcessor，简称NP)或者其他常规处理器；还可以是专用处理器，包括神经网络处理器(Neural-network Processing Unit，简称NPU)、图形处理器(Graphics Processing Unit，简称GPU)、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific Integrated Circuits，简称ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。并且，在处理器401为多个时，其中的一部分可以是通用处理器，另一部分可以是专用处理器。
存储器403包括一个或多个，其可以是，但不限于，随机存取存储器(RandomAccess Memory，简称RAM)，只读存储器(Read Only Memory，简称ROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，可擦除可编程只读存储器(ErasableProgrammable Read-Only Memory，简称EPROM)，电可擦除可编程只读存储器(ElectricErasable Programmable Read-Only Memory，简称EEPROM)等。
可以理解，图4所示的结构仅为示意，电子设备400还可包括比图4中所示更多或者更少的组件，或者具有与图4所示不同的配置。图4中所示的各组件可以采用硬件、软件或其组合实现。于本申请实施例中，电子设备400可以是，但不限于台式机、笔记本电脑、智能手机、智能穿戴设备、车载设备等实体设备，还可以是虚拟机等虚拟设备。另外，电子设备400也不一定是单台设备，还可以是多台设备的组合，例如服务器集群，等等。
本申请实施例还提供一种计算机程序产品，包括存储在计算机可读存储介质上的计算机程序，计算机程序包括计算机程序指令，当计算机程序指令被计算机执行时，计算机能够执行上述实施例中的三维人脸重建方法。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序指令，所述计算机程序指令被计算机运行时，使所述计算机执行前述方法实施例所述的三维人脸重建方法。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
需要说明的是，功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (11)
1.一种三维人脸重建方法，其特征在于，包括：
根据采集初始人脸图像的图像采集设备的相机参数对所述初始人脸图像进行坐标转换，得到所述初始人脸图像所对应的三维点云集；
确定所述三维点云集中的关键点；其中，所述关键点包括：空间关键点，和/或，光谱关键点，所述空间关键点用于表征所述初始人脸图像中脸部区域的几何特征，所述光谱关键点用于表征所述初始人脸图像中脸部区域的纹理特征；
根据所述关键点和所述相机参数，对所述初始人脸图像进行三维重建，得到三维人脸模型。
2.根据权利要求1所述的三维人脸重建方法，其特征在于，所述关键点包括空间关键点；相应的，所述确定所述三维点云集中的关键点，包括：
根据所述初始人脸图像中的人脸关键点，将所述三维点云集中具有空间不变性的点云确定为所述空间关键点；其中，所述具有空间不变性的点云是指对位置信息不敏感的点云。
3.根据权利要求2所述的三维人脸重建方法，其特征在于，所述根据所述初始人脸图像中的人脸关键点，将所述三维点云集中具有空间不变性的点云确定为所述空间关键点，包括：
确定所述初始人脸图像中的人脸关键点；
根据所述人脸关键点将所述三维点云集划分为多个子点集；
针对每个所述子点集，将所述子点集的中心点云确定为所述空间关键点。
4.根据权利要求1-3任一项所述的三维人脸重建方法，其特征在于，所述关键点包括光谱关键点；相应的，所述确定所述三维点云集中的关键点，包括：
根据多个视角对应的三维坐标系，将所述三维点云集中具有光谱不变性的点云确定为所述光谱关键点；其中，所述多个视角对应的三维坐标系通过调整所述相机参数得到，所述具有光谱不变性的点云是指在相机参数调整过程中位置的改变在可移动范围内的点云。
5.根据权利要求4所述的三维人脸重建方法，其特征在于，所述根据多个视角对应的三维坐标系，将所述三维点云集中具有光谱不变性的点云确定为所述光谱关键点，包括：
针对所述三维点云集中的一个点云，根据该点在所述多个视角对应的三维坐标系中的三维坐标确定该点的运动距离；
将所述三维点云集中运动距离小于可移动距离的点云确定为所述光谱关键点。
6.根据权利要求1-3任一项所述的三维人脸重建方法，其特征在于，所述根据所述关键点和所述相机参数，对所述初始人脸图像进行三维重建，得到三维人脸模型，包括：
分别计算各所述空间关键点与所述初始人脸图像对应的相机平面之间的距离值；
根据所述相机参数确定与所述初始人脸图像之间的距离等于所述距离值的目标人脸图像；
根据所述相机参数，将所述初始人脸图像以及所述目标人脸图像共同投影到3D空间中，得到初始三维模型；
将所述光谱关键点与所述初始三维模型对齐并叠加，得到所述三维人脸模型。
7.根据权利要求6所述的三维人脸重建方法，其特征在于，在所述根据所述相机参数确定与所述初始人脸图像之间的距离等于所述距离值的目标人脸图像之后，所述方法还包括：
对所述初始人脸图像以及所述目标人脸图像进行归一化互相关匹配检验，得到所述初始人脸图像与所述目标人脸图像之间的相似度；
若所述相似度大于相似度阈值，则根据所述相似度对所述三维点云集中点云的坐标进行调整，得到新的三维点云集；
根据所述新的三维点云集确定新的目标人脸图像，直至所述初始人脸图像与所述新的目标人脸图像之间的相似度大于所述相似度阈值。
8.根据权利要求1-3任一项所述的三维人脸重建方法，其特征在于，在所述根据采集初始人脸图像的图像采集设备的相机参数对初始人脸图像进行坐标转换，得到所述初始人脸图像所对应的三维点云集之前，所述方法还包括：
利用对抗生成网络对原始人脸图像中的人脸细节进行调整，得到所述原始人脸图像对应的初始人脸图像；其中，所述人脸细节包括人脸图像中人脸的发型、妆容、表情中的至少一项。
9.一种计算机程序产品，其特征在于，包括计算机程序指令，所述计算机程序指令被处理器读取并运行时，执行如权利要求1-8任一项所述的三维人脸重建方法。
10.一种电子设备，其特征在于，包括：处理器、存储器和总线；
所述处理器和所述存储器通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的计算机程序指令，所述处理器调用所述计算机程序指令能够执行如权利要求1-8任一项所述的三维人脸重建方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序指令，所述计算机程序指令被计算机运行时，使所述计算机执行如权利要求1-8任一项所述的三维人脸重建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211436433.2A CN115861515A (zh) | 2022-11-16 | 2022-11-16 | 一种三维人脸重建方法、计算机程序产品及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211436433.2A CN115861515A (zh) | 2022-11-16 | 2022-11-16 | 一种三维人脸重建方法、计算机程序产品及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115861515A true CN115861515A (zh) | 2023-03-28 |
Family
ID=85663781
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211436433.2A Pending CN115861515A (zh) | 2022-11-16 | 2022-11-16 | 一种三维人脸重建方法、计算机程序产品及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115861515A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116912402A (zh) * | 2023-06-30 | 2023-10-20 | 北京百度网讯科技有限公司 | 人脸重建的方法、装置、电子设备、存储介质 |
| CN117315154A (zh) * | 2023-10-12 | 2023-12-29 | 北京汇畅数宇科技发展有限公司 | 一种可量化的人脸模型重建方法及*** |
-
2022
- 2022-11-16 CN CN202211436433.2A patent/CN115861515A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116912402A (zh) * | 2023-06-30 | 2023-10-20 | 北京百度网讯科技有限公司 | 人脸重建的方法、装置、电子设备、存储介质 |
| CN117315154A (zh) * | 2023-10-12 | 2023-12-29 | 北京汇畅数宇科技发展有限公司 | 一种可量化的人脸模型重建方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020192568A1 (zh) | 人脸图像生成方法、装置、设备及存储介质 | |
| CN107993216B (zh) | 一种图像融合方法及其设备、存储介质、终端 | |
| JP7403528B2 (ja) | シーンの色及び深度の情報を再構成するための方法及びシステム | |
| WO2022156640A1 (zh) | 一种图像的视线矫正方法、装置、电子设备、计算机可读存储介质及计算机程序产品 | |
| JP7387202B2 (ja) | ３次元顔モデル生成方法、装置、コンピュータデバイス及びコンピュータプログラム | |
| CN109684969B (zh) | 凝视位置估计方法、计算机设备及存储介质 | |
| WO2019196745A1 (zh) | 人脸建模方法及相关产品 | |
| CN115861515A (zh) | 一种三维人脸重建方法、计算机程序产品及电子设备 | |
| CN111047509B (zh) | 一种图像特效处理方法、装置及终端 | |
| EP3621038A2 (en) | Methods and devices for replacing expression, and computer readable storage media | |
| EP3803803A1 (en) | Lighting estimation | |
| EP3905194A1 (en) | Pose estimation method and apparatus | |
| CN113220251B (zh) | 物体显示方法、装置、电子设备及存储介质 | |
| US20190392632A1 (en) | Method and apparatus for reconstructing three-dimensional model of object | |
| US20230100427A1 (en) | Face image processing method, face image processing model training method, apparatus, device, storage medium, and program product | |
| CN110930503A (zh) | 一种服装三维模型建立方法、***、存储介质及电子设备 | |
| CN113658324A (zh) | 图像处理方法及相关设备、迁移网络训练方法及相关设备 | |
| CN114693853A (zh) | 对象渲染方法、装置、电子设备及存储介质 | |
| CN115965735B (zh) | 纹理贴图的生成方法和装置 | |
| Khan et al. | Towards monocular neural facial depth estimation: Past, present, and future | |
| CN115409949A (zh) | 模型训练方法、视角图像生成方法、装置、设备及介质 | |
| WO2022231582A1 (en) | Photo relighting and background replacement based on machine learning models | |
| US20240096041A1 (en) | Avatar generation based on driving views | |
| US20240161391A1 (en) | Relightable neural radiance field model | |
| CN116385643B (zh) | 虚拟形象生成、模型的训练方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |