CN112562082A - 一种三维人脸重建方法及*** - Google Patents

Abstract

本发明公开了一种三维人脸重建方法及***，该方法包括：获取待重建的目标人脸的多个角度的深度图像；将获取的各个角度的深度图像分别转换为对应的点云数据；将各个角度的点云数据进行去燥处理并进行数据配准，实现各个角度的点云数据的拼接，以得到待重建的目标人脸对应的三维点云数据；对三维点云数据进行网格化处理及人脸贴图操作，以得到待重建的目标人脸对应的三维人脸模型。本发明重建的三维人脸误差小，立体感强，并携带大量纹理信息，解决了现有方法重建速率慢与结果不准确等问题，将其应用于面部虚拟整形，可对专业医师提供术前指导，提高手术成功率，降低手术风险，具有广阔的应用前景。

Description

一种三维人脸重建方法及***

技术领域

本发明涉及三维重建技术领域，尤其涉及一种三维人脸重建方法及***。

背景技术

面部整容手术由于不能在术前对患者面部进行客观定量的形态学评价，极易导致手术结果的不理想甚至失败。而且，整形医生仅凭专业知识与经验，无法精准量化人脸数据，手术过程缺乏客观有效指导。

三维重建技术借助三维扫描设备采集数据，对采集到的三维数据进行去噪、计算机图像处理、重建等操作，重塑扫描体形态。三维重建根据相机的不同，可分为单、双目重建，深度相机重建等三种方式。单目重建常规上使用SFM重建算法，该算法可对多幅无序图片进行重建；双目重建利用双镜头拍摄矫正图片，找到矫正图片的匹配点，根据三角测量原理恢复出环境的三维信息。深度相机重建主要是对采集到的深度图像通过计算机加工处理，深度图像中的每个像素值可表示物体与镜头之间的距离，因此对其进行坐标转换、去噪、网格化处理即可重构真实物体三维形态。近年来，深度相机获取深度图像的技术得到了完善和进步，该方法重建精度高，已成为三维重建的主要方法。

三维重建技术重建精度高，速度快，且与被测物无接触，更适用于整形外科人体形态的建模。Elen J.Parry等利用三维重建，对三维数据处理并制作人体假肢，为患有关节炎的患者提供手术指导。Galea Kurt对患者面部进行三维扫描并重建出个性化面罩对患者进行辅助治疗。然而，由于基于三维重建技术的虚拟整形***对硬件设备和软件算法都有较高的要求，因此目前国内外成熟完善的面部虚拟整形***还是很少。日本大阪医学院于2017年实现了面部整形和面部重建预期结果的3D模拟，但是该技术数据重建速度慢，扫描精度低。东南大学开发的虚拟颌面部整形手术软件，对CT扫描图像进行计算重构人脸模型，这种方法会导致人脸的重建速度慢，工程计算量大，并且不易操作。

发明内容

针对上述现有技术存在的缺点，本发明提供了一种三维人脸重建方法及***，以至少部分解决上述现有方法重建速率慢与结果不准确的技术问题。

为解决上述技术问题，本发明提供了如下技术方案：

一方面，本发明提供了一种三维人脸重建方法，该方法包括：

获取待重建的目标人脸的多个角度的深度图像；

将获取的各个角度的深度图像分别转换为对应的点云数据；

将各个角度的点云数据进行去燥处理并进行数据配准，实现各个角度的点云数据的拼接，以得到所述待重建的目标人脸对应的三维点云数据；

对所述三维点云数据进行网格化处理及人脸贴图操作，以得到所述待重建的目标人脸对应的三维人脸模型。

进一步地，所述获取待重建的目标人脸的多个角度的深度图像，包括：

通过深度相机采集待重建的目标人脸的正面和两个侧面的深度图像。

进一步地，将获取的各个角度的深度图像分别转换为对应的点云数据，包括：

利用所述深度相机的内参矩阵，基于各个角度的深度图像，通过坐标转换得到各个角度的点云数据；其中，所述内参矩阵由所述深度相机在x，y两个轴上的焦距为f_x，f_y和所述深度相机在x，y两个轴上的光圈中心c_x，c_y表示。

进一步地，所述将各个角度的点云数据进行去燥处理，包括：

S1，获取待去燥的点云数据集；

S2，基于k-d tree法构建kd-tree结构，形成拓跋结构，连接点云数据集；

S3，求点云数据中一点p的领域，计算这些点与p的距离，求出中值d_mid；

S4，若d_mid大于设定的阈值，则认为p点是噪声点，将p点去除；

S5，重复S3和S4，遍历点云数据集中的全部点云数据；

S6，输出去除噪声点后的点云数据集。

进一步地，所述进行数据配准，实现各个角度的点云数据的拼接，包括：

首先对两片相对位置未知的点云数据进行匹配，实现点云数据的粗配准，得到的初始转换矩阵；然后以所述初始转换矩阵为参考值，对转换矩阵进行优化，使得点云数据的位姿差别最小化，实现点云数据的精配准。

进一步地，所述对两片相对位置未知的点云数据进行匹配，实现点云数据的粗配准，包括：利用4pcs算法对两片相对位置未知的点云数据进行匹配，以实现点云数据的粗配准。

进一步地，所述对转换矩阵进行优化，使得点云数据的位姿差别最小化，实现点云数据的精配准，包括：

使用icp算法对转换矩阵进行优化，将粗配准后拼接的点云数据转换到同一坐标系下，使得点云数据的位姿差别最小化，实现点云数据的精配准。

进一步地，所述对所述三维点云数据进行网格化处理，包括：

将点云数据由法线投影转换到某一二维坐标平面内；

利用空间区域增长算法，对所述二维坐标平面内的点云数据做三角化处理，构建所述点云数据投影面的拓扑连接关系；

通过所述点云数据投影面的拓扑连接关系，重构所述点云数据中的拓扑连接，获得所述待重建的目标人脸对应的人脸曲面模型；

对所述人脸曲面模型的边界进行剖分计算，直到所有符合几何正确性和拓扑正确性的点都被连上，形成一张完整的三角网格曲面。

进一步地，进行人脸贴图操作，以得到所述待重建的目标人脸对应的三维人脸模型，包括：

首先对所述待重建的目标人脸进行拍摄，以获取目标人脸多个角度的彩色图像；其中，拍摄时以人头部为中心轴，绕着所述中心轴转动一周进行拍摄，且获得的相邻图像边界有一定的重叠；然后利用人脸柱面投影算法合成纹理；

将合成的纹理中的纹理坐标与网格化处理后的三维人脸中的对应顶点坐标对应，实现纹理映射，得到所述待重建的目标人脸对应的三维人脸模型。

另一方面，本发明还提供了一种三维人脸重建***，该***包括：

深度图像获取模块，用于获取待重建的目标人脸的多个角度的深度图像；

点云数据获取模块，用于将各角度的深度图像分别转换为点云数据；

数据配准模块，用于将各角度的点云数据进行去燥处理并进行数据配准，实现各角度的点云数据的拼接，得到待重建的目标人脸对应的三维点云数据；

三维人脸模型构建模块，用于对所述三维点云数据进行网格化处理及人脸贴图操作，以得到所述待重建的目标人脸对应的三维人脸模型。

本发明提供的技术方案带来的有益效果至少包括：

本发明通过获取目标人脸的多个角度的深度图像；将获取的各个角度的深度图像分别转换为对应的点云数据；将各个角度的点云数据进行去燥处理并进行数据配准，实现各个角度的点云数据的拼接，以得到目标人脸对应的三维点云数据；对三维点云数据进行网格化处理及人脸贴图操作，以得到目标人脸的三维人脸模型。本发明重建的三维人脸误差小，立体感强，并携带大量纹理信息，解决了现有方法重建速率慢及结果不准确等问题，将其应用于面部虚拟整形，可对专业医师提供术前指导，提高手术成功率，降低手术风险，具有广阔的应用前景。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的三维人脸重建方法的流程示意图；

图2为4pcs算法空间拓扑结构构建与匹配原理图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的部分实施例，而非全部实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

第一实施例

本实施例提供了一种三维人脸重建方法，该方法可由电子设备实现，该电子设备可以是终端或者服务器。该方法的执行流程如图1所示，包括以下步骤：

S101，获取待重建的目标人脸的多个角度的深度图像；

需要说明的是，本实施例获取深度图像的方式为：通过高精度深度相机采集待重建的目标人脸的正面和两个侧面的深度图像。

S102，将获取的各个角度的深度图像分别转换为对应的点云数据；

需要说明的是，由于深度图像中的像素点代表了该点与相机的距离，因此利用相机内参通过坐标转换可构建出点云模型，其中，***采集的数据是大量散乱点云数据。点云数据能够准确地记录物体表面的三维形貌、几何特性、空间坐标信息等，因此要将采集到的深度图像转成点云数据，点云生成的原理如下：

点云X＝{x₁,,,x_n}有x、y、z三个分量，代表物体空间位置。每个空间点[x，y，z]在深度图像上有其对应像素坐标[u，v，d](d为深度数据)，此位置可由相机参数和图像计算，其转换公式如下1～3所示：

d＝z·s (3)

其中，相机在x，y两个轴上的焦距为f_x,f_y，相机的光圈中心分别为c_x与c_y，深度图缩放因子用s表示。则(u,v,d)反推(x,y,z)的公式如下：

z＝d/s (4)

x＝(u-c_x)·z/f_x (5)

y＝(v-c_y)·z/f_y (6)

相机内参矩阵C由f_x,f_y，c_x，c_y这四个参数表示，相机内参确定后，空间位置[x，y，z]与像素坐标[u，v，d]便可简化成将矩阵模型公式7：

如公式7所示，R，t参数表示为相机姿态。旋转矩阵为R，位移矢量是t。将R设为单位矩阵I，即所获单角度点云数据无旋转。同理，所获数据无平移，t为0。S为深度图里的数据与实际距离的比例系数，通常为1000。

S103，将各个角度的点云数据进行去燥处理并进行数据配准，实现各个角度的点云数据的拼接，以得到待重建的目标人脸对应的三维点云数据；

需要说明的是，成像设备受周围环境因素的影响，生成的点云数据具有一定的冗余数据，如测量时的背景信息以及噪声数据等。噪声点会导致点云不平滑、散乱，配准之前进行去噪处理可使重建模型更为精准。上述人脸点云数据中的数据点缺少拓扑关系，为无序点云。本实施例选择可以高效的构建散乱点的拓跋结构的k-d tree法，可分析计算点云的领域结构，构建拓扑关系。算法先选取某个坐标方向，将其设为切分方向。依切分方向切分点云集，此时数据集被分为2个子集，重复上述步骤，不断切分并生成检索树。整体去噪过程为：

a)，获取待去燥的点云数据集；

b)，基于k-d tree法构建kd-tree结构，形成拓跋结构，连接点云数据集；

c)，求点云数据中一点p的领域，计算这些点与p的距离，求出中值d_mid；

d)，若d_mid大于设定的阈值，则认为p点是噪声点，将p点去除；

e)，重复步骤c)和步骤d)，遍历点云数据集中的全部点云数据；

f)，输出去除噪声点后的点云数据集。

进一步地，上述所获不同角度点云数据，其坐标系是不同的。需要寻求一个旋转平移矩阵将不同坐标系下的点云归纳到统一坐标系下。

点云配准的完整过程分为粗配准和精配准，首先粗配准对两片相对位置未知的点云进行匹配，得到的初始转换矩阵作为精配准所需的参考值，精配置在此基础上精确计算，使点云的位姿差别最小化。点云配准在导航定位，以及移动测量，三维重建领域等均有应用，本实施例采用4pcs(4-Points Congruent Sets)算法进行粗配准，4pcs算法的原理图如图2所示，其所需公式如下：

算法步骤如下：

a)，在基准点云p中寻找共面四点基，用B＝{a,b,c,d}表示；

b)，在四点基B中利用式8寻找比例因子r₁，r₂，比例因子在旋转和平移操作中具有放射不变性；

c)，按式9，计算q₁,q₂∈Q四种可能存在交点位置；

d)，依c)所示，可计算整个Q中可存在的交点位置，e_i≈e_j表示寻找到对应的一致全等四点，可确定与B＝{a,b,c,d}对应的全等4点对为C＝{q₁,q₃,q₄,q₅}；

e)，重复上述步骤可得到全等四点集合D＝{C1,C2,..,Cn}，n为全等四点集合总数；

f)，在集合D＝{C1,C2,..,Cn}，使用LCP策略寻找最优全等四点匹配，即计算全等四点旋转和平移变化参数，将四点转化应用到全局点云转化。

通过粗配准进行点云拼接，可生成依正脸和侧脸坐标系为基准的人脸拼接点云数据，对拼接后的点云数据进行精配准，其结果是将拼接的点云数据精准的转换到同一坐标系下，完成后可生成精准人脸点云。

精配准使用的是icp算法，自主在一组点云数据上确定一些点，找到需配准点云中的对应点，设计评价函数F(α)，对其进行迭代计算，设定阈值，并让其迭代结果小于该阈值。取点云X，Y，重叠区域表示为

假定X⁰＝X,X^k表示为第k次迭代的点云X的数据集，可知k≤k_max，则第k次迭代如下所示：

a)，确定Y上的点云集X^k的对应点集

b)，计算α^k(X^k)，并令下列函数，

取最小值；

c)，进行迭代：X^k+1＝α^k(X^k)；

d)，如果函数F(α)满足迭代条件，F(α^k-1)-F(α^k)<τ，或者迭代次数已达到最大次数，则迭代结束，否则继续迭代；

e)，Icp算法经k次迭代，刚体变换α是k次迭代得到的刚体变换的一个级联，即α^*＝α^k。α^k-1。...。α¹。

经多次迭代即可完成点云配准工作。

S104，对三维点云数据进行网格化处理；

需要说明的是，人脸网格生成的目的即重构人脸表面模型。网格化算法不能损失模型细节，使人脸更加逼真、生动。对此，本实施例通过贪心三角法重构人脸表面，其原理为：点云数据可由法线投影转换到某一二维坐标平面内。然后，利用空间区域增长算法(Delaunay三角剖分)，对平面点云做三角化处理，构建点云拓扑连接关系。通过上述投影面的拓扑连接关系重构原始点云中的拓扑连接，获得人脸曲面模型。其中，Delaunay三角剖分后得到的是一个初始曲面(样本三角片)，通过对人脸曲面模型的边界继续进行剖分计算，直到所有符合几何正确性和拓扑正确性的点都被连上，最后可形成一张完整的三角网格曲面。

S105，进行人脸贴图操作，以得到待重建的目标人脸对应的三维人脸模型。

需要说明的是，在三维模型重建的过程中纹理映射是增强三维图形真实感最为关键的技术。构建出真实感的人脸模型需对网格后的三维人脸进行纹理映射。对此，本实施例的方法是：首先进行多角度拍摄获取多幅彩色人脸图片，以人头部为中心轴，绕中心轴转动一周进行拍摄，获得的相邻图像边界要有一定重叠，并利用人脸柱面投影算法合成纹理，有效去除了全景图像直接拼接的重叠部分错误的效果。进一步地，将合成的纹理中的纹理坐标与网格化处理后的三维人脸中的对应顶点坐标对应，实现纹理映射，得到目标人脸的三维人脸模型。这里可选取鼻尖上点作为标志点，将uv纹理的鼻尖点与三维模型中的鼻尖点对应。

为验证通过本实施例的方法所得的三维人脸模型的重建精度，本实施例对重构的三维人脸模型进行特征点标记(特征点选取具有标志性的特征，譬如三庭五眼等)，然后对重建三维人脸的特征点间进行测量对比，并计算误差；通过计算可知，本实施例的重建三维人脸与真实人脸误差均值小于2mm，重建精度高。

综上，本实施例通过获取目标人脸多角度的深度图像；将获取的各个角度的深度图像分别转换为对应的点云数据；将各个角度的点云数据进行去燥处理并进行数据配准，实现各个角度的点云数据的拼接，以得到目标人脸对应的三维点云数据；对三维点云数据进行网格化处理及人脸贴图操作，得到目标人脸的三维人脸模型。本实施例重建的三维人脸误差小，立体感强并携带大量纹理信息，解决了现有方法重建速率慢及结果不准确等问题，将其应用于面部虚拟整形，可对专业医师提供术前指导，提高手术成功率，降低手术风险，具有广阔的应用前景。

第二实施例

本实施例提供了一种三维人脸重建***，该***包括以下模块：

深度图像获取模块，用于获取待重建的目标人脸的多个角度的深度图像；

点云数据获取模块，用于将各角度的深度图像分别转换为点云数据；

数据配准模块，用于将各角度的点云数据进行去燥处理并进行数据配准，实现各角度的点云数据的拼接，得到待重建的目标人脸对应的三维点云数据；

三维人脸模型构建模块，用于对所述三维点云数据进行网格化处理及人脸贴图操作，以得到所述待重建的目标人脸对应的三维人脸模型。

本实施例的三维人脸重建***与上述第一实施例的三维人脸重建方法相对应；其中，本实施例的三维人脸重建***中的各功能模块所实现的功能与第一实施例的三维人脸重建方法中的各流程步骤一一对应；故，在此不再赘述。

此外，需要说明的是，本发明可提供为方法、装置或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

最后需要说明的是，以上所述仅是本发明的优选实施方式，应当指出，尽管已描述了本发明的优选实施例，但对于本技术领域的普通技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

Claims (10)

1.一种三维人脸重建方法，其特征在于，所述三维人脸重建方法包括：

获取待重建的目标人脸的多个角度的深度图像；

将获取的各个角度的深度图像分别转换为对应的点云数据；

将各个角度的点云数据进行去燥处理并进行数据配准，实现各个角度的点云数据的拼接，以得到所述待重建的目标人脸对应的三维点云数据；

对所述三维点云数据进行网格化处理及人脸贴图操作，以得到所述待重建的目标人脸对应的三维人脸模型。

2.如权利要求1所述的三维人脸重建方法，其特征在于，所述获取待重建的目标人脸的多个角度的深度图像，包括：

通过深度相机采集待重建的目标人脸的正面和两个侧面的深度图像。

3.如权利要求2所述的三维人脸重建方法，其特征在于，所述将获取的各个角度的深度图像分别转换为对应的点云数据，包括：

利用所述深度相机的内参矩阵，基于各个角度的深度图像，通过坐标转换得到各个角度的点云数据；其中，所述内参矩阵由所述深度相机在x，y两个轴上的焦距为f_x，f_y和所述深度相机在x，y两个轴上的光圈中心c_x，c_y表示。

4.如权利要求1所述的三维人脸重建方法，其特征在于，所述将各个角度的点云数据进行去燥处理，包括：

S1，获取待去燥的点云数据集；

S2，基于k-d tree法构建kd-tree结构，形成拓跋结构，连接点云数据集；

S3，求点云数据中一点p的领域，计算这些点与p的距离，求出中值d_mid；

S4，若d_mid大于设定的阈值，则认为p点是噪声点，将p点去除；

S5，重复S3和S4，遍历点云数据集中的全部点云数据；

S6，输出去除噪声点后的点云数据集。

5.如权利要求1所述的三维人脸重建方法，其特征在于，所述进行数据配准，实现各个角度的点云数据的拼接，包括：

首先对两片相对位置未知的点云数据进行匹配，实现点云数据的粗配准，得到的初始转换矩阵；然后以所述初始转换矩阵为参考值，对转换矩阵进行优化，使得点云数据的位姿差别最小化，实现点云数据的精配准。

6.如权利要求5所述的三维人脸重建方法，其特征在于，所述对两片相对位置未知的点云数据进行匹配，实现点云数据的粗配准，包括：基于4pcs算法，对两片相对位置未知的点云数据进行匹配，以实现点云数据的粗配准。

7.如权利要求5所述的三维人脸重建方法，其特征在于，所述对转换矩阵进行优化，使得点云数据的位姿差别最小化，实现点云数据的精配准，包括：

基于icp算法，对转换矩阵进行优化，将粗配准后拼接的点云数据转换到同一坐标系下，使得点云数据的位姿差别最小化，实现点云数据的精配准。

8.如权利要求1所述的三维人脸重建方法，其特征在于，所述对所述三维点云数据进行网格化处理，包括：

将点云数据由法线投影转换到某一二维坐标平面内；

利用空间区域增长算法，对所述二维坐标平面内的点云数据做三角化处理，构建所述点云数据投影面的拓扑连接关系；

通过所述点云数据投影面的拓扑连接关系，重构所述点云数据中的拓扑连接，获得所述待重建的目标人脸对应的人脸曲面模型；

对所述人脸曲面模型的边界进行剖分计算，直到所有符合几何正确性和拓扑正确性的点都被连上，形成一张完整的三角网格曲面。

9.如权利要求1所述的三维人脸重建方法，其特征在于，进行人脸贴图操作，以得到所述待重建的目标人脸对应的三维人脸模型，包括：

首先对所述待重建的目标人脸进行拍摄，以获取目标人脸多个角度的彩色图像；其中，拍摄时以人头部为中心轴，绕着所述中心轴转动一周进行拍摄，且获得的相邻图像边界有一定的重叠；然后利用人脸柱面投影算法合成纹理；

将合成的纹理中的纹理坐标与网格化处理后的三维人脸中的对应顶点坐标对应，实现纹理映射，得到所述待重建的目标人脸对应的三维人脸模型。

10.一种三维人脸重建***，其特征在于，所述三维人脸重建***包括：

深度图像获取模块，用于获取待重建的目标人脸的多个角度的深度图像；

点云数据获取模块，用于将各角度的深度图像分别转换为点云数据；

数据配准模块，用于将各角度的点云数据进行去燥处理并进行数据配准，实现各角度的点云数据的拼接，得到待重建的目标人脸对应的三维点云数据；

三维人脸模型构建模块，用于对所述三维点云数据进行网格化处理及人脸贴图操作，以得到所述待重建的目标人脸对应的三维人脸模型。

Images