CN110363858B - 一种三维人脸重建方法及*** - Google Patents

一种三维人脸重建方法及*** Download PDF

Info

Publication number
CN110363858B
CN110363858B CN201910524707.5A CN201910524707A CN110363858B CN 110363858 B CN110363858 B CN 110363858B CN 201910524707 A CN201910524707 A CN 201910524707A CN 110363858 B CN110363858 B CN 110363858B
Authority
CN
China
Prior art keywords
point cloud
target face
face
dimensional
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910524707.5A
Other languages
English (en)
Other versions
CN110363858A (zh
Inventor
任茂栋
温自明
周烨
陆旺
乔根
魏小康
赵建博
张一驰
鲁雷雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xtop 3d Technology Shenzhen Co ltd
Original Assignee
Xtop 3d Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xtop 3d Technology Shenzhen Co ltd filed Critical Xtop 3d Technology Shenzhen Co ltd
Priority to CN201910524707.5A priority Critical patent/CN110363858B/zh
Publication of CN110363858A publication Critical patent/CN110363858A/zh
Application granted granted Critical
Publication of CN110363858B publication Critical patent/CN110363858B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)

Abstract

本发明提供一种三维人脸重建方法及***，方法包括：获取至少两个视角下目标人脸的彩色图像和深度图像，并判断所述彩色图像和所述深度图像是否对齐；获取所述目标人脸的标志点的三维坐标和目标人脸的原始目标人脸三维点云模型；筛选出目标人脸的点云模型；进行点云粗匹配，得到粗配准的目标人脸三维点云模型；进行精确配准，得到精确配准的目标人脸三维点云模型；进行融合去重、网格化以及网格光顺，然后进行纹理增强得到优化后的目标人脸网格模型；制作纹理图，对优化后的目标人脸网格模型进行纹理贴图，得到最终的目标人脸网格模型。重建出来的人脸模型质量更高，更趋近于真实的人脸效果。

Description

一种三维人脸重建方法及***
技术领域
本发明涉及图像处理技术领域，尤其涉及一种三维人脸重建方法及***。
背景技术
随着深度相机的迅速发展和普及，物体的三维数据可以越来越快速、准确地获取，这使得深度相机在三维空间测绘、物体三维重建、智能人机交互、VR等领域得到快速应用，其中基于人脸的深度数据来重建三维人脸模型是当前研究的热点方向。
但是现有技术中，都是通过机器学习建立人脸模板，缺乏真实性。
发明内容
本发明为了解决现有技术中的问题，提供一种三维人脸重建方法及***。
本发明采用的技术方案如下所述：
一种三维人脸重建方法，包括如下步骤：S1：获取至少两个视角下目标人脸的彩色图像和深度图像，并判断所述彩色图像和所述深度图像是否对齐；S2：在所述彩色图像和所述深度图像对齐的情况下，通过深度学习提取所述彩色图像中所述目标人脸的标志点的二维坐标，并根据所述彩色图像和所述深度图像的对应关系获取所述目标人脸的标志点的三维坐标；S3：根据所述目标人脸的标志点的三维坐标估计所述目标人脸的位置并设定深度值的阈值，以从目标人脸的原始目标人脸三维点云模型中筛选出目标人脸的点云模型，其中，所述原始目标人脸三维点云模型为根据所述彩色图像和所述深度图像获取的模型；S4：对所述目标人脸的点云模型中不同朝向的点云模型进行点云粗匹配，得到粗配准的目标人脸三维点云模型；S5：将所述粗配准的目标人脸三维点云模型进行精确配准，得到精确配准的目标人脸三维点云模型；S6：将所述精确配准的目标人脸三维点云模型进行融合去重、网格化以及网格光顺，并进行纹理增强得到优化后的目标人脸网格模型；S7：根据所述优化后的目标人脸网格模型及所述彩色图像和所述深度图像的对应关系制作纹理图，并根据所述纹理图对所述优化后的目标人脸网格模型进行纹理贴图，得到最终的目标人脸网格模型。
优选地，步骤S1中获取至少两个视角下目标人脸的彩色图像和深度图像包括：采用RGB-D相机按等角距获取至少两个视角下所述目标人脸的所述彩色图像和所述深度图像。
优选地，步骤S2中根据所述彩色图像和所述深度图像的对应关系获取所述目标人脸的标志点的三维坐标包括：RGB-D相机中深度相机的内参数为：像素焦距fx,fy,主点偏差u0,v0；则所述深度图像的图像点[u,v]与在所述深度相机坐标系下重建出三维坐标[xc,yc,zc]的变换关系为：xc＝zc·(u-u0)/fx；yc＝zc·(v-v0)/fy；zc＝zc；其中，zc为所述深度图像的像素点上的深度值。
优选地，步骤S3还包括：S31：对所述目标人脸的点云模型中的点云数据进行法线计算：根据所述目标人脸的点云模型中的所述点云生成K-D树，建立所述点云的拓扑关系；查找任一点云的邻域，对所述点云的邻域点做主成分分析降维到二维平面，设置所述二维平面的法线为所述点云的法线，再根据深度相机的位置对所述点云的法线进行定向，完成法线计算；S32：遍历计算所述目标人脸的点云模型中的点云与邻域内各点的距离取均值，判断所述均值是否超过预先设置的阈值，若超过则判定所述点云为噪点进行去除。
优选地，步骤S4包括如下步骤：S41：将所述目标人脸的点云模型中前一帧的所述目标人脸的标志点的三维坐标形成的点云模型作为参考点云Pr，后一帧的所述目标人脸的标志点的三维坐标形成的点云模型作为目标点云Pt，并通过所述参考点云Pr和所述目标点云Pt的共有的标志点计算出旋转矩阵R和平移矩阵T；S42：将所述目标人脸的点云模型中所有点云根据配准方程Pr＝R*Pt+T配准到一幅指定点云上，得到所述粗配准的目标人脸三维点云模型，其中，所述指定点云为正脸点云。
优选地，步骤S5包括如下步骤：S51：将所述粗配准的目标人脸三维点云模型中前一帧的所述目标人脸三维点云模型作为参考点云，后一帧的所述目标人脸三维点云模型作为目标点云；对所述目标点云中的每个点，匹配所述参考点云中的最近点，求匹配后的对应点距离均方根最小的刚体变换，以得到初始平移矩阵和初始旋转矩阵；使用所述初始平移矩阵和初始旋转矩阵来转换目标点云，重复迭代优化直到满足迭代误差小于设定阈值，获得配准后的旋转矩阵和平移矩阵；S52：根据所述配准后的旋转矩阵和平移矩阵，结合配准方程将所述粗配准的目标人脸三维点云模型进行配准，得到所述精确配准的目标人脸三维点云模型。
优选地，步骤S6包括如下步骤：S61：将所述精确配准后的目标人脸三维点云模型进行融合去重，组成融合后的目标人脸三维点云模型；S62：对所述融合后的目标人脸三维点云模型进行泊松重建，生成目标人脸网格模型；S63：对所述目标人脸网格模型进行网格光顺；S64：基于获取的第一帧正脸彩色图像，优化所述第一帧正脸的深度图像，对光顺后的所述目标人脸网格模型进行纹理增强，得到所述优化后的目标人脸网格模型。
优选地，根据所述优化后的目标人脸网格模型及所述彩色图像和所述深度图像的对应关系，并制作纹理图包括：S71：获取所述优化后的目标人脸网格模型中网格顶点与彩色图像像素点之间的对应关系；S72：在所述对应关系的基础上，通过所述网格顶点的邻域信息，估计所述网格顶点相对于每个深度相机采集时的位置关系，以确定所述网格顶点对应的像素点；S73：根据所述像素点，制作初始纹理图；S74：在所述初始纹理图上去除图像缝隙的色差，进行颜色融合修正，得到最终的纹理图。
本发明还提供一种三维人脸重建***，包括：第一单元：获取至少两个视角下目标人脸的彩色图像和深度图像，并判断所述彩色图像和所述深度图像是否对齐；第二单元：在所述彩色图像和所述深度图像对齐的情况下，通过深度学习提取所述彩色图像中所述目标人脸的标志点的二维坐标，并根据所述彩色图像和所述深度图像的对应关系获取所述目标人脸的标志点的三维坐标；第三单元：根据所述目标人脸的标志点的三维坐标估计所述目标人脸的位置并设定深度值的阈值，以从目标人脸的原始目标人脸三维点云模型中筛选出目标人脸的点云模型，其中，所述原始目标人脸三维点云模型为根据所述彩色图像和所述深度图像获取的模型；第四单元：对所述目标人脸的点云模型中不同朝向的点云模型进行点云粗匹配，得到粗配准的目标人脸三维点云模型；第五单元：将所述粗配准的目标人脸三维点云模型进行精确配准，得到精确配准的目标人脸三维点云模型；第六单元：将所述精确配准的目标人脸三维点云模型进行融合去重、网格化以及网格光顺，并进行纹理增强得到优化后的目标人脸网格模型；第七单元：根据所述优化后的目标人脸网格模型及所述彩色图像和所述深度图像的对应关系制作纹理图，并根据所述纹理图对所述优化后的目标人脸网格模型进行纹理贴图，得到最终的目标人脸网格模型。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上任一所述方法的步骤。
本发明的有益效果为：提供一种三维人脸重建方法及***，基于真实的人脸图像信息，而不是建立人脸模板通过机器匹配进行三维人脸重建；通过人脸三维标志点的提取和配准实现了不同姿态人脸的对齐；对精配准后的点云进行了误差平均，提高了人脸三维点云模型的精确度；基于彩色图像估计光照模型，通过深度与法线的连接直接优化深度，显著改善了光顺后网格的纹理细节；基于点像对应，通过网格顶点的领域信息以及其相对于深度相机的位置关系准确确定网格与彩色图像的映射关系，使纹理贴图后的人脸模型更接近真实人脸的效果，克服了现有技术中通过机器学习建立人脸模板，导致失真的问题。
附图说明
图1是本发明实施例中一种三维人脸重建方法的示意图。
图2(a)-图2(d)是本发明实施例中目标人脸旋转过程示意图。
图3是本发明实施例中目标人脸的标志点的示意图。
图4是本发明实施例中目标人脸的原始目标人脸三维点云模型优化的方法示意图。
图5是本发明实施例中目标人脸的点云模型的点云粗匹配方法示意图。
图6是本发明实施例中粗配准的目标人脸三维点云模型精确配准的方法示意图。
图7是本发明实施例中精确配准的目标人脸三维点云模型进行网格化和网格优化并纹理增强的方法示意图。
图8本发明实施例中根据优化后的目标人脸网格模型及彩色图像和深度图像的对应关系，并制作纹理图的方法示意图。
图9是本发明实施例中目标人脸网格模型的示意图。
图10是本发明实施例中一种三维人脸重建***的示意图。
具体实施方式
为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接即可以是用于固定作用也可以是用于电路连通作用。
需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
部分名词解释：
深度图像：在3D计算机图形中，深度图是包含与视点的场景对象的表面的距离有关的信息的图像或图像通道。其中，深度图类似于灰度图像，只是它的每个像素值是传感器距离物体的实际距离。通常RGB-D相机采集的RGB图像和Depth图像是配准的，因而像素点之间具有一对一的对应关系。
点云配准：点云配准就是求出点云之间的坐标位置变换关系。在实际工程中，对一个物体重建出的点云往往会出现点云残缺，错位等情况，为得到完整的数据模型，需要将各个点云合并到同一的坐标系下生成完整的点云模型，这个过程就需要通过点云配准实现。点云配准就是将不同视角下的点云数据经过旋转平移刚性变换统一整合到指定坐标系之下的过程。其过程输出旋转矩阵R和平移矩阵T，通过RT变换实现源点云与目标点云的重合。
主成分分析(Principal Component Analysis，PCA)：是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。在实际课题中，为了全面分析问题，往往提出很多与此有关的变量(或因素)，因为每个变量都在不同程度上反映这个课题的某些信息。主成分分析首先是由K.皮尔森(KarlPearson)对非随机变量引入的，尔后H.霍特林将此方法推广到随机向量的情形。信息的大小通常用离差平方和或方差来衡量。
纹理贴图：在计算机图形学中，将一个图像(纹理)映射到3D渲染物体的表面的过程称作纹理贴图。纹理贴图给物体提供了丰富的细节，模拟出了物体复杂的外观。
实施例1
如图1所示，本发明提供一种三维人脸重建方法，包括如下步骤：
S1：获取至少两个视角下目标人脸的彩色图像和深度图像，并判断所述彩色图像和所述深度图像是否对齐；
S2：在所述彩色图像和所述深度图像对齐的情况下，通过深度学习提取所述彩色图像中所述目标人脸的标志点的二维坐标，并根据所述彩色图像和所述深度图像的对应关系获取所述目标人脸的标志点的三维坐标；
S3：根据所述目标人脸的标志点的三维坐标估计所述目标人脸的位置并设定深度值的阈值，以从目标人脸的原始目标人脸三维点云模型中筛选出目标人脸的点云模型，其中，所述原始目标人脸三维点云模型为根据所述彩色图像和所述深度图像获取的模型；
S4：对所述目标人脸的点云模型中不同朝向的点云模型进行点云粗匹配，得到粗配准的目标人脸三维点云模型；
S5：将所述粗配准的目标人脸三维点云模型进行精确配准，得到精确配准的目标人脸三维点云模型；
S6：将所述精确配准的目标人脸三维点云模型进行融合去重、网格化以及网格光顺，并进行纹理增强得到优化后的目标人脸网格模型；
S7：根据所述优化后的目标人脸网格模型及所述彩色图像和所述深度图像的对应关系制作纹理图，并根据所述纹理图对所述优化后的目标人脸网格模型进行纹理贴图，得到最终的目标人脸网格模型。
如图2(a)-图2(d)所示，在本发明的一种实施例中，采用RGB-D相机按等角距获取至少两个视角下目标人脸的彩色图像和深度图像。本实施例中通过RGB-D相机同步获取深度图像和彩色图像，其中深度摄像头可为基于结构光测距法或TOF测距法等方式的摄像头。将RGB-D相机放置于人脸正前端，调整距离到深度摄像头的最佳采集距离范围之内，目标人脸的初始位置一般面向摄像头，然后人脸朝一个方向转动，转动角度不大于60°，然后回正后再朝另一个方向转动到相同的角度范围，转动过程中每转15°左右采集一组图像，整个过程共采集约12组图像，同时确保转动过程人脸的各个区域能被清晰获取。可以理解的是，在一种实施例中，采集图像的组数越多，三维人脸重建的模型更精准。
可以理解的是，在本发明中是采集图像的摄像头和目标人脸的相对角度，可以是目标人脸的转动，也可以是摄像头转动，只需要摄像头和目标人脸之间的相对转动即可。
按等角距选取旋转过程中多组图像，根据RGB-D相机的外参数将彩色图像映射到深度图像，判断两者的对齐情况，若否，则进行重新采集，多次失败后需要进行相机的外参数验证；若是，则进行下一步骤。
根据彩色图像和深度图像的对应关系获取目标人脸的标志点的三维坐标包括：
RGB-D相机中深度相机的内参数为：像素焦距fx,fy,主点偏差u0,v0；则所述深度图像的图像点[u,v]与在所述深度相机坐标系下重建出三维坐标[xc,yc,zc]的变换关系为：
xc＝zc·(u-u0)/fx
yc＝zc·(v-v0)/fy
zc＝zc
其中，zc为所述深度图像的像素点上的深度值。
如图3所示，通过dlib的深度学习算法提取彩色图像中目标人脸的68个标志点坐标组成目标人脸的标志点训练集。然后获取标志点的像素坐标以及深度图像和彩色图像的对应关系，根据彩色图像和深度图像的映射关系将标志点的像素坐标转化为深度图像坐标系上的像素坐标结合上述变换关系计算目标人脸标志点的三维坐标。
如图4所示，所述目标人脸的原始目标人脸三维点云模型需要进一步优化，因为原始目标人脸三维点云模型包含其他非目标人脸点云信息，比如背景信息。在本实施例中，步骤S3中先对这些点云进行剔除，同时为保证后续步骤进行以及点云质量，对点云进行法线计算和去噪处理，具体为：
S31：对所述目标人脸的点云模型中的点云数据进行法线计算：根据所述目标人脸的点云模型中的所述点云生成K-D树，建立所述点云的拓扑关系；查找任一点云的邻域，对所述点云的邻域点做主成分分析降维到二维平面，设置所述二维平面的法线为所述点云的法线，再根据深度相机的位置对所述点云的法线进行定向，完成法线计算；
S32：遍历计算所述目标人脸的点云模型中的点云与邻域内各点的距离取均值，判断所述均值是否超过预先设置的阈值，若超过则判定所述点云为噪点进行去除。
至此已经获得了仅包括目标人脸信息的筛选出目标人脸的点云模型。
如图5所示，接下来，本申请通过目标人脸的点云模型的目标人脸的标志点的三维坐标先计算旋转矩阵R和平移矩阵T，然后目标人脸的点云模型进行一次配准，即为本申请的点云粗匹配，具体包括如下步骤：
S41：将所述目标人脸的点云模型中前一帧的所述目标人脸的标志点的三维坐标形成的点云模型作为参考点云Pr，后一帧的所述目标人脸的标志点的三维坐标形成的点云模型作为目标点云Pt，并通过所述参考点云Pr和所述目标点云Pt的共有的标志点计算出旋转矩阵R和平移矩阵T；
在本发明的一种实施例中，通过SVD分解粗配准确定后一帧点云配准到前一帧点云的旋转矩阵R和平移矩阵T。
S42：将所述目标人脸的点云模型中所有点云根据配准方程Pr＝R*Pt+T配准到一幅指定点云上，得到所述粗配准的目标人脸三维点云模型，其中，所述指定点云为正脸点云。
如图6所示，在粗配准的目标人脸三维点云模型的基础上，再通过目标人脸三维点云模型的所有点云计算旋转矩阵和平移矩阵，然后粗配准的目标人脸的点云模型进行一次配准得到精确配准的目标人脸三维点云模型，具体包括如下步骤：
S51：将所述粗配准的目标人脸三维点云模型中前一帧的所述目标人脸三维点云模型作为参考点云，后一帧的所述目标人脸三维点云模型作为目标点云；对所述目标点云中的每个点，匹配所述参考点云中的最近点，求匹配后的对应点距离均方根最小的刚体变换，以得到初始平移矩阵和初始旋转矩阵；使用所述初始平移矩阵和初始旋转矩阵来转换目标点云，重复迭代优化直到满足迭代误差小于设定阈值，获得配准后的旋转矩阵和平移矩阵；
S52：根据所述配准后的旋转矩阵和平移矩阵，结合配准方程将所述粗配准的目标人脸三维点云模型进行配准，得到所述精确配准的目标人脸三维点云模型。
在本发明的一种实施例中，对于目标点云中的每个点，匹配参考点云中的最近点，求得使上述对应点对距离均方根最小的刚体变换，求得平移参数和旋转参数。使用获得的转换矩阵来转换目标点云，迭代优化，直到满足终止迭代误差小于设定阈值，获得最终精确的旋转矩阵和平移矩阵。
在逐帧匹配时，由于后一帧的点云与前一帧进行配准，每一组点云配准会产生偏差，导致最后的点云与第一帧的偏差累计。采用点云拟合的方法能够分散累计误差，获得更准确的配准结果。
匹配后点云之间的累计误差均分到每幅点云之间，以获得更精确的匹配结果，另外，步骤S07.2匹配之前需要重新计算粗匹配后点云的法线。
如图7所示，将精确配准的目标人脸三维点云模型进行网格化和网格优化，并纹理增强，包括如下步骤：
S61：将所述精确配准后的目标人脸三维点云模型进行融合去重，组成融合后的目标人脸三维点云模型；
在一种具体的实施例中，可以根据精确配准的误差距离设置合适的距离阈值，比较精确配准后点云各点之间的欧式距离，如果距离小于阈值则删除冗余点。
S62：对所述融合后的目标人脸三维点云模型进行泊松重建，生成目标人脸网格模型；
在本发明的一种实施例中，具体为使用八叉树结构存储点集，根据采样点集的位置定义八叉树，然后细分八叉树使每个采样点都落在深度为D的叶节点；对八叉树的每个节点设置空间函数F，所有节点函数F的线性和可以表示向量场V，基函数F采用了盒滤波的n维卷积；均匀采样的情况下，假设划分的块是常量，采用三次条样插值通过向量场V逼近指示函数的梯度；采用拉普拉斯矩阵迭代求出泊松方程的解；最后估计采样点的位置，然后用其平均值进行等值面提取，然后用移动立方体算法得到等值面。
S63：对所述目标人脸网格模型进行网格光顺；
本发明的一种实施例中，具体为把重建好的网格模型的Laplacian坐标δ的模长缩小，方向不变，进行Laplacian网格重建来顺网格。
S64：基于获取的第一帧正脸彩色图像，优化所述第一帧正脸的深度图像，对光顺后的所述目标人脸网格模型进行纹理增强，得到所述优化后的目标人脸网格模型。
在本发明的一种实施例中，基于物体表面的Lambertian假设以及入射光为球谐波等前提，进行光照估计计算光照系数和表面反射率，再基于每个像素深度值的阴影细化，通过梯度约束，平滑约束和深度约束建立偏差方程计算直接优化深度。将优化后的深度图修正网格的顶点坐标，获取最终细节优化后的目标人脸网格模型。
在本发明的一种实施例中，对不同所述彩色图像的颜色进行融合，得到所述纹理图。网格对应的点云与彩色图像对齐，可获取网格顶点与彩色图像像素点之间的对应关系，即点像对应；多视角采集图像数据时，帧与帧之间一般有重叠区域，重叠区域的网格顶点有多个图片与其对应，通过网格顶点的邻域信息和估计顶点相对于每个相机的位置关系确定对应像素点，去除图像缝隙的色差；对于不同图像之间存在色差问题，在生成的纹理图上直接进行颜色融合修正，得到最终的纹理图。
如图8所示，根据所述优化后的目标人脸网格模型及所述彩色图像和所述深度图像的对应关系，并制作纹理图包括：
S71：获取所述优化后的目标人脸网格模型中网格顶点与彩色图像像素点之间的对应关系；
S72：在所述对应关系的基础上，通过所述网格顶点的邻域信息，估计所述网格顶点相对于每个深度相机采集时的位置关系，以确定所述网格顶点对应的像素点；
S73：根据所述像素点，制作初始纹理图；
S74：在所述初始纹理图上去除图像缝隙的色差，进行颜色融合修正，得到最终的纹理图。
如图9所示，将最终的纹理图包裹在网格表面，得到最终的目标人脸网格模型。
如图10所示，本发明还提供一种三维人脸重建***，包括：
第一单元：获取至少两个视角下目标人脸的彩色图像和深度图像，并判断所述彩色图像和所述深度图像是否对齐；
第二单元：在所述彩色图像和所述深度图像对齐的情况下，通过深度学习提取所述彩色图像中所述目标人脸的标志点的二维坐标，并根据所述彩色图像和所述深度图像的对应关系获取所述目标人脸的标志点的三维坐标；
第三单元：根据所述目标人脸的标志点的三维坐标估计所述目标人脸的位置并设定深度值的阈值，以从目标人脸的原始目标人脸三维点云模型中筛选出目标人脸的点云模型，其中，所述原始目标人脸三维点云模型为根据所述彩色图像和所述深度图像获取的模型；
第四单元：对所述目标人脸的点云模型中不同朝向的点云模型进行点云粗匹配，得到粗配准的目标人脸三维点云模型；
第五单元：将所述粗配准的目标人脸三维点云模型进行精确配准，得到精确配准的目标人脸三维点云模型；
第六单元：将所述精确配准的目标人脸三维点云模型进行融合去重、网格化以及网格光顺，并进行纹理增强得到优化后的目标人脸网格模型；
第七单元：根据所述优化后的目标人脸网格模型及所述彩色图像和所述深度图像的对应关系制作纹理图，并根据所述纹理图对所述优化后的目标人脸网格模型进行纹理贴图，得到最终的目标人脸网格模型。
该实施例的三维人脸重建***包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，例如获取至少两个视角下目标人脸的彩色图像和深度图像，并判断所述彩色图像和所述深度图像是否对齐程序。所述处理器执行所述计算机程序时实现上述各个三维人脸重建方法实施例中的步骤，例如图1所示的步骤S1-S7。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各单元的功能，例如第一单元：获取至少两个视角下目标人脸的彩色图像和深度图像，并判断所述彩色图像和所述深度图像是否对齐。
所述计算机程序可以被分割成如上七个单元仅仅是示例性的。实际上可以分成一个或多个单元，所述一个或者多个单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述三维人脸重建***中的执行过程。
所述三维人脸重建***还可以包括桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备；可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是三维人脸重建***的示例，并不构成对三维人脸重建***的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述三维人脸重建***还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述三维人脸重建***的控制中心，利用各种接口和线路连接整个三维人脸重建***的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述三维人脸重建***的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
可以理解的，本申请采用多帧点云进行模型重建，区别于现有技术中通过机器学习建立人脸模板的方法，更具备真实效果；基于人脸二维标志点获取人脸三维标志点实现不同视角下人脸模型的粗配准，并通过粗配准和精确配准相结合的方法更适用于多帧点云的的配准；基于彩色图像对网格模型进行细节增强，不同于现有技术中直接用深度图和人脸模型重建的模型，具有更好的细节效果。
与大多数依靠深度相机重建人脸三维点云模型不同的是，本发明依靠RGB-D相机，通过多视角采集人脸数据，在重建人脸三维点云模型的基础上，对点云进行封装以及纹理贴图，得到接近于真实人脸的人脸模型。同时区别于目前通过深度学习训练重建的人脸模型，本发明重建出来的模型质量更高，更趋近于真实的人脸效果。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (10)

1.一种三维人脸重建方法，其特征在于，包括如下步骤：
S1：获取至少两个视角下目标人脸的彩色图像和深度图像，并判断所述彩色图像和所述深度图像是否对齐；
S2：在所述彩色图像和所述深度图像对齐的情况下，通过深度学习提取所述彩色图像中所述目标人脸的标志点的二维坐标，并根据所述彩色图像和所述深度图像的对应关系获取所述目标人脸的标志点的三维坐标；
S3：根据所述目标人脸的标志点的三维坐标估计所述目标人脸的位置并设定深度值的阈值，以从目标人脸的原始目标人脸三维点云模型中筛选出目标人脸的点云模型，其中，所述原始目标人脸三维点云模型为根据所述彩色图像和所述深度图像获取的模型；
S4：对所述目标人脸的点云模型中不同朝向的点云模型进行点云粗匹配，得到粗配准的目标人脸三维点云模型；
S5：将所述粗配准的目标人脸三维点云模型进行精确配准，得到精确配准的目标人脸三维点云模型；
S6：将所述精确配准的目标人脸三维点云模型进行融合去重、网格化以及网格光顺，并进行纹理增强得到优化后的目标人脸网格模型；
S7：根据所述优化后的目标人脸网格模型及所述彩色图像和所述深度图像的对应关系制作纹理图，并根据所述纹理图对所述优化后的目标人脸网格模型进行纹理贴图，得到最终的目标人脸网格模型。
2.如权利要求1所述的三维人脸重建方法，其特征在于，步骤S1中获取至少两个视角下目标人脸的彩色图像和深度图像包括：
采用RGB-D相机按等角距获取至少两个视角下所述目标人脸的所述彩色图像和所述深度图像。
3.如权利要求1所述的三维人脸重建方法，其特征在于，步骤S2中根据所述彩色图像和所述深度图像的对应关系获取所述目标人脸的标志点的三维坐标包括：
RGB-D相机中深度相机的内参数为：像素焦距fx,fy,主点偏差u0,v0；则所述深度图像的图像点[u,v]与在所述深度相机坐标系下重建出三维坐标[xc,yc,zc]的变换关系为：
xc＝zc·(u-u0)/fx
yc＝zc·(v-v0)/fy
zc＝zc
其中，zc为所述深度图像的像素点上的深度值。
4.如权利要求1所述的三维人脸重建方法，其特征在于，步骤S3还包括：
S31：对所述目标人脸的点云模型中的点云数据进行法线计算：根据所述目标人脸的点云模型中的所述点云生成K-D树，建立所述点云的拓扑关系；查找任一点云的邻域，对所述点云的邻域点做主成分分析降维到二维平面，设置所述二维平面的法线为所述点云的法线，再根据深度相机的位置对所述点云的法线进行定向，完成法线计算；
S32：遍历计算所述目标人脸的点云模型中的点云与邻域内各点的距离取均值，判断所述均值是否超过预先设置的阈值，若超过则判定所述点云为噪点进行去除。
5.如权利要求1所述的三维人脸重建方法，其特征在于，步骤S4包括如下步骤：
S41：将所述目标人脸的点云模型中前一帧的所述目标人脸的标志点的三维坐标形成的点云模型作为参考点云Pr，后一帧的所述目标人脸的标志点的三维坐标形成的点云模型作为目标点云Pt，并通过所述参考点云Pr和所述目标点云Pt的共有的标志点计算出旋转矩阵R和平移矩阵T；
S42：将所述目标人脸的点云模型中所有点云根据配准方程Pr＝R*Pt+T配准到一幅指定点云上，得到所述粗配准的目标人脸三维点云模型，其中，所述指定点云为正脸点云。
6.如权利要求1所述的三维人脸重建方法，其特征在于，步骤S5包括如下步骤：
S51：将所述粗配准的目标人脸三维点云模型中前一帧的所述目标人脸三维点云模型作为参考点云，后一帧的所述目标人脸三维点云模型作为目标点云；对所述目标点云中的每个点，匹配所述参考点云中的最近点，求匹配后的对应点距离均方根最小的刚体变换，以得到初始平移矩阵和初始旋转矩阵；使用所述初始平移矩阵和初始旋转矩阵来转换目标点云，重复迭代优化直到满足迭代误差小于设定阈值，获得配准后的旋转矩阵和平移矩阵；
S52：根据所述配准后的旋转矩阵和平移矩阵，结合配准方程将所述粗配准的目标人脸三维点云模型进行配准，得到所述精确配准的目标人脸三维点云模型。
7.如权利要求1所述的三维人脸重建方法，其特征在于，步骤S6包括如下步骤：
S61：将所述精确配准后的目标人脸三维点云模型进行融合去重，组成融合后的目标人脸三维点云模型；
S62：对所述融合后的目标人脸三维点云模型进行泊松重建，生成目标人脸网格模型；
S63：对所述目标人脸网格模型进行网格光顺；
S64：基于获取的第一帧正脸彩色图像，优化所述第一帧正脸的深度图像，对光顺后的所述目标人脸网格模型进行纹理增强，得到所述优化后的目标人脸网格模型。
8.如权利要求1所述的三维人脸重建方法，其特征在于，根据所述优化后的目标人脸网格模型及所述彩色图像和所述深度图像的对应关系，并制作纹理图包括：
S71：获取所述优化后的目标人脸网格模型中网格顶点与彩色图像像素点之间的对应关系；
S72：在所述对应关系的基础上，通过所述网格顶点的邻域信息，估计所述网格顶点相对于每个深度相机采集时的位置关系，以确定所述网格顶点对应的像素点；
S73：根据所述像素点，制作初始纹理图；
S74：在所述初始纹理图上去除图像缝隙的色差，进行颜色融合修正，得到最终的纹理图。
9.一种三维人脸重建***，其特征在于，包括：
第一单元：获取至少两个视角下目标人脸的彩色图像和深度图像，并判断所述彩色图像和所述深度图像是否对齐；
第二单元：在所述彩色图像和所述深度图像对齐的情况下，通过深度学习提取所述彩色图像中所述目标人脸的标志点的二维坐标，并根据所述彩色图像和所述深度图像的对应关系获取所述目标人脸的标志点的三维坐标；
第三单元：根据所述目标人脸的标志点的三维坐标估计所述目标人脸的位置并设定深度值的阈值，以从目标人脸的原始目标人脸三维点云模型中筛选出目标人脸的点云模型，其中，所述原始目标人脸三维点云模型为根据所述彩色图像和所述深度图像获取的模型；
第四单元：对所述目标人脸的点云模型中不同朝向的点云模型进行点云粗匹配，得到粗配准的目标人脸三维点云模型；
第五单元：将所述粗配准的目标人脸三维点云模型进行精确配准，得到精确配准的目标人脸三维点云模型；
第六单元：将所述精确配准的目标人脸三维点云模型进行融合去重、网格化以及网格光顺，并进行纹理增强得到优化后的目标人脸网格模型；
第七单元：根据所述优化后的目标人脸网格模型及所述彩色图像和所述深度图像的对应关系制作纹理图，并根据所述纹理图对所述优化后的目标人脸网格模型进行纹理贴图，得到最终的目标人脸网格模型。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8任一所述方法的步骤。
CN201910524707.5A 2019-06-18 2019-06-18 一种三维人脸重建方法及*** Active CN110363858B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910524707.5A CN110363858B (zh) 2019-06-18 2019-06-18 一种三维人脸重建方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910524707.5A CN110363858B (zh) 2019-06-18 2019-06-18 一种三维人脸重建方法及***

Publications (2)

Publication Number Publication Date
CN110363858A CN110363858A (zh) 2019-10-22
CN110363858B true CN110363858B (zh) 2022-07-01

Family

ID=68216329

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910524707.5A Active CN110363858B (zh) 2019-06-18 2019-06-18 一种三维人脸重建方法及***

Country Status (1)

Country Link
CN (1) CN110363858B (zh)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110827408B (zh) * 2019-10-31 2023-03-28 上海师范大学 一种基于深度传感器的实时三维重建方法
CN111084603A (zh) * 2019-11-20 2020-05-01 北京健康有益科技有限公司 一种基于深度相机的瞳距测量方法及***
CN111160208B (zh) * 2019-12-24 2023-04-07 陕西西图数联科技有限公司 基于多帧点云融合与可变模型的三维人脸超分辨率方法
CN111063016A (zh) * 2019-12-31 2020-04-24 螳螂慧视科技有限公司 一种多深度镜头人脸建模方法、***、存储介质及终端
CN111199579B (zh) * 2020-01-02 2023-01-24 腾讯科技（深圳）有限公司 一种目标物的三维模型构建方法、装置、设备及介质
CN111243093B (zh) * 2020-01-07 2023-05-12 腾讯科技（深圳）有限公司 三维人脸网格的生成方法、装置、设备及存储介质
CN111210510B (zh) * 2020-01-16 2021-08-06 腾讯科技（深圳）有限公司 三维人脸模型生成方法、装置、计算机设备及存储介质
CN111402394B (zh) * 2020-02-13 2022-09-20 清华大学 三维夸张漫画人脸生成方法及装置
CN111192201B (zh) * 2020-04-08 2020-08-28 腾讯科技（深圳）有限公司 一种生成人脸图像及其模型训练的方法、装置及电子设备
CN111507340B (zh) * 2020-04-16 2023-09-01 北京深测科技有限公司 一种基于三维点云数据的目标点云数据提取方法
CN111612912B (zh) * 2020-05-26 2024-01-30 广州纳丽生物科技有限公司 一种基于Kinect 2相机面部轮廓点云模型的快速三维重构及优化方法
CN111739167B (zh) * 2020-06-16 2023-10-03 北京百度网讯科技有限公司 3d人头重建方法、装置、设备和介质
CN111753712A (zh) * 2020-06-22 2020-10-09 中国电力科学研究院有限公司 电力生产人员安全监测方法、***以及设备
CN111612920B (zh) * 2020-06-28 2023-05-05 广州欧科信息技术股份有限公司 点云三维空间图像的生成方法及其设备
CN111784821B (zh) * 2020-06-30 2023-03-14 北京市商汤科技开发有限公司 三维模型生成方法、装置、计算机设备及存储介质
CN111710035B (zh) * 2020-07-16 2023-11-07 腾讯科技（深圳）有限公司 人脸重建方法、装置、计算机设备及存储介质
CN112562082A (zh) * 2020-08-06 2021-03-26 长春理工大学 一种三维人脸重建方法及***
CN112002014B (zh) * 2020-08-31 2023-12-15 中国科学院自动化研究所 面向精细结构的三维人脸重建方法、***、装置
CN112085835B (zh) * 2020-08-31 2024-03-22 腾讯科技（深圳）有限公司 三维卡通人脸生成方法、装置、电子设备及存储介质
CN112233142A (zh) * 2020-09-29 2021-01-15 深圳宏芯宇电子股份有限公司 目标跟踪方法、设备及计算机可读存储介质
CN112200905B (zh) * 2020-10-15 2023-08-22 革点科技(深圳)有限公司 一种三维人脸补全的方法
CN112284291A (zh) * 2020-10-22 2021-01-29 华中科技大学鄂州工业技术研究院 一种可获取物理纹理的三维扫描方法及装置
CN112308963B (zh) * 2020-11-13 2022-11-08 四川川大智胜软件股份有限公司 一种无感三维人脸重建方法及采集重建***
CN112435326A (zh) * 2020-11-20 2021-03-02 深圳市慧鲤科技有限公司 可打印模型文件生成方法和相关产品
CN112561784B (zh) * 2020-12-17 2024-04-09 咪咕文化科技有限公司 图像合成方法、装置、电子设备及存储介质
CN112797916A (zh) * 2020-12-31 2021-05-14 新拓三维技术(深圳)有限公司 基于追踪式自动化扫描检测***、方法及可读存储介质
CN112802071B (zh) * 2021-01-22 2024-06-11 北京农业智能装备技术研究中心 一种三维重建效果评价方法及***
CN113034385B (zh) * 2021-03-01 2023-03-28 嘉兴丰鸟科技有限公司 一种基于分块的网格生成及渲染方法
CN113240720B (zh) * 2021-05-25 2022-05-17 中德（珠海）人工智能研究院有限公司 一种三维表面重建方法、装置、服务器以及可读存储介质
CN113610889B (zh) * 2021-06-30 2024-01-16 奥比中光科技集团股份有限公司 一种人体三维模型获取方法、装置、智能终端及存储介质
CN113674161A (zh) * 2021-07-01 2021-11-19 清华大学 一种基于深度学习的人脸残缺扫描补全方法、装置
CN113343925B (zh) * 2021-07-02 2023-08-29 厦门美图宜肤科技有限公司 人脸三维重建方法、装置、电子设备及存储介质
CN113538694A (zh) * 2021-07-06 2021-10-22 海信视像科技股份有限公司 一种平面重建方法及显示设备
CN113596432B (zh) * 2021-07-30 2024-04-30 成都市谛视科技有限公司 可变视角的3d视频制作方法、装置、设备及存储介质
CN113838176B (zh) * 2021-09-16 2023-09-15 网易（杭州）网络有限公司 模型的训练方法、三维人脸图像生成方法及设备
CN113592994B (zh) * 2021-09-27 2021-12-07 贝壳技术有限公司 用于纹理贴图的方法、装置和存储介质
CN113902854A (zh) * 2021-10-18 2022-01-07 深圳追一科技有限公司 三维人脸模型重建方法、装置、电子设备及存储介质
CN114169022B (zh) * 2021-10-29 2023-05-19 深圳精匠云创科技有限公司 在胚料上雕刻出雕刻标的3d表面的方法及***
CN114219920B (zh) * 2021-12-14 2023-05-26 魔珐(上海)信息科技有限公司 三维人脸模型的构建方法及装置、存储介质、终端
CN114858086A (zh) * 2022-03-25 2022-08-05 先临三维科技股份有限公司 一种三维扫描***、方法和装置
CN114863030B (zh) * 2022-05-23 2023-05-23 广州数舜数字化科技有限公司 基于人脸识别和图像处理技术生成自定义3d模型的方法
CN115937546A (zh) * 2022-11-30 2023-04-07 北京百度网讯科技有限公司 图像匹配、三维图像重建方法、装置、电子设备以及介质
CN116664796B (zh) * 2023-04-25 2024-04-02 北京天翔睿翼科技有限公司 轻量级头部建模***及方法
CN116912402A (zh) * 2023-06-30 2023-10-20 北京百度网讯科技有限公司 人脸重建的方法、装置、电子设备、存储介质
CN116778095B (zh) * 2023-08-22 2023-10-27 苏州海赛人工智能有限公司 一种基于人工智能的三维重建方法
CN117422847A (zh) * 2023-10-27 2024-01-19 神力视界(深圳)文化科技有限公司 模型修复方法、装置、电子设备和计算机存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130089464A (ko) * 2012-02-02 2013-08-12 한국과학기술연구원 3차원 얼굴 형상 재구성 방법
CN103927747A (zh) * 2014-04-03 2014-07-16 北京航空航天大学 一种基于人脸生物特征的面匹配空间注册方法
CN106327571A (zh) * 2016-08-23 2017-01-11 北京的卢深视科技有限公司 一种三维人脸建模方法及装置
CN106709947A (zh) * 2016-12-20 2017-05-24 西安交通大学 一种基于rgbd相机的三维人体快速建模***
CN106920274A (zh) * 2017-01-20 2017-07-04 南京开为网络科技有限公司 移动端2d关键点快速转换为3d融合变形的人脸建模方法
CN108154550A (zh) * 2017-11-29 2018-06-12 深圳奥比中光科技有限公司 基于rgbd相机的人脸实时三维重建方法
CN109087386A (zh) * 2018-06-04 2018-12-25 成都通甲优博科技有限责任公司 一种包含尺度信息的人脸三维重建方法及***
CN109087388A (zh) * 2018-07-12 2018-12-25 南京邮电大学 基于深度传感器的物体三维建模方法
CN109377551A (zh) * 2018-10-16 2019-02-22 北京旷视科技有限公司 一种三维人脸重建方法、装置及其存储介质
CN109472820A (zh) * 2018-10-19 2019-03-15 清华大学 单目rgb-d相机实时人脸重建方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130089464A (ko) * 2012-02-02 2013-08-12 한국과학기술연구원 3차원 얼굴 형상 재구성 방법
CN103927747A (zh) * 2014-04-03 2014-07-16 北京航空航天大学 一种基于人脸生物特征的面匹配空间注册方法
CN106327571A (zh) * 2016-08-23 2017-01-11 北京的卢深视科技有限公司 一种三维人脸建模方法及装置
CN106709947A (zh) * 2016-12-20 2017-05-24 西安交通大学 一种基于rgbd相机的三维人体快速建模***
CN106920274A (zh) * 2017-01-20 2017-07-04 南京开为网络科技有限公司 移动端2d关键点快速转换为3d融合变形的人脸建模方法
CN108154550A (zh) * 2017-11-29 2018-06-12 深圳奥比中光科技有限公司 基于rgbd相机的人脸实时三维重建方法
CN109087386A (zh) * 2018-06-04 2018-12-25 成都通甲优博科技有限责任公司 一种包含尺度信息的人脸三维重建方法及***
CN109087388A (zh) * 2018-07-12 2018-12-25 南京邮电大学 基于深度传感器的物体三维建模方法
CN109377551A (zh) * 2018-10-16 2019-02-22 北京旷视科技有限公司 一种三维人脸重建方法、装置及其存储介质
CN109472820A (zh) * 2018-10-19 2019-03-15 清华大学 单目rgb-d相机实时人脸重建方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Leticia López et al..Comparative morphometry of facial surface models obtained from a stereo vision system in a healthy population.《AIP Conference Proceedings》.2015,第77-81页. *
吴子扬.表情稳健的三维人脸重建与识别.《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》.2015,第I138-1494页. *
祁乐阳.基于双目立体视觉的人脸三维重建关键技术研究.《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》.2018,第I138-1428页. *
马莉.基于双目视觉三维重建技术研究.《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》.2012,第I138-1067页. *

Also Published As

Publication number Publication date
CN110363858A (zh) 2019-10-22

Similar Documents

Publication Publication Date Title
CN110363858B (zh) 一种三维人脸重建方法及***
CN111063021B (zh) 一种空间运动目标的三维重建模型建立方法及装置
CN110349251B (zh) 一种基于双目相机的三维重建方法及装置
CN106780590B (zh) 一种深度图的获取方法及***
WO2021120846A1 (zh) 三维重建方法、设备以及计算机可读介质
CN109242954B (zh) 基于模板变形的多视角三维人体重建方法
CN109118544B (zh) 基于透视变换的合成孔径成像方法
CN113178009A (zh) 一种利用点云分割和网格修补的室内三维重建方法
CN104537707A (zh) 像方型立体视觉在线移动实时测量***
CN111612731B (zh) 基于双目显微视觉的测量方法、装置、***及介质
CN106097433A (zh) 物体工业与影像模型的叠加方法及***
CN116309880A (zh) 基于三维重建的物***姿确定方法、装置、设备及介质
Laycock et al. Aligning archive maps and extracting footprints for analysis of historic urban environments
CN114494589A (zh) 三维重建方法、装置、电子设备和计算机可读存储介质
CN116433843A (zh) 基于双目视觉重建路线的三维模型重建方法及装置
Pacheco et al. Reconstruction of high resolution 3D objects from incomplete images and 3D information
CN107958489B (zh) 一种曲面重建方法及装置
CN114119987A (zh) 基于卷积神经网络的特征提取和描述子生成方法及***
CN117115359B (zh) 一种基于深度图融合的多视图电网三维空间数据重建方法
CN107610215B (zh) 一种高精度多角度口腔三维数字成像模型构建方法
CN117372647A (zh) 一种建筑用三维模型的快速构建方法及***
CN116051980B (zh) 基于倾斜摄影的建筑识别方法、***、电子设备及介质
CN112381721A (zh) 一种基于双目视觉的人脸三维重建方法
CN116801115A (zh) 一种稀疏阵列相机部署方法
CN113421292A (zh) 一种三维建模细节增强方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant