CN109242961B - 一种脸部建模方法、装置、电子设备和计算机可读介质 - Google Patents

一种脸部建模方法、装置、电子设备和计算机可读介质 Download PDF

Info

Publication number
CN109242961B
CN109242961B CN201811124137.2A CN201811124137A CN109242961B CN 109242961 B CN109242961 B CN 109242961B CN 201811124137 A CN201811124137 A CN 201811124137A CN 109242961 B CN109242961 B CN 109242961B
Authority
CN
China
Prior art keywords
point cloud
image
depth
target
vertex
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811124137.2A
Other languages
English (en)
Other versions
CN109242961A (zh
Inventor
乔梁
陈可卿
黄海斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kuangshi Technology Co Ltd
Original Assignee
Beijing Kuangshi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kuangshi Technology Co Ltd filed Critical Beijing Kuangshi Technology Co Ltd
Priority to CN201811124137.2A priority Critical patent/CN109242961B/zh
Publication of CN109242961A publication Critical patent/CN109242961A/zh
Priority to PCT/CN2019/100023 priority patent/WO2020063139A1/zh
Priority to US17/267,723 priority patent/US11625896B2/en
Application granted granted Critical
Publication of CN109242961B publication Critical patent/CN109242961B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

本发明提供了一种脸部建模方法、装置、电子设备和计算机可读介质，涉及图像处理的技术领域，包括获取多帧深度图像，其中，所述多帧深度图像为在不同照射角度下对目标脸拍摄得到的深度图像；对所述多帧深度图像进行深度图像对齐处理，得到目标点云图像；利用所述目标点云图像构建所述目标脸的三维模型，本发明缓解了现有的三维模型的构建方法构建的三维模型鲁棒性差且精度低的技术问题。

Description

一种脸部建模方法、装置、电子设备和计算机可读介质
技术领域
本发明涉及图像处理的技术领域，尤其是涉及一种脸部建模方法、装置、电子设备和计算机可读介质。
背景技术
随着计算机图形学与图像处理技术的快速发展，基于计算机和图像处理的三维人脸建模技术在很多领域(例如，游戏动漫、影视广告)等相关行业得到了广泛的应用，并逐渐成为研究的热点问题。
现有技术在构建三维人脸模型时，利用对象的RGB图像来实现三维人脸模型的构建。这种方案存在如下弊端：三维模型鲁棒性差，且受光线干扰大；三维模型精度低的问题。
发明内容
有鉴于此，本发明的目的在于提供一种脸部建模方法、装置、电子设备和计算机可读介质，以缓解了现有的三维模型的构建方法构建的三维模型鲁棒性差且精度低的技术问题。
第一方面，本发明实施例提供了一种脸部建模方法，包括：获取多帧深度图像，其中，所述多帧深度图像为深度摄像机在不同照射角度下对目标脸拍摄得到的深度图像；对所述多帧深度图像进行深度图像对齐处理，得到目标点云图像，其中，所述目标点云图像中包括多个三维顶点，以及每个三维顶点的三维坐标和法向量；利用所述目标点云图像构建所述目标脸的三维模型。
进一步地，对所述多帧深度图像进行深度图像对齐处理，得到目标点云图像包括：将每帧深度图像转换为3D点云图像，其中，所述3D点云图像包括点云中各个三维顶点的三维坐标和法向量；将各个所述3D点云图像中的三维顶点进行顶点对齐处理，得到所述目标点云图像。
进一步地，将各帧深度图像的3D点云图像进行对齐处理，得到所述目标点云图像包括：针对所述多帧深度图像中的第M张深度图像，将所述第M张深度图像的3D点云图像与预测点云图像进行点云匹配，并根据点云匹配结果确定所述深度摄像机拍摄所述第M张深度图像的位姿信息；基于所述位姿信息确定所述第M张深度图像的3D点云图像中各个顶点在现实空间中的位置信息；利用所述位置信息将所述第M张深度图像的3D点云图像融合至所述预测点云图像中，反复执行上述步骤，直至将第N张深度图像的3D点云图像融合至前N-1张深度图像的3D点云图像进行对齐之后的预测点云图像中之后，得到所述目标点云图像，其中，N为所述深度图像的数量，M小于或者等于N，所述预测点云图像为前M-1张深度图像的3D点云图像进行对齐之后的点云图，所述第M张深度图像为所述深度摄像机对所述目标脸拍摄到的第M张深度图像。
进一步地，所述三维模型中包括多个三维顶点，且一个三维顶点对应所述目标点云图像中的一个顶点；利用所述目标点云图像构建所述目标脸的三维模型包括：在所述目标点云图像的顶点中确定与所述三维模型中各个三维顶点相对应的顶点；基于所述相对应的顶点的三维坐标和法向量在原始脸部模型中构建所述目标脸的三维模型。
进一步地，所述方法还包括：获取多帧RGB图像，其中，所述多帧RGB图像为在不同照射角度下对所述目标脸拍摄得到的RGB图像；对所述多帧RGB图像进行纹理拼合，得到目标纹理图；利用所述目标纹理图对所述三维模型进行渲染，得到渲染之后的所述三维模型。
进一步地，对所述多帧RGB图像进行纹理拼合，得到目标纹理图包括：在所述多帧RGB图像中确定所述三维模型中各个顶点的纹理特征；将所述三维模型进行UV展开处理，得到展开图，其中，所述展开图中包括多个二维坐标，且一个二维坐标对应所述三维模型中的一个顶点；确定所述展开图中各个二维坐标所对应的纹理特征，从而得到所述目标纹理图。
进一步地，在所述多帧RGB图像中确定所述三维模型中各个顶点的纹理特征包括：在所述多帧RGB图像中确定所述三维模型中各个顶点所对应的纹理特征，其中，一个顶点对应一个或多个纹理特征；按照各个顶点所对应的纹理特征的数量对所述各个顶点进行分类，得到第一分类组和第二分类组，其中，所述第一分类组中各个顶点对应一个纹理特征，所述第二分类组中各个顶点对应多个纹理特征；将所述第一分类组中各个顶点所对应的纹理特征作为所述三维模型中与所述第一分类组中各个顶点相对应顶点的纹理特征；在所述第二分类组中各个顶点所对应的多个纹理特征中确定目标纹理特征，并将所述目标纹理特征作为所述三维模型中与所述第二分类组中各个顶点相对应顶点的纹理特征。
进一步地，在所述第二分类组中各个顶点所对应的多个纹理特征中确定目标纹理特征包括：计算所述第二分类组中顶点Ai相对于目标相机的法向偏移视角，其中，所述目标相机为用于拍摄目标RGB图像的相机，所述目标RGB图像为所述多帧RGB图像中顶点Ai所对应的多个纹理特征所属的RGB图像，i依次取1至I，I为所述第二分类组中顶点的数量；将所述法向偏移视角中的法向偏移最小视角所对应的纹理特征作为所述顶点Ai的目标纹理特征。
进一步地，所述三维模型中包括多个顶点，且一个顶点对应所述目标纹理图中的一个或多个像素点；利用所述目标纹理图对所述三维模型进行渲染，得到渲染之后的所述三维模型包括：在所述目标纹理图中查找与各个顶点相对应的纹理特征；将所述纹理特征投影至所述三维模型的各个顶点上得到渲染之后的所述三维模型。
第二方面，本发明实施例还提供了一种脸部建模装置，包括：第一获取单元，用于获取多帧深度图像，其中，所述多帧深度图像为深度摄像机在不同照射角度下对目标脸拍摄得到的深度图像；深度处理单元，用于对所述多帧深度图像进行深度图像对齐处理，得到目标点云图像，其中，所述目标点云图像中包括多个三维顶点，以及每个三维顶点的三维坐标和法向量；构建单元，用于利用所述目标点云图像构建所述目标脸的三维模型。
第三方面，本发明实施例提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面中任一项所述的方法。
第四方面，本发明实施例提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述第一方面中任一项所述的方法。
在本发明实施例中，首先，获取多帧深度图像，然后，对所述多帧深度图像进行深度图像对齐处理，得到目标点云图像；最后，利用目标点云图像构建目标脸的三维模型。在本实施例中，深度图中包括目标脸的三维空间信息，利用深度图构建目标脸的三维模型的方式，能够得到精度更高的三维模型，同时相对于基于RGB图像构建三维模型的方式，采用深度图构建的三维模型，能够提高三维模型的鲁棒性，进而缓解了现有的三维模型的构建方法构建的三维模型鲁棒性差且精度低的技术问题。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种电子设备的示意图；
图2是根据本发明实施例的一种脸部建模方法的流程图；
图3是根据本发明实施例的一种三维模型的示意图；
图4是根据本发明实施例的一种三维模型渲染之后的示意图；
图5是根据本发明实施例的一种目标纹理图的示意图；
图6是根据本发明实施例的另一种脸部建模方法的流程图；
图7是根据本发明实施例的一种脸部建模装置的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
首先，参照图1来描述用于实现本发明实施例的电子设备100，该电子设备可以用于运行本发明各实施例的脸部建模方法。
如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储器104、输入装置106、输出装置108以及摄像机110，这些组件通过总线***112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。
所述处理器102可以采用数字信号处理器(DSP，Digital Signal Processing)、现场可编程门阵列(FPGA，Field－Programmable Gate Array)、可编程逻辑阵列(PLA，Programmable Logic Array)和ASIC(Application Specific Integrated Circuit)中的至少一种硬件形式来实现，所述处理器102可以是中央处理单元(CPU，Central ProcessingUnit)、图形处理器(GPU，Graphics Processing Unit)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储器104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。
所述摄像机110用于进行图像采集，其中，摄像机所采集的多帧深度图像经过所述脸部建模方法进行处理之后得到目标脸的三维模型，例如，摄像机可以拍摄用户期望的多帧深度图像，然后，将该多帧深度图像经过所述脸部建模方法进行处理之后得到目标脸的三维模型，摄像机还可以将所拍摄的图像存储在所述存储器104中以供其它组件使用。
示例性地，用于实现根据本发明实施例的脸部建模方法的电子设备可以被实现为诸如智能手机、平板电脑等智能移动终端。
实施例2：
根据本发明实施例，提供了一种脸部建模方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图2是根据本发明实施例的一种脸部建模方法的流程图，如图2所示，该方法包括如下步骤：
步骤S202，获取多帧深度图像，其中，所述多帧深度图像为深度摄像机在不同照射角度下对目标脸拍摄得到的深度图像；
在本实施例中，可以通过结构光或ToF传感器获取目标脸的多帧深度图像。可选地，在本实施例中，可以在不同角度设置多个ToF相机，例如，以某个点为圆心，每隔5度设置一个ToF相机，进而通过该ToF相机采集目标脸在各个照射角度下的深度图像。
可选地，在本实施例中，还可以设置一个ToF相机，通过调整该ToF相机的角度来实现在不同照射角度下对目标脸进行拍摄，得到多帧深度图像。或者，还可以在一个ToF相机固定的情况下，通过目标脸不断向左或者向右转动头来实现多帧深度图像的采集。
步骤S204，对所述多帧深度图像进行深度图像对齐处理，得到目标点云图像，其中，所述目标点云图像中包括多个三维顶点，以及每个三维顶点的三维坐标和法向量；
步骤S206，利用所述目标点云图像构建所述目标脸的三维模型。
在本发明实施例中，首先，获取多帧深度图像，然后，对所述多帧深度图像进行深度图像对齐处理，得到目标点云图像；最后，利用目标点云图像构建目标脸的三维模型。在本实施例中，深度图中包括目标脸的三维空间信息，利用深度图构建目标脸的三维模型的方式，能够得到精度更高的三维模型，同时相对于基于RGB图像构建三维模型的方式，采用深度图构建的三维模型，能够提高三维模型的鲁棒性，进而缓解了现有的三维模型的构建方法构建的三维模型鲁棒性差且精度低的技术问题。
通过上述描述可知，在本实施例中，首先获取多帧深度图像，然后，对所述多帧深度图像进行深度图像对齐处理，得到目标点云图像。
在本实施例的一个可选实施方式中，步骤S204，对所述多帧深度图像进行深度图像对齐处理，得到目标点云图像包括如下步骤：
步骤S2041，将每帧深度图像转换为3D点云图像，其中，所述3D点云图像包括点云中各个三维顶点的三维坐标和法向量；
步骤S2042，将各个所述3D点云图像中的三维顶点进行顶点对齐处理，得到所述目标点云图像。
具体地，在本实施例中，将ToF相机采集到的各帧深度图像转换为3D点云图像。首先，确定ToF相机的参数，其中，该参数包括相机的内参，相机在x，y两个轴上的焦距，相机的光圈中心等参数；遍历深度图，以获取深度图中每个坐标的深度值，基于深度值确定这个坐标的空间坐标，进而得到深度图像的3D点云图像。
在将每帧深度图像转换为3D点云图像之后，就可以将各个3D点云图像中的三维顶点进行顶点对齐处理，得到所述目标点云图像。
在本实施例中，步骤S2042，将各帧深度图像的3D点云图像进行对齐处理，得到所述目标点云图像包括：
步骤S11，针对所述多帧深度图像中的第M张深度图像，将所述第M张深度图像的3D点云图像与预测点云图像进行点云匹配，并根据点云匹配结果确定所述深度摄像机拍摄所述第M张深度图像的位姿信息，所述预测点云图像为前M-1张深度图像的3D点云图像进行对齐之后的点云图，所述第M张深度图像为所述深度摄像机对所述目标脸拍摄到的第M张深度图像；
步骤S12，基于所述位姿信息确定所述第M张深度图像的3D点云图像中各个顶点在现实空间中的位置信息；
步骤S13，利用所述位置信息将所述第M张深度图像的3D点云图像融合至所述预测点云图像中；
反复执行下述步骤，直至将第N张深度图像的3D点云图像融合至前N-1张深度图像的3D点云图像进行对齐之后的预测点云图像中之后，得到所述目标点云图像，N为所述深度图像的数量，M小于或者等于N。
由于深度图像为结构光或ToF传感器在不同照射角度下对目标脸进行拍摄得到的，因此，相邻深度图像之间可能包含相同人脸区域，例如，第一张深度图和第二张深度图像中将包含相同人脸区域。也就是说，在第一张深度图像的3D点云图像和第二张深度图像的3D点云图像将包含重合的三维顶点，其中，重合的三维顶点是指该三维顶点对应现实空间中相同位置。
假设，在本实施例中，依次获取N张深度图像。在本实施例中，首先，获取第一张深度图像，并在获取到第一张深度图像之后，将第一张深度图像转换为3D点云图像，并将该3D点云图像映射到预测点云图像中。在获取到第二张深度图像之后，将第二张深度图像转换为3D点云图像，并将第二张深度图像转换为3D点云图像与预测点云图像进行点云匹配，进而根据匹配结果确定深度摄像机拍摄第二张深度图像的位姿信息。并利用该位姿信息确定第二张深度图像的3D点云图像中各个顶点在现实空间中的位置信息。之后，利用该位置信息确定第二张深度图像的3D点云图像与第一张深度图像的3D点云图像之间重合的三维顶点。最后，将第二张深度图像的3D点云图像中除该重合的三维顶点之外的顶点映射在预测点云图像中。从而实现将第二张深度图像的3D点云图像融合在预测点云图像中。
针对N张深度图像中的每张深度图像，均采用上述处理方式来进行对齐处理，对于其他深度图像的对齐过程，此处不再详细描述。
在本实施例中，在对所述多帧深度图像进行深度图像对齐处理，得到目标点云图像之后，就可以利用目标点云图像构建目标脸的三维模型。
在一个可选的实施方式中，步骤S206，利用所述目标点云图像构建所述目标脸的三维模型包括如下步骤：
步骤S2061，在所述目标点云图像的顶点中确定与所述三维模型中各个三维顶点相对应的顶点；
步骤S2062，基于所述相对应的顶点的三维坐标和法向量在原始脸部模型中构建所述目标脸的三维模型。
具体地，在本实施例中，三维模型中包括多个三维顶点，且一个三维顶点对应所述目标点云图像中的一个顶点。基于此，在本实施例中，可以通过三维模型中各个三维顶点与目标点云图像中各个顶点之间的映射关系，在目标点云图像的顶点中确定与三维模型中各个三维顶点相对应的顶点。然后，获取相对于的顶点的三维坐标和法向量。最后，利用相对于的顶点的三维坐标和法向量在原始脸部模型中构建所述目标脸的三维模型。
需要说明的是，此处的原始脸部模型为未经过任何处理的脸部模型。
例如，如图3所示的即为目标脸的三维模型。如图3所示的三维模型为未经过色彩渲染的模型。若想要得到经过色彩渲染之后的模型，还需要获取目标脸的RGB图像，并结合RGB图像对该三维模型进行渲染，得到如图4所示的三维模型。
需要说明的是，在本实施例中，在利用目标点云图像进行建模的过程中，会利用人脸先验知识，来抛弃一些深度图噪声。从而降低深度图质量差对建模造成的干扰，提高建模质量和精确度。
在一个可选的实施方式中，还包括如下步骤：
步骤S208，获取多帧RGB图像，其中，所述多帧RGB图像为在不同照射角度下对所述目标脸拍摄得到的RGB图像；
步骤S210，对所述多帧RGB图像进行纹理拼合，得到目标纹理图；
步骤S212，利用所述目标纹理图对所述三维模型进行渲染，得到渲染之后的所述三维模型。
在本实施例中，可以通过RGB相机获取目标脸的多帧RGB图像。可选地，在本实施例中，可以在不同角度设置多个RGB相机，例如，以某个点为圆心，在目标脸的正面，左侧90度和右侧90分别设置一个RGB相机，进而通过该RGB相机采集目标脸在上述三个照射角度下的深度图像。
可选地，在本实施例中，还可以设置一个RGB相机，可以在一个RGB相机固定的情况下，通过目标脸不断向左或者向右转动头来实现多帧RGB图像的采集。
在得到多帧RGB图像之后，就可以对多帧RGB图像进行纹理拼合，得到目标纹理图。假设采集3张RGB图像，分别是在目标脸的正面，左侧90度和右侧90拍摄的RGB图像，对这3张RGB图像进行纹理拼合之后，得到如图5所示的目标纹理图。
在一个可选的实施方式中，步骤S210，对所述多帧RGB图像进行纹理拼合，得到目标纹理图包括如下步骤：
步骤S2101，在所述多帧RGB图像中确定所述三维模型中各个顶点的纹理特征；
步骤S2102，将所述三维模型进行UV展开处理，得到展开图，其中，所述展开图中包括多个二维坐标，且一个二维坐标对应所述三维模型中的一个顶点；
步骤S2103，确定所述展开图中各个二维坐标所对应的纹理特征，从而得到所述目标纹理图。
在本实施例中，构建的三维模型中包括多个顶点。三维模型上的每个顶点都能在多帧RGB图像中查找到对应的纹理特征。由于存在多个拍摄角度，因此，三维模型中部分顶点被映射到多个纹理特征。
之后，将三维模型进行UV展开处理，得到展开图。需要说明的是，在该展开图中，包括多个二维坐标，且一个二维坐标对应三维模型上的一个三维顶点。
基于此，在本实施例中，若能确定出展开图中各个二维坐标所对应的纹理特征，就能够得到三维模型中各个三维顶点所对应的纹理特征。
在本实施例中，可以通过以下方式在所述多帧RGB图像中确定所述三维模型中各个顶点的纹理特征：
首先，在所述多帧RGB图像中确定所述三维模型中各个顶点所对应的纹理特征，其中，一个顶点对应一个或多个纹理特征。
然后，按照各个顶点所对应的纹理特征的数量对所述各个顶点进行分类，得到第一分类组和第二分类组，其中，所述第一分类组中各个顶点对应一个纹理特征，所述第二分类组中各个顶点对应多个纹理特征。
接下来，将所述第一分类组中各个顶点所对应的纹理特征作为所述三维模型中与所述第一分类组中各个顶点相对应顶点的纹理特征。
最后，在所述第二分类组中各个顶点所对应的多个纹理特征中确定目标纹理特征，并将所述目标纹理特征作为所述三维模型中与所述第二分类组中各个顶点相对应顶点的纹理特征。
通过上述描述可知，三维模型中部分三维顶点被映射到多个纹理特征，三维模型中部分三维顶点被映射到一个纹理特征。基于此，在本实施例中，可以按照三维模型各个三维顶点所映射的纹理特征的数量对三维顶点进行分类。
例如，首先，需要在多帧RGB图像中确定三维模型中各个顶点所对应纹理特征的数量。然后，按照该数量将各个三维顶点划分成第一分类组和第二分类组，其中，第一分类组中各个三维顶点映射一个纹理特征，第二分类组中各个三维顶点映射多个纹理特征。
在划分得到第一分类组和第二分类组之后，就可以将第一分类组中各个三维顶点所映射纹理特征作为该三维顶点的纹理特征。同时，针对第二分类组中的每个三维顶点，都需要从其映射的多个纹理特征中选择一个纹理特征作为该三维顶点的纹理特征。
具体方式为：首先，计算所述第二分类组中顶点Ai相对于目标相机的法向偏移视角，其中，所述目标相机为用于拍摄目标RGB图像的相机，所述目标RGB图像为所述多帧RGB图像中顶点Ai所对应的多个纹理特征所属的RGB图像，i依次取1至I，I为所述第二分类组中顶点的数量；然后，将所述法向偏移视角中的法向偏移最小视角所对应的纹理特征作为所述顶点Ai的目标纹理特征。
通过上述描述可知，三维模型中包括多个顶点，且一个顶点对应所述目标纹理图中的一个或多个像素点。
基于此，利用所述目标纹理图对所述三维模型进行渲染，得到渲染之后的所述三维模型包括：
在所述目标纹理图中查找与各个顶点相对应的纹理特征；
将所述纹理特征投影至所述三维模型的各个顶点上得到渲染之后的所述三维模型。
具体地，在本实施例中，在对三维模型进行渲染时，需要对三维模型中的每个顶点去寻找其在纹理图中的投影色彩(或者纹理特征)。并将该纹理特征投影到该三维模型上。最终渲染出一个彩色的模型，如图4所示。
通过上述描述可知，在本实施例中，深度图中包括目标脸的三维空间信息，利用深度图构建目标脸的三维模型的方式，能够得到精度更高的三维模型，同时相对于基于RGB图像构建三维模型的方式，采用深度图构建的三维模型，能够提高三维模型的鲁棒性，进而缓解了现有的三维模型的构建方法构建的三维模型鲁棒性差且精度低的技术问题。
实施例3：
图6是根据本发明实施例的另一种脸部建模方法的流程图，如图6所示，该方法包括如下步骤：
获取多帧RGB图像，其中，所述多帧RGB图像为在不同照射角度下对所述目标脸拍摄得到的RGB图像。对所述多帧RGB图像进行纹理拼合，得到目标纹理图。获取多帧深度图像，其中，所述多帧深度图像为在不同照射角度下对目标脸拍摄得到的深度图像。对所述多帧深度图像进行深度图像对齐处理，得到目标点云图像。利用所述目标点云图像构建所述目标脸的三维模型。利用所述目标纹理图对所述三维模型进行渲染，得到渲染之后的所述三维模型。具体过程如上述所述，此处不再详细赘述。
实施例4：
本发明实施例还提供了一种脸部建模装置，该脸部建模装置主要用于执行本发明实施例上述内容所提供的脸部建模方法，以下对本发明实施例提供的脸部建模装置做具体介绍。
图7是根据本发明实施例的一种脸部建模装置的示意图，如图7所示，该脸部建模装置主要包括第一获取单元10，深度处理单元20和构建单元30，其中：
第一获取单元10，用于获取多帧深度图像，其中，所述多帧深度图像为深度摄像机在不同照射角度下对目标脸拍摄得到的深度图像；
深度处理单元20，用于对所述多帧深度图像进行深度图像对齐处理，得到目标点云图像，其中，所述目标点云图像中包括多个三维顶点，以及每个三维顶点的三维坐标和法向量；
构建单元30，用于利用所述目标点云图像构建所述目标脸的三维模型。
在本发明实施例中，首先，获取多帧深度图像，然后，对所述多帧深度图像进行深度图像对齐处理，得到目标点云图像；最后，利用目标点云图像构建目标脸的三维模型。在本实施例中，深度图中包括目标脸的三维空间信息，利用深度图构建目标脸的三维模型的方式，能够得到精度更高的三维模型，同时相对于基于RGB图像构建三维模型的方式，采用深度图构建的三维模型，能够提高三维模型的鲁棒性，进而缓解了现有的三维模型的构建方法构建的三维模型鲁棒性差且精度低的技术问题。
可选地，深度处理单元包括：图像转换模块，用于将每帧深度图像转换为3D点云图像，其中，所述3D点云图像包括点云中各个三维顶点的三维坐标和法向量；图像对齐处理模块，用于将各个所述3D点云图像中的三维顶点进行顶点对齐处理，得到所述目标点云图像。
可选地，图像对齐处理模块还用于：针对所述多帧深度图像中的第M张深度图像，将所述第M张深度图像的3D点云图像与预测点云图像进行点云匹配，并根据点云匹配结果确定所述深度摄像机拍摄所述第M张深度图像的位姿信息；基于所述位姿信息确定所述第M张深度图像的3D点云图像中各个顶点在现实空间中的位置信息；利用所述位置信息将所述第M张深度图像的3D点云图像融合至所述预测点云图像中；反复通过图像对齐处理模块执行上述步骤，直至将第N张深度图像的3D点云图像融合至前N-1张深度图像的3D点云图像进行对齐之后的预测点云图像中之后，得到所述目标点云图像；其中，N为所述深度图像的数量，M小于或者等于N，所述预测点云图像为前M-1张深度图像的3D点云图像进行对齐之后的点云图，所述第M张深度图像为所述深度摄像机对所述目标脸拍摄到的第M张深度图像。
可选地，若所述三维模型中包括多个三维顶点，且一个三维顶点对应所述目标点云图像中的一个顶点；构建单元，用于：在所述目标点云图像的顶点中确定与所述三维模型中各个三维顶点相对应的顶点；基于所述相对应的顶点的三维坐标和法向量在原始脸部模型中构建所述目标脸的三维模型。
可选地，该装置还包括：第二获取单元，用于获取多帧RGB图像，其中，所述多帧RGB图像为在不同照射角度下对所述目标脸拍摄得到的RGB图像；纹理拼合单元，用于对所述多帧RGB图像进行纹理拼合，得到目标纹理图；渲染单元，用于利用所述目标纹理图对所述三维模型进行渲染，得到渲染之后的所述三维模型。
可选地，纹理拼合单元用于：在所述多帧RGB图像中确定所述三维模型中各个顶点的纹理特征；将所述三维模型进行UV展开处理，得到展开图，其中，所述展开图中包括多个二维坐标，且一个二维坐标对应所述三维模型中的一个顶点；确定所述展开图中各个二维坐标所对应的纹理特征，从而得到所述目标纹理图。
可选地，纹理拼合单元还用于：在所述多帧RGB图像中确定所述三维模型中各个顶点所对应的纹理特征，其中，一个顶点对应一个或多个纹理特征；按照各个顶点所对应的纹理特征的数量对所述各个顶点进行分类，得到第一分类组和第二分类组，其中，所述第一分类组中各个顶点对应一个纹理特征，所述第二分类组中各个顶点对应多个纹理特征；将所述第一分类组中各个顶点所对应的纹理特征作为所述三维模型中与所述第一分类组中各个顶点相对应顶点的纹理特征；在所述第二分类组中各个顶点所对应的多个纹理特征中确定目标纹理特征，并将所述目标纹理特征作为所述三维模型中与所述第二分类组中各个顶点相对应顶点的纹理特征。
可选地，纹理拼合单元还用于：计算所述第二分类组中顶点Ai相对于目标相机的法向偏移视角，其中，所述目标相机为用于拍摄目标RGB图像的相机，所述目标RGB图像为所述多帧RGB图像中顶点Ai所对应的多个纹理特征所属的RGB图像，i依次取1至I，I为所述第二分类组中顶点的数量；将所述法向偏移视角中的法向偏移最小视角所对应的纹理特征作为所述顶点Ai的目标纹理特征。
可选地，所述三维模型中包括多个顶点，且一个顶点对应所述目标纹理图中的一个或多个像素点；渲染单元还用于：在所述目标纹理图中查找与各个顶点相对应的纹理特征；将所述纹理特征投影至所述三维模型的各个顶点上得到渲染之后的所述三维模型。
在本实施例中，还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述第一方面中任一项所述的方法。
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (12)

1.一种脸部建模方法，其特征在于，包括：
获取多帧深度图像，其中，所述多帧深度图像为深度摄像机在不同照射角度下对目标脸拍摄得到的深度图像；以及通过所述目标脸不断向左或者向右转动头来实现不同照射角度的确定；
根据深度摄像机拍摄每帧深度图像的位姿信息确定所述每帧深度图像的3D点云图像中各个顶点在现实空间中的位置信息；根据所述位置信息对所述多帧深度图像进行深度图像对齐处理，得到目标点云图像，其中，所述目标点云图像中包括多个三维顶点，以及每个三维顶点的三维坐标和法向量；所述对齐处理表示将深度图像的3D点云图像中除与其他深度图像的3D点云图像中重合的三维顶点之外的顶点映射在预测点云图像中，并利用预测点云图确定目标点云图；
利用所述目标点云图像构建所述目标脸的三维模型。
2.根据权利要求1所述的方法，其特征在于，根据深度摄像机拍摄每帧深度图像的位姿信息确定所述每帧深度图像的3D点云图像中各个顶点在现实空间中的位置信息；根据所述位置信息对所述多帧深度图像进行深度图像对齐处理，得到目标点云图像包括：
将每帧深度图像转换为3D点云图像，其中，所述3D点云图像包括点云中各个三维顶点的三维坐标和法向量；
根据深度摄像机拍摄每帧深度图像的位姿信息确定所述每帧深度图像的3D点云图像中各个顶点在现实空间中的位置信息；根据所述位置信息将各个所述3D点云图像中的三维顶点进行顶点对齐处理，得到所述目标点云图像。
3.根据权利要求2所述的方法，其特征在于，根据深度摄像机拍摄每帧深度图像的位姿信息确定所述每帧深度图像的3D点云图像中各个顶点在现实空间中的位置信息；根据所述位置信息将各帧深度图像的3D点云图像进行对齐处理，得到所述目标点云图像包括：
针对所述多帧深度图像中的第M张深度图像，将所述第M张深度图像的3D点云图像与预测点云图像进行点云匹配，并根据点云匹配结果确定所述深度摄像机拍摄所述第M张深度图像的位姿信息；
基于所述位姿信息确定所述第M张深度图像的3D点云图像中各个顶点在现实空间中的位置信息；
利用所述位置信息将所述第M张深度图像的3D点云图像融合至所述预测点云图像中；
反复执行上述步骤，直至将第N张深度图像的3D点云图像融合至前N-1张深度图像的3D点云图像进行对齐之后的预测点云图像中后，得到所述目标点云图像；
其中，N为所述深度图像的数量，M小于或者等于N，所述预测点云图像为前M-1张深度图像的3D点云图像进行对齐之后的点云图，所述第M张深度图像为所述深度摄像机对所述目标脸拍摄到的第M张深度图像。
4.根据权利要求1所述的方法，其特征在于，所述三维模型中包括多个三维顶点，且一个三维顶点对应所述目标点云图像中的一个顶点；
利用所述目标点云图像构建所述目标脸的三维模型包括：
在所述目标点云图像的顶点中确定与所述三维模型中各个三维顶点相对应的顶点；
基于所述相对应的顶点的三维坐标和法向量，在原始脸部模型中构建所述目标脸的三维模型。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取多帧RGB图像，其中，所述多帧RGB图像为在不同照射角度下对所述目标脸拍摄得到的RGB图像；
对所述多帧RGB图像进行纹理拼合，得到目标纹理图；
利用所述目标纹理图对所述三维模型进行渲染，得到渲染之后的所述三维模型。
6.根据权利要求5所述的方法，其特征在于，对所述多帧RGB图像进行纹理拼合，得到目标纹理图包括：
在所述多帧RGB图像中确定所述三维模型中各个顶点的纹理特征；
将所述三维模型进行UV展开处理，得到展开图，其中，所述展开图中包括多个二维坐标，且一个二维坐标对应所述三维模型中的一个顶点；
确定所述展开图中各个二维坐标所对应的纹理特征，从而得到所述目标纹理图。
7.根据权利要求6所述的方法，其特征在于，在所述多帧RGB图像中确定所述三维模型中各个顶点的纹理特征包括：
在所述多帧RGB图像中确定所述三维模型中各个顶点所对应的纹理特征，其中，一个顶点对应一个或多个纹理特征；
按照各个顶点所对应的纹理特征的数量对所述各个顶点进行分类，得到第一分类组和第二分类组，其中，所述第一分类组中各个顶点对应一个纹理特征，所述第二分类组中各个顶点对应多个纹理特征；
将所述第一分类组中各个顶点所对应的纹理特征作为所述三维模型中与所述第一分类组中各个顶点相对应顶点的纹理特征；
在所述第二分类组中各个顶点所对应的多个纹理特征中确定目标纹理特征，并将所述目标纹理特征作为所述三维模型中与所述第二分类组中各个顶点相对应顶点的纹理特征。
8.根据权利要求7所述的方法，其特征在于，在所述第二分类组中各个顶点所对应的多个纹理特征中确定目标纹理特征包括：
计算所述第二分类组中顶点Ai相对于目标相机的法向偏移视角，其中，所述目标相机为用于拍摄目标RGB图像的相机，所述目标RGB图像为所述多帧RGB图像中顶点Ai所对应的多个纹理特征所属的RGB图像，i依次取1至I，I为所述第二分类组中顶点的数量；
将所述法向偏移视角中的法向偏移最小视角所对应的纹理特征作为所述顶点Ai的目标纹理特征。
9.根据权利要求5所述的方法，其特征在于，所述三维模型中包括多个顶点，且一个顶点对应所述目标纹理图中的一个或多个像素点；利用所述目标纹理图对所述三维模型进行渲染，得到渲染之后的所述三维模型包括：
在所述目标纹理图中查找与各个顶点相对应的纹理特征；
将所述纹理特征投影至所述三维模型的各个顶点上得到渲染之后的所述三维模型。
10.一种脸部建模装置，其特征在于，包括：
第一获取单元，用于获取多帧深度图像，其中，所述多帧深度图像为深度摄像机在不同照射角度下对目标脸拍摄得到的深度图像；以及通过所述目标脸不断向左或者向右转动头来实现不同照射角度的确定；
深度处理单元，用于根据深度摄像机拍摄每帧深度图像的位姿信息确定所述每帧深度图像的3D点云图像中各个顶点在现实空间中的位置信息；根据所述位置信息对所述多帧深度图像进行深度图像对齐处理，得到目标点云图像，其中，所述目标点云图像中包括多个三维顶点，以及每个三维顶点的三维坐标和法向量；所述对齐处理表示将深度图像的3D点云图像中除与其他深度图像的3D点云图像中重合的三维顶点之外的顶点映射在预测点云图像中，并利用预测点云图确定目标点云图；
构建单元，用于利用所述目标点云图像构建所述目标脸的三维模型。
11.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至9中任一项所述的方法。
12.一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行上述权利要求1至9中任一项所述的方法。
CN201811124137.2A 2018-09-26 2018-09-26 一种脸部建模方法、装置、电子设备和计算机可读介质 Active CN109242961B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201811124137.2A CN109242961B (zh) 2018-09-26 2018-09-26 一种脸部建模方法、装置、电子设备和计算机可读介质
PCT/CN2019/100023 WO2020063139A1 (zh) 2018-09-26 2019-08-09 脸部建模方法、装置、电子设备和计算机可读介质
US17/267,723 US11625896B2 (en) 2018-09-26 2019-08-09 Face modeling method and apparatus, electronic device and computer-readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811124137.2A CN109242961B (zh) 2018-09-26 2018-09-26 一种脸部建模方法、装置、电子设备和计算机可读介质

Publications (2)

Publication Number Publication Date
CN109242961A CN109242961A (zh) 2019-01-18
CN109242961B true CN109242961B (zh) 2021-08-10

Family

ID=65056756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811124137.2A Active CN109242961B (zh) 2018-09-26 2018-09-26 一种脸部建模方法、装置、电子设备和计算机可读介质

Country Status (3)

Country Link
US (1) US11625896B2 (zh)
CN (1) CN109242961B (zh)
WO (1) WO2020063139A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109242961B (zh) 2018-09-26 2021-08-10 北京旷视科技有限公司 一种脸部建模方法、装置、电子设备和计算机可读介质
CN109949386A (zh) * 2019-03-07 2019-06-28 北京旷视科技有限公司 一种纹理图像生成方法及装置
JP7161111B2 (ja) * 2019-03-26 2022-10-26 日本電信電話株式会社 重みマスク生成装置、重みマスク生成方法及びプログラム
CN111063016A (zh) * 2019-12-31 2020-04-24 螳螂慧视科技有限公司 一种多深度镜头人脸建模方法、***、存储介质及终端
CN111199579B (zh) * 2020-01-02 2023-01-24 腾讯科技（深圳）有限公司 一种目标物的三维模型构建方法、装置、设备及介质
CN110895823B (zh) 2020-01-10 2020-06-05 腾讯科技（深圳）有限公司 一种三维模型的纹理获取方法、装置、设备及介质
CN111766606A (zh) * 2020-06-19 2020-10-13 Oppo广东移动通信有限公司 Tof深度图像的图像处理方法、装置、设备及存储介质
CN111768452B (zh) * 2020-06-30 2023-08-01 天津大学 一种基于深度学习的非接触式自动贴图方法
CN112562060A (zh) * 2020-11-24 2021-03-26 深兰科技（上海）有限公司 三维人脸建模方法、装置、电子设备及存储介质
CN113379893B (zh) * 2021-05-27 2022-02-11 杭州小肤科技有限公司 一种利用光学反射合成3d人脸模型的方法
CN113421292A (zh) * 2021-06-25 2021-09-21 北京华捷艾米科技有限公司 一种三维建模细节增强方法及装置
CN113793255A (zh) * 2021-09-09 2021-12-14 百度在线网络技术（北京）有限公司 用于图像处理的方法、装置、设备、存储介质和程序产品
CN113658313B (zh) * 2021-09-09 2024-05-17 北京达佳互联信息技术有限公司 人脸模型的渲染方法、装置及电子设备
CN113947657A (zh) * 2021-10-18 2022-01-18 网易（杭州）网络有限公司 目标模型的渲染方法、装置、设备及存储介质
US11995753B2 (en) * 2022-07-12 2024-05-28 Charter Communications Operating, Llc Generating an avatar using a virtual reality headset
CN116168163B (zh) * 2023-03-29 2023-11-17 湖北工业大学 三维模型构建方法、装置及存储介质
CN116778095B (zh) * 2023-08-22 2023-10-27 苏州海赛人工智能有限公司 一种基于人工智能的三维重建方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8433157B2 (en) 2006-05-04 2013-04-30 Thomson Licensing System and method for three-dimensional object reconstruction from two-dimensional images
US20100315424A1 (en) * 2009-06-15 2010-12-16 Tao Cai Computer graphic generation and display method and system
US8803950B2 (en) * 2009-08-24 2014-08-12 Samsung Electronics Co., Ltd. Three-dimensional face capturing apparatus and method and computer-readable medium thereof
CN101958008B (zh) * 2010-10-12 2012-04-25 上海交通大学 序列图像三维重建中的自动纹理映射方法
US9269187B2 (en) * 2013-03-20 2016-02-23 Siemens Product Lifecycle Management Software Inc. Image-based 3D panorama
US9807373B1 (en) * 2013-12-27 2017-10-31 Google Inc. Systems and devices for acquiring imagery and three-dimensional (3D) models of objects
US11195318B2 (en) * 2014-04-23 2021-12-07 University Of Southern California Rapid avatar capture and simulation using commodity depth sensors
CN104077808A (zh) * 2014-07-20 2014-10-01 詹曙 一种用于计算机图形图像处理的、基于深度信息的实时三维人脸建模方法
US9865072B2 (en) * 2015-07-23 2018-01-09 Disney Enterprises, Inc. Real-time high-quality facial performance capture
US10796480B2 (en) * 2015-08-14 2020-10-06 Metail Limited Methods of generating personalized 3D head models or 3D body models
US10360718B2 (en) * 2015-08-14 2019-07-23 Samsung Electronics Co., Ltd. Method and apparatus for constructing three dimensional model of object
US10573018B2 (en) * 2016-07-13 2020-02-25 Intel Corporation Three dimensional scene reconstruction based on contextual analysis
CN106327571B (zh) * 2016-08-23 2019-11-05 北京的卢深视科技有限公司 一种三维人脸建模方法及装置
CN106570822B (zh) * 2016-10-25 2020-10-16 宇龙计算机通信科技(深圳)有限公司 一种人脸贴图方法及装置
CN106709947B (zh) * 2016-12-20 2020-06-19 西安交通大学 一种基于rgbd相机的三维人体快速建模***
CN106803267B (zh) * 2017-01-10 2020-04-14 西安电子科技大学 基于Kinect的室内场景三维重建方法
CN108876926B (zh) * 2017-05-11 2021-08-10 京东方科技集团股份有限公司 一种全景场景中的导航方法及***、ar/vr客户端设备
EP3644277B1 (en) * 2017-08-14 2024-02-14 Rakuten Group, Inc. Image processing system, image processing method, and program
CN107945267B (zh) * 2017-12-13 2021-02-26 四川川大智胜软件股份有限公司 一种用于人脸三维模型纹理融合的方法和设备
CN109242961B (zh) * 2018-09-26 2021-08-10 北京旷视科技有限公司 一种脸部建模方法、装置、电子设备和计算机可读介质

Also Published As

Publication number Publication date
US20210319621A1 (en) 2021-10-14
WO2020063139A1 (zh) 2020-04-02
US11625896B2 (en) 2023-04-11
CN109242961A (zh) 2019-01-18

Similar Documents

Publication Publication Date Title
CN109242961B (zh) 一种脸部建模方法、装置、电子设备和计算机可读介质
CN108898567B (zh) 图像降噪方法、装置及***
CN107993216B (zh) 一种图像融合方法及其设备、存储介质、终端
CN109658365B (zh) 图像处理方法、装置、***和存储介质
CN109887003B (zh) 一种用于进行三维跟踪初始化的方法与设备
KR101121034B1 (ko) 복수의 이미지들로부터 카메라 파라미터를 얻기 위한 시스템과 방법 및 이들의 컴퓨터 프로그램 제품
US20130335535A1 (en) Digital 3d camera using periodic illumination
CN114245905A (zh) 深度感知照片编辑
CN111242908B (zh) 一种平面检测方法及装置、平面跟踪方法及装置
KR20180111798A (ko) 파노라마 프레임 생성 프로세스에서 프레임의 적응적 스티칭
CN107944420B (zh) 人脸图像的光照处理方法和装置
CN110324532B (zh) 一种图像虚化方法、装置、存储介质及电子设备
US10545215B2 (en) 4D camera tracking and optical stabilization
JP2016537901A (ja) ライトフィールド処理方法
US10438405B2 (en) Detection of planar surfaces for use in scene modeling of a captured scene
CN113643414B (zh) 一种三维图像生成方法、装置、电子设备及存储介质
CN115439607A (zh) 一种三维重建方法、装置、电子设备及存储介质
WO2022160857A1 (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
CN115035235A (zh) 三维重建方法及装置
CN109661815A (zh) 存在相机阵列的显著强度变化的情况下的鲁棒视差估计
CN109785429B (zh) 一种三维重建的方法和装置
CN112529006B (zh) 全景图片的检测方法、装置、终端及存储介质
CN113706692B (zh) 三维图像重构方法、装置、电子设备以及存储介质
CN114066731A (zh) 生成全景图的方法、装置、电子设备及存储介质
JP2014164497A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant