CN109191505A - 静态生成人脸三维模型的方法、装置、电子设备 - Google Patents
静态生成人脸三维模型的方法、装置、电子设备 Download PDFInfo
- Publication number
- CN109191505A CN109191505A CN201810877942.6A CN201810877942A CN109191505A CN 109191505 A CN109191505 A CN 109191505A CN 201810877942 A CN201810877942 A CN 201810877942A CN 109191505 A CN109191505 A CN 109191505A
- Authority
- CN
- China
- Prior art keywords
- facial image
- human face
- coordinate
- mapping relations
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开公开一种静态生成人脸三维模型的方法、装置、电子设备及计算机存储介质。其中,该静态生成人脸三维模型的方法包括获取三维模型;从图像传感器中获取人脸图像;根据三维模型的坐标系和人脸图像的坐标系,生成映射关系;根据所述映射关系,将人脸图像中的图像信息映射到三维模型上,生成人脸三维模型。本公开实施例通过采取该技术方案,可以基于映射关系将人脸图像中的图像信息映射到三维模型上,进而生成人脸三维模型,由此可以解决如何兼顾运算成本和模型真实度的技术问题。
Description
技术领域
本公开涉及一种图像处理和计算机视觉领域,特别是涉及一种静态生成人脸三维模型的方法、装置及计算机可读存储介质。
背景技术
随着计算机视觉技术的发展以及人们在图像处理领域的需求,人脸建模技术得到广泛的关注。
从视觉角度来讲,人脸建模的最基本评价就是真实感,而从运算角度来讲,一项人脸建模方法的优劣又必须考虑其运算量的大小。现有的一种人脸建模方法,通过对人脸图像进行切割然后将图像贴合到通用模型上生成人脸三维模型。这种方法虽然处理速度较快,但是,无法针对不同人脸生成反映个体特征的三维模型,真实度较低。现有的另一种人脸建模方法,为了提高三维模型的真实性,基于数量繁多的特征点进行人脸图像与模型的匹配,这无疑增加了数据运算量,提高技术应用成本。
对此,在人脸建模领域,如何以较低的运算成本保证较高的真实度,也就成为业界一直讨论与研究的问题。
发明内容
本公开解决的技术问题是提供一种静态生成人脸三维模型的方法,以至少部分地解决如何兼顾运算量和真实度的技术问题。此外,还提供一种静态生成人脸三维模型的装置、电子设备和计算机可读存储介质。
为了实现上述目的,根据本公开的一个方面,提供以下技术方案:
一种静态生成人脸三维模型的方法,包括:
获取三维模型;
从图像传感器中获取人脸图像;
根据三维模型的坐标系和人脸图像的坐标系,生成映射关系;
根据所述映射关系,将人脸图像中的图像信息映射到三维模型上,生成人脸三维模型。
进一步地,所述根据三维模型的坐标系和人脸图像的坐标系,生成映射关系,包括:
将所述三维模型的坐标系的原点与人脸图像的坐标系的原点对齐,生成映射关系。
进一步地,所述根据所述映射关系,将人脸图像中的图像信息映射到三维模型上,生成人脸三维模型,包括:
获取三维模型中的像素的第一坐标,将所述第一坐标输入所述映射关系中,得到该像素在人脸图像中对应的第二坐标,将该第二坐标的像素的图像信息加入到所述第一坐标的像素中。
进一步地,所述根据三维模型的坐标系和人脸图像的坐标系,生成映射关系,包括:
将三维模型的上的1个坐标对应到人脸图像中的n个坐标上,生成映射关系,其中n为大于1的正整数。
进一步地,所述根据所述映射关系,将人脸图像中的图像信息映射到三维模型上,生成人脸三维模型,包括:
获取三维模型中的像素的第三坐标,将所述第三坐标输入所述映射关系中,得到第三坐标上的像素在人脸图像中对应的n个第二坐标,将所述n个第二坐标上的像素的图像信息做预设计算得到计算值,将该计算值加入所述第三坐标的像素中。其中,所述预设计算可以为求平均值。
进一步地,在所述从图像传感器中获取人脸图像之后,还包括:
在三维模型上选取参考点,所述参考点为三维模型上的标准特征点,所述人脸图像上有与所述参考点对应的人脸图像特征点。
进一步地,所述根据三维模型的坐标系和人脸图像的坐标系,生成映射关系,包括:
根据三维模型的坐标系、人脸图像的坐标系以及参考点,生成映射关系。
进一步地,在所述获取三维模型之后,还包括:
选择三维模型中的部分区域;
所述根据三维模型的坐标系和人脸图像的坐标系,生成映射关系,包括:
根据所述三维模型的部分区域的坐标系和人脸图像的坐标系,生成映射关系。
为了实现上述目的,根据本公开的另一个方面,还提供以下技术方案:
一种静态生成人脸三维模型的装置,包括:
三维模型获取模块,用于获取三维模型;
人脸图像获取模块,用于从图像传感器中获取人脸图像;
映射关系生成模块,用于根据三维模型的坐标系和人脸图像的坐标系,生成映射关系;
人脸三维模型生成模块,用于根据所述映射关系,将人脸图像中的图像信息映射到三维模型上,生成人脸三维模型。
进一步地,所述映射关系生成模块具体用于将所述三维模型的坐标系的原点与人脸图像的坐标系的原点对齐,生成映射关系。
进一步地,所述人脸三维模型生成模块具体用于获取三维模型中的像素的第一坐标,将所述第一坐标输入所述映射关系中,得到该像素在人脸图像中对应的第二坐标,将该第二坐标的像素的图像信息加入到所述第一坐标的像素中。
进一步地,所述映射关系生成模块具体用于将三维模型的上的1个坐标对应到人脸图像中的n个坐标上,生成映射关系。进一步地,所述人脸三维模型生成模块具体用于获取三维模型中的像素的第三坐标,将所述第三坐标输入所述映射关系中,得到第三坐标上的像素在人脸图像中对应的n个第二坐标,将所述n个第二坐标上的像素的图像信息做预设计算得到计算值,将该计算值加入所述第三坐标的像素中。进一步地,所述预设计算为求平均值。
进一步地,在所述从图像传感器中获取人脸图像之后,所述装置还执行以下处理:在三维模型上选取参考点,所述参考点为三维模型上的标准特征点,所述人脸图像上有与所述参考点对应的人脸图像特征点。
进一步地,所述映射关系生成模块具体用于根据三维模型的坐标系、人脸图像的坐标系以及参考点,生成映射关系。
进一步地,在所述获取三维模型之后,所述装置还执行以下处理:选择三维模型中的部分区域;所述映射关系生成模块具体用于根据所述三维模型的部分区域的坐标系和人脸图像的坐标系,生成映射关系。
为了实现上述目的,根据本公开的又一个方面,还提供以下技术方案:
一种电子设备,包括:
存储器,用于存储非暂时性计算机可读指令;以及
处理器,用于运行所述计算机可读指令,使得所述处理器执行时实现上述任一静态生成人脸三维模型的方法技术方案中所述的步骤。
为了实现上述目的,根据本公开的又一个方面,还提供以下技术方案:
一种计算机可读存储介质,用于存储非暂时性计算机可读指令,当所述非暂时性计算机可读指令由计算机执行时,使得所述计算机执行上述任一静态生成人脸三维模型的方法技术方案中所述的步骤。
为了实现上述目的,根据本公开的又一个方面,还提供以下技术方案:
本公开实施例提供一种静态生成人脸三维模型的方法、静态生成人脸三维模型的装置、电子设备、计算机可读存储介质。其中,该静态生成人脸三维模型的方法包括:获取三维模型;获取人脸图像,识别与所述标准人脸特征点对应的第一特征点;根据所述第一特征点静态生成网格,所述网格的顶点为所述第一特征点;获取所述第一特征点的深度信息;根据所述网格以及所述深度信息,将人脸图像贴合到三维模型上,生成人脸三维模型。本公开实施例通过采取该技术方案,可以基于网格和深度信息将人脸图像贴合到三维模型上,从而生成人脸三维模型,提高了三维模型的真实度。
上述说明仅是本公开技术方案的概述,为了能更清楚了解本公开的技术手段,而可依照说明书的内容予以实施,并且为让本公开的上述和其他目的、特征和优点能够更明显易懂,以下特举较佳实施例,并配合附图,详细说明如下。
附图说明
图1为根据本公开一个实施例的静态生成人脸三维模型的方法的流程示意图;
图2a为根据本公开一个实施例的生成人脸三维模型的方法的流程示意图;
图2b为根据本公开另一个实施例的生成人脸三维模型的方法的流程示意图;
图3为根据本公开另一个实施例的静态生成人脸三维模型的方法的流程示意图;
图4为根据本公开一个实施例的静态生成人脸三维模型的装置的结构示意图;
图5为根据本公开一个实施例的用于静态生成人脸三维模型的电子设备的结构示意图;
图6为根据本公开一个实施例的计算机可读存储介质的结构示意图;
图7为根据本公开一个实施例的人脸建模终端的结构示意图。
具体实施方式
以下通过特定的具体实例说明本公开的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本公开的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
需要说明的是,下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见,本文中所描述的方面可体现于广泛多种形式中,且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开,所属领域的技术人员应了解,本文中所描述的一个方面可与任何其它方面独立地实施,且可以各种方式组合这些方面中的两者或两者以上。举例来说,可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外,可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
还需要说明的是,以下实施例中所提供的图示仅以示意方式说明本公开的基本构想,图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
另外,在以下描述中,提供具体细节是为了便于透彻理解实例。然而,所属领域的技术人员将理解,可在没有这些特定细节的情况下实践所述方面。
为了解决如何以较低运算量实现人脸三维模型的较高真实度的技术问题,本公开实施例提供一种静态生成人脸三维模型的方法。如图1所示,该静态生成人脸三维模型的方法主要包括如下步骤S1至步骤S4。其中:
步骤S1:获取三维模型。
其中,所述三维模型为人形模型,三维模型中包括人脸模型。该模型中无需包括其他图像信息,仅仅是一个面部轮廓模型即可。当然,即使包含有图像信息,也可以通过后续的图像映射而覆盖掉。
步骤S2:从图像传感器中获取人脸图像。
其中,所述人脸图像可以是用户的自拍图像、监控图像等。
步骤S3:根据三维模型的坐标系和人脸图像的坐标系,生成映射关系。
其中,三维模型本身处于一个坐标系中,人脸图像也处在一个坐标系中。通过步骤S3,将这两个坐标系做映射,从而将二者关联起来。在一种应用中,两个坐标系中的坐标一一映射,例如,三维模型的坐标系原点(0,0)与人脸图像的坐标系原点(0,0)对应,依此类推,形成一个映射关系。当然,映射关系也可以是其它关系,比如人脸图像上的一个点对应三维模型上的两个点,比如选取人脸图像上的两个点中较亮的点并将其信息映射到三维模型中对应的两个点上。一般来说,像素和坐标点可以是对应的,也即是说一个坐标点对应一个像素点,坐标系可以根据分辨率来建立,这样像素点和坐标点一一对应。
步骤S4:根据所述映射关系,将人脸图像中的图像信息映射到三维模型上,生成人脸三维模型。
采用本公开技术方案,基于坐标系生成三维模型与人脸图像的坐标映射关系,并基于该映射关系将人脸图像中的图像信息映射到三维模型上,能够以相对较低的运算量得到具有较高真实度的人脸三维模型,兼具了应用成本以及建模效果。其中,图像信息可以包括纹理信息、颜色信息、深度信息等。
下面以具体实施例对图1所示相关步骤进行详细说明,这些说明意在举例以使技术方案更容易理解。
在一个可选的实施例中,采用以下方法建立三维模型和人脸图像的坐标映射关系(即,实现步骤S3):将所述三维模型的坐标系的原点与人脸图像的坐标系的原点对齐,生成映射关系。采用这种方式,只要坐标相同就确定坐标相对应,能够快速建立映射关系。
在一个可选的实施例中,如图2a所示,采用以下步骤生成人脸三维模型(即,实现步骤S4):
S41a:获取三维模型中的像素的第一坐标。
S42a:将所述第一坐标输入所述映射关系中,得到该像素在人脸图像中对应的第二坐标。
S43a:将该第二坐标的像素的图像信息加入到所述第一坐标的像素中。
其中,第二坐标的像素的图像信息可以通过查表获得。包括纹理信息、颜色信息、深度信息等在内,均可以建立相应的表格。例如,在获取人脸图像的时候建立相应的表格。
采用本实施例,通过将三维模型上的像素的坐标代入映射关系得到其在人脸图像上的对应坐标,然后将后者的图像信息加入到前者的像素中,能够快速生成人脸三维模型。
在一个可选的实施例中,采用以下方式生成坐标映射关系(即,实现步骤S3):将三维模型上的1个坐标对应到人脸图像中的n(n为大于1的正整数,例如,2、3、4、5、6)个坐标上,生成映射关系。
在该实施例中,参照图2b,采用以下步骤生成人脸三维模型:
S41b:获取三维模型中的像素的第三坐标。
S42b:将所述第三坐标输入所述映射关系中,得到第三坐标上的像素在人脸图像中对应的n个第二坐标。
S43b:将所述n个第二坐标上的像素的图像信息做预设计算(例如,平均值)得到计算值。
S44b:将所述计算值加入所述第三坐标的像素中。
通过步骤S43b和S44b可知,采用本实施例,第三坐标的像素点的信息是由人脸图像上的n个像素点的值共同决定的,经过一个预设的计算逻辑而得到,例如,求绝对平均值或者高斯模糊值等。采用该实施例,能够综合图像的局部特征进行映射。
在该实施例中,以求高斯模糊值为例,假设第三坐标上的像素在人脸图像中对应9个第二坐标,首先根据二维高斯函数计算9个点的权重,得到权重矩阵并对权重进行归一化;然后根据每个点的像素值及其权重进行加权计算,累加得到的值即高斯模糊值。
在一个可选的实施例中,在从图像传感器获取人脸图像后,在三维模型上选取参考点,所述参考点为三维模型上的标准特征点,所述人脸图像上有与所述参考点对应的人脸图像特征点。采用该实施例,有利于实现跟踪功能。下面进行具体说明。
在设置有参考点的情况下,例如,在三维模型上选取了参考点的情况下,可以采用以下方式生成映射关系:根据三维模型的坐标系、人脸图像的坐标系以及参考点,生成映射关系。
其中,三维模型上的标准特征点可以是预先确定的,例如,基于人脸识别技术确定。整体来讲,人脸识别技术大致可以归结为如下几类:基于几何特征的方法、基于模板的方法和基于模型的方法。其中,基于几何特征的方法通常需要和其他算法结合才能有比较好的效果;基于模板的方法可以分为基于相关匹配的方法、特征脸方法、线性判别分析方法、奇异值分解方法、神经网络方法、动态连接匹配方法等;基于模型的方法则有基于隐马尔柯夫模型、主动形状模型和主动外观模型的方法等。本领域技术人员在建立所述人形模型时,可以考虑这些方法、这些方法的改进、或者这些方法与其他方法的结合。本公开技术方案并不限制所述三维模型具体如何建立。
在该实施例中,由于映射关系与参考点关联,从而能实现跟踪功能。比如,在三维模型上选取两个特征点为参考点,计算其上的像素点和两个参考点的相互关系,在人脸图像,对应的参考点的坐标是已知的,使用前述的相互关系可以计算出像素点在人脸图像上的对应点,以此获取像素点的值。这样,由于记录的是相互关系,所以当人脸图像发生一定的扭曲时,可以使用扭曲之后的像素点的值代入三维模型,从而实现一定的跟踪功能。
在一个可选的实施例中,如图3所示,静态生成人脸三维模型的方法包括:
S1:获取三维模型。
S1’:选择三维模型中的部分区域。
S2:从图像传感器中获取人脸图像。
S3’:根据所述三维模型的部分区域的坐标系和人脸图像的坐标系,生成映射关系。
S4’:根据所述映射关系,将人脸图像中的部分图像信息映射到三维模型上,生成人脸三维模型。
采用该实施例,能够支持以及实现部分图像映射。例如,用户可以只映射眼睛部分到三维模型上。在一种应用中,可以采用框选的方式在人脸图像上选择需要进行映射的区域(例如,多边形区域)。在另一种应用中,在三维模型和人脸图像上都识别出相同的特征点,且特征点具有部位属性,例如,属于眼睛、鼻子或者嘴巴的特征点。这样,当通过从部位列表中选取从而指定、或者通过选取特征点进而根据该特征点的部位指定需要的映射部位时,可以选择性地映射所需要的部位。当然,选取方式不限于以上列举,本领域技术人员可以根据实际应用场景、用户需求等方面灵活设置选取方式。
根据前文描述可知,本公开通过采取上述技术方案,通过建立三维模型与人脸图像的坐标映射关系,并根据该坐标映射关系将人脸图像中的图像信息映射到三维模型上,从而生成人脸三维模型,能够以较低的运算量实现不错的真实度,在节省运算资源的同时提高视觉效果。
本领域技术人员应能理解,在上述获得较高真实度的实施例的基础上,还可以进行明显变型或等同替换,例如,对于本领域技术人员而言,三维模型以及人脸模型的坐标系的选取、坐标映射关系等均存在不同的具体实现,并且在本申请公开的技术方案及其技术构思下,这些变换均在其保护范围之内。
本公开实施例在具体实施时,在上述实施例的基础上,还可以增加相应的步骤。例如,根据生成的人脸三维模型进行上传、评价(例如,用户对于真实度打分,或者,与已知的用户人脸三维模型进行比对)等处理,对三维模型进行人脸识别确定标准特征点以便于选取参考点等。
下面为本公开装置实施例,本公开装置实施例可用于执行本公开方法实施例实现的步骤,为了便于说明,仅示出了与本公开实施例相关的部分,具体技术细节未揭示的,请参照本公开方法实施例。
为了解决如何以较低运算量实现人脸三维模型的较高真实度的技术问题,本公开实施例提供一种静态生成人脸三维模型的装置。参照图4,所述静态生成人脸三维模型的装置包括三维模型获取模块41、人脸图像获取模块42、映射关系生成模块43和人脸三维模型生成模块44。下面进行详细说明。
在本实施例中,三维模型获取模块41用于获取三维模型。
在本实施例中,人脸图像获取模块42用于从图像传感器中获取人脸图像。
在本实施例中,映射关系生成模块43用于根据三维模型的坐标系和人脸图像的坐标系,生成映射关系。
在本实施例中,人脸三维模型生成模块44用于根据所述映射关系,将人脸图像中的图像信息映射到三维模型上,生成人脸三维模型。
在一种可选实施例中,所述映射关系生成模块43具体用于将所述三维模型的坐标系的原点与人脸图像的坐标系的原点对齐,生成映射关系。
在一种可选实施例中,所述人脸三维模型生成模块44具体用于获取三维模型中的像素的第一坐标,将所述第一坐标输入所述映射关系中,得到该像素在人脸图像中对应的第二坐标,将该第二坐标的像素的图像信息加入到所述第一坐标的像素中。
在一种可选实施例中,所述映射关系生成模块43具体用于将三维模型的上的1个坐标对应到人脸图像中的n个坐标上,生成映射关系。进一步地,所述人脸三维模型生成模块44具体用于获取三维模型中的像素的第三坐标,将所述第三坐标输入所述映射关系中,得到第三坐标上的像素在人脸图像中对应的n个第二坐标,将所述n个第二坐标上的像素的图像信息做预设计算得到计算值,将该计算值加入所述第三坐标的像素中。进一步地,所述预设计算为求平均值。
在一种可选实施例中,在所述从图像传感器中获取人脸图像之后,所述静态生成人脸三维模型的装置还执行以下处理:在三维模型上选取参考点,所述参考点为三维模型上的标准特征点,所述人脸图像上有与所述参考点对应的人脸图像特征点。
在一种可选实施例中,所述映射关系生成模块43具体用于根据三维模型的坐标系、人脸图像的坐标系以及参考点,生成映射关系。
在一种可选实施例中,在所述获取三维模型之后,所述静态生成人脸三维模型的装置还执行以下处理:选择三维模型中的部分区域;所述映射关系生成模块43具体用于根据所述三维模型的部分区域的坐标系和人脸图像的坐标系,生成映射关系。
有关静态生成人脸三维模型的工作原理、实现的技术效果等详细说明可以参考前述静态生成人脸三维模型的方法实施例中的相关说明,在此不再赘述。
图5是图示根据本公开的实施例的用于静态生成人脸三维模型的电子设备的硬件框图。如图5所示,根据本公开实施例的用于静态生成人脸三维模型的电子设备50包括存储器51和处理器52。
该存储器51用于存储非暂时性计算机可读指令。具体地,存储器51可以包括一个或多个计算机程序产品,该计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。该易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。该非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。
该处理器52可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元,并且可以控制静态生成人脸三维模型的装置50中的其它组件以执行期望的功能。在本公开的一个实施例中,该处理器52用于运行该存储器51中存储的该计算机可读指令,使得该静态生成人脸三维模型的硬件装置50执行前述的本公开各实施例的静态生成人脸三维模型的方法的全部或部分步骤。
本领域技术人员应能理解,为了解决如何获得良好用户体验效果的技术问题,本实施例中也可以包括诸如通信总线、接口等公知的结构,这些公知的结构也应包含在本公开的保护范围之内。
有关本实施例的详细说明可以参考前述各实施例中的相应说明,在此不再赘述。
图6是图示根据本公开的实施例的计算机可读存储介质的示意图。如图6所示,根据本公开实施例的计算机可读存储介质60,其上存储有非暂时性计算机可读指令61。当该非暂时性计算机可读指令61由处理器运行时,执行前述的本公开各实施例的静态生成人脸三维模型的方法的全部或部分步骤。
上述计算机可读存储介质60包括但不限于:光存储介质(例如:CD-ROM和DVD)、磁光存储介质(例如:MO)、磁存储介质(例如:磁带或移动硬盘)、具有内置的可重写非易失性存储器的媒体(例如:存储卡)和具有内置ROM的媒体(例如:ROM盒)。
有关本实施例的详细说明可以参考前述各实施例中的相应说明,在此不再赘述。
图7是图示根据本公开实施例的终端设备的硬件结构示意图。如图7所示,该用于静态生成人脸三维模型的人脸建模终端70包括上述静态生成人脸三维模型的装置实施例。
该人脸建模终端设备可以以各种形式来实施,本公开中的终端设备可以包括但不限于诸如移动电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置、车载终端设备、车载显示终端、车载电子后视镜等等的移动终端设备以及诸如数字TV、台式计算机等等的固定终端设备。
作为等同替换的实施方式,该终端还可以包括其他组件。如图7所示,该人脸建模终端70可以包括电源单元71、无线通信单元72、A/V(音频/视频)输入单元73、用户输入单元74、感测单元75、接口单元76、控制器77、输出单元78和存储器79等等。图7示出了具有各种组件的终端,但是应理解的是,并不要求实施所有示出的组件,也可以替代地实施更多或更少的组件。
其中,无线通信单元72允许终端70与无线通信***或网络之间的无线电通信。A/V输入单元73用于接收音频或视频信号。用户输入单元74可以根据用户输入的命令生成键输入数据以控制终端设备的各种操作。感测单元75检测终端70的当前状态、终端70的位置、用户对于终端70的触摸输入的有无、终端70的取向、终端70的加速或减速移动和方向等等,并且生成用于控制终端70的操作的命令或信号。接口单元76用作至少一个外部装置与终端70连接可以通过的接口。输出单元78被构造为以视觉、音频和/或触觉方式提供输出信号。存储器79可以存储由控制器77执行的处理和控制操作的软件程序等等,或者可以暂时地存储己经输出或将要输出的数据。存储器79可以包括至少一种类型的存储介质。而且,终端70可以与通过网络连接执行存储器79的存储功能的网络存储装置协作。控制器77通常控制终端设备的总体操作。另外,控制器77可以包括用于再现或回放多媒体数据的多媒体模块。控制器77可以执行模式识别处理,以将在触摸屏上执行的手写输入或者图片绘制输入识别为字符或图像。电源单元71在控制器77的控制下接收外部电力或内部电力并且提供操作各元件和组件所需的适当的电力。
本公开提出的静态生成人脸三维模型的方法的各种实施方式可以以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施,本公开提出的静态生成人脸三维模型的方法的各种实施方式可以通过使用特定用途集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施,在一些情况下,本公开提出的静态生成人脸三维模型的的方法的各种实施方式可以在控制器77中实施。对于软件实施,本公开提出的静态生成人脸三维模型的方法的各种实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施,软件代码可以存储在存储器79中并且由控制器77执行。
有关本实施例的详细说明可以参考前述各实施例中的相应说明,在此不再赘述。
以上结合具体实施例描述了本公开的基本原理,但是,需要指出的是,在本公开中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本公开为必须采用上述具体的细节来实现。
本公开中涉及的器件、装置、设备、***的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、***。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
另外,如在此使用的,在以“至少一个”开始的项的列举中使用的“或”指示分离的列举,以便例如“A、B或C的至少一个”的列举意味着A或B或C,或AB或AC或BC,或ABC(即A和B和C)。此外,措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。
还需要指出的是,在本公开的***和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外,本公开的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而,所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此,本公开不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (11)
1.一种静态生成人脸三维模型的方法,其特征在于,包括:
获取三维模型;
从图像传感器中获取人脸图像;
根据三维模型的坐标系和人脸图像的坐标系,生成映射关系;
根据所述映射关系,将人脸图像中的图像信息映射到三维模型上,生成人脸三维模型。
2.根据权利要求1所述的静态生成人脸三维模型的方法,其特征在于,所述根据三维模型的坐标系和人脸图像的坐标系,生成映射关系,包括:
将所述三维模型的坐标系的原点与人脸图像的坐标系的原点对齐,生成映射关系。
3.根据权利要求1所述的静态生成人脸三维模型的方法,其特征在于,所述根据所述映射关系,将人脸图像中的图像信息映射到三维模型上,生成人脸三维模型,包括:
获取三维模型中的像素的第一坐标,将所述第一坐标输入所述映射关系中,得到该像素在人脸图像中对应的第二坐标,将该第二坐标的像素的图像信息加入到所述第一坐标的像素中。
4.根据权利要求1所述的静态生成人脸三维模型的方法,其特征在于,所述根据三维模型的坐标系和人脸图像的坐标系,生成映射关系,包括:
将三维模型的上的1个坐标对应到人脸图像中的n个坐标上,生成映射关系,其中n为大于1的正整数。
5.根据权利要求4所述的静态生成人脸三维模型的方法,其特征在于,所述根据所述映射关系,将人脸图像中的图像信息映射到三维模型上,生成人脸三维模型,包括:
获取三维模型中的像素的第三坐标,将所述第三坐标输入所述映射关系中,得到第三坐标上的像素在人脸图像中对应的n个第二坐标,将所述n个第二坐标上的像素的图像信息做预设计算得到计算值,将该计算值加入所述第三坐标的像素中。
6.根据权利要求1所述的静态生成人脸三维模型的方法,其特征在于,在所述从图像传感器中获取人脸图像之后,还包括:
在三维模型上选取参考点,所述参考点为三维模型上的标准特征点,所述人脸图像上有与所述参考点对应的人脸图像特征点。
7.根据权利要求1所述的静态生成人脸三维模型的方法,其特征在于,所述根据三维模型的坐标系和人脸图像的坐标系,生成映射关系,包括:
根据三维模型的坐标系、人脸图像的坐标系以及参考点,生成映射关系。
8.根据权利要求1所述的静态生成人脸三维模型的方法,其特征在于,在所述获取三维模型之后,还包括:
选择三维模型中的部分区域;
所述根据三维模型的坐标系和人脸图像的坐标系,生成映射关系,包括:
根据所述三维模型的部分区域的坐标系和人脸图像的坐标系,生成映射关系。
9.一种静态生成人脸三维模型的装置,其特征在于,包括:
三维模型获取模块,用于获取三维模型;
人脸图像获取模块,用于从图像传感器中获取人脸图像;
映射关系生成模块,用于根据三维模型的坐标系和人脸图像的坐标系,生成映射关系;
人脸三维模型生成模块,用于根据所述映射关系,将人脸图像中的图像信息映射到三维模型上,生成人脸三维模型。
10.一种电子设备,包括:
存储器,用于存储非暂时性计算机可读指令;以及
处理器,用于运行所述计算机可读指令,使得所述处理器执行时实现根据权利要求1-9中任意一项所述的基于人脸的形变图像生成方法。
11.一种计算机可读存储介质,用于存储非暂时性计算机可读指令,当所述非暂时性计算机可读指令由计算机执行时,使得所述计算机执行权利要求1-9中任意一项所述的静态生成人脸三维模型的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810877942.6A CN109191505A (zh) | 2018-08-03 | 2018-08-03 | 静态生成人脸三维模型的方法、装置、电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810877942.6A CN109191505A (zh) | 2018-08-03 | 2018-08-03 | 静态生成人脸三维模型的方法、装置、电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109191505A true CN109191505A (zh) | 2019-01-11 |
Family
ID=64920080
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810877942.6A Pending CN109191505A (zh) | 2018-08-03 | 2018-08-03 | 静态生成人脸三维模型的方法、装置、电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109191505A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109857311A (zh) * | 2019-02-14 | 2019-06-07 | 北京达佳互联信息技术有限公司 | 生成人脸三维模型的方法、装置、终端及存储介质 |
CN109949212A (zh) * | 2019-03-13 | 2019-06-28 | 北京达佳互联信息技术有限公司 | 图像映射方法、装置、电子设备及存储介质 |
CN110084883A (zh) * | 2019-04-15 | 2019-08-02 | 昆明理工大学 | 一种诱发大脑活动重建面部图像的方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1889129A (zh) * | 2006-07-20 | 2007-01-03 | 北京中星微电子有限公司 | 基于单张相片的快速人脸建模方法及*** |
CN101452582A (zh) * | 2008-12-18 | 2009-06-10 | 北京中星微电子有限公司 | 一种实现三维视频特效的方法和装置 |
JP2013097588A (ja) * | 2011-11-01 | 2013-05-20 | Dainippon Printing Co Ltd | 三次元ポートレートの作成装置 |
CN104376594A (zh) * | 2014-11-25 | 2015-02-25 | 福建天晴数码有限公司 | 三维人脸建模方法和装置 |
CN106164979A (zh) * | 2015-07-13 | 2016-11-23 | 深圳大学 | 一种三维人脸重建方法及*** |
-
2018
- 2018-08-03 CN CN201810877942.6A patent/CN109191505A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1889129A (zh) * | 2006-07-20 | 2007-01-03 | 北京中星微电子有限公司 | 基于单张相片的快速人脸建模方法及*** |
CN101452582A (zh) * | 2008-12-18 | 2009-06-10 | 北京中星微电子有限公司 | 一种实现三维视频特效的方法和装置 |
JP2013097588A (ja) * | 2011-11-01 | 2013-05-20 | Dainippon Printing Co Ltd | 三次元ポートレートの作成装置 |
CN104376594A (zh) * | 2014-11-25 | 2015-02-25 | 福建天晴数码有限公司 | 三维人脸建模方法和装置 |
CN106164979A (zh) * | 2015-07-13 | 2016-11-23 | 深圳大学 | 一种三维人脸重建方法及*** |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109857311A (zh) * | 2019-02-14 | 2019-06-07 | 北京达佳互联信息技术有限公司 | 生成人脸三维模型的方法、装置、终端及存储介质 |
CN109949212A (zh) * | 2019-03-13 | 2019-06-28 | 北京达佳互联信息技术有限公司 | 图像映射方法、装置、电子设备及存储介质 |
CN109949212B (zh) * | 2019-03-13 | 2023-05-02 | 北京达佳互联信息技术有限公司 | 图像映射方法、装置、电子设备及存储介质 |
CN110084883A (zh) * | 2019-04-15 | 2019-08-02 | 昆明理工大学 | 一种诱发大脑活动重建面部图像的方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10860838B1 (en) | Universal facial expression translation and character rendering system | |
CN109118579A (zh) | 动态生成人脸三维模型的方法、装置、电子设备 | |
CN109191507B (zh) | 三维人脸图像重建方法、装置和计算机可读存储介质 | |
CN111260764B (zh) | 一种制作动画的方法、装置及存储介质 | |
WO2020001013A1 (zh) | 图像处理方法、装置、计算机可读存储介质和终端 | |
CN108830787A (zh) | 图像变形的方法、装置及电子设备 | |
CN109191505A (zh) | 静态生成人脸三维模型的方法、装置、电子设备 | |
JP2019012526A (ja) | 映像処理方法、コンピュータプログラムおよび記録媒体 | |
CN109003224A (zh) | 基于人脸的形变图像生成方法和装置 | |
WO2023103600A1 (zh) | 表情生成方法、装置、设备、介质和计算机程序产品 | |
JP2023549240A (ja) | 画像生成方法、画像生成装置、コンピュータ機器、及びコンピュータプログラム | |
CN105096353A (zh) | 一种图像处理方法及装置 | |
US20210342496A1 (en) | Geometry-aware interactive design | |
CN108447032A (zh) | 一种基于增强现实的绘画作品临摹和再创作方法 | |
CN110533527A (zh) | 一种信贷风险动态评估方法、***、介质和设备 | |
CN108921798A (zh) | 图像处理的方法、装置及电子设备 | |
CN109740511B (zh) | 一种人脸表情匹配方法、装置、设备及存储介质 | |
WO2021120834A1 (zh) | 基于生物识别的手势识别方法、装置、计算机设备及介质 | |
CN108898551A (zh) | 图像合并的方法和装置 | |
CN108989553A (zh) | 场景操控的方法、装置及电子设备 | |
CA2690826A1 (en) | Automatic 3d modeling system and method | |
CN108961314A (zh) | 运动图像生成方法、装置、电子设备及计算机可读存储介质 | |
WO2021192686A1 (ja) | 情報処理装置及び情報処理方法 | |
CN114797109A (zh) | 对象编辑方法、装置、电子设备和存储介质 | |
CN113350792A (zh) | 虚拟模型的轮廓处理方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |