CN111462309B - 三维人头的建模方法、装置、终端设备及存储介质 - Google Patents
三维人头的建模方法、装置、终端设备及存储介质 Download PDFInfo
- Publication number
- CN111462309B CN111462309B CN202010243821.3A CN202010243821A CN111462309B CN 111462309 B CN111462309 B CN 111462309B CN 202010243821 A CN202010243821 A CN 202010243821A CN 111462309 B CN111462309 B CN 111462309B
- Authority
- CN
- China
- Prior art keywords
- gray code
- code pattern
- human head
- preset direction
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000010276 construction Methods 0.000 claims abstract description 16
- 238000004590 computer program Methods 0.000 claims description 19
- 230000003287 optical effect Effects 0.000 claims description 9
- 239000000470 constituent Substances 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请适用于计算机技术领域,提供了三维人头的建模方法、装置、终端设备及存储介质,包括:获取目标用户在多个预设方向上分别对应的构面和分别对应的RGB图像,其中,每个预设方向对应的RGB图像包含与该预设方向对应的人头点云中各个坐标点的颜色值;将多个预设方向上的构面进行拼接,得到目标用户的初始人头模型;根据RGB图像上的颜色值,对初始人头模型进行颜色填充,得到目标用户的三维人头模型。避免模型漏点或飞点而导致模型不完整,提高模型精度,以及使得三维人头模型的展示效果更好。
Description
技术领域
本申请属于计算机技术领域,尤其涉及三维人头的建模方法、装置、终端设备及存储介质。
背景技术
随着技术发展,三维人头具有非常广泛的应用,如基于三维人头的眼镜试戴等等。目前的三维人头主要通过旋转人头或旋转相机,由相机获取人头在不同角度的图像信息,根据图像信息建立人头模型,但是,这样建立得到的人头模型可能因缺失部分角度的图像信息而导致模型不完整的情况,模型精度差。
发明内容
本申请实施例提供了三维人头的建模方法、装置、终端设备及存储介质,可以解决三维人头模型精度差的问题。
第一方面,本申请实施例提供了一种三维人头的建模方法,包括:
获取目标用户在多个预设方向上分别对应的构面和分别对应的RGB图像,其中,构面由目标用户的人头点云构成,每个预设方向对应的RGB图像包含与该预设方向对应的人头点云中各个坐标点的颜色值;
将多个预设方向上的构面进行拼接,得到目标用户的初始人头模型;
根据RGB图像上与人头点云中各个坐标点对应的颜色值,对初始人头模型进行颜色填充,得到目标用户的三维人头模型。
本申请实施例通过获取目标用户在多个预设方向上分别对应的构面的人头点云和RGB图像,以确定人头在三维空间中的位置,实现三维人头的空间定位,从而避免模型漏点或飞点而导致模型不完整,提高模型精度;将多个预设方向上的构面进行拼接,得到目标用户的初始人头模型,并根据RGB图像上的像素点的颜色值,对初始人头模型进行颜色填充,得到具有RGB信息的三维人头模型,使得三维人头模型的展示效果更好。
第二方面,本申请实施例提供了一种三维人头的建模装置,包括:
获取模块,用于获取目标用户在多个预设方向上分别对应的构面和分别对应的RGB图像,其中,构面由目标用户的人头点云构成,每个预设方向对应的RGB图像包含与该预设方向对应的人头点云中各个坐标点的颜色值;
拼接模块,用于将多个预设方向上的构面进行拼接,得到目标用户的初始人头模型;
填充模块,用于根据RGB图像上与人头点云中各个坐标点对应的颜色值,对初始人头模型进行颜色填充,得到目标用户的三维人头模型。
第三方面,本申请实施例提供了一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面中任一项所述的三维人头的建模方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上述第一方面中任一项所述的三维人头的建模方法。
第五方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在终端设备上运行时,使得终端设备执行上述第一方面中任一项所述的三维人头的建模方法。
可以理解的是,上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的三维人头的建模方法的流程示意图;
图2是本申请另一实施例提供的三维人头的建模方法的流程示意图;
图3是本申请另一实施例提供的三维人头的建模方法的流程示意图;
图4是本申请一实施例提供的格雷码图案的示意图;
图5是本申请另一实施例提供的采集组件的示意图;
图6是本申请实施例提供的三维人头的建模装置的结构示意图;
图7是本申请实施例提供的终端设备的结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定***结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的***、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
如背景技术相关记载,目前的三维人头主要通过旋转相机获取头部信息来进行建模,但这样建立的模型精度差。通过旋转人头或旋转相机获取不同角度的头部信息,根据头部信息建立人头模型,这样不仅需要花费大量时间获取头部信息,而且建立得到的模型通常存在漏点或飞点的问题,使得模型的后脑、头顶等部位不完整。
因此,本申请提供一种三维人头的建模方法,确定人头在三维空间中的位置,实现三维人头的空间定位,从而避免模型漏点或飞点而导致模型不完整,提高模型精度;以及对初始人头模型进行颜色填充,得到具有RGB信息的三维人头模型,使得三维人头模型的展示效果更好。
图1示出了本申请提供的三维人头的建模方法的示意性流程图,作为示例而非限定,该方法可以应用于终端设备,该终端设备包括但不限于手机、平板电脑、可穿戴设备、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或个人数字助理(personal digital assistant,PDA)、服务器等终端设备,本申请实施例对终端设备的具体类型不作任何限制。
S101,获取目标用户在多个预设方向上分别对应的构面和分别对应的RGB图像,其中,构面由目标用户的人头点云构成,每个预设方向对应的RGB图像包含与该预设方向对应的人头点云中各个坐标点的颜色值;
在上述S101中,上述预设方向为能够保证对目标用户的头部进行完整定位的方向,以目标用户的脸部为正前方,预设方向可以包括正前方、正上方、正左方和正右方。应理解,在其他实施例中,多个预设方向也可以是其方向的组合。上述构面为人头点云中相邻的多个坐标构成的面,如相邻的三个坐标点构成的三角面,相邻的四个坐标点构成的四角面。上述人头点云为目标用户的人头特征点在三维空间中的坐标点所组成的坐标点集合,每个预设方向的人头点云至少对应一个RGB图像。
在一实施例中,可以在多个预设方向,通过三维扫描仪获取目标用户人头的人头点云,通过摄像机采集目标用户人头的RGB图像。在另一实施例中,可以在多个预设方向,安装位置固定的投影仪和摄像机,投影仪向目标用户的人头投影连续的格雷码图案(图4为一张格雷码图案),并通过若干个摄像机采集具有格雷码图案的人头图像,根据格雷码图案的变形情况,确定格雷格图案上每个像素点对应的人头特征点在三维空间的坐标点,根据多个坐标点组成人头点云,以及通过摄像机再各个预设方向上采集具有RGB信息的人头图像。
进一步地,由于格雷码图案和RGB图案由分辨率相同、位置固定的摄像机采集得到,所以格雷码图案与RGB图像的像素点相同,保存像素点的邻域关系。根据格雷码图案确定像素点对应的人头点云的坐标点,即RGB图像上的像素点与人头点云的坐标点存在对应关系,从而确定坐标点之间的邻域关系。因此,为了减少计算量,便于后续构建初始人头模型的三角面以及对初始人头模型进行颜色填充,保存RGB图像的像素点与人头点云的坐标点的对应关系。
本实施例通过获取多个预设方向的人头点云,以实现对人头特征点在三维空间中的定位,避免模型漏点问题;通过获取RGB图像使得三维人头具有颜色信息,具有更好的展示效果。
S102,将多个预设方向上的构面进行拼接,得到目标用户的初始人头模型;
在上述S102中,上述拼接为对边界上的多个构面的坐标点进行连接,其包括但不限于坐标点连接、坐标点去重和坐标点融合。上述初始人头模型为多个人头点云拼接为完整人头点云的网格。
可选地,检测一个预设方向上的人头点云边界上的坐标点与相邻的另一个预设方向上的人头点云边界上的坐标点之间是否存在位置重合的坐标点,若存在位置重合的坐标点,则对位置重合的若干个坐标点进行均值计算,得到均值坐标点,将位置重合的若干个坐标点删除,将均值坐标点作为对应位置上的新的坐标点;若不存在位置重合的坐标点,则将两个边界上相邻的坐标点进行连接。应理解,本实施例所述的位置重合为两个以上的坐标点的距离在预设距离范围内,则判定为位置重合。
本实施例通过对人头点云进行拼接,从而去除重合的坐标点,以及对坐标点进行融合,减少模型的飞点问题,提高模型精度。
S103,根据RGB图像上的颜色值,对初始人头模型进行颜色填充,得到目标用户的三维人头模型。
在上述S103中,根据RGB图像上的像素点与人头点云中的坐标点的对应关系,获得初始人头模型上每个坐标点的颜色值;根据初始人头模型上每个坐标点的颜色值,填充初始人头模型,得到目标用户的三维人头模型。
可选地,若由多个摄像机采集人头的格雷码图案,则可以根据S101步骤所确定的格雷格图案上每个像素点对应的人头特征点在三维空间的坐标点,以及格雷码图案的像素点与RGB图像的像素点的对应关系,对初始人头模型上的坐标点进行颜色填充。
本实施例根据RGB图像上的像素点与人头点云的坐标点的对应关系,直接确定初始人头模型的坐标点的颜色值,而无需经过复杂的位置关系的计算,减少计算机的计算量。
图2示出了本申请实施例提供的另一种三维人头的建模方法的流程示意图。需要说明的是,与图1相同的步骤,在此不再赘述。
在一种可能实现的方式中,上述S101,包括S1011和S1012:
S1011,获取目标用户在多个预设方向上分别对应的人头点云和分别对应的RGB图像,所述人头点云包含存在邻域关系的多个坐标点;
S1012,根据每个所述预设方向上所述人头点云的多个坐标点的邻域关系,构建每个所述预设方向对应分别的多个构面。
在上述S1011和S1012中,上述邻域关系为坐标点与其他坐标的位置相邻关系,其可以根据所有坐标点的坐标确定每个坐标点的邻域关系。上述构面可以是根据相邻的三个坐标点构成三角面,也可以是根据相邻的四个坐标点构成的四角面。
可选地,上述S1011,包括S201至S203:
S201,从多个预设方向,采集投影在目标用户的人头上的格雷码图案以及获取目标用户的人头的RGB图像;
在上述S201中,可通过投影仪将格雷码图案投影到目标用户的人头上,通过摄像机采集在目标用户的人头上的格雷码图案和RGB图像。可选地,按照预设移动轨迹移动投影仪,投影仪在移动过程中投影格雷码图案,摄像机随投影仪的移动而按照与投影仪相同的移动轨迹移动并采集格雷码图案和RGB图形。
可选地,上述S201具体包括S2011至S2013:
S2011,将预设的连续的格雷码图案从多个预设方向投影至目标用户的人头上;
S2012,在每个预设方向上,通过两个摄像设备分别采集目标用户的人头上的连续的格雷码图案,其中,两个摄像设备分别在格雷码图案的投影方向的两边;
S2013,采集目标用户的人头在每个预设方向上的RGB图像。
在上述S2011至S2013中,上述连续的格雷码图案表示根据时间顺序排列的多个格雷码图案。为了避免模型漏点和飞点问题,提高模型的精度。如图5所示,将投影仪01和摄像机02及摄像机03组成一个采集组件,其中投影仪在两个摄像机连线的中点上。在每个预设方向上固定安装一个采集组件,如在人头的正前方、正上方、正左方和正右方分别安装。在每个预设方向上,由投影仪投放连续的格雷码图案,两个摄像机采集格雷码图案和RGB图像。
进一步地,为了保证投影仪投影的格雷码图案被摄像机采集到,则在延迟预设时长后,控制投影仪停止投影格雷码图案,以及控制摄像机采集人头的RGB图像。
本实施例通过在多个预设方向投放和采集格雷码图案,从而完全覆盖人头的每个角度,避免出现模型漏点和飞点的问题。
S202,根据每个预设方向上的格雷码图案,确定人头在三维空间的坐标点;
在上述S202中,格雷码图案属于时域编码图案,当连续的格雷码图案投影至物体表面时,因物体表面的深度变化而导致格雷码图案变形,而格雷码图案虽然变形,但是格雷码图案上像素点位置所对应的格雷码经过解码后得到的位置编号不变,如投影前的图案上某个像素点的位置编号为第i行第j列,经过编码后得到包含该位置编号对应的格雷码A的格雷码图案,将格雷码图案投影至人头上,格雷码图案在人头上因人头的凹凸而变形,摄像机采集该变形的格雷码图案(即摄像机采集的格雷码图案与投影前的格雷码图案不同),对变形的格雷码图案经过解码后得到格雷码A对应的位置编号第i行第j列,从而可以确定位置编号为第i行第j列的像素点在变形后的格雷码图案上的位置。因此,根据两张或以上格雷码图案的格雷码变形情况确定对应像素点在三维空间中的坐标点。
可选地,对于每个预设方向来说,将一个摄像设备采集的格雷码图案作为第一格雷码图案,将另一个摄像设备采集的格雷码图案作为第二格雷码图案,上述S202具体包括S2021至S2023:
S2021,针对每个预设方向上的第一格雷码图案和第二格雷码图案,确定该预设方向所对应的各个同名像素点组,其中,每个同名像素点组包括位于第一格雷码图案的第一像素点和位于第二格雷码图案的第二像素点;
S2022,对于每个预设方向的每个同名像素点组,确定第一连线与第二连线在三维空间的交点,第一连线为采集第一格雷码图案的摄像设备的光心与该同名像素点组中的第一像素点之间的连线,第二连线为采集第二格雷码图案的摄像设备的光心与该同名像素点组中的第二像素点之间的连线;
S2023,将得到的各个交点作为人头在三维空间的坐标点。
在上述S2021至S2023中,可以根据张正友标定法矫正摄像机的内外参数及摄像机各自的位置朝向矩阵,根据三角测量法确定坐标点。具体地,根据三维空间中一个摄像机的光心和该摄像机成像平面中的像素点p的连线,另一个摄像机的光心和该摄像机成像平面中的像素点q的连线,将这两条连线在三维空间中相交或利用最近相交法得出像素点在三维空间中的坐标点,其中像素点p和像素点q是同名像素点,即由投影仪投影出的同一个光点被两个摄像机分别捕捉到的像素点。进一步地,根据每个同名像素点组,迭代求出所有像素点对应的三维坐标点,从而构成每个预设方向上的三维人头点云。
进一步地,上述S2021还可以包括S20211至S20213:
S20211,针对每个预设方向上的第一格雷码图案和第二格雷码图案,对第一格雷码图案和第二格雷码图案进行逆向编码,得到第一格雷码图案上的像素点的第一位置编号和第二格雷码图案上的像素点的第二位置编号;
S20212,对于每个预设方向,对第一位置编号与第二位置编号进行匹配;
S20213,将编号一致的第一位置编号与第二位置编号分别对应的像素点作为第一像素点和第二像素点,构成该预设方向的同名像素点组。
在上述S20211至S20213中,假设投影仪的分辨率为a×b,将投影仪投放出来的图案的每个像素点均转为格雷码,对于位置编号为第i行、第j列的像素点,将表示行数位置的十进制i转为n位二进制形式,将表示列数位置的十进制j转为m为二进制形式,再将n位二进制形式转为格雷码形式,将m位二进制形式转为格雷码形式,从而得到图案所有像素点的格雷码。
当格雷码图案被两个摄像机采集时,由于摄像机采集角度的差异,两个摄像机采集到的第一格雷码图案与第二格雷码图案有所差异,但是格雷码图案每个像素点上的格雷码不变,所以通过逆向编码将格雷码图案中的每个像素点的格雷码解码为位置编号,该位置编号即为投影仪所投影的格雷码图案上像素点的位置。当第一格雷码图案上的位置编号与第二格雷码图案上的位置编号一致时,说明该位置编号对应的第一格雷码图案与第二格雷码图案上的像素点为同名像素点。
S203,根据多个坐标点,组成每个预设方向上的人头点云。
在上述S203中,根据坐标点的邻域关系,将相邻的三个坐标点进行连接以构建三角面,从而得到每个预设方向对应的人头点云。
图3示出了本申请实施例提供的另一种三维人头的建模方法的流程示意图。需要说明的是,与图1和图2实施例相同的步骤,在此不再赘述。
在一种可能实现的方式中,上述S102具体包括S301至S303:
S301,建立包围各个所述预设方向上的所有所述人头点云的空间体,并将所述空间体分割为预设尺寸的多个子空间体;
S302,若所述子空间体内存在所述人头点云的多个坐标点,则计算该子空间体内的多个坐标点的均值坐标点,将该均值坐标点作为该子空间体的坐标点;
S303,根据所述均值坐标点的邻域关系,更新每个所述预设方向上的构面;
S304,将每个预设方向上所述构面的坐标点进行连接,得到所述目标用户的初始人头模型。
在上述S301至S304中,上述空间体可以为立方体、球体、圆柱体等,优选为立方体,这样更便于分割成尺寸一致的子空间体。具体地,在世界坐标系中定义一个立方体,并将该立方体按照预设分辨率切割成多个大小相同的小立方体;检测小立方体内的坐标点的个数,若一个小立方体内存在的多个坐标点,则求出多个坐标点的均值坐标点,将该均值坐标点作为该小立方体内的坐标点,同时更新坐标点的邻域关系,以更新模型的三角面索引(即上述构面)。
可选地,由于预设方向上的采集组件的位置朝向相对固定,所以各个采集组件得到的人头点云的坐标位置已经对齐,而不需要再进行平移旋转等操作,减少计算机的计算量。通过小立方体处理重合的坐标点或者近似重合的坐标点其中近似重合的坐标点为坐标点间的距离小于预设范围值的坐标点。
可选地,将上预设范围值作为子空间体的预设尺寸。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的三维人头的建模方法,图6示出了本申请实施例提供的三维人头的建模装置600的结构框图,为了便于说明,仅示出了与本申请实施例相关的部分。
参照图6,该装置包括:
获取模块601,用于用于获取目标用户在多个预设方向上分别对应的构面和分别对应的RGB图像,其中,构面由目标用户的人头点云构成,每个预设方向对应的RGB图像包含与该预设方向对应的人头点云中各个坐标点的颜色值;
拼接模块602,用于将多个预设方向上的构面进行拼接,得到目标用户的初始人头模型;
填充模块603,用于根据RGB图像上与人头点云中各个坐标点对应的颜色值,对初始人头模型进行颜色填充,得到目标用户的三维人头模型。
需要说明的是,上述装置/单元之间的信息交互、执行过程等内容,由于与本申请方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
图7为本申请一实施例提供的终端设备的结构示意图。如图7所示,该实施例的终端设备7包括:至少一个处理器70(图7中仅示出一个)处理器、存储器71以及存储在所述存储器71中并可在所述至少一个处理器70上运行的计算机程序72,所述处理器70执行所述计算机程序72时实现上述任意方法实施例中的步骤。
所述终端设备7可以是手机、桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该终端设备可包括但不仅限于处理器70、存储器71。本领域技术人员可以理解,图7仅仅是终端设备7的举例,并不构成对终端设备7的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如还可以包括输入输出设备、网络接入设备等。
所称处理器70可以是中央处理单元(Central Processing Unit,CPU),该处理器70还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器71在一些实施例中可以是所述终端设备7的内部存储单元,例如终端设备7的硬盘或内存。所述存储器71在另一些实施例中也可以是所述终端设备7的外部存储设备,例如所述终端设备7上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器71还可以既包括所述终端设备7的内部存储单元也包括外部存储设备。所述存储器71用于存储操作***、应用程序、引导装载程序(BootLoader)、数据以及其他程序等,例如所述计算机程序的程序代码等。所述存储器71还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品,当计算机程序产品在移动终端上运行时,使得移动终端执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括:能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践,计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/网络设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/网络设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (7)
1.一种三维人头的建模方法,其特征在于,包括:
获取目标用户在多个预设方向上分别对应的构面和分别对应的RGB图像,其中,所述构面由所述目标用户的人头点云构成,每个预设方向对应的所述RGB图像包含与该预设方向对应的所述人头点云中各个坐标点的颜色值;
将多个所述预设方向上的所述构面进行拼接,得到所述目标用户的初始人头模型,包括:建立包围各个所述预设方向上的所有所述人头点云的空间体,并将所述空间体分割为预设尺寸的多个子空间体;若所述子空间体内存在所述人头点云的多个坐标点,则计算该子空间体内的多个坐标点的均值坐标点,将该均值坐标点作为该子空间体的坐标点;根据所述均值坐标点的邻域关系,更新每个所述预设方向上的构面;将每个预设方向上所述构面的坐标点进行连接,得到所述目标用户的初始人头模型;其中,所述空间体为立方体;
根据所述RGB图像上与所述人头点云中各个坐标点对应的颜色值,对所述初始人头模型进行颜色填充,得到所述目标用户的三维人头模型;
其中,对于每个预设方向来说,将一个摄像设备采集的格雷码图案作为第一格雷码图案,将另一个摄像设备采集的格雷码图案作为第二格雷码图案;
针对每个所述预设方向上的第一格雷码图案和第二格雷码图案,确定该预设方向所对应的各个同名像素点组,其中,每个同名像素点组包括位于所述第一格雷码图案的第一像素点和位于所述第二格雷码图案的第二像素点;
对于每个预设方向的每个同名像素点组,确定第一连线与第二连线在三维空间的交点,所述第一连线为采集所述第一格雷码图案的所述摄像设备的光心与该同名像素点组中的所述第一像素点之间的连线,所述第二连线为采集所述第二格雷码图案的所述摄像设备的光心与该同名像素点组中的所述第二像素点之间的连线;
将得到的各个所述交点作为所述人头在三维空间的坐标点;
所述针对每个所述预设方向上的第一格雷码图案和第二格雷码图案,确定该预设方向所对应的各个同名像素点组,包括:
针对每个所述预设方向上的第一格雷码图案和第二格雷码图案,对所述第一格雷码图案和所述第二格雷码图案进行逆向编码,得到所述第一格雷码图案上的像素点的第一位置编号和所述第二格雷码图案上的像素点的第二位置编号;
对于每个所述预设方向,对所述第一位置编号与所述第二位置编号进行匹配;
将编号一致的所述第一位置编号与所述第二位置编号分别对应的像素点作为所述第一像素点和所述第二像素点,构成该预设方向的同名像素点组。
2.如权利要求1所述的建模方法,其特征在于,所述获取目标用户在多个预设方向上分别对应的构面和分别对应的RGB图像,包括:
获取目标用户在多个预设方向上分别对应的人头点云和分别对应的RGB图像,所述人头点云包含存在邻域关系的多个坐标点;
根据每个所述预设方向上所述人头点云的多个坐标点的邻域关系,构建每个所述预设方向对应分别的多个构面。
3.如权利要求2所述的建模方法,其特征在于,所述获取目标用户在多个预设方向上分别对应的人头点云和分别对应的RGB图像,包括:
从多个所述预设方向,采集投影在所述目标用户的人头上的格雷码图案以及获取所述目标用户的人头的RGB图像;
根据每个所述预设方向上的所述格雷码图案,确定所述人头在三维空间的坐标点;
确定多个所述坐标点的邻域关系,并将多个所述坐标点组成每个所述预设方向上的人头点云。
4.如权利要求3所述的建模方法,其特征在于,所述从多个所述预设方向,采集投影在所述目标用户的人头上的格雷码图案以及获取所述目标用户的人头的RGB图像,包括:
将预设的连续的格雷码图案从多个所述预设方向投影至所述目标用户的人头上;
在每个所述预设方向上,通过两个摄像设备分别采集所述目标用户的人头上的连续的格雷码图案,其中,两个所述摄像设备分别在所述格雷码图案的投影方向的两边;
采集所述目标用户的人头在每个所述预设方向上的RGB图像。
5.一种三维人头的建模装置,其特征在于,包括:
获取模块,用于获取目标用户在多个预设方向上分别对应的构面和分别对应的RGB图像,其中,所述构面由所述目标用户的人头点云构成,每个预设方向对应的所述RGB图像包含与该预设方向对应的所述人头点云中各个坐标点的颜色值;
拼接模块,用于将多个所述预设方向上的所述构面进行拼接,得到所述目标用户的初始人头模型;
填充模块,用于根据所述RGB图像上与所述人头点云中各个坐标点对应的颜色值,对所述初始人头模型进行颜色填充,得到所述目标用户的三维人头模型;
所述拼接模块,具体用于建立包围各个所述预设方向上的所有所述人头点云的空间体,并将所述空间体分割为预设尺寸的多个子空间体;若所述子空间体内存在所述人头点云的多个坐标点,则计算该子空间体内的多个坐标点的均值坐标点,将该均值坐标点作为该子空间体的坐标点;根据所述均值坐标点的邻域关系,更新每个所述预设方向上的构面;将每个预设方向上所述构面的坐标点进行连接,得到所述目标用户的初始人头模型;其中,所述空间体为立方体;
其中,对于每个预设方向来说,将一个摄像设备采集的格雷码图案作为第一格雷码图案,将另一个摄像设备采集的格雷码图案作为第二格雷码图案;
针对每个所述预设方向上的第一格雷码图案和第二格雷码图案,确定该预设方向所对应的各个同名像素点组,其中,每个同名像素点组包括位于所述第一格雷码图案的第一像素点和位于所述第二格雷码图案的第二像素点;
对于每个预设方向的每个同名像素点组,确定第一连线与第二连线在三维空间的交点,所述第一连线为采集所述第一格雷码图案的所述摄像设备的光心与该同名像素点组中的所述第一像素点之间的连线,所述第二连线为采集所述第二格雷码图案的所述摄像设备的光心与该同名像素点组中的所述第二像素点之间的连线;
将得到的各个所述交点作为所述人头在三维空间的坐标点;
所述针对每个所述预设方向上的第一格雷码图案和第二格雷码图案,确定该预设方向所对应的各个同名像素点组,包括:
针对每个所述预设方向上的第一格雷码图案和第二格雷码图案,对所述第一格雷码图案和所述第二格雷码图案进行逆向编码,得到所述第一格雷码图案上的像素点的第一位置编号和所述第二格雷码图案上的像素点的第二位置编号;
对于每个所述预设方向,对所述第一位置编号与所述第二位置编号进行匹配;
将编号一致的所述第一位置编号与所述第二位置编号分别对应的像素点作为所述第一像素点和所述第二像素点,构成该预设方向的同名像素点组。
6.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述的方法。
7.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010243821.3A CN111462309B (zh) | 2020-03-31 | 2020-03-31 | 三维人头的建模方法、装置、终端设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010243821.3A CN111462309B (zh) | 2020-03-31 | 2020-03-31 | 三维人头的建模方法、装置、终端设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111462309A CN111462309A (zh) | 2020-07-28 |
CN111462309B true CN111462309B (zh) | 2023-12-19 |
Family
ID=71683476
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010243821.3A Active CN111462309B (zh) | 2020-03-31 | 2020-03-31 | 三维人头的建模方法、装置、终端设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111462309B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106164979A (zh) * | 2015-07-13 | 2016-11-23 | 深圳大学 | 一种三维人脸重建方法及*** |
CN109697688A (zh) * | 2017-10-20 | 2019-04-30 | 虹软科技股份有限公司 | 一种用于图像处理的方法和装置 |
CN110443885A (zh) * | 2019-07-18 | 2019-11-12 | 西北工业大学 | 基于随机人脸图像的三维人头脸模型重建方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120176380A1 (en) * | 2011-01-11 | 2012-07-12 | Sen Wang | Forming 3d models using periodic illumination patterns |
-
2020
- 2020-03-31 CN CN202010243821.3A patent/CN111462309B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106164979A (zh) * | 2015-07-13 | 2016-11-23 | 深圳大学 | 一种三维人脸重建方法及*** |
CN109697688A (zh) * | 2017-10-20 | 2019-04-30 | 虹软科技股份有限公司 | 一种用于图像处理的方法和装置 |
CN110443885A (zh) * | 2019-07-18 | 2019-11-12 | 西北工业大学 | 基于随机人脸图像的三维人头脸模型重建方法 |
Non-Patent Citations (2)
Title |
---|
刘绍堂著.《隧道变形监测与预测的理论与方法》.黄河水利出版社,2019,第48-51页. * |
朱险峰 ; 侯贺 ; 韩玉川 ; 白云瑞 ; 吴植文 ; .人体三维扫描结构光解相位方法研究.纳米技术与精密工程.(第03期),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN111462309A (zh) | 2020-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111145238B (zh) | 单目内窥镜图像的三维重建方法、装置及终端设备 | |
US11842438B2 (en) | Method and terminal device for determining occluded area of virtual object | |
CN107223269B (zh) | 三维场景定位方法和装置 | |
CN111815754B (zh) | 一种三维信息确定方法、三维信息确定装置及终端设备 | |
US10726580B2 (en) | Method and device for calibration | |
EP3614340A1 (en) | Methods and devices for acquiring 3d face, and computer readable storage media | |
WO2022021680A1 (zh) | 融合结构光和光度学的三维对象重建方法及终端设备 | |
CN113362446B (zh) | 基于点云数据重建对象的方法及装置 | |
CN112927306B (zh) | 拍摄装置的标定方法、装置及终端设备 | |
CN109979013B (zh) | 三维人脸贴图方法及终端设备 | |
CN113936099A (zh) | 基于单目结构光和旋转平台的三维图像重建方法及*** | |
WO2023093739A1 (zh) | 一种多视图三维重建的方法 | |
CN111709999A (zh) | 标定板、相机标定方法、装置、电子设备及相机*** | |
CN112686950A (zh) | 位姿估计方法、装置、终端设备及计算机可读存储介质 | |
CN115205383A (zh) | 相机位姿的确定方法、装置、电子设备及存储介质 | |
CN113362445B (zh) | 基于点云数据重建对象的方法及装置 | |
CN111383264A (zh) | 一种定位方法、装置、终端及计算机存储介质 | |
CN112102378B (zh) | 图像配准方法、装置、终端设备及计算机可读存储介质 | |
CN111462309B (zh) | 三维人头的建模方法、装置、终端设备及存储介质 | |
CN111023994B (zh) | 一种基于多重测量的光栅三维扫描方法及*** | |
Peng et al. | A real-time fisheye video correction method based on Android smart-phone GPU | |
CN111223139B (zh) | 目标定位方法及终端设备 | |
CN112150621B (zh) | 基于正射投影的鸟瞰图生成方法、***及存储介质 | |
CN112711965B (zh) | 一种绘本识别方法、装置及设备 | |
CN113870365B (zh) | 相机标定方法、装置、设备以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |