CN116664796B - 轻量级头部建模***及方法 - Google Patents
轻量级头部建模***及方法 Download PDFInfo
- Publication number
- CN116664796B CN116664796B CN202310455380.7A CN202310455380A CN116664796B CN 116664796 B CN116664796 B CN 116664796B CN 202310455380 A CN202310455380 A CN 202310455380A CN 116664796 B CN116664796 B CN 116664796B
- Authority
- CN
- China
- Prior art keywords
- head
- module
- texture
- point cloud
- projector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000009877 rendering Methods 0.000 claims abstract description 6
- 230000010363 phase shift Effects 0.000 claims description 15
- 238000013507 mapping Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 10
- 230000015572 biosynthetic process Effects 0.000 claims description 8
- 238000003786 synthesis reaction Methods 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 abstract description 11
- 210000003128 head Anatomy 0.000 description 85
- 230000000694 effects Effects 0.000 description 10
- 230000007547 defect Effects 0.000 description 8
- 210000005069 ears Anatomy 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 210000000887 face Anatomy 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 210000001508 eye Anatomy 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 210000000697 sensory organ Anatomy 0.000 description 3
- 108091026890 Coding region Proteins 0.000 description 2
- 235000002245 Penicillium camembertii Nutrition 0.000 description 2
- 241000221696 Sclerotinia sclerotiorum Species 0.000 description 2
- 230000037237 body shape Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000000214 mouth Anatomy 0.000 description 2
- 210000001331 nose Anatomy 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 240000008042 Zea mays Species 0.000 description 1
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 description 1
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 235000005822 corn Nutrition 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 210000001202 rhombencephalon Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/005—Tree description, e.g. octree, quadtree
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请公开了一种轻量级头部建模***及方法,该方法包括:沿待扫描人体头部的前、后、左、右四个方向布设结构光扫描模组,分别采集头部各侧区域的点云数据和纹理图像,其中,每个扫描模组由投影机及摄像机组成;对各结构光扫描模组的点云数据进行3D重建,并对重建后的点云数据处理后拼接得到最终的头部点云;采用泊松曲面重建算法对头部点云进行三角网格化处理,得到头部模型的网格图;根据纹理图像、摄像机位置参数及网格图,进行纹理区域选择,得到头部模型的每一个三角网格区域对应的纹理图像,对所有的三角网格区域渲染得到头部模型全景的纹理贴图。本申请的建模***及方法具有***复杂度低、建模速度快、模型精度高且成本较低的优点。
Description
技术领域
本申请涉及一种人体结构的数字建模技术领域,具体涉及一种轻量级头部建模***及方法。
背景技术
随着元宇宙、数字人技术的快速发展,给人体、特别是人体头部进行3D建模,构建超写实、可驱动的数字人成为了迫切需要的一种技术。人体头部是非常复杂的几何体,给人体头部快速建模是三维人体建模中最重要的也是难度最大的。传统上,3D建模师会使用专业建模软件如3dMax、Maya等手工制作数字人模型,一个精细数字人模型的传统制作周期可达数月之久,非常消耗时间精力。或者,采用较为自动化的SFM(Structure frommotion)三维重建技术、结构光3D技术等自动化重建方法,等等。
建模技术种类较多,使用较多的SFM等技术,要么需要40~50台甚至更多的高品质相机(单反相机)对头部进行环绕拍摄,其缺点为建模软硬件***复杂度高、成本高,处理时间长,重建的人体头部模型的精度较低、存在缺陷;要么使用手持式扫描设备,以时间换空间完成对人体扫描,虽然建模设备成本大大降低,但一来拍摄扫描时间更长,对于会动的人体头部天然不友好,二来建模精度较低。
如何设计出一种***复杂低、建模速度快、精度高的轻量级头部3D建模***及方法,是目前需要解决的技术问题。
发明内容
本申请的目的在于提供一种***复杂度低、建模速度快、模型精度高且成本较低的轻量级头部3D建模***及方法。
根据上述目的,本申请的第一方面,提供了一种轻量级头部3D建模***,该建模***包括:
沿待扫描人体头部的前、后、左、右四个方向布设的四个结构光扫描模组,分别采集头部各侧区域的编码结构光图像和纹理图像,其中,每个所述扫描模组由投影机及摄像机组成;
头部点云合成模块,用于对各结构光扫描模组的编码结构光图像进行3D重建,并对重建后得到的各点云数据处理后拼接得到最终的头部点云;
网格构建模块,采用泊松曲面重建算法对所述头部点云进行三角网格化处理,得到头部网格模型;
模型贴图模块,根据所述纹理图像、摄像机位置参数,并结合所述头部网格模型,进行纹理区域选择,得到头部网格模型的每一个三角网格区域对应的纹理图像,对所有的三角网格区域渲染得到头部模型全景的纹理贴图。
进一步地,所述结构光扫描模组包括均倾斜设置的正脸模组、后方模组、左侧模组和右侧模组,其中,所述正脸模组采用一台投影机和两台摄像机组成,两台所述摄像机分设于投影机上下两侧,所述后方模组、左侧模组和右侧模组均采用一台投影机和一台摄像机组成。
进一步地,所述头部点云合成模块中的3D重建包括:选用投影pattern像素尺寸为1140*912;采用6位格雷码与4步相移结合的时间编码。
进一步地,所述结构光扫描模组还包括多个依次相连的连接杆围合形成立体框架固定结构,确保所述扫描模组间的位姿关系一经标定,恒定不变;以及支撑所述立体框架固定结构的多个支撑杆,也即第一支撑杆、第二支撑杆和第三支撑杆,各所述支撑杆与对应的立体框架固定结构为可拆卸连接。
进一步地,所述头部点云合成模块中的数据处理包括:对各扫描模组采取的编码结构光图像数据进行错误去除、滤波、降采样、去噪操作,并使用ICP配准算法进行同时配准,拼接成最终的所述头部点云。
进一步地,所述后方模组的位置相对最高,所述左侧模组、右侧模组的位置相对最低,使得各所述结构光扫描模组能够充分覆盖扫描到待扫描人体头部的前、后、左、右、头顶、下颌底部等区域,各所述结构光扫描模组距离待扫描人体头部表面的距离为360~400mm,各所述连接杆的边长为90~110厘米。
进一步地,所述纹理区域选择包括:根据图像纹理清晰度、相机法线和获取的网络模型的三角面表面的夹角来确定纹理区域选定的优先级,其中,纹理区域像素数越大、相机法线和三角面表面的夹角越大,则选定该纹理区域的优先级越大。
进一步地,所述泊松曲面重建算法中,选取的八叉树的深度d参数值为8或者9。
进一步地,每个扫描模组内设定投影机、摄像机的镜头光心间距为60mm~120mm,镜头同时指向目标区域的中心点,其中,投影机的投影区域和摄像机的摄像区域至少存在部分重叠。
本申请的另一方面,提供了一种轻量级头部建模方法,该方法包括:
沿待扫描人体头部的前、后、左、右四个方向布设四个结构光扫描模组,分别采集头部各侧区域的编码结构光图像和纹理图像,其中,每个所述扫描模组由投影机及摄像机组成;
对各结构光扫描模组的编码结构光图像进行3D重建,并对重建后的点云数据处理后拼接得到最终的头部点云;
采用泊松曲面重建算法对所述头部点云进行三角网格化处理,得到头部网格模型;
根据所述纹理图像、摄像机位置参数,并结合所述网格模型,进行纹理区域选择,得到头部网格模型的每一个三角网格区域对应的纹理图像,对所有的三角网格区域填充得到头部模型全景的纹理贴图。
本申请实施例所公开的一种轻量级头部3D建模***及方法,具有如下技术效果:
一、***复杂度和成本降低:本申请仅采用了四个结构光扫描模组(包含四台投影机和五台相机),保证了以行业内最低的成本和最低的***复杂度,完成对人体头部高精度扫描和建模。
二、实现了快速扫描并建模:本申请将扫描模组的数目降低到了最低的限度,投影机轮番打出6格雷码和4相位码的不同结构光图案,同时相机轮番采集,这样总时长得以降低;同时重建、配准和拼接的点云的组数降低,数据量和计算复杂度随之降低,处理时间大大缩短,根据实践,扫描时间短至2秒,三维重建时间及模型生成总用时在1分钟内。
三、***的硬件尺寸压缩至一个很小的水平:连接各扫描模组的框架边长大约为1米、高度大约0.5米,通三根可拆卸支撑杆,方便运输与使用。
四、建模的精度大幅提升:头部白模上的五官及凸凹清晰准确、纹理贴图准确清晰、白模和纹理图的缺陷如耳朵等处的孔洞问题等有效减少,基本达到头部建模立等可取的状态。
五、本申请可以结合最新Metahuman Creator等流行的外部工具,在该类工具中导入我们快速建模的高精度头部模型,只需再进行发型、体型选择等简易操作,便可将我们的超写实头部模型快速转化为标准可驱动的全身数字人,兼备真实的面部、逼真的体型和发型、完备的肌肉绑定和骨骼绑定,使得应用简易而广泛。
附图说明
图1为本实施例中的轻量级头部3D建模***的架构示意图;
图2为本实施例中的结构光扫描模组的立体示意图;
图3为本实施例中的结构光扫描模组的俯视示意图;
图4为本实施例中的格雷码的pattern图;
图5为本实施例中的四相位的pattern图;
图6为本实施例中的后脑区域的实际采集pattern图;
图7为本实施例中的各扫描模组重建还原的耳部模型示意图;
图8为本实施例中的头部模型网格化的效果示意图;
图9为本实施例中的列举的常见的眼歪、口歪的贴图效果图;
图10为本实施例中的轻量级头目建模***输出的模型效果图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
需要说明的是,本实施例中所提供的图示仅以示意方式说明本发明的基本构想。
本说明书所附图式所绘示的结构、比例、大小等,均仅用以配合说明书所揭示的内容,以供熟悉此技术的人士了解与阅读,并非用以限定本发明可实施的限定条件,任何结构的修饰、比例关系的改变或大小的调整,在不影响本发明所能产生的功效及所能达成的目的下,均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
本说明书中所引用的如“前”、“、后”、“左”、“右”、“中间”、“纵向”、“横向”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,亦仅为了便于简化叙述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性。
参照图1~图4所示,本申请的实施例一提供了一种轻量级头部3D建模***,该***基于结构光3D技术,即使用投影机将编码结构光投射至物体表面,使用相机采集结构光图片,计算得到物体的三维点云数据,事实上点云文件中的三维坐标指的是本地坐标系中的坐标,再使用泊松重建算法得到网格(mesh)模型,结合纹理图片便完成了物体的三维扫描建模。该***包括:结构光扫描模组、头部点云合成模块、网格构建模块和模型贴图模块。
结构光扫描模组,沿待扫描人体头部的前、后、左、右四个方向布设有四个,分别采集头部各侧区域的编码光结构图像和纹理图像,其中,每个所述扫描模组由投影机5及相配合的摄像机6组成。
具体的,本实施例一中的结构光扫描模组包括均倾斜设置(具体为略斜向下方向)的正脸模组1、后方模组4、左侧模组3和右侧模组2,各个扫描模组间的相对位置基于人体工程学,将人体头部正脸、左侧、右侧、后方各布置一套,且它们带有特定倾角,投影机5和相机6的镜头正对待扫描人体头部的中心位置,对头部和颈部进行环绕式定位。其中,正脸模组1采用一台投影机和两台摄像机组成,两台摄像机6分设于投影机上下两侧,后方模组4、左侧模组3和右侧模组2均采用一台投影机和一台摄像机组成,投影机位于摄像机上方,本实施例中的摄像机6包括普通拍摄静态图片的相机以及能拍摄动态连续画面的相机。
结构光模组的扫描目标区域,包含了投影机5所投射编码光的区域和相机的视野区域。该目标区域覆盖了头部的正脸、侧脸、脑后的竖长方形区域(均包含颈部),尺寸约为30cm x 36cm,该目标区域,其中,投影机区域和相机视野区域尽可能重叠,以保证点云数据获取的准确性。
本实施例中,结构光扫描模组还包括多个与扫描模组相连的连接杆7,围合形成立体框架固定结构,连接杆7从材质和连接上均保持良好的刚性和强度,确保扫描模组间的位姿关系一经标定,恒定不变。由于左侧、右侧两模组需要兼顾扫描下颌底部区域,故,本申请将左、右两模组沿下颌方向做一定程度的倾斜设置,如图2所示,以符合人体工程学,保证整个头部扫描的完整性。进一步的,本实施例中,支撑所述立体框架固定结构包括第一支撑杆、第二支撑杆和第三支撑杆,各所述支撑杆9与对应的立体框架固定结构为可拆卸连接,具体的,立体框架固定结构在正脸模组1、左侧模组3、右侧模组2的底部具有一较短的短连接杆8,短连接杆8底部具有外螺纹,各个支撑杆9的顶部具有一段内螺纹,二者旋紧即可将各个支撑杆与其顶部的立体框架固定结构固定起来起到支撑作用,当不需要使用时,将二者拆卸即可,方便携带和运输。后方模组4的位置相对最高,立体框架固定结构的后方位置也最高,并且不设连接杆和支撑杆,方便待扫描人员进出,故左侧模组3和右侧模组2与后方模组4相连的连接杆7是斜向上设置的,如图3所示,待扫描人员头部位于所述立体框架固定结构中心,各所述结构光扫描模组距离待扫描人体头部的距离为360~400mm,优选为380mm,各所述连接杆的边长为90~110厘米,优选为100厘米,各支撑杆高度0.8~1.2米,优选为1.0米,***的硬件尺寸压缩至一个很小的水平。
本实施例中,后方模组4的位置相对最高,左侧模组3、右侧模组2的位置相对最低,正脸模组1的高度相对居中。
后方扫描模组4的相对位置最高,主要采集头部后面、颈后、以及头顶的点云和纹理。后方模组由一个DLP投影机(相比图示镜头更大)和一个相机(图示镜头更小)组成,投影机在上,相机在下。因为人体的耳朵本身很薄并且形状复杂,极容易出现遮挡影响采集,导致建模缺陷。如图7所示,本申请设置后方扫描模组的角度能同时扫描较多的双耳后面区域,结合侧方模组和正脸模组,在实践中能重建出高还原度、质量很高的耳部点云和模型,如8所示的耳部部分的模型。
左侧扫描模组、右侧扫描模组的位置最低,采集面部左侧、右侧、下颌底部的左右两侧、颈部左右两侧的点云和纹理。
正脸扫描模组1由一个DLP投影机和两个相机组成,分设于投影机上下,最低位的正脸相机搭配居中投影机,采集正脸、颈部前部的点云和纹理,最高位的第二台相机补充采集头顶部分的点云和纹理图片,正脸模组与其上下的两个相机的配合采集形成两组点云。
本申请依据结构光3D重建原理,投影机投射光线,经物体表面反射,入射到相机。投射光线和入射光线需要形成一个夹角,夹角过大容易导致拍摄表面凸凹遮挡过多,夹角过小则会导致重建3D精度下降。根据本申请实际使用的大量经验表明,每个扫描模组内设定相机和投影机镜头光心间距约60mm~120mm,镜头再同时指向目标区域的中心点,会形成较好的镜头夹角,获取的数据效果较佳。
本申请实施例仅采用了四个结构光扫描模组(包含四台投影机和五台相机),保证了以行业内最低的成本和最低的***复杂度,完成对人体头部高精度扫描和建模。
头部点云合成模块,用于对各结构光扫描模组的结构光编码图像进行3D重建,并对重建后得到的各点云数据处理后拼接得到最终的头部点云。
具体的,这里三维点云重建是指根据三维点云重建目标的表面或轮廓,即表面重建。三维点云是一批离散的点,这样空间中必然回有一些位置是空的,没有数据信息。点云重建是让三维物体的表面都由一个个平面组成,即在表面处成为连续状态。
由于本申请选取的投影机的分辨率达到1140*912,对投影机投射条码的每个像素点进行唯一编码需要1140个不同的编码值,即11bit。11bit的格雷码需要11张的格雷码式样图(即格雷码pattern图),高频pattern图中编码条纹宽窄程度指数级变窄,如图4所示,相机在捕获投射的极窄条纹时,后续解码极易出现解码错误,影响重建效果。所以,本申请使用格雷码加相移的方案,舍弃高频pattern,提高了pattern识别的准确性,减少了pattern张数。具体实施时,选用投影pattern像素尺寸为1140*912;采用6格雷码+4相移的方案,如图4和图5所示。
格雷码+相移方案是结合了传统格雷码方案和光栅相移方案,将解码和解包统一成解包(解绝对相位)。其中,格雷码条纹主要是确定主相位,相移光栅主要是确定包裹相位,最后将二者组合在一起就完成了整个相位解包(全局绝对相位)。一般地,先确定正整数级的格雷码位数,然后结合pattern的大小,确定相移周期的大小。格雷码+相移的方案,在纯格雷码的基础上,摒弃了高频的pattern,取而代之的是浮点型的相移pattern,这样做一方面,提高了pattern捕获的稳定性,另外在一定程度上减少了pattern张数。相移的周期只需要在不少于一个格雷码区域内满足唯一性就行,如刚好在一个周期内,那么相移的周期T就是格雷码一个编码区域内的像素数量。如针对1024*768的分辨率,如采用6格雷码+4相移的方案,格雷码的编码区域数量是pow(2,6)=64,通过格雷码解码可以确定64个不同的编码区域(0~63),那么每个格雷码区域内像素数量就是num=1024/64=16,也就是相移周期T>=16就行,比如设定相移周期T=16,这样实际采集的pattern图如图6所示。
前述四组扫描模组(含五台摄像机)共重建出五片点云,由于重建数据中常常伴有杂点或噪声,影响了后续的处理,因此需要对点云数据进行一定的预处理,主要包括:对其进行错误去除、数据精简、数据插补、滤波、降采样、去噪操作,对其结果使用ICP配准算法进行同时配准,并拼接成最终的头部点云。
本申请实现了快速扫描并建模,因为扫描模组的数目降低到最低的限度,投影机轮番打出6格雷码4相位码的不同结构光图案,同时相机轮番采集,这样扫描的总时长得以降低;同时重建、配准和拼接的点云的组数降低,数据量和计算复杂度随之降低,数据处理时间大大缩短。在我们的实践中扫描时间短至2秒,使用普通个人电脑进行三维重建时间及模型生成总用时在1分钟内。
网格构建模块,采用泊松曲面重建算法对所述头部点云进行三角网格化处理,得到头部模型的网格图。
为了便于后续的网格渲染,需要提前将点云进行三角网格化,3D网格是几何数据结构,通常由一堆连接的三角形组成,这些三角形明确地描述了一个表面。使用泊松重建对头部点云进行三角网格化处理。
表面重建流程包括如下:
1、构建八叉树:可以采用自适应的空间网格划分的方法(根据点云的密度调整网格的深度),根据采样点集的位置定义八叉树,然后细分八叉树使每个采样点都落在深度为D的叶节点;泊松重建算法的八叉树的深度d参数值,是决定模型表面凸凹及写实程度和面片数的最大变量。调整八叉树的深度d的值,以匹配出合适的模型网格化效果,经过反复大量实验验证v,我们选取的d值为8或者9,获得的模型网格图(即白模)具有良好的效果,如图8所示。
2、设置函数空间:对八叉树的每个节点设置空间函数F,所有节点函数F的线性和可以表示向量场V,基函数F采用了盒滤波的n维卷积;
3、创建向量场:均匀采样的情况下,假设划分的块是常量,通过向量场V逼近指示函数的梯度,采用三次条样插值(三线插值);
4、求解泊松方程:方程的解可以采用拉普拉斯矩阵迭代求出;
5、提取等值面:为得到重构表面,需要选择阈值获得等值面;先估计采样点的位置,然后用其平均值进行等值面提取,然后用Marching Cubes(移动立方体)算法得到等值面。
泊松表面重建的算法融合了全局和局部方法的优点,采取隐性拟合的方式,通过求解泊松方程来取得点云模型所描述的表面信息代表的隐性方程,通过对该方程进行等值面提取,从而得到具有几何实体信息的表面模型,也即输入为一组物体表面的有向点云,输出物体表面三维网格。优点在于,输出网格的顶点不需要来自原始点云,结果更平滑,具有良好的几何表面特性和细节特性,并且由于全局求解,可以保证重建出的网格模型的水密性。
模型贴图模块,每个扫描模组在扫描头部表面编码结构光照片的同时也会采集头部的纹理照片,我们将所述纹理图像、摄像机位置参数,并结合所述头部网格网格,进行纹理区域选择,得到头部网格模型的每一个三角网格区域对应的纹理图像,对所有的网三角格区域填充得到头部模型全景的纹理贴图。
由于网格模型的某些三角面可能被多个相机采集到,即一个三角面可能对应多个纹理照片上的不同区域,为此,本申请结合纹理清晰度(如区域像素数、模糊程度等)、三角面至镜头光心连线与三角面法线夹角(取锐角)来确定纹理区域选定的优先级。纹理区域像素数越大越清晰、所述夹角越小,选定该纹理区域的优先级越大,这样,保证了采集的图片纹理的效果最好。
同时由于视觉效果上人脸特征敏感性极高,特别是眼、眉、鼻、口。对于这些人脸高辨识度特征,如果在这些特征位置附近选用不同角度的相机纹理照片,即便相机间的标定精度很高保证纹理照片拼接很准,依然容易有眼歪、斗鸡眼、鼻口倾斜或不对称等贴图缺陷,如图9所示,为保证正脸等高辨识度部位的贴图一致性,前述正脸扫描模组保证了人脸敏感性区域的三角面区域像素数、所述夹角最大化,即确保采用所述正脸扫描模组对人脸敏感特征的纹理贴图的优先级最高,避免了在人脸敏感性区域穿插左侧、右侧模组纹理图造成的所述贴图缺陷,在实践中能自动生成最好的贴图效果,如图10所示。
采用本发明实施例一中的***得到的头部建模***,***复杂度和成本大幅降低,扫描和建模速度大幅提高,建模的精度大幅提升——头部白模上的五官及凸凹清晰准确、纹理贴图准确清晰、白模和纹理图的缺陷如耳朵等处的孔洞问题等有效减少,基本达到头部建模立等可取的状态(1分钟以内输出成品模型)。
实施例二
本申请的另一实施例提供了一种轻量级头部建模方法,该方法用以配合前一实施例中的***,该方法包括:
沿待扫描人体头部的前、后、左、右四个方向布设四个结构光扫描模组,分别采集头部各侧区域的点云数据和纹理图像,其中,每个所述扫描模组由投影机及摄像机组成;并且,保证投影区域和拍摄区域对各结构光扫描模组的点云数据进行3D重建,并对重建后的点云数据处理后拼接得到最终的头部点云;
采用泊松重建算法对所述头部点云进行三角网格化处理,得到头部网格模型;
根据所述纹理图像、摄像机位置参数,并结合所述头部网格模型,进行纹理区域选择,得到头部网格模型的每一个三角网格区域对应的纹理图像,对所有的网三角格区域依次渲染得到头部模型全景的纹理贴图。
采用本发明实施例二中的建模方法得到的人体头部建模,***复杂度和成本大幅降低,扫描和建模速度大幅提高,建模的精度大幅提升——头部白模上的五官及凸凹清晰准确、纹理贴图准确清晰、白模和纹理图的缺陷如耳朵等处的孔洞问题等有效减少,基本达到头部建模立等可取的状态(1分钟以内输出成品模型)。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (7)
1.一种轻量级头部建模***,其特征在于,所述建模***包括:
沿待扫描人体头部的前、后、左、右四个方向布设的四个结构光扫描模组,分别采集头部各侧区域的编码结构光图像和纹理图像,其中,每个所述扫描模组由投影机及摄像机组成;
头部点云合成模块,用于对各结构光扫描模组的编码结构光图像进行3D重建,并对重建后形成的各点云数据处理后拼接得到最终的头部点云;
网格构建模块,采用泊松曲面重建算法对所述头部点云进行三角网格化处理,得到头部网格模型;
模型贴图模块,根据所述纹理图像、摄像机位置参数,并结合所述头部网格模型,进行纹理区域选择,得到头部网格模型的每一个三角网格区域对应的纹理图像,对所有的三角网格区域渲染得到头部模型全景的纹理贴图;
其中,所述结构光扫描模组包括均倾斜设置的正脸模组、后方模组、左侧模组和右侧模组,其中,所述正脸模组采用一台投影机和两台摄像机组成,两台所述摄像机分设于投影机上下两侧,所述后方模组、左侧模组和右侧模组均采用一台投影机和一台摄像机组成;
所述正脸模组、左侧模组、后方模组、右侧模组通过多个依次相连的连接杆围合形成立体框架固定结构,其中,所述立体框架固定结构被支撑固定在多个支撑杆上,各所述支撑杆与对应的立体框架固定结构为可拆卸连接;
所述后方模组的位置相对最高,所述左侧模组、右侧模组的位置相对最低,各所述结构光扫描模组距离待扫描人体头部表面的距离为360~400mm,各所述连接杆的边长为90~110厘米。
2.根据权利要求1所述的轻量级头部建模***,其特征在于,所述头部点云合成模块中的3D重建包括:选用投影图像pattern像素尺寸为1140*912;投影图像采用6位格雷码与4步相移结合的时间编码。
3.根据权利要求2所述的轻量级头部建模***,其特征在于,所述头部点云合成模块中的数据处理包括:对各扫描模组采集后合成的点云数据进行错误去除、滤波、降采样、去噪操作,并使用ICP配准算法进行同时配准,拼接成最终的所述头部点云。
4.根据权利要求1所述的轻量级头部建模***,其特征在于,所述纹理区域选择包括:根据图像纹理清晰度、相机法线和获取的网络模型的三角面表面的夹角来确定纹理区域选定的优先级,其中,纹理区域像素数越大、相机法线和三角面表面的夹角越大,则选定该纹理区域的优先级越大。
5.根据权利要求1所述的轻量级头部建模***,其特征在于,所述泊松曲面重建算法中,选取的八叉树的深度d参数值为8或者9。
6.根据权利要求1所述的轻量级头部建模***,其特征在于,每个扫描模组内设定投影机、摄像机的镜头光心间距为60mm~120mm,镜头同时指向目标区域的中心点,其中,投影机的投影区域和摄像机的摄像区域的重叠区域为待扫描人体头部的目标区域。
7.一种轻量级头部建模方法,其特征在于,所述方法包括:
沿待扫描人体头部的前、后、左、右四个方向布设四个结构光扫描模组,分别采集头部各侧区域的编码结构光图像和纹理图像,其中,每个所述扫描模组由投影机及摄像机组成;
对各结构光扫描模组的编码结构光图像进行3D重建,并对重建后形成的点云数据处理后拼接得到最终的头部点云;
采用泊松重建算法对所述头部点云进行三角网格化处理,得到头部网格模型;
根据所述纹理图像、摄像机位置参数,并结合所述头部网格模型,进行纹理区域选择,得到头部网格模型的每一个三角网格区域对应的纹理图像,对所有的三角网格区域渲染得到头部模型全景的纹理贴图;
其中,所述结构光扫描模组包括均倾斜设置的正脸模组、后方模组、左侧模组和右侧模组,其中,所述正脸模组采用一台投影机和两台摄像机组成,两台所述摄像机分设于投影机上下两侧,所述后方模组、左侧模组和右侧模组均采用一台投影机和一台摄像机组成;
所述正脸模组、左侧模组、后方模组、右侧模组通过多个依次相连的连接杆围合形成立体框架固定结构,其中,所述立体框架固定结构被支撑固定在多个支撑杆上,各所述支撑杆与对应的立体框架固定结构为可拆卸连接;
所述后方模组的位置相对最高,所述左侧模组、右侧模组的位置相对最低,各所述结构光扫描模组距离待扫描人体头部表面的距离为360~400mm,各所述连接杆的边长为90~110厘米。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310455380.7A CN116664796B (zh) | 2023-04-25 | 2023-04-25 | 轻量级头部建模***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310455380.7A CN116664796B (zh) | 2023-04-25 | 2023-04-25 | 轻量级头部建模***及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116664796A CN116664796A (zh) | 2023-08-29 |
CN116664796B true CN116664796B (zh) | 2024-04-02 |
Family
ID=87718004
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310455380.7A Active CN116664796B (zh) | 2023-04-25 | 2023-04-25 | 轻量级头部建模***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116664796B (zh) |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101667303A (zh) * | 2009-09-29 | 2010-03-10 | 浙江工业大学 | 一种基于编码结构光的三维重建方法 |
WO2017026839A1 (ko) * | 2015-08-12 | 2017-02-16 | 트라이큐빅스 인크. | 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치 |
CN106709947A (zh) * | 2016-12-20 | 2017-05-24 | 西安交通大学 | 一种基于rgbd相机的三维人体快速建模*** |
CN108151671A (zh) * | 2016-12-05 | 2018-06-12 | 杭州先临三维科技股份有限公司 | 一种三维数字成像传感器、三维扫描***及其扫描方法 |
CN110288642A (zh) * | 2019-05-25 | 2019-09-27 | 西南电子技术研究所(中国电子科技集团公司第十研究所) | 基于相机阵列的三维物体快速重建方法 |
CN110363858A (zh) * | 2019-06-18 | 2019-10-22 | 新拓三维技术(深圳)有限公司 | 一种三维人脸重建方法及*** |
CN110500970A (zh) * | 2019-08-01 | 2019-11-26 | 佛山市南海区广工大数控装备协同创新研究院 | 一种多频率结构光三维测量设备和方法 |
CN112002010A (zh) * | 2020-08-12 | 2020-11-27 | 中国人民解放军总医院 | 基于线激光扫描的损伤皮肤重建方法及重建*** |
CN112284291A (zh) * | 2020-10-22 | 2021-01-29 | 华中科技大学鄂州工业技术研究院 | 一种可获取物理纹理的三维扫描方法及装置 |
CN112562082A (zh) * | 2020-08-06 | 2021-03-26 | 长春理工大学 | 一种三维人脸重建方法及*** |
CN113012277A (zh) * | 2021-02-03 | 2021-06-22 | 中国地质大学(武汉) | 一种基于dlp面结构光多相机重建方法 |
CN115205491A (zh) * | 2022-06-28 | 2022-10-18 | 大连民族大学 | 一种手持多视图三维重建的方法及装置 |
WO2022218355A1 (zh) * | 2021-04-13 | 2022-10-20 | 先临三维科技股份有限公司 | 一种三维扫描仪、***及三维重建方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101841668B1 (ko) * | 2012-02-15 | 2018-03-27 | 한국전자통신연구원 | 입체 모델 생성 장치 및 방법 |
US20170032565A1 (en) * | 2015-07-13 | 2017-02-02 | Shenzhen University | Three-dimensional facial reconstruction method and system |
US11769309B2 (en) * | 2018-04-30 | 2023-09-26 | Mathew Powers | Method and system of rendering a 3D image for automated facial morphing with a learned generic head model |
-
2023
- 2023-04-25 CN CN202310455380.7A patent/CN116664796B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101667303A (zh) * | 2009-09-29 | 2010-03-10 | 浙江工业大学 | 一种基于编码结构光的三维重建方法 |
WO2017026839A1 (ko) * | 2015-08-12 | 2017-02-16 | 트라이큐빅스 인크. | 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치 |
CN108151671A (zh) * | 2016-12-05 | 2018-06-12 | 杭州先临三维科技股份有限公司 | 一种三维数字成像传感器、三维扫描***及其扫描方法 |
CN106709947A (zh) * | 2016-12-20 | 2017-05-24 | 西安交通大学 | 一种基于rgbd相机的三维人体快速建模*** |
CN110288642A (zh) * | 2019-05-25 | 2019-09-27 | 西南电子技术研究所(中国电子科技集团公司第十研究所) | 基于相机阵列的三维物体快速重建方法 |
CN110363858A (zh) * | 2019-06-18 | 2019-10-22 | 新拓三维技术(深圳)有限公司 | 一种三维人脸重建方法及*** |
CN110500970A (zh) * | 2019-08-01 | 2019-11-26 | 佛山市南海区广工大数控装备协同创新研究院 | 一种多频率结构光三维测量设备和方法 |
CN112562082A (zh) * | 2020-08-06 | 2021-03-26 | 长春理工大学 | 一种三维人脸重建方法及*** |
CN112002010A (zh) * | 2020-08-12 | 2020-11-27 | 中国人民解放军总医院 | 基于线激光扫描的损伤皮肤重建方法及重建*** |
CN112284291A (zh) * | 2020-10-22 | 2021-01-29 | 华中科技大学鄂州工业技术研究院 | 一种可获取物理纹理的三维扫描方法及装置 |
CN113012277A (zh) * | 2021-02-03 | 2021-06-22 | 中国地质大学(武汉) | 一种基于dlp面结构光多相机重建方法 |
WO2022218355A1 (zh) * | 2021-04-13 | 2022-10-20 | 先临三维科技股份有限公司 | 一种三维扫描仪、***及三维重建方法 |
CN115205491A (zh) * | 2022-06-28 | 2022-10-18 | 大连民族大学 | 一种手持多视图三维重建的方法及装置 |
Non-Patent Citations (4)
Title |
---|
3D真的来了吗?――三维结构光传感器漫谈;左超;张晓磊;胡岩;尹维;沈德同;钟锦鑫;郑晶;陈钱;;红外与激光工程;20200325(03);1-45 * |
基于彩色结构光的三维重构方法;韩成;秦贵和;宫宇;张超;薛耀红;;吉林大学学报(工学版);20130915(05);1343-1351 * |
基于彩色结构光的实时三维重建;黄俊春;章炯民;;计算机应用与软件;20091215(12);235-261 * |
基于结构光的反光工件在机三维重构;王中任;张明;梅顺齐;;制造业自动化;20151010(19);8-10、22 * |
Also Published As
Publication number | Publication date |
---|---|
CN116664796A (zh) | 2023-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110363858B (zh) | 一种三维人脸重建方法及*** | |
US8432435B2 (en) | Ray image modeling for fast catadioptric light field rendering | |
Niem | Robust and fast modeling of 3D natural objects from multiple views | |
US7929751B2 (en) | Method and apparatus for absolute-coordinate three-dimensional surface imaging | |
ES2351961T3 (es) | Procedimiento basado en imágenes de representación y reproducción de objetos tridimensionales. | |
US9317970B2 (en) | Coupled reconstruction of hair and skin | |
EP1640915B1 (en) | Method and system for providing a volumetric representation of a 3-dimensional object | |
Seitz | Image-based transformation of viewpoint and scene appearance | |
US20020186216A1 (en) | 3D computer modelling apparatus | |
WO2017123387A1 (en) | Three-dimensional acquisition and rendering | |
JP4035978B2 (ja) | 3次元形状モデルの評価方法および生成方法並びに装置 | |
CN111060006A (zh) | 一种基于三维模型的视点规划方法 | |
JP2000268179A (ja) | 三次元形状情報取得方法及び装置,二次元画像取得方法及び装置並びに記録媒体 | |
Rander | A multi-camera method for 3D digitization of dynamic, real-world events | |
CN112102491A (zh) | 一种基于面结构光的皮肤损伤表面三维重建方法 | |
CN111127641A (zh) | 一种具有高逼真面部特征的三维人体参数化建模方法 | |
CN113989434A (zh) | 一种人体三维重建方法及设备 | |
CN116664796B (zh) | 轻量级头部建模***及方法 | |
CN112132971A (zh) | 三维人体建模方法、装置、电子设备和存储介质 | |
D'Apuzzo | Human face modeling from multi images | |
JP2003123057A (ja) | 3次元形状モデルの生成方法および装置 | |
JP2002056407A (ja) | 画像生成システム | |
Wu et al. | Automatic and Improved Camera Information Processing for a 3D Photo-Modelling System | |
Mv et al. | A camera flash projector-based reconstruction system for digital preservation of artifacts | |
CN115719402A (zh) | 基于摄影制图法的真人数字化生产方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |