CN114049464A - 一种三维模型的重建方法及设备 - Google Patents
一种三维模型的重建方法及设备 Download PDFInfo
- Publication number
- CN114049464A CN114049464A CN202111347495.1A CN202111347495A CN114049464A CN 114049464 A CN114049464 A CN 114049464A CN 202111347495 A CN202111347495 A CN 202111347495A CN 114049464 A CN114049464 A CN 114049464A
- Authority
- CN
- China
- Prior art keywords
- target
- vertex
- model
- rgbd camera
- texture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000005070 sampling Methods 0.000 claims abstract description 10
- 238000009499 grossing Methods 0.000 claims abstract description 7
- 230000000007 visual effect Effects 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 4
- 238000005286 illumination Methods 0.000 abstract description 3
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000013507 mapping Methods 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
- G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及计算机视觉和计算机图形学技术领域,提供一种三维模型的重建方法及设备,采用训练好的模型,基于对各个普遍民用级RGBD相机采集的原始深度图和原始RGB图像预处理后的图像,生成初始几何模型和初始纹理模型,并对初始几何模型进行上采样和平滑处理,得到更精细、更真实自然的目标几何模型,进一步地,根据各个RGBD相机的标定结果和采集的原始RGB图像,获取目标几何模型上各个顶点各自的颜色值,得到与目标几何模型一致的目标纹理模型,减少了目标几何模型与高分辨率RGB图像映射时的纹理间隙、纹理错位、纹理光照不均匀等问题,无需人工参数,提高了重建效率和纹理精度,进而提高了重建的三维模型的精度。
Description
技术领域
本申请涉及计算机视觉和计算机图形学技术领域,尤其涉及一种三维模型的重建方法及设备。
背景技术
三维重建领域中对于人或物体的重建主要包括两部分,分别是显示模型外部轮廓的几何重建和显示模型外观颜色的纹理重建。其中,纹理重建在几何重建之后进行,主要是对三维模型的每一个顶点和面片进行着色,即获得空间几何模型上每一个顶点的RGB值,再对每一个三角面片包含的三个顶点的RGB值进行纹理计算,得到相应面片的颜色值,从而完成整个模型的纹理重建。
目前,纹理重建主要有两种方式:一是基于传统图形学的纹理重建方法,该方法将多个视角的RGB图像与几何重建的三维模型做纹理映射,首先将三维模型的几何顶点与RGB图像中像素点的UV坐标一一对应,然后对三角面片进行纹理计算。该方法可以获得高精度的纹理重建模型,但如果采用图形学算法自动映射,会存在纹理间隙,纹理错位等问题,降低了纹理重建的质量,因此,需要动画师手工修正映射关系。二是基于机器学***滑,纹理重建分辨率低,效果差。
发明内容
本申请实施例提供了一种三维模型的重建方法及设备,用以提高三维模型的重建精度。
第一方面,本申请实施例提供一种三维模型的重建方法,包括:
获取已标定的各个RGBD相机同步采集的原始深度图和原始RGB图像;
根据各张原始RGB图像,生成相应的原始深度图对应的同分辨率RGB图像;
根据所述各张原始深度图各自对应的掩码图像,分别对相应的原始深度图和同分辨率RGB图像进行分割,得到相应的目标深度图和目标RGB图像;
采用训练好的模型,根据各张目标深度图、各张目标RGB图像,获得目标对象的初始几何模型和初始纹理模型;
对所述初始几何模型进行上采样,得到目标几何模型,并对所述目标几何模型拼缝处的顶点数据进行平滑处理;
根据所述各个RGBD相机的标定结果,从所述各张原始RGB图像中,获取所述目标几何模型上各个顶点各自的颜色值,得到目标纹理模型;
根据所述目标几何模型和所述目标纹理模型,重建所述目标对象的三维模型。
第二方面,本申请实施例提供一种重建终端,包括显示器、存储器、至少一个通信外部接口和处理器,所述显示器、所述存储器、所述至少一个外部通信接口与所述处理器通过总线连接;
所述存储器存储有计算机程序指令,所述处理器根据所述计算机程序指令执行以下操作:
通过所述至少一个外部通信接口,获取已标定的各个RGBD相机同步采集的原始深度图和原始RGB图像;
根据各张原始RGB图像,生成相应的原始深度图对应的同分辨率RGB图像;
根据所述各张原始深度图各自对应的掩码图像,分别对相应的原始深度图和同分辨率RGB图像进行分割,得到相应的目标深度图和目标RGB图像;
采用训练好的模型,根据各张目标深度图、各张目标RGB图像,获得目标对象的初始几何模型和初始纹理模型;
对所述初始几何模型进行上采样,得到目标几何模型,并对所述目标几何模型拼缝处的顶点数据进行平滑处理;
根据所述各个RGBD相机的标定结果,从所述各张原始RGB图像中,获取所述目标几何模型上各个顶点各自的颜色值,得到目标纹理模型;
根据所述目标几何模型和所述目标纹理模型,重建所述目标对象的三维模型,并由所述显示器进行显示。
第三方面,本申请实施例提供一种计算机可读存储介质,计算机可读存储介质存储有计算机可执行指令,计算机可执行指令用于使重建终端执行本申请实施例提供的三维模型的重建方法。
本申请的上述实施例中,可适用于普遍的民用级RGBD相机,针对各个RGBD相机采集的原始深度图,生成了对应的同分辨率深度图,并通过掩码图像对原始深度图和同分辨率RGB图像进行分割,采用了训练好的模型,根据分割后的目标深度图和目标RGB图像,得到了初始几何模型和初始纹理模型,由于RGBD相机的深度分辨率较低,所以初始几何模型和初始纹理模型的精度较低。于是,对初始几何模型进行了上采样,得到更精细的目标几何模型,并且对目标几何模型进行了平滑,使目标几何模型更加真实、自然,进一步地,根据各个RGBD相机的标定结果和采集的原始RGB图像,获取目标几何模型上各个顶点各自的颜色值,得到与目标几何模型一致的目标纹理模型。由于RGBD相机的RGB图像的分辨率较高,可以满足高精度模型的重建需求,通过对初始几何模型上采样,这样,将目标几何模型与高分辨率的RGB图像进行纹理映射时,减少了纹理间隙、纹理错位、纹理光照不均匀等问题,无需人工参数,提高了重建效率和纹理精度,进而提高了重建的三维模型的精度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1示例性示出了本申请实施例提供的采集***架构图;
图2示例性示出了本申请实施例提供的各个RGBD相机的标定方法流程图;
图3示例性示出了本申请实施例提供的三维模型的重建方法流程图;
图4示例性示出了本申请实施例提供的深度学习网络模型;
图5示例性示出了本申请实施例提供的上采样方法流程图;
图6示例性示出了本申请实施例提供的目标纹理模型的重建过程流程图;
图7示例性示出了本申请实施例提供的一种重建终端的结构图。
具体实施方式
为使本申请的目的、实施方式和优点更加清楚,下面将结合本申请示例性实施例中的附图,对本申请示例性实施方式进行清楚、完整地描述,显然,所描述的示例性实施例仅是本申请一部分实施例,而不是全部的实施例。
基于本申请描述的示例性实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请所附权利要求保护的范围。此外,虽然本申请中公开内容按照示范性一个或几个实例来介绍,但应理解,可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。
需要说明的是,本申请中对于术语的简要说明,仅是为了方便理解接下来描述的实施方式,而不是意图限定本申请的实施方式。除非另有说明,这些术语应当按照其普通和通常的含义理解。
本申请的说明书和权利要求书及上述附图中的术语″第一″、″第二″等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语″包括″和″具有″以及他们的任何变形,意图在于覆盖但不排他的包含,例如,包含了一系列组件的产品或设备不必限于清楚地列出的那些组件,而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
本申请中使用的术语″模块″,是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合,能够执行与该元件相关的功能。
三维重建涉及形状、运动和材质数据,首先需要从各种传感器设备获得采集数据,然后使用三维重建方法对采集数据进行处理,从而重建出三维模型。
近年来,随着成像技术的不断发展,基于RGB相机的视觉三维重建技术逐渐成为研究热点。随后,RGBD相机的出现以及稠密SLAM算法的提出和优化进一步提高了三维重建的质量和效率。
三维重建是计算机视觉、计算机图形学等领域的重点前沿问题。此技术可广泛应用于增强现实、远程沉浸式通讯、三维视频直播等领域,改变的了人们的社交方式,具有很高的研究价值。相对于基于二维视频的社交***,实时三维重建的社交***重现了第一代社交方式中面对面的沉浸感。
远程三维社交***的核心技术涉及实时三维重建技术、二维或三维数据的编解码及传输技术、沉浸式渲染显示技术等。其中,三维重建数据包括描述三维几何的顶点数据、面片数据、纹理数据,顶点数据包括顶点位置、顶点法向、顶点颜色。基于这些数据,进行几何和纹理的三维重建。
三维重建主要包括几何重建和纹理重建两步部分。其中,纹理重建在几何重建之后进行,首先获得空间几何模型上每一个顶点的RGB值,再对每一个三角面片包含的三个顶点的RGB值进行纹理计算,得到相应面片的颜色值,从而完成整个模型的纹理重建。目前,纹理重建主要包括基于传统图形学的纹理重建方法和基于机器学习的纹理重建方法。
基于传统图形学的纹理重建方法中,通过对获取目标对象的一张或多张RGB图像进行分析处理,生成目标对象的三维模型的点云,针对点云中的每一个点,从RGB图像中找到与该点对应的像素点,并将对应像素点的颜色值作为该点的颜色值,进一步地,根据三个点的颜色均值,得到相应三角形面片的颜色值。该方法可以获得高精度的纹理重建模型,但如果采用图形学算法自动映射,会存在纹理间隙,纹理错位等问题,降低了纹理重建的质量,因此,需要动画师手工修正映射关系。
基于机器学***滑,重建纹理的分辨率低,效果差。
针对重建高精度较高的领域(如:影视、游戏、动画等行业)中,高质量的几何和纹理重建需要昂贵的多相机阵列的″鸟笼″等专业设备和专业人才,且这种重建是非实时的,需要花费大量时间获得高精度的三维模型。
高精度的纹理重建需要高分辨率的RGB信息,高分辨率的RGB信息需要与几何模型的顶点数相对应。然而,目前普遍的民用级RGBD相机的深度分辨率较低,一般为640*576(像素),不能直接重建出高精度、高顶点数和面片数的几何模型,这样,将高分辨率的RGB信息与低分辨率的几何模型进行纹理映射时,会造成严重的纹理间隙、纹理错位、纹理光照不均匀等问题。如果采用低分辨率的纹理重建和基于机器学习的纹理推理方法,由于缺少实际数据,导致纹理空间不准确、不真实,使得纹理重建的精细度较低,难以得到高精度的三维模型。
鉴于此,本申请实施例提供了一种三维模型的重建方法及设备,可针对普通的民用级RGBD相机采集的高分辨率的RGB图像和低分辨率的深度图启动、高效地进行纹理重建。相对于基于传统图形学的纹理重建,无需人工参与,避免了纹理间隙,纹理错位等问题,降低了纹理重建的质量;相对于基于机器学习的纹理重建方法,提高了纹理模型的分辨率。因此,在基于本申请实施例提供的纹理模型和几何模型重建三维模型时,提高了三维模型的精度。
其中,本申请实施例的纹理重建方法采用顶点颜色采集方法,相对于纹理图映射方法,顶点颜色采集法可以避免纹理拼接和融合带来的纹理间隙和纹理错位,并且不需要纹理映射的计算,不需要实时更新纹理图,三维模型实时通讯的可行性更强,可应用于全息通讯、虚拟直播等场景。
需要说明的是本申请实施例中分辨率的高低是针对深度图和RGB图像的比较而言的。
下面结合附图详细描述本申请的实施了。
通常的,一个RGBD相机包含一个彩色相机(RGB相机)和深度相机(IR相机),彩色相机用于采集RGB数据,深度相机用于采集深度数据。由于深度相机和彩色相机的视场角(Field Angle,FOV)不同,大多数基于FOV的RGBD相机会受到FOV的限制,这样,当搭建的采集***的范围过大时,会使得待重建对象在RGBD相机中所占的像素较少,在原本普通的民用级RGBD相机采集的深度数据分辨率较低的情况下,有效数据更少,难以重建高精度的几何模型。
对此,本申请实施例搭建了一套如图1所示的采集***,可以扩展RGBD相机的FOV范围,采集到更加丰富的RGB数据和深度数据。具体的,整个采集***包含多个RGBD相机,将多个RGBD相机布置为上下两层架构,如上层4台下层4台,上下两层RGBD相机均朝向待重建对象,上层RGBD相机倾斜摆放,下层相机水平摆放,并且,下层RGBD相机的俯仰角与水平方向的夹角范围为[-15°,15°],上下两层RGBD相机之间间隔0.5米左右,下层RGBD相机之间的纵向和横向间隔分别为2-3米。
通过将上层RGBD相机倾斜摆放,扩大了纵向FOV,可以得到待重建对象纵向方向上的丰富数据,将下层RGBD相机水平摆放,扩大了横向FOV,可以得到待重建对象横向方向上的丰富数据。
需要说明的是,本申请实施例对RGBD相机个数和类型不做限制性要求,例如可以使用8台Kinect相机,还可以使用6台结构光相机。
搭建好采集***后,对***内的各个RGBD相机进行标定。标定过程参见图2:
S201:从各个RGBD相机中选择一个参考相机。
在S201中,各个RGBD相机中的任何一个均可作为参考相机,以参考相机的坐标系为基准,将其它RGBD相机的坐标系向参考相机的坐标系对齐。
S202:采用棋盘格标定法,确定各个RGBD相机的目标内参数,以及各个RGBD相机中其它RGBD相机相对于参考相机的初始外参数。
在S202中,将棋盘格放入采集***中,由各个RGBD相机同步采集不同位姿的棋盘格图像,采用张氏标定法,确定各个RGBD相机的目标内参数,以及其它RGBD相机相对于参考相机的初始外参数。
S203:分别获取各个RGBD相机按照设定的时间间隔同步采集的多帧目标对象的深度图。
一种可选的实施方式为,执行S203时,目标对象(可以是人,也可以是物)进入采集***,各个RGBD相机按照设定的时间间隔(如2秒)同步采集目标对象的深度图,其中,目标对象可按照时间间隔移动30-50厘米,保持每个时间间隔内目标对象的位姿不同。可选的,时间间隔的数量可设置为5。
S204:将各个时间间隔内的各张深度图转换为点云数据,并对同一时间间隔内的点云数据进行融合,得到每个时间间隔对应的点云数据集。
一种可选的实施方式为,执行S204时,将5个时间间隔内各个RGBD相机同步采集的多张深度图转换为点运数据,并对同一时间间隔内各个RGBD相机的点云数据进行融合,得到5帧点云数据集。由于目标对象在不同时间间隔内进行了移动,从而增加了各个RGBD相机的公共视野区域,进而增加了融合后的5帧点云数据集的重合数据,提高了标定的准确性。
S205:根据初始外参数,对融合后的各个点云数据集进行最近点迭代,确定各个RGBD相机的目标外参数。
在S205中,将棋盘格标定确定的初始外参数,作为最近点迭代(IterativeClosest Point,ICP)迭代的初始值,采用基于光束平差法(Bundle Adjustment,BA),对各个点云数据集进行求解,得到各个RGBD相机的目标外参数。
其中,ICP算法采用最小二乘估计变换矩阵,是一种最经典的数据配准算法。采用ICP算法计算标定矩阵时,其对待配准点云的初始位置有一定要求,若所选初始位置不合理,则会导致算法陷入局部最优。因此,可用BA算法进行求解。Bundle指的是三维空间中的点投影到像平面上的光束,而重投影误差,正是利用这些Bundle来构建的,可以用来优化相机的初始内参数和初始外参数(包括:旋转矩阵和平移矩阵)。
具体实施时,将存在公共视野的两个RGBD相机对应的点云分别记为源点云数据集P和目标点云数据集Q,按照设定的约束条件,寻找最邻近点对(pi,qi),基于最邻近点对(pi,qi)计算出旋转矩阵R和平移矩阵t,并利用计算出的矩阵,将源点云数据集P变换到目标点云数据集Q的坐标系下,使用位姿误差函数f(R,t)估计变换后源点云数据集与目标点云数据集的误差,若误差大于预设阀值,则继续迭代,直到满足误差要求。其中,位姿误差函数f(R,t)如下:
其中,n为两个点云数据集中最邻近点对的数量,pi为源点云数据集中的第i个数据点,qi为目标点云数据集中的第i个数据点,R为旋转矩阵,t为平移矩阵。
对各个RGBD相机标定后,各个RGBD相机同步采集多张空场景的深度图作为背景,以用于后续前景后景的分割。
基于图1所示的***架构,图3示例性示出了本申请实施例提供的三维模型的重建方法,如图3所示,该流程由重建终端执行,主要包括以下几步:
S301:获取已标定的各个RGBD相机同步采集的原始深度图和原始RGB图像。
在S301中,一般基于FOV的RGBD相机中彩色相机和深度相机的分辨率不同,RGB图像的最高分辨率可达4096×2160像素(即4K),而深度图的最高分辨率可达640*576像素,因此,原始RGB图像的分辨率高于原始深度图的分辨率。
其中,各个RGBD相机的摆放参见图1,标定过程参见图2,在此不再重复。
对一些重建精度要求不高的交互场景,还可以采集2K的原始RGB图像,以减少传输的数据量。
S302:根据各张原始RGB图像,生成相应的原始深度图对应的同分辨率RGB图像。
在S302中,同一RGBD相机中彩色相机和深度相机的光心不同,彩色相机和深度相机的视角不同,导致同一RGBD相机采集的原始RGB图像和原始深度图存在视角差,通过消除视角差,将各个RGBD相机采集的原始RGB图像和原始深度图进行对齐,得到与各个RGBD相机采集的原始深度图同分辨率的RGB图像。
S303:根据各张原始深度图各自对应的掩码图像,分别对相应的原始深度图和同分辨率RGB图像进行分割,得到相应的目标深度图和目标RGB图像。
在S303中,基于各个RGBD相机标定后采集的空场景的深度图,以及各个RGBD相机采集的包含目标对象的原始深度图,进行前后背景的分割,得到各张原始深度图各自对应的掩码图像。利用每一张掩码图像,分别对相应的原始深度图和同分辨率RGB图像进行分割,提取出目标对象的目标深度图和目标RGB图像。
S304:采用训练好的模型,根据各张目标深度图、各张目标RGB图像,获得目标对象的初始几何模型和初始纹理模型。
在本申请的实施例中,预先对三维重建的模型进行训练,如图4所示,收集一些高分辨率的深度图和RGB图像作为训练样本,输入至基于隐函数的深度神经网络。网络一条分支可以根据输入的深度图得到模型的空间截断符号距离函数(Truncated SignedDistance Function,TSDF)值,再根据移动立方体(Marching Cube)算法获得模型的顶点和面片,最后通过顶点和面片计算出顶点的法向,完成几何重建。另一条分支可以根据输入RGB图像得到模型的顶点颜色,完成纹理重建。
基于训练好的模型,在S304中,将各个RGBD相机采集的原始深度图和原始深度图对应的同分辨率RGB图像,输入至训练好的模型中,该模型可直接端到端的输出三维模型的初始几何模型和初始纹理模型。
S305:对初始几何模型进行上采样,得到目标几何模型,并对目标几何模型拼缝处的顶点数据进行平滑处理。
初始几何模型的表面包含多个面片(可以是三角形,还可以是四边形),每个面片包含多个顶点。下面以一个三角形的面片i为例,描述初始几何模型的上采样过程,参见图5:
S3051:根据面片i包含的各个顶点的三维坐标的均值,确定一个新的顶点。
在S3051中,根据面片i包含的3个顶点的索引,获取3个顶点在空间中的三维坐标,并确定3个顶点三维坐标的均值,将均值在空间中对应的点作为一个新的顶点。
S3052:将新的顶点与面片i包含的各个顶点进行组合,生成多个新的面片。
在S3052中,将新顶点与3个顶点中的每2个顶点进行组合,生成3个新的面片。
S3053:确定面片i的法向和面积,并根据面片i的面积,确定新的顶点的移动距离。
在S3053中,新顶点的移动距离为一个经验系数乘以面片i的面积。
S3054:沿着面片i的法向方向,将新的顶点移动确定的距离。
通过对初始几何模型进行上采样,可以得到一个表面完整且平滑的目标几何模型,相对于初始几何模型,目标几何模型的顶点数和面片数都进行了提升,从而提高了几何模型的精细度。
在S305中,得到目标几何模型后,可根据各个RGBD相机的公共视野区域,确定目标几何模型的拼缝,并对拼缝处的顶点数据(包括顶点法向、顶点位置、顶点颜色等)进行平滑处理,提高几何模型的重建质量。
S306:根据各个RGBD相机的标定结果,从各张原始RGB图像中,获取目标几何模型上各个顶点对应的颜色值,得到目标纹理模型。
以目标几何模型上各个顶点中的一个顶点j为例,颜色值获取过程参见图6:
S3061:根据各个RGBD相机的标定结果,将顶点j分别投影到各张原始RGBD图中。
通过对各个RGBD相机的标定,得到各个RGBD相机的内参数和外参数,根据各个RGBD相机的内参数和外参数,将顶点j分别投影到各个RGBD相机采集的原始RGBD图中。投影公式如下:
x~K[R|t]X 公式2
其中,X表示顶点j的三维坐标,x表示顶点j在原始深度图中相应像素点的像素坐标,R和t为相应RGBD相机的外参数,K为相应RGBD相机的内参数。
S3062:将顶点j的深度值分别与各张原始深度图中相应像素点的像素值进行比较,并根据比较结果,确定顶点j是否出现在原始深度图对应的目标RGBD相机的视野中。
针对各张原始深度图中的每一张,执行以下操作:
确定顶点j的深度值(通常为顶点j三维坐标的z值)和当前原始深度图中相应像素点的像素值的差值,将确定的差值与预设阈值(如0.02cm)进行比较,若该差值小于预设阈值,则确定顶点j出现在当前原始深度图对应的目标RGBD相机的视野中,否则,确定顶点j未出现在当前原始深度图对应的目标RGBD相机的视野中。
S3063:将顶点j投影到目标RGBD相机采集的原始RGB图像中,并将投影点的颜色值作为顶点j的颜色值。
在S3063中,当确定顶点j出现在目标RGBD相机的视野中后,采用公式2,将顶点j投影到目标RGBD相机采集的原始RGB图像中,获取顶点j在原始RGB图像中投影点的颜色值,并将获取的颜色值作为顶点j的颜色值(即R分量、G分量和B分量的值)。
在一些实施例中,当顶点j同时出现在多个目标RGBD相机的视野中时,需要确定各个目标RGBD相机对应的权重。具体的,获取顶点j在各个目标RGBD相机中的深度值,对获取的各个深度值进行归一化,根据归一化的结果确定相应目标RGBD相机对应的权重,公式如下:
其中,wh表示顶点j在第h个目标RGBD相机中的深度值,l表示目标RGBD相机的个数,ωh表示第h个目标RGBD相机对应的权重。
确定各个目标RGBD相机对应的权重后,在S3063中,分别将顶点j按照公式2投影到各个目标RGBD相机采集的原始RGB图像中,并分别获取顶点j在各个原始RGB图像中投影点的颜色值,对顶点j对应的各个颜色值进行加权,得到顶点j最终的颜色值。具体的,根据各个目标RGBD相机的权重、从各个目标RGBD相机采集的原始RGB图像中获取的颜色值,确定顶点j最终的颜色值,颜色值的公式如下:
Cnew=∑hωh*ch 公式4
其中,Cnew表示顶点j最终的颜色值,ωh表示第h个目标RGBD相机对应的权重,ch表示顶点j在第h个目标RGBD相机采集的原始RGB图像中对应像素点的颜色值。
需要说明的是,当顶点j不出现在各个RGBD相机的视野中时,则将初始纹理模型中顶点j颜色值作为最终的颜色值。
S307:根据目标几何模型和目标纹理模型,重建目标对象的三维模型。
在S307中,目标几何模型中的顶点数和面片数更加丰富,提高了几何模型的精细程度,而目标为纹理模型中各个顶点的颜色值是从高分辨率的原始RGB图像中采集到的,纹理精度更高,因此,当根据目标几何模型和目标纹理模型重建目标对象的三维模型时,可以提高三维模型的精度。
为了进一步提高纹理模型的重建质量,在一些实施例中,在执行306之后,执行S307之前,还可对目标纹理模型进行更新。具体的,将预设滑动窗按照设定步长在目标几何模型的空间上进行滑动,对连续N个预设滑动窗内的各个顶点的颜色值进行融合,从而更新目标纹理模型,得到一个平滑和完整,且由高分辨率顶点颜色值组成的三维纹理模型。其中,N为大于等于1的整数。
例如,设置一个滑动窗,该滑动窗最多包含30个顶点,将连续3个滑动窗内的各个顶点的颜色值进行融合,乘以一个三维卷积核后,得到三维纹理模型。
本申请的上述实施例中,利用普通的民用级RGBD相机采集的原始深度图生成初始几何模型,通过对初始几何模型进行上采样,得到高精度的目标几何模型,这样,可以基于RGBD相机采集的高分辨率的原始RGB图像,获取目标几何模型中各个顶点的颜色值,得到与目标几何模型一致的目标纹理模型,相对于基于传统图形学的纹理重建方法,该方法解决了图形映射中纹理间隙、纹理错位、纹理光照不均等问题,提高了纹理重建的质量,无需人工参与,降低了重建成本,提高了重建效率,可实现基于机器学习的纹理重建方法的自动化;且相对于基于机器学习的纹理重建方法,该方法纹理的重建精度更高,复杂度更低,可以解决实时动态更新纹理中的纹理扭曲、拉伸等问题。进而,基于目标几何模型和目标纹理模型进行三维重建时,可以得到更高精度的三维模型。
基于相同的技术构思,本申请实施例提供一种重建终端,该重建终端可执本申请实施例提供的三维模型的重建方法流程,并能达到同样的技术效果,在此不再重复。
参见图7,该重建终端包括处理器701、存储器702、显示器803和至少一个外部通信接口704,至少一个外部通信接口704、显示器703和存储器702与处理器701通过总线705连接;
存储器702存储有计算机程序指令,处理器701根据计算机程序指令执行以下操作:
通过至少一个外部通信接口704,获取已标定的各个RGBD相机同步采集的原始深度图和原始RGB图像;
根据各张原始RGB图像,生成相应的原始深度图对应的同分辨率RGB图像;
根据各张原始深度图各自对应的掩码图像,分别对相应的原始深度图和同分辨率RGB图像进行分割,得到相应的目标深度图和目标RGB图像;
采用训练好的模型,根据各张目标深度图、各张目标RGB图像,获得目标对象的初始几何模型和初始纹理模型;
对初始几何模型进行上采样,得到目标几何模型,并对目标几何模型拼缝处的顶点数据进行平滑处理;
根据各个RGBD相机的标定结果,从各张原始RGB图像中,获取目标几何模型上各个顶点各自的颜色值,得到目标纹理模型;
根据目标几何模型和目标纹理模型,重建目标对象的三维模型,并由显示器703进行显示。
可选的,在得到目标纹理模型之后,重建目标对象的三维模型之前,处理器701还执行:
将预设滑动窗按照设定步长在目标几何模型的空间上进行滑动;
对连续N个预设滑动窗内的各个顶点的颜色值进行融合,以更新目标纹理模型,N为大于等于1的整数。
可选的,处理器701根据各个RGBD相机的标定结果,从各张原始RGB图像中,获取目标几何模型上各个顶点各自的颜色值,具体操作为:
针对各个顶点中的每一个顶点,执行以下操作:
根据各个RGBD相机的标定结果,将一个顶点分别投影到各张原始RGBD图中;
将一个顶点的深度值分别与各张原始深度图中相应像素点的像素值进行比较,并根据比较结果,确定一个顶点是否出现在相应的原始深度图对应的目标RGBD相机的视野中;
将一个顶点投影到目标RGBD相机采集的原始RGB图像中,并将投影点的颜色值作为一个顶点的颜色值。
可选的,处理器701将一个顶点的深度值分别与各张原始深度图中相应像素点的像素值进行比较,并根据比较结果,确定一个顶点是否出现在相应的原始深度图对应的目标RGBD相机的视野中,具体操作为:
针对各张原始深度图中的每一张原始深度图,执行以下操作:
确定一个顶点的深度值和一张原始深度图中相应像素点的像素值的差值;
若差值小于预设阈值,则确定一个顶点出现在一张原始深度图对应的目标RGBD相机的视野中,否则,确定一个顶点未出现在一张原始深度图对应的目标RGBD相机的视野中。
可选的,当一个顶点同时出现在多个目标RGBD相机的视野中时,处理器701通过以下方式确定一个顶点的颜色值:
分别获取一个顶点在各个目标RGBD相机采集的原始RGB图像中的颜色值;
对一个顶点的各个颜色值进行加权,得到一个顶点最终的颜色值。
可选的,处理器701对一个顶点的各个颜色值进行加权,得到一个顶点最终的颜色值,具体操作包括:
对一个顶点在各个目标RGBD相机中的深度值进行归一化,根据归一化的结果确定相应目标RGBD相机对应的权重;
根据各个目标RGBD相机的权重和获取的各个颜色值,确定一个顶点最终的颜色值。
可选的,处理器701对初始几何模型进行上采样,得到目标几何模型,具体操作包括:
针对初始几何模型的每一个面片,执行以下操作:
根据一个面片包含的各个顶点的三维坐标的均值,确定一个新的顶点;
将新的顶点与一个面片包含的各个顶点进行组合,生成多个新的面片;
确定一个面片的法向和面积,并根据一个面片的面积,确定新的顶点的移动距离;
沿着一个面片的法向方向,将新的顶点移动确定的距离。
可选的,处理器701通过以下方式对各个RGBD相机进行标定:
从各个RGBD相机中选择一个参考相机;
采用棋盘格标定法,确定各个RGBD相机的目标内参数,以及各个RGBD相机中其它RGBD相机相对于参考相机的初始外参数;
分别获取各个RGBD相机按照设定的时间间隔同步采集的多张目标对象的深度图,其中,每个时间间隔内目标对象的位姿不同;
将各个时间间隔内的各张深度图转换为点云数据,并对同一时间间隔内的点云数据进行融合,得到每个时间间隔对应的点云数据集;
根据初始外参数,对融合后的各个点云数据集进行最近点迭代,确定各个RGBD相机的目标外参数。
可选的,各个RGBD相机分为上下两层,上层RGBD相机水平摆放,下层RGBD相机倾斜摆放,下层RGBD相机的俯仰角与水平方向的夹角为[-15°,15°]。
本申请实施例还提供一种计算机可读存储介质,用于存储一些指令,这些指令被执行时,可以完成前述实施例的方法。
本申请实施例还提供一种计算机程序产品,用于存储计算机程序,该计算机程序用于执行前述实施例的方法。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
为了方便解释,已经结合具体的实施方式进行了上述说明。但是,上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导,可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用,从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。
Claims (10)
1.一种三维模型的重建方法,其特征在于,包括:
获取已标定的各个RGBD相机同步采集的原始深度图和原始RGB图像;
根据各张原始RGB图像,生成相应的原始深度图对应的同分辨率RGB图像;
根据所述各张原始深度图各自对应的掩码图像,分别对相应的原始深度图和同分辨率RGB图像进行分割,得到相应的目标深度图和目标RGB图像;
采用训练好的模型,根据各张目标深度图、各张目标RGB图像,获得目标对象的初始几何模型和初始纹理模型;
对所述初始几何模型进行上采样,得到目标几何模型,并对所述目标几何模型拼缝处的顶点数据进行平滑处理;
根据所述各个RGBD相机的标定结果,从所述各张原始RGB图像中,获取所述目标几何模型上各个顶点各自的颜色值,得到目标纹理模型;
根据所述目标几何模型和所述目标纹理模型,重建所述目标对象的三维模型。
2.如权利要求1所述的方法,其特征在于,在得到所述目标纹理模型之后,重建所述目标对象的三维模型之前,还包括:
将预设滑动窗按照设定步长在所述目标几何模型的空间上进行滑动;
对连续N个预设滑动窗内的各个顶点的颜色值进行融合,以更新所述目标纹理模型,N为大于等于1的整数。
3.如权利要求1所述的方法,其特征在于,所述根据所述各个RGBD相机的标定结果,从所述各张原始RGB图像中,获取所述目标几何模型上各个顶点各自的颜色值,包括:
针对所述各个顶点中的每一个顶点,执行以下操作:
根据所述各个RGBD相机的标定结果,将所述一个顶点分别投影到各张原始深度图中;
将所述一个顶点的深度值分别与所述各张原始深度图中相应像素点的像素值进行比较,并根据比较结果,确定所述一个顶点是否出现在相应的原始深度图对应的目标RGBD相机的视野中;
将所述一个顶点投影到所述目标RGBD相机采集的原始RGB图像中,并将投影点的颜色值作为所述一个顶点的颜色值。
4.如权利要求3所述的方法,其特征在于,所述将所述一个顶点的深度值分别与所述各张原始深度图中相应像素点的像素值进行比较,并根据比较结果,确定所述一个顶点是否出现在相应的原始深度图对应的目标RGBD相机的视野中,包括:
针对各张原始深度图中的每一张原始深度图,执行以下操作:
确定所述一个顶点的深度值和所述一张原始深度图中相应像素点的像素值的差值;
若所述差值小于预设阈值,则确定所述一个顶点出现在所述一张原始深度图对应的目标RGBD相机的视野中,否则,确定所述一个顶点未出现在所述一张原始深度图对应的目标RGBD相机的视野中。
5.如权利要求3所述的方法,其特征在于,当所述一个顶点同时出现在多个目标RGBD相机的视野中时,则通过以下方式确定所述一个顶点的颜色值:
分别获取所述一个顶点在各个目标RGBD相机采集的原始RGB图像中的颜色值;
对所述一个顶点的各个颜色值进行加权,得到所述一个顶点最终的颜色值。
6.如权利要求5所述的方法,其特征在于,所述对所述一个顶点的各个颜色值进行加权,得到所述一个顶点最终的颜色值,包括:
对所述一个顶点在所述各个目标RGBD相机中的深度值进行归一化,根据归一化的结果确定相应目标RGBD相机对应的权重;
根据所述各个目标RGBD相机的权重和获取的各个颜色值,确定所述一个顶点最终的颜色值。
7.如权利要求1所述的方法,其特征在于,所述对所述初始几何模型进行上采样,得到目标几何模型:
针对所述初始几何模型的每一个面片,执行以下操作:
根据所述一个面片包含的各个顶点的三维坐标的均值,确定一个新的顶点;
将所述新的顶点与所述一个面片包含的各个顶点进行组合,生成多个新的面片;
确定所述一个面片的法向和面积,并根据所述一个面片的面积,确定所述新的顶点的移动距离;
沿着所述一个面片的法向方向,将所述新的顶点移动确定的距离。
8.如权利要求1-7中任一项所述的方法,其特征在于,通过以下方式对各个RGBD相机进行标定:
从所述各个RGBD相机中选择一个参考相机;
采用棋盘格标定法,确定所述各个RGBD相机的目标内参数,以及所述各个RGBD相机中其它RGBD相机相对于所述参考相机的初始外参数;
分别获取所述各个RGBD相机按照设定的时间间隔同步采集的多张目标对象的深度图,其中,每个时间间隔内所述目标对象的位姿不同;
将各个时间间隔内的各张深度图转换为点云数据,并对同一时间间隔内的点云数据进行融合,得到每个时间间隔对应的点云数据集;
根据所述初始外参数,对融合后的各个点云数据集进行最近点迭代,确定所述各个RGBD相机的目标外参数。
9.如权利要求1-7中任一项所述的方法,其特征在于,所述各个RGBD相机分为上下两层,上层RGBD相机水平摆放,下层RGBD相机倾斜摆放,所述下层RGBD相机的俯仰角与水平方向的夹角为[-15°,15°]。
10.一种重建终端,其特征在于,包括显示器、存储器、至少一个通信外部接口和处理器,所述显示器、所述存储器、所述至少一个外部通信接口与所述处理器通过总线连接;
所述存储器存储有计算机程序指令,所述处理器根据所述计算机程序指令执行以下操作:
通过所述至少一个外部通信接口,获取已标定的各个RGBD相机同步采集的原始深度图和原始RGB图像;
根据各张原始RGB图像,生成相应的原始深度图对应的同分辨率RGB图像;
根据所述各张原始深度图各自对应的掩码图像,分别对相应的原始深度图和同分辨率RGB图像进行分割,得到相应的目标深度图和目标RGB图像;
采用训练好的模型,根据各张目标深度图、各张目标RGB图像,获得目标对象的初始几何模型和初始纹理模型;
对所述初始几何模型进行上采样,得到目标几何模型,并对所述目标几何模型拼缝处的顶点数据进行平滑处理;
根据所述各个RGBD相机的标定结果,从所述各张原始RGB图像中,获取所述目标几何模型上各个顶点各自的颜色值,得到目标纹理模型;
根据所述目标几何模型和所述目标纹理模型,重建所述目标对象的三维模型,并由所述显示器进行显示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111347495.1A CN114049464A (zh) | 2021-11-15 | 2021-11-15 | 一种三维模型的重建方法及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111347495.1A CN114049464A (zh) | 2021-11-15 | 2021-11-15 | 一种三维模型的重建方法及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114049464A true CN114049464A (zh) | 2022-02-15 |
Family
ID=80209066
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111347495.1A Pending CN114049464A (zh) | 2021-11-15 | 2021-11-15 | 一种三维模型的重建方法及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114049464A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115294277A (zh) * | 2022-08-10 | 2022-11-04 | 广州沃佳科技有限公司 | 一种物体的三维重建方法、装置、电子设备及存储介质 |
CN116168163A (zh) * | 2023-03-29 | 2023-05-26 | 湖北工业大学 | 三维模型构建方法、装置及存储介质 |
CN116740261A (zh) * | 2022-03-02 | 2023-09-12 | 腾讯科技(深圳)有限公司 | 图像重建方法和装置、图像重建模型的训练方法和装置 |
CN117237544A (zh) * | 2023-11-13 | 2023-12-15 | 天津云圣智能科技有限责任公司 | 一种训练数据的生成方法、装置、电子设备及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108154550A (zh) * | 2017-11-29 | 2018-06-12 | 深圳奥比中光科技有限公司 | 基于rgbd相机的人脸实时三维重建方法 |
CN109903372A (zh) * | 2019-01-28 | 2019-06-18 | 中国科学院自动化研究所 | 深度图超分辨率补全方法及高质量三维重建方法与*** |
CN111243071A (zh) * | 2020-01-08 | 2020-06-05 | 叠境数字科技(上海)有限公司 | 实时三维人体重建的纹理渲染方法、***、芯片、设备和介质 |
CN111462300A (zh) * | 2020-03-05 | 2020-07-28 | 清华大学 | 衣物物理模型驱动的实时人体动态三维重建方法及*** |
CN111524233A (zh) * | 2020-03-25 | 2020-08-11 | 青岛联合创智科技有限公司 | 一种静态场景动态目标的三维重建方法 |
CN113313818A (zh) * | 2021-06-07 | 2021-08-27 | 聚好看科技股份有限公司 | 一种三维重建方法、装置及*** |
CN113628327A (zh) * | 2021-08-12 | 2021-11-09 | 聚好看科技股份有限公司 | 一种头部三维重建方法及设备 |
-
2021
- 2021-11-15 CN CN202111347495.1A patent/CN114049464A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108154550A (zh) * | 2017-11-29 | 2018-06-12 | 深圳奥比中光科技有限公司 | 基于rgbd相机的人脸实时三维重建方法 |
CN109903372A (zh) * | 2019-01-28 | 2019-06-18 | 中国科学院自动化研究所 | 深度图超分辨率补全方法及高质量三维重建方法与*** |
CN111243071A (zh) * | 2020-01-08 | 2020-06-05 | 叠境数字科技(上海)有限公司 | 实时三维人体重建的纹理渲染方法、***、芯片、设备和介质 |
CN111462300A (zh) * | 2020-03-05 | 2020-07-28 | 清华大学 | 衣物物理模型驱动的实时人体动态三维重建方法及*** |
CN111524233A (zh) * | 2020-03-25 | 2020-08-11 | 青岛联合创智科技有限公司 | 一种静态场景动态目标的三维重建方法 |
CN113313818A (zh) * | 2021-06-07 | 2021-08-27 | 聚好看科技股份有限公司 | 一种三维重建方法、装置及*** |
CN113628327A (zh) * | 2021-08-12 | 2021-11-09 | 聚好看科技股份有限公司 | 一种头部三维重建方法及设备 |
Non-Patent Citations (1)
Title |
---|
周泽浩;张之江;: "基于RGB-D相机数据的人体三维重建***", 工业控制计算机, no. 09, 25 September 2020 (2020-09-25) * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116740261A (zh) * | 2022-03-02 | 2023-09-12 | 腾讯科技(深圳)有限公司 | 图像重建方法和装置、图像重建模型的训练方法和装置 |
CN115294277A (zh) * | 2022-08-10 | 2022-11-04 | 广州沃佳科技有限公司 | 一种物体的三维重建方法、装置、电子设备及存储介质 |
CN116168163A (zh) * | 2023-03-29 | 2023-05-26 | 湖北工业大学 | 三维模型构建方法、装置及存储介质 |
CN116168163B (zh) * | 2023-03-29 | 2023-11-17 | 湖北工业大学 | 三维模型构建方法、装置及存储介质 |
CN117237544A (zh) * | 2023-11-13 | 2023-12-15 | 天津云圣智能科技有限责任公司 | 一种训练数据的生成方法、装置、电子设备及存储介质 |
CN117237544B (zh) * | 2023-11-13 | 2024-01-26 | 天津云圣智能科技有限责任公司 | 一种训练数据的生成方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112465955B (zh) | 一种动态人体三维重建和视角合成方法 | |
CN114049464A (zh) | 一种三维模型的重建方法及设备 | |
CN115082639B (zh) | 图像生成方法、装置、电子设备和存储介质 | |
CN111194550B (zh) | 处理3d视频内容 | |
CN109462747B (zh) | 基于生成对抗网络的dibr***空洞填充方法 | |
CN110381268B (zh) | 生成视频的方法,装置,存储介质及电子设备 | |
US11790610B2 (en) | Systems and methods for selective image compositing | |
US20230027234A1 (en) | Multi-view neural human rendering | |
CN113313828B (zh) | 基于单图片本征图像分解的三维重建方法与*** | |
CN108416803A (zh) | 一种基于深度神经网络的多信息融合的场景深度恢复方法 | |
US20230071559A1 (en) | Neural opacity point cloud | |
AU2022231680B2 (en) | Techniques for re-aging faces in images and video frames | |
CN113077505A (zh) | 一种基于对比学习的单目深度估计网络的优化方法 | |
CN110245199A (zh) | 一种大倾角视频与2d地图的融合方法 | |
CN112802186B (zh) | 基于二值化特征编码匹配的动态场景实时三维重建方法 | |
CN113989434A (zh) | 一种人体三维重建方法及设备 | |
JP6799468B2 (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
CN117501313A (zh) | 基于深度神经网络的毛发渲染*** | |
CN114332321B (zh) | 一种基于神经纹理的动态人脸重建方法和装置 | |
CN114998514A (zh) | 一种虚拟角色的生成方法及设备 | |
KR102440916B1 (ko) | 데이터 결합을 통한 3차원 문화재의 데이터베이스 구축방법 및 시스템 | |
CN115457171A (zh) | 一种采用基表情空间变换的高效表情迁移方法 | |
CN113240573B (zh) | 局部和全局并行学习的高分辨率图像风格变换方法及*** | |
CN115049559A (zh) | 模型训练、人脸图像处理、人脸模型处理方法及装置、电子设备及可读存储介质 | |
CN113920270A (zh) | 一种基于多视角全景的布局重建方法及其*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |