CN108711185B - 联合刚性运动和非刚性形变的三维重建方法及装置 - Google Patents
联合刚性运动和非刚性形变的三维重建方法及装置 Download PDFInfo
- Publication number
- CN108711185B CN108711185B CN201810460091.5A CN201810460091A CN108711185B CN 108711185 B CN108711185 B CN 108711185B CN 201810460091 A CN201810460091 A CN 201810460091A CN 108711185 B CN108711185 B CN 108711185B
- Authority
- CN
- China
- Prior art keywords
- rigid
- model
- dimensional
- motion
- vertex
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000009466 transformation Effects 0.000 claims abstract description 20
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 238000005457 optimization Methods 0.000 claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims description 44
- 230000009471 action Effects 0.000 claims description 25
- 210000000988 bone and bone Anatomy 0.000 claims description 24
- 230000000694 effects Effects 0.000 claims description 8
- 238000013519 translation Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 239000004576 sand Substances 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 4
- 238000006073 displacement reaction Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种联合刚性运动和非刚性形变的三维重建方法及装置,其中,方法包括:对目标对象进行基于深度相机的拍摄得到单张深度图像;通过三维骨架提取算法对深度点云进行三维骨架提取;获取三维点云和重建模型顶点之间的匹配点对;根据匹配点对和三维骨架信息建立能量函数,并求解重建模型上每一个顶点的非刚性运动位置变换参数并优化对象骨架参数;对能量函数进行GPU优化求解,以获得每个表面顶点的非刚性形变,并根据求解结果将前一帧的重建三维模型进行形变,使得形变模型与当前帧三维点云进行对齐;获得当前帧的更新后的模型,以进入下一帧的迭代。该方法可以有效提高重建的实时性、鲁棒性和准确性,扩展性强,简单易实现。
Description
技术领域
本发明涉及计算机视觉和计算机图形学技术领域,特别涉及一种联合刚性运动和非刚性形变的三维重建方法及装置。
背景技术
动态对象三维重建是计算机图形学和计算机视觉领域的重点问题。高质量的动态对象三维模型,如人体,动物,人脸,人手部等,在影视娱乐、体育游戏、虚拟现实等领域有着广泛的应用前景和重要的应用价值。但是高质量三维模型的获取通常依靠价格昂贵的激光扫描仪或者多相机阵列***来实现,虽然精度较高,但是也显著存在着一些缺点:第一,扫描过程中要求对象保持绝对静止,微小的移动就会导致扫描结果存在明显的误差;第二,造假昂贵,很难普及到普通民众日常生活中,往往应用于大公司或国家统计部门。第三,速度慢,往往重建一个三维模型需要至少10分钟到数小时的时间,重建动态模型序列的代价更大。
从技术角度,现有的重建方法要么集中在先求解对象的刚性运动信息,获得对象的逼近,进而重建非刚性表面运动信息。但这种重建方法需要事先获得对象的关键帧三维模型。另一方面,现有的逐帧动态融合表面的重建方法虽然可实现无模板的动态三维重建,但仅仅使用非刚性表面形变方法,跟踪重建的鲁棒性低。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本发明的一个目的在于提出一种联合刚性运动和非刚性形变的三维重建方法,该方法可以有效提高重建的实时性、鲁棒性和准确性,扩展性强,简单易实现。
本发明的另一个目的在于提出一种联合刚性运动和非刚性形变的三维重建装置。
为达到上述目的,本发明一方面实施例提出了一种联合刚性运动和非刚性形变的三维重建方法,包括以下步骤:对目标对象进行基于深度相机的拍摄,以得到单张深度图像;通过三维骨架提取算法对深度点云进行三维骨架提取;将所述单张深度图像变换为三维点云,并获取所述三维点云和重建模型顶点之间的匹配点对;根据所述匹配点对和三维骨架信息建立能量函数,并求解所述重建模型上每一个顶点的非刚性运动位置变换参数并优化对象骨架参数;对所述能量函数进行GPU(Graphics Processing Unit,图形处理器)优化求解,以获得每个表面顶点的非刚性形变,根据求解结果将前一帧的重建三维模型进行形变,使得形变模型与当前帧三维点云进行对齐;融合当前帧三维点云与所述形变模型,以获得当前帧的更新后的模型,以进入下一帧的迭代。
本发明实施例的联合刚性运动和非刚性形变的三维重建方法,通过实时非刚性对齐的方法,逐帧地融合动态对象表面三维信息,为了实现鲁棒地跟踪,实现在无首帧关键帧三维模板条件下的鲁棒性实时动态三维重建,从而可以有效提高重建的实时性、鲁棒性和准确性,扩展性强,简单易实现。
另外,根据本发明上述实施例的联合刚性运动和非刚性形变的三维重建方法还可以具有以下附加的技术特征:
进一步地,在本发明的一个实施例中,所述将所述单张深度图像变换为三维点云,进一步包括:通过深度相机的内参矩阵将所述单张深度图像投影到三维空间中,以生成所述三维点云,其中,深度图投影公式为:
进一步地,在本发明的一个实施例中,所述能量函数为:
Et=λnEn+λsEs+λjEj+λgEg+λbEb,
其中,Et为总能量项,En为非刚性表面形变约束项,Es为刚性骨架运动约束项,Ej为刚性骨架识别约束项,Eg为局部刚性运动约束项,λn、λs、λj和λg分别为对应各个约束项的权重系数。
进一步地,在本发明的一个实施例中,其中,
其中,ui表示同一匹配点对中三维点云的位置坐标,ci表示匹配点对集合中的第i个元素,所述非刚性表面形变约束项中和分别表示经过非刚性形变驱动后的模型顶点坐标及其法向,所述刚性骨架运动约束项中和分别表示经过对象骨架运动驱动后的模型顶点坐标及其法向,和分别代表受目标刚性运动驱动后的模型顶点坐标与受三维骨架估计所得到的运动驱动后的模型顶点坐标,所述局部刚性运动约束项中,i表示模型上第i个顶点,表示模型上第i个顶点周围的邻近顶点的集合,和分别代表已知非刚性运动对模型表面顶点vi和vj的驱动作用,和代表作用在vi和vj上的非刚性运动同时作用在vj上的位置变换效果。
进一步地,在本发明的一个实施例中,根据表面非刚性形变和对象刚性骨架运动驱动模型顶点,其中,计算公式为:
其中,为作用于顶点vi的变形矩阵,包括旋转和平移两部分;为该变形矩阵的旋转部分;为对顶点vi有驱动作用的骨骼的集合;αi,j为第j个骨骼对第i个模型顶点的驱动作用的权重,表示该骨骼对该顶点驱动作用的强弱;Tbj为第j个骨骼自身的运动变形矩阵,rot(Tbj)为该变形矩阵的旋转部分。
为达到上述目的,本发明另一方面实施例提出了一种联合刚性运动和非刚性形变的三维重建装置,包括:拍摄模块,用于对目标对象进行基于深度相机的拍摄,以得到单张深度图像;提取模块,用于通过三维骨架提取算法对深度点云进行三维骨架提取;匹配模块,将所述单张深度图像变换为三维点云,并获取所述三维点云和重建模型顶点之间的匹配点对;解算模块,用于根据所述匹配点对和三维骨架信息建立能量函数,并求解所述重建模型上每一个顶点的非刚性运动位置变换参数并优化对象骨架参数;求解模块,用于对所述能量函数进行GPU优化求解,以获得每个表面顶点的非刚性形变,并根据求解结果将前一帧的重建三维模型进行形变,使得形变模型与当前帧三维点云进行对齐;模型更新模块,用于融合当前帧三维点云与所述形变模型,以获得当前帧的更新后的模型,以进入下一帧的迭代。
本发明实施例的联合刚性运动和非刚性形变的三维重建装置,通过实时非刚性对齐的方法,逐帧地融合动态对象表面三维信息,为了实现鲁棒地跟踪,实现在无首帧关键帧三维模板条件下的鲁棒性实时动态三维重建,从而可以有效提高重建的实时性、鲁棒性和准确性,扩展性强,简单易实现。
另外,根据本发明上述实施例的联合刚性运动和非刚性形变的三维重建装置还可以具有以下附加的技术特征:
进一步地,在本发明的一个实施例中,所述匹配模块进一步用于通过深度相机的内参矩阵将所述单张深度图像投影到三维空间中,以生成所述三维点云,其中,深度图投影公式为:
进一步地,在本发明的一个实施例中,所述能量函数为:
Et=λnEn+λsEs+λjEj+λgEg+λbEb,
其中,Et为总能量项,En为非刚性表面形变约束项,Es为刚性骨架运动约束项,Ej为刚性骨架识别约束项,Eg为局部刚性运动约束项,λn、λs、λj和λg分别为对应各个约束项的权重系数。
进一步地,在本发明的一个实施例中,其中,
其中,ui表示同一匹配点对中三维点云的位置坐标,ci表示匹配点对集合中的第i个元素,所述非刚性表面形变约束项中和分别表示经过非刚性形变驱动后的模型顶点坐标及其法向,所述刚性骨架运动约束项中和分别表示经过对象骨架运动驱动后的模型顶点坐标及其法向,和分别代表受目标刚性运动驱动后的模型顶点坐标与受三维骨架估计所得到的运动驱动后的模型顶点坐标,所述局部刚性运动约束项中,i表示模型上第i个顶点,表示模型上第i个顶点周围的邻近顶点的集合,和分别代表已知非刚性运动对模型表面顶点vi和vj的驱动作用,和代表作用在vi和vj上的非刚性运动同时作用在vj上的位置变换效果。
进一步地,在本发明的一个实施例中,根据表面非刚性形变和对象刚性骨架运动驱动模型顶点,其中,计算公式为:
其中,为作用于顶点vi的变形矩阵,包括旋转和平移两部分;为该变形矩阵的旋转部分;为对顶点vi有驱动作用的骨骼的集合;αi,j为第j个骨骼对第i个模型顶点的驱动作用的权重,表示该骨骼对该顶点驱动作用的强弱;Tbj为第j个骨骼自身的运动变形矩阵,rot(Tbj)为该变形矩阵的旋转部分。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为根据本发明一个实施例的联合刚性运动和非刚性形变的三维重建方法的流程图;
图2为根据本发明一个具体实施例的联合刚性运动和非刚性形变的三维重建方法的流程图;
图3为根据本发明一个实施例的联合刚性运动和非刚性形变的三维重建装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的联合刚性运动和非刚性形变的三维重建方法及装置,首先将参照附图描述根据本发明实施例提出的联合刚性运动和非刚性形变的三维重建方法。
图1是本发明一个实施例的联合刚性运动和非刚性形变的三维重建方法的流程图。
如图1所示,该联合刚性运动和非刚性形变的三维重建方法包括以下步骤:
在步骤S101中,对目标对象进行基于深度相机的拍摄,以得到单张深度图像。
可以理解的是,如图2所示,实时视频帧率深度点云获取,对动态对象进行深度图拍摄以得到逐帧深度点云。具体地,使用深度相机对动态对象进行拍摄,获得连续的单张深度图像序列。将单张深度图像变换为一组三维点云。
在步骤S102中,通过三维骨架提取算法对深度点云进行三维骨架提取。
可以理解的是,如图2所示,通过骨架识别算法进行3D骨架提取,通过已有的骨架识别算法提取对象当前帧的三维刚性骨架信息。例如,通过KinectSDK实现对象三维骨架偷取。
在步骤S103中,将单张深度图像变换为三维点云,并获取三维点云和重建模型顶点之间的匹配点对。
可以理解的是,如图2所示,建立三维模型与云匹配点对,计算当前帧三维点云与已重建模型顶点之间的匹配点对。
进一步地,在本发明的一个实施例中,将单张深度图像变换为三维点云,进一步包括:通过深度相机的内参矩阵将单张深度图像投影到三维空间中,以生成三维点云,其中,深度图投影公式为:
可以理解的是,通过深度相机对对象拍摄以得到深度图像,将深度图变换为一组三维点云,基于深度相机标定的内参矩阵,将深度图投影到三维空间中生成一组三维点云。的深度图投影公式为:
具体而言,获取深度相机的内参矩阵,根据内参矩阵将深度图投影到三维空间中变换为一组三维点云。其中,变换的公式为:其中,u,v为像素坐标,d(u,v)为深度图像上像素(u,v)位置处的深度值,为深度相机内参矩阵。在获取匹配点对方面,使用相机投影公式将三维模型的顶点投影到深度图像上以获得匹配点对。
进一步地,在本发明的一个实施例中,根据表面非刚性形变和对象刚性骨架运动驱动模型顶点,其中,计算公式为:
其中,为作用于顶点vi的变形矩阵,包括旋转和平移两部分;为该变形矩阵的旋转部分;为对顶点vi有驱动作用的骨骼的集合;αi,j为第j个骨骼对第i个模型顶点的驱动作用的权重,表示该骨骼对该顶点驱动作用的强弱;Tbj为第j个骨骼自身的运动变形矩阵,rot(Tbj)为该变形矩阵的旋转部分。
在步骤S104中,根据匹配点对和三维骨架信息建立能量函数,并求解重建模型上每一个顶点的非刚性运动位置变换参数并优化对象骨架参数。
可以理解的是,建立能量函数,根据当前帧匹配点对信息,以及提取的当前帧三维刚性骨架信息,建立能量函数。
例如,采用单个深度相机,如微软Kinect深度相机、IphoneX深度相机、奥比中光深度相机等,对动态场景进行拍摄,获得实时深度图像数据(视频帧率,20帧/秒以上)传送到计算机上,由计算机实时计算动态对象的三维几何信息,重建相同帧率下的对象三维模型并输出对象的三维骨架信息。
进一步地,在本发明的一个实施例中,能量函数为:
Et=λnEn+λsEs+λjEj+λgEg+λbEb,
其中,Et为总能量项,En为非刚性表面形变约束项,Es为刚性骨架运动约束项,Ej为刚性骨架识别约束项,Eg为局部刚性运动约束项,λn、λs、λj和λg分别为对应各个约束项的权重系数。
进一步地,在本发明的一个实施例中,其中,
其中,ui表示同一匹配点对中三维点云的位置坐标,ci表示匹配点对集合中的第i个元素,非刚性表面形变约束项中和分别表示经过非刚性形变驱动后的模型顶点坐标及其法向,刚性骨架运动约束项中和分别表示经过对象骨架运动驱动后的模型顶点坐标及其法向,和分别代表受目标刚性运动驱动后的模型顶点坐标与受三维骨架估计所得到的运动驱动后的模型顶点坐标,局部刚性运动约束项中,i表示模型上第i个顶点,表示模型上第i个顶点周围的邻近顶点的集合,和分别代表已知非刚性运动对模型表面顶点vi和vj的驱动作用,和代表作用在vi和vj上的非刚性运动同时作用在vj上的位置变换效果。
具体而言,同时使用了刚性运动约束项Es和非刚性运动约束项En进行对象运动的优化求解,同时使用了单一深度图像进行对象刚性骨架约束项Ej对求解的刚性运动进行约束。
(2)刚性骨架运动约束项Es保证经过骨架运动驱动刚性形变后的模型与从深度图获得的三维点云尽可能的对齐。
(3)在刚性骨架运动和非刚性形变一致性约束项Eb中,和分别代表受目标刚性运动驱动后的模型顶点坐标与受三维骨架估计所得到的运动驱动后的模型顶点坐标尽量一致,该约束项用于保证解算出来的刚性骨架和识别出的骨架尽可能的一致,通过单帧骨架识别,防止动态跟踪过程中出现的误差累计而无法恢复的情况,从而可以保证最终解算出来的非刚性运动即符合对象骨架动力学模型,又充分的与从深度图中获得的三维点云对齐。
(4)在局部刚性运动约束项Eg中,i表示模型上第i个顶点,表示模型上第i个顶点周围的邻近顶点的集合,和分别代表已知非刚性运动对模型表面顶点vi和vj的驱动作用,和代表作用在vi和vj上的非刚性运动同时作用在vj上的位置变换效果,即要保证模型上邻近顶点的非刚性驱动效果要尽可能的一致。是一个鲁棒惩罚函数,和分别代表刚性骨架运动对模型表面顶点vi和vj的驱动作用,当模型表面两个相邻顶点受刚性骨架运动驱动效果相差较大时,该鲁棒惩罚函数值较小,当两个相邻顶点受骨架运动驱动效果相差较小时,该鲁棒惩罚函数值较大,通过该鲁棒惩罚函数,可以在使模型整体受局部刚性约束运动的同时保证较大幅度的合理的非刚性运动也能被很好的解算出来,从而使模型更精确的与三维点云对齐。
在步骤S105中,对能量函数进行GPU优化求解,以获得每个表面顶点的非刚性形变,并根据求解结果将前一帧的重建三维模型进行形变,使得形变模型与当前帧三维点云进行对齐。
可以理解的是,如图2所示,对能量函数进行GPU优化求解,求解重建模型上每一个顶点的非刚性运动位置变换参数,并优化对象三维刚性运动信息,根据求解结果对前一帧重建模型进行形变,使之与当前帧三维点云进行对齐。
具体而言,对能量函数进行求解,根据求解结果将重建模型与三维点云进行对齐。同求解重建模型上每一个顶点的非刚性运动位置变换参数和对象骨架运动参数。最终求解获得的信息为每一个三维模型顶点的变换矩阵和对象骨架运动参数,即每个骨骼的单独的变换矩阵。为了实现快速线性求解的要求,本发明实施例的方法对利用指数映射方法对变形方程做如下近似:
对于每个顶点,要求解的未知参数即为六维变换参数x=(v1,v2,v3,wx,wy,wz)T。骨骼运动的线性化方式与非刚性运动相同。
在步骤S106中,融合当前帧三维点云与形变模型,以获得当前帧的更新后的模型,以进入下一帧的迭代。
可以理解的是,如图2所示,对对齐后的模型和点云进行泊松融合,获得新一帧较完整的三维模型。
具体而言,融合点云和三维模型,获得当前帧的更新模型。使用与深度点云对齐后的三维模型进行更新和补全,将新获得的深度信息融合到三维模型中,更新三维模型表面顶点位置或为三维模型增加新的顶点,使其更符合当前深度图像的表达。
综上,本发明实施例核心功能在于实时接受深度图像码流,实时计算每帧三维模型。同时利用对象的大尺度刚性骨架运动和小尺度的表面非刚性形变信息计算动态对象的时变三维模型。本发明实施例的方法求解准确,可以实现实时对动态对象进行高精度重建,由于该方法为实时重建方法,并且仅需提供单个深度相机输入,***具有设备简单,方便部署和可扩展等有点,所需的输入信息非常容易采集,并且可以实时的获得动态三维模型。该方法求解准确鲁棒,简单易行,运行速度为实时,拥有广阔的应用前景,可以在PC(personalcomputer,个人计算机)机或工作站等硬件***上快速实现。
根据本发明实施例提出的联合刚性运动和非刚性形变的三维重建方法,通过实时非刚性对齐的方法,逐帧地融合动态对象表面三维信息,为了实现鲁棒地跟踪,实现在无首帧关键帧三维模板条件下的鲁棒性实时动态三维重建,从而可以有效提高重建的实时性、鲁棒性和准确性,扩展性强,简单易实现。
其次参照附图描述根据本发明实施例提出的联合刚性运动和非刚性形变的三维重建装置。
图3是本发明一个实施例的联合刚性运动和非刚性形变的三维重建装置的结构示意图。
如图3所示,该联合刚性运动和非刚性形变的三维重建装置10包括:拍摄模块100、提取模块200、匹配模块300、解算模块400、求解模块500和模型更新模块600。
其中,拍摄模块100用于对目标对象进行基于深度相机的拍摄,以得到单张深度图像。提取模块200用于通过三维骨架提取算法对深度点云进行三维骨架提取。匹配模块300将单张深度图像变换为三维点云,并获取三维点云和重建模型顶点之间的匹配点对。解算模块400用于根据匹配点对和三维骨架信息建立能量函数,并求解重建模型上每一个顶点的非刚性运动位置变换参数并优化对象骨架参数。求解模块500用于对能量函数进行GPU优化求解,以获得每个表面顶点的非刚性形变,并根据求解结果将前一帧的重建三维模型进行形变,使得形变模型与当前帧三维点云进行对齐。模型更新模块600用于融合当前帧三维点云与形变模型,以获得当前帧的更新后的模型,以进入下一帧的迭代。本发明实施例的装置10可以有效提高重建的实时性、鲁棒性和准确性,扩展性强,简单易实现。
进一步地,在本发明的一个实施例中,匹配模块300进一步用于通过深度相机的内参矩阵将单张深度图像投影到三维空间中,以生成三维点云,其中,深度图投影公式为:
进一步地,在本发明的一个实施例中,能量函数为:
Et=λnEn+λsEs+λjEj+λgEg+λbEb,
其中,Et为总能量项,En为非刚性表面形变约束项,Es为刚性骨架运动约束项,Ej为刚性骨架识别约束项,Eg为局部刚性运动约束项,λn、λs、λj和λg分别为对应各个约束项的权重系数。
进一步地,在本发明的一个实施例中,其中,
其中,ui表示同一匹配点对中三维点云的位置坐标,ci表示匹配点对集合中的第i个元素,非刚性表面形变约束项中和分别表示经过非刚性形变驱动后的模型顶点坐标及其法向,刚性骨架运动约束项中和分别表示经过对象骨架运动驱动后的模型顶点坐标及其法向,和分别代表受目标刚性运动驱动后的模型顶点坐标与受三维骨架估计所得到的运动驱动后的模型顶点坐标,局部刚性运动约束项中,i表示模型上第i个顶点,表示模型上第i个顶点周围的邻近顶点的集合,和分别代表已知非刚性运动对模型表面顶点vi和vj的驱动作用,和代表作用在vi和vj上的非刚性运动同时作用在vj上的位置变换效果。
进一步地,在本发明的一个实施例中,根据表面非刚性形变和对象刚性骨架运动驱动模型顶点,其中,计算公式为:
其中,为作用于顶点vi的变形矩阵,包括旋转和平移两部分;为该变形矩阵的旋转部分;为对顶点vi有驱动作用的骨骼的集合;αi,j为第j个骨骼对第i个模型顶点的驱动作用的权重,表示该骨骼对该顶点驱动作用的强弱;Tbj为第j个骨骼自身的运动变形矩阵,rot(Tbj)为该变形矩阵的旋转部分。
需要说明的是,前述对联合刚性运动和非刚性形变的三维重建方法实施例的解释说明也适用于该实施例的联合刚性运动和非刚性形变的三维重建装置,此处不再赘述。
根据本发明实施例提出的联合刚性运动和非刚性形变的三维重建装置,通过实时非刚性对齐的方法,逐帧地融合动态对象表面三维信息,为了实现鲁棒地跟踪,实现在无首帧关键帧三维模板条件下的鲁棒性实时动态三维重建,从而可以有效提高重建的实时性、鲁棒性和准确性,扩展性强,简单易实现。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系,除非另有明确的限定。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中,除非另有明确的规定和限定,第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触,或第一和第二特征通过中间媒介间接接触。而且,第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方,或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (4)
1.一种联合刚性运动和非刚性形变的三维重建方法,其特征在于,包括以下步骤:
对目标对象进行基于深度相机的拍摄,以得到单张深度图像,通过实时视频帧率深度点云获取,对动态对象进行深度图拍摄以得到逐帧深度点云;
通过三维骨架提取算法对深度点云进行三维骨架提取;
将所述单张深度图像变换为三维点云,并获取所述三维点云和重建模型顶点之间的匹配点对,具体地:建立三维模型与云匹配点对,计算当前帧三维点云与已重建模型顶点之间的匹配点对;所述将所述单张深度图像变换为三维点云,进一步包括:通过深度相机的内参矩阵将所述单张深度图像投影到三维空间中,以生成所述三维点云,其中,深度图投影公式为:其中,u,v为像素坐标,d(u,v)为深度图像上像素(u,v)位置处的深度值,为所述深度相机的内参矩阵;
根据所述匹配点对和三维骨架信息建立能量函数,并求解所述重建模型上每一个顶点的非刚性运动位置变换参数并优化对象骨架参数,具体地:同时使用刚性运动约束项Es和非刚性运动约束项En进行对象运动的优化求解,同时使用了单一深度图像进行对象刚性骨架约束项Ej对求解的刚性运动进行约束,其中,所述能量函数为:Et=λnEn+λsEs+λjEj+λgEg+λbEb,其中,Et为总能量项,En为非刚性表面形变约束项,Es为刚性骨架运动约束项,Ej为刚性骨架识别约束项,Eg为局部刚性运动约束项,Eb为非刚性形变一致性约束项,λn、λs、λj和λg分别为对应各个约束项的权重系数,其中,
其中,ui表示同一匹配点对中三维点云的位置坐标,ci表示匹配点对集合中的第i个元素,所述非刚性表面形变约束项中和分别表示经过非刚性形变驱动后的模型顶点坐标及其法向,所述刚性骨架运动约束项中和分别表示经过对象骨架运动驱动后的模型顶点坐标及其法向,和分别代表受目标刚性运动驱动后的模型顶点坐标与受三维骨架估计所得到的运动驱动后的模型顶点坐标,所述局部刚性运动约束项中,i表示模型上第i个顶点,表示模型上第i个顶点周围的邻近顶点的集合,和分别代表已知非刚性运动对模型表面顶点vi和vj的驱动作用,和代表作用在vi和vj上的非刚性运动同时作用在vj上的位置变换效果;
对所述能量函数进行GPU优化求解,以获得每个表面顶点的非刚性形变,并根据求解结果将前一帧的重建三维模型进行形变,使得形变模型与当前帧三维点云进行对齐;以及
融合当前帧三维点云与所述形变模型,以获得当前帧的更新后的模型,以进入下一帧的迭代。
3.一种联合刚性运动和非刚性形变的三维重建装置,其特征在于,包括:
拍摄模块,用于对目标对象进行基于深度相机的拍摄,以得到单张深度图像,通过实时视频帧率深度点云获取,对动态对象进行深度图拍摄以得到逐帧深度点云;
提取模块,用于通过三维骨架提取算法对深度点云进行三维骨架提取;
匹配模块,将所述单张深度图像变换为三维点云,并获取所述三维点云和重建模型顶点之间的匹配点对,具体地:建立三维模型与云匹配点对,计算当前帧三维点云与已重建模型顶点之间的匹配点对;所述匹配模块进一步用于通过深度相机的内参矩阵将所述单张深度图像投影到三维空间中,以生成所述三维点云,其中,深度图投影公式为:其中,u,v为像素坐标,d(u,v)为深度图像上像素(u,v)位置处的深度值,为所述深度相机的内参矩阵;
解算模块,用于根据所述匹配点对和三维骨架信息建立能量函数,并求解所述重建模型上每一个顶点的非刚性运动位置变换参数并优化对象骨架参数,具体地:同时使用刚性运动约束项Es和非刚性运动约束项En进行对象运动的优化求解,同时使用了单一深度图像进行对象刚性骨架约束项Ej对求解的刚性运动进行约束,其中,所述能量函数为:Et=λnEn+λsEs+λjEj+λgEg+λbEb,其中,Et为总能量项,En为非刚性表面形变约束项,Es为刚性骨架运动约束项,Ej为刚性骨架识别约束项,Eg为局部刚性运动约束项,Eb为非刚性形变一致性约束项,λn、λs、λj和λg分别为对应各个约束项的权重系数,其中,
其中,ui表示同一匹配点对中三维点云的位置坐标,ci表示匹配点对集合中的第i个元素,所述非刚性表面形变约束项中和分别表示经过非刚性形变驱动后的模型顶点坐标及其法向,所述刚性骨架运动约束项中和分别表示经过对象骨架运动驱动后的模型顶点坐标及其法向,和分别代表受目标刚性运动驱动后的模型顶点坐标与受三维骨架估计所得到的运动驱动后的模型顶点坐标,所述局部刚性运动约束项中,i表示模型上第i个顶点,表示模型上第i个顶点周围的邻近顶点的集合,和分别代表已知非刚性运动对模型表面顶点vi和vj的驱动作用,和代表作用在vi和vj上的非刚性运动同时作用在vj上的位置变换效果;
求解模块,用于对所述能量函数进行GPU优化求解,以获得每个表面顶点的非刚性形变,并根据求解结果将前一帧的重建三维模型进行形变,使得形变模型与当前帧三维点云进行对齐;以及
模型更新模块,用于融合当前帧三维点云与所述形变模型,以获得当前帧的更新后的模型,以进入下一帧的迭代。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810460091.5A CN108711185B (zh) | 2018-05-15 | 2018-05-15 | 联合刚性运动和非刚性形变的三维重建方法及装置 |
PCT/CN2019/086889 WO2019219012A1 (zh) | 2018-05-15 | 2019-05-14 | 联合刚性运动和非刚性形变的三维重建方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810460091.5A CN108711185B (zh) | 2018-05-15 | 2018-05-15 | 联合刚性运动和非刚性形变的三维重建方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108711185A CN108711185A (zh) | 2018-10-26 |
CN108711185B true CN108711185B (zh) | 2021-05-28 |
Family
ID=63869046
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810460091.5A Expired - Fee Related CN108711185B (zh) | 2018-05-15 | 2018-05-15 | 联合刚性运动和非刚性形变的三维重建方法及装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN108711185B (zh) |
WO (1) | WO2019219012A1 (zh) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108711185B (zh) * | 2018-05-15 | 2021-05-28 | 清华大学 | 联合刚性运动和非刚性形变的三维重建方法及装置 |
CN109785440A (zh) * | 2018-12-18 | 2019-05-21 | 合肥阿巴赛信息科技有限公司 | 一种曲面变形模型 |
CN109829972B (zh) * | 2019-01-19 | 2023-06-02 | 北京工业大学 | 一种面向连续帧点云的三维人体标准骨架提取方法 |
CN109840940B (zh) * | 2019-02-11 | 2023-06-27 | 清华-伯克利深圳学院筹备办公室 | 动态三维重建方法、装置、设备、介质和*** |
CN111768504B (zh) * | 2019-03-30 | 2023-07-14 | 华为技术有限公司 | 一种模型处理的方法、形变控制方法及相关设备 |
CN110070595B (zh) * | 2019-04-04 | 2020-11-24 | 东南大学深圳研究院 | 一种基于深度学习的单张图像3d对象重建方法 |
CN110006408B (zh) * | 2019-04-17 | 2020-04-24 | 武汉大学 | LiDAR数据“云控制”航空影像摄影测量方法 |
CN111862139B (zh) * | 2019-08-16 | 2023-08-18 | 中山大学 | 一种基于彩色-深度相机的动态物体参数化建模方法 |
CN110689625B (zh) * | 2019-09-06 | 2021-07-16 | 清华大学 | 定制人脸混合表情模型自动生成方法及装置 |
CN111968169B (zh) * | 2020-08-19 | 2024-01-19 | 北京拙河科技有限公司 | 动态人体三维重建方法、装置、设备和介质 |
CN113096249B (zh) * | 2021-03-30 | 2023-02-17 | Oppo广东移动通信有限公司 | 训练顶点重建模型的方法、图像重建方法及电子设备 |
CN112991524B (zh) * | 2021-04-20 | 2022-03-25 | 北京的卢深视科技有限公司 | 三维重建的方法、电子设备及存储介质 |
CN114373018B (zh) * | 2021-12-06 | 2024-06-28 | 聚好看科技股份有限公司 | 一种实时驱动方法、装置及设备 |
CN114648613B (zh) * | 2022-05-18 | 2022-08-23 | 杭州像衍科技有限公司 | 基于可变形神经辐射场的三维头部模型重建方法及装置 |
CN115082512A (zh) * | 2022-07-08 | 2022-09-20 | 北京大学深圳研究生院 | 一种点云运动的估计方法、装置、电子设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100235118A1 (en) * | 2009-03-16 | 2010-09-16 | Bradford Allen Moore | Event Recognition |
CN102800103A (zh) * | 2012-06-18 | 2012-11-28 | 清华大学 | 基于多视角的深度相机的无标记动作捕捉方法及装置 |
CN103198523A (zh) * | 2013-04-26 | 2013-07-10 | 清华大学 | 一种基于多深度图的非刚体三维重建方法及*** |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101801749B1 (ko) * | 2016-08-24 | 2017-11-28 | 한국과학기술연구원 | 3차원 복원을 위한 다중시점 영상 디블러링 방법, 이를 수행하기 위한 기록 매체 및 장치 |
CN106469465A (zh) * | 2016-08-31 | 2017-03-01 | 深圳市唯特视科技有限公司 | 一种基于灰度和深度信息的三维人脸重建方法 |
CN107358645B (zh) * | 2017-06-08 | 2020-08-11 | 上海交通大学 | 产品三维模型重建方法及其*** |
CN108711185B (zh) * | 2018-05-15 | 2021-05-28 | 清华大学 | 联合刚性运动和非刚性形变的三维重建方法及装置 |
-
2018
- 2018-05-15 CN CN201810460091.5A patent/CN108711185B/zh not_active Expired - Fee Related
-
2019
- 2019-05-14 WO PCT/CN2019/086889 patent/WO2019219012A1/zh active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100235118A1 (en) * | 2009-03-16 | 2010-09-16 | Bradford Allen Moore | Event Recognition |
CN102800103A (zh) * | 2012-06-18 | 2012-11-28 | 清华大学 | 基于多视角的深度相机的无标记动作捕捉方法及装置 |
CN103198523A (zh) * | 2013-04-26 | 2013-07-10 | 清华大学 | 一种基于多深度图的非刚体三维重建方法及*** |
Also Published As
Publication number | Publication date |
---|---|
WO2019219012A1 (zh) | 2019-11-21 |
CN108711185A (zh) | 2018-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108711185B (zh) | 联合刚性运动和非刚性形变的三维重建方法及装置 | |
CN108665537B (zh) | 联合优化人体体态与外观模型的三维重建方法及*** | |
US9942535B2 (en) | Method for 3D scene structure modeling and camera registration from single image | |
EP2383699B1 (en) | Method for estimating a pose of an articulated object model | |
US20170330375A1 (en) | Data Processing Method and Apparatus | |
CN108629831B (zh) | 基于参数化人体模板和惯性测量的三维人体重建方法及*** | |
US8848035B2 (en) | Device for generating three dimensional surface models of moving objects | |
Hoppe et al. | Online Feedback for Structure-from-Motion Image Acquisition. | |
CN101833786B (zh) | 三维模型的捕捉及重建方法和*** | |
US20030012410A1 (en) | Tracking and pose estimation for augmented reality using real features | |
WO2019219014A1 (zh) | 基于光影优化的三维几何与本征成份重建方法及装置 | |
CN113012293A (zh) | 石刻模型构建方法、装置、设备及存储介质 | |
WO2018075053A1 (en) | Object pose based on matching 2.5d depth information to 3d information | |
CN109448105B (zh) | 基于多深度图像传感器的三维人体骨架生成方法及*** | |
CN113077519B (zh) | 一种基于人体骨架提取的多相机外参自动标定方法 | |
Inamoto et al. | Intermediate view generation of soccer scene from multiple videos | |
JPH11504452A (ja) | 2次元投影図に基づいて3次元の対象物を再現し、取り扱うための装置と方法 | |
CN115049794A (zh) | 通过深度补全生成稠密的全局点云图方法及*** | |
JP2007025863A (ja) | 撮影システム、撮影方法及び画像処理プログラム | |
JPH10304244A (ja) | 画像処理装置およびその方法 | |
KR102577135B1 (ko) | 시퀀스의 압축을 위한 스켈레톤 기반의 동적 포인트 클라우드 추정 시스템 | |
US20120162215A1 (en) | Apparatus and method for generating texture of three-dimensional reconstructed object depending on resolution level of two-dimensional image | |
JP2009048305A (ja) | 形状解析プログラム及び形状解析装置 | |
JP2002094849A (ja) | 広視野画像撮像装置 | |
CN114119891A (zh) | 一种机器人单目半稠密地图三维重建方法和重建*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210528 |