CN108711185B - 联合刚性运动和非刚性形变的三维重建方法及装置 - Google Patents

Abstract

本发明公开了一种联合刚性运动和非刚性形变的三维重建方法及装置，其中，方法包括：对目标对象进行基于深度相机的拍摄得到单张深度图像；通过三维骨架提取算法对深度点云进行三维骨架提取；获取三维点云和重建模型顶点之间的匹配点对；根据匹配点对和三维骨架信息建立能量函数，并求解重建模型上每一个顶点的非刚性运动位置变换参数并优化对象骨架参数；对能量函数进行GPU优化求解，以获得每个表面顶点的非刚性形变，并根据求解结果将前一帧的重建三维模型进行形变，使得形变模型与当前帧三维点云进行对齐；获得当前帧的更新后的模型，以进入下一帧的迭代。该方法可以有效提高重建的实时性、鲁棒性和准确性，扩展性强，简单易实现。

Description

联合刚性运动和非刚性形变的三维重建方法及装置

技术领域

本发明涉及计算机视觉和计算机图形学技术领域，特别涉及一种联合刚性运动和非刚性形变的三维重建方法及装置。

背景技术

动态对象三维重建是计算机图形学和计算机视觉领域的重点问题。高质量的动态对象三维模型，如人体，动物，人脸，人手部等，在影视娱乐、体育游戏、虚拟现实等领域有着广泛的应用前景和重要的应用价值。但是高质量三维模型的获取通常依靠价格昂贵的激光扫描仪或者多相机阵列***来实现，虽然精度较高，但是也显著存在着一些缺点：第一，扫描过程中要求对象保持绝对静止，微小的移动就会导致扫描结果存在明显的误差；第二，造假昂贵，很难普及到普通民众日常生活中，往往应用于大公司或国家统计部门。第三，速度慢，往往重建一个三维模型需要至少10分钟到数小时的时间，重建动态模型序列的代价更大。

从技术角度，现有的重建方法要么集中在先求解对象的刚性运动信息，获得对象的逼近，进而重建非刚性表面运动信息。但这种重建方法需要事先获得对象的关键帧三维模型。另一方面，现有的逐帧动态融合表面的重建方法虽然可实现无模板的动态三维重建，但仅仅使用非刚性表面形变方法，跟踪重建的鲁棒性低。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种联合刚性运动和非刚性形变的三维重建方法，该方法可以有效提高重建的实时性、鲁棒性和准确性，扩展性强，简单易实现。

本发明的另一个目的在于提出一种联合刚性运动和非刚性形变的三维重建装置。

为达到上述目的，本发明一方面实施例提出了一种联合刚性运动和非刚性形变的三维重建方法，包括以下步骤：对目标对象进行基于深度相机的拍摄，以得到单张深度图像；通过三维骨架提取算法对深度点云进行三维骨架提取；将所述单张深度图像变换为三维点云，并获取所述三维点云和重建模型顶点之间的匹配点对；根据所述匹配点对和三维骨架信息建立能量函数，并求解所述重建模型上每一个顶点的非刚性运动位置变换参数并优化对象骨架参数；对所述能量函数进行GPU(Graphics Processing Unit，图形处理器)优化求解，以获得每个表面顶点的非刚性形变，根据求解结果将前一帧的重建三维模型进行形变，使得形变模型与当前帧三维点云进行对齐；融合当前帧三维点云与所述形变模型，以获得当前帧的更新后的模型，以进入下一帧的迭代。

本发明实施例的联合刚性运动和非刚性形变的三维重建方法，通过实时非刚性对齐的方法，逐帧地融合动态对象表面三维信息，为了实现鲁棒地跟踪，实现在无首帧关键帧三维模板条件下的鲁棒性实时动态三维重建，从而可以有效提高重建的实时性、鲁棒性和准确性，扩展性强，简单易实现。

另外，根据本发明上述实施例的联合刚性运动和非刚性形变的三维重建方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述将所述单张深度图像变换为三维点云，进一步包括：通过深度相机的内参矩阵将所述单张深度图像投影到三维空间中，以生成所述三维点云，其中，深度图投影公式为：

其中，u,v为像素坐标，d(u,v)为深度图像上像素(u,v)位置处的深度值，

为所述深度相机的内参矩阵。

进一步地，在本发明的一个实施例中，所述能量函数为：

E_t＝λ_nE_n+λ_sE_s+λ_jE_j+λ_gE_g+λ_bE_b，

其中，E_t为总能量项，E_n为非刚性表面形变约束项，E_s为刚性骨架运动约束项，E_j为刚性骨架识别约束项，E_g为局部刚性运动约束项，λ_n、λ_s、λ_j和λ_g分别为对应各个约束项的权重系数。

进一步地，在本发明的一个实施例中，其中，

其中，u_i表示同一匹配点对中三维点云的位置坐标，c_i表示匹配点对集合中的第i个元素，所述非刚性表面形变约束项中

和

分别表示经过非刚性形变驱动后的模型顶点坐标及其法向，所述刚性骨架运动约束项中

和

分别表示经过对象骨架运动驱动后的模型顶点坐标及其法向，

和

分别代表受目标刚性运动驱动后的模型顶点坐标与受三维骨架估计所得到的运动驱动后的模型顶点坐标，所述局部刚性运动约束项中，i表示模型上第i个顶点，

表示模型上第i个顶点周围的邻近顶点的集合，

和

分别代表已知非刚性运动对模型表面顶点v_i和v_j的驱动作用，

和

代表作用在v_i和v_j上的非刚性运动同时作用在v_j上的位置变换效果。

进一步地，在本发明的一个实施例中，根据表面非刚性形变和对象刚性骨架运动驱动模型顶点，其中，计算公式为：

其中，

为作用于顶点v_i的变形矩阵，包括旋转和平移两部分；

为该变形矩阵的旋转部分；

为对顶点v_i有驱动作用的骨骼的集合；α_i,j为第j个骨骼对第i个模型顶点的驱动作用的权重，表示该骨骼对该顶点驱动作用的强弱；T_bj为第j个骨骼自身的运动变形矩阵，rot(T_bj)为该变形矩阵的旋转部分。

为达到上述目的，本发明另一方面实施例提出了一种联合刚性运动和非刚性形变的三维重建装置，包括：拍摄模块，用于对目标对象进行基于深度相机的拍摄，以得到单张深度图像；提取模块，用于通过三维骨架提取算法对深度点云进行三维骨架提取；匹配模块，将所述单张深度图像变换为三维点云，并获取所述三维点云和重建模型顶点之间的匹配点对；解算模块，用于根据所述匹配点对和三维骨架信息建立能量函数，并求解所述重建模型上每一个顶点的非刚性运动位置变换参数并优化对象骨架参数；求解模块，用于对所述能量函数进行GPU优化求解，以获得每个表面顶点的非刚性形变，并根据求解结果将前一帧的重建三维模型进行形变，使得形变模型与当前帧三维点云进行对齐；模型更新模块，用于融合当前帧三维点云与所述形变模型，以获得当前帧的更新后的模型，以进入下一帧的迭代。

本发明实施例的联合刚性运动和非刚性形变的三维重建装置，通过实时非刚性对齐的方法，逐帧地融合动态对象表面三维信息，为了实现鲁棒地跟踪，实现在无首帧关键帧三维模板条件下的鲁棒性实时动态三维重建，从而可以有效提高重建的实时性、鲁棒性和准确性，扩展性强，简单易实现。

另外，根据本发明上述实施例的联合刚性运动和非刚性形变的三维重建装置还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述匹配模块进一步用于通过深度相机的内参矩阵将所述单张深度图像投影到三维空间中，以生成所述三维点云，其中，深度图投影公式为：

其中，u,v为像素坐标，d(u,v)为深度图像上像素(u,v)位置处的深度值，

为所述深度相机的内参矩阵。

进一步地，在本发明的一个实施例中，所述能量函数为：

E_t＝λ_nE_n+λ_sE_s+λ_jE_j+λ_gE_g+λ_bE_b，

其中，E_t为总能量项，E_n为非刚性表面形变约束项，E_s为刚性骨架运动约束项，E_j为刚性骨架识别约束项，E_g为局部刚性运动约束项，λ_n、λ_s、λ_j和λ_g分别为对应各个约束项的权重系数。

进一步地，在本发明的一个实施例中，其中，

其中，u_i表示同一匹配点对中三维点云的位置坐标，c_i表示匹配点对集合中的第i个元素，所述非刚性表面形变约束项中

和

分别表示经过非刚性形变驱动后的模型顶点坐标及其法向，所述刚性骨架运动约束项中

和

分别表示经过对象骨架运动驱动后的模型顶点坐标及其法向，

和

分别代表受目标刚性运动驱动后的模型顶点坐标与受三维骨架估计所得到的运动驱动后的模型顶点坐标，所述局部刚性运动约束项中，i表示模型上第i个顶点，

表示模型上第i个顶点周围的邻近顶点的集合，

和

分别代表已知非刚性运动对模型表面顶点v_i和v_j的驱动作用，

和

代表作用在v_i和v_j上的非刚性运动同时作用在v_j上的位置变换效果。

进一步地，在本发明的一个实施例中，根据表面非刚性形变和对象刚性骨架运动驱动模型顶点，其中，计算公式为：

其中，

为作用于顶点v_i的变形矩阵，包括旋转和平移两部分；

为该变形矩阵的旋转部分；

为对顶点v_i有驱动作用的骨骼的集合；α_i,j为第j个骨骼对第i个模型顶点的驱动作用的权重，表示该骨骼对该顶点驱动作用的强弱；T_bj为第j个骨骼自身的运动变形矩阵，rot(T_bj)为该变形矩阵的旋转部分。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的联合刚性运动和非刚性形变的三维重建方法的流程图；

图2为根据本发明一个具体实施例的联合刚性运动和非刚性形变的三维重建方法的流程图；

图3为根据本发明一个实施例的联合刚性运动和非刚性形变的三维重建装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的联合刚性运动和非刚性形变的三维重建方法及装置，首先将参照附图描述根据本发明实施例提出的联合刚性运动和非刚性形变的三维重建方法。

图1是本发明一个实施例的联合刚性运动和非刚性形变的三维重建方法的流程图。

如图1所示，该联合刚性运动和非刚性形变的三维重建方法包括以下步骤：

在步骤S101中，对目标对象进行基于深度相机的拍摄，以得到单张深度图像。

可以理解的是，如图2所示，实时视频帧率深度点云获取，对动态对象进行深度图拍摄以得到逐帧深度点云。具体地，使用深度相机对动态对象进行拍摄，获得连续的单张深度图像序列。将单张深度图像变换为一组三维点云。

在步骤S102中，通过三维骨架提取算法对深度点云进行三维骨架提取。

可以理解的是，如图2所示，通过骨架识别算法进行3D骨架提取，通过已有的骨架识别算法提取对象当前帧的三维刚性骨架信息。例如，通过KinectSDK实现对象三维骨架偷取。

在步骤S103中，将单张深度图像变换为三维点云，并获取三维点云和重建模型顶点之间的匹配点对。

可以理解的是，如图2所示，建立三维模型与云匹配点对，计算当前帧三维点云与已重建模型顶点之间的匹配点对。

进一步地，在本发明的一个实施例中，将单张深度图像变换为三维点云，进一步包括：通过深度相机的内参矩阵将单张深度图像投影到三维空间中，以生成三维点云，其中，深度图投影公式为：

其中，u,v为像素坐标，d(u,v)为深度图像上像素(u,v)位置处的深度值，

为深度相机的内参矩阵。

可以理解的是，通过深度相机对对象拍摄以得到深度图像，将深度图变换为一组三维点云，基于深度相机标定的内参矩阵，将深度图投影到三维空间中生成一组三维点云。的深度图投影公式为：

其中，u,v为像素坐标，d(u,v)为深度图像上像素(u,v)位置处的深度值，

为深度相机内参矩阵。

具体而言，获取深度相机的内参矩阵，根据内参矩阵将深度图投影到三维空间中变换为一组三维点云。其中，变换的公式为：

其中，u,v为像素坐标，d(u,v)为深度图像上像素(u,v)位置处的深度值，

为深度相机内参矩阵。在获取匹配点对方面，使用相机投影公式将三维模型的顶点投影到深度图像上以获得匹配点对。

进一步地，在本发明的一个实施例中，根据表面非刚性形变和对象刚性骨架运动驱动模型顶点，其中，计算公式为：

其中，

为作用于顶点v_i的变形矩阵，包括旋转和平移两部分；

为该变形矩阵的旋转部分；

为对顶点v_i有驱动作用的骨骼的集合；α_i,j为第j个骨骼对第i个模型顶点的驱动作用的权重，表示该骨骼对该顶点驱动作用的强弱；T_bj为第j个骨骼自身的运动变形矩阵，rot(T_bj)为该变形矩阵的旋转部分。

在步骤S104中，根据匹配点对和三维骨架信息建立能量函数，并求解重建模型上每一个顶点的非刚性运动位置变换参数并优化对象骨架参数。

可以理解的是，建立能量函数，根据当前帧匹配点对信息，以及提取的当前帧三维刚性骨架信息，建立能量函数。

例如，采用单个深度相机，如微软Kinect深度相机、IphoneX深度相机、奥比中光深度相机等，对动态场景进行拍摄，获得实时深度图像数据(视频帧率，20帧/秒以上)传送到计算机上，由计算机实时计算动态对象的三维几何信息，重建相同帧率下的对象三维模型并输出对象的三维骨架信息。

进一步地，在本发明的一个实施例中，能量函数为：

E_t＝λ_nE_n+λ_sE_s+λ_jE_j+λ_gE_g+λ_bE_b，

其中，E_t为总能量项，E_n为非刚性表面形变约束项，E_s为刚性骨架运动约束项，E_j为刚性骨架识别约束项，E_g为局部刚性运动约束项，λ_n、λ_s、λ_j和λ_g分别为对应各个约束项的权重系数。

进一步地，在本发明的一个实施例中，其中，

其中，u_i表示同一匹配点对中三维点云的位置坐标，c_i表示匹配点对集合中的第i个元素，非刚性表面形变约束项中

和

分别表示经过非刚性形变驱动后的模型顶点坐标及其法向，刚性骨架运动约束项中

和

分别表示经过对象骨架运动驱动后的模型顶点坐标及其法向，

和

分别代表受目标刚性运动驱动后的模型顶点坐标与受三维骨架估计所得到的运动驱动后的模型顶点坐标，局部刚性运动约束项中，i表示模型上第i个顶点，

表示模型上第i个顶点周围的邻近顶点的集合，

和

分别代表已知非刚性运动对模型表面顶点v_i和v_j的驱动作用，

和

代表作用在v_i和v_j上的非刚性运动同时作用在v_j上的位置变换效果。

具体而言，同时使用了刚性运动约束项E_s和非刚性运动约束项E_n进行对象运动的优化求解，同时使用了单一深度图像进行对象刚性骨架约束项E_j对求解的刚性运动进行约束。

(1)表面非刚性约束E_n保证经过非刚性形变后的模型与从深度图获得的三维点云尽可能的对齐；

和

分别表示经过非刚性形变驱动后的模型顶点坐标及其法向，

和

分别表示经过对象骨架运动驱动后的模型顶点坐标及其法向。

(2)刚性骨架运动约束项E_s保证经过骨架运动驱动刚性形变后的模型与从深度图获得的三维点云尽可能的对齐。

(3)在刚性骨架运动和非刚性形变一致性约束项E_b中，

和

分别代表受目标刚性运动驱动后的模型顶点坐标与受三维骨架估计所得到的运动驱动后的模型顶点坐标尽量一致，该约束项用于保证解算出来的刚性骨架和识别出的骨架尽可能的一致，通过单帧骨架识别，防止动态跟踪过程中出现的误差累计而无法恢复的情况，从而可以保证最终解算出来的非刚性运动即符合对象骨架动力学模型，又充分的与从深度图中获得的三维点云对齐。

(4)在局部刚性运动约束项E_g中，i表示模型上第i个顶点，

表示模型上第i个顶点周围的邻近顶点的集合，

和

分别代表已知非刚性运动对模型表面顶点v_i和v_j的驱动作用，

和

代表作用在v_i和v_j上的非刚性运动同时作用在v_j上的位置变换效果，即要保证模型上邻近顶点的非刚性驱动效果要尽可能的一致。

是一个鲁棒惩罚函数，

和

分别代表刚性骨架运动对模型表面顶点v_i和v_j的驱动作用，当模型表面两个相邻顶点受刚性骨架运动驱动效果相差较大时，该鲁棒惩罚函数值较小，当两个相邻顶点受骨架运动驱动效果相差较小时，该鲁棒惩罚函数值较大，通过该鲁棒惩罚函数，可以在使模型整体受局部刚性约束运动的同时保证较大幅度的合理的非刚性运动也能被很好的解算出来，从而使模型更精确的与三维点云对齐。

在步骤S105中，对能量函数进行GPU优化求解，以获得每个表面顶点的非刚性形变，并根据求解结果将前一帧的重建三维模型进行形变，使得形变模型与当前帧三维点云进行对齐。

可以理解的是，如图2所示，对能量函数进行GPU优化求解，求解重建模型上每一个顶点的非刚性运动位置变换参数，并优化对象三维刚性运动信息，根据求解结果对前一帧重建模型进行形变，使之与当前帧三维点云进行对齐。

具体而言，对能量函数进行求解，根据求解结果将重建模型与三维点云进行对齐。同求解重建模型上每一个顶点的非刚性运动位置变换参数和对象骨架运动参数。最终求解获得的信息为每一个三维模型顶点的变换矩阵和对象骨架运动参数，即每个骨骼的单独的变换矩阵。为了实现快速线性求解的要求，本发明实施例的方法对利用指数映射方法对变形方程做如下近似：

其中，

为截至上一帧的模型顶点v_i的累积变换矩阵，为已知量，

为每个表面顶点的非刚性形变；I为四维单位阵；

其中，

令

即上一帧变换后的模型顶点，则经过变换有：

对于每个顶点，要求解的未知参数即为六维变换参数x＝(v₁,v₂,v₃,w_x,w_y,w_z)^T。骨骼运动的线性化方式与非刚性运动相同。

在步骤S106中，融合当前帧三维点云与形变模型，以获得当前帧的更新后的模型，以进入下一帧的迭代。

可以理解的是，如图2所示，对对齐后的模型和点云进行泊松融合，获得新一帧较完整的三维模型。

具体而言，融合点云和三维模型，获得当前帧的更新模型。使用与深度点云对齐后的三维模型进行更新和补全，将新获得的深度信息融合到三维模型中，更新三维模型表面顶点位置或为三维模型增加新的顶点，使其更符合当前深度图像的表达。

综上，本发明实施例核心功能在于实时接受深度图像码流，实时计算每帧三维模型。同时利用对象的大尺度刚性骨架运动和小尺度的表面非刚性形变信息计算动态对象的时变三维模型。本发明实施例的方法求解准确，可以实现实时对动态对象进行高精度重建，由于该方法为实时重建方法，并且仅需提供单个深度相机输入，***具有设备简单，方便部署和可扩展等有点，所需的输入信息非常容易采集，并且可以实时的获得动态三维模型。该方法求解准确鲁棒，简单易行，运行速度为实时，拥有广阔的应用前景，可以在PC(personalcomputer，个人计算机)机或工作站等硬件***上快速实现。

根据本发明实施例提出的联合刚性运动和非刚性形变的三维重建方法，通过实时非刚性对齐的方法，逐帧地融合动态对象表面三维信息，为了实现鲁棒地跟踪，实现在无首帧关键帧三维模板条件下的鲁棒性实时动态三维重建，从而可以有效提高重建的实时性、鲁棒性和准确性，扩展性强，简单易实现。

其次参照附图描述根据本发明实施例提出的联合刚性运动和非刚性形变的三维重建装置。

图3是本发明一个实施例的联合刚性运动和非刚性形变的三维重建装置的结构示意图。

如图3所示，该联合刚性运动和非刚性形变的三维重建装置10包括：拍摄模块100、提取模块200、匹配模块300、解算模块400、求解模块500和模型更新模块600。

其中，拍摄模块100用于对目标对象进行基于深度相机的拍摄，以得到单张深度图像。提取模块200用于通过三维骨架提取算法对深度点云进行三维骨架提取。匹配模块300将单张深度图像变换为三维点云，并获取三维点云和重建模型顶点之间的匹配点对。解算模块400用于根据匹配点对和三维骨架信息建立能量函数，并求解重建模型上每一个顶点的非刚性运动位置变换参数并优化对象骨架参数。求解模块500用于对能量函数进行GPU优化求解，以获得每个表面顶点的非刚性形变，并根据求解结果将前一帧的重建三维模型进行形变，使得形变模型与当前帧三维点云进行对齐。模型更新模块600用于融合当前帧三维点云与形变模型，以获得当前帧的更新后的模型，以进入下一帧的迭代。本发明实施例的装置10可以有效提高重建的实时性、鲁棒性和准确性，扩展性强，简单易实现。

进一步地，在本发明的一个实施例中，匹配模块300进一步用于通过深度相机的内参矩阵将单张深度图像投影到三维空间中，以生成三维点云，其中，深度图投影公式为：

其中，u,v为像素坐标，d(u,v)为深度图像上像素(u,v)位置处的深度值，

为深度相机的内参矩阵。

进一步地，在本发明的一个实施例中，能量函数为：

E_t＝λ_nE_n+λ_sE_s+λ_jE_j+λ_gE_g+λ_bE_b，

其中，E_t为总能量项，E_n为非刚性表面形变约束项，E_s为刚性骨架运动约束项，E_j为刚性骨架识别约束项，E_g为局部刚性运动约束项，λ_n、λ_s、λ_j和λ_g分别为对应各个约束项的权重系数。

进一步地，在本发明的一个实施例中，其中，

其中，u_i表示同一匹配点对中三维点云的位置坐标，c_i表示匹配点对集合中的第i个元素，非刚性表面形变约束项中

和

分别表示经过非刚性形变驱动后的模型顶点坐标及其法向，刚性骨架运动约束项中

和

分别表示经过对象骨架运动驱动后的模型顶点坐标及其法向，

和

分别代表受目标刚性运动驱动后的模型顶点坐标与受三维骨架估计所得到的运动驱动后的模型顶点坐标，局部刚性运动约束项中，i表示模型上第i个顶点，

表示模型上第i个顶点周围的邻近顶点的集合，

和

分别代表已知非刚性运动对模型表面顶点v_i和v_j的驱动作用，

和

代表作用在v_i和v_j上的非刚性运动同时作用在v_j上的位置变换效果。

进一步地，在本发明的一个实施例中，根据表面非刚性形变和对象刚性骨架运动驱动模型顶点，其中，计算公式为：

其中，

为作用于顶点v_i的变形矩阵，包括旋转和平移两部分；

为该变形矩阵的旋转部分；为对顶点v_i有驱动作用的骨骼的集合；α_i,j为第j个骨骼对第i个模型顶点的驱动作用的权重，表示该骨骼对该顶点驱动作用的强弱；T_bj为第j个骨骼自身的运动变形矩阵，rot(T_bj)为该变形矩阵的旋转部分。

需要说明的是，前述对联合刚性运动和非刚性形变的三维重建方法实施例的解释说明也适用于该实施例的联合刚性运动和非刚性形变的三维重建装置，此处不再赘述。

根据本发明实施例提出的联合刚性运动和非刚性形变的三维重建装置，通过实时非刚性对齐的方法，逐帧地融合动态对象表面三维信息，为了实现鲁棒地跟踪，实现在无首帧关键帧三维模板条件下的鲁棒性实时动态三维重建，从而可以有效提高重建的实时性、鲁棒性和准确性，扩展性强，简单易实现。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (4)

1.一种联合刚性运动和非刚性形变的三维重建方法，其特征在于，包括以下步骤：

对目标对象进行基于深度相机的拍摄，以得到单张深度图像，通过实时视频帧率深度点云获取，对动态对象进行深度图拍摄以得到逐帧深度点云；

通过三维骨架提取算法对深度点云进行三维骨架提取；

将所述单张深度图像变换为三维点云，并获取所述三维点云和重建模型顶点之间的匹配点对，具体地：建立三维模型与云匹配点对，计算当前帧三维点云与已重建模型顶点之间的匹配点对；所述将所述单张深度图像变换为三维点云，进一步包括：通过深度相机的内参矩阵将所述单张深度图像投影到三维空间中，以生成所述三维点云，其中，深度图投影公式为：

其中，u，v为像素坐标，d(u，v)为深度图像上像素(u，v)位置处的深度值，

为所述深度相机的内参矩阵；

根据所述匹配点对和三维骨架信息建立能量函数，并求解所述重建模型上每一个顶点的非刚性运动位置变换参数并优化对象骨架参数，具体地：同时使用刚性运动约束项E_s和非刚性运动约束项E_n进行对象运动的优化求解，同时使用了单一深度图像进行对象刚性骨架约束项E_j对求解的刚性运动进行约束，其中，所述能量函数为：E_t＝λ_nE_n+λ_sE_s+λ_jE_j+λ_gE_g+λ_bE_b，其中，E_t为总能量项，E_n为非刚性表面形变约束项，E_s为刚性骨架运动约束项，E_j为刚性骨架识别约束项，E_g为局部刚性运动约束项，E_b为非刚性形变一致性约束项，λ_n、λ_s、λ_j和λ_g分别为对应各个约束项的权重系数，其中，

其中，u_i表示同一匹配点对中三维点云的位置坐标，c_i表示匹配点对集合中的第i个元素，所述非刚性表面形变约束项中

和

分别表示经过非刚性形变驱动后的模型顶点坐标及其法向，所述刚性骨架运动约束项中

和

分别表示经过对象骨架运动驱动后的模型顶点坐标及其法向，

和

分别代表受目标刚性运动驱动后的模型顶点坐标与受三维骨架估计所得到的运动驱动后的模型顶点坐标，所述局部刚性运动约束项中，i表示模型上第i个顶点，

表示模型上第i个顶点周围的邻近顶点的集合，

和

分别代表已知非刚性运动对模型表面顶点v_i和v_j的驱动作用，

和

代表作用在v_i和v_j上的非刚性运动同时作用在v_j上的位置变换效果；

对所述能量函数进行GPU优化求解，以获得每个表面顶点的非刚性形变，并根据求解结果将前一帧的重建三维模型进行形变，使得形变模型与当前帧三维点云进行对齐；以及

融合当前帧三维点云与所述形变模型，以获得当前帧的更新后的模型，以进入下一帧的迭代。

2.根据权利要求1所述的联合刚性运动和非刚性形变的三维重建方法，其特征在于，根据表面非刚性形变和对象刚性骨架运动驱动模型顶点，其中，计算公式为：

其中，

为作用于顶点v_i的变形矩阵，包括旋转和平移两部分；

为该变形矩阵的旋转部分；

为对顶点v_i有驱动作用的骨骼的集合；α_i，j为第j个骨骼对第i个模型顶点的驱动作用的权重，表示该骨骼对该顶点驱动作用的强弱；T_bj为第j个骨骼自身的运动变形矩阵，rot(T_bj)为该变形矩阵的旋转部分。

3.一种联合刚性运动和非刚性形变的三维重建装置，其特征在于，包括：

拍摄模块，用于对目标对象进行基于深度相机的拍摄，以得到单张深度图像，通过实时视频帧率深度点云获取，对动态对象进行深度图拍摄以得到逐帧深度点云；

提取模块，用于通过三维骨架提取算法对深度点云进行三维骨架提取；

匹配模块，将所述单张深度图像变换为三维点云，并获取所述三维点云和重建模型顶点之间的匹配点对，具体地：建立三维模型与云匹配点对，计算当前帧三维点云与已重建模型顶点之间的匹配点对；所述匹配模块进一步用于通过深度相机的内参矩阵将所述单张深度图像投影到三维空间中，以生成所述三维点云，其中，深度图投影公式为：

其中，u，v为像素坐标，d(u，v)为深度图像上像素(u，v)位置处的深度值，

为所述深度相机的内参矩阵；

解算模块，用于根据所述匹配点对和三维骨架信息建立能量函数，并求解所述重建模型上每一个顶点的非刚性运动位置变换参数并优化对象骨架参数，具体地：同时使用刚性运动约束项E_s和非刚性运动约束项E_n进行对象运动的优化求解，同时使用了单一深度图像进行对象刚性骨架约束项E_j对求解的刚性运动进行约束，其中，所述能量函数为：E_t＝λ_nE_n+λ_sE_s+λ_jE_j+λ_gE_g+λ_bE_b，其中，E_t为总能量项，E_n为非刚性表面形变约束项，E_s为刚性骨架运动约束项，E_j为刚性骨架识别约束项，E_g为局部刚性运动约束项，E_b为非刚性形变一致性约束项，λ_n、λ_s、λ_j和λ_g分别为对应各个约束项的权重系数，其中，

其中，u_i表示同一匹配点对中三维点云的位置坐标，c_i表示匹配点对集合中的第i个元素，所述非刚性表面形变约束项中

和

分别表示经过非刚性形变驱动后的模型顶点坐标及其法向，所述刚性骨架运动约束项中

和

分别表示经过对象骨架运动驱动后的模型顶点坐标及其法向，

和

分别代表受目标刚性运动驱动后的模型顶点坐标与受三维骨架估计所得到的运动驱动后的模型顶点坐标，所述局部刚性运动约束项中，i表示模型上第i个顶点，

表示模型上第i个顶点周围的邻近顶点的集合，

和

分别代表已知非刚性运动对模型表面顶点v_i和v_j的驱动作用，

和

代表作用在v_i和v_j上的非刚性运动同时作用在v_j上的位置变换效果；

求解模块，用于对所述能量函数进行GPU优化求解，以获得每个表面顶点的非刚性形变，并根据求解结果将前一帧的重建三维模型进行形变，使得形变模型与当前帧三维点云进行对齐；以及

模型更新模块，用于融合当前帧三维点云与所述形变模型，以获得当前帧的更新后的模型，以进入下一帧的迭代。

4.根据权利要求3所述的联合刚性运动和非刚性形变的三维重建装置，其特征在于，根据表面非刚性形变和对象刚性骨架运动驱动模型顶点，其中，计算公式为：

其中，

为作用于顶点v_i的变形矩阵，包括旋转和平移两部分；

为该变形矩阵的旋转部分；

为对顶点v_i有驱动作用的骨骼的集合；α_i，j为第j个骨骼对第i个模型顶点的驱动作用的权重，表示该骨骼对该顶点驱动作用的强弱；T_bj为第j个骨骼自身的运动变形矩阵，rot(T_bj)为该变形矩阵的旋转部分。

Images