CN103198523B - 一种基于多深度图的非刚体三维重建方法及*** - Google Patents

Abstract

本发明提出一种基于多深度图的非刚体三维重建方法，包括以下步骤：对非刚体以不同角度和不同姿态进行深度图拍摄以得到多个深度图；将每个深度图变换为一组三维点云，并获取多组三维点云之间的多个匹配点对；对每个匹配点进行位置变换，并求取位置变换后的每个匹配点对应的变换参数；对所有变换参数进行拼接，并根据拼接结果建立能量函数；对能量函数进行求解，以根据求解结果重建非刚体的三维模型。根据本发明的方法，所需输入信息简单易采集，并可得到高精度的完整三维模型。该方法求解准确鲁棒，消除了累加误差所会带来的影响，且运行速度快，拥有广阔的应用前景。本发明还提出了一种基于多深度图的非刚体三维重建***。

Description

一种基于多深度图的非刚体三维重建方法及***

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种基于多深度图的非刚体三维重建方法及***。

背景技术

三维重建是计算机视觉领域的重点问题。高质量的三维模型在影视娱乐、文物保护、机械加工等各个领域都有着重要的应用价值。但是高质量三维模型的获取通常依靠价格昂贵的激光扫描仪实现，虽然精度得以保证，但是也存在着两个缺点：第一、激光扫描仪在扫描过程中要求被扫物体绝对静止，微小的移动就会导致扫描结果存在明显的误差；第二，激光扫描仪价格不菲，很难普及从而扩大民用价值。

发明内容

本发明旨在至少解决上述技术问题之一。

为此，本发明的一个目的在于提出一种基于多深度图的非刚体三维重建方法。该方法求解准确鲁棒，消除了累加误差所会带来的影响，且运行速度快，拥有广阔的应用前景。

本发明的另一目的在于提出一种基于多深度图的非刚体三维重建***。

为了实现上述目的，本发明第一方面的实施例提出了一种基于多深度图的非刚体三维重建方法，包括以下步骤：对非刚体以不同角度和不同姿态进行深度图拍摄以得到多个深度图；将每个深度图变换为一组三维点云，并获取多组三维点云之间的多个匹配点对；对每个匹配点进行位置变换，并求取所述位置变换后的每个匹配点对应的变换参数；对所有变换参数进行拼接，并根据拼接结果建立能量函数；以及对所述能量函数进行求解，以根据求解结果重建所述非刚体的三维模型。

根据本发明实施例的基于多深度图的非刚体三维重建方法，利用深度相机对同一非刚性物体不同角度、不同姿态拍摄采集到的深度图，并基于上述深度图完成对非刚体的三维几何建模的功能。该方法需求的输入信息简单易采集，并可得到高精度的完整三维模型。该方法求解准确鲁棒，消除了累加误差所会带来的影响。另外，该方法简单易行，且运行速度快，拥有广阔的应用前景，可以在普通PC机或工作站等硬件***上实现。

另外，根据本发明上述实施例的基于多深度图的非刚体三维重建方法还可以具有如下附加的技术特征：

在一些示例中，通过深度相机对所述非刚体进行拍摄以得到所述多个深度图。

在一些示例中，所述将每个深度图变换为一组三维点云，进一步包括：获取所述深度相机的内参矩阵；根据所述内参矩阵将所述每个深度图变换为一组三维点云。

在一些示例中，所述变换的变换公式为：其中，u,v为像素坐标，d_c(u,v)为第c张深度图上像素(u,v)位置上的深度值，所述K为内参矩阵。

在一些示例中，所述对每个匹配点进行位置变换，并求取所述位置变换后的每个匹配点对应的变换参数，进一步包括：计算所述每个匹配点的旋转矩阵和偏移向量；根据所述旋转矩阵和偏移向量得到所述每个匹配点的位置变换方程；根据所述的位置变换方程得到所述每个匹配点对应的变换参数。

在一些示例中，所述位置变换方程为：p′=Rp+t，其中，p为匹配点，R为旋转矩阵，t为偏移向量。

在一些示例中，所述能量函数为：X=argmin_xα_eE_e+α_fE_f+α_nE_n,其中，E_e为拓扑约束，E_f为特征约束，E_n为最近点约束，α_e、α_f、α_n分别为E_e、E_f和E_n的权重系数。

本发明第二方面的实施例提供了一种基于多深度图的非刚体三维重建***，包括：深度相机，所述深度相机用于对非刚体以不同角度和不同姿态进行深度图拍摄以得到多个深度图；匹配模块，用于将每个深度图变换为一组三维点云，并获取多组三维点云之间的多个匹配点对；变换模块，用于对每个匹配点进行位置变换，并求取所述位置变换后的每个匹配点对应的变换参数；拼接模块，用于对所有变换参数进行拼接，并根据拼接结果建立能量函数；以及三维重建模块，用于对所述能量函数进行求解，以根据求解结果重建所述非刚体的三维模型。

根据本发明实施例的基于多深度图的非刚体三维重建***，利用深度相机对同一非刚性物体不同角度、不同姿态拍摄采集到的深度图，并基于上述深度图完成对非刚体的三维几何建模的功能。该***需求的输入信息简单易采集，并可得到高精度的完整三维模型。该***求解准确鲁棒，消除了累加误差所会带来的影响。另外，该***成本低，且运行速度快，拥有广阔的应用前景，可以在普通PC机或工作站等硬件***上实现。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本发明一个实施例的基于多深度图的非刚体三维重建方法的流程图；以及

图2是根据本发明一个实施例的基于多深度图的非刚体三维重建***的结构图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

以下结合附图描述根据本发明实施例的基于多深度图的非刚体三维重建方法及***。

图1是根据本发明一个实施例的基于多深度图的非刚体三维重建方法的流程图。如图1所示，该方法包括如下步骤：

步骤S101：对非刚体以不同角度和不同姿态进行深度图拍摄以得到多个深度图。

具体地，可通过深度相机对非刚体进行拍摄以得到多个深度图。即利用深度相机对同一非刚性物体（非刚体）以不同角度、不同姿态进行拍摄多个深度图，并采集上述多个深度图。

步骤S102：将每个深度图变换为一组三维点云，并获取多组三维点云之间的多个匹配点对。

在本发明的一个示例中，将每个深度图变换为一组三维点云包括：

1）获取深度相机的内参矩阵。

2）根据内参矩阵将每个深度图变换为一组三维点云。其中，变换的变换公式为：其中，u,v为像素坐标，d_c(u,v)为第c张深度图上像素(u,v)位置上的深度值，所述K为内参矩阵。

具体地说，例如：存在N_f张深度图，则输入N_f张深度图d_c(u,v),c=1,2,…,N_f，给定深度相机内参矩阵K，每张深度图即可变换为一组三维点云，通过上述变换公式进行变换。

开始需要用户手工指定点云间特征点的对应关系（匹配点对）。这是由于点云特征较少，相同几何分布的区域很多，如果利用全自动的匹配算法几乎很难实现。因此，本发明实施例的方法只需要用户手工指定少量特征对应点，即可实现后续准确高质量的三维重建效果。对应点对集合表示为： 其表示第c帧的第m个点与第c′帧的第m′个点相对应。

步骤S103：对每个匹配点进行位置变换，并求取位置变换后的每个匹配点对应的变换参数。

作为一个具体的例子，对每个匹配点进行位置变换，并求取位置变换后的每个匹配点对应的变换参数，进一步包括：

1）计算每个匹配点的旋转矩阵和偏移向量。

2）根据旋转矩阵和偏移向量得到每个匹配点的位置变换方程。其中，位置变换方程为：p′=Rp+t，其中，p为匹配点，R为旋转矩阵，t为偏移向量。

3）根据的位置变换方程得到每个匹配点对应的变换参数。

即在上述对应点（匹配点对）指定完成后，即开始全自动的将各帧点云开始对齐拼接。本发明实施例的方法通过一种全局联合变形拼接方法，可以实现所有帧点云变换参数联合求解，从而避免了逐帧顺序对齐会带来的积累误差问题。

具体而言，对点云中的每个点p，首先求解其旋转矩阵R和偏移向量t，从而点p变换后的位置为：p′=Rp+t。进一步地，为了实现快速线性求解的要求，本发明实施例的方法对利用指数映射方法对变形方程做如下近似：

$p^{\′}=\mathrm{Rp}+t\≈(I+\widehat{\mathrm{\ξ}})\hat{p},$

其中，I为四维单位阵，为p的其次形式。

其中， $\widehat{\mathrm{\ξ}}=\left[\begin{array}{cccc}0& -w_z& w_y& v_1\\ w_z& 0& {-w}_x& v_2\\ {-w}_y& w_x& 0& v_3\\ 0& 0& 0& 1\end{array}\right],$

接着对做变换，如下：

$(I+\widehat{\mathrm{\ξ}})\hat{p}=\left[\begin{array}{cccc}1& {-w}_z& w_y& v_1\\ w_z& 1& {-w}_x& v_2\\ {-w}_y& w_x& 1& v_3\\ 0& 0& 0& 1\end{array}\right]\left(\begin{array}{c}{p}_x\\ p_y\\ p_z\end{array}\right)\text{=}\left[\begin{array}{cccccc}1& 0& 0& 0& p_z& {-p}_y\\ 0& 1& 0& {-p}_z& 0& p_x\\ 0& 0& 1& p_y& {-p}_x& 0\end{array}\right]\left(\begin{array}{c}{v}_1\\ v_2\\ v_3\\ w_x\\ w_y\\ w_z\end{array}\right)$

对于每个点，要求解的未知参数即为六维变换参数x=(v_l，v₂，v₃,w_x,w_y,w_z)^T。

步骤S104：对所有变换参数进行拼接，并根据拼接结果建立能量函数，其中，能量函数为：X=argmin_Xα_eE_e+α_fE_f+α_nE_n,其中，E_e为拓扑约束，E_f为特征约束，E_n为最近点约束，α_e、α_f、α_n分别为E_e、E_f和E_n的权重系数。

具体地，将所有点的变换参数x拼接起来，组成X。X即为能使如下能量函数达到最小值的解：X=argmin_Xα_eE_e+α_fE_f+α_nE_n

其中，E_e为拓扑约束，E_f为特征约束，E_n为最近点约束，α_e、α_f、α_n分别为他们各自的权重系数。

其中， $E_e={\mathrm{\Σ}}_{c=1}^{N_f}{\mathrm{\Σ}}_{i=1}^{N_c}{\mathrm{\Σ}}_{j\∈N\left(i\right)}{\left|\right|x_i-x_j\left|\right|}^2,$

拓扑约束E_e保证每帧的点云中的每一点与其相邻的点的变换参数x_i与x_j之间尽可能接近，从而保持点云的原有拓扑。

其中， $E_f={\mathrm{\Σ}}_{i,j\∈F}{\left|\right|x_i\left(p_i\right)-x_j\left(p_j\right)\left|\right|}^2,$

特征约束E_f保证对应点p_i与p_i经过运动后的位置尽可能接近。x_i(p_i)表示点p_i在经过x_i的变换运动到的目标位置。

其中， $E_n={\mathrm{\Σ}}_{c=1}^{N_f}{\mathrm{\Σ}}_{i=1}^{N_c}{\left|\right|x_i\left(p_i\right)-x_{\mathrm{nn}\left(i\right)}\left(p_{\mathrm{nn}\left(i\right)}\right)\left|\right|}^2,$

最近点约束E_n保证点云的精细对齐。具体操作是，对点云中的每个点p_i，在其他帧点云中寻找一个与之位置最近的点p_nn(i)，并要求p_i与p_nn(i)经过运动后的目标位置尽可能接近。

步骤S105：对能量函数进行求解，以根据求解结果重建非刚体的三维模型。在本发明的实施例中，通过使用线性最小二乘方法可以快速高效的求解上述能量函数。利用求解的X对每个点的位置进行更新。由于本发明实施例的方法的最近点约束中使用了最近点即为对应点的假设，因此，需要迭代多次求解才能达到最终正确位置。

根据本发明实施例的基于多深度图的非刚体三维重建方法，利用深度相机对同一非刚性物体不同角度、不同姿态拍摄采集到的深度图，并基于上述深度图完成对非刚体的三维几何建模的功能。该方法需求的输入信息简单易采集，并可得到高精度的完整三维模型。该方法求解准确鲁棒，消除了累加误差所会带来的影响。另外，该方法简单易行，且运行速度快，拥有广阔的应用前景，可以在普通PC机或工作站等硬件***上实现。

另外，本发明的方法，利用深度相机扫描该物体若干视角不同姿态的深度图像，算法可以全自动的实现扫描点云的变形、拼接、与对齐。针对传统深度相机三维重建方法，本方法的最大优势在于可以适用于动态人体扫描或一般非刚性物体。

本发明的进一步实施例还提供了一种基于多深度图的非刚体三维重建***。如图2所示，该基于多深度图的非刚体三维重建***200，包括：深度相机210、匹配模块220、变换模块230、拼接模块240和三维重建模块250。

其中，深度相机210用于对非刚体以不同角度和不同姿态进行深度图拍摄以得到多个深度图。匹配模块220用于将每个深度图变换为一组三维点云，并获取多组三维点云之间的多个匹配点对。变换模块230用于对每个匹配点进行位置变换，并求取位置变换后的每个匹配点对应的变换参数。拼接模块240用于对所有变换参数进行拼接，并根据拼接结果建立能量函数。三维重建模块250用于对能量函数进行求解，以根据求解结果重建非刚体的三维模型。

根据本发明实施例的基于多深度图的非刚体三维重建***，利用深度相机对同一非刚性物体不同角度、不同姿态拍摄采集到的深度图，并基于上述深度图完成对非刚体的三维几何建模的功能。该***需求的输入信息简单易采集，并可得到高精度的完整三维模型。该***求解准确鲁棒，消除了累加误差所会带来的影响。另外，该***成本低，且运行速度快，拥有广阔的应用前景，可以在普通PC机或工作站等硬件***上实现。

另外，本发明的***，利用深度相机扫描该物体若干视角不同姿态的深度图像，算法可以全自动的实现扫描点云的变形、拼接、与对齐。针对传统深度相机三维重建方法，本***的最大优势在于可以适用于动态人体扫描或一般非刚性物体。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同限定。

Claims (7)

1.一种基于多深度图的非刚体三维重建方法，其特征在于，包括以下步骤：

对非刚体以不同角度和不同姿态进行深度图拍摄以得到多个深度图；

将每个深度图变换为一组三维点云，并获取多组三维点云之间的多个匹配点对；

对每个匹配点进行位置变换，并求取所述位置变换后的每个匹配点对应的变换参数；

对所有变换参数进行拼接，并根据拼接结果建立能量函数，所述能量函数为：

X＝argmin_Xα_eE_e+α_fE_f+α_nE_n，

其中，E_e为拓扑约束，E_f为特征约束，E_n为最近点约束，α_e、α_f、α_n分别为E_e、E_f和E_n的权重系数，其中，

$E_e={\mathrm{\Σ}}_{c=1}^{N_f}{\mathrm{\Σ}}_{i=1}^{N_c}{\mathrm{\Σ}}_{j\∈N\left(i\right)}\left|\right|x_i-x_j|{|}^2,$

E_f＝∑_(i,j)∈F||x_i(p_i)-x_j(p_j)||²，

$E_n={\mathrm{\Σ}}_{c=1}^{N_f}{\mathrm{\Σ}}_{i=1}^{N_c}\left|\right|x_i\left(p_i\right)-x_{nn\left(i\right)}\left(p_{nn\left(i\right)}\right)|{|}^2,$

其中，x_i(p_i)表示点p_i在经过x_i的变换运动到的目标位置，拓扑约束E_e保证每帧的点云中的每一点与其相邻的点的变换参数x_i与x_j之间尽可能接近，特征约束E_f保证对应点p_i与p_j经过运动后的位置尽可能接近，最近点约束E_n保证点云的精细对齐，所述最近点约束E_n保证点云的精细对齐具体包括：对点云中的每个点p_i，在其他帧点云中寻找一个与之位置最近的点p_nn(i)，并使得p_i与p_nn(i)经过运动后的目标位置尽可能接近，N_f为深度图的张数，F为匹配点对集合，c表示第c张深度图，(i,j)表示匹配点对；以及

对所述能量函数进行求解，以根据求解结果重建所述非刚体的三维模型。

2.根据权利要求1所述的方法，其特征在于，通过深度相机对所述非刚体进行拍摄以得到所述多个深度图。

3.根据权利要求2所述的方法，其特征在于，所述将每个深度图变换为一组三维点云，进一步包括：

获取所述深度相机的内参矩阵；

根据所述内参矩阵将所述每个深度图变换为一组三维点云。

4.根据权利要求3所述的方法，其特征在于，所述变换的变换公式为：

$P_c^i=K^{-1}{(u,v,d_c(u,v\left)\right)}^T,$

其中，u,v为像素坐标，d_c(u,v)为第c张深度图上像素(u,v)位置上的深度值，所述K为内参矩阵。

5.根据权利要求1所述的方法，其特征在于，所述对每个匹配点进行位置变换，并求取所述位置变换后的每个匹配点对应的变换参数，进一步包括：

计算所述每个匹配点的旋转矩阵和偏移向量；

根据所述旋转矩阵和偏移向量得到所述每个匹配点的位置变换方程；

根据所述的位置变换方程得到所述每个匹配点对应的变换参数。

6.根据权利要求5所述的方法，其特征在于，所述位置变换方程为：

p′＝Rp+t，

其中，p为匹配点，R为旋转矩阵，t为偏移向量，p′为匹配点p变换后的位置点。

7.一种基于多深度图的非刚体三维重建***，其特征在于，包括：

深度相机，用于对非刚体以不同角度和不同姿态进行深度图拍摄以得到多个深度图；

匹配模块，用于将每个深度图变换为一组三维点云，并获取多组三维点云之间的多个匹配点对；

变换模块，用于对每个匹配点进行位置变换，并求取所述位置变换后的每个匹配点对应的变换参数；

拼接模块，用于对所有变换参数进行拼接，并根据拼接结果建立能量函数，所述能量函数为：

X＝argmin_Xα_eE_e+α_fE_f+α_nE_n，

其中，E_e为拓扑约束，E_f为特征约束，E_n为最近点约束，α_e、α_f、α_n分别为E_e、E_f和E_n的权重系数，其中，

$E_e={\mathrm{\Σ}}_{c=1}^{N_f}{\mathrm{\Σ}}_{i=1}^{N_c}{\mathrm{\Σ}}_{j\∈N\left(i\right)}\left|\right|x_i-x_j|{|}^2,$

E_f＝∑_(i,j)∈F||x_i(p_i)-x_j(p_j)||²，

$E_n={\mathrm{\Σ}}_{c=1}^{N_f}{\mathrm{\Σ}}_{i=1}^{N_c}\left|\right|x_i\left(p_i\right)-x_{nn\left(i\right)}\left(p_{nn\left(i\right)}\right)|{|}^2,$

其中，x_i(p_i)表示点p_i在经过x_i的变换运动到的目标位置，拓扑约束E_e保证每帧的点云中的每一点与其相邻的点的变换参数x_i与x_j之间尽可能接近，特征约束E_f保证对应点p_i与p_j经过运动后的位置尽可能接近，最近点约束E_n保证点云的精细对齐，所述最近点约束E_n保证点云的精细对齐具体包括：对点云中的每个点p_i，在其他帧点云中寻找一个与之位置最近的点p_nn(i)，并使得p_i与p_nn(i)经过运动后的目标位置尽可能接近，N_f为深度图的张数，F为匹配点对集合，c表示第c张深度图，(i,j)表示匹配点对；以及

三维重建模块，用于对所述能量函数进行求解，以根据求解结果重建所述非刚体的三维模型。