CN104599314A - 三维模型重建方法与*** - Google Patents

Abstract

本发明涉及一种三维模型重建方法及***，其中该方法包括以下步骤：S1、使用至少一个深度相机对目标进行图像采集，获得目标的深度图像；S2、对获得的深度图像进行预处理；S3、根据目标的深度图获取密集点云数据，进行目标深度信息点云网格的重建；S4、对重建后的多帧深度图像进行合并、配准，获得三维模型。实施本发明，无需对目标做手工标记，即可获取目标的精确三维模型。

Description

三维模型重建方法与***

技术领域

本发明涉及计算机的视觉技术，更具体的说，涉及一种基于深度相机的三维模型重建方法与***。

背景技术

利用计算机技术对真实的物体建立模型在各个领域中都有着很重要的意义，例如对人体进行三维模型的重建，能够在计算机中实现对人体的姿态、动作、形貌特征进行重建，为后续的姿态识别、更换形貌特性等应用提供基础。

而现有的三维模型重建过程中，必须通过使用者手动标记关键识别点，才能建立出三维模型，操作不便，精度较低。

发明内容

本发明针对现有的三维模型重建技术中存在的必须对目标做手工标记的缺陷，提供一种三维模型重建方法与***，以实现无需对目标做手工标记，即可获取目标的精确三维模型。

本发明解决上述问题的方案是，提供一种三维模型重建方法，包括以下步骤：

S1、使用至少一个深度相机对目标进行图像采集，获得目标的深度图像；

S2、对获得的深度图像进行预处理；

S3、根据目标的深度图获取密集点云数据，进行目标深度信息点云网格的重建；

S4、对重建后的多帧深度图像进行合并、配准，获得三维模型。

本发明的三维模型重建方法，其中步骤S1还包括：

S11、使用色彩相机与深度相机同步获取色彩-深度图像。

本发明的三维模型重建方法，其中步骤S2的预处理包括：

去噪声处理、平滑处理、前后景分割。

本发明的三维模型重建方法，其中步骤S4中，对重建后的多帧深度图像进行配准的步骤还包括：

对生成的网格序列进行两两局部刚体配准，选取关键帧网格，减少运动模糊和数据冗余。

本发明的三维模型重建方法，其中步骤S4中，对重建后的多帧深度图像进行配准的步骤还包括：

对配准后的所有数据进行曲面融合、补洞。

本发明的三维模型重建方法，还包括：

S5、对获得的三维模型进行保存，建立三维模型数据库。

本发明还提供一种三维模型重建***，包括：

至少一个深度相机，用于对目标进行图像采集，获得目标的深度图像；

与所述深度相机相连接的图像处理器，用于对获得的深度图像进行预处理；

与所述图像处理器相连接的密集点云数据生成器，用于根据目标的深度图获取密集点云数据，进行目标深度信息点云网格的重建；

与所述密集点云数据生成器连接的模型重建器，用于对预处理后的多帧深度图像进行合并、配准，获得三维模型。

本发明的三维模型重建***，还包括至少一台色彩相机，所述色彩相机与深度相机并行连接，用于与深度相机同步获取色彩-深度图像。

本发明的三维模型重建***，图像处理器对图像进行去噪声处理、平滑处理、前后景分割。

本发明的三维模型重建***，模型重建器对生成的网格序列进行两两局部刚体配准，选取关键帧网格，减少运动模糊和数据冗余。

本发明的三维模型重建***，模型重建器对配准后的所有数据进行曲面融合、补洞。

本发明的三维模型重建***，还包括与模型重建器连接的三维模型数据库，用于对获得的三维模型进行保存。

实施本发明的三维模型重建方法与***，在建立三维模型的时候，直接通过深度相机进行识别就可以进行模型的建立，无需使用者手动选取图像中的关键识别点，从而提高了获取三维模型的精度、速度；还通过与色彩相机的配合，实现了单一深度图像以及色彩-深度图像的两种不同识别需要，为使用者提供了更多的选择。

附图说明

以下结合附图对本发明进行说明，其中：

图1为本发明一则较佳实施例所提供的三维模型重建方法的流程图；

图2为采用本发明建立网格的示意图；

图3为本发明一则较佳实施例所提供的三维模型重建***的功能结构图；

图4为对背包的第一个角度进行拍照后获得的照片；

图5为对图4的背包进行深度相机拍摄后得到的照片；

图6为对背包的第二个角度进行拍照后获得的照片；

图7为对图6的背包进行深度相机拍摄后得到的照片；

图8为对背包的第三个角度进行拍照后获得的照片；

图9为对图8的背包进行深度相机拍摄后得到的照片；

图10是由深度相机产生的阵列型结构光点；

图11为背包进行三维模型重建后的效果图；

图12为对杯子的第一个角度进行拍照后的照片；

图13为对杯子的第二个角度进行拍照后的照片；

图14为对杯子的第三个角度进行拍照后的照片；

图15为对图12的杯子进行深度相机拍摄后得到的照片；

图16为对图13的杯子进行深度相机拍摄后得到的照片；

图17为对图14的杯子进行深度相机拍摄后得到的照片；

图18为杯子进行三维模型重建后的效果图。

具体实施方式

本发明针对现有的三维模型重建过程中，必须通过使用者手动标记关键识别点，才能建立出三维模型，操作不便，精度较低的缺陷，通过特别优化有的深度点云建立方式以及网格重建的方式，在不需要使用者手动选取图像中的关键识别点的前提下，就能够进行图像的拼接融合，从而实现提高了获取三维模型的精度、速度的目的。

现结合附图和具体实施方式对发明进行详细说明。

如图1所示为本发明一则较佳实施例所提供的三维模型重建方法的流程图。在本实施例中，首先进行步骤S1：使用至少一个深度相机对需要进行建模的目标进行多角度、连续采集，生成多个深度图。在该步骤中使用的深度相机包括但不限于以下的种类：TOF相机(Time Of Fli_ght，飞行时间)、结构光、双目摄像机、激光扫描等等。在本实施例中优选使用TOF相机，通过TOF相机向被拍摄物体连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行时间来得到目标物距离，通过的得到距离数据得到深度图像。

对于获得的多个深度图像，在步骤S2中需要进行预处理，这些预处理的步骤具体包括：去噪声处理、平滑处理、前后景分割等。由于在初始获得的深度图像中通常会将背景、环境中的非处理目标等摄入，为了能够精确的将实际的物体在计算机环境中重建建立出三维模型，通过一些常用的去噪、平滑算法可以获得目标区域的图像。而通过前后景分割的处理，可以将三维建模目标与背景分离，在TOF相机中可以直接通过设定返回的飞行时间阈值将目标从背景图像中选取出来，此外还可以使用几种不同的轮廓提取算法，包括分水岭、种子搜索、背景消减和二值化算法等，在本实施例中优选使用种子搜索的轮廓提取方式：首先使用简单的间值分割前背景确定目标位置，放置轮廓生成种子在估计的目标中心，再通过基于平滑度约束的深度搜索，扩散轮廓，生成精确的深度人像轮廓。再通过形态学，或采用分水岭算法可以改善获取三维模型的轮廓。基于动作在帧间的变化总是小于某一程度的假设，结合上一帧的轮廓提取结果，改善和加快当前帧的提取。

在对图像进行过预处理之后，进行步骤S3：根据目标的深度图获取密集点云数据，进行目标深度信息点云网格的重建。在以往的技术中，建立深度点云进行网格的重建是需要使用者进行手工的选择关键点，是这些选取的关键点连接成网格。但是本实施例不使用手工方式，利用获得深度图像时本身图像本身是一组有序的二维点集，它蕴含了其对应的空间点之间的邻接关系，通过不同的判断方式确定相邻的点是否进行拼接。例如在图2(a)～图2(g)中给出4个点在建立三角形网格时的7种情形，依据这些点在空间上的距离关系，将相同平面的点，或者是距离在阈值范围内的点连接成三角形网格。当然，本领域的技术人员依据实际的深度图像可以建立不同形状的网格。

在建立好每一个区域的网格后，需要将这些网格进行拼接，生成三维模型。在本实施例中的步骤S4操作方式如下：对建立好的所有网格，用{N₁，N₂……N_n}表示，将这些数据的初始位置对齐，按照次序计算每一个网格沿三个坐标轴的位移t与旋转r：{t_x ⁱ，t_y ⁱ，t_z ⁱ，r_x ⁱ，r_x ⁱ，r_x ⁱ}，记为变换矩阵rt_i，采用顶点随机采样，基于投影点匹配、点到平面的距离误差修正等方式对网格N_i，进行计算。

针对不同的采集对象，可以进行不同的操作：对于运动的物体，计算变换矩阵之间的距离，设定一个阈值，当实际距离偏离阈值的时候，表明运动物体过快，导致图像模糊，可以将对应的网格帧舍去。即对生成的网格序列进行两两局部刚体配准，选取关键帧网格，减少运动模糊和数据冗余。

而对于静态物体，在本实施例中采用全局稳定采样以及局部加权的方式，对网格中的相邻最近的点进行迭代操作，寻找出精确的拼接位置，进行合并、配准，获得三维模型。

当然，在上述重建的过程中，需要对网格进行必要的优化操作：对配准后的所有数据进行曲面融合、补洞。以便生成的三维模型是一个连续可靠的图像。当所有的优化操作完成后，就可以将生成的三维模型进行保存。

较佳的，在本申请中，步骤S4在对拍摄物体进行处理的时候，对物体按照刚体和非刚体进行区分处理：

对于刚体，在本申请中使用深度相机中产生的结构光的自身参数进行处理。结构光一般具有周期性排布的特征，例如光斑呈网格状、点阵状等，当使用结构光对物体进行扫描的时候，自动将这些网格状的光斑的交点、点阵状光斑的点阵作为选取的特征点，自适应地将这些结构光的参数特征点作为合并、配准过程中的标志点。

而对于非刚体，则采用随机点的方式选取特征点，当结构光照射在非刚体后，由于非刚体会不断改变形状结构，而深度相机在拍摄一帧时无法自动跟随非刚体进行适配改变，因此采用随机选取标志点的方式作为合并、配准过程中的标志点。

但是一般的物体通常不会是完全的刚体或者是完全的非刚体，为此，在本实施例中使用加权的方式将刚体和非刚体结合在一起。

假设以刚体的进行合并、配置的结果为x，以非刚体进行配准的结果为y，那么采用本发明进行加权后，得到的对与一般物体的合并配准结果可以表示为：

z＝Ax+By；

其中A，B为权重指数，z为最后得到的配准后结果。

当该扫描的物体为刚体时，A＝1，B＝0，当扫描的物体为非刚体时则A＝0，B＝1。

对于任意要进行扫描的物体，最多进行两次关于权重指数的调整即可得到最吻合的权重指数数值，使得配准的结果达到最佳。

较佳的，在本发明中，处理使用多台深度相机进行深度图像的获取之外，还可以同时使用色彩相机进行协同摄像。在拍摄得到深度图像的同时得到被摄对象的色彩图，在步骤S1中建立深度图像的时候直接将深度图像的数据与色彩图像的数据进行关联，使得在最后的获得三维模型时，直接得到与原始被摄目标色彩相同颜色效果。具体的方式有两种：首先，将深度相机和色彩相机获得的数据直接拼合成一个矩阵，例如深度相机的数据用[D]表示，色彩图像用[RGB]来表示，直接简单拼合的矩阵为[D,RGB]，在后续的网格重建过程中，仅仅只对[D]操作，[RGB]的数据只是作为跟随矩阵，不参与运算，直到最后对[D]操作完成后，伴随其结果，从而生成带有色彩的三维模型。另一种方式是建立强关联的矩阵数据[D-RGB]，在对深度图像操作的同时，也对RGB数据进行处理，最后得带有色彩的三维模型。

另一方面，本发明还提供一种用于实现上述三维模型重建的***，其结构如图3所示。在该***中包括至少一个深度相机，用于对目标进行图像采集，获得目标的深度图像；还包括至少一个色彩相机，用于与深度相机协同拍摄，获取色彩-深度图像。与所述深度相机、色彩相机相连接的图像处理器，用于对获得的深度图像进行预处理；与所述图像处理器相连接的密集点云数据生成器，用于根据目标的深度图获取密集点云数据，进行目标深度信息点云网格的重建；与所述密集点云数据生成器连接的模型重建器，用于对预处理后的多帧深度图像进行合并、配准，获得三维模型。

较佳的，密集点云数据生成器、图像处理器、模型重建器以及三维模型数据库均内置于计算机***中，由计算机***完成相关的功能，深度相机和色彩相机分别通过数据线或者无线通信的方式与该计算机***连接，向计算机***发送相关的数据。

采用该***进行三维模型的重建时，首先由深度相机和色彩相机获得原始的图像数据，发送到计算机***中的图像处理器进行预处理操作。图像处理器通过相关的图像算法，对图像进行去噪声处理、平滑处理、前后景分割等操作。使得待处理的三维模型与背景相分离，并获得较为清晰的图像。

然后经过图像处理器预处理的图像被发送到密集点云数据生成器进行升读电鱼的生成以及网格的重建。在密集点云数据生成器中，直接利用深度图像的信息进行操作，避免了使用者手动选取关键点，直接生成精准的三维模型网格。

对于生成的网格，将发送到模型重建器中进行三维模型的重建操作，模型重建器针对动态、静态两种不同的情形，进行分类操作：对于动态的情形，计算变换矩阵之间的距离，设定一个阈值，当实际距离偏离阈值的时候，表明运动物体过快，导致图像模糊，可以将对应的网格帧舍去。即对生成的网格序列进行两两局部刚体配准，选取关键帧网格，减少运动模糊和数据冗余。而对于静态物体，采用全局稳定采样以及局部加权的方式，对网格中的相邻最近的点进行迭代操作，寻找出精确的拼接位置，进行合并、配准，获得三维模型。

最后将获得的三维模型发送到三维模型数据库中进行保存，以便为后续进行网络展示使用。

为了能够更清楚展示本发明对实际三维物体重建的过程，以下对一个背包的三维模型重建过程进行详细描述。首先，对如图4放置的背包，使用深度相机获得其对应的深度图像，如图5所示。

为了能够获得更为精准的三维模型，通常使用多个角度进行重复操作。例如，将深度相机的拍摄角度进行更换，如图6、图8所示，并分别获得对应的深度图像，如图7、图9所示。此时，即完成了本发明的步骤S1。

然后，对于深度图像进行预处理，这些预处理的步骤具体包括：去噪声处理、平滑处理、前后景分割等。具体选用的预处理手段依据具体拍摄的到的深度图像需求进行选择。此时，即完成本发明的步骤S2。

然后，需要进行步骤S3，根据目标的深度图获取密集点云数据，进行目标深度信息点云网格的重建。在本发明中，可以采用刚体/非刚体两种方式。对于背包，当放置不动的时候，可以认为其表面没有随时间进行改变，可以视为刚体。依据前述中对于刚体的操作，使用深度相机中产生的结构光的自身参数进行处理。例如，图10是常见的由深度相机产生的阵列型结构光点。当这些光点照射在背包上时，将这些点作为深度信息点云网格进行重建。重建的时候参照图2，对于不同角度的深度图中，相关性较高的点拼合成一个，并将相关性低的点略去。至此，完成了3幅背包深度图的深度信息点云网格的重建。

然后，对重建后的3个背包的深度图像进行合并、配准，获得三维模型。至此，完成步骤S4。

当然，若考虑背包自身的重量可能会在拍摄的过程中引起形变，也可以将步骤S3中的刚体方式替换成非刚体方式，此时不再使用深度相机中自带的结构光，而是使用随机产生的光点点阵作为标志点，进行深度信息点云网格进行重建。重建的时候依然是对于不同角度的深度图中，相关性较高的点拼合成一个，并将相关性低的点略去。不同点仅在于，需要对随机点阵中的每一个点与其他所有的点进行迭代运算，确认其相关程度。由于所有点都进行了运算，获得的结果更为准确。

由于完全非刚体的随机点阵的运算较大，为了在运算上节约时间，通常将刚体、非刚体进行结合，并给与刚体、非刚体适当的权重：假设以刚体的进行合并、配置的结果为x，以非刚体进行配准的结果为y，那么进行加权后，得到的对与背包的合并配准结果可以表示为：

z＝Ax+By；

其中A，B为权重指数，z为最后得到的配准后结果。对于背包，A取值0.85～0.95，B对应选择0.15～0.05。最终将获得图11所示的三维模型。若在步骤S1中同时获得RGB的彩色图像，还可以进一步的获得彩色的三维模型。

以下再对另一则的实际例子进行说明。首先在3个不同的角度下(图12～14)获得关于杯子的深度图像，如图15～17所示。

然后依据图10所示的结构光点阵，对杯子建立深度图的深度信息点云网格。由于杯子是纯刚体，可以直接采用深度相机中的结构光进行网格分析。

完成了3幅杯子深度图的深度信息点云网格的重建后，对重建后的3个杯子的深度图像进行合并、配准，获得三维模型。进一步优化后，获得如图18所示的杯子的三维模型。

本发明的上述实施例通过深度相机对物体进行拍摄，利用深度图像中的相关信息智能生成相关的网格，进行模型重建，整个过程无需使用者参与选定，从而加快的模型的建立，提高了建立模型的准确性。

以上仅为本发明具体实施方式，不能以此来限定本发明的范围，本技术领域内的一般技术人员根据本创作所作的均等变化，以及本领域内技术人员熟知的改变，都应仍属本发明涵盖的范围。

Claims (12)

1.一种三维模型重建方法，其特征在于，包括以下步骤：

S1、使用至少一个深度相机对目标进行图像采集，获得目标的深度图像；

S2、对获得的深度图像进行预处理；

S3、根据目标的深度图获取密集点云数据，进行目标深度信息点云网格的重建；

S4、对重建后的多帧深度图像进行合并、配准，获得三维模型。

2.根据权利要求1所述的三维模型重建方法，其特征在于，所述S1还包括：

S11、使用色彩相机与深度相机同步获取色彩-深度图像。

3.根据权利要求1所述的三维模型重建方法，其特征在于。所述步骤S2的预处理包括：

去噪声处理、平滑处理、前后景分割。

4.根据权利要求1-3任一所述的三维模型重建方法，其特征在于，所述S4中，对重建后的多帧深度图像进行配准的步骤还包括：

对生成的网格序列进行两两局部刚体配准，选取关键帧网格，减少运动模糊和数据冗余。

5.根据权利要求1-3任一所述的三维模型重建方法，其特征在于，所述S4中，对重建后的多帧深度图像进行配准的步骤还包括：

对配准后的所有数据进行曲面融合、补洞。

6.根据权利要求1-3任一所述的三维模型重建方法，其特征在于，还包括：

S5、对获得的三维模型进行保存，建立三维模型数据库。

7.一种三维模型重建***，其特征在于，包括：

至少一个深度相机，用于对目标进行图像采集，获得目标的深度图像；

与所述深度相机相连接的图像处理器，用于对获得的深度图像进行预处理；

与所述图像处理器相连接的密集点云数据生成器，用于根据目标的深度图获取密集点云数据，进行目标深度信息点云网格的重建；

与所述密集点云数据生成器连接的模型重建器，用于对预处理后的多帧深度图像进行合并、配准，获得三维模型。

8.根据权利要求7所述的三维模型重建***，其特征在于，还包括至少一台色彩相机，所述色彩相机与深度相机并行连接，用于与深度相机同步获取色彩-深度图像。

9.根据权利要求8所述的三维模型重建***，其特征在于，所述图像处理器对图像进行去噪声处理、平滑处理、前后景分割。

10.根据权利要求7-9任一所述的三维模型重建***，其特征在于，所述模型重建器对生成的网格序列进行两两局部刚体配准，选取关键帧网格，减少运动模糊和数据冗余。

11.根据权利要求7-9任一所述的三维模型重建***，其特征在于，所述模型重建器对配准后的所有数据进行曲面融合、补洞。

12.根据权利要求7-9任一所述的三维模型重建***，其特征在于，还包括与模型重建器连接的三维模型数据库，用于对获得的三维模型进行保存。