CN110189400A - 一种三维重建方法、三维重建***、移动终端及存储装置 - Google Patents

Abstract

本发明提供了一种三维重建方法、三维重建***、移动终端及存储装置，三维重建方法包括：获取第一帧三维测量数据的点云数据(即全局点云数据)，然后选取与全局点云数据对应的区域存在重叠区的局部区域进行测量，获取局部点云数据再进行配准并更新全局点云数据，重复此过程直至完成所有表面区域的测量，最后对测量完成后更新的全局点云数据进行全局优化处理，得到点云模型。本发明通过化整为零的方法进行三维重建，可以获取高密度与高精度兼备的测量数据，尤其是对于大尺寸物体的三维测量，更具有优势。

Description

一种三维重建方法、三维重建***、移动终端及存储装置

技术领域

本发明属于三维传感和测量领域，尤其涉及一种三维重建方法、三维重建***、移动终端及存储装置。

背景技术

近年来，3D产业正在发生飞速的发展。从3D测量到3D打印，已经形成了独具特色的一体化产业链，对于大尺寸物体(大型风机叶片、油罐、船体、汽车覆盖件、大型雕塑等)的测量与建模目前仍存在一定的难度，主要体现在被测物体尺寸较大，获取高密度数据较为困难，数据的高密度与高精度难以同时保证。因此现有技术还有待发展。

发明内容

本发明所要解决的技术问题在于提供一种三维重建方法、三维重建***、移动终端及存储装置，旨在解决现有的测量建模方法对于大尺寸物体难以同时确保数据的高密度与高精度。

为解决上述技术问题，本发明是这样实现的，一种三维重建方法，包括如下步骤：

步骤S1、对三维重建坐标系进行标定；获取被测物体的第一帧三维测量数据的点云数据，称为全局点云数据，基于所述第一帧三维测量数据的坐标系称为全局坐标系；

步骤S2、对被测物体某个局部区域的表面进行三维测量，利用双目立体视觉原理进行三维重建，得到所述局部区域的点云数据，称为局部点云数据，其中，所述局部区域与所述全局点云数据对应的区域存在重叠区；

步骤S3、将所述局部点云数据变换到所述全局坐标系下，根据所述重叠区将所述局部点云数据与所述全局点云数据进行配准，更新所述全局点云数据；

步骤S4、保持所述被测物体不动，变换测量视角对所述被测物体进行测量，重复所述步骤S2至所述步骤S3，直至完成对所述被测物体的测量；

步骤S5、对测量完成后更新的全局点云数据进行全局优化处理，得到点云模型。

进一步地，所述步骤S2具体包括以下步骤：

步骤S21、对所述局部区域的表面进行三维测量，得到所述局部区域的第一散斑图像和第二散斑图像；

步骤S22、在所述第二散斑图像中确定所述第一散斑图像中每个像素的整像素级对应点；

步骤S23、根据所述整像素级对应点，以及所述第一散斑图像中的各像素点坐标，对所述第二散斑图像进行亚像素对应点搜索，得到所述第二散斑图像中的亚像素对应点；

步骤S24、利用双目立体视觉原理，结合所述第二散斑图像的亚像素的对应关系进行三维重建，得到所述被测物体表面的局部点云数据。

进一步地，所述步骤S22具体包括以下步骤：

步骤S221、根据相关计算公式对所述第一散斑图像和所述第二散斑图像选取相同大小的(2w_m+1)×(2w_m+1)像素区域进行相关运算，所述相关计算公式为：

其中，I^L(u^L，v^L)表示所选区域中第一散斑图像平面点(u，v)的灰度值，I^R(u^R，v^R)表示所选区域中第二散斑图像平面点(u，v)的灰度值，和分别表示第一散斑图像、第二散斑图像所选区域的灰度平均值，ω表示相关系数，W_m表示一定数目的像素数；

步骤S222、选取相关系数计算值的最大值并且超过设定的阈值时对应的对应点作为整像素级对应点。

进一步地，所述步骤S23具体包括以下步骤：

在所述第一散斑图像内创建窗口大小为(2w_m+1)×(2w_m+1)的参考子窗口；

将二阶视差模型下的非线性空间相关函数ω(s)作为牛顿-拉弗逊迭代运算的待优化函数：

其中，u_d、v_d为零阶视差，为一阶视差，为二阶视差，Δu、Δv为第一散斑图像内其他像素点与中心像素点之间的差值，二阶视差模型为：

按照预置迭代步数，并根据迭代运算公式进行迭代运算，确定最后一次迭代运算算出的相关函数值s_N为结果值，

其中，N的取值范围为大于或等于1的整数，n表示变量s的个数，s₀为初值，将整像素相关计算得到的相关系数最大值时的位置作为初值，根据所述结果值和二阶视差模型算出所述亚像素对应点。

进一步地，所述步骤S3中，根据所述重叠区将所述局部点云数据与所述全局点云数据进行配准，是基于迭代最近点框架，采用由粗到细策略的点到模型的方法进行配准的。

进一步地，所述步骤S5中，对全局点云数据进行优化处理包括：建立统一包含所有重叠区域的误差评价函数，通过所述误差函数的求解，将配准误差平均分摊到各个重叠区域，减小配准误差累积。

一种三维重建***，包括：

三维测量模块，用于：对三维重建坐标系进行标定；获取被测物体的第一帧三维测量数据的点云数据，称为全局点云数据，基于所述第一帧三维测量数据的坐标系称为全局坐标系；

还用于对被测物体某个局部区域的表面进行三维测量，利用双目立体视觉原理进行三维重建，得到所述局部区域的点云数据，称为局部点云数据，其中，所述局部区域与所述全局点云数据对应的区域存在重叠区；

全局点云数据更新模块，用于将所述局部点云数据变换到所述全局坐标系下，根据所述重叠区将所述局部点云数据与所述全局点云数据进行配准，更新所述全局点云数据；

全局点云数据优化模块，用于对测量完成后获取的全局点云数据进行全局优化处理，得到点云模型。

进一步地，所述三维重建***是搭载在无人机平台上进行三维测量的

一种移动终端，包括：处理器、与处理器通信连接的存储器，所述存储器存储有计算机程序，所述计算机程序用于被执行时实现如上所述的三维重建方法；所述处理器用于调用所述存储器中的计算机程序，以实现如上所述的三维重建方法。

一种存储装置，所述存储装置存储有计算机程序，所述计算机程序能够被执行以实现如上所述的三维重建方法。

本发明与现有技术相比，有益效果在于：本发明是基于双目立体视觉原理进行三维重建，首先获取第一帧三维测量数据的点云数据(即全局点云数据)，然后选取与全局点云数据对应的区域存在重叠区的局部区域进行测量，获取局部点云数据再进行配准并更新全局点云数据，重复此过程直至完成所有表面区域的测量。本发明通过化整为零的方法进行三维重建，可以获取高密度与高精度兼备的测量数据，尤其是对于大尺寸物体的三维测量，更具有优势。

附图说明

图1是本发明的一种三维重建方法实施例的流程图。

图2是本发明的一种获取局部点云数据的实施例流程图。

图3是本发明的一种三维重建***的实施例功能模块结构图。

图4是本发明的一种三维重建移动终端实施例的通信原理图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供的一种三维重建方法实施例，流程如图1所示，包括如下步骤S1-S5：

步骤S1、对三维重建坐标系进行标定；获取被测物体的第一帧三维测量数据的点云数据，称为全局点云数据，基于所述第一帧三维测量数据的坐标系称为全局坐标系。

以拍照式三维测量为例进行说明，三维重建***中包括两个相机和一个投影装置，组成一个主动式双目的三维测量单元，用于实时重建三维点云数据。三维重建坐标系标定包括对两个相机(左相机和右相机)的标定，具体是获取两相机的内部参数、镜头畸变参数及两相机坐标系间的刚体变换，在本步骤中，获取相应的刚体变换，即完成了相应部件的标定。标定过程中，获取被测物体的第一帧三维测量数据的点云数据，即全局点云数据，作为后续三维测量的配准基准。

步骤S2、对被测物体某个局部区域的表面进行三维测量，利用双目立体视觉原理进行三维重建，得到所述局部区域的点云数据，称为局部点云数据，其中，所述局部区域与所述全局点云数据对应的区域存在重叠区。

优选的，可以采用无人机搭载三维测试***对被测物体的表面进行三维测量。传统的采用工业机械臂辅助，对于大型物体无法测量完整形貌，而采用粘贴标志点或组建测量网络方法，则会降低测量效率和增加测量成本。因此较佳的方法为采用基于无人机平台的三维测量***来解决这类问题，搭载无人机平台，使得相机能够灵活的捕捉到普通相机无法捕捉到的视点，使得三维点云数据更加丰富。本实施例的基于无人机平台的三维重建***，可采用外部触发的方式，使相机和投影装置能够同步投影和采集操作，从而减小了三维重建的误差。具体的，获取所述局部区域的点云数据的流程如图2所示，包括如下步骤S21-S24：

步骤S21、对所述局部区域的表面进行三维测量，得到所述局部区域的第一散斑图像和第二散斑图像。

具体是采用左相机和右相机以不同的视角，分别对所述局部区域的表面同时进行拍摄，得到左散斑图像(第一散斑图像)和右散斑图像(第二散斑图像)。

步骤S22、在所述第二散斑图像中确定所述第一散斑图像中每个像素的整像素级对应点。具体方法包括步骤S221、S222。

步骤S221、根据相关计算公式对所述第一散斑图像和所述第二散斑图像选取相同大小的(2w_m+1)×(2w_m+1)像素区域进行相关运算，所述相关计算公式为：

其中，I^L(u^L，v^L)表示所选区域中第一散斑图像平面点(u，v)的灰度值，I^R(u^R，v^R)表示所选区域中第二散斑图像平面点(u，v)的灰度值，和分别表示第一散斑图像、第二散斑图像所选区域的灰度平均值，ω表示相关系数，W_m表示一定数目的像素数；

步骤S222、选取相关系数计算值的最大值并且超过设定的阈值时对应的对应点作为整像素级对应点。

本步骤中，选取的相关系数需满足两个条件，一是计算值超过设定的阈值；在满足前提一的条件下，该相关系数为最大值，该最大值对应点作为整像素级对应点。

步骤S23、根据所述整像素级对应点，以及所述第一散斑图像中的各像素点坐标，对所述第二散斑图像进行亚像素对应点搜索，得到所述第二散斑图像中的亚像素对应点。具体的，亚像素对应点搜索方法如下：

在所述第一散斑图像内创建窗口大小为(2w_m+1)×(2w_m+1)的参考子窗口；

将二阶视差模型下的非线性空间相关函数ω(s)作为牛顿-拉弗逊迭代运算的待优化函数：

其中，u_d、v_d为零阶视差，为一阶视差，为二阶视差，Δu、Δv为第一散斑图像内其他像素点与中心像素点之间的差值，二阶视差模型为：

按照预置迭代步数，并根据迭代运算公式进行迭代运算，确定最后一次迭代运算算出的相关函数值s_N为结果值，

其中，N的取值范围为大于或等于1的整数，n表示变量s的个数，s₀为初值，将整像素相关计算得到的相关系数最大值时的位置作为初值，根据所述结果值和二阶视差模型算出所述亚像素对应点。

步骤S24、利用双目立体视觉原理，结合所述第二散斑图像的亚像素的对应关系进行三维重建，得到所述被测物体表面的局部点云数据。

本发明，采用散斑相关方法，对左图像和右图像进行相关运算，以在右图像中确定左图像中每个像素的整像素级对应点；根据所述整像素级对应点、空间相关函数以及左图像中各左图像的像素点坐标，对所述右图像进行亚像素对应点搜索运算，得到亚像素对应点；利用双目立体视觉原理，结合亚像素对应关系进行三维重建，得到被测物体局部区域的点云数据。本方法能够实现单幅图像快速三维重建，尤其适用于三维场景的动态测量。

步骤S3、将所述局部点云数据变换到所述全局坐标系下，根据所述重叠区将所述局部点云数据与所述全局点云数据进行配准，更新所述全局点云数据。

具体的，以重叠区为参考点，将局部点云数据与所述全局点云数据进行配准，并且基于迭代最近点框架，采用由粗到细策略的点到模型的方法进行配准。

步骤S4、保持所述被测物体不动，变换测量视角对所述被测物体进行测量，重复所述步骤S2至所述步骤S3，直至完成对所述被测物体的测量。

每测量完一个局部区域，在选定下一个测量区域时，需要确保本次的测量区域与已经测过的区域存在重叠区，以便后续与上一次更新的全局点云数据进行配准。

步骤S5、对测量完成后更新的全局点云数据进行全局优化处理，得到点云模型。

具体地，对全局点云数据进行优化处理包括：建立统一包含所有重叠区域的误差评价函数，通过所述误差函数的求解，将配准误差平均分摊到各个重叠区域，减小配准误差累积，从而使三维测量模型更加精确。

本发明提供的三维重建方法，是基于双目立体视觉原理进行三维重建，首先获取第一帧三维测量数据的点云数据(即全局点云数据)，然后选取与全局点云数据对应的区域存在重叠区的局部区域进行测量，获取局部点云数据再进行配准并更新全局点云数据，重复此过程直至完成所有表面区域的测量。本发明通过化整为零的方法进行三维重建，可以获取高密度与高精度兼备的测量数据，尤其是对于大尺寸物体的三维测量，更具有优势。进一步的，针对每个测量节点，本发明采用散斑投影相关方法，确立了左右散斑图像的整像素对应点，并利用牛顿-拉弗逊迭代优化方法实现了亚像素对应点定位，最终实现单节点深度数据重建，此外通过将散斑相关运算，能够实现单幅图像快速三维重建，还能够适用于三维场景的动态测量；针对多视点深度数据，本发明利用迭代最近点方法实现了多视点深度数据的匹配与融合，并最终输出三维重建数据。本发明的三维重建方法针对大尺寸物体也能获取高密度与高精度的测量数据，实现灵活、稳定的三维测量。

本发明还提供了一种三维重建***，包括：

三维测量模块1，用于：基于被测物体对三维重建坐标系进行标定，得到全局坐标系；同时获取所述全局坐标系下被测物体的第一帧三维测量数据的点云数据，即全局点云数据。

还用于对被测物体某个局部区域的表面进行三维测量，利用双目立体视觉原理进行三维重建，得到所述局部区域的点云数据，即局部点云数据，其中，所述局部区域与所述全局点云数据对应的区域存在重叠区。

全局点云数据更新模块2，用于将所述局部点云数据变换到所述全局坐标系下，根据所述重叠区将所述局部点云数据与所述全局点云数据进行配准，更新所述全局点云数据。

全局点云数据优化模块3，用于对测量完成后获取的全局点云数据进行全局优化处理，得到点云模型。

本发明提供的三维重建***，可以获取高密度与高精度兼备的测量数据，尤其是对于大尺寸物体的三维测量，更具有优势。

本发明还提供了一种移动终端，如图2所示，所述移动终端包括：

如图2所示，所述移动终端包括：处理器(processor)10、存储器(memory)20、通信接口(Communications Interface)30和总线40；其中，

所述处理器10、存储器20、通信接口30通过所述总线40完成相互间的通信；

所述通信接口30用于所述移动终端的通信设备之间的信息传输；

所述处理器10用于调用所述存储器20中的计算机程序，以执行上述各方法实施例所提供的方法，例如包括：步骤S1、基于被测物体对三维重建坐标系进行标定，得到全局坐标系；获取所述全局坐标系下被测物体的第一帧三维测量数据的点云数据(即全局点云数据)；步骤S2、对被测物体某个局部区域的表面进行三维测量，利用双目立体视觉原理进行三维重建，得到所述局部区域的点云数据(即局部点云数据)，其中，所述局部区域与所述全局点云数据对应的区域存在重叠区；步骤S3、将所述局部点云数据变换到所述全局坐标系下，根据所述重叠区将所述局部点云数据与所述全局点云数据进行配准，更新所述全局点云数据；步骤S4、保持所述被测物体不动，变换测量视角对所述被测物体进行测量，重复所述步骤S2至所述步骤S3，直至完成对所述被测物体的测量；步骤S5、对测量完成后更新的全局点云数据进行全局优化处理，得到点云模型。

本发明还提供一种存储装置，其中，所述存储装置存储有计算机程序，所述计算机程序能够被执行以实现所述三维重建方法

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种三维重建方法，其特征在于，包括如下步骤：

步骤S1、对三维重建坐标系进行标定；获取被测物体的第一帧三维测量数据的点云数据，称为全局点云数据，基于所述第一帧三维测量数据的坐标系称为全局坐标系；

步骤S2、对被测物体某个局部区域的表面进行三维测量，利用双目立体视觉原理进行三维重建，得到所述局部区域的点云数据，称为局部点云数据，其中，所述局部区域与所述全局点云数据对应的区域存在重叠区；

步骤S3、将所述局部点云数据变换到所述全局坐标系下，根据所述重叠区将所述局部点云数据与所述全局点云数据进行配准，更新所述全局点云数据；

步骤S4、保持所述被测物体不动，变换测量视角对所述被测物体进行测量，重复所述步骤S2至所述步骤S3，直至完成对所述被测物体的测量；

步骤S5、对测量完成后更新的全局点云数据进行全局优化处理，得到点云模型。

2.根据权利要求1所述的三维重建方法，其特征在于，所述步骤S2具体包括以下步骤：

步骤S21、对所述局部区域的表面进行三维测量，得到所述局部区域的第一散斑图像和第二散斑图像；

步骤S22、在所述第二散斑图像中确定所述第一散斑图像中每个像素的整像素级对应点；

步骤S23、根据所述整像素级对应点，以及所述第一散斑图像中的各像素点坐标，对所述第二散斑图像进行亚像素对应点搜索，得到所述第二散斑图像中的亚像素对应点；

步骤S24、利用双目立体视觉原理，结合所述第二散斑图像的亚像素的对应关系进行三维重建，得到所述被测物体表面的局部点云数据。

3.根据权利要求2所述的三维重建方法，其特征在于，所述步骤S22具体包括以下步骤：

步骤S221、根据相关计算公式对所述第一散斑图像和所述第二散斑图像选取相同大小的(2w_m+1)×(2w_m+1)像素区域进行相关运算，所述相关计算公式为：

其中，I^L(u^L，v^L)表示所选区域中第一散斑图像平面点(u，v)的灰度值，I^R(u^R，v^R)表示所选区域中第二散斑图像平面点(u，v)的灰度值，和分别表示第一散斑图像、第二散斑图像所选区域的灰度平均值，ω表示相关系数，W_m表示一定数目的像素数；

步骤S222、选取相关系数计算值的最大值并且超过设定的阈值时对应的对应点作为整像素级对应点。

4.根据权利要求2所述的三维重建方法，其特征在于，所述步骤S23具体包括以下步骤：

在所述第一散斑图像内创建窗口大小为(2w_m+1)×(2w_m+1)的参考子窗口；

将二阶视差模型下的非线性空间相关函数ω(s)作为牛顿-拉弗逊迭代运算的待优化函数：

其中，u_d、v_d为零阶视差，为一阶视差，为二阶视差，Δu、Δv为第一散斑图像内其他像素点与中心像素点之间的差值，二阶视差模型为：

按照预置迭代步数，并根据迭代运算公式进行迭代运算，确定最后一次迭代运算算出的相关函数值S_N为结果值，

其中，N的取值范围为大于或等于1的整数，n表示变量s的个数，s₀为初值，将整像素相关计算得到的相关系数最大值时的位置作为初值，根据所述结果值和二阶视差模型算出所述亚像素对应点。

5.如权利要求1所述的三维重建方法，其特征在于，所述步骤S3中，根据所述重叠区将所述局部点云数据与所述全局点云数据进行配准，是基于迭代最近点框架，采用由粗到细策略的点到模型的方法进行配准的。

6.如权利要求1所述的三维重建方法，其特征在于，所述步骤S5中，对全局点云数据进行优化处理包括：建立统一包含所有重叠区域的误差评价函数，通过所述误差函数的求解，将配准误差平均分摊到各个重叠区域，减小配准误差累积。

7.一种三维重建***，其特征在于，包括：

三维测量模块，用于：对三维重建坐标系进行标定；获取被测物体的第一帧三维测量数据的点云数据，称为全局点云数据，基于所述第一帧三维测量数据的坐标系称为全局坐标系；

还用于对被测物体某个局部区域的表面进行三维测量，利用双目立体视觉原理进行三维重建，得到所述局部区域的点云数据，称为局部点云数据，其中，所述局部区域与所述全局点云数据对应的区域存在重叠区；

全局点云数据更新模块，用于将所述局部点云数据变换到所述全局坐标系下，根据所述重叠区将所述局部点云数据与所述全局点云数据进行配准，更新所述全局点云数据；

全局点云数据优化模块，用于对测量完成后获取的全局点云数据进行全局优化处理，得到点云模型。

8.如权利要求7所述的三维重建***，其特征在于，所述三维重建***是搭载在无人机平台上进行三维测量的。

9.一种移动终端，其特征在于，包括：处理器、与处理器通信连接的存储器，所述存储器存储有计算机程序，所述计算机程序用于被执行时实现如权利要求1-6任一项所述的三维重建方法；所述处理器用于调用所述存储器中的计算机程序，以实现如权利要求1-6任一项所述的三维重建方法。

10.一种存储装置，其特征在于，所述存储装置存储有计算机程序，所述计算机程序能够被执行以实现如权利要求1-6任一项所述的三维重建方法。