CN117073579A - 基于条纹投影结构光双目三维测量***与方法 - Google Patents

Abstract

本发明提供了一种基于条纹投影结构光双目三维测量***及方法。本发明主要运用相移轮廓术、结构光双目三维测量技术对不同尺寸、不同形状的物体进行测量。该***主要包括条纹投影模块、双目相机模块、计算机处理模块和机械控制模块这四个模块。条纹投影模块用于产生结构光，并将结构光投射到被测物体上；双目相机模块用于采集被测物体的图像数据；计算机处理模块用于对采集到的数据进行处理和分析；机械控制模块用于控制条纹投影模块和双目相机模块的位置和姿态。该***和方法采用了条纹投影结构光和双目相机的组合，利用双目相机采集几组图案进行相关运算，进行三维重构，从而实现高精度的三维测量。采用结构光技术可以实现高精度的三维测量，具有优异的测量精度和稳定性，能够满足高精度三维测量的需求。采用双目结构光技术可以实现高速三维测量，不需要对物体进行接触式测量，具有测量速度快、效率高的优点。有较高的测量精度、测量速度，测量范围广，数据处理简便。

Description

基于条纹投影结构光双目三维测量***与方法

技术领域

本发明属于计算机三维测量技术领域，涉及一种基于条纹投影结构光双目三维测量***与方法。

背景技术

目前，三维重建技术已经成为了许多领域中不可或缺的工具，例如，工业设计、文化遗产保护、医学图像处理等。条纹投影结构光双目三维测量是一种常见的三维测量方法，其核心是结构光投影和双目视觉测量。结构光投影是指通过投射光线或光条纹的方式，在被测物体表面形成特定的图案，这个图案可以是平面或者曲面，通过相机拍摄该图案在物体表面的畸变情况，进而计算出物体表面的三维坐标信息。而双目视觉测量则是通过两个相机来观测同一物体，从而获取不同视角下的物体图像，并通过图像处理和匹配算法计算出物体表面的三维坐标信息。

条纹投影结构光双目三维测量***是一种利用结构光原理和双目视觉三维重建原理进行三维形貌测量的方法。结合条纹投影和双目***的优点，条纹投影结构光双目三维测量***可以实现高精度、高速度的三维形貌测量。在该***中，通过将结构光投影仪与双目相机***相结合，可以减少***对光照和环境的敏感度，同时提高了测量的精度和可靠性。

发明内容

本发明提供了一种基于条纹投影结构光双目三维测量***与方法，适用于便捷快速、高精度、高可靠性的测量，解决了传统双目结构光三维重建***成本高，速度慢等问题。具体步骤如下：

步骤1、搭建基于条纹投影结构光双目三维测量***，包括相机、投影仪以及机械控制支架；

将相机放置在投影仪侧面，并将其与投影仪平行地放置，通过机械控制支架改变相机的位置再进行拍摄，形成双目相机拍摄。通过机械控制支架控制相机位置的变化，从而避免手动调整位置造成的误差，提高测量精度。

步骤2、向被测物体投射9幅条纹图像，并使用多频解包裹的方法得到其展开相位；

使用投影仪向被测物体投射一组最高频率f₃＝64的四步正弦相移条纹，将剩余两种频率f₁＝1，f₂＝8的正弦分量编码到一张条纹图中。采集到的四步相移光栅条纹图的光强分布被表示为：

其中，表示相机获取的第n幅条纹图像像素位置处(x,y)的光强值，(x,y)表示相机坐标系下图像平面任意像素位置，A^c(x,y)表示相机拍摄到的图像的背景光强，B^c(x,y)表示相机拍摄到的图像的调制光强，/>是被测物体高度调制后的包裹相位。/>表示N步相移算法中第n幅条纹图像的相位移大小，图像光强在整个图像平面内呈周期性变化。

编码到条纹图每一个像素位置的光强分布函数有：

I_j ^p(x,y)＝A^p(x,y)+B^p(x,y)cos(φ₂(x,y)-δ_j(x,y))+C^p(x,y)cos(φ₁(x,y)-2δ_j(x,y))

其中，表示投影的第k张条纹图在(x,y)处的光强值，A^p(x,y)表示背景光强，B^p(x,y)和C^p(x,y)表示调制强度，相位φ_i(x,y)的取值范围为[0,2jπ)。δ_j(x,y)表示M步相移算法中第k幅条纹图的相位移大小。

基于四步相移法，得到最高频率f₃的包裹相位及剩余两个频率的包裹相位分别为：

使用多频解包裹的方法得到其展开相位值Φ₃(x,y)为：

其中，round()为最近取整函数。

步骤3、双目相机采集被测物体的图像数据，捕获经过物体形状调制后的图像，计算机对采集到的数据进行处理和分析；

使用双目相机捕获经过物体形状调制后的图像，并对图像进行中值滤波，图像增强等图像处理。采用中值滤波法来降低脉冲噪声对图像的污染，不仅能够很好地保护图像的边缘锐度，同时也不会丢失图像的细节特征。采用图像增强法来提高图像的质量和可辨识度，使图像更有利于观察或进一步分析处理。

步骤4、对该***进行标定，获得双目相机的内外参数；

左右相机都使用型号一样的相机，所以左右相机的内参会完全相同，先进行单个相机自身内参的标定，即焦距，畸变等，利用的是张正友的二维靶标平面标定方法，使用黑白棋盘靶标进行标定，将世界坐标系z平面建立在靶标平面上，得到一个从靶标平面到图像平面的单应性变换，即我们把内参外参都合在一块变成一个单一的变换矩阵，再利用纯数学推导将内参和外参从该单一的变换矩阵分离出来。

步骤5、根据相机的内外参数，对展开相位进行极线校正；

使用快速多频法得到展开相位后，依据双目标定的结果对展开相位图像进行极线校正，使得左右展开相位中的对应点在同一水平线上。

步骤6、对左右展开相位进行立体匹配，并获得左右展开相位对应匹配点的视差；

利用步骤5得到的极线校正后的左右展开相位，通过立体匹配算法进行匹配得到左右展开相位中各点对应的视差。

步骤7、利用三角测距原理将视差转换为深度信息；

利用步骤6得到展开相位各点对应点的视差后，通过三角测距原理得到深度转换公式便可得到的视差值转换为被测物体的深度信息，并最终重建出被测物体的三维点云图(其中，f为相机的焦距，b为两个相机光心的距离，d为得到的视差，z为所求的深度信息)。

步骤8、根据物体的三维空间坐标生成物体稀疏的点云图，完成物体的三维重建。

利用步骤7中得到的图像对应点的深度值z，根据坐标(x,y)得到各点在世界坐标系下的坐标(x,y,z)，由此重建出物体的稠密点云信息，完成物体三维重建。

相对于现有技术，本发明所述的一种基于条纹投影结构光双目三维测量方法具有以下优势：

1.采用结构光和双目视觉技术获取物体表面的三维信息，避免了传统立体匹配方法的缺陷，能够获得更高精度、更高稳定性的重建结果。

2.利用双目相机拍摄物体的左右两个视角，并采用图像校正算法对左右两个视角进行校正，使得立体图像对齐，从而实现更准确更快速的立体匹配。

3.通过结构光技术在物体表面投射光纹，利用双目相机对投射的光纹进行捕捉，从而计算出光纹在空间中的三维坐标，进而得到物体表面的三维信息。

4.本发明的设备结构简单、易于操作、成本较低，适用于工业、医学、文化遗产保护等领域。

附图说明

本发明的附图如下：

图1为本发明基于条纹投影结构光双目三维测量***与方法的具体实现流程图；

图2为本发明基于条纹投影结构光双目三维测量***结构示意图；

图3为本发明包裹相位与展开相位示意图；

图4为本发明的极线校正原理图；

图5为本发明的三角测量原理图；

图6为本发明使用Matlab获取匹配点的视差流程图；

具体实施方式

为更好理解上述技术方案，下面将结合说明书附图以及最佳实施方式对上述技术方案进行详细的说明，包括以下步骤：

步骤1、搭建基于条纹投影结构光双目三维测量***：

本发明提出的基于条纹投影结构光双目三维测量的***结构示意图如图2所示，投影仪向被测对象投射条纹图像，左右相机分别采集经过物体形状调制后的图像，导轨可以调节左右相机的位置，计算机对采集到的数据进行处理和分析。

步骤2、使用快速多频解包裹的方法得到其展开相位：

本发明使用快速多频法进行相位编码和解码，如图3所示分别为最高频率的包裹相位和展开相位示意图。使用投影仪向被测物体投射一组最高频率f₃＝64的四步正弦相移条纹，将剩余两种频率f₁＝1，f₂＝8的正弦分量编码到一张条纹图中。最终展开相位Φ₃(x,y)为：

其中，round()为最近取整函数。

步骤3、对该***进行标定：

本发明使用棋盘格标定板作为标定工具对双目***进行标定。在双目视野范围内多次移动标定板的位置，拍摄多张靶标图，然后送入MATLAB工具箱标定。

步骤4、极线校正与立体匹配：

相位匹配是在极线上通过最小化绝对相位差获得物体在两个视图之间的视差信息。极线校正就是将相位匹配的搜索维度从二维下降到了近乎一维，大幅减小了搜索的计算量。极线校正前后示意图如图4所示，极线校正前相机的光心不是相互平行的，极线校正后极点在无穷远处，两个相机的光轴平行，像点在左右图像上的高度一致。发明使用SGM立体匹配算法得到匹配点的视差，具体使用matlab中自带的disparity函数实现，流程图如图6所示。

步骤5、利用三角测距原理将视差转换为深度信息：

三角测距原理图如图5所示，在XOZ平面，由相似三角形1可得由相似三角形2可得/>在YOZ平面，由相似三角形可得关于y的表达式(y_l＝y_r)得/>结合两个平面将上述表达式整理得/> 其中f为相机的焦距，b为两个相机光心的距离，d为步骤4中匹配到的视差信息。根据坐标(x,y)和得到的各点深度信息z，得到各点在世界坐标系下的坐标(x,y,z)，并由此重建出物体的稠密点云信息，完成物体三维重建。

Claims (9)

1.一种基于条纹投影结构光双目三维测量***与方法，其特征在于，包括如下步骤：

步骤1、搭建基于条纹投影结构光双目三维测量***，包括相机、投影仪以及机械控制支架；

步骤2、向被测物体投射9幅条纹图像，并使用快速多频解包裹的方法得到其展开相位；

步骤3、双目相机采集被测物体的图像数据，捕获经过物体形状调制后的图像，计算机对采集到的数据进行处理和分析；

步骤4、对该***进行标定，获得双目相机的内外参数；

步骤5、对展开相位进行极线校正；

步骤6、对左右展开相位进行立体匹配，并获得左右展开相位对应匹配点的视差；

步骤7、结合双目的内外参数，利用三角测距原理将视差转换为深度信息；

步骤8、根据物体的三维空间坐标生成物体稀疏的点云图，完成物体的三维重建。

2.根据权利要求1所述的一种基于条纹投影结构光双目三维测量方法，其特征在于：所述步骤2中，使用投影仪向被测物体投射一组最高频率f₃＝64的四步正弦相移条纹，将剩余两种频率f₁＝1，f₂＝8的正弦分量编码到一张条纹图中。采集到的四步相移光栅条纹图的光强分布被表示为：

其中，表示相机获取的第n幅条纹图像像素位置处(x,y)的光强值，(x,y)表示相机坐标系下图像平面任意像素位置，A^c(x,y)表示相机拍摄到的图像的背景光强，B^c(x,y)表示相机拍摄到的图像的调制光强，/>是被测物体高度调制后的包裹相位。/>表示N步相移算法中第n幅条纹图像的相位移大小，图像光强在整个图像平面内呈周期性变化。编码到条纹图每一个像素位置的光强分布函数有：

I_j ^p(x,y)＝A^p(x,y)+B^p(x,y)cos(φ₂(x,y)-δ_j(x,y))+C^p(x,y)cos(φ₁(x,y)-2δ_j(x,y))

其中，表示投影的第j张条纹图在(x,y)处的光强值，A^p(x,y)表示背景光强，B^p(x,y)和C^p(x,y)表示调制强度，相位φ_i(x,y)的取值范围为[0,2jπ)。δ_j(x,y)表示M步相移算法中第j幅条纹图的相位移大小。

3.根据权利要求1所述的一种基于条纹投影结构光双目三维测量方法，其特征在于：所述步骤2中，利用权利要求2采集到的四步相移条纹图像得到最高频率f₃的包裹相位及剩余两个频率的包裹相位/>分别为：

4.根据权利要求1所述的一种基于条纹投影结构光双目三维测量方法，其特征在于：所述步骤2中，使用快速多频解包裹的方法得到其展开相位值Φ₃(x,y)为：

其中，round()为最近取整函数。

5.根据权利要求1所述的一种基于条纹投影结构光双目三维测量方法，其特征在于：所述步骤3中，使用双目相机捕获经过物体形状调制后的图像，并对图像进行中值滤波，图像增强等图像处理。

6.根据权利要求1所述的一种基于条纹投影结构光双目三维测量方法，其特征在于：所述步骤4中，采用张正友标定法对该***进行相机的标定。

7.根据权利要求1所述的一种基于条纹投影结构光双目三维测量方法，其特征在于：所述步骤5中，使用快速多频相位展开方法得到展开相位后，依据双目标定的结果对展开相位图像进行极线校正，使得左右展开相位中的对应点在同一水平线上。

8.根据权利要求1所述的一种基于条纹投影结构光双目三维测量方法，其特征在于：所述步骤6中，利用极线校正后的左右展开相位使用立体匹配算法进行匹配得到左右展开相位对应匹配点的视差。

9.根据权利要求1所述的一种基于条纹投影结构光双目三维测量方法，其特征在于：所述步骤7中，利用步骤6得到展开相位各点对应点的视差后，通过三角测距原理得到深度转换公式从而得到其被测物体的深度信息，其中，f为相机的焦距，b为两相机光心的距离，d为得到的视差，z为所求的深度信息。