CN107123156A - 一种与双目立体视觉相结合的主动光源投影三维重构方法 - Google Patents

Abstract

本发明公开了一种与双目立体视觉相结合的主动光源投影三维重构方法，在双目相机中间放置主动光源投影装置，通过双目分别获取带有投影条纹的目标表面图像，根据主动光源投影装置提供的条纹信息通过立体匹配获取重构目标表面完整的视差图，进而通过基本的三角测量原理获得重构目标4表表面完整的三维结构。解决了传统三维重构方法对于高反光、低纹理、具有复杂表面目标重构表面出现大面积数据空洞的问题。

Description

一种与双目立体视觉相结合的主动光源投影三维重构方法

【技术领域】

本发明属于计算机视觉技术领域，具体涉及一种与双目立体视觉相结合的主动光源投影三维重构方法。

【背景技术】

目标的三维重建是计算机视觉仿人类视觉的很重要的研究内容。对于纹理以及结构信息丰富的目标，双目立体视觉方法能取得良好的重构效果，然而对于纹理单一甚至严重缺失的目标，由于无法提取到有效的特征点会造成重构目标表面的大面积数据空洞。而传统的结构光***恰恰相反，特别是对于平坦的、无明显灰度、纹理和形状变化的表面区域，用结构光可形成明显的光条纹，便于作图像分析和处理，这一点对于较平坦表的目标进行三维重构是相适应的。然而，对于表面纹理丰富的高反光目标以及内凹等复杂表面的目标，基于结构光的三维重构难以取得令人满意的效果。

【发明内容】

本发明的目的是提供一种与双目立体视觉相结合的主动光源投影三维重构方法，以解决传统三维重构方法对于高反光、低纹理、具有复杂表面目标重构表面出现大面积数据空洞的问题。

本发明采用以下技术方案：一种与双目立体视觉相结合的主动光源投影三维重构方法，在双目相机中间放置主动光源投影装置，通过双目分别获取带有投影条纹的目标表面图像，根据主动光源投影装置提供的条纹信息通过立体匹配获取重构目标表面完整的视差图，进而通过基本的三角测量原理获得重构目标4表表面完整的三维结构。

进一步的，按照以下步骤实施：

步骤1、根据重构目标到左相机和右相机的距离，以及待重构目标自身的外形尺寸，选择合适的双目相机基线距离来搭建双目三维重建***，使得左相机和右相机可以同时获取目标图像；双目三维重建***包括并列设置的左相机和右相机，以及设置在左相机和右相机中间的主动光源投影装置；然后分别调节左相机和右相机的焦距至它们能够观测到清晰的重构目标的图像即可；

步骤2、对步骤1中搭建好的双目三维重建***进行立体标定，并分别获取左相机和右相机的畸变参数，以及左相机和右相机之间的位置参数；

步骤3、打开主动光源投影装置，将条码投射到重构目标的表面，并形成清晰的条纹；

步骤4、通过左相机和右相机，获取含有清晰条纹的重构目标的左右图像，对左右两幅图像进行去畸变以及校正之后，利用SGM算法进行立体匹配获取完整的视差图，进而获取重构目标表面的三维点云数据。

进一步的，步骤二的具体方法为：利用张正友标定法对双目相机进行标定，并获取左相机和右相机的内部参数与外部参数，进而得到左相机和右相机的畸变参数，以及左相机和右相机之间的位置参数。

进一步的，步骤三中，条码为黑白两色对比度高、纹理变化明显、变化频率高、无规律的条码。

进一步的，步骤四的具体方法为：立体匹配算法采用Semi-Global BlockMatching半全局匹算法。

本发明的有益效果是：与双目立体视觉相结合的主动光源投影三维重构方法与传统的双目立体视觉相比较，传统的双目立体视觉技术对于表面光滑的纹理单一甚至缺失的目标的恢复结果由于缺少明显的特征点无法匹配造成大面积的数据空洞，本方法对表面光滑的纹理单一甚至缺失的目标能够恢复目标表面相对完整的三维信息；相比于传统的结构光技术，本方法对对于灰度、纹理、表面形状变化明显的目标能更准确地恢复其三维信息，不需要严格标定投影装置与相机的相对位置，而且只需要对目标所在区域投影一次进行一次图像采集，操作简单实时性强。

【附图说明】

图1是双目立体视觉与主动纹理光源相结合三维重构***硬件结构图；

图2是双目立体视觉与主动纹理光源相结合三维重构***工作流程图；

图3是投射的二值化无重复纹理高对比度的清晰结构条码；

图4是双目相机成像原理示意图；

图5是双目相机标定过程中所需标定板示意图；

图6a为实施例得到的视差图；

图6b为采用传统双目立体视觉方法得到的视差图；

图7a实施例得到的三维重建结果；

图7b为采用传统双目立体视觉方法得到的三维重建结果。

其中，1.左相机，2.右相机，3.主动光源投影装置，4.重构目标。

【具体实施方式】

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

本发明提供了一种与双目立体视觉相结合的主动光源投影三维重构方法，如图1所示，在双目相机中间放置主动光源投影装置，双目相机即并列放置的左相机1和右相机2，通过左相机1和右相机2分别获取带有投影条纹的目标表面图像，根据主动光源投影装置3提供的条纹信息通过立体匹配获取重构目标4表面完整的视差图，进而通过基本的三角测量原理获得重构目标4表表面完整的三维结构。

本发明一种与双目立体视觉相结合的主动光源投影三维重构方法具体按照以下步骤实施：

步骤1、根据重构目标4到左相机1和右相机2的距离，以及待重构目标4自身的外形尺寸，选择合适的双目相机基线距离来搭建双目三维重建***，使得左相机1和右相机2可以同时获取目标图像；所述双目三维重建***包括并列设置的左相机和右相机，以及设置在左相机1和右相机2中间的主动光源投影装置；然后分别调节左相机1和右相机2的焦距至它们能够观测到清晰的重构目标的图像即可；

所谓合适的双目相机基线距离就是让左右相机可以同时获取目标图像，增大基线距离能提高三维重建的精度，但是，基线距离增大会导致公共视场的减小，过大的基线距离可能导致左右相机无法同时获取目标图像。

步骤2、对步骤1中搭建好的双目三维重建***进行立体标定，并分别获取左相机1和右相机2的畸变参数，以及左相机1和右相机2之间的位置参数；位置参数是指左右相机之间的相对位置，最终的三维重建结果是在以左相机镜头光心为原点的坐标系下的。

其中，可以利用张正友标定法对双目相机进行标定，并获取左相机1和右相机2的内部参数与外部参数，内部参数包括主点位置、畸变系数，外部参数包括旋转参数、平移参数，进而得到左相机1和右相机2的畸变参数，以及左相机1和右相机2之间的位置参数。

步骤3、打开主动光源投影装置2，将条码投射到重构目标4的表面，并形成清晰的条纹；该条码为黑白两色对比度高、纹理变化明显、变化频率高、无规律的条码。

步骤4、通过左相机1和右相机2，获取含有清晰条纹的重构目标的左右图像，对左右两幅图像进行去畸变以及校正之后，利用SGM算法进行立体匹配获取完整的视差图，进而获取重构目标表面的三维点云数据。其中，立体匹配算法可以采用Semi-Global BlockMatching半全局匹算法，可以进一步提高左右相机图像立体匹配的准确性，获取准确且完整的视差图，进而恢复目标表面的三维点云数据。

在本发明的技术方案中，三维重构主要由双目立体相机模块和条纹投影模块两大模块组成。双目立体视觉的三维重构原理如图4所示，其中基线距B为两摄像机的投影中心连线的距离；相机焦距为f。设两摄像机在同一时刻观看空间物体的同一特征点P(x_c,y_c,z_c)，分别在“左相机图像”和“右相机图像”上获取了点P的图像，它们的图像坐标分别为p_left＝(X_left,Y_left)，p_right＝(X_right,Y_right)。

现两摄像机的图像在同一个平面上，则特征点P的图像坐标Y坐标相同，即Y_left＝Y_right＝Y，则由三角几何关系得到：

则视差为：Disparity＝X_left-X_right。由此可计算出特征点P在相机坐标系下的三维坐标为：

因此，左相机像面上的任意一点只要能在右相机像面上找到对应的匹配点，就可以确定出该点的三维坐标。这种方法是完全的点对点运算，像面上所有点只要存在相应的匹配点，就可以参与上述运算，从而获取其对应的三维坐标。

本发明在具体的操作过程中，首先打开直流光源投影装置，将二值化无重复纹理高对比度的清晰结构条码图案投影到目标物体，调节相机曝光时间，如果依然存在大面积耀光，则调整光源的亮度至能够采集到清晰的条纹图像；当目标物体上出现清晰的投影条纹之后，触发双目相机使左右相机对目标图像进行同步采集；得到同一时刻的左右相机图像之后，按照如图2所示的基本流程对左右相机图像依次进行去噪、去畸变、校正以及求取视差图，最终完成目标表面的三维重建。

实施例：

本实施实例所采用的光源是直流亮度可调的光源，所采用的计算机包括图像采集软件，计算机的型号是联想启天M7300，CCD相机采用维视MV-1300，双目相机的基线距离为10cm，双目相机的光轴前向平行放置。

对搭建好的双目立体视觉***采用如图5所示的棋盘格标定板进行标定。获取标定数据之后，按照如图2所示的流程对重构目标4进行三维重建。以覆盖热控材料的卫星模型为例进行实验过程分析。打开主动光源投影装置2，将如图3所示的结果条纹透射到目标表面。首先对采集到的左右相机图像进行图像去噪等预处理，然后根据相机标定的得到的畸变系数、左相机1和右相机2位置参数进行图像去畸变与图像校正，最后通过立体匹配得到视差图。如图6a所示，左图为本发明方法得到的视差图，表面视差信息完整，反映了连续变化的深度信息；图6b为传统双目立体视觉方法得到的视差图，出现了大面积视差数据的丢失，数据的丢失必然会影响最终重建结果的完整性，进而通过如图4所示的三角测量原理获取目标表面的三维坐标信息，重建结果如图7a所示，为本发明提出的三维重建方法重建结果，能够得到目标表面完整的三维信息；图7b为传统双目立体视觉方法三维重建结果，在视差数据缺失的部分出现了大面积的数据空洞，严重影响了恢复结果的完整性。

基于双目立体视觉的三维重构基本流程依次为相机标定、图像采集、图像预处理和特征提取、立体匹配、深度计算等。其中，特征提取过程中常用特征主要有点状特征、线状特征和区域特征等。对于表面光滑的低纹理目标除边缘外无明显的特征供提取，造成左右图像中只有少量的特征点成功匹配，使得重构结果出现大量的数据空洞。传统的基于结构光的目标三维重建严重依赖目标表面反射光的强度，对于高反光目标无法获取清晰的投射条纹图像，进而影响重建结果的完整性。

针对传统的基于结构光与双目立体视觉的三维重构技术对表面光滑、纹理单一甚至严重缺失的高反光目标恢复结果的的不足，设计了一种主动纹理光源与双目立体视觉相结合的三维重构方法，涉及双目相机、主动投影光源等硬件模块，能够实现对高反光、低纹理、具有复杂表面形状目标完整三维表面信息的恢复。将黑白两色对比度高、纹理变化明显、变化频率高、无规律的条纹主动光源投射到无纹理光滑目标的表面可以为双目立体匹配提供大量的特征点，通过密集的特征点匹配可以得到完整的目标表面的信息。基于双目立体视觉的目标三维重建特征点的提取过程是在灰度图像上进行的，选择黑白两色的二值条纹可以有效地提高获取图像的对比度，获得清晰的条纹图像。高频的条纹信息变换可以提供更多的特征点，密集的特征点有助于重建目标表面的完整性。选择无规律的条纹能够有效降低由于纹理重复造成的特征点误匹配概率，获取特征点处更准确深度信息。用直流光源作为投影光源，可以缩短相机曝光时间以及调整光源的亮度控制目标图像的纹理亮度，从而获得表面的特征信息，不会因为CCD曝光时间的缩短使得相机的采集频率与投影仪的刷频率产生干扰，从而影响图像采集的质量。此外，对于表面起伏较大的目标，基于双目立体视觉的三维重构方法不同于传统的结构光方法依然能够取得良好的效果。

Claims (5)

1.一种与双目立体视觉相结合的主动光源投影三维重构方法，其特征在于，在双目相机中间放置主动光源投影装置(3)，通过双目分别获取带有投影条纹的目标表面图像，根据主动光源投影装置(3)提供的条纹信息通过立体匹配获取重构目标(4)表面完整的视差图，进而通过基本的三角测量原理获得重构目标4表表面完整的三维结构。

2.如权利要求1所述的一种与双目立体视觉相结合的主动光源投影三维重构方法，其特征在于，按照以下步骤实施：

步骤1、根据重构目标(4)到左相机(1)和右相机(2)的距离，以及待重构目标(4)自身的外形尺寸，选择合适的双目相机基线距离来搭建双目三维重建***，使得左相机(1)和右相机(2)可以同时获取目标图像；所述双目三维重建***包括并列设置的左相机和右相机，以及设置在左相机(1)和右相机(2)中间的主动光源投影装置；然后分别调节左相机(1)和右相机(2)的焦距至它们能够观测到清晰的重构目标的图像即可；

步骤2、对步骤1中搭建好的双目三维重建***进行立体标定，并分别获取左相机(1)和右相机(2)的畸变参数，以及左相机(1)和右相机(2)之间的位置参数；

步骤3、打开主动光源投影装置(3)，将条码投射到重构目标(4)的表面，并形成清晰的条纹；

步骤4、通过左相机(1)和右相机(2)，获取含有清晰条纹的重构目标的左右图像，对左右两幅图像进行去畸变以及校正之后，利用SGM算法进行立体匹配获取完整的视差图，进而获取重构目标表面的三维点云数据。

3.如权利要求2所述的一种与双目立体视觉相结合的主动光源投影三维重构方法其特征在于，所述的步骤二的具体方法为：利用张正友标定法对双目相机进行标定，并获取左相机(1)和右相机(2)的内部参数与外部参数，进而得到左相机(1)和右相机(2)的畸变参数，以及左相机(1)和右相机(2)之间的位置参数。

4.如权利要求2所述的一种与双目立体视觉相结合的主动光源投影三维重构方法其特征在于，所述步骤三中，所述条码为黑白两色对比度高、纹理变化明显、变化频率高、无规律的条码。

5.如权利要求2所述的一种与双目立体视觉相结合的主动光源投影三维重构方法其特征在于，所述的步骤四的具体方法为：立体匹配算法采用Semi-Global Block Matching半全局匹算法。