CN111121722A - 结合激光点阵和偏振视觉的双目三维成像方法 - Google Patents

Abstract

本发明公开了一种结合激光点阵和偏振视觉的双目三维成像方法，将随机点阵激光模组形成的激光点阵投影作用到目标物体上，利用镜片组模块滤波减少环境光的干扰并抑制部分耀光，最后用双目偏振相机捕获有效目标图像对，对两幅图像进行点匹配，然后计算视差和三维坐标形成目标表面三维点云图像。本发明用偏振相机取代普通可见光相机，利用滤波片抑制背景光，利用偏振成像抑制表面耀光，减少图像中光斑覆盖的所有像素点中的饱和点数量从而提高了光斑中心的计算精度，克服了传统双目视觉***的缺点，使得该方法能作用于类似金属的表面光滑低纹理高反光目标。

Description

结合激光点阵和偏振视觉的双目三维成像方法

技术领域

本发明涉及双目三维成像技术，特别是一种结合激光点阵和偏振视觉的双目三维成像方法。

背景技术

双目立体视觉测距技术是一种非接触测距技术，是计算机视觉中双目立体视觉的一种应用。主要是利用计算机来模拟双目，将成像器件获得的两幅或两幅以上的图像进行匹配处理，这些图像可以是同一相机在不同角度或位置分时拍摄，也可以是不同相机同时拍摄；然后计算目标点视差，根据三角测量原理计算得到目标点的相对坐标和世界坐标，借此恢复深度信息，得到目标的表面形貌，实现三维重构。该技术简便可靠，能够直观感知，并且随着各种算法的提出，计算精度的提高，使得它在很多领域都有极大的应用价值，比如精密测量、微操***的检测控制、三维测量、机器人导航识别、3D场景重建、虚拟现实技术等。

结构光技术是将特定的光信息投射到目标物体表面，再由摄像头采集，根据物体造成的光信号的变化来计算物体的位置和深度等信息，从而实现目标表面的三维重构。

目前所用的双目视觉主要基于灰度匹配和深度学习等计算机图像处理技术，所用的都是普通工业相机，但是基于灰度的匹配技术容易产生较大误差，严重影响成像结果，而且只在近距离工作时成像精度高，面对表面光滑、低纹理、反射率高的物体表面时更容易出现大面积的误匹配从而形成数据空洞，三维图像恢复算法复杂，计算量大，不容易实现高速成像。

有的双目视觉结合了结构光、有线结构光、点结构光和脉冲激光测距，但是该技术对光信号的实时处理要求比较高，测量精度和成像分辨率都有限，而且也不适合用于处理表面光滑、低纹理、反射率高的物体表面。

发明内容

本发明的目的在于提供一种结合激光点阵和偏振视觉的双目三维成像方法，能够作用于表面光滑、纹理单一、存在高反光区域的目标物体。

实现本发明目的的技术解决方案为：一种结合激光点阵和偏振视觉的双目三维成像方法，该方法基于双目三维成像***，***包括随机点阵激光模组、镜片组模块、双目偏振相机、固定云台和计算机，所述方法包括以下步骤：

步骤1、对双目偏振相机进行标定得到标定参数，再由随机点阵激光模组中连续激光器出射的激光经过准直透镜和衍射光栅形成激光点阵，激光点阵经过调焦后作用在目标物体上；

步骤2、由镜片组模块进行滤波，滤除环境背景干扰光，抑制一部分耀光，再由标定后的双目偏振相机获得0度、45度、90度、135度四对不同偏振角度目标物体图像，并筛选出表面耀光最小，像素饱和点最少的一对图像作为有效目标图像；

步骤3、将步骤2中得到的左右相机图像利用步骤1得到的标定参数进行极线校正，得到校正后的左右相机目标图像；

步骤4、将步骤3得到的左右目标图像进行预处理，步骤3得到的图像中的点阵所成像是一个个散斑，先将所有散斑中覆盖像素点数小于设定阈值的散斑作为噪声点滤除，阈值由所有散斑平均覆盖的像素点决定，然后对剩下的每个散斑进行标记，标记方法是将整个散斑进行高斯拟合，拟合得到的中心点作为新的坐标，该坐标即作为散斑的代表点坐标，即一个点代表一个散斑；

步骤5、将步骤4预处理得到的左右目标图像进行叠加，以左图像作为参考图像，左图像上的代表点作为参考点，在一定范围内横向向左搜索右图像上的最近代表点，该范围为匹配阈值，匹配阈值是一个可调参数，并计算两点列坐标的差值作为该参考点的视差；

步骤6、利用步骤5得到的参考点坐标和视差，结合相机的标定参数，计算得到各个点的世界坐标，即得到目标的表面三维点云，从而得到目标的相对位置和姿态信息；

步骤7、根据步骤6得到的结果来分别调整点云密度和匹配阈值，并重复步骤1到步骤6从而得到三维点云，若只调整匹配阈值则只重复步骤5到步骤6；

步骤8、利用步骤2中得到的所有角度偏振图像进行点云计算，重复步骤3到6，将四组点云进行点云融合得到目标表面三维成像。

本发明与现有技术相比，其显著优点为：(1)作用于表面光滑低纹理高反光的目标时精度更高：利用偏振成像抑制成像时出现的耀光，能处理传统双目视觉成像中由于目标光滑表面的高反光导致点云缺失，成像不完整的问题；同时减少了图像中光斑覆盖的所有像素点中的饱和点数量从而提高了光斑中心的计算精度；引入高斯拟合计算光斑中心坐标进一步提高了精度，工作距离为1m时误差达到1mm以内；(2)工作距离更远：因为激光在一定工作距离内仍能有效识别，在增加了滤波之后又能有效滤除杂散背景干扰光，所以在远距离的目标测量上相对于传统双目精度更高；(3)实时性更强，表面细节更丰富，装置结构简单：同时获取四对偏振图像并用点云融合能增加表面拟合点的数量，丰富表面细节；简化了图像处理和匹配算法，不需要对光波的细节变化进行处理，计算效率更快，抗干扰能力强。

附图说明

图1为本发明的基于双目视觉和偏振成像并结合激光点阵的三维成像***示意图。

图2为某环境下实验所用金属目标图。

图3为双目视觉灰度匹配结果视差图。

图4为双目视觉点匹配结果图。

图5为双目视觉结合偏振后四个偏振角度点云融合结果图。

图6为结果点云在拟合平面附近波动情况示意图。

具体实施方式

针对现有的双目立体视觉成像测量***鲁棒性差、灰度匹配误匹配率高、无法解决金属等表面光滑目标的表面耀光的问题，本发明提供一种结合偏振视觉和激光点阵的成像***和成像方法，使其能够作用于表面光滑、纹理单一、存在高反光区域的目标物体。

如图1所示，一种结合激光点阵和偏振视觉的双目三维成像方法，该方法基于双目三维成像***，***包括随机点阵激光模组1，镜片组模块2，双目偏振相机3，固定云台4和计算机5，所述方法包括以下步骤：

步骤1、首先对双目偏振相机3进行标定得到标定参数，再由随机点阵激光模组1中连续激光器出射的激光经过准直透镜和衍射光栅形成激光点阵，激光点阵经过调焦后作用在目标物体上；

步骤2、由镜片组模块进行滤波，滤除环境背景干扰光，抑制一部分耀光，再由标定后的双目偏振相机3获得0度、45度、90度、135度四对不同偏振角度目标物体图像，并筛选出表面耀光最小，像素饱和点最少的一对图像作为有效目标图像；

步骤3、将步骤2中得到的左右相机图像利用步骤1得到的标定参数进行极线校正，得到校正后的左右相机目标图像；

步骤4、将步骤3得到的左右目标图像进行预处理，步骤3得到的图像中的点阵所成像是一个个较小的散斑，先将所有散斑中覆盖像素点数小于设定阈值的散斑作为噪声点滤除，阈值由所有散斑平均覆盖的像素点决定，然后对剩下的每个散斑进行标记，标记方法是将整个散斑进行高斯拟合，拟合得到的中心点作为新的坐标，该坐标即作为散斑的代表点坐标，即一个点代表一个散斑；

步骤5、将步骤4预处理得到的左右目标图像进行叠加，以左图像作为参考图像，左图像上的代表点作为参考点，在一定范围内横向向左搜索右图像上的最近代表点，该范围为匹配阈值，匹配阈值是一个可调参数，可以手动调整，并计算两点列坐标的差值作为该参考点的视差；

步骤6、利用步骤5得到的参考点坐标和视差，结合相机的标定参数，计算得到各个点的世界坐标，就能得到目标的表面三维点云，从而得到目标的相对位置和姿态信息；

步骤7、根据步骤6得到的结果来分别调整点云密度和匹配阈值，并重复步骤1到步骤6从而得到精确结果，若只调整匹配阈值则只重复步骤5到步骤6；

步骤8、利用步骤2中得到的所有角度偏振图像进行点云计算，重复步骤3到6，将四组点云进行点云融合得到细节更丰富的目标表面三维成像。

进一步的，随机点阵激光模组1产生的点阵是随机分布的，只有随机点阵才能在匹配时通过点云的状态分析出是否由于密度过小产生误匹配，所述镜片组模块2中包含滤波片和/或偏振片，可以根据实际所用激光波长和背景光的大小调整更换镜片，背景光较暗时可以去掉滤波片，工作距离较远，光斑较暗时可以去掉偏振片，双目偏振相机由电脑控制，能同时获取四个角度的偏振图像，其中耀光最小，像素饱和点最少的一对作为有效目标图像用于计算姿态、角度和位置，剩余图像用于丰富表面细节。

进一步的，步骤4对步骤3得到的校正图像对进行预处理，先进行图像滤波处理，滤除覆盖像素点少于图像中点阵所成像平均像素点的成像点，然后选择剩余有效点，对有效的激光点阵进行标记，标记方法是对每个激光散斑的光强分布进行高斯插值拟合，找到光斑中心，以光斑中心坐标作为散斑的代表点坐标。

进一步的，步骤5将步骤4预处理得到的左右图像进行叠加，然后将左图像作为参考图像，左图像点阵代表点作为参考点，并与右图像进行逐点匹配，匹配方法是以左图像参考点作为出发点，向左横向搜索右图像中离它最近的点就是对应匹配点，参考点和匹配点之间的列坐标差值作为视差，并筛除视差突变的点，横向搜索范围即最大、最小搜索高度，由极线校正精度和光斑中心计算精度决定，纵向搜索距离即最大、最小搜索宽度，由点阵密度和工作距离决定，横向和纵向搜索范围组成匹配阈值。

进一步的，步骤6利用步骤5得到的参考点像素坐标和对应视差，结合双目相机标定参数，利用重投影法计算得到每个点的世界坐标X，Y，Z，世界坐标系与校正后的左相机坐标系重合，也可以利用左相机的校正矩阵逆运算将世界坐标系与校正前左相机坐标系重合，利用这些点进行点云重构，得到目标的位置和姿态，点云的密度由步骤1产生的激光点阵密度和目标图像对数决定。

进一步的，所述随机点阵激光模组1包括连续激光器、衍射光栅和准直透镜，所述连续激光器的输出波长是近红外波段，衍射光栅采用随机点阵DOE镜片，用于产生不同的点阵分布和点云密度。

进一步的，所述极线校正采用Bouguet极线校正。

本发明既结合了双目视觉和结构光，还引入了偏振视觉的部分优势，提出了一种新的三维成像***及成像方法。它利用激光点阵匹配替代传统的灰度匹配，用偏振相机取代普通相机，在利用偏振成像抑制目标光滑表面的高反光，减少图像上激光点的像素饱和点同时还能获取多对不同角度的偏振图像，使其能够作用于类似金属的表面光滑低纹理目标，并且大大提高了激光点光斑中心的计算精度，提高点云的计算精度和效率，增加工作距离。并且能将得到的多对实时图像进行融合，丰富目标表面细节，补充数据空洞。克服了传统双目面对表面光滑低纹理高反光目标时鲁棒性差、误匹配率高以及三维成像时出现大面积空洞的缺点。

下面结合附图和具体实施对本发明做更详细的描述。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例

如图1所示，一种基于双目视觉和偏振成像并结合激光点阵的三维成像方法，基于成像***实现，***包括：随机点阵激光模组1，镜片组模块2，双目偏振相机3，固定云台4，计算机5。该成像方法包括以下步骤：首先将激光点阵***形成的激光点阵投影到目标物体上，以激光作为光源能保证单一性，减少环境光的干扰，点阵***形成的点阵稠密程度决定后续点云的精细程度；然后利用偏振相机获取目标图像对，得到四对以上不同角度的偏振图像，物体的光滑表面在成像时经常会有耀光现象，这是由于镜面反射导致的相机像素点过饱和，耀光现象会造成散斑变大，导致点与点在图像上融合，饱和点过多还会导致光斑中心的计算精度下降，所以利用偏振成像来抑制耀光现象；以左相机图像为参考图像与右相机图像进行匹配，用点匹配代替灰度匹配，减少匹配误差，同时用较密的点云取代较少的特征点使成像不局限于轮廓，更完整，最后计算左右图像匹配点对之间的横向距离作为视差；利用双目相机标定参数和计算得到的左相机图像点像素坐标及对应视差，结合三角测量原理和重投影矩阵计算得到各点的世界坐标，世界坐标系与左相机坐标系重合，最后融合点云生成目标表面三维形貌。

本实施例中，图2为某环境下实验所用金属目标图。选用的随机点阵激光模组1包含连续激光器，随机点阵DOE镜片即衍射光栅，光学聚焦模组选用准直透镜，连续激光器的输出波长是近红外波段，该波段激光作用于常见金属材料比如铝箔时有良好的反射率，且人眼不可见。选用不同的DOE镜片能产生不同的点阵分布和点云密度，调节模组的工作距离也可以改变点云密度。产生的激光点阵必须是随机分布的，只有随机分布的点阵，才能在点与点的距离小于视差时产生分布混乱的不规则点云，从而分析出点云密度过小，并通过调节匹配阈值，比如增大最小搜索宽度来减少误匹配。如果直接获取可见光图像，得到的双目灰度匹配视差结果如图3。

镜片组模块包含滤波片和偏振片，用于抑制背景干扰光和目标表面耀光；镜片组模块2中的滤波片只能透过与随机点阵激光模组中连续激光器输出波长相同的光，减少环境中其它波长光的干扰，同时增加偏振片，进一步抑制耀光。

将两个相似的偏振相机3固定在云台上构成双目立体视觉***，可以通过调节固定云台4来控制相机之间的基线距离和夹角。通过双目标定获得相机的内参以及外参，然后利用标定后的左右相机分别获取距离1米左右的金属目标图像。所述偏振相机能够获得四个不同角度的偏振图像，每个角度图像仅是特定角度范围内偏振光所成的像。物体表面的反射光中含有部分偏振光，特别是激光照射时，由于激光的单一性，偏振现象更明显，导致不同角度的光强大小不同，偏振成像能从不同角度的偏振图像中选取光强最小的部分，减少耀光的影响。与需要不断调节偏振片角度，分时获取不同角度的偏振相机相比，所述偏振相机利用微元偏振阵列，能同时获取四个不同角度的偏振图像，效率高，实时性强。所述偏振相机有实时摄影功能，借助所述摄影功能能够实时调节所述激光器的输出功率，使得左右图像中每个点尽量清晰同时饱和点少。如果想要增加偏振图像对，还可以通过在相机前的镜片组模块2中增加偏振片来增加偏振角度。

利用计算机5从所述的不同偏振图像对中选取耀光最弱、饱和点最少的一对作为待处理目标图像对。利用标定后得到的双目相机内外参对所述目标图像对进行极线校正，使所述目标图像对左右图像处于同一成像面上，并且目标所处高度相同，即目标在左右图像中的对应点处于同一条水平极线上。本实施例使用Bouguet校正方法校正。

将校正后的图像对进行预处理以提高点匹配精度。先将所述校正后图像对进行滤波处理，去除噪声点，保留有效点。然后标记图像中的有效点，计算其代表点坐标。具体标记方式如下：框选出每个有效激光点包含的像素点，利用这些像素点的灰度值进行插值拟合，得到激光光斑的光强分布从而得到中心坐标，将该坐标作为对应有效点的代表点坐标。当得到左右图像对所有有效点的代表点坐标后，对左右图像的各点进行点匹配。

点匹配过程如下：以左图像为参考图像，左图像上的代表点作为参考点，将右图像叠加到左图像上。然后以左图像代表点为出发点向左沿图像同一行横向搜索离它最近的右图像中的代表点。因为校正精度和计算精度的影响，搜索范围可以适当调整，本实施例的搜索范围是参考点附近两个像素行。搜索列与代表点距离大于点云密度，最大搜索距离根据上一次搜索结果适当调整，受目标距离影响。当左图像代表点都得到与它距离最近的右图像代表点后，它们两两组成匹配对，每对两点之间的列坐标差值作为视差。

三维坐标计算：根据双目标定参数，结合左图像代表点像素坐标及视差值，利用三角测量原理即可计算得到各代表点的世界坐标，就可以形成目标表面的简单三维形貌，得到目标相对位置和姿态。三维成像的精细程度由点云稠密程度决定，点云越密越精细，但相应的计算效率更低，并且过密的点云还会导致误匹配率增加。所以点云的密度要适中，要随着工作距离进行调整。本实施例中根据工作距离和初始计算结果调整点云后，又获得了多对图像对，将每对图像得到的结果点云又进行了融合，得到密度更高的三维点云，得到较好的三维形貌。如果直接获取目标点阵图像进行点匹配得到的点云结果如图4，再增加偏振成像和点云融合后得到的点云结果如图5，点云在拟合平面附近分布情况如图6，点云密度更高，弥补了表面数据空洞，消除了普通灰度匹配的大面积耀光影响和点匹配时小范围耀光对坐标精度的影响，细节更丰富，平均偏差在1mm以内。

综上所述，本发明提出的双目三维成像方法克服了传统双目面对表面光滑低纹理高反光目标时鲁棒性差、误匹配率高、计算时间长以及三维成像时出现大面积空洞的缺点，适用于表面光滑低纹理高反光目标。

Claims (6)

1.一种结合激光点阵和偏振视觉的双目三维成像方法，其特征在于，该方法基于双目三维成像***，***包括随机点阵激光模组(1)、镜片组模块(2)、双目偏振相机(3)、固定云台(4)和计算机(5)，所述方法包括以下步骤：

步骤1、对双目偏振相机(3)进行标定得到标定参数，再由随机点阵激光模组(1)中连续激光器出射的激光经过准直透镜和衍射光栅形成激光点阵，激光点阵经过调焦后作用在目标物体上；

步骤2、由镜片组模块(2)进行滤波，滤除环境背景干扰光，抑制一部分耀光，再由标定后的双目偏振相机(3)获得0度、45度、90度、135度四对不同偏振角度目标物体图像，并筛选出表面耀光最小，像素饱和点最少的一对图像作为有效目标图像；

步骤3、将步骤2中得到的左右相机图像利用步骤1得到的标定参数进行极线校正，得到校正后的左右相机目标图像；

步骤4、将步骤3得到的左右目标图像进行预处理，步骤3得到的图像中的点阵所成像是一个个散斑，先将所有散斑中覆盖像素点数小于设定阈值的散斑作为噪声点滤除，阈值由所有散斑平均覆盖的像素点决定，然后对剩下的每个散斑进行标记，标记方法是将整个散斑进行高斯拟合，拟合得到的中心点作为新的坐标，该坐标即作为散斑的代表点坐标，即一个点代表一个散斑；

步骤5、将步骤4预处理得到的左右目标图像进行叠加，以左图像作为参考图像，左图像上的代表点作为参考点，在一定范围内横向向左搜索右图像上的最近代表点，该范围为匹配阈值，匹配阈值是一个可调参数，并计算两点列坐标的差值作为该参考点的视差；

步骤6、利用步骤5得到的参考点坐标和视差，结合相机的标定参数，计算得到各个点的世界坐标，即得到目标的表面三维点云，从而得到目标的相对位置和姿态信息；

步骤7、根据步骤6得到的结果来分别调整点云密度和匹配阈值，并重复步骤1到步骤6从而得到三维点云，若只调整匹配阈值则只重复步骤5到步骤6；

步骤8、利用步骤2中得到的所有角度偏振图像进行点云计算，重复步骤3到6，将四组点云进行点云融合得到目标表面三维成像。

2.根据权利要求1所述的结合激光点阵和偏振视觉的双目三维成像方法，其特征在于，所述镜片组模块(2)中包含滤波片和/或偏振片。

3.根据权利要求1所述的结合激光点阵和偏振视觉的双目三维成像方法，其特征在于，步骤5具体为：

将步骤4预处理得到的左右图像进行叠加，然后将左图像作为参考图像，左图像点阵代表点作为参考点，并与右图像进行逐点匹配，匹配方法是以左图像参考点作为出发点，向左横向搜索右图像中离它最近的点就是对应匹配点，参考点和匹配点之间的列坐标差值作为视差，并筛除视差突变的点，横向搜索范围即最大、最小搜索高度，由极线校正精度和光斑中心计算精度决定，纵向搜索距离即最大、最小搜索宽度，由点阵密度和工作距离决定，横向和纵向搜索范围组成匹配阈值。

4.根据权利要求1所述的结合激光点阵和偏振视觉的双目三维成像方法，其特征在于，步骤6具体为：

利用步骤5得到的参考点像素坐标和对应视差，结合双目相机标定参数，利用重投影法计算得到每个点的世界坐标X、Y、Z，世界坐标系与校正后的左相机坐标系重合，或者利用左相机的校正矩阵逆运算将世界坐标系与校正前左相机坐标系重合，利用这些点进行点云重构，得到目标的位置和姿态，点云的密度由步骤1产生的激光点阵密度和目标图像对数决定。

5.根据权利要求1所述的结合激光点阵和偏振视觉的双目三维成像方法，其特征在于，所述随机点阵激光模组(1)包括连续激光器、衍射光栅和准直透镜，所述连续激光器的输出波长是近红外波段，衍射光栅采用随机点阵DOE镜片，用于产生不同的点阵分布和点云密度。

6.根据权利要求1所述的结合激光点阵和偏振视觉的双目三维成像方法，其特征在于，所述极线校正采用Bouguet极线校正。

Images