CN110230998B - 基于线激光和双目相机的快速精密三维测量方法和装置 - Google Patents

Abstract

本发明公开了一种基于线激光和双目相机的快速精密三维测量方法和装置。测量方法如下：首先对主副相机定标，获取主副相机和线激光发生器的精确位置关系；其次，主副相机对在单轴位移平台上的目标工件成像；最后，对于主副相机影像，采取其中一幅影像作为基准，若该基准相机影像激光线条纹没有缺陷，则以该影像基于三角原理获取该位置的三维信息，若线条出现缺失，则利用另一幅影像补充三维信息。测量装置包括：线激光发生器、主副相机、单轴位移平台和数据处理单元。本发明相较于传统的线激光单目相机***，本发明可有效避免死角信息缺失，相较于传统的线激光双目视觉相机***，本发明则可有效减少数据计算量，提高***实时计算能力。

Description

基于线激光和双目相机的快速精密三维测量方法和装置

技术领域

本发明涉及三维测量领域以及非接触式测量设备领域，特别涉及一种基于线激光和双目相机的快速精密三维测量方法和装置。

背景技术

随着人工智能快速发展，工业自动化的不断完善，用机器视觉来代替人类肉眼进行测量和判断成为人们研究的重点。伴随着检测精度和检测物体的复杂性不断提升，传统的二维测量已远远不能满足机器视觉高精度测量的需要。激光三角法作为三维测量的一个重要分支，由于其具有非接触、不易损伤表面、材料适应性广、结构简单、测量距离大、抗干扰、测量点小、测量准确度高、可用于实时在线快速测量等特点，在三维测量领域中得到广泛的应用。

对比文件1：CN109146959A公开了一种单目相机实现动态点三维测量方法，该方法包括：在空间非运动刚体某一位置建立全局坐标系，并在该全局坐标系上粘贴多个坐标已知的控制点；标定出单目相机的内外参数；利用多台激光发射器发出多条激光光束，每条激光光束打在动态测量点所在平面上产生一个激光点；利用单目相机采集控制点和动态测量点所在平面的初始图像，以及采集动态测量点所在平面在空间运动过程中的序列图像，根据单目相机的内外参数，确定每个激光点的实时空间坐标；根据每个激光点的实时空间坐标，确定动态测量点所在平面方程，从而确定动态测量点的实时三维坐标。

对比文件2：CN107907048A公开了一种基于线结构光扫描的双目立体视觉三维测量方法。首先，对双目工业相机进行立体标定，利用线激光器投射激光光条，分别获取左右激光光条图像，并基于Hessian矩阵方法提取亚像素精度的光条中心坐标，根据极线约束原理进行光条匹配，计算出激光平面方程；其次，获取待测工件的线激光扫描图像，提取待测工件图像坐标，结合双目相机标定参数和激光平面方程计算出待测工件世界坐标，由此恢复待测工件三维表面形貌。

传统单目线激光轮廓扫描仪对于物体表面凹槽边缘倾斜度较小时信息采集效果较好，当凹槽边缘倾斜度较大甚至垂直边缘时，会出现大量数据丢失，传感器解算出的三维点云数据会出现大量噪点。因此，需要使用双目相机，从不同角度观测线激光，以避免信息缺失。

但是，目前的双目视觉扫描仪主要是基于双目视觉的原理进行三维重建，需要大量特征提取与匹配等工作，进行丢失部位数据补足时，两台传感器只有在数据丢失区域存在数据差异，其余区域数据重合度较高，计算时间和内存占用均未有效利用。

发明内容

本发明要解决的技术问题是提供一种基于线激光和双目相机的快速精密测量方法和装置，在信息无缺失的情况下，采用主相机基于三角测量原理获得物体的三维信息，而在信息缺失的情况下，采用副相机基于三角测量原理获得物体的三维信息，二者相互结合，补全获得物体的完整三维信息。既能有效避免传统单目线激光扫描仪的信息缺失问题，又能避免现有双目视觉扫描仪的复杂解算过程，降低计算时间和内存。

为了解决上述技术问题，本发明采用以下技术方案：

首先，本发明提供一种基于线激光和双目相机的快速精密三维测量方法，包括如下步骤：

步骤1、线激光发生器及相机标定

分别对主副相机标定，通过标定公式计算确定主副相机与线激光的空间位置关系；

步骤2、控制单轴位移平台运动，进行数据采集

通过控制位移平台，移动物体，主副相机同时拍摄投影于物体表面的线激光；

步骤3、判断主副相机是否存在信息缺失

当物体边缘倾斜度较大时，激光条纹没有缺失，主相机的视场内每一行(或列)都存在激光条纹像素点；当物体边缘倾斜度较小时，激光条纹出现缺失，主相机的视场内某些行(或列)会出现激光条纹像素点缺失。通过统计每一行(或列)是否有激光条纹像素点，即可推断主相机视场内是否存在信息缺失；

步骤4、当主相机存在信息缺失时，采用副相机获取物体边缘反射光线

即拍摄物体表面曲线边缘倾斜度较小时，此时主相机无法获取到边缘反射光线，而副相机可以完整获取边缘反射光线；

步骤5、激光三角法确定物体三维坐标

当拍摄物体表面缺陷边缘倾斜度较大时，主相机和副相机均能采集到反射光线，此时只有主相机采集的数据参与激光三维数据解算，副相机采集的数据不参与数据解算；当主相机采集的数据存在缺失时，此时只有副相机采集的数据参与解算，主相机采集的数据不参与解算，只是将副相机获取的三维信息，传到主相机获取的三维信息中；

步骤6、通过不规则三角网三维点云数据处理，并循环采集数据以获取完整物体信息

根据物体的点云集将区域划分为相连的三角面网络，按形状特征点表示数据三维特征，并重复执行步骤2、步骤3、步骤4、步骤5和步骤6直至形成完整的三维轮廓数据。

进一步的，在步骤1中所述标定公式是指标定位置点P_w(x_w,y_w,z_w)与图像中像素点Pf(u,v)之间的各坐标系的数学转换公式，如下：

其中，参数u₀、v₀、S_x、d_x、d_y、k₁、k₂、f统称为相机的内部参数，需通过相机的标定确定；参数r₁、r₂、r₃、r₄、r₅、r₆、r₇、r₈、r₉、t_x、t_y、t_z统称为光平面的位置参数，需要通过光平面的标定确定。

进一步的，在步骤3中的判断过程中，首先将主相机获取的影像二值化，即：

其中，f(X,Y)为二值化之前坐标位置为(X,Y)的像素点的像素值，T为二值化选定的阈值。

在二值化之后，统计每一行(或列)的像素值为255的像素点数，当像素值为255的像素数等于每行(或每列)的像素数值时，主相机不存在信息缺失。

进一步的，在步骤5中，所述激光三维解算算法为：

其中，x是像点M1和M 2之间的像移，a是H0点的成像物距，b是M0点的成像像距，入射光H1H0与反射光H0M0的夹角为α，反射光H0M0与CCD光敏面M1M0的夹角为β。这些参数可以通过步骤1标定获得。通过解算，即可获得H1 点的高度，再依据位移平台的参数，即可获得H1点的三维坐标。

进一步的，在步骤6中所述三维点云数据是指主副相机共同获取的物体三维坐标信息不能称之为三维模型，而是以点云的形式存在。

进一步的，在步骤6中通过不规则三角网方法对离散的三维点云进行处理，能够避免形状平坦时的数据冗余。

进一步的，在步骤6中所述三角面的形状和大小取决于不规则分布的测点的密度和位置。

本发明还提供了一种基于线激光和双目相机的快速精密三维测量装置，包括:

线激光发生器，用于提供线阵激光并投射于目标工件；

主相机，用于在整个工作周期从一个角度采集投射到目标工件的线激光图像；

副相机，用于当主相机在垂直边缘出现数据采集丢失时，进行补充数据采集；

单轴位移平台，用于匀速传动目标工件，使目标工件表面被线阵激光投射；

数据处理单元，用于对主副相机采集到的图像进行快速处理，获取目标工件的精密三维信息。

进一步的，主副相机通过数据线与数据处理单元连接。

对比现有技术，本发明的有益效果在于：

1、本发明采用主副相机拍摄，对于缺陷边缘倾斜度较大(或垂直情况)处的表面信息进行两个角度的相机信息获取，有效解决单目拍摄时出现的该部位信息缺失问题。

2、本发明主副相机装置同一次拍摄可以获取两组图像数据，正常情况下，只有主相机数据参与解算，只有在主相机采集数据出现缺失的情况下，副相机采集数据中心与主相机数据缺失区域重叠的部分将参与解算，最大程度减少计算内存占用及计算时间占用，快速高效。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的基于线激光和双目相机的快速精密三维测量装置结构示意图；

图2是本发明实施例的基于线激光和双目相机的快速精密三维测量方法步骤流程图；

图3是本发明实施例在缺陷边缘倾斜度较大时的拍摄状态示意图；

图4是本发明实施例在缺陷边缘倾斜度较小时(或垂直状态时)的拍摄状态示意图；

图5是本发明实施例中激光算法解算示意图。

附图标记：

1—线激光发生器，2—主相机，3—副相机，4—单轴位移平台，5—数据处理单元。

具体实施方式

为了更好地阐述该发明的内容，下面通过具体实施例对本发明进一步的验证。特在此说明，实施例只是为更直接地描述本发明，它们只是本发明的一部分，不能对本发明构成任何限制。

如图2所示，本发明实施例提供一种基于线激光和双目相机的快速精密三维测量方法，包括如下步骤：

步骤1、线激光发生器1位置确定及相机标定

分别对主副相机标定，通过标定公式计算确定主副相机与线激光的空间位置关系。

步骤2、单轴位移平台运动，进行数据采集

通过控制位移平台，移动物体，主副相机同时拍摄投影于物体表面的线激光。

步骤3、判断主副相机是否存在信息缺失

当物体边缘倾斜度较大时，激光条纹没有缺失，主相机的视场内每一行(或列)都存在激光条纹像素点；当物体边缘倾斜度较小时，激光条纹出现缺失，主相机的视场内某些行(或列)会出现激光条纹像素点缺失。通过统计每一行(或列)是否有激光条纹像素点，即可推断主相机视场内是否存在信息缺失。

步骤4、当主相机存在信息缺失时，采用副相机获取物体边缘反射光线

即拍摄物体表面曲线边缘倾斜度较小时，此时主相机无法获取到边缘反射光线，而副相机可以完整获取边缘反射光线；

步骤5、激光三角法确定物体三维坐标

当拍摄物体表面缺陷边缘倾斜度较大时，主相机和副相机均能采集到反射光线，此时只有主相机采集的数据参与激光三维数据解算，副相机采集的数据不参与数据解算；当主相机采集的数据存在缺失时，此时只有副相机采集的数据参与解算，主相机采集的数据不参与解算，只是将副相机获取的三维信息，传到主相机获取的三维信息中；步骤6、通过不规则三角网三维点云数据处理，获取三维模型

根据物体的点云集将区域划分为相连的三角面网络，按形状特征点表示数据三维特征。

优选的，在步骤1中所述标定公式是指标定位置点P_w(x_w,y_w,z_w)与图像中像素点Pf(u,v)之间的各坐标系的数学转换公式，如下：

其中，参数u₀、v₀、S_x、d_x、d_y、k₁、k₂、f统称为相机的内部参数，需通过相机的标定确定；参数r₁、r₂、r₃、r₄、r₅、r₆、r₇、r₈、r₉、t_x、t_y、t_z统称为光平面的位置参数，需要通过光平面的标定确定。

优选的，在步骤3中的判断过程中，首先将主相机获取的影像二值化，即：

其中，f(X,Y)为二值化之前坐标位置为(X,Y)的像素点的像素值，T为二值化选定的阈值。

在二值化之后，统计每一行(或列)的像素值为255的像素点数，当像素值为255的像素数等于每行(或每列)的像素数值时，主相机不存在信息缺失。

如图5所示，优选的，在步骤4中，所述激光三维解算算法为：

其中，x是像点M1和M 2之间的像移，a是H0点的成像物距，b是M0点的成像像距，入射光H1H0与反射光H0M0的夹角为α，反射光H0M0与CCD光敏面M1M0的夹角为β。这些参数可以通过步骤1标定获得。通过解算，即可获得H1 点的高度，再依据位移平台的参数，即可获得H1点的三维坐标。

优选的，在步骤6中所述三维点云数据是指主副相机共同获取的物体三维坐标信息不能称之为三维模型，而是以点云的形式存在。

优选的，在步骤6中通过不规则三角网方法对离散的三维点云进行处理，能够避免形状平坦时的数据冗余。

优选的，在步骤6中所述三角面的形状和大小取决于不规则分布的测点的密度和位置。

如图1所示，本发明实施例还提供一种基于上述三维测量方法的三维测量装置，包括：

线激光发生器1，用于提供线阵激光并投射于目标工件；

主相机2，用于在整个工作周期从一个角度采集投射到目标工件的线激光图像；

副相机3，用于当主相机2在垂直边缘出现数据采集丢失时，进行补充数据采集，副相机3平时处于待机状态；

单轴位移平台4，用于匀速传动目标工件，使目标工件表面被线阵激光投射；

数据处理单元5，用于对主副相机采集到的图像进行快速处理，获取目标工件的精密三维信息。

优选的，主副相机通过数据线与数据处理单元连接。

工作时，首先对主副相机定标，获取主副相机和线激光发生器1的精确位置关系；其次，主副相机对在单轴位移平台4上的目标工件成像；最后，对于主副相机影像，采取其中一幅影像作为基准，若该基准相机影像激光线条纹没有缺陷，则以该影像基于三角原理获取该位置的三维信息，若线条出现缺失，则利用另一幅影像补充三维信息。

本发明实施例为主副相机拍摄，但是数据处理时会对主副相机数据进行预处理，若不存在信息缺失，则采用主相机2数据进行三维重建，只有在信息缺失的情况下，才采用副相机3数据进行三维重建。并不是传统意义上的双目视觉三维模型重建，而是一种介于单目三维和双目视觉三维之间的一种创新型物体三维模型测量方法。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (5)

1.一种基于线激光和双目相机的快速精密三维测量方法，其特征在于，包括如下步骤：

步骤1、线激光发生器及相机标定；

分别对主相机和副相机标定，通过标定公式计算确定主相机、副相机与线激光的空间位置关系；所述标定公式是指标定位置点P_w(x_w,y_w,z_w)与图像中像素点Pf(u,v)之间的各坐标系的数学转换公式，如下：

其中，参数u₀、v₀、S_x、d_x、d_y、k₁、k₂、f统称为相机的内部参数，需通过相机的标定确定；参数r₁、r₂、r₃、r₄、r₅、r₆、r₇、r₈、r₉、t_x、t_y、t_z统称为光平面的位置参数，需要通过光平面的标定确定；

步骤2、控制单轴位移平台运动，进行数据采集；

通过控制位移平台，移动物体，主相机和副相机同时拍摄投影于物体表面的线激光；

步骤3、判断主相机和副相机是否存在信息缺失；当物体边缘倾斜度较大时，激光条纹没有缺失，主相机的视场内每一行或每一列都存在激光条纹像素点；当物体边缘倾斜度较小时，激光条纹出现缺失，主相机的视场内某些行或某些列会出现激光条纹像素点缺失；通过统计每一行或每一列是否有激光条纹像素点，即可推断主相机视场内是否存在信息缺失；在判断过程中，首先将主相机的影像二值化，即：

其中，f(X,Y)为二值化之前坐标位置为(X,Y)的像素点的像素值，T为二值化选定的阈值；

在二值化之后，统计每一行或每一列的像素值为255的像素点数，当像素值为255的像素数等于每行或每列的像素数值时，主相机不存在信息缺失；

步骤4、当主相机存在信息缺失时，采用副相机获取物体边缘反射光线；

即拍摄物体表面曲线边缘倾斜度较小时，此时主相机无法获取到边缘反射光线，而副相机可以完整获取边缘反射光线；

步骤5、激光三角法确定物体三维坐标；

当拍摄物体表面缺陷边缘倾斜度较大时，主相机和副相机均能采集到反射光线，此时只有主相机采集的数据参与激光三维数据解算，副相机采集的数据不参与数据解算；当主相机采集的数据存在缺失时，此时只有副相机采集的数据参与解算，主相机采集的数据不参与解算，只是将副相机获取的三维信息，传到主相机获取的三维信息中；

步骤6、通过不规则三角网三维点云数据处理，并循环采集数据以获取完整物体信息；

步骤6.1根据物体的点云集将区域划分为相连的三角面网络，按形状特征点表示数据三维特征；

步骤6.2重复执行步骤2、步骤3、步骤4、步骤5和步骤6.1直至形成完整的三维轮廓数据。

2.根据权利要求1所述的一种基于线激光和双目相机的快速精密三维测量方法，其特征在于，

步骤5中，所述激光三维解算算法为：

其中，x是像点M₁和M₂之间的像移，a是H₀点的成像物距，b是M₀点的成像像距，入射光H₁H₀与反射光H₀M₀的夹角为α，反射光H₀M₀与CCD光敏面M₁M₀的夹角为β，这些参数可以通过步骤1标定获得，通过解算，即可获得H1点的高度，再依据位移平台的参数，即可获得H1点的三维坐标。

3.根据权利要求1所述的一种基于线激光和双目相机的快速精密三维测量方法，其特征在于，

步骤6中，所述三角面的形状和大小取决于不规则分布的测点的密度和位置。

4.一种基于权利要求1-3任意一项所述三维测量方法的快速精密三维测量装置，其特征在于，包括：

激光发生器，用于提供线阵激光并投射于目标工件；

主相机，用于在整个工作周期从一个角度采集投射到目标工件的线激光图像；

副相机，用于当主相机在垂直边缘出现数据采集丢失时，进行补充数据采集；

单轴位移平台，用于匀速传动目标工件，使目标工件表面被线阵激光投射；

数据处理单元，用于对主相机和副相机采集到的图像进行快速处理，获取目标工件的精密三维信息。

5.根据权利要求4所述的快速精密三维测量装置，其特征在于，所述主相机和副相机通过数据线与数据处理单元连接。

Images