CN115112018A - 一种基于立体视觉的三坐标机智能复合联检***及方法 - Google Patents

Abstract

本发明公开了一种基于立体视觉的三坐标机智能复合联检***及方法，多自由度机器人携带立体相机获取待测工件点云数据；待测工件位姿与***工件进行特征匹配，识别规格型号，规划多自由度机器人扫描路径，三坐标机单元对待测工件的结构特征进行精确定位；判断扫描路径规划是否成功；通过特征提取精确定位三坐标机单元测量待测工件结构特征的位姿；融合立体相机获取的三维点云和三坐标机单元的高精度测量数据，对待测工件进行高精度的三维重建。本发明智能引导三坐标机测头自动进行测量程序位姿修正，以适应零件的加工偏差或变形，且能够适应快速自动换产的需求，可保证待测工件精确适应，快速适应待测工件换产；用于指导装配、打磨、焊接等工艺。

Description

一种基于立体视觉的三坐标机智能复合联检***及方法

技术领域

本发明属于测量设备领域，具体涉及一种利用非接触式结构光立体相机与三坐标机相结合的柔性复合联检***及方法。

背景技术

近几年测量技术得到了飞速的发展，快速、准确的三维测量成为制造过程中的重要环节，贯穿整个设计、开发、加工、检测与质量保证等环节。三坐标机具有测量精度高、适应性强、鲁棒性能优越等优点，成为制造业最常用的三维精密测量设备，被广泛使用于航空航天、汽车、造船、装备制造及模具制造等领域。

但随着制造业的快速发展，三坐标机的缺点也逐渐凸显：(1)三坐标机作为逐点测量的设备，需要依靠人工示教编程引导测量测头进行测量，工作量大、测量效率低，智能化程度低；(2)编程时需要根据被测对象的形貌特征和测量项目进行，被测对象需要采用工装夹具等，严格保证每次放置位置的一致性才可适用。若同一零件不同批次加工质量存在差异、尺寸不一致，当差异较大时，原有测量程序无法适用，则需重新示教编程；(3)针对三坐标机可基于零件数模进行测量轨迹编程的情况，当零件加工精度不高或者加工后产生变形时，零件实际尺寸与数模存在较大差异，导致测量程序无法适用；(4)三坐标机程序具有专用性，当更换被测对象时，需人工根据被测对象规格型号调用专用程序，无法实现快速自动换产。特别是针对小批量、多品种的情况，常规三坐标机的弊端更加明显。

因此，迫切需要一种无需专用工装夹具严格保证放置位姿，能够适应不同批次加工尺寸偏差及变形情况的，实现快速自动化换产的，高效率、高智能化的三坐标测量***。

发明内容

为解决现有技术中存在的上述缺陷，本发明的目的在于提供一种基于非接触式立体视觉的三坐标机智能柔性复合联检***及方法，将非接触式立体视觉与接触式三坐标机进行集成，保留三坐标机高测量精度的同时，能够智能引导三坐标机测头自动进行测量程序位姿修正，无需专用工装严格定位，可适应零件的加工偏差或变形，并能够识别待测工件规格型号，自动调取接触式测量程序，适应快速自动换产的需求。

本发明是通过下述技术方案来实现的。

本发明一方面，提供了一种基于立体视觉的三坐标机智能复合联检方法，包括：

多自由度机器人携带立体相机在初始位置扫描待测工件，获取待测工件表面的点云数据；

通过点云数据处理，获取待测工件在三坐标机工作台上的位姿，与***已有工件数模信息进行特征匹配，识别待测工件的规格型号，***调取待测工件对应的三坐标机单元测量程序；

***规划多自由度机器人及立体相机的运动扫描路径，三坐标机单元对待测工件的结构特征进行精确定位；

若***自主扫描路径规划成功，则待测工件当前放置位置满足三坐标机单元的测量作业；若***自动规划扫描路径失败，则***提示人工更换待测工件位姿；

***控制多自由度机器人携带立体相机按照规划路径扫描待测工件获取点云信息，采集完成后多自由度机器人携带立体相机回到初始位置；

结合获取的待测工件点云数据，通过特征提取精确定位三坐标机单元测量待测工件结构特征的位姿；

***根据三坐标机单元真实位姿信息，修正三坐标机单元的测量点位姿，引导三坐标单元测量测头到达指定位置执行测量作业；

***融合立体相机获取的三维点云，融合三坐标机单元的高精度测量数据，对待测工件进行高精度的三维重建。

作为优选，立体相机采用结构光立体相机扫描待测工件,主动投射光栅，采集经过工件表面调制后的光栅条纹，求解生成待测工件的表面点云数据。

作为优选，通过立体相机采集的局部点云数据，将待测工件在三坐标机工作台上的位姿与***已有工件数模信息进行特征匹配，获取待测工件的规格型号，自动调取三坐标机的接触式测量程序。

作为优选，特征匹配是利用刚体变换矩阵使得不同坐标系下的两个点集合点重合，包括粗配准和精配准；

粗配准，通过提取点云的几何特征或轮廓曲线进行粗略匹配；

精配准是在已知两点云数据集初始位置的情况下，通过采用最近点迭代法ICP算法，建立对应点对的映射关系，采用最小二乘法，迭代求解最终的优化刚体变换矩阵从而获得高匹配精度。

作为优选，采用最近点迭代法ICP算法，建立对应点对的映射关系包括同一点的两个采样数据在点集配准后相距为0，不在同一坐标系下的同一物体的点集P和Q，寻找两点集之间的刚体转换，使两点集对应点之间的距离和最小。

作为优选，精配准是在***模型库中寻找与待测工件最接近的零件，确定待测工件的规格型号，进而调取待测工件的三坐标机接触式测量程序。

作为优选，***基于立体相机采集的待测工件点云，求解工件的真实位姿，自动规划多自由度机器人及立体相机的运动扫描路径，立体相机以垂直于待采集目标表面，且在测量范围时，获得采集点云时的立体相机与目标位置的相对位姿关系。

作为优选，***规划多自由度机器人及立体相机的运动扫描路径，采用RRT-Connect算法进行路径规划；对规划路径上的每一个点采用碰撞检测算法进行检测，若存在碰撞则舍弃该点并重新选择路径点，直至得到一条连接起点与终点的无碰撞路径。

本发明另一方面，提供了一种所述方法采用的基于立体视觉的三坐标机智能复合联检***，包括：

多自由度机器人单元，根据工业控制计算机指令，携带立体视觉单元移动，获取待测工件表面的点云数据；

立体视觉单元，通过立体相机获取待测工件的点云数据；

三坐标机单元，对待测工件的结构特征进行精确定位；

工业控制计算机，规划多自由度机器人及立体相机的运动扫描路径，控制多自由度机器人运动、立体相机信息采集及三坐标机单元执行测量作业。

作为优选，工业控制计算机包括：

离线标定模块，用于进行立体相机与多自由度机器人的标定，获取立体相机与多自由度机器人和三坐标机单元坐标系的标定转换矩阵；

立体相机采集模块，用于控制立体相机采集待测工件表面点云数据；

路径规划模块，用于规划立体相机采集视角规划和多自由度机器人的运动路径规划；

立体视觉智能识别模块，对点云数据处理分析，提取待测工件结构特征，与***已有工件数模信息进行特征匹配，识别待测工件的规格型号；

非接触式三维测量模块，对点云数据进行处理分析，进行特征分割提取，调用相关测量算法，计算待测工件的结构特征的真实位姿信息；

三坐标机引导模块，根据获取的待测工件特征的真实位姿信息，修正三坐标机单元接触式测量程序中的测量点位姿信息，更新三坐标机接触式测量程序；

三坐标机接触式测量模块，读取更新后的接触式测量程序，引导三坐标机单元测量测头到达修正后的正确位置执行接触式测量作业。

本发明由于采取以上技术方案，其具有以下有益效果：

1.本发明通过多自由度机器人携带三维立体相机，多视角扫描被测工件的形貌特征，获取待测工件表面的三维点云数据，***自动计算工件或被测特征的实际位姿，自动修正三坐标机接触式测量程序中的点位信息，引导三坐标机测量测头到达对应位置执行接触式测量作业。被测量工件无需严格放置在三坐标机工作台的固定位置，针对存在加工误差或有变形的工件，也无需人工重新示教点位，***可自动适应。

2.***通过立体相机采集待测工件点云数据，自动分割提取典型特征，结合已有的工件数模信息，识别待测工件的规格型号，自动调用对应的测量程序执行测量作业，无需人工参与，可快速适应待测工件的换产，智能化程度高。

3.待测工件无需严格放置在三坐标机工作台的固定位置，***通过立体相机非接触式扫描获取工件真实位姿，自动修正测量程序中的点位引导三坐标机测量，降低了人工摆放工件的要求及相应的工装成本，适应性更强。

4.针对同一工件不同批次存在加工尺寸偏差或加工后产生变形的情况，***可利用立体相机采集的待测工件表面点云数据，获取待测工件的真实形貌尺寸，自动修正引导三坐标机测头到对应位置执行测量作业，无需人工重新进行三座机编程，柔性化程度高。

5.***通过多自由度机器人携带立体相机的形式，可多视角全方位扫描待测工件，针对测量精度要求不高或者三坐标机无法测量的尺寸可直接根据三维点云数据分析处理输出测量结果，实现非接触式立体视觉与接触式三坐标机高精度测量相结合的柔性复合检测。

6.***可融合立体相机获取的三维点云数据及三坐标机的高精度测量数据，对待测工件进行高精度的三维重建，可用于后续的装配、打磨、焊接等工艺指导。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的不当限定，在附图中：

图1是本发明一种基于立体视觉的三坐标机智能柔性复合联检***组成示意图；

图2是三坐标机单元组成示意图；

图3是本发明一种基于立体视觉的三坐标机智能柔性复合联检***组成框图；

图4是本发明一种基于立体视觉的三坐标机智能柔性复合联检***工作方法流程示意图。

图5是本发明实施例三坐标机测量发动机缸体的装配孔位结构示意图。

图中：1、多自由度机器人单元；2、立体视觉单元；3、三坐标机单元；4、工业控制计算机；5、待测工件示例；11、多自由机器人本体；12、安装底座；13、机器人控制器；21、立体相机；22、相机安装支架；31、工作台；32、龙门架；33、移动支架；34、测量测头；35、龙门架支撑；36、底支撑；37、三坐标机控制器；41、离线标定模块；42、立体相机采集模块；43、路径规划模块；44、立体视觉智能识别模块；45、非接触式三维测量模块；46、三坐标机引导模块；47、三坐标机接触式测量模块。

具体实施方式

下面将结合附图以及具体实施例来详细说明本发明，在此本发明的示意性实施例以及说明用来解释本发明，但并不作为对本发明的限定。

如图1、图2所示，本发明实施例提供的一种基于立体视觉的三坐标机智能柔性复合联检***，包括多自由度机器人单元1、立体视觉单元2、三坐标机单元3和工业控制计算4。多自由度机器人单元1通过底座11固定放置在三坐标机单元3附近，确保三坐标机单元3工作台在多自由度机器人单元的有效运动范围内。多自由度机器人单元1与工业控制计算机4信号连接，用于接收坐标信息和指令，携带立体视觉单元2运动至指定位置。立体视觉单元2固定安装在多自由度机器人单元1的末端法兰上，用于扫描待测工件形貌，获取三维点云数据等信息。立体视觉单元2上的立体相机21与工业控制计算机4信号连接，用于指令和三维点云数据等信息传输。三坐标机单元3固定安装地面上，用于接触式测量待测工件的相关尺寸。三坐标机单元3的安装需满足常规三坐标机安装对环境、振动等的要求。

如图2所示，三坐标机单元3包括工作台31、龙门架32、移动支架33、龙门架支撑35、测量测头34、底支撑36和三坐标控制器37，工作台31位于底支撑36上，龙门架支撑35将龙门架32支撑在底支撑36上，移动支架33携带测量测头34滑动连接在龙门架32上；三坐标机控制器37位于底支撑36侧，三坐标机控制器37与工业控制计算机4信号连接，用于接收***计算出的修正位姿，引导测量测头34到达测量项目的真实位姿处进行接触式测量。同时接收工业控制计算机的启动停止指令，根据***要求执行测量作业。

如图3所示，工业控制计算机4通过以太网分别与多自由度机器人单元1、立体视觉单元2、三坐标机单元3连接，用于数据及控制指令等信息的传输。

多自由机器人单元1包括多自由机器人11、安装底座12和机器人控制器13。多自由机器人11的选型，需保证机器人臂展能覆三坐标机工作台31的有效测量区域。机器人安装底座12根据多自由机器人11的运动范围和三坐标机单元3的外形尺寸，再结合应用场景进行详细设计。

立体视觉单元2包括立体相机21和相机安装支架22，立体相机21通过相机安装支架22与多自由度机器人11末端法兰固连。立体相机21可为多种形式，包括但不限于结构光立体相机、双目相机。相机安装支架22可根据多自由机器人11和立体相机2，结合现场需求设计成不同形式，但需保证多自由度机器人11携带立体相机21运动时，不会与三坐标机单元3发生干涉。

工业控制计算机4通过***软件来控制多自由度机器人11运动、立体相机21采集待测工件信息及三坐标机单元3执行测量作业。

如图3所示，工业控制计算机4上安装有离线标定模块41、立体相机采集模块42、路径规划模块43，立体视觉智能识别模块44；非接触式三维测量模块45、三坐标机引导模块46和三坐标机接触式测量模块47。

离线标定模块41，可用于进行立体相机21与多自由度机器人1的标定操作，获取立体相机21与多自由度机器人1坐标系的标定转换矩阵。

离线标定模块41，可用于进行立体相机21与三坐标机单元3的标定操作，获取立体相机21与三坐标机单元3坐标系的标定转换矩阵。

立体相机采集模块42，用于控制立体相机采集待测工件表面点云数据。

路径规划模块43，用于规划立体相机21的采集视角规划和多自由度机器人11的运动路径规划。

立体视觉智能识别模块44，通过对点云数据进行处理分析，提取待测工件结构特征，与***已有工件数模信息进行特征匹配，识别待测工件的规格型号。

非接触式三维测量模块45，通过对点云数据进行处理分析，进行特征分割提取，调用相关测量算法，计算给出待测工件的结构特征的真实位姿信息。

三坐标机引导模块46，根据获取的待测特征的真实位姿信息，自动修正三坐标机单元3接触式测量程序中的测量点位姿信息，更新三坐标机接触式测量程序。

三坐标机接触式测量模块47，读取更新后的接触式测量程序，引导三坐标机单元3测量测头34到达修正后的正确位置执行接触式测量作业。

如图4所示，本发明实施例还提供了基于立体视觉的三坐标机智能复合联检方法，包括以下步骤：

1.准备工作

(1)所有测量工件数模的导入

将所有需要测量的工件数学模型导入***数据库中，用于待测工件规格型号的核对。采用立体视觉引导修正三坐标机单元接触式测量点位时，多自由度机器人携带立体相机先采集获取待测量工件表面点云，对待测工件进行三维重建，并与***数据库中的所有工件数学模型进行比对分析，确定待测量工件的规格型号，***自动调取对应工件的三坐标机单元测量程序。

(2)立体相机采集控制参数的输入

将立体相机的采集参数提前输入到***中，立体相机拍摄时自动调用输入的采集控制参数，以便获取较稳定的待测工件点云数据。立体相机的采集控制参数可通过多次试验测试获得最相宜的参数组合。

(3)离线标定立体相机与多自由度机器人：

立体相机固定安装多自由机器人末端法兰上，属于eye-on-hand的形式。采用离线方式标定立体相机与多自由度机器人坐标转换矩阵,具体标定方法：将立体合作目标放置在多自由度机器人的有效运动范围内保持不动，控制多自由机器人携带立体相机运动至不同位置从不同视角拍摄立体合作目标，得到多组不同位姿下的立体合作目标点云数据，同时记录相机采图时多自由度机器人的位姿信息。然后基于特征匹配原理，结合已知的多自由度机器人位姿信息，求解得到多自由度机器人与立体相机的坐标转换矩阵，完成立体相机与多自由度机器人的标定。

(4)离线标定立体相机与三坐标机单元：

立体相机与三坐标机单元的标定属于eye-to-hand的形式，采用离线方式进行标定。具体标定方法：在三坐标机单元测头座上安装一合作目标，多自由度机器人携带立体相机移动至某一姿态保持不变，采集合作目标点云；控制三坐标机单元的各个关节轴变换合作目标的位姿，立体相机采集不同位姿处的合作目标点云，同时记录立体相机采集时三坐标机各关节轴的位姿信息。然后基于特征匹配原理，结合已知的三坐标机单元的各关节轴位姿信息，求解得到三坐标机单元与立体相机的坐标转换矩阵，完成立体相机与三坐标机单元的标定。在控制三坐标机单元各个关节轴变换时需保证合作目标均在立体相机的有效视野范围内。

2.立体视觉引导三坐标机，执行测量作业流程

将待测量工件放置在三坐标机单元工作台上，无需严格定位。则立体视觉引导三坐标机单元执行测量作业的具体流程如下：

(1)立体相机采集工件初始点云

多自由度机器人携带立体相机在初始位置扫描待测工件5，获取待测工件的点云数据。立体相机采用结构光立体相机扫描待测工件,主动投射光栅，采集经过工件表面调制后的光栅条纹，求解生成待测工件的表面点云数据。

(2)获取真实位姿

***通过对步骤(1)采集的点云数据进行处理分析，初步获取待测工件在三坐标机单元工作台上的位姿。

(3)识别待测零件规格型号，调取测量程序

***对步骤(1)获取的点云数据，基于特征匹配原理，与***已有的工件数模信息进行特征匹配，识别待测工件的规格型号。***根据待测工件规格型号，自动调取待测工件对应的三坐标机单元测量程序。

具体地，特征匹配是利用刚体变换矩阵使得不同坐标系下的两个点集合点重合，其包含粗配准和精配准两个步骤：

1)粗配准是通过提取点云的几何特征或轮廓曲线进行粗略匹配。

2)精配准是在已知两点云数据集初始位置的情况下，通过采用最近点迭代法ICP算法，建立对应点对的映射关系，采用最小二乘法，迭代求解最终的优化刚体变换矩阵从而获得较高的匹配精度，或在***模型库中寻找与待测工件最接近的零件。以此来确定待测工件的规格型号，进而调取待测工件的三坐标机接触式测量程序。

ICP算法的计算过程为：两个点云数据的初始迭代位置一般采用粗配准的结果。即物体表面上同一点的两个采样数据在点集配准后相距为0，转换为数学解释为：已知不在同一坐标系下的同一物体的点集P和Q，寻找两点集之间的刚体转换，使两点集对应点之间的距离和最小，即：

式中，P_i为参考数据的初始点集，Q_i为目标数据点集中对应P_i最近点，R为3×3的旋转矩阵，T为3×1的平移矢量，R和T共同构成整个刚体变换，N为点集中的点数，F(R,T)表示的是在参考点集经过旋转和平移后，两点集间的对应点距离平方和。

在进行ICP迭代计算时，需先求解出一个问题的解，然后转换成线性优化问题，得到最终的最优解。即有如下方程：

ε(P,Q)＝min(d²(p_i,q_j)),i＝1,2,3......,j＝1,2,3......，

该方程中使得ε(P,Q)最小的p_i和q_j就是所求。其中，p_i表示参考点集中的数据点，q_j就表示目标点集中的数据点，ε(P,Q)表示参考点集与目标点集中点对之间的距离之和最小。

(4)扫描路径规划

***基于三坐标机单元需要接触式测量的尺寸，结合步骤2获取的待测工件的初步位姿信息及结构特征，自动规划多自由度机器人携带立体相机运动的扫描路径。扫描路径规划，包括立体相机采集视角规划和多自由度机器人运动路径规划。

立体相机的采集视角是指立体相机在多远距离以何种姿态采集工件表面点云。

其规划过程为：将三坐标机单元需要接触式测量的位置作为目标位置G_t，立体相机的测量范围和视场大小作为已知输入信息M，立体相机采集视角规划的目的是保证立体相机能采集到需接触式测量尺寸部分的点云数据。一般情况下当立体相机视场以垂直于待采集目标表面时，且待采集目标表面处在测量范围中时，所获得的点云质量相对较好，由此可知采集点云时的立体相机与目标位置的相对位姿关系G_d。而待采集目标位置G_t通过步骤2获取的待测工件初步位姿信息及结构特征来获取。以此，可得到立体相机采集待测目标位置点云的位姿信息G_m，完成立体相机的采集视角规划。

多自由度机器人运动路径规划是指为实现立体相机扫描采集工件表面点云，多自由度机器人以何种姿态何种路径运动。通过立体相机的采集视角规划得到采集点云时的立体相机位姿，立体相机与多自由度机器人的坐标转换前期也通过标定获得。以此，可计算出立体相机采集待测目标位置点云对应的多自由度机器人11法兰的位姿信息。

当有多个采集点位时，还需对多自由度机器人的扫描路径进行规划，即从一个采集点位到另一个采集点位之间为多自由度机器人找到一条符合约束条件的轨迹，并在轨迹的基础上，结合多自由度机器人的硬件参数，完善加速度、速度等信息，形成一条完整的轨迹。在扫描路径规划时，设置多自由度机器人运动的目标点及规划约束，采用RRT-Connect算法进行路径规划，并对规划路径上的每一个点采用碰撞检测算法实施检测所规划路径是否存在碰撞，若存在碰撞则舍弃该点并重新选择路径点直至产生一条连接起点与终点的无碰撞路径。此处的规划约束为立体相机及多自由度机器人不会与待测工件及三坐标机单元等发生碰撞或干涉。

(5)判断当前放置位姿是否满足测量要求

若***自主扫描路径规划成功，则待测工件当前放置位置满足三坐标机单元的测量作业；反之，若***自动规划扫描路径失败，则工件当前放置位姿无法满足三坐标机单元执行测量作业，***提示人工更换待测工件在三坐标机工作台上位姿。

(6)立体相机扫描待测工件点云

***控制多自由度机器人携带立体相机按照规划路径自动扫描待测工件，获取待测工件的点云信息，采集完成后多自由度机器人携带立体相机回到初始位置，该位置不会与三坐标机单元执行测量作业时不发生干涉。

(7)待测特征精确定位

结合步骤6获取的工件点云数据，***通过特征提取精确定位需要三坐标机单元接触式测量的结构特征的真实位姿。

(8)修正三坐标机单元的测量点位，执行接触式测量作业

***根据步骤7获取的待测特征的真实位姿信息，自动修正三坐标机单元接触式测量程序中的测量点位姿信息，引导三坐标机单元测量测头到达修正后的正确位置执行接触式测量作业。

(9)精确的三维重建，引导生产

***融合立体相机获取的三维点云，融合三坐标机单元的高精度测量数据，对待测工件进行高精度的三维重建，可用于后续的装配、打磨、焊接等工艺指导。

下面通过具体实施例来进一步说明本发明。

以发动机缸体测量为例，其对缸体上装配孔位的加工度精度要求较高，需要通过三坐标机来测量发动机缸体上的装配孔位的尺寸信息，包括孔1到孔13的位置、直径大小和孔深度，如图5所示。可能与实际生产中的发动机缸体外形尺寸及加工工艺存在出入，但不影响对本发明的解释。

本发明技术方案的实现步骤如下所示：

1.准备工作

(1)所有测量工件数模的导入：

在***内导入所有需要测量的发动机缸体的数学模型；

(2)立体相机采集控制参数的输入：

在***内输入立体相机设置参数；

(3)离线标定立体相机与多自由度机器人：

完成立体相机与多自由度机器人的标定，并将标定矩阵写入***配置文件中；

(4)离线标定立体相机与三坐标机单元：

完成立体相机与三坐标机单元的标定，并将标定矩阵写入***配置文件中。

2.立体视觉引导三坐标机单元，执行测量作业流程

将待测量工件放置在三坐标机工作台上，无需严格定位。

(1)立体相机采集工件初始点云

多自由度机器人携带立体相机在初始位置扫描待测工件，获取发动机缸体的部分点云数据。

(2)获取真实位姿

***通过步骤(1)采集的点云数据，处理分析初步获取发动机缸体在三坐标机工作台上的位姿P0。

(3)识别待测零件规格型号，调取测量程序

***对步骤(1)获取的点云数据，提取发动机缸体的显著特征①、显著特征②、显著特征③、显著特征④，基于特征匹配原理，与***已有的发动机缸体数模信息进行比对分析，识别待测发动机缸体的规格型号为GT1，并自动调取发动机缸体GT1对应的三坐标机接触式测量程序chengxu1。

(4)扫描路径规划

***基于三坐标机需要接触式测量的尺寸，结合步骤2获取的待测工件的初步位姿信息及结构特征，***自动规划多自由度机器人携带立体相机运动的扫描路径。扫描路径规划，包括立体相机采集视角规划和多自由度机器人运动路径规划，生成测量轨迹L1。

(5)判断当前放置位姿是否满足测量要求

***自动规划成功生成测量轨迹L1，此步骤省略。

(6)立体相机扫描待测工件点云

***控制多自由度机器人携带立体相机按照测量轨迹L1自动扫描发动机缸体GT1，获取其点云信息，采集完成后多自由度机器人携带立体相机回到初始位置，该位置不会与三坐标机单元执行测量作业时不发生干涉。

(7)待测特征精确定位

因为要求用三坐标机单元接触式测量孔1～孔13的位置、直径大小及深度信息。***结合步骤5获取的工件点云数据，自动提取孔1～孔13的孔特征，并计算孔1～孔13的圆心坐标P1～P13。

(8)修正三坐标机单元的测量点位，执行接触式测量作业

***根据步骤7获取的孔1～孔13的圆心坐标P1～P13，自动修正三坐标机单元接触式测量程序中chengxu1的测量点位姿信息，引导三坐标机单元测量测头到达修正后的正确位置，进行孔1～孔13的直径大小、孔深度的接触式测量。

最终完成孔1～孔13的圆心位置、直径大小及孔深度的精确测量。

(9)精确的三维重建，引导生产

通过立体相机获取的点云可逆向重建发动机缸体的真实三维模型，当测量的孔1～孔13的位姿、直径大小及孔深度不满足要求时，需要重新用数控机床进行返修加工，则可根据三维重建的模型及测量数据，引导数控机床进行精加工。

从以上实施例可以看出：本发明通过采用多自由度机器人携带立体相机对待测工件的真实位姿进行测量，并将真实位姿发送给三坐标机单元，引导三坐标机执行接触式测量，可保证待测工件未精确放置时也可很好的适应。通过立体相机采集待测工件表面点云，对于加工后存在变形或不同批次存在加工误差的情况，可获取待测工件的真实表面状态，计算修正位姿，引导三坐标机单元执行测量作业。***通过对特征匹配方法，对立体相机获取的待测工件的点云数据与工件数模进行比对分析，获取待测工件的规格型号，自动调取对应规格工件的三坐标机接触式测量程序，无需人工参与，可快速适应待测工件换产的需求；***通过采用立体相机非接触式测量方式和三坐标机单元接触式测量方式相结合的方式，可将非接触式测量的快速高效及接触式测量的高精度特点融合；针对某些特征测量精度要求不高，可直接利用立体相机获取的点云数据进行求解计算；针对某些关键特征测量精度要求较高较严格时，可通过三坐标机单元接触式测量方式获取。***通过立体相机获取的三维点云数据，结合三坐标机的高精度测量数据，可对待测工件进行高精度的三维重建，可用于后续的装配、打磨、焊接等工艺指导。

发明并不局限于上述实施例，在本发明公开的技术方案的基础上，本领域的技术人员根据所公开的技术内容，不需要创造性的劳动就可以对其中的一些技术特征作出一些替换和变形，这些替换和变形均在本发明的保护范围内。

Claims (10)

1.一种基于立体视觉的三坐标机智能复合联检方法，其特征在于，包括：

多自由度机器人携带立体相机在初始位置扫描待测工件，获取待测工件表面的点云数据；

通过点云数据处理，获取待测工件在三坐标机工作台上的位姿，与***已有工件数模信息进行特征匹配，识别待测工件的规格型号，***调取待测工件对应的三坐标机单元测量程序；

***规划多自由度机器人及立体相机的运动扫描路径，三坐标机单元对待测工件的结构特征进行精确定位；

若***自主扫描路径规划成功，则待测工件当前放置位置满足三坐标机单元的测量作业；若***自动规划扫描路径失败，则***提示人工更换待测工件位姿；

***控制多自由度机器人携带立体相机按照规划路径扫描待测工件获取点云信息，采集完成后多自由度机器人携带立体相机回到初始位置；

结合获取的待测工件点云数据，通过特征提取精确定位三坐标机单元测量待测工件结构特征的位姿；

***根据三坐标机单元真实位姿信息，修正三坐标机单元的测量点位姿，引导三坐标单元测量测头到达指定位置执行测量作业；

***融合立体相机获取的三维点云，融合三坐标机单元的高精度测量数据，对待测工件进行高精度的三维重建。

2.根据权利要求1所述的基于立体视觉的三坐标机智能复合联检方法，其特征在于，立体相机采用结构光立体相机扫描待测工件,主动投射光栅，采集经过工件表面调制后的光栅条纹，求解生成待测工件的表面点云数据。

3.根据权利要求1所述的基于立体视觉的三坐标机智能复合联检方法，其特征在于，通过立体相机采集的局部点云数据，将待测工件在三坐标机工作台上的位姿与***已有工件数模信息进行特征匹配，获取待测工件的规格型号，自动调取三坐标机的接触式测量程序。

4.根据权利要求1所述的基于立体视觉的三坐标机智能复合联检方法，其特征在于，特征匹配是利用刚体变换矩阵使得不同坐标系下的两个点集合点重合，包括粗配准和精配准；

粗配准，通过提取点云的几何特征或轮廓曲线进行粗略匹配；

精配准是在已知两点云数据集初始位置的情况下，通过采用最近点迭代法ICP算法，建立对应点对的映射关系，采用最小二乘法，迭代求解最终的优化刚体变换矩阵从而获得高匹配精度。

5.根据权利要求4所述的基于立体视觉的三坐标机智能复合联检方法，其特征在于，采用最近点迭代法ICP算法，建立对应点对的映射关系包括设定同一点的两个采样数据在点集配准后相距为0，不在同一坐标系下的同一物体的点集P和Q，寻找两点集之间的刚体转换，使两点集对应点之间的距离和最小，即：

式中，P_i为参考数据的初始点集，Q_i为目标数据点集中对应P_i最近点，R为旋转矩阵，T为平移矢量，R和T共同构成整个刚体变换，N为点集中的点数，F(R,T)是在参考点集经过旋转和平移后，两点集间的对应点距离平方和。

6.根据权利要求4所述的基于立体视觉的三坐标机智能复合联检方法，其特征在于，精配准是在***模型库中寻找与待测工件最接近的零件，确定待测工件的规格型号，进而调取待测工件的三坐标机接触式测量程序。

7.根据权利要求1所述的基于立体视觉的三坐标机智能复合联检方法，其特征在于，***基于立体相机采集的待测工件点云，求解工件的真实位姿，自动规划多自由度机器人及立体相机的运动扫描路径，立体相机以垂直于待采集目标表面，且在测量范围时，获得采集点云时的立体相机与目标位置的相对位姿关系。

8.根据权利要求1所述的基于立体视觉的三坐标机智能复合联检方法，其特征在于，***规划多自由度机器人及立体相机的运动扫描路径，采用RRT-Connect算法进行路径规划；对规划路径上的每一个点采用碰撞检测算法进行检测，若存在碰撞则舍弃该点并重新选择路径点，直至得到一条连接起点与终点的无碰撞路径。

9.一种权利要求1-8任一项所述方法采用的基于立体视觉的三坐标机智能复合联检***，其特征在于，包括：

多自由度机器人单元，根据工业控制计算机指令，携带立体视觉单元移动，获取待测工件表面的点云数据；

立体视觉单元，通过立体相机获取待测工件的点云数据；

三坐标机单元，对待测工件的结构特征进行精确定位；

工业控制计算机，规划多自由度机器人及立体相机的运动扫描路径，控制多自由度机器人运动、立体相机信息采集及三坐标机单元执行测量作业。

10.根据权利要求9所述的基于立体视觉的三坐标机智能复合联检***，其特征在于，工业控制计算机包括：

离线标定模块，用于进行立体相机与多自由度机器人的标定，获取立体相机与多自由度机器人和三坐标机单元坐标系的标定转换矩阵；

立体相机采集模块，用于控制立体相机采集待测工件表面点云数据；

路径规划模块，用于规划立体相机采集视角规划和多自由度机器人的运动路径规划；

立体视觉智能识别模块，对点云数据处理分析，提取待测工件结构特征，与***已有工件数模信息进行特征匹配，识别待测工件的规格型号；

非接触式三维测量模块，对点云数据进行处理分析，进行特征分割提取，调用相关测量算法，计算待测工件的结构特征的真实位姿信息；

三坐标机引导模块，根据获取的待测工件特征的真实位姿信息，修正三坐标机单元接触式测量程序中的测量点位姿信息，更新三坐标机接触式测量程序；

三坐标机接触式测量模块，读取更新后的接触式测量程序，引导三坐标机单元测量测头到达修正后的正确位置执行接触式测量作业。

Images