CN102937426A - 一种基于机器人视觉伺服的大型复杂零件测量方法 - Google Patents

Abstract

一种基于机器人视觉伺服的大型复杂零件测量方法。它属于一种机械精密测量方法。它主要解决现有测量***的测量效率不高、通用性不强、智能化程度低等技术问题。其技术方案要点是：建立能够装载4个以上机器人的测量现场，通过面结构光对零件表面进行标记，然后利用视觉技术建立空间曲面流形模型，再基于曲面流形进行精度区域划分和取点自动规划，实现无需先验模型的复杂零件测量自动规划；再给各个机器人进行任务分配和取点规划路径，最后采用力觉-视觉融合伺服的方法控制机器人末端探针进行接触式测量，以获得大型复杂零件的点云数据。本方法可广泛应用于我国重大战略装备的关键零部件制造领域。

Description

一种基于机器人视觉伺服的大型复杂零件测量方法

技术领域

本发明涉及一种大型复杂零件测量的技术，特别是一种基于机器人视觉伺服的大型复杂零件测量方法。

背景技术

当前几何量精密测量的研究与发展从量程范围角度看，正经历着从常规尺寸向小尺度尺寸和大空间尺寸两个方向的发展过程。大空间尺寸远远大于一般的机械加工尺寸，常规的精密测量方法不能很好解决工程应用中的测量问题；较大工件(产品)因为尺寸和质量庞大，测量工作多在加工制造现场环境中，甚至在工位上进行，复杂的空间，加之温度、振动等无法控制的现场干扰因素，大大增加了测量难度；此外，巨大的测量空间和复杂的现场环境对测量自动化水平提出了很高的要求，高效自动化测量也是大尺寸测量的关键因素之一。

随着国家对大飞机项目、风能发电和深海探测等重大项目的大力支持与发展，越来越多的零部件涉及到大尺寸复杂曲面的制造与测量技术，比如飞机涡扇发动机叶片、直升机螺旋桨、潜艇螺旋桨和风电涡轮机叶片等。这些部件对于最后成型曲面的精度都有严格的要求，制造出的产品曲面形状应该和设计的形状严格一致，因此对于这一类零件的加工质量应该进行测量与检测以保证与设计参数的一致性，从而确保产品的性能。

目前工业应用中的大尺寸曲面检测大部分都是利用接触式的三坐标测量技术进行检测，这种方法通过对表面点坐标的测量与评价完成横截面几何形状的测量，该测量方法精度高，但是测量速度很慢，人工干预很多，同时通用性差、操作过程冗长繁琐。而且该测量方法一般建立在已知先验CAD模型的基础上，对于逆向工程有很大的不便性。 

发明内容

为了实现对大型复杂零件的高效、高精度、高通用性测量，本发明的目的是提供一种无需先验CAD模型的完全智能化精密测量的基于机器人视觉伺服的大型复杂零件测量方法。

本发明解决其技术问题所采用的方案是：首先建立装载4个以上机器手臂的测量现场，采用面结构光对零件表面进行标记，然后采用视觉技术建立空间曲面流形模型，再对于曲面流形模型进行精度区域划分和取点自动规划；再给各个机器人进行任务分配和取点规划路径，最后采用力觉-视觉融合伺服的方法控制机器人末端探针进行接触式取点，以获得大型复杂零件的点云数据。

所述空间曲面流形模型可采用B样条控制顶点在双目图像中匹配来对被测曲面的几何形状建造精确的模型，采用结构光投影的网格形状测量曲面各区域的曲率变化并建立曲面的空间流形。

所述精度区域划分是根据空间曲面上曲率变化的情况而对曲面进行区域划分，即按照网格的曲线曲率变化，以及包括结构光节点和曲面的特征角点构成网格节点密度，从而将曲面划分成由特征点分割出的精度区域。产生面结构光的激光发射器与水平面成25-75度向零件表面发射面结构光，结构光平面和零件表面相交成一条直线或者曲线。所述激光发射器两侧按垂直方向等距离设置摄像机，以发射等距离的平行面结构光。

本发明所述测量现场可以包括四个可移动导轨和4个以上伺服机器人，伺服机器人与全局测量通过室内iGPS控制定位。所述测量现场也可包括四个固定导轨和四个可移动导轨构成空间结构框架，其中两条导轨可竖直方向移动，另外两条导轨可水平运动，每个可移动导轨上装配两个可移动机器人，测量空间上方装有全局摄像机装置和室内iGPS定位***装置。对各个机器人按精度区域进行任务分配，每个机器人完成子任务后返回测量数据。机器人在执行任务过程中，以机器人移动距离最短作为任务分配原则，循环最优解作为最佳分配方法。机器人根据任务分配逐步选择就近区域进行测量任务，每个机器人在工作过程中选择距离区域中心最小的区域进行测量，测量完成后再选择距离最小的区域，如此循环直到所有区域测量完成。

本发明的另一个目的是提供一种用于基于机器人视觉伺服的大型复杂零件测量方法的专用装置，它包括支架9、可上下或左右移动的导轨，在导轨上设置有1个以上视觉机器人8，在支架9侧面分别安装有面结构光发射阵A2和面结构光发射阵B3，并在支架9的上部或外侧设置全局摄像机1。可上下移动的导轨包括安装在支架9两端的上下移动导轨4，可左右移动的导轨包括安装在支架9两侧的水平移动导轨5。水平移动导轨5两端可分别与上下移动导轨4成活动配合连接。

本发明的有益效果是：本方法是一种无需零件CAD先验模型、智能规划路径、实现高精度的复杂零件测量方法，由于本方法建立自己的测量现场，并装载有iGPS位置检测站、全局摄像机和多个伺服机器人，可从全局进行规划并从局部进行精细操作，实现高效、高精度、高通用性的测量。本方法可广泛应用于我国重大战略装备的关键零部件制造领域。

附图说明

图1是本发明的工作流程方框图。

图2是本发明用于测量时建立测量现场的一种实施方式的结构原理示意图。

图3是图2的正视结构示意图。

图4是图2的俯视结构示意图。

图5是图2的右视结构示意图。图6和图7是基于双目视觉反馈控制的原理示意图。

图8是力觉和视觉融合伺服控制方框原理示意图。

图9是结构光与曲面零件表面相交的摄像机获取图。

图10是结构光与平面零件表面相交的摄像机获取图。

图中：1-全局摄像机，2-面结构光发射阵A，3-面结构光发射阵B，4-上下移动导轨，5-水平移动导轨，6-面结构光与零件表面交线，7-被测量物体，8-机器人，9-支架。

具体实施方式

为了阐明本发明的技术方案及技术目的，下面结合附图及具体实施方法对本发明做进一步介绍。

实施例1，本发明要首先建立装载4个以上机器手臂的测量现场（本发明以8个为例进行说明），采用面结构光对零件表面进行标记，然后采用视觉技术建立空间曲面流形模型，再对于曲面流形模型进行精度区域划分和取点自动规划；再给各个机器人进行任务分配和取点规划路径，最后采用力觉-视觉融合接触的视觉力觉混合控制测量方法对大型复杂零件进行测量获得大型复杂零件的相关数据。参阅图1至图10。

实施例2，本发明所述空间曲面流形模型可采用B样条控制顶点在双目图像中匹配来对被测曲面的几何形状建造轮廓模型，采用结构光投影的网格形状测量曲面各区域的曲率变化并建立曲面的空间流形。参阅图1至图10，其余同实施例1。

实施例3，本发明所述精度区域划分是根据空间曲面上曲率变化的情况而对曲面进行区域划分，即按照网格的曲线曲率变化，以及包括结构光节点和曲面的特征角点构成网格节点，从而将曲面划分成由特征点分割出的精度区域。参阅图1至图10，其余同上述实施例。

实施例4，本发明产生面结构光的激光发射器与水平面成25-75度向零件表面发射面结构光，结构光平面和零件表面相交成一条直线或者曲线。所述激光发射器按垂直方向等距离设置，以发射等距离的平行面结构光。已标定的全局摄像机垂直于水平地面获取零件图像，图像中包括零件表面和面结构光与零件表面的交线。采用视觉识别技术对全局摄像机获取的图像进行分析，基于B样条曲线和主动轮廓算法，建立被测曲面的空间流形模型，通过对结构光网格节点和网格线的曲率变化分析，判定零件表面的弯曲程度，从而选择合适的取点密度。沿着流形模型的特征角点进行取点路径规划，根据取点密度要求可进行不同数量的差值处理，得到更多待测特征点，从而进行精确测量。它主要是采用力觉-视觉融合接触法进行取点测量。参阅图1至图10，其余同上述实施例。

实施例5，本发明所述测量现场可以包括四个可移动导轨和八个伺服机器人，伺服机器人与全局测量通过室内iGPS控制定位。参阅图1至图10，其余同上述实施例。

实施例6，本发明所述测量现场也可包括四个固定导轨和四个可移动导轨构成空间结构框架，其中两条导轨可竖直方向移动，另外两条导轨可水平移动，每个可移动导轨上装配两个可移动机器人，为后续整个***的自动化测量提供硬件基础。在测量空间上方装有全局摄像机装置和室内iGPS定位***装置。对八个机器人按精度区域进行任务分配，每个机器人完成子任务后返回测量数据。机器人在执行任务过程中，以机器人移动距离最短作为任务分配原则，循环最优解作为最佳分配方法。机器人根据任务分配逐步选择就近区域进行测量任务，每个机器人在工作过程中选择距离区域中心最小的区域，测量完成后再选择距离最小的区域，如此循环直到所有区域测量完成。本发明旨在将每个机器人测量得到的数据进行融合，最后获得零件表面的点云数据。参阅图1至图10，其余同上述实施例。

实施例7，本发明提出的测量空间上方需安装全局摄像机和室内iGPS装置，八个机器人的底座上装有室内iGPS装置，以便获得每个机器人在导轨上运动后的精确定位。

首先，将被测零件放置到已经建立好的测量现场，面激光发射器组向零件表面发射面激光，面激光与零件表面相交得到激光曲线，为了使获得的曲线能够在摄像机获取的图像内反应零件表面的弯曲程度，面激光发射器组平行等距离竖直排列，发射出的面激光与水平面成25-75度角；然后通过全局摄相机摄取零件整体图像，通过标定得到零件的形状以及轮廓，从而建立Snake能量模型对目标轮廓曲线进行逼近，将轮廓视为一条能量最小化样条，采用B样条曲线用于快速的轮廓检测与拟合，从而得到零件的形状以及轮廓。采用与Snake类似的能量函数，目标轮廓用初始B样条曲线的演化形式进行表示，而曲线的外部能量项拟采用GVF（梯度向量流）的外部能量表达方法进行表示。根据B样条曲线具体的方程可以推导出相应的B样条曲线逼近图像轮廓的Snake模型。通过B样条控制顶点在双目图像中匹配来计算被测曲面的形状，在此基础上通过结构光投影的网格形状来测量曲面各区域的曲率变化情况而建立曲面的空间流形。

根据空间曲面上的轮廓情况，以及网格形状和节点密度确定三个精度等级，分别为：超高精度、高精度、正常精度。超高精度区域指网格形状变形很大，而且节点密度也很大的区域，说明本区域的零件表面变形或者弯曲程度比较大，需要进行精密取点才能准确获得零件表面的形状特征；高精度区域指网格形状变形较明显，而且节点密度也比较大的区域，说明本区域的零件表面有变形或者弯曲存在，需要测量较多特征点来确定零件表面的形状特征；正常区域指网格变形不明显，节点密度较小的区域，说明本区域的零件表面比较近似平面特征，可以测量较少的特征点，以减少工作量提高测量效率。

本发明的测量空间共搭载八个机器人，分别标号为一至八号，其中一三五七号四个机器人为六关节机器人，进行超高精度和高精度区域的测量任务；其余四个机器人为四关节机器人，进行正常精度区域的测量任务。当待测零件表面被分为三个精度等级后，导轨根据零件高度运动到适当位置然后固定不动。分别将超高精度、高精度和正常精度三个区域标记为A、B、C，再将六关节机器人和四关节机器人分别标记为S和F，通过计算每个机器人S到A和B的距离，选择距离最短的一组匹配进行测量，然后再从剩余的不同匹配距离中选择距离最小的一组进行测量，以此类推。六关节机器人工作的同时，四关节机器人F和C区域进行距离最短的匹配。若机器人同一导轨上在工作过程中存在相互干涉的情况，则先放弃工作任务，待第一轮测量任务完成后，移动导轨后重复以上测量任务分配，直到完成被测零件表面所有区域的测量任务。

当机器人在导轨上移动结束后，将首先通过室内iGPS装置获取基座的位置数据，然后固定基座，通过机器人关节的转动或者移动进行测量工作。

对于探针取点过程采用力觉-视觉融合伺服的方法控制机器人末端探针进行接触式取点。为使接触式探针取点过程接触柔和，将力觉控制引入到双目视觉伺服控制***中，将双目视觉和力觉信息融合为一体。通过两个CCD摄像机得出目标角点和机器人特征点之间的视差；然后通过控制机器人的运动减小双目视差的值直至零（即机器人的特征点和目标角点重合），从而达到手眼协调控制的目的。如图6所示，通过立体视觉***获取目标物体和机器人末端操作器上的两个特征点的角视差                                                

和，视觉反馈控制的目的就是使得

和

都减小趋向于0，如图7所示，即使得两个特征点重合，也即机器人末端达到了目标位置。当探针没有接触到曲面时，力传感器的反馈量f为0，此时按照双目视觉伺服进行控制，如图8所示；当探针接触到被测表面时将力控制作为控制的外循环以减小探针与被测曲面的接触力。

整个测量过程由全局摄像机控制，室内iGPS位置检测站采集机器人的位姿数据，并由计算机记录每个区域所获取的测量数据，当各个区域的测量工作完成之后将测量的数据进行分析并生成点云，基于机器人视觉伺服控制的自动数据采集工作结束。参阅图1至图10，其余同上述实施例。

实施例8，本发明所述用于基于机器人视觉伺服的大型复杂零件测量方法的专用装置，它包括支架9、可上下或左右移动的导轨，在每根导轨上设置有1个以上视觉机器人8，也可根任务需要设置3个或4个视觉机器人8，在支架9侧面分别安装有面结构光发射阵A2和面结构光发射阵B3，并在支架9的上部或外侧设置全局摄像机1。可上下移动的导轨包括安装在支架9两端的上下移动导轨4，可左右移动的导轨包括安装在支架9两侧的水平移动导轨5。水平移动导轨5两端可分别与上下移动导轨4成活动配合连接。参阅图2至5。其余同上述实施例。

Claims (10)

1.一种基于机器人视觉伺服的大型复杂零件测量方法，其特征是：首先建立装载4个以上机器手臂的测量现场，采用面结构光对零件表面进行标记，然后采用机器视觉技术建立空间曲面流形模型，再对曲面流形模型进行精度区域划分和取点自动规划；再给各个机器人进行任务分配和取点路径规划，最后采用力觉-视觉融合伺服的方法控制机器人末端探针进行接触式取点，以获得大型复杂零件的点云数据。

2.根据权利要求1所述基于机器人视觉伺服的大型复杂零件测量方法，其特征是：所述空间曲面流形模型采用B样条控制顶点在双目图像中匹配来对被测曲面的几何形状建造轮廓模型，采用结构光投影的网格形状测量曲面各区域的曲率变化并建立曲面的空间流形。

3.根据权利要求1所述基于机器人视觉伺服的大型复杂零件测量方法，其特征是：所述精度区域划分是根据空间曲面上曲率变化的情况而对曲面进行区域划分，即按照网格的稀疏与稠密程度并将包括结构光节点和曲面的特征角点构成网格节点，从而将曲面划分成由特征点分割出的精度区域。

4.根据权利要求1所述基于机器人视觉伺服的大型复杂零件测量方法，其特征是：产生面结构光的激光发射器与水平面成25-75度向零件表面发射面结构光，结构光平面和零件表面相交成直线或者曲线，这些直线或者曲线形成网格结构；所述激光发射器按垂直方向等距离设置，以发射等距离的平行面结构光。

5.根据权利要求1所述基于机器人视觉伺服的大型复杂零件测量方法，其特征是：所述测量现场包括四个可移动导轨和4个以上伺服机器人，伺服机器人与全局测量通过室内iGPS控制定位；或由四个固定导轨和四个可移动导轨构成空间结构框架，其中两条导轨可竖直方向移动，另外两条导轨可水平运动，每个可移动导轨上装配一个以上可移动机器人，测量空间上方装有全局摄像机装置和室内iGPS定位***装置；对各个机器人按精度区域进行任务分配，每个机器人完成子任务后返回测量数据。

6.根据权利要求5所述基于机器人视觉伺服的大型复杂零件测量方法，其特征是：机器人在执行任务过程中，以机器人移动距离最短作为任务分配原则，循环最优解作为最佳分配方法；或机器人根据任务分配逐步选择就近区域进行测量任务，每个机器人在工作过程中选择距离区域中心最小的区域进行测量工作，测量完成后再选择距离最小的区域，如此循环直到所有区域测量完成。

7.根据权利要求1所述基于机器人视觉伺服的大型复杂零件测量方法，其特征是：采用力觉-视觉融合接触测量的方法，即将力觉控制引入到双目视觉伺服控制***中，将双目视觉和力觉信息融合为一体；双目视觉伺服控制采用双目视差趋零控制方法。

8.一种用于基于机器人视觉伺服的大型复杂零件测量方法的专用装置，其特征是：它包括支架（9）、可上下或左右移动的导轨，在导轨上设置有1个以上视觉机器人（8），在支架（9）侧面分别安装有面结构光发射阵A（2）和面结构光发射阵B（3），并在支架（9）的上部或外侧设置全局摄像机（1）。

9.根据权利要求8所述基于机器人视觉伺服的大型复杂零件测量方法的专用装置，其特征是：可上下移动的导轨包括安装在支架（9）两端的上下移动导轨（4），可左右移动的导轨包括安装在支架（9）两侧的水平移动导轨（5）。

10.根据权利要求8所述基于机器人视觉伺服的大型复杂零件测量方法的专用装置，其特征是：水平移动导轨（5）两端分别与上下移动导轨（4）成活动配合连接。

Images