CN104959989B - 一种视觉引导下的电梯门板上料定位方法 - Google Patents

Abstract

本发明公开了一种视觉引导下的电梯门板上料定位方法，采用双相机实现对电梯门板的精确定位，相机1采集电梯门板的左避让孔图像，相机2采集电梯门板的右避让孔图像，通过来料门板位置信息与门板标准位置信息的对比实现电梯门板的定位。视觉定位单元将采集到的图像进行分析，通过对比基准点A和基准点A₀的坐标确定实际来料门板位移变化量，通过计算直线A₀B₀到直线AB的夹角α，确定实际来料门板角度变化量。本发明方法能帮助实现视觉引导下机械手快速的、精确的、稳定的抓取电梯门板上料。

Description

一种视觉引导下的电梯门板上料定位方法

技术领域

本发明涉及一种产品的上料定位方法，尤其涉及一种视觉引导下的电梯门板上料定位方法，属于产品视觉定位领域。

背景技术

工件的识别和定位是机械臂在生产线上有效应用的重要环节，目前机械臂已广泛应用在工业生产线上，但很多都是在示教人员的示教编程或离线编程下完成一些预先设定的固定动作和功能。如果工件周围的环境发生了变化，则就很可能导致机械臂任务失败，这种由于机械臂无法识别外部环境变化的缺点极大的限制了机械臂在工业生产中的应用。

机器视觉顾名思义是使机械臂具有像人一样的视觉功能，从客观事物的图像中提取出有用的信息，从而实现各种检测、判断、识别和测量等功能。将机器视觉技术和机械臂技术相结合，利用机器视觉的定位功能使机械臂具有自己的“眼睛”来获取工件的位置等环境信息，引导机械臂完成抓取、搬运等工作，对提高生产线的效率和扩展机械臂的应用范围都具有重要的意义。

在电梯门板烤漆生产线上，工人需要将电梯门板挂至生产线的挂钩上，电梯门板体积大、质量重，人工劳动强度很大，采用机械臂代替人工上料，工人只需用吊装设备将电梯门板放置在来料区域即可。在这个过程中，电梯门板每次来料的位置都是变化的，因此，如何使机械臂具有自己的“眼睛”，准确的获取电梯门板来料的位置信息，并引导自己完成抓取上料任务是一个关键问题。

发明内容

为使机械臂能够通过自己的“眼睛”获取来料门板的位置信息，并引导其完成抓取上料任务，本发明专利提出了一种视觉引导下的电梯门板上料定位方法。

为达成所述目的，本发明专利所采用技术方案是：釆用图像处理方法获取电梯门板来料的位置变化信息，并发送给机械臂引导其抓取上料，由于电梯门板尺寸较大，采用双相机实现对像电梯门板这样的大物件精确定位，第一工业相机采集电梯门板的左避让孔图像，第二工业相机采集电梯门板的右避让孔图像，通过与门板标准位置信息的对比实现电梯门板的定位，具体包括如下步骤(如图3所示)：

1)确定机械臂抓取电梯门板的标准位置信息：把电梯门板放置在标准位置，将机械臂工件坐标系O_r的原点建立在标准位置门板避让孔的基准点A₀处，X轴沿基准线A₀B₀方向，Y轴过A₀点垂直于基准线A₀B₀，A₀坐标是(0,0)；其中基准点A₀是门板标准位置的左避让孔的左上顶点，基准点B₀是门板标准位置的右避让孔的左上顶点，基准线A₀B₀是根据点A₀和点B₀拟合两避让孔上边线得到的直线。

2)计算来料门板实际位置信息：①两个相机分别采集位置发生变化后的电梯门板两避让孔的图像，采集的图像首先经相机标定把图像坐标系转换为世界坐标系，再经手眼标定把世界坐标系转换为机械臂工件坐标系；②采用模板匹配方法，建立避让孔基准线L_a1、L_a2、L_b1和L_b2的搜索区域与所选模板间的坐标对应关系，实现对基准线搜索区域的粗定位；③由图像识别法分别拟合电梯门板左避让孔的基准线L_a1、L_a2和右避让孔的基准线L_b1、L_b2；④根据拟合的基准线L_a1和L_a2的直线方程求出点A的坐标(x,y)，基准线L_b1和L_b2的直线方程求出点B的坐标，并由点A和点B确定基准线AB；其中L_a1和L_a2分别是门板左避让孔的上边线和左边线，L_b1和L_b2分别是门板右避让孔的上边线和左边线，点A和点B分别是来料门板左避让孔的左上顶点和右避让孔的左上顶点，基准线AB是根据点A和点B拟合来料门板两避让孔上边线得到的直线。

3)计算电梯门板位置变化信息：①通过对比基准点A和基准点A₀的坐标确定实际来料门板位移变化量：ΔX＝x，ΔY＝y；②通过计算直线A₀B₀到直线AB的夹角α，确定实际来料门板角度变化量：Δα＝α。

上料***总体结构包括视觉定位单元、机械臂控制单元、和上位机。视觉定位单元将采集到的图像进行软件处理分析和提取位置信息并发送给机械臂；机械臂控制单元根据视觉定位单元发送的位置信息，调整机械臂的位姿抓取电梯门板上料；上位机除了和机械臂进行数据通信外，还提供了人机界面，用于实时显示当前上料情况，记录并保存上料数据及电梯门板图像。

与现有方法相比，本发明方法的有益之处是：(1)将视觉技术和机械臂技术相结合，机械臂能够获取电梯门板的位置信息，提高了机械臂工作的智能性和灵活性。(2)由于相机视野是有限的，采用双相机扩大视野的方法定位像电梯门板这样的大物件，保证定位的精确性和稳定性。(3)实现两个相机的图像坐标系到机械臂工件坐标系的精确转换，使计算出来的位置变化信息可以不用处理的为机械臂使用。

附图说明

附图1是一种视觉引导下的电梯门板上料定位方法的硬件结构图。

附图1中编号1是机械臂、编号2是第一工业相机、编号3是第二工业相机、编号4和5是工业镜头、编号6和7是红色环形光源、编号8是图像采集卡、编号9是工控机、编号10是机械臂控制柜、编号11是PLC、编号12和14是电梯门板、编号13是来料平台a、编号15是来料平台b、编号16是吸盘支架、编号17是吸盘。

附图2是一种视觉引导下的电梯门板上料定位方法的上料流程图。

附图3是一种视觉引导下的电梯门板上料定位方法的定位原理图。

附图4是一种视觉引导下的电梯门板上料定位方法的坐标系转换原理图。

具体实施方式

下面结合附图对本发明的具体实施方式做进一步说明。

上料***总体结构包括视觉定位单元、机械臂控制单元和上位机单元。视觉定位单元由第一工业相机和第二工业相机、工业镜头4和工业镜头5、红色环形光源6和红色环形光源7和图像采集卡8组成；机械臂控制单元主要由PLC11、机械臂1、机械臂控制柜10、吸盘支架16和吸盘17组成；上位机即是工控机9。

附图2示出一种视觉引导下的电梯门板上料定位方法的上料流程图，经过上一条生产线的焊接组装生产的电梯门板，需要进入下一条生产线进行烤漆。工人通过吊装设备将电梯门板12和电梯门板14放置在来料台面a。***上电启动后，由PLC11向机械臂1发出上料命令，机械臂上料***启动，红色环形光源6和红色环形光源7打开，机械臂带动相机2和3、镜头4和镜头5和光源6和光源7移动到来料台面a的相机图像采集位置，到达相机图像采集位置后，由机械臂控制柜10向工控机9发出获取电梯门板位置信息的命令，工控机9控制第一工业相机和第二工业相机采集图像，并通过图像采集卡8将图片传送给工控机9进行图像定位处理，提取电梯门板12的位置信息，如果位置信息提取成功则将位置数据反馈给机械臂1，机械臂1根据获取的位置信息调整自己的位姿后准确的抓取电梯门板12，并将电梯门板12挂至生产线的挂钩上，完成一块电梯门板12的上料任务，否则(获取位置信息失败)***将会降低相机的曝光量再次获取位置信息，如果两次获取位置信息都失败则由人工调整电梯门板12位置。

然后机械臂1返回来料台面a的下一块电梯门板12的图像采集位置，并完成其上料任务，当其完成了来料台面a所有电梯门板12的上料任务后，继续完成来料台面b电梯门板14的上料任务。当机械臂1在对来料台面a的电梯门板12上料时，工人可以对来料台面b放置下次需要上料的电梯门板14，同样当机械臂1在对来料台面b上料时，工人可以对来料台面a放置下次需要上料的电梯门板12，保证整个***和整条生产线的不间断运行。

附图3示出一种视觉引导下的电梯门板上料定位方法的定位原理图，视觉定位单元获取来料台面a和来料台面b上的电梯门板12和电梯门板14位置变化信息的方法是一样的，以电梯门板12为例,采用双相机实现对像电梯门板12这样的大物件的精确定位，第一工业相机采集电梯门板的左避让孔图像，第二工业相机采集电梯门板的右避让孔图像，通过来料门板位置信息与门板标准位置信息的对比实现电梯门板12的定位，具体方法如下：

1)确定机械臂1抓取电梯门板的标准位置信息：把电梯门板12放置在标准位置，将机械臂工件坐标系O_r的原点建立在标准位置门板避让孔的基准点A₀处，X轴沿基准线A₀B₀方向，Y轴过A₀点垂直于基准线A₀B₀，A₀坐标是(0,0)；其中基准点A₀是门板标准位置的左避让孔的左上顶点，基准点B₀是门板标准位置的右避让孔的左上顶点，基准线A₀B₀是根据点A₀和点B₀拟合两避让孔上边线得到的直线。

2)计算来料门板12实际位置信息：①第一工业相机和第二工业相机分别采集位置发生变化后的电梯门板12两避让孔的图像，采集的图像经相机标定和手眼标定把图像坐标系转换为机械臂工件坐标系；②采用VisionPro中的CogPMAlignTool工具进行模板匹配，建立避让孔基准线L_a1、L_a2、L_b1和L_b2的搜索区域与所选模板间的坐标对应关系，当来料位置变化时不影响基准线的拟合；③由直线拟合方法VisionPro中的CogFindLineTool工具，分别拟合电梯门板(12)两避让孔的基准线L_a1、L_a2、L_b1、L_b2；④交点的提取采用VisionPro中的CogIntersectLineTool工具，由基准线La1和La2求出点A的坐标(x,y)，由基准线L_b1和L_b2求出点B的坐标，点A和点B可构成基准线AB；其中L_a1和L_a2分别是电梯门板12左避让孔的上边线和左边线，L_b1和L_b2分别是电梯门板12右避让孔的上边线和左边线，点A和点B分别是来料门板左避让孔的左上顶点和右避让孔的左上顶点，基准线AB是根据点A和点B拟合来料门板两避让孔上边线得到的直线。

3)计算电梯门板12位置变化信息：①通过对比点A和点A₀确定实际来料门板位移变化量：ΔX＝x，ΔY＝y；②采用CogMath.AnglePointPoint()函数计算直线AB的角度即直线A₀B₀到AB的夹角α确定实际来料门板角度变化量：Δα＝α。

附图4示出一种视觉引导下的电梯门板上料定位方法的坐标系转换原理图，图像坐标系到工件坐标系的转换分两步实现，具体方法步骤如下：

1)相机标定。采用VisionPro中的CogCalibCheckerBoardTool工具把图像坐标系转换到世界坐标系，由于采集的图像存在畸变，采用非线性标定方法；相机标定由采集标定板图像、提取标定板特征点和计算标定内容组成。

2)手眼标定。采用VisionPro中的CalibNPointToNPointTool工具把世界坐标系转换到机械臂工件坐标系；手眼标定由确定特征点、记录特征点坐标和计算标定内容组成。

整个视觉定位过程实时显示于上位机(9)的人机界面上，同时将检测数据及图像进行保存，以便进行数据溯源。

本发明方法能够实现视觉引导机械臂快速、准确的完成电梯门板的抓取上料任务。

以上是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所做的任何的简单修改、等同变化与修饰，均属于发明技术方案的范围内。

Claims (1)

1.一种视觉引导下的电梯门板上料定位方法，其特征在于，采用双相机实现对电梯门板的精确定位，第一工业相机采集电梯门板的左避让孔图像，第二工业相机采集电梯门板的右避让孔图像，通过来料门板位置信息与门板标准位置信息的对比实现电梯门板的定位，定位步骤如下：

1)确定机械臂抓取电梯门板的标准位置信息：把电梯门板放置在标准位置，将机械臂工件坐标系O_r的原点建立在标准位置门板避让孔的基准点A₀处，X轴沿基准线A₀B₀方向，Y轴过A₀点垂直于基准线A₀B₀，A₀坐标是(0,0)；其中基准点A₀是门板标准位置的左避让孔的左上顶点，基准点B₀是门板标准位置的右避让孔的左上顶点，基准线A₀B₀是根据点A₀和点B₀拟合两避让孔上边线得到的直线；

2)计算来料门板实际位置信息：①两个相机分别采集位置发生变化后的电梯门板两避让孔的图像，采集的图像首先经相机标定把图像坐标系转换为世界坐标系，再经手眼标定把世界坐标系转换为机械臂工件坐标系；②采用模板匹配方法，建立避让孔基准线L_a1、L_a2、L_b1和L_b2的搜索区域与所选模板间的坐标对应关系，实现对基准线搜索区域的粗定位；③由图像识别法分别拟合电梯门板左避让孔的基准线L_a1、L_a2和右避让孔的基准线L_b1、L_b2；④根据拟合的基准线L_a1和L_a2的直线方程求出点A的坐标(x,y)，基准线L_b1和L_b2的直线方程求出点B的坐标，并由点A和点B确定基准线AB；其中L_a1和L_a2分别是门板左避让孔的上边线和左边线，L_b1和L_b2分别是门板右避让孔的上边线和左边线，点A和点B分别是来料门板左避让孔的左上顶点和右避让孔的左上顶点，基准线AB是根据点A和点B拟合来料门板两避让孔上边线得到的直线；

3)计算电梯门板位置变化信息：①通过对比基准点A和基准点A₀的坐标确定实际来料门板位移变化量：ΔX＝x，ΔY＝y；②通过计算直线A₀B₀到直线AB的夹角α，确定实际来料门板角度变化量：Δα＝α。