CN109483539A - 视觉定位方法 - Google Patents

Abstract

本发明涉及汽车制造技术领域，尤其是视觉定位方法。定位方法的具体步骤为：a、采集当前车身上的定位结构的定位图像；b、控制设备基于定位图像计算获得当前车身位姿；c、控制设备计算获得所述当前车身位姿相对于模板车身位姿的位姿偏移量；d、控制设备将位姿偏移量发送至机器人，以使机器人对机器人位姿以及当前工作路径进行调整。本发明通过软件手段控制机器人进行位姿以及工作路径的调整，从而当前车身位姿相适应，在处理不同车型的车身时，只需相应地调整方法中涉及的软件参数，可以提高生产过程中的节拍利用率并降低能耗，不存在现有技术中的机械磨损问题，其对于机器人的定位精度较高、定位结果可靠。

Description

视觉定位方法

技术领域

本发明涉及汽车制造技术领域，尤其是视觉定位方法。

背景技术

当前，在汽车制造过程中，对车身的制造主要通过安装在汽车生产线上的机器人完成的。汽车生产线的滚床将当前车身输送至工位上后，机器人在内置程序的控制下，按照程序中预设的工作路径执行相应的操作，例如车身的装配、焊接、涂胶、激光焊等。显然，在不改变机器人内置程序的前提下，必须确保滚床每次都将当前车身以相同的车身姿态输送到相同的位置，这样才能确保机器人的正常作业。这一过程称为对当前车身的定位。

在现有技术中，车身定位主要是通过机械结构实现的，例如采用高速升降滚床、雪橇及定位下夹具的定位方式，或者采用高速水平滚床加上随行夹具的定位方式，但这些采用机械结构的解决方案普遍存在柔性局限性(在同一生产线线只能兼容生产几种车型)、生产节拍浪费(定位过程中涉及机械结构的升降等操作，会消耗时间)、能耗较高(定位过程中涉及机械结构的升降等操作，会消耗点电能)以及机械结构在与车身接触过程中因相互磨损而造成的定位不准等问题。

发明内容

本发明要解决的技术问题是：为了解决背景技术中描述的现有技术的不足，本发明提供了一种视觉定位方法，通过软件手段控制机器人进行位姿以及工作路径的调整，从而当前车身位姿相适应，在处理不同车型的车身时，只需相应地调整方法中涉及的软件参数(例如模板车身位姿)，即可实现同一汽车生产线在处理不同车型的车身时的快速柔性切换，同时由于该方法在定位机器人的过程除了机器人本身的微调外，不涉及其他机械结构的调整，因此可以提高生产过程中的节拍利用率并降低能耗，同时由于采用的是基于图像处理的方法进行定位，是一种非接触的定位方式，因此不存在现有技术中的机械磨损问题，其对于机器人的定位精度较高、定位结果可靠。

本发明解决其技术问题所采用的技术方案是：

一种视觉定位方法，定位方法的具体步骤为：

a、汽车生产线的滚床将当前车身输送到工位上后，使用控制设备控制图像采集设备采集当前车身上的定位结构的定位图像；

b、控制设备基于定位图像计算获得当前车身位姿；

c、控制设备计算获得所述当前车身位姿相对于模板车身位姿的位姿偏移量；

d、控制设备将位姿偏移量发送至机器人，以使机器人基于位姿偏移量对机器人的当前机器人位姿，以及当前工作路径进行调整。

具体地，步骤a中，所述定位图像计算中，定位图像计算分别获得每个定位孔中的定位孔位姿；基于至少三个定位孔位姿拟合获得当前车身位姿。

具体地，所述定位孔为RPS定位孔。

具体地，所述图像采集设备包括激光器以及定位相机，激光器以及定位相机均与控制设备通过导线连接；

步骤a中，所述定位图像的采集方法为，控制激光器将激光光束投射到定位结构表面，并在定位结构表面产生激光图样，然后控制定位相机对激光图样进行拍摄，获得所述定位图像。

具体地，步骤d中，所述机器人工作路径重新设定的方法为，利用与控制设备相连的标定相机，对机器人上的工具进行拍摄，获得机器人工具的三视图，基于三视图计算获得当前机器人工具的中心点；接着将位姿偏移量发送至机器人，以使机器人基于位姿偏移量对当前机器人工具中心点进行重新设定。

具体地，步骤a中，所述定位图像采集前，滚床将模板车身输送到工位上后，计算获得模板车身的模板车身位姿。

具体地，所述控制设备包括：控制图像采集设备采集定位图像的图像获取模块；用于基于定位图像计算获得当前车身位姿的位姿获取模块；用于计算获得当前车身位姿相对于模板车身位姿的位姿偏移量的偏移量获取模块；对机器人的当前机器人位姿以及当前工作路径进行调整的机器人控制模块。

本发明的有益效果是：本发明提供了一种视觉定位方法，通过软件手段控制机器人进行位姿以及工作路径的调整，从而当前车身位姿相适应，在处理不同车型的车身时，只需相应地调整方法中涉及的软件参数(例如模板车身位姿)，即可实现同一汽车生产线在处理不同车型的车身时的快速柔性切换，同时由于该方法在定位机器人的过程除了机器人本身的微调外，不涉及其他机械结构的调整，因此可以提高生产过程中的节拍利用率并降低能耗，同时由于采用的是基于图像处理的方法进行定位，是一种非接触的定位方式，因此不存在现有技术中的机械磨损问题，其对于机器人的定位精度较高、定位结果可靠。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1是本发明的结构图；

图2是本发明的工作场景示意图；

图3是本发明的流程图；

图4是本发明的采集定位图像的结构示意图；

图5是本发明的定位图像的示意图；

图6是本发明的电极帽的结构示意图；

图7是本发明的视觉定位装置的功能模块图的结构示意图；

图中100.视觉定位***，110.控制设备，120.图像采集设备，122.定位相机，124.激光器，200.机器人，210.机器人工具，300.滚床，400.车身，500.视觉定位装置，510.图像获取模块，520.位姿获取模块，530.偏移量获取模块，540.机器人控制模块。

具体实施方式

现在结合附图对本发明作进一步详细的说明。

图1是本发明的结构图，图2是本发明的工作场景示意图，图3是本发明的流程图，图4是本发明的采集定位图像的结构示意图，图5是本发明的定位图像的示意图，图6是本发明的电极帽的结构示意图，图7是本发明的视觉定位装置的功能模块图的结构示意图。

同时参照附图1以及附图2，视觉定位***100安装于汽车生产线的工位上，工位上设置有一个或多个机器人200。汽车生产线为用于汽车生产的自动化生产线，可以完成汽车生产过程中车身的装配、焊接、涂胶、激光焊等作业，当汽车生产线的滚床300将当前车身400输送至工位上后，视觉定位***100控制机器人200进行定位，然后机器人200执行其内置程序，利用机器人200上安装的机器人工具210，例如焊枪、涂胶枪、激光焊、夹具、抓手等工具，完成对当前车身400的处理。

进一步参照附图1，视觉定位***100包括与机器人200通信连接的控制设备110以及与控制设备110连接的图像采集设备120，在本发明实施例中，视觉定位***100还可以包括与控制设备110连接的标定相机130。其中，图像采集设备120可以进一步包括激光器124以及定位相机122，激光器124以及定位相机122均与控制设备110连接。

本发明实施例提供的视觉定位方法及装置应用于视觉定位***100中的控制设备110，其基本工作流程为：在滚床300将当前车身400输送至工位上后，首先控制安装在滚床300下方的图像采集设备120对当前车身400底部的定位结构410进行拍摄，获得相应的定位图像。图像采集设备120将定位图像发送至控制设备110，控制设备110基于定位图像计算当前车身400的当前车身位姿。

在现有汽车厂家的技术标准中，车身位姿一般采用车身坐标系表示，其原点设定在前轴中心，车身坐标系的x轴方向指向，y轴指向车身右侧，z轴指向车顶。控制设备110内存储有事先标定好的模板车身位姿，从而可以计算当前车身位姿与模板车身位姿之间的位姿偏移量。之后，控制设备110将计算出的位姿偏移量发送至机器人400，机器人400基于位姿偏移量调整其当前机器人位姿以及当前工作路径，在调整完成后利用机器人工具210对当前车身400进行处理。对上述工作流程的详细解释请参考后文实施例中的描述。

第一实施例：

参照附图3，该方法包括：

步骤S10：在所述汽车生产线的滚床300将当前车身400输送到所述工位上后，控制所述图像采集设备120采集所述当前车身400上的定位结构410的定位图像。

在滚床300将当前车身400输送至工位上后，控制设备110控制设置在滚床下方的图像采集设备120对当前车身400底部的定位结构410进行拍摄，获得定位结构的定位图像，并将定位图像发送至控制设备110。在本发明实施例中，定位结构410可以为当前车身400底部的定位孔，如RPS定位孔。RPS***最早由美国福特公司发明，后由大众公司制定成公司标准VW01055，现已成为汽车制造行业广泛遵循的标准。凡是按照该标准生产的车身，其底部均具有RPS定位孔，因此本发明实施例中将RPS定位孔作为定位结构，是普遍适用的解决方案。采用RPS定位孔作为定位结构时，至少应包括三个RPS定位孔，图2中示出了四个RPS定位孔的大致位置，其中三个作为定位结构，用于后续步骤中计算获得当前车身位姿，另一个作为备用，一般不参与计算。图像采集设备120可以为至少三个，每个图像采集设备120与一个RPS定位孔对应设置，并用于拍摄对应的RPS定位孔的定位图像。

在本发明实施例中，每个图像采集设备120都可以进一步包括激光器124以及定位相机122，激光器124以及定位相机122均与控制设备110连接。附图4示出了本发明实施例提供的视觉定位方法的步骤S10的流程图。参照附图4，步骤S10可以包括：

步骤S100：控制所述激光器124将激光光束投射到所述定位结构410表面，并在所述定位结构410表面产生激光图样。

本发明实施例中的激光器124、定位相机122以及控制设备110共同构成一种结构光测量***，在测量时，激光器124将不同模式的结构光(例如点结构光、线结构光、多线结构光、网格结构光)投射到定位结构410表面，被定位结构410表面的形状所调制，形成相应的三维的激光图样。

步骤S101：控制所述定位相机122对所述激光图样进行拍摄，获得所述定位图像。

定位相机122对步骤S100中的三维的激光图样进行拍摄，获得与之对应的二维的定位图像，由于结构光被定位结构410的表面的形状所调制，所以在定位图像中，结构光的影像会产生相应的畸变。根据结构光测量的原理，如果激光器124与定位相机122之间的相对位置以及相对姿态固定时，在控制设备110中，可以根据定位图像中结构光影像的畸变程度，计算获得定位结构410的表面各点在预先设定好的全局坐标系下的坐标。

步骤S11：基于所述定位图像计算获得当前车身位姿。

参照附图5，RPS定位孔一般包括圆孔(附图5左侧)和长腰孔(附图5右侧)，附图5中的结构光为多线结构光，投射在RPS定位孔上呈现出光栅条纹，条纹与RPS定位孔的边缘相交产生多个交点，选取其中的部分交点(在附图5中用小圆圈示出)，根据步骤S10中阐述的结构光测量原理计算出这些交点在全局坐标系下的坐标，进而通过多个交点的坐标可以拟合确定出RPS定位孔的定位孔位姿。其中，定位孔位姿可以用一个原点位于RPS定位孔中心的坐标系来表示。获得至少三个定位孔位姿后，根据RPS***中的3-2-1原则拟合确定当前车身400的当前车身位姿。3-2-1原则即通过三个矢量点确定平面法向量确定一个轴向，两个矢量点确定一条线，一个矢量点确定原点，根据以上6个基准点就能建立车身坐标系。

在应用3-2-1原则之前，为了更准确地选择影响精度最小的零件坐标系，本发明应用最佳拟合法寻找与标准值误差最小的6个新的基准点。在模型CAD建立一个基准(0，0，0)，对应实际的物体的坐标点为(X0,Y0,Z0)。在模型的CAD上选择6个基准点(标准值)，并在实际物体上确定对应的6个坐标点(测量值)，将测量值通过坐标旋转和平移sigma(x1,y1,z1)，得到新的6个基准点m与标准值的误差最小，即本发明采用误差平方和的算术平方根(误差向量的2范数)。对误差方程分别求取x、y、z三个方向的偏导数，并求出极值，确定评价函数的最小值，即可得到新的6个基准点。最后根据3-2-1原则建立车身坐标系。

定位孔位姿以及当前车身位姿均使用全局坐标系作为参考坐标系，以确保其一致性。

步骤S12：计算获得所述当前车身位姿相对于模板车身位姿的位姿偏移量。

在本发明实施例提供的视觉定位***100启用之前，首先使用激光跟踪仪标定激光器124、定位相机122、机器人200、机器人工具210、标定相机130在全局坐标系下的相对位置关系以及相对姿态关系，将标定结果存储至控制设备110。然后将汽车生产线所要生产的每种类型的车身反复多次输送至工位，对图像采集设备120的拍摄精度以及滚床300的输送定位精度等进行验证以及调试，确保其在视觉定位***100的允许的误差范围内。***调试完成后，再将每种车型的车身作为模板车身输送至工位上，执行步骤S10以及步骤S11所揭示的方法，计算获得模板车身的车身位姿，将其作为模板车身位姿存储至控制设备110中。模板车身位姿可以用模板车身的车身坐标系表示，其参考坐标系仍然是全局坐标系。最后，针对于模板车身位姿设定机器人的机器人位姿以及工作路径，将其作为机器人200的内置程序的工作参数，以使机器人200在执行其内置程序时，能够完成对于模板车身的处理。

在实际中，由于车身定位的精度问题以及每个车身在加工上存在的偏差，当前车身400定位好以后，其当前车身位姿与模板车身位姿之间必然存在一定的偏差，即位姿偏移量。在步骤S12中，位姿偏移量可以实现为用于表征当前车身位姿的车身坐标系到用于表征模板车身位姿的车身坐标系的变换矩阵。

步骤S13：将所述位姿偏移量发送至所述机器人，以使所述机器人基于所述位姿偏移量对所述机器人的当前机器人位姿以及当前工作路径进行调整。

控制设备110计算出位姿偏移量后，将其发送给机器人200，机器人200根据位姿偏移量调整其当前机器人位姿以及当前工作路径。机器人200完成上述调整后，无需修改机器人200的内置程序，即可以正常完成当前车身400的处理。

步骤S10至步骤S13在汽车生产线运转的过程中反复执行，对于每个当前车身400在处理前都相应地调整机器人200。机器人200使用机器人工具210完成车身的装配、焊接、涂胶、激光焊等操作，机器人工具200在长期使用后会面临磨损、修复、更换等问题，导致机器人工具210的工具中心点(Tool Center Point，简称TCP)发生变化，影响生产的车身质量。以机器人工具210为焊枪的情况为例，工具中心点可以设置在焊枪的动电极和固定电极的两个电极帽212的接触点位置，在机器人200的内置程序中，基于该工具中心点的位置控制焊枪完成焊接。图6示出了本发明实施例提供的电极帽212的结构示意图。参照图6，虚线表示电极帽212的原始状态，实线表示电极帽212的磨损后的状态，显然，电极帽212磨损后必须在机器人200的内置程序中重新设定工具中心点的位置，以使机器人200调整焊枪的位置，使两个电极帽212重新接触以确保正常焊接。上述步骤称为工具中心点的补偿。

工具中心点的补偿在汽车生产线每运行固定时间后，或者工位循环到达一定次数后就执行一次，其原理和步骤S10至步骤S13中所揭示的方法比较类似。机器人200的内置程序中包括工具中心点标定程序，利用制作好的标定板，读取标定板在世界坐标系和图像坐标系下的标记，将世界坐标系转换到图像坐标系，求取相机的内外参数，建立相机成像几何模型。控制设备110控制机器人200执行该程序，在程序执行过程中，控制设备110控制标定相机130对机器人工具210进行拍摄，获得机器人工具210的三视图，并将获得的三视图发送至控制设备110。在本发明实施例中，标定相机130可以设置在机器人工具210附近便于对机器人工具210进行拍摄的位置。控制设备110基于接收到的三视图以及标定相机130与机器人工具210之间预先标定好的相对位置关系，计算获得机器人工具210的当前工具中心点以及当前工具中心点相对于模板工具中心点的位置偏移量。

其中，模板工具中心点是事先计算获得的。其计算方法是：首先使用激光跟踪仪标定出标定相机130与模板机器人工具(例如电极帽未磨损的焊枪)的相对位置关系，并将该位置关系存储于控制设备110中，然后机器人200运行上述的标定程序，在程序执行过程中，控制设备110控制标定相机130对机器人工具210进行拍摄，获得机器人工具210的三视图，并将获得的三视图发送至控制设备110，控制设备110基于该三视图以及标定相机130与模板机器人工具的相对位置关系，可以计算获得模板工具中心点。例如，A为三视图相对于世界坐标系下的中心坐标点位姿矩阵，B为预先设定能够抓取的位姿矩阵(也是相对于世界坐标系)，两者的关系为C＝A*B，并存储下来。相机采集出一幅新的三视图出来，获得新的中心坐标点位姿矩阵D，所求的抓取位姿F矩阵，满足条件A*B＝C＝D*F，F就可以进行求解。

最后，控制设备110将计算出的位置偏移量发送至机器人200，机器人200基于接收到的位置偏移量在内置程序中重新设定工具中心点的位置，以使机器人200根据重新设定的当前工具中心点的位置调整机器人工具210的位置，使机器人工具210的当前工具中心点处于该重新设定的位置处，从而保证机器人工具210的正常使用。

综上所述，本发明实施例提供的视觉定位方法是一种借助于图像处理技术对机器人200进行定位调整的软件方法，在处理不同车型的车身时，只需相应地调整方法中涉及的软件参数,就可以实现同一汽车生产线在处理不同车型的车身时的快速柔性切换，其适用范围广，操作简单易行。同时由于该方法在定位机器人200的过程除了机器人200本身的微调外，不涉及其他机械结构的调整，因此可以提高汽车生产线的节拍利用率并降低能耗，同时该方法使用与当前车身400非接触的图像采集设备120来采集定位图像，并在此基础上控制机器人200进行位姿调整，不会造成当前车身400的定位结构410的机械磨损，因此也不存在因为机械磨损导致定位精度下降的问题，其对于机器人200的定位精度较高、定位结果可靠，有助于改善生产的车身质量。同时，在本发明实施例中，还可以定期对待机器人200的机器人工具210进行工具中心点的重新设定，有助于解决机器人工具210在磨损、更换、修复后因工具中心点发生偏移所引起的不能正常使用，影响车身生产质量的问题。

第二实施例：

机器人装置500应用于视觉定位***100中的控制设备110，视觉定位***100还包括与控制设备110连接的图像采集设备120，视觉定位***100安装于汽车生产线的工位上，工位上设置有与控制设备110通信连接的机器人200。参照附图7，视觉定位装置500包括：图像获取模块510、位姿获取模块520、偏移量获取模块530以及机器人控制模块540。

其中，图像获取模块510用于在汽车生产线的滚床300将当前车身400输送到工位上后，控制图像采集120设备采集当前车身400上的定位结构的定位图像；位姿获取模块520用于基于定位图像计算获得当前车身位姿；偏移量获取模块530用于计算获得当前车身位姿相对于模板车身位姿的位姿偏移量；机器人控制模块540用于将位姿偏移量发送至机器人200，以使机器人200基于位姿偏移量对机器人200的当前机器人位姿以及当前工作路径进行调整。

本发明实施例提供的视觉定位装置500，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (7)

1.一种视觉定位方法，其特征在于，定位方法的具体步骤为：

a、汽车生产线的滚床将当前车身输送到工位上后，使用控制设备控制图像采集设备采集当前车身上的定位结构的定位图像；

b、控制设备基于定位图像计算获得当前车身位姿；

c、控制设备计算获得所述当前车身位姿相对于模板车身位姿的位姿偏移量；

d、控制设备将位姿偏移量发送至机器人，以使机器人基于位姿偏移量对机器人的当前机器人位姿，以及当前工作路径进行调整。

2.根据权利要求1所述的视觉定位方法，其特征在于，步骤a中，所述定位图像计算中，定位图像计算分别获得每个定位孔中的定位孔位姿；基于至少三个定位孔位姿拟合获得当前车身位姿。

3.根据权利要求2所述的视觉定位方法，其特征在于，所述定位孔为RPS定位孔。

4.根据权利要求1所述的视觉定位方法，其特征在于，所述图像采集设备包括激光器以及定位相机，激光器以及定位相机均与控制设备通过导线连接；

步骤a中，所述定位图像的采集方法为，控制激光器将激光光束投射到定位结构表面，并在定位结构表面产生激光图样，然后控制定位相机对激光图样进行拍摄，获得所述定位图像。

5.根据权利要求1所述的视觉定位方法，其特征在于，步骤d中，所述机器人工作路径重新设定的方法为，利用与控制设备相连的标定相机，对机器人上的工具进行拍摄，获得机器人工具的三视图，基于三视图计算获得当前机器人工具的中心点；接着将位姿偏移量发送至机器人，以使机器人基于位姿偏移量对当前机器人工具中心点进行重新设定。

6.根据权利要求1所述的视觉定位方法，其特征在于，步骤a中，所述定位图像采集前，滚床将模板车身输送到工位上后，计算获得模板车身的模板车身位姿。

7.根据权利要求1所述的视觉定位方法，其特征在于，所述控制设备包括：控制图像采集设备采集定位图像的图像获取模块；用于基于定位图像计算获得当前车身位姿的位姿获取模块；用于计算获得当前车身位姿相对于模板车身位姿的位姿偏移量的偏移量获取模块；对机器人的当前机器人位姿以及当前工作路径进行调整的机器人控制模块。