CN114178832A - 一种基于视觉的机器人引导装配机器人方法 - Google Patents

一种基于视觉的机器人引导装配机器人方法 Download PDF

Info

Publication number
CN114178832A
CN114178832A CN202111425131.0A CN202111425131A CN114178832A CN 114178832 A CN114178832 A CN 114178832A CN 202111425131 A CN202111425131 A CN 202111425131A CN 114178832 A CN114178832 A CN 114178832A
Authority
CN
China
Prior art keywords
robot
camera
calculating
deviation
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111425131.0A
Other languages
English (en)
Other versions
CN114178832B (zh
Inventor
尹章芹
王明松
张冶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Estun Automation Co Ltd
Nanjing Estun Robotics Co Ltd
Original Assignee
Nanjing Estun Robotics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Estun Robotics Co Ltd filed Critical Nanjing Estun Robotics Co Ltd
Priority to CN202111425131.0A priority Critical patent/CN114178832B/zh
Publication of CN114178832A publication Critical patent/CN114178832A/zh
Application granted granted Critical
Publication of CN114178832B publication Critical patent/CN114178832B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23P—METAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
    • B23P19/00—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes
    • B23P19/04—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes for assembling or disassembling parts
    • B23P19/06—Screw or nut setting or loosening machines
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1669—Programme controls characterised by programming, planning systems for manipulators characterised by special application, e.g. multi-arm co-operation, assembly, grasping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Numerical Control (AREA)

Abstract

本发明公开了一种基于视觉的机器人引导装配机器人方法，涉及中大负载机器人装配技术领域。采用自动化流水线模式视觉与机器人配合方式组装生产机器人，从能够满足中大负载机器人高精度智能装配，降低对场地、人工的要求，同时通用性、灵活性、可靠性更强。步骤1、机器人位置示教；步骤2、相机标准位置的处理；步骤3、视觉引导机器人自动装配；步骤4、机器人的贴合与打螺丝。由视觉引导机器人装配机器人关节，降低机械结构设计复杂的。满足多产品混合生产，提升机械结构的兼容性，提高了流水线产品的综合性和使用价值。提高产品生产的良品率，提升装配的效率，减少生产人员的投入，尤其是负载大的机型，提升了生产过程的安全性。

Description

一种基于视觉的机器人引导装配机器人方法
技术领域
本发明涉及中大负载机器人装配技术领域。
背景技术
目前，越来越多的自动化生产线推行智能化装配，用工业机器人和视觉、力觉等传感器配合代替人工装配，质检，完成流水线产品的生产操作。为了满足复杂的行业应用，工业机器人的体型、关节件等也种类繁多，但根据实际的应用需求，关键部件已经采用模块化设计，以降低改制的次数，生产更多的机型，以满足市场需求。但是6轴中大负载机器人本体关节件作为大型铸件，本身的重量很大，通过行吊等方式与人工配合，操作难度比较大且对厂房占地设备空间有很大的要求，生产效率比较低，生产机器人的速度满足不了市场对机器人需求速度。并且因为操作经验的不同，机器人的出场质量也有一定的差异。
为了解决上述问题，有两种解决办法，一种是人工配合行吊等设备半自动装配。一种是利用机器人配合智能设备完成机器人装配。人工配合行吊等设备半自动装配这种方式是国内外常用的传统自动化设备生产方式，无法满足市场的机器人量需求且对生产设备、场地、人工要求都非常高。利用机器人配合智能设备完成机器人装配目前还在单工位的装配阶段，没有形成一种流水式的装配，效率和产品精度、稳定性依旧满足不了市场需求。
2021年6月15日公布分一份名为“一种工业机器人装配误差补偿***及方法”、公开号为“CN112959364A”的中国发明专利申请中采用局部视觉配合激光传感器等方式引导机器人装配，但是由于大惯量机器人本身的绝对精度误差比较大，且过程中产生的误差因素比较多，一次误差补偿不能达到标准，且装配点的操作空间的局限性，导致实际的装配的成功率非常低，不具备实际生产意义。
发明内容
本发明针对以上问题，提出了一种基于视觉的机器人引导装配机器人方法，采用自动化流水线模式视觉与机器人配合方式组装生产机器人，从能够满足中大负载机器人高精度智能装配，降低对场地、人工的要求，同时通用性、灵活性、可靠性更强。
本发明的技术方案为：按以下步骤进行：
步骤1、机器人位置示教；
步骤1.1、标准装配位置示教；
步骤1.1.1、机器人一示教出待装配减速机和待装配机械臂的贴合标准位置，机器人一示教出待装配机械臂来料的标准位置,机器人二示教出打螺丝的标准位置；
步骤1.1.2、利用多点法计算相机一与机器人一之间的关系；
步骤1.1.3、利用多点法计算相机二和机器人一之间的用户坐标系；
步骤1.1.4、利用多点法计算相机二和机器人二之间的用户坐标系；
步骤1.1.5、利用多点法计算相机二坐标系和世界坐标系的比例换算关系；
步骤2、相机标准位置的处理；
机器人一的夹爪抓取待装配的机械臂，运动到拍照位置，相机一采集机械臂的图像，相机二采集减速机的图像，对图像进行二值化、腐蚀、膨胀、填充处理；计算标准位置；
步骤3、视觉引导机器人自动装配；
机器人一抓取机械臂拍照，计算待装配的机械臂的偏差，计算待装配的底座与标准位置的偏差；
对比综合偏差是否在阈值范围内，如果超出阈值，执行运动补偿，机器人偏差补偿；
相机一再次拍照，计算偏差误差，如果误差小于阈值，执行后续逻辑，否则重新进行步骤3；
步骤4、机器人的贴合与打螺丝：
步骤4.1、机器人一执行贴合操作；
步骤4.2、计算螺丝孔的位置，并推算位置偏差，机器人二执行打螺丝的程序。
进一步的，步骤1.1.2具体为：
步骤1.1.2.1、计算相机一坐标系和世界坐标系的比例换算DX1,DY1：
机器人一抓取待装配机械臂，以位置P11为基准，以X+，Y+为基准步长为Dstep执行N个点；视觉***记录对应的相机一坐标值
Figure BDA0003378549740000021
和机器人一对应的坐标值
Figure BDA0003378549740000022
计算任意两点之间的偏差，求比例系数；
Figure BDA0003378549740000023
对点进行遍历，求取比例系数的平均值；
Figure BDA0003378549740000031
Figure BDA0003378549740000032
其中：(DPxij,DPyij)表示机器人一基准点与点(i,j)对应机器人距离偏差。(DCxij,DCyij)表示相机一基准位置坐标与与点(i,j)对应的像素偏差。(DX1ij,DY1ij)表示相机一与机器一之间基准点与点(i,j)的像素与距离之间的比例系数。DX1，DY1表示相机一与机器人一之间像素与机器人距离之间的比例系数；
步骤1.1.2.2、计算相机一坐标系和机器人一坐标系之间的关系CR1：
以N点中的其中一个点作为相机一和视觉之间的对应关系点；选择X+方向的两个视觉识别点差
Figure BDA0003378549740000033
计算相机一坐标系和机器人一坐标系之间的旋转关系；
Figure BDA0003378549740000034
利用多次迭代计算，计算平均值：
Figure BDA0003378549740000035
根据角度和对应点关系得出：
Figure BDA0003378549740000036
其中：θ表示相机一与机器人一坐标系之间的角度。cosθ表示相机一与机器人一坐标系之间的余弦。sinθ表示相机一与机器人一坐标系之间的正弦。
Figure BDA0003378549740000037
表示基准点对应的相机一坐标值；
步骤1.1.2.3、机器人一回到拍照点，以抓取物料的姿态为标准，顺时针或逆时针抓着工件旋转一定的角度，转动T次，计算机器人一的工具坐标系Tool：
φt＝ant((Crijt1+Crijt2-Pxijt1-Pxij2)/(Crijt1-Crijt2))/(sinδt/cosδt) (1-7)
Figure BDA0003378549740000041
Radiust＝((Cxt1*Cxij1+Cxt1*Cxijt2-2*PXijt)+(CYt1*CYijt1+Cxt1*CYijt2-2*PYijt))1/2/2(1-9)
Figure BDA0003378549740000042
其中：φ表示工具与法兰之间的角度，Radius表示工具的半径长度值。(Cxijt1，CYijt1)(Cxijt2，CYijt2)表示第t次转动前后的相机位置，δt表示第t机器人转动的角度，(PXijt1,PXijt1),(PXijt2,PXijt2)表示第t次转动前后的机器人坐标。
进一步的，步骤2按以下步骤计算标准位置：
通过卡尺法在相机一采集的图像中拟合出机械臂边缘所在的圆以及其中一个螺丝孔所在的圆，计算出机械臂边缘所在的圆的中心位置(X1，Y1，A1)；
通过卡尺法在相机二采集的图像中拟合出减速机边缘所在的圆以及其中一个螺丝孔所在的圆，计算出该螺丝孔所在的圆的中心位置(X2，Y2，A2)，并利用CAD推演计算出所有螺丝孔的位置
Figure BDA0003378549740000043
Figure BDA0003378549740000044
Figure BDA0003378549740000045
Xsi＝ri*DX2*Cc22
Ysi＝ci*DY2*Cc22 (2-1)
其中r1,c1表示相机一识别特征的行列坐标。r2,c2表示相机二识别特征的行列坐标Xi,Yi表示第i个螺丝的位置，ri，ci表示相机二识别的第i个螺丝的特征，螺丝孔的特征位置通过CAD图纸推演计算得到。
进一步的，步骤3具体为：
机器人一的夹爪抓取待装配的机械臂，运动到拍照位置P11；
计算机械臂新的拍照位置(X‘1，Y‘1，A‘1)和底座新的拍照位置(X‘2，Y‘2，A‘2)，计算待装配的机械臂的偏差DX1，DY1，DA1；
计算待装配的底座与标准物料的偏差DX2，DY2，DA2；
对比综合偏差是否在阈值范围内，如果超出阈值|DX|>TthreY，|DY|>TthreY，|DA|>TthreA，执行运动补偿，机器人偏差补偿，运动到P′11。
DX＝X‘1－X1+X‘2－X2
DY＝Y‘1－Y1+Y‘2－Y2
DA＝A‘1－A1+A‘2－A2
P′11.X＝P11.X+DX
P′11.Y＝P11.Y+DY
P′11.A＝P11.A+DA
P11＝P′11 (3-1)
机器人运动到P′11后，相机一再次拍照，计算偏差误差DX,DX，DA，如果误差小于阈值，即DX<DXThre,DY<DYThre,DA<DAThre，执行后续逻辑，否则重新进行步骤3。
进一步的，步骤4.2具体为：
步骤4.2.1、利用卡尺圆识别和CAD地推法计算螺丝孔的位置并推算出的偏差
Figure BDA0003378549740000051
DXsi＝X'si-Xsi
DYsi＝Y'si-Ysi (4-2)
其中，i表示第i个螺丝孔，1≤i≤n；
步骤4.2.2、机器人二根据偏差值执行打螺丝的运动轨迹；
P2'si.X＝P2si.X+DXsi
P2'si.Y＝P2si.Y+DYsi (4-3)
其中：P2si.X,P2si.Y表示螺丝在机器人坐标系示教中的标准位置，P2′si.X,P2′si.Y表示新的螺丝位置，DXsi,DYsi表示螺丝的位置偏差值。
本发明的有益效果为：
一、不需要精准的机械定位结构，由视觉引导机器人装配机器人关节，降低机械结构设计复杂的。
二、满足多产品混合生产，提升机械结构的兼容性，提高了流水线产品的综合性和使用价值。
三、装配标准的一致性，提高产品生产的良品率，提升装配的效率，减少生产人员的投入，尤其是负载大的机型，提升了生产过程的安全性。
总的来说，本发明可适用于6轴机器人的自动化装配，对场地、人工的要求低，同时通用性、灵活性、可靠性更强。并且，本发明采用全局二维视觉的方案，一套视觉处理器配两套全局相机，引导2台机器人抓取装配机器人，完成机器人关节件的装配。
附图说明
图1是本案的工作方法流程图；
图2是本案的流水线装配图；
图3是本案的待装配机械臂的特征识别图；
图4是本案的螺丝孔识别图。
具体实施方式
为能清楚说明本专利的技术特点，下面通过具体实施方式，并结合其附图，对本专利进行详细阐述。
本发明如图1-4所示，按以下步骤进行：
步骤1、机器人位置示教。
步骤1.1、标准装配位置示教。
步骤1.1.1、机器人一示教出待装配减速机和待装配机械臂的贴合标准位置P10(包括X、Y、Z的三个坐标位置以及沿X轴、Y轴、Z轴的偏转角度A、B、C)、机器人一示教出待装配机械臂来料的标准位置P11，P110 P10(包括X、Y、Z的三个坐标位置以及沿X轴、Y轴、Z轴的偏转角度A、B、C)，即拍照位置，其中P11＝P110，机器人二示教出打螺丝的标准位置
Figure BDA0003378549740000071
机器人一示教三个标准位置：
P10[-510.395,-745.448,-2055.73,179.289,-45.36,87.4559]；
P11[-510.395,-749.448,-2055,73176.28,-45.36,87.455]，P110；
机器人二示教打螺丝的18个位置
Figure BDA0003378549740000072
其中n＝18。
步骤1.1.2、利用多点法计算相机一与机器人一之间的关系：
建立工具坐标系Tool，用户坐标系CR1，相机坐标系和世界坐标系的比例换算DX1,DY1。
步骤1.1.2.1、计算相机一坐标系和世界坐标系的比例换算DX1,DY1：
机器人一抓取待装配机械臂，以位置P11为基准，以X+，Y+为基准步长为Dstep执行N个点；视觉***记录对应的相机一坐标值
Figure BDA0003378549740000073
和机器人一对应的坐标值
Figure BDA0003378549740000074
计算任意两点之间的偏差，求比例系数；
Figure BDA0003378549740000075
对点进行遍历，求取比例系数的平均值；
Figure BDA0003378549740000076
Figure BDA0003378549740000077
其中：(DPxij,DPyij)表示机器人一基准点与点(i,j)对应机器人距离偏差。(DCxij,DCyij)表示相机一基准位置坐标与与点(i,j)对应的像素偏差。(DX1ij,DY1ij)表示相机一与机器一之间基准点与点(i,j)的像素与距离之间的比例系数。DX1，DY1表示相机一与机器人一之间像素与机器人距离之间的比例系数；
得出相机一标定关系换算DX1＝0.055,DY1＝0.055，即相机中像素和世界坐标中毫米的换算关系。
步骤1.1.2.2、计算相机一坐标系和机器人一坐标系之间的关系CR1：
以N点中的其中一个点作为相机一和视觉之间的对应关系点；选择X+方向的两个视觉识别点差
Figure BDA0003378549740000081
计算相机一坐标系和机器人一坐标系之间的旋转关系；
Figure BDA0003378549740000082
利用多次迭代计算，计算平均值：
Figure BDA0003378549740000083
根据角度和对应点关系得出：
Figure BDA0003378549740000084
其中：θ表示相机一与机器人一坐标系之间的角度。cosθ表示相机一与机器人一坐标系之间的余弦。sinθ表示相机一与机器人一坐标系之间的正弦。
Figure BDA0003378549740000085
表示基准点对应的相机一坐标值。
步骤1.1.2.3、机器人一回到拍照点，以抓取物料的姿态为标准，顺时针或逆时针抓着工件旋转一定的角度，转动T次，计算机器人一的工具坐标系Tool：
φt＝ant((Crijt1+Crijt2-Pxijt1-Pxij2)/(Crijt1-Crijt2))/(sinδt/cosδt) (1-7)
Figure BDA0003378549740000086
Radiust＝((Cxt1*Cxij1+Cxt1*Cxijt2-2*PXijt)+(CYt1*CYijt1+Cxt1*CYijt2-2*PYijt))1/2/2(1-9)
Figure BDA0003378549740000091
其中：φ表示工具与法兰之间的角度，Radius表示工具的半径长度值。(Cxijt1，CYijt1)(Cxijt2，CYijt2)表示第t次转动前后的相机位置，δt表示第t机器人转动的角度。(PXijt1,PXijt1),(PXijt2,PXijt2)表示第t次转动前后的机器人坐标。
步骤1.1.3、利用多点法中的公式1-4、1-5、1-6计算相机二和机器人一之间的用户坐标系：用户坐标系CR21。
步骤1.1.4、利用多点法中的公式1-4、1-5、1-6计算相机二和机器人二之间的用户坐标系：用户坐标系CR22。
步骤1.1.5、利用多点法中的公式1-2、1-3计算相机二坐标系和世界坐标系的比例换算DX2,DY2，得到相机二标定关系换算DX2＝0.07,DY2＝0.0697。
步骤2、相机标准位置的处理。
机器人一的夹爪抓取待装配的机械臂，运动到拍照位置P11，相机一采集机械臂的图像，相机二采集减速机的图像，对图像进行二值化、腐蚀、膨胀、填充处理；计算标准位置；
通过卡尺法在相机一采集的图像中拟合出机械臂边缘所在的圆以及其中一个螺丝孔所在的圆，计算出机械臂边缘所在的圆的中心位置(X1，Y1，A1)；
通过卡尺法在相机二采集的图像中拟合出减速机边缘所在的圆以及其中一个螺丝孔所在的圆，计算出该螺丝孔所在的圆的中心位置(X2，Y2，A2)，并利用CAD推演计算出所有螺丝孔的位置
Figure BDA0003378549740000092
Figure BDA0003378549740000093
Figure BDA0003378549740000094
Xsi＝ri*DX2*Cc22
Ysi＝ci*DY2*Cc22 (2-1)
其中r1,c1表示相机一识别特征的行列坐标。r2,c2表示相机二识别特征的行列坐标Xi,Yi表示第i个螺丝的位置，ri，ci表示相机二识别的第i个螺丝的特征，螺丝孔的特征位置通过CAD图纸推演计算得到，可以提高计算速度，提升节拍。
步骤3、视觉引导机器人自动装配。
机器人一抓取机械臂拍照，计算偏差，具体来说：
机器人一的夹爪抓取待装配的机械臂，运动到拍照位置P11；
计算机械臂新的拍照位置(X‘1，Y‘1，A‘1)和底座新的拍照位置(X‘2，Y‘2，A‘2)，计算待装配的机械臂的偏差DX1，DY1，DA1，得到DX1＝0.845,DY1＝0.654,DA1＝0.901,；
计算待装配的底座与标准位置的偏差DX2，DY2，DA2，得到DX2＝1.845,DY2＝1.254,DA2＝1.901；
对比综合偏差是否在阈值范围内，如果超出阈值|DX|>DXTher，|DY|>DYTher，|DA|>DATher，执行运动补偿，机器人偏差补偿，运动到P′11。
DX＝X‘1－X1+X‘2－X2
DY＝Y‘1－Y1+Y‘2－Y2
DA＝A‘1－A1+A‘2－A2
P′11.X＝P11.X+DX
P′11.Y＝P11.Y+DY
P′11.A＝P11.A+DA
P11＝P′11 (3-1)
机器人一运动到P′11后，相机一再次拍照，计算偏差误差DX,DX，DA，如果误差小于阈值，即DX<DXThre,DY<DYThre,DA<DAThre，其中：DXThre＝0.05,DYThre＝0.05,DAThre＝0.05，单位都是毫米，执行后续逻辑，否则重新进行步骤3。
步骤4、机器人的贴合与打螺丝。
步骤4.1、机器人一执行贴合操作：机器人一执行偏差补偿之后，运动到目标装配位置，即由P′11移动到P'10。
Figure BDA0003378549740000114
步骤4.2、计算螺丝孔的位置，并推算位置偏差，机器人二执行打螺丝的程序：
步骤4.2.1、利用卡尺圆识别和CAD地推法计算螺丝孔的位置并推算出的偏差
Figure BDA0003378549740000111
DXsi＝X′si-Xsi
DYsi＝Y′si-Ysi (4-2)
其中，i表示第i个螺丝孔。1≤i≤n。
步骤4.2.2、机器人二根据偏差值执行打螺丝的运动轨迹。
P2′si.X＝P2si.X+DXsi
P2′si.Y＝P2si.Y+DYsi (4-3)
其中：P2si.X,P2si.Y表示螺丝在机器人坐标系示教中的标准位置，P2′si.X,P2′si.Y表示新的螺丝位置，DXsi,DYsi表示螺丝的位置偏差值。
待装配减速机的螺丝个数n＝18，螺丝标准位置
Figure BDA0003378549740000112
如下表1所示，计算每个螺丝的偏差位置并将值给发给机器人二，机器人二偏差补偿后执行打螺丝的程序。
表1，螺丝的标准位置
Figure BDA0003378549740000113
Figure BDA0003378549740000121
此后，在不同产品的切换时，可根据产品变更的具体参数，二次示教关键点和标准位置，切换的时间周期短，不影响生产。
本发明所提供的基于视觉的机器人装配方法关键在于：
一、通过全局视觉，利用多点法计算视觉与机器人之间的工具坐标系、参考坐标系之间的关系，计算相机坐标系和世界坐标系之间的换算关系。
二、利用在线式和离线式结合的方式，采集相机图像计算目标点的位置并与CAD图纸配合，推演计算更多的目标特征位置，计算来料位置与标准位置的偏差。
三、采用迭代式测量偏差是否在设置的误差阈值内，引导机器人基于视觉测量的偏差结果进行偏差补偿，引导机器人全自动装配。
最后，需要说明的是，图2中机器人一、机器人二、相机一、相机二为一组设备，机器人三、机器人四、相机三、相机四为另一组设备，两组设备均可按本案记载的方法运行。
本发明具体实施途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进，这些改进也应视为本发明的保护范围。

Claims (5)

1.一种基于视觉的机器人引导装配机器人方法，其特征在于，按以下步骤进行：
步骤1、机器人位置示教；
步骤1.1、标准装配位置示教；
步骤1.1.1、机器人一示教出待装配减速机和待装配机械臂的贴合标准位置，机器人一示教出待装配机械臂来料的标准位置,机器人二示教出打螺丝的标准位置；
步骤1.1.2、利用多点法计算相机一与机器人一之间的关系；
步骤1.1.3、利用多点法计算相机二和机器人一之间的用户坐标系；
步骤1.1.4、利用多点法计算相机二和机器人二之间的用户坐标系；
步骤1.1.5、利用多点法计算相机二坐标系和世界坐标系的比例换算关系；
步骤2、相机标准位置的处理；
机器人一的夹爪抓取待装配的机械臂，运动到拍照位置，相机一采集机械臂的图像，相机二采集减速机的图像，对图像进行二值化、腐蚀、膨胀、填充处理，计算标准位置；
步骤3、视觉引导机器人自动装配；
机器人一抓取机械臂拍照，计算待装配的机械臂的偏差，计算待装配的底座与标准位置的偏差；
对比综合偏差是否在阈值范围内，如果超出阈值，执行运动补偿，机器人偏差补偿；
相机一再次拍照，计算偏差误差，如果误差小于阈值，执行后续逻辑，否则重新进行步骤3；
步骤4、机器人的贴合与打螺丝：
步骤4.1、机器人一执行贴合操作；
步骤4.2、计算螺丝孔的位置，并推算位置偏差，机器人二执行打螺丝的程序。
2.根据权利要求1所述的一种基于视觉的机器人引导装配机器人方法，其特征在于，步骤1.1.2具体为：
步骤1.1.2.1、计算相机一坐标系和世界坐标系的比例换算DX1,DY1：
机器人一抓取待装配机械臂，以位置P11为基准，以X+，Y+为基准步长为Dstep执行N个点；视觉***记录对应的相机一坐标值
Figure FDA0003378549730000011
和机器人一对应的坐标值
Figure FDA0003378549730000012
计算任意两点之间的偏差，求比例系数；
Figure FDA0003378549730000021
其中(0＜i＜N，0＜j＜N) (1-1)
对点进行遍历，求取比例系数的平均值；
Figure FDA0003378549730000022
Figure FDA0003378549730000023
其中：(DPxij,DPyij)表示机器人一基准点与点(i,j)对应机器人距离偏差。(DCxij,DCyij)表示相机一基准位置坐标与与点(i,j)对应的像素偏差。(DX1ij,DY1ij)表示相机一与机器一之间基准点与点(i,j)的像素与距离之间的比例系数。DX1，DY1表示相机一与机器人一之间像素与机器人距离之间的比例系数；
步骤1.1.2.2、计算相机一坐标系和机器人一坐标系之间的关系CR1：
以N点中的其中一个点作为相机一和视觉之间的对应关系点；选择X+方向的两个视觉识别点差
Figure FDA0003378549730000024
计算相机一坐标系和机器人一坐标系之间的旋转关系；
Figure FDA0003378549730000025
利用多次迭代计算，计算平均值：
Figure FDA0003378549730000026
根据角度和对应点关系得出：
Figure FDA0003378549730000027
其中：θ表示相机一与机器人一坐标系之间的角度。cosθ表示相机一与机器人一坐标系之间的余弦。sinθ表示相机一与机器人一坐标系之间的正弦。
Figure FDA0003378549730000031
表示基准点对应的相机一坐标值；
步骤1.1.2.3、机器人一回到拍照点，以抓取物料的姿态为标准，顺时针或逆时针抓着工件旋转一定的角度，转动T次，计算机器人一的工具坐标系Tool：
φt＝ant((Crijt1+Crijt2-Pxijt1-Pxij2)/(Crijt1-Crijt2))/(sinδt/cosδt) (1-7)
Figure FDA0003378549730000032
Figure FDA0003378549730000033
Figure FDA0003378549730000034
其中：φ表示工具与法兰之间的角度，Radius表示工具的半径长度值。(Cxijt1，CYijt1)(Cxijt2，CYijt2)表示第t次转动前后的相机位置，δt表示第t机器人转动的角度，(PXijt1,PXijt1),(PXijt2,PXijt2)表示第t次转动前后的机器人坐标。
3.根据权利要求1所述的一种基于视觉的机器人引导装配机器人方法，其特征在于，步骤2按以下步骤计算标准位置：
通过卡尺法在相机一采集的图像中拟合出机械臂边缘所在的圆以及其中一个螺丝孔所在的圆，计算出机械臂边缘所在的圆的中心位置(X1，Y1，A1)；
通过卡尺法在相机二采集的图像中拟合出减速机边缘所在的圆以及其中一个螺丝孔所在的圆，计算出该螺丝孔所在的圆的中心位置(X2，Y2，A2)，并利用CAD推演计算出所有螺丝孔的位置
Figure FDA0003378549730000035
Figure FDA0003378549730000041
Figure FDA0003378549730000042
Xsi＝ri*DX2*Cc22
Ysi＝ci*DY2*Cc22 (2-1)
其中r1,c1表示相机一识别特征的行列坐标。r2,c2表示相机二识别特征的行列坐标Xi,Yi表示第i个螺丝的位置，ri，ci表示相机二识别的第i个螺丝的特征，螺丝孔的特征位置通过CAD图纸推演计算得到。
4.根据权利要求1所述的一种基于视觉的机器人引导装配机器人方法，其特征在于，步骤3具体为：
机器人一的夹爪抓取待装配的机械臂，运动到拍照位置P11；
计算机械臂新的拍照位置(X‘1，Y‘1，A‘1)和底座新的拍照位置(X‘2，Y‘2，A‘2)，计算待装配的机械臂的偏差DX1，DY1，DA1；
计算待装配的底座与标准物料的偏差DX2，DY2，DA2；
对比综合偏差是否在阈值范围内，如果超出阈值|DX|>TthreY，|DY|>TthreY，|DA|>TthreA，执行运动补偿，机器人偏差补偿，运动到P′11。
DX＝X‘1－X1+X‘2－X2
DY＝Y‘1－Y1+Y‘2－Y2
DA＝A‘1－A1+A‘2－A2
P′11.X＝P11.X+DX
P′11.Y＝P11.Y+DY
P′11.A＝P11.A+DA
P11＝P′11 (3-1)
机器人运动到P′11后，相机一再次拍照，计算偏差误差DX,DX，DA，如果误差小于阈值，即DX<DXThre,DY<DYThre,DA<DAThre，执行后续逻辑，否则重新进行步骤3。
5.根据权利要求1所述的一种基于视觉的机器人引导装配机器人方法，其特征在于，步骤4.2具体为：
步骤4.2.1、利用卡尺圆识别和CAD地推法计算螺丝孔的位置并推算出的偏差
Figure FDA0003378549730000051
DXsi＝X'si-Xsi
DYsi＝Y'si-Ysi (4-2)
其中，i表示第i个螺丝孔，1≤i≤n；
步骤4.2.2、机器人二根据偏差值执行打螺丝的运动轨迹；
P2'si.X＝P2si.X+DXsi
P2'si.Y＝P2si.Y+DYsi (4-3)
其中：P2si.X,P2si.Y表示螺丝在机器人坐标系示教中的标准位置，P2′si.X,P2′si.Y表示新的螺丝位置，DXsi,DYsi表示螺丝的位置偏差值。
CN202111425131.0A 2021-11-27 2021-11-27 一种基于视觉的机器人引导装配机器人方法 Active CN114178832B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111425131.0A CN114178832B (zh) 2021-11-27 2021-11-27 一种基于视觉的机器人引导装配机器人方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111425131.0A CN114178832B (zh) 2021-11-27 2021-11-27 一种基于视觉的机器人引导装配机器人方法

Publications (2)

Publication Number Publication Date
CN114178832A true CN114178832A (zh) 2022-03-15
CN114178832B CN114178832B (zh) 2023-03-24

Family

ID=80541597

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111425131.0A Active CN114178832B (zh) 2021-11-27 2021-11-27 一种基于视觉的机器人引导装配机器人方法

Country Status (1)

Country Link
CN (1) CN114178832B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115741079A (zh) * 2022-11-18 2023-03-07 航宇救生装备有限公司 高精度头盔跟踪定位阵列装配与监控方法

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5608847A (en) * 1981-05-11 1997-03-04 Sensor Adaptive Machines, Inc. Vision target based assembly
US20030051326A1 (en) * 1999-06-25 2003-03-20 Lawrence Lawson Robotic apparatus and method for mounting a valve stem on a wheel rim
CN103406905A (zh) * 2013-08-20 2013-11-27 西北工业大学 一种具有视觉伺服及检测功能的机器人***
CN106182004A (zh) * 2016-08-01 2016-12-07 上海交通大学 基于视觉引导的工业机器人自动销孔装配的方法
US20170252919A1 (en) * 2014-10-28 2017-09-07 Bayerische Motoren Werke Aktiengesellschaft System and Method for Placing an Object, Which Is to Be Processed, on a Production Apparatus in a Precise Position
CN107617876A (zh) * 2017-07-27 2018-01-23 西北工业大学 一种基于机器视觉监测的装配对中方法
CN107984201A (zh) * 2017-11-30 2018-05-04 中国地质大学（武汉） 一种基于视觉伺服的螺孔定位及锁卸螺丝方法
CN108972557A (zh) * 2018-08-16 2018-12-11 中国科学院自动化研究所 微零件位姿自动对准装置及其方法
CN109454642A (zh) * 2018-12-27 2019-03-12 南京埃克里得视觉技术有限公司 基于三维视觉的机器人涂胶轨迹自动生产方法
CN110076780A (zh) * 2019-05-30 2019-08-02 中国科学院自动化研究所 基于视觉和力反馈位姿调节的机器人装配方法及***
CN110490942A (zh) * 2019-08-23 2019-11-22 苏州精速智能科技有限公司 一种基于scara机械手第二臂的移动相机标定方法
CN110980276A (zh) * 2019-12-30 2020-04-10 南京埃克里得视觉技术有限公司 一种三维视觉配合机器人实施铸件自动下料的方法
CN111251336A (zh) * 2019-06-29 2020-06-09 浙江大学 一种基于视觉定位的双臂协同智能装配***
CN111360827A (zh) * 2020-03-06 2020-07-03 哈尔滨工业大学 一种视觉伺服切换控制方法及***
CN112658643A (zh) * 2020-12-30 2021-04-16 中国科学院自动化研究所 接插件装配方法
CN112729112A (zh) * 2020-12-24 2021-04-30 扬州大学 基于机器人视觉的发动机缸体孔径与孔位检测方法
CN112959364A (zh) * 2021-03-15 2021-06-15 北京电子工程总体研究所 一种工业机器人装配误差补偿***及方法

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5608847A (en) * 1981-05-11 1997-03-04 Sensor Adaptive Machines, Inc. Vision target based assembly
US20030051326A1 (en) * 1999-06-25 2003-03-20 Lawrence Lawson Robotic apparatus and method for mounting a valve stem on a wheel rim
CN103406905A (zh) * 2013-08-20 2013-11-27 西北工业大学 一种具有视觉伺服及检测功能的机器人***
US20170252919A1 (en) * 2014-10-28 2017-09-07 Bayerische Motoren Werke Aktiengesellschaft System and Method for Placing an Object, Which Is to Be Processed, on a Production Apparatus in a Precise Position
CN106182004A (zh) * 2016-08-01 2016-12-07 上海交通大学 基于视觉引导的工业机器人自动销孔装配的方法
CN107617876A (zh) * 2017-07-27 2018-01-23 西北工业大学 一种基于机器视觉监测的装配对中方法
CN107984201A (zh) * 2017-11-30 2018-05-04 中国地质大学（武汉） 一种基于视觉伺服的螺孔定位及锁卸螺丝方法
CN108972557A (zh) * 2018-08-16 2018-12-11 中国科学院自动化研究所 微零件位姿自动对准装置及其方法
CN109454642A (zh) * 2018-12-27 2019-03-12 南京埃克里得视觉技术有限公司 基于三维视觉的机器人涂胶轨迹自动生产方法
CN110076780A (zh) * 2019-05-30 2019-08-02 中国科学院自动化研究所 基于视觉和力反馈位姿调节的机器人装配方法及***
CN111251336A (zh) * 2019-06-29 2020-06-09 浙江大学 一种基于视觉定位的双臂协同智能装配***
CN110490942A (zh) * 2019-08-23 2019-11-22 苏州精速智能科技有限公司 一种基于scara机械手第二臂的移动相机标定方法
CN110980276A (zh) * 2019-12-30 2020-04-10 南京埃克里得视觉技术有限公司 一种三维视觉配合机器人实施铸件自动下料的方法
CN111360827A (zh) * 2020-03-06 2020-07-03 哈尔滨工业大学 一种视觉伺服切换控制方法及***
CN112729112A (zh) * 2020-12-24 2021-04-30 扬州大学 基于机器人视觉的发动机缸体孔径与孔位检测方法
CN112658643A (zh) * 2020-12-30 2021-04-16 中国科学院自动化研究所 接插件装配方法
CN112959364A (zh) * 2021-03-15 2021-06-15 北京电子工程总体研究所 一种工业机器人装配误差补偿***及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
毕德学 等: "《机器人工具和相机位姿标定的新方法》", 《仪器仪表学报》 *
石小仕等: "CH376纠正机器视觉提取螺孔误差的方法", 《中国科技论文》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115741079A (zh) * 2022-11-18 2023-03-07 航宇救生装备有限公司 高精度头盔跟踪定位阵列装配与监控方法

Also Published As

Publication number Publication date
CN114178832B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN113084808B (zh) 一种基于单目视觉的移动机械臂2d平面抓取方法
CN111775146B (zh) 一种工业机械臂多工位作业下的视觉对准方法
CN107214703B (zh) 一种基于视觉辅助定位的机器人自标定方法
CN111300422B (zh) 基于视觉图像的机器人工件抓取位姿误差补偿方法
CN112847334B (zh) 一种基于视觉伺服的机械臂目标跟踪方法
CN104408299B (zh) 基于距离识别冗余运动学参数的机器人位置误差补偿方法
CN110253574B (zh) 一种多任务机械臂位姿检测和误差补偿方法
CN110148187A (zh) 一种SCARA机械手Eye-in-Hand的高精度手眼标定方法和***
CN112958960B (zh) 一种基于光学靶标的机器人手眼标定装置
CN114178832B (zh) 一种基于视觉的机器人引导装配机器人方法
CN112894812A (zh) 一种面向机械臂的视觉伺服轨迹跟踪控制方法及***
CN115008477A (zh) 机械手移动补偿方法、装置、计算机可读存储介质
CN113799130B (zh) 一种人机协作装配中的机器人位姿标定方法
CN117260712A (zh) 机器人末端组件自动校准坐标的方法、***、装置及介质
CN114851206B (zh) 基于视觉引导机械臂抓取炉具的方法
Tongloy et al. An image-based visual servo control system based on an eye-in-hand monocular camera for autonomous robotic grasping
CN113240751B (zh) 一种机器人末端相机的标定方法
Shirase et al. Articulated robot application in end milling of sculptured surface
CN109146957B (zh) 一种基于三角形特征的机器人视觉控制方法
Tamadazte et al. Microassembly of complex and solid 3d mems by 3d vision-based control
Xie et al. A high-precision assembly system of 3C parts based on 6D pose estimation and visual servoing
Xu et al. Intelligent Operation of Robot for Handling and Assembly Based on Vision Guidance
JPS5958503A (ja) ロボツトのツ−ルオフセツト教示方法
CN114619233B (zh) 锁付定位方法、螺丝锁付方法、锁付定位装置及螺丝机
CN116100562B (zh) 多机器人协同上下料的视觉引导方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231227

Address after: No. 178 Yanhu Road, Jiangning Economic and Technological Development Zone, Nanjing City, Jiangsu Province, 211151

Patentee after: NANJING ESTUN ROBOTICS Co.,Ltd.

Patentee after: NANJING ESTUN AUTOMATION Co.

Address before: 210000 Yanhu Road, Jiangning Economic and Technological Development Zone, Nanjing, Jiangsu Province, No. 178

Patentee before: NANJING ESTUN ROBOTICS Co.,Ltd.