CN111331604A - 一种基于机器视觉的阀门旋拧柔顺作业方法 - Google Patents

一种基于机器视觉的阀门旋拧柔顺作业方法 Download PDF

Info

Publication number
CN111331604A
CN111331604A CN202010209058.2A CN202010209058A CN111331604A CN 111331604 A CN111331604 A CN 111331604A CN 202010209058 A CN202010209058 A CN 202010209058A CN 111331604 A CN111331604 A CN 111331604A
Authority
CN
China
Prior art keywords
mechanical arm
valve
screwing
contact force
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010209058.2A
Other languages
English (en)
Inventor
宋荆洲
宋佳润
李振东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202010209058.2A priority Critical patent/CN111331604A/zh
Publication of CN111331604A publication Critical patent/CN111331604A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于机器视觉的阀门旋拧柔顺作业方法。首先构造阀门手轮模板图像，并在模板中标注阀门旋拧工作点；通过相机采集图像信息，在机械臂视野图像和模板图像中寻找SIFT特征点，进行特征点匹配；用匹配好的特征点对估计两幅图像坐标系之间的转换矩阵，进而得到在机械臂视野图像中阀门的旋拧作业点。同时标定相机位姿参数，将旋拧工作点的图上坐标转化到机械臂操作空间，得到机械臂初始目标位姿。在阀门旋拧过程中，阀门手轮会产生轴向位移，带来较大的轴向接触力，为了解决这一问题，本发明采用基于阻抗控制的阀门手轮位置跟踪算法，并将机械臂末端接触力与期望接触力误差作为反馈量对机械臂目标位姿进行在线补偿，提高力跟踪效果。

Description

一种基于机器视觉的阀门旋拧柔顺作业方法
技术领域
本发明涉及机器人运动控制技术领域，特别是涉及机器视觉的目标识别与机械臂柔顺控制方法。
背景技术
随着机器人技术的发展，机器人智能作业技术得以应用于各行各业。目标对象识别为机器人智能作业的重要前提。目标对象识别是为了准确定位机械臂工作点，在阀门旋拧任务中，机械臂工作点就是末端旋拧手抓与阀门手轮接触的位置。在实际应用过程中，为了定位工作点必须在机械臂视野内识别出阀门位置，环境背景信息的影响，机械臂周围存在很多障碍物，影响阀门手轮的识别。如何进行阀门识别，同时能将图像坐标系与机械臂坐标系建立联系，将图上旋拧工作点转化为基坐标系下坐标，是机械臂自主旋拧作业的关键一步。
在阀门旋拧过程中，阀门存在轴向位移，如果机械臂末端不能跟随阀门位置，势必会给机械臂带来很大的轴向接触力，进而影响旋拧任务的成败。因此，在阀门旋拧过程中，要求机械臂具有一定的柔顺性，当阀门轴向位置发生改变时，机械臂末端可以与阀门手轮在保持紧密接触的情况下，对阀门运动做出一定退让，跟随阀门手轮运动。
发明内容
本发明针对目前技术发展的需求和不足之处，提供一种基于机器视觉的阀门旋拧柔顺作业方法。
首先，本发明保护一种基于机器视觉的阀门旋拧柔顺作业方法，解决上述技术问题采用的技术方案如下：
1)对机械臂视野内图像和阀门模板图像分别提取SIFT特征点，并根据余弦距离匹配图像间的特征点对；
2)根据匹配好的特征点对计算目标图像和模板图像间的坐标转换关系，将模板图像中的旋拧工作点转换到目标图像中；
Figure BDA0002422189050000021
其中，sx,sy表示缩放因子，θ表示坐标系之间的旋转角度，px,py表示坐标系间的平移变换，xd,yd表示目标图像特征点坐标，xm,ym表示模板图像中特征点坐标。
3)对相机进行标定，计算相机坐标系与机械臂基坐标系之间的转换矩阵，将图上坐标转化为基坐标系下坐标，定位基坐标系下旋拧工作点坐标，进而计算机械臂的初始目标位置；
4)在阀门旋拧过程中，设定期望接触力，对阀门手轮位置跟踪；当末端接触力与期望接触力不相等时，根据阻抗控制器建立力误差与机械臂动力学之间的联系，不断调整机械臂位姿，保证减小末端接触力与期望接触力之间的误差。
本发明的有益效果：与现有技术相比，本发明通过对机器视觉技术展开研究，在图像信息中获取阀门手轮旋拧工作点的位置，为机械臂运动控制提供目标位姿，进而实现阀门旋拧的自主作业。为了克服旋拧过程中的轴向力问题，本发明利用阻抗控制器实现机械臂末端对阀门手轮的位置跟踪，旋拧过程中，机械臂具有轴向的主动柔顺性，释放末端轴向接触力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为主要算法流程图；
图2为SIFT特征提取算法流程图。
具体实施方式：
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例中提供了一种基于机器视觉的阀门旋拧作业方法，包括：
视觉模块
步骤1：制作模板图像，并提取模板图像中所有关键点，并对关键点采用128维向量进行描述；
步骤2：提取待检测图像中所有关键点及其描述符，如图2所示，计算模板与待检测图像中所有关键点描述符之间的余弦距离；
步骤3：基于阀门图像对称性约束，基于距离最近和匹配方向一致性两个原则，5两幅图像的关键点间建立匹配关系，根据匹配结果，在目标图像中定位阀门位置。
步骤4：在模板图像中可以直接对旋拧工作点进行标注，在目标图像和模板图像进行缩放、旋转、平移变换变换，得到模板图像坐标系与目标图像坐标系的转换关系，进而定位目标图像中旋拧工作点的位置。将匹配点对坐标进行齐次化，根据匹配点对计算模板图像坐标系和待检测图像坐标系之间的坐标转换矩阵T，建立两坐标系转换关系：
Figure BDA0002422189050000031
其中，sx,sy表示缩放因子，θ表示坐标系之间的旋转角度，px,py表示坐标系间的平移变换，xd,yd表示目标图像特征点坐标，xm,ym表示模板图像中特征点坐标。将匹配到的特征点对代入上式，即可对坐标转换矩阵进行最小二乘估计。
步骤5：相机标定，采集若干张标定板图像，计算相机外参矩阵和对应机械臂末端位姿矩阵，即可求得坐标系与相机坐标系的之间的转换矩阵，进而结合旋拧工作点的图像坐标，可得基坐标系下，机械臂进行旋拧作业的目标位姿。
机械臂运动控制模块
步骤1：对机械臂进行运动控制，到达由视觉模块得到的旋拧作业目标位姿，根据机械臂末端接触力判断是否与阀门发生接触；
步骤2：通过力传感器读取末端接触力，并进行均值滤波，减小噪声的影响。将末端接触力与期望接触力输入阻抗控制器，对机械臂进行运动控制；
Figure BDA0002422189050000032
Figure BDA0002422189050000033
Figure BDA0002422189050000034
X(t)为机械臂末端实际轨迹，Xr(t)为期望轨迹，M,B,K为半正定对角阵，分别表示阻抗模型的惯性矩阵、阻尼矩阵和刚度矩阵，Fe(t)表示机械臂末端跟踪力与末端接触力之差，Fd(t)表示末端期望跟踪力，Xe(t)表示环境位置变化轨迹，Ke表示作业环境刚度矩阵。
步骤3：根据阻抗控制器所得机械臂末端速度和位置调整量，累加到机械臂初始目标位姿中，实现力误差对机械臂的运动控制，保证机械臂在旋拧过程中可以跟随阀门位置。

Claims (3)

1.一种一种基于机器视觉的阀门旋拧柔顺作业方法，其特征在于，包括如下步骤：
1)对机械臂视野内图像和阀门模板图像分别提取SIFT特征点，并根据余弦距离匹配图像间的特征点对；
2)根据匹配好的特征点对计算目标图像和模板图像间的坐标转换关系，将模板图像中的旋拧工作点转换到目标图像中；
3)对相机进行标定，计算相机坐标系与机械臂基坐标系之间的转换矩阵，将图上坐标转化为基坐标系下坐标，定位基坐标系下旋拧工作点坐标，进而计算机械臂的初始目标位姿；
4)在阀门旋拧过程中，设定期望接触力，对阀门手轮位置跟踪；当末端接触力与期望接触力不相等时，根据阻抗控制器建立力误差与机械臂动力学之间的联系，不断调整机械臂位姿，保证减小末端接触力与期望接触力之间的误差。
2.如权利要求1所述，一种基于机器视觉的阀门旋拧柔顺作业方法，其特征在于：通过对模板图像和目标图像进行特征点提取、匹配，并根据匹配的特征点对计算目标图像坐标系和模板图像坐标系之间的转换关系。
3.如权利要求1所述，一种基于机器视觉的阀门旋拧柔顺作业方法，其特征在于：为了克服旋拧过程中的轴向力问题，本发明利用阻抗控制器实现机械臂末端对阀门手轮的位置跟踪，旋拧过程中，机械臂具有轴向的主动柔顺性，释放末端轴向接触力。根据阻抗控制器所得机械臂末端速度和位置调整量，累加到机械臂目标位姿中，实现力误差对机械臂的运动控制，保证机械臂在旋拧过程中可以跟随阀门位置。
CN202010209058.2A 2020-03-23 2020-03-23 一种基于机器视觉的阀门旋拧柔顺作业方法 Pending CN111331604A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010209058.2A CN111331604A (zh) 2020-03-23 2020-03-23 一种基于机器视觉的阀门旋拧柔顺作业方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010209058.2A CN111331604A (zh) 2020-03-23 2020-03-23 一种基于机器视觉的阀门旋拧柔顺作业方法

Publications (1)

Publication Number Publication Date
CN111331604A true CN111331604A (zh) 2020-06-26

Family

ID=71176574

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010209058.2A Pending CN111331604A (zh) 2020-03-23 2020-03-23 一种基于机器视觉的阀门旋拧柔顺作业方法

Country Status (1)

Country Link
CN (1) CN111331604A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113400304A (zh) * 2021-06-02 2021-09-17 清华大学 一种机器人气管插管的作用力-位移-视觉混合控制方法
CN114347035A (zh) * 2022-01-28 2022-04-15 山东大学 基于示教学习与柔顺控制的机器人阀门旋拧方法及***
CN114441807A (zh) * 2021-07-22 2022-05-06 荣耀终端有限公司 一种接线方法及***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105729468A (zh) * 2016-01-27 2016-07-06 浙江大学 一种基于多深度摄像机增强的机器人工作台
US20170132807A1 (en) * 2015-08-06 2017-05-11 Cognex Corporation System and method for tying together machine vision coordinate spaces in a guided assembly environment
CN108000477A (zh) * 2017-12-05 2018-05-08 哈尔滨工业大学 一种全位姿主被动柔顺机器人及利用该机器人的旋拧阀门方法
CN108161940A (zh) * 2018-02-26 2018-06-15 哈尔滨工业大学 利用空间机械手操作***实现人机协同拧松螺钉操作方法
US20180361589A1 (en) * 2017-06-16 2018-12-20 Robotiq Inc. Robotic arm camera system and method
CN109940605A (zh) * 2019-01-29 2019-06-28 中国工程物理研究院激光聚变研究中心 融合三维视觉与接触力分析的柔顺装配***及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170132807A1 (en) * 2015-08-06 2017-05-11 Cognex Corporation System and method for tying together machine vision coordinate spaces in a guided assembly environment
CN105729468A (zh) * 2016-01-27 2016-07-06 浙江大学 一种基于多深度摄像机增强的机器人工作台
US20180361589A1 (en) * 2017-06-16 2018-12-20 Robotiq Inc. Robotic arm camera system and method
CN108000477A (zh) * 2017-12-05 2018-05-08 哈尔滨工业大学 一种全位姿主被动柔顺机器人及利用该机器人的旋拧阀门方法
CN108161940A (zh) * 2018-02-26 2018-06-15 哈尔滨工业大学 利用空间机械手操作***实现人机协同拧松螺钉操作方法
CN109940605A (zh) * 2019-01-29 2019-06-28 中国工程物理研究院激光聚变研究中心 融合三维视觉与接触力分析的柔顺装配***及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孔韦韦等: "《图像融合技术 基于多分辨率非下采样理论与方法》", 31 July 2015, 西安电子科技大学出版社 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113400304A (zh) * 2021-06-02 2021-09-17 清华大学 一种机器人气管插管的作用力-位移-视觉混合控制方法
CN114441807A (zh) * 2021-07-22 2022-05-06 荣耀终端有限公司 一种接线方法及***
CN114347035A (zh) * 2022-01-28 2022-04-15 山东大学 基于示教学习与柔顺控制的机器人阀门旋拧方法及***

Similar Documents

Publication Publication Date Title
CN110116407B (zh) 柔性机器人位姿测量方法及装置
CN111331604A (zh) 一种基于机器视觉的阀门旋拧柔顺作业方法
Fomena et al. Distance-based and orientation-based visual servoing from three points
CN103895023A (zh) 一种基于编码方位装置的机械臂末端跟踪测量***及方法
CN110936355B (zh) 一种基于视觉测速定位的机械臂引导***和方法
CN109465829B (zh) 一种基于转换矩阵误差模型的工业机器人几何参数辨识方法
CN111360821A (zh) 一种采摘控制方法、装置、设备及计算机刻度存储介质
CN113284179A (zh) 一种基于深度学习的机器人多物体分拣方法
Xu et al. Vision-based simultaneous measurement of manipulator configuration and target pose for an intelligent cable-driven robot
CN111993422B (zh) 基于无标定视觉的机器人轴孔对准控制方法
CN110463376A (zh) 一种插机方法及插机设备
Roveda et al. Human-robot cooperative interaction control for the installation of heavy and bulky components
CN113172632A (zh) 一种基于图像的简化机器人视觉伺服控制方法
CN112947458A (zh) 基于多模态信息的机器人准确抓取方法及计算机可读介质
CN115294198A (zh) 一种基于视觉的机械臂全局性能测量***及方法
CN113910218B (zh) 一种基于运动学与深度神经网络融合的机器人标定方法和装置
CN116977434A (zh) 基于追踪相机的目标行为追踪方法及***
Stemmer et al. Robust assembly of complex shaped planar parts using vision and force
CN112720449A (zh) 一种机器人定位装置及其控制***
CN112013868B (zh) 一种基于视觉惯导里程计的自适应参数警犬姿态估计方法
CN113034418B (zh) 面向电子行业的电路板识别与焊盘/芯片快速定位方法
Zhang et al. High-precision pose estimation method of the 3C parts by combining 2D and 3D vision for robotic grasping in assembly applications
Neuberger et al. Self-initialized Visual Servoing for Accurate End-effector Positioning
Wang et al. Robotic assembly system guided by multiple vision and laser sensors for large scale components
CN117428777A (zh) 一种拆袋机器人的手眼标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200626

WD01 Invention patent application deemed withdrawn after publication