CN116872216A - 一种基于有限时间控制的机器人视觉伺服作业方法 - Google Patents
一种基于有限时间控制的机器人视觉伺服作业方法 Download PDFInfo
- Publication number
- CN116872216A CN116872216A CN202311095703.2A CN202311095703A CN116872216A CN 116872216 A CN116872216 A CN 116872216A CN 202311095703 A CN202311095703 A CN 202311095703A CN 116872216 A CN116872216 A CN 116872216A
- Authority
- CN
- China
- Prior art keywords
- camera
- coordinate system
- bolt
- mechanical arm
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000006243 chemical reaction Methods 0.000 claims abstract description 29
- 239000011159 matrix material Substances 0.000 claims abstract description 24
- 230000033001 locomotion Effects 0.000 claims abstract description 18
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 claims abstract description 16
- 239000012636 effector Substances 0.000 claims abstract description 11
- 229910052742 iron Inorganic materials 0.000 claims abstract description 8
- 238000013507 mapping Methods 0.000 claims abstract description 8
- 230000000007 visual effect Effects 0.000 claims description 13
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 claims description 6
- 230000009897 systematic effect Effects 0.000 claims description 6
- 230000009194 climbing Effects 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 238000009795 derivation Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 240000007651 Rubus glaucus Species 0.000 description 3
- 235000011034 Rubus glaucus Nutrition 0.000 description 3
- 235000009122 Rubus idaeus Nutrition 0.000 description 3
- 229910000831 Steel Inorganic materials 0.000 description 3
- 239000010959 steel Substances 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1692—Calibration of manipulator
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Abstract
本发明涉及高空作业机器人技术领域,具体为一种基于有限时间控制的机器人视觉伺服作业方法,包括以下具体步骤:S1、对螺栓紧固机械臂进行运动学建模,得到其各个关节的姿态转换矩阵;S2、进行相机的内参标定,分别确定相机坐标系和像素坐标系的位姿转换关系,得到像素坐标系和世界坐标系的映射关系;S3、搭建手眼标定平台,得到相机和螺栓紧固机械臂末端坐标系的位姿转换矩阵;S4、机器人上的相机实时拍摄图像用于利用相机拍摄的图像进行螺栓目标检测;S5、利用有限时间处理器计算相机需要的运动量,得到各个关节的运动量,驱动螺栓紧固机械臂各个关节电机和末端执行器作业。本发明提高了电力铁塔螺栓紧固作业的快速性和稳定性。
Description
技术领域
本发明涉及高空作业机器人技术领域,具体涉及一种基于有限时间控制的机器人视觉伺服作业方法。
背景技术
随着经济的快速发展,各行业对电力的需求越来越多,所以对电力供应的稳定性以及安全性的要求也越来越高,因此维护和检修输电铁塔的正常工作也显得十分重要;但是铁塔上螺栓数量众多,平均每座220Kv铁塔就有4200颗螺栓,所以输电铁塔维护和检修的任务重,与此同时,螺栓本身安装位置的复杂性和确保拧螺栓过程中的牢固性也给螺栓紧固作业带来了挑战。
目前广泛采用的方法是视觉伺服控制,视觉伺服主要分为三类:基于位置的视觉伺服、基于图像的视觉伺服和混合视觉伺服。与其他方法相比,基于图像视觉伺服对目标特征的深度信息容忍度高,对相机内参误差要求不高,不需要目标的三维模型,精度高、稳定性强。但是IBVS也存在着一些问题:比如征深度估计不足的时候,会导致速度反馈不够及时,以至于目标物体离开相机视野;或者机械臂关节运动轨迹产生突变,对机械臂造成损伤。
发明内容
本发明目的是针对背景技术中存在的问题,提出一种基于有限时间控制的机器人视觉伺服作业方法。
本发明的技术方案:一种基于有限时间控制的机器人视觉伺服作业方法,包括以下具体步骤:
S1、对螺栓紧固机械臂进行运动学建模,得到其各个关节的姿态转换矩阵;
S2、进行相机的内参标定,分别确定相机坐标系和像素坐标系的位姿转换关系,得到像素坐标系和世界坐标系的映射关系;
S3、搭建手眼标定平台,根据实际运动数据,得到相机和螺栓紧固机械臂末端坐标系的位姿转换矩阵;
S4、机器人沿着电力铁塔上的一条腿进行攀爬作业,机器人上装载的螺栓紧固机械臂在机器人的初始位姿下,相机实时拍摄图像用于利用相机拍摄的图像进行螺栓目标检测;
识别螺栓目标之后进行图像预处理,获取螺栓中心点的像素坐标(ub,vb),计算螺栓中心点像素坐标(ub,vb)和相机视野正中间的像素坐标(ud,vd)的像素偏差值(eu,ev);
将像素的坐标和期望的位置作差得到***误差如下:
其中,α为相机的像素横纵尺寸的倒数和焦距的乘积;
S5、利用有限时间处理器计算出使螺栓中心点与相机视野中心重合时,相机需要的运动量,再通过有限时间处理器进行运动学逆解运算得到各个关节的运动量,驱动螺栓紧固机械臂各个关节电机和末端执行器进行螺栓紧固作业;
将像素的坐标和期望的位置作差得到***误差等式进行一阶求导,得到机械臂螺栓紧固伺服控制***的表达式如下:
S=LuUs+F(v,t);
式中,Us是***的控制量
是与***状态相关的干扰量;
引入一个变量δ:
其中,/>
若想实现机器人的螺栓精确对准,δ必须无限趋于0,基于此,考虑执行任务时遇到的抖动干扰或者复杂环境引发的扰动等以及机器人本身的机械误差,引入基于扰动观测补偿的有限时间控制律如下:
其中,h1,h2∈R+.存在控制器增益参数h1,h2使得像素目标跟踪误差能够在有限时间内收敛到0,即有限时间稳定,机器人能在有限时间内对准识别到的物体。
优选的,建立世界坐标系W-X0-Y0-Z0、相机坐标系C-Xc-Yc-Zc、图像坐标系O-xy以及像素坐标系uv;
其中,像素坐标系uv以图像左上角为原点,像素为坐标单位的直角坐标系;图像坐标系O-xy以原点为二维平面中点;相机坐标系C-Xc-Yc-Zc以相机光心定义为相机坐标原点O,Zc轴与相机光轴重合,取拍摄方向为正方向,f为中心透视投影焦距;
选取现实世界中的点P(X0,Y0,Z0),P点为图像中的成像点,其在图像坐标系下的坐标为(x,y),而对应的像素坐标系下的坐标为(u,v),所以齐次变换下相机坐标系与世界坐标系的关系可以得出:
其中R为3*3的旋转矩阵,t为3*1的平移矢量;设fx,fy,u0,v0为相机的内参,而R和T为相机的外参,则推导出P点像素坐标与世界坐标之间的映射关系为:
优选的,在S3中将相机装在螺栓紧固机械臂的末端执行器,在多次运动时,因为螺栓紧固机械臂底座和标定板的位置关系始终不变,所以收集螺栓紧固机械臂末端运动到不同位置时相机采集到的标定板的图像,并记录对应时刻螺栓紧固机械臂末端相对于基坐标系的位置转换关系,用于求解相机和螺栓紧固机械臂末端坐标系的位姿关系;
对螺栓紧固机械臂移动过程中的任意两个位姿,有以下等式成立:
BTE2×E2TC2×C2T0=BTE1×E2TC1×C1T0,
上式B、C、O和E分别表示机械臂基坐标系、相机坐标系,、标定板坐标系以及收集螺栓紧固机械臂末端执行器坐标系,经过左右移项后,可得:
转换成一般表达式为;
其中,A为两次运动的螺栓紧固机械臂末端与基座之间的位姿转换矩阵的乘积,B是两次运动的相机与标定板之间的位姿变换矩阵的乘积,X是需要求解的相机与机械臂末端执行器坐标系的位姿转换矩阵。
优选的,S4中,螺栓检测的方式为相机实时采集图像,再对采集到的图像进行预处理,对预处理后的图像进行边缘提取,根据特征点的几何信息进行特征点识别。
优选的,对采集到的图像进行预处理的方式包括滤波去噪处理和图像增强处理。
与现有技术相比,本发明的上述技术方案具有如下有益的技术效果:
本发明在已有攀爬机器人的基础上设计了螺栓紧固作业机械臂,在机器人高空作业的同时使用相机实时采集图像,通过图像预处理,最终得到螺栓的像素中心点坐标,通过相机进行标定,得到相机坐标系与该特征点的特征点坐标系之间的变换矩阵,最终可计算得到机器人的当前位姿矩阵,控制机械臂的运动使得螺栓在相机视野中的像素坐标能够快速稳定的收敛到视野中心,从而更精确的进行螺栓紧固的工作。
本发明在检测螺栓的时候采用了深度信息和螺栓检测相结合的方式,使得螺栓的像素中心点的误差变小,同时搭建了眼在手上的手眼标定平台,通过20组数据计算出了相机坐标系到末端工件坐标系的位姿转换矩阵,且经过多次测量,发现视野正中心的目标通过处理器控制机械臂移动固定的距离之后,拧螺栓工件的套筒中心刚好能对准目标,且误差在作业范围内可以忽略不计,这样大大提高的螺栓作业任务的精度。
本发明在基于视觉伺服的控制基础上融入了有限时间控制器,能够控制机械臂在有限时间内完成目标跟踪任务,使得目标像素中心点在相机视野正中心,并且能够有效的抑制在视觉伺服控制中产生的各种干扰,提高的螺栓紧固作业的快速性和稳定性,本发明简化了作业方式,提高了作业精度,且能够实现高空作业机器人在角钢塔任意高度位置作业时的精准控制。
附图说明
图1为本发明提出的一种实施例的流程图。
图2为本发明提出的一种实施例中相机成像几何模型图。
图3为本发明提出的一种实施例中手眼标定示意图。
图4为本发明提出的一种实施例中螺栓紧固作业机械臂的连杆结构图。
具体实施方式
如图1-4所示,本发明提出的一种基于有限时间控制的机器人视觉伺服作业方法,包括以下具体步骤:
S1、对螺栓紧固机械臂进行运动学建模,得到其各个关节的姿态转换矩阵;
其中,螺栓紧固机械臂包括机器人本体和用于控制机器人本体的设置于电脑端的上位机控制***,机器人本体是一个四自由度的机械臂,基于视觉伺服的螺栓紧固机械臂控制主要由机械臂、相机、树莓派和处理器等组成;相机用来采集观察到的螺栓图像,树莓派里设计装载了一套图像处理***,将采集到的图像进行图像预处理找到螺栓并确定螺栓的中心点坐标;处理器用来收到树莓派传输的信息,并分析螺栓此刻距离相机视野正中间的距离,利用有限时间控制器对机械臂各个关节发出控制指令,让螺栓处于相机视野正中心,此时机械臂装载的相机已经对准螺栓,根据手眼标定的结果进行螺栓紧固工作即可;
另外,在本实施例中,机器人作业的电力铁塔对象为角钢塔,角钢塔型号为XJJ157-1D2SZ2-27米;本实施例所涉及的机器人,采用中国专利公开号CN112356940A所提供的一种角钢塔用攀爬机器人;
如图4所示为螺栓紧固作业机械臂的连杆结构图,利用D-H法得到基坐标系到末端坐标系的位姿转换矩阵如下:
其中,r11=cosθ2,
r21=0,r31=-sinθ2,/>
S2、进行相机的内参标定,分别确定相机坐标系和像素坐标系的位姿转换关系,得到像素坐标系和世界坐标系的映射关系;
由相机成像几何模型可以得到像素坐标和世界坐标系的映射关系;
如图2所示,建立世界坐标系W-X0-Y0-Z0、相机坐标系C-Xc-Yc-Zc、图像坐标系o-xy以及像素坐标系uv;
其中,像素坐标系uv以图像左上角为原点,像素为坐标单位的直角坐标系;
图像坐标系O-xy以原点为二维平面中点,单位mm;
相机坐标系C-Xc-Yc-Zc以相机光心定义为相机坐标原点0,Zc轴与相机光轴重合,取拍摄方向为正方向,f为中心透视投影焦距,单位m;
世界坐标系w-X0-Y0-Z0需要根据环境和作业任务来自己定义;
选取现实世界中的点P(X0,Y0,Z0),P点为图像中的成像点,其在图像坐标系下的坐标为(x,y),而对应的像素坐标系下的坐标为(u,v).所以齐次变换下相机坐标系与世界坐标系的关系可以得出:
其中R为3*3的旋转矩阵,t为3*1的平移矢量;设fx,fy,u0,v0为相机的内参,而R和T为相机的外参,则推导出P点像素坐标与世界坐标之间的映射关系为:
S3、搭建手眼标定平台,多次运动时,记录对应的数据,根据实际运动数据,得到相机和螺栓紧固机械臂末端坐标系的位姿转换矩阵。
在S3中将相机装在螺栓紧固机械臂的末端执行器,在多次运动时,因为螺栓紧固机械臂底座和标定板的位置关系始终不变,所以收集螺栓紧固机械臂末端运动到不同位置时相机采集到的标定板的图像,并记录对应时刻螺栓紧固机械臂末端相对于基坐标系的位置转换关系,用于求解相机和螺栓紧固机械臂末端坐标系的位姿关系;
对螺栓紧固机械臂移动过程中的任意两个位姿,有以下等式成立:
BTE2×E2TC2×C2T0=BTE1×E2TC1×C1T0,
上式B、C、O和E分别表示机械臂基坐标系、相机坐标系、标定板坐标系以及收集螺栓紧固机械臂末端执行器坐标系,经过左右移项后,可得:
转换成一般表达式为A×X=X×B;
其中,A为两次运动的螺栓紧固机械臂末端与基座之间的位姿转换矩阵的乘积,B是两次运动的相机与标定板之间的位姿变换矩阵的乘积,X是需要求解的相机与机械臂末端执行器坐标系的位姿转换矩阵
S4、机器人沿着电力铁塔上的一条腿进行攀爬作业,机器人上装载的螺栓紧固机械臂在机器人的初始位姿下,相机实时拍摄图像用于利用相机拍摄的图像进行螺栓目标检测;
螺栓检测的方式为相机实时采集图像,再对采集到的图像进行预处理,对预处理后的图像进行边缘提取,根据特征点的几何信息进行特征点识别;对采集到的图像进行预处理的方式包括滤波去噪处理和图像增强处理,即使用高斯滤波器对图像进行滤波去噪,采用直方图均衡化进行图像增强;采用Canny边缘检测器对图像进行有效的边缘提取。
螺栓检测的具体方法为:
S41,首先使用一个高斯滤波器平滑输入图像,对原始图像进行卷积操作,然后计算梯度幅值图像和角度图像,对梯度幅值图像应用非最大抑制用以排除非边缘信息,最后用双阈值处理和连接分析来检测并连接边缘,高阈值和低阈值的比率设置为3∶1;
S42,使用Hough变换来完成螺栓特征点六边形轮廓的拟合:
将得到的图像信息转换到Hough空间中,然后在Hough空间中找到若干组六边形点集,六边形的每组对边斜率相同,且三组对边斜率角度相差60度,这一特征也相应的呈现与Hough空间中峰值的分布,得到六边形信息之后计算六边形中心点可得到螺栓中心位置,从而完成螺栓六边形轮廓的拟合,可以读取出螺栓六边形轮廓顶点的像素坐标;
识别螺栓目标之后进行图像预处理,获取螺栓中心点的像素坐标(ub,vb),计算螺栓中心点像素坐标(ub,vb)和相机视野正中间的像素坐标(ud,vd)的像素偏差值(eu,ev);
将像素的坐标和期望的位置作差得到***误差如下:
其中,α为相机的像素横纵尺寸的倒数和焦距的乘积;
S5、利用有限时间处理器计算出使螺栓中心点与相机视野中心重合时,相机需要的运动量,再通过有限时间处理器进行运动学逆解运算得到各个关节的运动量,驱动螺栓紧固机械臂各个关节电机和末端执行器进行螺栓紧固作业;
将像素的坐标和期望的位置作差得到***误差等式进行一阶求导,得到机械臂螺栓紧固伺服控制***的表达式如下:
S=LuUs+F(v,t);
式中,Us是***的控制量
是与***状态相关的干扰量;
引入一个变量δ:
其中,/>
若想实现机器人的螺栓精确对准,δ必须无限趋于0,最优选的δ最好等于0,基于此,考虑执行任务时遇到的抖动干扰或者复杂环境引发的扰动等以及机器人本身的机械误差,引入基于扰动观测补偿的有限时间控制律如下:
其中,h1,h2∈R+.存在控制器增益参数h1,h2使得像素目标跟踪误差能够在有限时间内收敛到0,即有限时间稳定,机器人能在有限时间内对准识别到的物体。
其中,根据相机拍摄图像,得到螺栓在图像中的位姿,控制机械臂的运动使得螺栓在相机视野中的像素坐标收敛到视野中心,从而更精确的进行螺栓紧固的工作;
在机器人末端执行器精准对准螺栓目标后,为了实现螺栓拧紧工作,开始着手设计径向运动的控制算法,由于机器人搭载了激光传感器,径向距离可以获取,但是,在运动过程中,激光传感器收到干扰反馈回来的数据可能会存在一定的误差;为了解决这个问题以及考虑到螺柱本身的长度,对搭载得伺服电机采用抗干扰和高精度得位置控制。
上面结合附图对本发明的实施方式作了详细说明,但是本发明并不限于此,在所属技术领域的技术人员所具备的知识范围内,在不脱离本发明宗旨的前提下还可以作出各种变化。
Claims (5)
1.一种基于有限时间控制的机器人视觉伺服作业方法,其特征在于,包括以下具体步骤:
S1、对螺栓紧固机械臂进行运动学建模,得到其各个关节的姿态转换矩阵;
S2、进行相机的内参标定,分别确定相机坐标系和像素坐标系的位姿转换关系,得到像素坐标系和世界坐标系的映射关系;
S3、搭建手眼标定平台,根据实际运动数据,得到相机和螺栓紧固机械臂末端坐标系的位姿转换矩阵;
S4、机器人沿着电力铁塔上的一条腿进行攀爬作业,机器人上装载的螺栓紧固机械臂在机器人的初始位姿下,相机实时拍摄图像用于利用相机拍摄的图像进行螺栓目标检测;
识别螺栓目标之后进行图像预处理,获取螺栓中心点的像素坐标(ub,vb),计算螺栓中心点像素坐标(ub,vb)和相机视野正中间的像素坐标(ud,vd)的像素偏差值(eu,ev);
将像素的坐标和期望的位置作差得到***误差如下:
其中,α为相机的像素横纵尺寸的倒数和焦距的乘积;
S5、利用有限时间处理器计算出使螺栓中心点与相机视野中心重合时,相机需要的运动量,再通过有限时间处理器进行运动学逆解运算得到各个关节的运动量,驱动螺栓紧固机械臂各个关节电机和末端执行器进行螺栓紧固作业;
将像素的坐标和期望的位置作差得到***误差等式进行一阶求导,得到机械臂螺栓紧固伺服控制***的表达式如下:
S=LuUs+F(v,t);
式中,Us是***的控制量
是与***状态相关的干扰量;
引入一个变量δ:
其中,/>
若想实现机器人的螺栓精确对准,δ必须无限趋于0,基于此,考虑执行任务时遇到的抖动干扰或者复杂环境引发的扰动等以及机器人本身的机械误差,引入基于扰动观测补偿的有限时间控制律如下:
其中,h1,h2∈R+.存在控制器增益参数h1,h2使得像素目标跟踪误差能够在有限时间内收敛到0,即有限时间稳定,机器人能在有限时间内对准识别到的物体。
2.根据权利要求1所述的一种基于有限时间控制的机器人视觉伺服作业方法,其特征在于,建立世界坐标系W-X0-Y0-Z0、相机坐标系C-Xc-Yc-Zc、图像坐标系o-xy以及像素坐标系uv;
其中,像素坐标系uv以图像左上角为原点,像素为坐标单位的直角坐标系;图像坐标系O-xy以原点为二维平面中点;相机坐标系C-Xc-Yc-Zc以相机光心定义为相机坐标原点O,Zc轴与相机光轴重合,取拍摄方向为正方向,f为中心透视投影焦距;
选取现实世界中的点P(X0,Y0,Z0),P点为图像中的成像点,其在图像坐标系下的坐标为(x,y),而对应的像素坐标系下的坐标为(u,v),所以齐次变换下相机坐标系与世界坐标系的关系可以得出:
其中R为3*3的旋转矩阵,t为3*1的平移矢量;设fx,fy,u0,v0为相机的内参,而R和T为相机的外参,则推导出P点像素坐标与世界坐标之间的映射关系为:
3.根据权利要求1所述的一种基于有限时间控制的机器人视觉伺服作业方法,其特征在于,在S3中将相机装在螺栓紧固机械臂的末端执行器,在多次运动时,因为螺栓紧固机械臂底座和标定板的位置关系始终不变,所以收集螺栓紧固机械臂末端运动到不同位置时相机采集到的标定板的图像,并记录对应时刻螺栓紧固机械臂末端相对于基坐标系的位置转换关系,用于求解相机和螺栓紧固机械臂末端坐标系的位姿关系;
对螺栓紧固机械臂移动过程中的任意两个位姿,有以下等式成立:
BTE2×E2TC2×C2T0=BTE1×E2TC1×C1T0,
上式B、C、O和E分别表示机械臂基坐标系、相机坐标系、标定板坐标系以及收集螺栓紧固机械臂末端执行器坐标系,经过左右移项后,可得:
转换成一般表达式为;
其中,A为两次运动的螺栓紧固机械臂末端与基座之间的位姿转换矩阵的乘积,B是两次运动的相机与标定板之间的位姿变换矩阵的乘积,X是需要求解的相机与机械臂末端执行器坐标系的位姿转换矩阵。
4.根据权利要求1所述的一种基于有限时间控制的机器人视觉伺服作业方法,其特征在于,S4中,螺栓检测的方式为相机实时采集图像,再对采集到的图像进行预处理,对预处理后的图像进行边缘提取,根据特征点的几何信息进行特征点识别。
5.根据权利要求4所述的一种基于有限时间控制的机器人视觉伺服作业方法,其特征在于,对采集到的图像进行预处理的方式包括滤波去噪处理和图像增强处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311095703.2A CN116872216B (zh) | 2023-08-28 | 2023-08-28 | 一种基于有限时间控制的机器人视觉伺服作业方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311095703.2A CN116872216B (zh) | 2023-08-28 | 2023-08-28 | 一种基于有限时间控制的机器人视觉伺服作业方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116872216A true CN116872216A (zh) | 2023-10-13 |
CN116872216B CN116872216B (zh) | 2023-12-08 |
Family
ID=88258962
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311095703.2A Active CN116872216B (zh) | 2023-08-28 | 2023-08-28 | 一种基于有限时间控制的机器人视觉伺服作业方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116872216B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117400256A (zh) * | 2023-11-21 | 2024-01-16 | 扬州鹏顺智能制造有限公司 | 一种基于视觉图像的工业机器人连续轨迹控制方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016193781A1 (en) * | 2015-05-29 | 2016-12-08 | Benemérita Universidad Autónoma De Puebla | Motion control system for a direct drive robot through visual servoing |
CN107358607A (zh) * | 2017-08-13 | 2017-11-17 | 强深智能医疗科技(昆山)有限公司 | 肿瘤放射治疗视觉监测与视觉伺服智能控制方法 |
CN208688601U (zh) * | 2018-08-29 | 2019-04-02 | 成都晴星科技有限公司 | 一种快捷定量的试剂盒孔板 |
DE202019104109U1 (de) * | 2019-07-25 | 2019-08-20 | Franka Emika Gmbh | Kraftfeld um eingelernte Positionen eines Robotermanipulators |
CN110695991A (zh) * | 2019-09-26 | 2020-01-17 | 南京理工大学 | 基于变异粒子群优化的自动手眼标定方法 |
US20210023694A1 (en) * | 2019-07-23 | 2021-01-28 | Qingdao university of technology | System and method for robot teaching based on rgb-d images and teach pendant |
CN112356940A (zh) * | 2020-10-13 | 2021-02-12 | 国网安徽省电力有限公司 | 一种角钢塔用攀爬机器人 |
CN113757540A (zh) * | 2021-08-16 | 2021-12-07 | 安徽工业大学 | 一种机器视觉引导机器人跟踪的注油*** |
CN114721275A (zh) * | 2022-05-13 | 2022-07-08 | 北京航空航天大学 | 一种基于预设性能的视觉伺服机器人自适应跟踪控制方法 |
CN114918918A (zh) * | 2022-05-26 | 2022-08-19 | 东南大学 | 一种含领域自适应的机器人乱序目标推抓方法 |
-
2023
- 2023-08-28 CN CN202311095703.2A patent/CN116872216B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016193781A1 (en) * | 2015-05-29 | 2016-12-08 | Benemérita Universidad Autónoma De Puebla | Motion control system for a direct drive robot through visual servoing |
CN107358607A (zh) * | 2017-08-13 | 2017-11-17 | 强深智能医疗科技(昆山)有限公司 | 肿瘤放射治疗视觉监测与视觉伺服智能控制方法 |
CN208688601U (zh) * | 2018-08-29 | 2019-04-02 | 成都晴星科技有限公司 | 一种快捷定量的试剂盒孔板 |
US20210023694A1 (en) * | 2019-07-23 | 2021-01-28 | Qingdao university of technology | System and method for robot teaching based on rgb-d images and teach pendant |
DE202019104109U1 (de) * | 2019-07-25 | 2019-08-20 | Franka Emika Gmbh | Kraftfeld um eingelernte Positionen eines Robotermanipulators |
CN110695991A (zh) * | 2019-09-26 | 2020-01-17 | 南京理工大学 | 基于变异粒子群优化的自动手眼标定方法 |
CN112356940A (zh) * | 2020-10-13 | 2021-02-12 | 国网安徽省电力有限公司 | 一种角钢塔用攀爬机器人 |
CN113757540A (zh) * | 2021-08-16 | 2021-12-07 | 安徽工业大学 | 一种机器视觉引导机器人跟踪的注油*** |
CN114721275A (zh) * | 2022-05-13 | 2022-07-08 | 北京航空航天大学 | 一种基于预设性能的视觉伺服机器人自适应跟踪控制方法 |
CN114918918A (zh) * | 2022-05-26 | 2022-08-19 | 东南大学 | 一种含领域自适应的机器人乱序目标推抓方法 |
Non-Patent Citations (2)
Title |
---|
CJ FANG,SK LIN: "A performance criterion for the depth estimation with application to robot visual servo control", JOURNAL OF ROBOTIC SYSTEMS * |
曹晨光: "复杂工业环境中目标定位与空间约束下无标定视觉伺服技术研究", 中国优秀博士论文全文数据库 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117400256A (zh) * | 2023-11-21 | 2024-01-16 | 扬州鹏顺智能制造有限公司 | 一种基于视觉图像的工业机器人连续轨迹控制方法 |
CN117400256B (zh) * | 2023-11-21 | 2024-05-31 | 扬州鹏顺智能制造有限公司 | 一种基于视觉图像的工业机器人连续轨迹控制方法 |
Also Published As
Publication number | Publication date |
---|---|
CN116872216B (zh) | 2023-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111360827B (zh) | 一种视觉伺服切换控制方法及*** | |
WO2016193781A1 (en) | Motion control system for a direct drive robot through visual servoing | |
CN116872216B (zh) | 一种基于有限时间控制的机器人视觉伺服作业方法 | |
CN111476841B (zh) | 一种基于点云和图像的识别定位方法及*** | |
CN113001535A (zh) | 机器人工件坐标系自动校正***与方法 | |
CN104325268A (zh) | 一种基于智能学习的工业机器人三维空间自主装配方法 | |
CN111300384B (zh) | 一种基于标识卡运动的机器人增强现实示教的注册***及方法 | |
CN113172659B (zh) | 基于等效中心点识别的柔性机器人臂形测量方法及*** | |
CN111360821A (zh) | 一种采摘控制方法、装置、设备及计算机刻度存储介质 | |
CN112894812A (zh) | 一种面向机械臂的视觉伺服轨迹跟踪控制方法及*** | |
CN111993422B (zh) | 基于无标定视觉的机器人轴孔对准控制方法 | |
CN113172632A (zh) | 一种基于图像的简化机器人视觉伺服控制方法 | |
CN114536346B (zh) | 一种基于人机协作和视觉检测的机械臂精确路径规划方法 | |
Lai et al. | Integration of visual information and robot offline programming system for improving automatic deburring process | |
CN116766194A (zh) | 基于双目视觉的盘类工件定位与抓取***和方法 | |
Han et al. | Grasping control method of manipulator based on binocular vision combining target detection and trajectory planning | |
CN113618367B (zh) | 基于七自由度并联双模块机器人的多视觉空间装配*** | |
Zhou et al. | Visual servo control system of 2-DOF parallel robot | |
Gans et al. | Visual servoing to an arbitrary pose with respect to an object given a single known length | |
CN114926531A (zh) | 基于双目视觉的大视场下工件焊缝自主定位方法及*** | |
Wang et al. | Object Grabbing of Robotic Arm Based on OpenMV Module Positioning | |
Zhang et al. | High-precision pose estimation method of the 3C parts by combining 2D and 3D vision for robotic grasping in assembly applications | |
CN112123329A (zh) | 一种机器人3d视觉手眼标定方法 | |
Cheng et al. | Real-time robot end-effector pose estimation with deep network | |
Ramachandram et al. | Neural network-based robot visual positioning for intelligent assembly |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |