CN113781558A - 一种姿态与位置解耦的机器人视觉寻位方法 - Google Patents
一种姿态与位置解耦的机器人视觉寻位方法 Download PDFInfo
- Publication number
- CN113781558A CN113781558A CN202111010510.3A CN202111010510A CN113781558A CN 113781558 A CN113781558 A CN 113781558A CN 202111010510 A CN202111010510 A CN 202111010510A CN 113781558 A CN113781558 A CN 113781558A
- Authority
- CN
- China
- Prior art keywords
- robot
- target object
- depth
- target
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000000007 visual effect Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 3
- 230000004807 localization Effects 0.000 claims 8
- 238000005516 engineering process Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/64—Analysis of geometric attributes of convexity or concavity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Manipulator (AREA)
Abstract
本发明属于机器人视觉领域,并具体公开了一种姿态与位置解耦的机器人视觉寻位方法,包括步骤:S1、通过靶标进行位置标定,得到靶标位置深度d0和标定深度下移动单位像素的实际偏移量;S2、根据目标物体所在平面的法向量调整机器人姿态,使机器人末端与目标物体所在平面平行;S3、获取相机图像,识别当前深度下目标物体像素坐标和深度值d1,得到找中补偿向量,调整机器人使目标物***于相机图像正中;然后在深度方向移动机器人至标定高度d0;S4、再次获取相机图像,得到寻位补偿向量,根据寻位补偿向量调整机器人,使机器人到达目标物体处。本发明标定过程操作简单、定位准确性高,提升了机器人视觉寻位的可操作性和准确性。
Description
技术领域
本发明属于机器人视觉领域,更具体地,涉及一种姿态与位置解耦的机器人视觉寻位方法。
背景技术
随着智能制造理念的提出与发展,机器人现已广泛的应用于自动化装配,数字柔性化制造等***。而机器人视觉寻位技术是其中十分重要的一环,视觉寻位技术的好坏直接对后续工作位置的准确定位,方案合理性造成影响。机器人视觉寻位技术有很多应用的场景,比如飞机蒙皮自动钻铆***、工业流水线上机器人识别目标和抓取,移动机器人视觉导航建图等多种领域,具有十分广泛的应用前景。
根据相机的安装方式,机器人视觉定位方式可以分为两大类:眼在手上,即相机安装在机械臂末端,随机械臂的运动而运动;眼在手外,相机安装在机械臂之外,与机械臂的基座相对固定,不随机械臂的运动而运动。在视觉寻位之前,往往需要对视觉***进行标定,主流的标定方法采用棋盘格作为标定工具,但棋盘格占据一定的空间,通常很难和工件同时放在相机视野内,所以标定只能在生产前进行。现有的机器人手眼标定尤其是高精度的标定往往都存在标定操作繁琐,计算原理复杂,时间成本过高的问题。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供了一种姿态与位置解耦的机器人视觉寻位方法,其目的在于,简化机器人视觉标定过程,提高机器人视觉定位的准确性和可靠性,解决目前标定效率不高和定位精度低的问题。
为实现上述目的,本发明提出了一种姿态与位置解耦的机器人视觉寻位方法,包括如下步骤:
S2、示教机器人,使机器人末端的相机面对目标物体,根据相机获取的目标物体点云信息,得到目标物体所在平面的法向量,根据该法向量调整机器人姿态,使机器人末端与目标物体所在平面平行;
S3、获取相机图像,识别当前深度下目标物体像素坐标(U,V),以及目标物体平面到相机的深度值d1;根据标定深度d0及实际偏移量得到深度为d1时移动单位像素的实际偏移量进而根据实际偏移量和目标物体像素坐标(U,V)得到找中补偿向量,根据该找中补偿向量在水平方向调整机器人,使目标物***于相机图像正中;然后在深度方向移动机器人至标定高度d0;
S4、再次获取相机图像,识别当前深度下目标物体像素坐标(U',V'),进而得到寻位补偿向量,根据寻位补偿向量调整机器人,使机器人到达目标物体处,完成机器人视觉寻位。
作为进一步优选的,步骤S2中,获取目标物体所在平面的法向量,具体包括如下步骤:使机器人末端的相机面对目标物体,根据相机获取的目标物体点云信息,根据点云信息划分点云凸包,并移动机器人末端使凸包包裹目标工件平面,然后由凸包分割出的点云拟合平面方程,进而得到目标物体所在平面的法向量
其中,width和depth分别表示图像宽度和高度。
其中,(u0,v0)为位置标定时,初始状态下的靶标像素坐标。
作为进一步优选的,步骤S1中,通过靶标进行位置标定,具体包括如下步骤:
S11、在机器人末端安装相机和试触杆,并使相机视场内能看到试触杆末端;用示教的方式移动机器人,使试触杆末端与靶标重合,然后移开试触杆,得到靶标像素坐标(u0,v0),靶标位置深度值d0;
作为进一步优选的,步骤S12中,获取实际偏移量包括如下步骤:保持机器人姿态和高度不变,水平移动机器人,同时读取机器人在第一个位置上的末端坐标(x1,y1,z1),识别到的靶标像素坐标(u1,v1);在第二个位置上的末端坐标(x2,y2,z2),识别到的靶标像素坐标(u2,v2),得到该深度下移动单位像素坐标引起x和y方向上的实际偏移量
总体而言,通过本发明所构思的以上技术方案与现有技术相比,主要具备以下的技术优点:
1.本发明通过只标定固定深度平面内单位像素点引起的实际偏移量,将机器人姿态和位置进行解耦,分步处理,并通过找中补偿、深度补偿、寻位补偿实现对目标的精确寻位,标定时间成本低,操作简单,适用于各种寻位和操作场景,大大提高了机器人视觉定位的准确性和可靠性。
2.本发明在先进行姿态调整时,根据点云信息划分点云凸包,并移动机器人末端使凸包包裹目标工件平面,然后由凸包分割出的点云拟合平面方程,可以快速、准确得到与目标物体所在平面垂直的法向量,进而转换得到机器人末端姿态参数,实现对机器人姿态的调节。
附图说明
图1为本发明实施例姿态与位置解耦的机器人视觉寻位方法的环境应用示意图;
图2为本发明实施例深度相机与试触装置一体化夹具示意图;
图3为本发明实施例姿态与位置解耦的机器人视觉寻位方法流程图。
在所有附图中,相同的附图标记用来表示相同的元件或结构,其中:1-机器人本体,2-深度相机,3-法向量,4-待加工平面,5-一体化夹具,6-试触杆。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明实施例提供的一种姿态与位置解耦的机器人视觉寻位方法,如图3所示,包括如下步骤:
S1、进行位置标定,如图1和图2所示,在机器人本体1末端安装一体化夹具5,将在深度相机2和试触杆6安装在一体化夹具5上,并使深度相机视场内能看到试触杆末端,标定试触杆末端的像素坐标(u0,v0),读取靶标位置深度值记为d0;具体包括步骤:
S11、设计深度相机与试触装置的一体化夹具,深度相机平面与机器人末端平面平行,试触杆中心水平方向偏移末端dpole,其余方向无差,长度为lpole,安装夹具,控制机器人末端垂直水平面;
S12、在水平面上放置一块标定板,标定板上贴有定位靶标,不改变机器人末端姿态,用示教的方式移动机器人,使试触杆末端刚好与靶标重合,移开试触杆,读取得到靶标像素坐标记为(u0,v0),靶标位置深度值记为d0。
S21:保持机器人姿态和高度不变,水平移动机器人,读取机器人在第一个位置上的末端坐标(x1,y1,z1),识别到的靶标像素坐标(u1,v1);在第二个位置上的末端坐标(x2,y2,z2),识别到的靶标像素坐标(u2,v2),得到该深度下移动单位像素坐标引起x和y方向上的实际偏移量
S3、完成位置标定后拆除试触杆,工具端中心偏离机器人末端(tx,ty,tz),该值由工具端夹具尺寸决定;示教机器人使相机面对工件(即目标物体),根据相机获取的点云信息,通过划分点云凸包,移动机器人末端使凸包区域内均为目标工件平面点云数据,由凸包分割出的点云拟合平面方程,得到法向量具体的,划分点云凸包形状可以是多边形,圆形等二维图形,要求面积小于目标工件平面点云成像区域大小;
S4、获取相机图像,识别当前深度下目标物体像素坐标(U,V),获取工件平面到相机的深度值d1,则在此深度d1下移动一个像素的实际偏移量可由下两式得到:
据此计算机器人找中补偿向量,让目标物***于相机图像正中;具体的,找中补偿向量为转换到基座坐标获取机器人当前位置则找中位置在机器人基座下坐标为根据此坐标在水平方向调整机器人,使目标物***于相机图像正中;然后在深度方向移动机器人d1-d0距离,至标定高度d0,完成找中补偿与深度补偿。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种姿态与位置解耦的机器人视觉寻位方法,其特征在于,包括如下步骤:
S2、示教机器人,使机器人末端的相机面对目标物体,根据相机获取的目标物体点云信息,得到目标物体所在平面的法向量,根据该法向量调整机器人姿态,使机器人末端与目标物体所在平面平行;
S3、获取相机图像,识别当前深度下目标物体像素坐标(U,V),以及目标物体平面到相机的深度值d1;根据标定深度d0及实际偏移量得到深度为d1时移动单位像素的实际偏移量进而根据实际偏移量和目标物体像素坐标(U,V)得到找中补偿向量,根据该找中补偿向量在水平方向调整机器人,使目标物***于相机图像正中;然后在深度方向移动机器人至标定高度d0;
S4、再次获取相机图像,识别当前深度下目标物体像素坐标(U',V'),进而得到寻位补偿向量,根据寻位补偿向量调整机器人,使机器人到达目标物体处,完成机器人视觉寻位。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111010510.3A CN113781558B (zh) | 2021-08-31 | 2021-08-31 | 一种姿态与位置解耦的机器人视觉寻位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111010510.3A CN113781558B (zh) | 2021-08-31 | 2021-08-31 | 一种姿态与位置解耦的机器人视觉寻位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113781558A true CN113781558A (zh) | 2021-12-10 |
CN113781558B CN113781558B (zh) | 2024-03-19 |
Family
ID=78840198
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111010510.3A Active CN113781558B (zh) | 2021-08-31 | 2021-08-31 | 一种姿态与位置解耦的机器人视觉寻位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113781558B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114783068A (zh) * | 2022-06-16 | 2022-07-22 | 深圳市信润富联数字科技有限公司 | 姿态识别方法、装置、电子装置和存储介质 |
CN116117800A (zh) * | 2022-12-19 | 2023-05-16 | 广东建石科技有限公司 | 补偿高度差的机器视觉处理方法、电子设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104647387A (zh) * | 2013-11-25 | 2015-05-27 | 佳能株式会社 | 机器人控制方法、***和装置 |
CN107767423A (zh) * | 2017-10-10 | 2018-03-06 | 大连理工大学 | 一种基于双目视觉的机械臂目标定位抓取方法 |
CN110146099A (zh) * | 2019-05-31 | 2019-08-20 | 西安工程大学 | 一种基于深度学习的同步定位与地图构建方法 |
US20210023694A1 (en) * | 2019-07-23 | 2021-01-28 | Qingdao university of technology | System and method for robot teaching based on rgb-d images and teach pendant |
-
2021
- 2021-08-31 CN CN202111010510.3A patent/CN113781558B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104647387A (zh) * | 2013-11-25 | 2015-05-27 | 佳能株式会社 | 机器人控制方法、***和装置 |
CN107767423A (zh) * | 2017-10-10 | 2018-03-06 | 大连理工大学 | 一种基于双目视觉的机械臂目标定位抓取方法 |
CN110146099A (zh) * | 2019-05-31 | 2019-08-20 | 西安工程大学 | 一种基于深度学习的同步定位与地图构建方法 |
US20210023694A1 (en) * | 2019-07-23 | 2021-01-28 | Qingdao university of technology | System and method for robot teaching based on rgb-d images and teach pendant |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114783068A (zh) * | 2022-06-16 | 2022-07-22 | 深圳市信润富联数字科技有限公司 | 姿态识别方法、装置、电子装置和存储介质 |
CN114783068B (zh) * | 2022-06-16 | 2022-11-15 | 深圳市信润富联数字科技有限公司 | 姿态识别方法、装置、电子装置和存储介质 |
CN116117800A (zh) * | 2022-12-19 | 2023-05-16 | 广东建石科技有限公司 | 补偿高度差的机器视觉处理方法、电子设备及存储介质 |
CN116117800B (zh) * | 2022-12-19 | 2023-08-01 | 广东建石科技有限公司 | 补偿高度差的机器视觉处理方法、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113781558B (zh) | 2024-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108717715B (zh) | 一种用于弧焊机器人的线结构光视觉***自动标定方法 | |
CN109550649B (zh) | 一种基于机器视觉的点胶定位方法及装置 | |
JP4021413B2 (ja) | 計測装置 | |
CN110146038B (zh) | 筒形件装配转角的分布式单目相机激光测量装置及方法 | |
CN109781164B (zh) | 一种线激光传感器的静态标定方法 | |
US10871366B2 (en) | Supplementary metrology position coordinates determination system for use with a robot | |
US10913156B2 (en) | Robot system with end tool metrology position coordinates determination system | |
CN110136204B (zh) | 基于双侧远心镜头相机机床位置标定的音膜球顶装配*** | |
CN113781558A (zh) | 一种姿态与位置解耦的机器人视觉寻位方法 | |
US20200262080A1 (en) | Comprehensive model-based method for gantry robot calibration via a dual camera vision system | |
CN112792814B (zh) | 基于视觉标志的机械臂零点标定方法 | |
JP2015062991A (ja) | 座標系校正方法、ロボットシステム、プログラム及び記録媒体 | |
CN110695982A (zh) | 一种基于三维视觉的机械臂手眼标定方法和装置 | |
CN113510708B (zh) | 一种基于双目视觉的接触式工业机器人自动标定*** | |
JP6855491B2 (ja) | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 | |
CN101539397A (zh) | 物体三维姿态的精密光学测量方法 | |
US20220230348A1 (en) | Method and apparatus for determining a three-dimensional position and pose of a fiducial marker | |
CN109737871B (zh) | 一种三维传感器与机械手臂的相对位置的标定方法 | |
JP2019052983A (ja) | 校正方法、および校正装置 | |
CN112958960A (zh) | 一种基于光学靶标的机器人手眼标定装置 | |
JP2007533963A (ja) | 物体の3d位置の非接触式光学的測定方法及び測定装置 | |
CN111486867A (zh) | 一种视觉和惯性混合跟踪组件安装参数的标定装置及方法 | |
CN110595374A (zh) | 基于传递像机的大型结构件实时形变监测方法 | |
CN112762822B (zh) | 一种基于激光跟踪仪的机械臂校准方法及*** | |
JP2013173191A (ja) | ロボット装置、ロボット制御装置、ロボット制御方法及びロボット制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |