CN109794963B - 一种面向曲面构件的机器人快速定位方法 - Google Patents
一种面向曲面构件的机器人快速定位方法 Download PDFInfo
- Publication number
- CN109794963B CN109794963B CN201910044449.0A CN201910044449A CN109794963B CN 109794963 B CN109794963 B CN 109794963B CN 201910044449 A CN201910044449 A CN 201910044449A CN 109794963 B CN109794963 B CN 109794963B
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- robot
- curved surface
- coordinates
- mapping relation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000005259 measurement Methods 0.000 claims abstract description 58
- 239000012636 effector Substances 0.000 claims abstract description 36
- 238000006243 chemical reaction Methods 0.000 claims abstract description 7
- 238000013507 mapping Methods 0.000 claims description 51
- 230000000007 visual effect Effects 0.000 claims description 13
- 238000012937 correction Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000010420 art technique Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
一种面向曲面构件的机器人快速定位方法，其特征是它包括以下步骤：1)通过激光跟踪仪测量基准点建立机器人法兰、末端执行器与视觉测量***坐标系之间转换模型，获得标定参数；2)在曲面构件角点处粘贴三角形辅助反射靶标，视觉测量***采集曲面构件图像，提取辅助反射靶标二维像素点坐标并计算反射靶标在视觉测量***坐标系中三维坐标；3)根据曲面构件的视觉测量坐标和标定参数计算机器人当前位姿参数，并与目标位姿对比，计算机器人运动量。本发明提高了手眼标定参数可靠性；对曲面构件定位信息的快速、准确；可广泛适用于航空、汽车等曲面件进行快速定位。
Description
技术领域
本发明涉及一种机器人技术，尤其是一种机器人定位技术，具体地说是一种面向曲面构件的机器人快速定位方法。
背景技术
工业机器人已经广泛应用于汽车和电子行业，但是大多以离线编程的方式控制机器人位姿，无法以主动识别定位的方式对目标进行定位，使用范围极其有限；而在航空航天等军工领域，由于其具有工作环境特殊、对象特征复杂等特点，机器人视觉应用范围较窄。目前，高端化、智能化正成为工业机器人领域的研究热点，而依靠机器视觉辅助的工业机器人定位在航空航天领域拥有非常广阔的应用前景。
国内在机器人视觉定位领域已经有了一定的研究成果，主要采用两种方式：一是机器人单目视觉定位方法，通过安装于机器人末端的相机识别并解算目标位置，这种方法定位精度较低，并且只适用于如圆柱、环状、长方体等外形规则的目标；二是机器人结构光扫描定位方法，通过结构光扫描***重建目标外形并计算位姿，这种方法精度相较于第一种方法有明显的提高，但是考虑到对航空航天构件的结构复杂与特殊性，定位时易受环境光照和构件表面属性影响，更重要的是对结构光扫描结果点云处理耗时较长，因此该方法也不具有较高的普适性。
发明内容
本发明的目的是针对现有的机器人定位采用单目视觉定位精度不高，采用结构光扫描定位受环境影响较大的问题，发明一种定位精度高，不受环境影响的面向曲面构件的机器人双目视觉定位方法。
本发明的技术方案是：
一种面向曲面构件的机器人快速定位方法，其特征是首先对机器人双目视觉***进行参数标定，包括相机内外参数以及手眼标定参数；然后使用双相机采集目标图像，提取图像中的二维定位特征点，并进行畸变校正；利用相机标定结果将定位特征点二维坐标转换成相机坐标系下的三维测量坐标；最后根据定位特征点的三维测量坐标、理论坐标以及手眼标定参数求解机器人运动参数。具体步骤如下：
步骤1、在机器人法兰、末端执行器以及标定工装布置测量点作为坐标系转换基准点，三者的基准点同时处于被激光跟踪仪测量范围内，每个机构上基准点个数不少于3 个；
步骤2、分别使用激光跟踪仪和相机获取相关坐标，具体为：
(1)利用激光跟踪仪测量机器人法兰、末端执行器以及标定工装基准点，获得测量坐标
(Flange_Measured_Tracker),
(End-Effector_Measured_Tracker),
(Calibration-Platform_Measured_Tracker)；
(2)利用视觉测量***测量标定工装基准点，获得测量坐标
(Calibration-Platform_Measured_Camera)；
步骤3、根据步骤2测量获得的坐标计算与激光跟踪仪测量坐标系相关的映射关系，具体为：
(1)根据标定工装基准点的激光跟踪仪和视觉测量***测量坐标
和
计算视觉测量***与激光跟踪仪测量坐标系映射关系
(2)根据机器人法兰基准点的理论坐标
和激光跟踪仪测量坐标
计算机器人法兰坐标系与激光跟踪仪测量坐标系映射关系
(3)根据末端执行器准点的理论坐标
和激光跟踪仪测量坐标
计算激光跟踪仪测量坐标系与末端执行器坐标系映射关系
步骤4、根据步骤3获得的映射关系进一步计算与机器人位姿参数相关的映射关系，具体为：
(1)根据视觉测量***与激光跟踪仪测量坐标系映射关系
机器人法兰坐标系与激光跟踪仪测量坐标系映射关系
计算机器人法兰和视觉测量***坐标系映射关系
(2)根据机器人法兰坐标系与激光跟踪仪测量坐标系映射关系
激光跟踪仪测量坐标系与末端执行器坐标系映射关系
计算机器人法兰和末端执行器坐标系映射关系
步骤5、计算曲面构件在视觉***坐标系中三维坐标，具体为：
(1)在曲面构件角点处粘贴三角形辅助反射靶标将机器人示教至曲面构件上方，确保曲面件在视觉测量***视场范围内，采集曲面构件图像；
(2)使用Harris算法提取曲面构件表面三角形辅助反射靶标角点的像素坐标；
(3)基于对极约束删除冗余匹配点并计算剩余特征点在视觉测量***坐标系中三维坐标
步骤6、根据步骤4中映射关系、步骤5中曲面构件视觉测量坐标计算机器人运动参数，具体为：
(1)根据重建后的三维坐标
与机器人法兰和视觉测量***坐标系映射关系
计算曲面构件在机器人法兰坐标系中的坐标
(2)根据曲面构件在机器人法兰坐标系中的坐标
机器人法兰和末端执行器坐标系映射关系
计算曲面构件在末端执行器坐标系中的坐标
(3)根据曲面构件在末端执行器坐标系中的坐标
、 理论模型
进行匹配，获得视觉测量***与曲面构件理论模型坐标系之间的映射关系MMea，将映射关系改写为MMea＝(X Y Z A B C)形式；其中X、Y、Z表示：机器人三个平移运动量，A、B、C 表示机器人三个旋转运动量；
(4)根据曲面构件测量获得的位姿参数MMea＝(X Y Z A B C)Mea与曲面构件理论位姿参数MTheo＝(X Y Z A B C)Theo计算机器人运动量，并驱动机器人至指定位置。
本发明的有益效果是：
本发明可以应用于机器人视觉定位。与现有技术相比，本发明的机器人视觉定位***简单，易于实现，能够有效地适用各种外形零件，在很短的时间内对目标进行识别和定位，提高机器人工作效率和可靠性。
1)采用激光跟踪仪精确标定机器人与视觉测量***之间转换矩阵，提高手眼标定参数可靠性。
2)采用高精度的双目视觉测量***与辅助反射靶标，对曲面构件定位信息的快速、准确重构。
3)适用对象广泛，可对航空、汽车等曲面件进行快速定位。
附图说明
图1高精度标定平台示意图。
图2机器人视觉***标定示意图。
图3曲面构件定位特征点提取示意图。
图4机器人视觉定位***坐标系转换过程示意图。
图5机器人调姿示意图。
图6机器人视觉定位流程图。
图7是本发明的测量***结构示意图。
具体实施方式
下面结合附图对本发明作进一步详细描述。
如图1-7所示，
本发明涉及的机器人视觉定位***包括机器人、末端执行器3、视觉测量***2，末端执行器2通过机器人法兰1与机器人连接，视觉测量***2安装于末端执行器3上；定位前，机器人与曲面构件位置随机，需确保曲面构件在机器人可达范围内；本发明中规定定位完成状态为末端执行器工具到达曲面构件质心或质心上方一定距离处，如图7所示。
本发明的机器人定位流程如图6所示，它包括以下步骤。
步骤1，在机器人法兰1、末端执行器3以及标定工装布置测量点作为坐标系转换基准点，三者的基准点能够同时被激光跟踪仪测量到，标定工装基准点能够被视觉测量***2测量到，每个机构上基准点个数不少于3个，其中标定工装如图1所示；
步骤2、分别使用激光跟踪仪和相机获取相关坐标，如图2所示，具体为：
(1)利用激光跟踪仪测量机器人法兰、末端执行器以及标定工装基准点，获得测量坐标
(Flange_Measured_Tracker),
(End-Effector_Measured_Tracker),
(Calibration-Platform_Measured_Tracker)；
(2)利用视觉测量***测量标定工装基准点，获得测量坐标
(Calibration-Platform_Measured_Camera)；
步骤2中激光跟踪仪测量时使用激光跟踪仪专用靶球，视觉测量***测量时使用光学反射靶球；
步骤3、根据步骤2测量获得的坐标计算与激光跟踪仪测量坐标系相关的映射关系，具体为：
(1)根据标定工装基准点的激光跟踪仪和视觉测量***测量坐标
和
确定视觉测量***与激光跟踪仪测量坐标系映射关系
(2)根据机器人法兰基准点的理论坐标
和激光跟踪仪测量坐标
确定机器人法兰坐标系与激光跟踪仪测量坐标系映射关系
(3)根据末端执行器准点的理论坐标
和激光跟踪仪测量坐标
确定激光跟踪仪测量坐标系与末端执行器坐标系映射关系
步骤4、根据步骤3获得的映射关系进一步计算与机器人位姿参数相关的映射关系，具体为：
(1)根据视觉测量***与激光跟踪仪测量坐标系映射关系
机器人法兰坐标系与激光跟踪仪测量坐标系映射关系
计算机器人法兰和视觉测量***坐标系映射关系
(2)根据机器人法兰坐标系与激光跟踪仪测量坐标系映射关系
激光跟踪仪测量坐标系与末端执行器坐标系映射关系
计算机器人法兰和末端执行器坐标系映射关系
步骤1-4为机器人视觉定位***标定过程，在定位***不发生变化或受到外力影响导致定位精度降低时，标定完成后无需重复标定；
步骤5、计算曲面构件在视觉***坐标系中三维坐标，具体为：
(1)在曲面构件角点处粘贴三角形辅助反射靶标将机器人示教至曲面构件上方，确保曲面件在视觉测量***视场范围内，采集曲面构件图像；
(2)使用SIFT算法提取零件至少4个定位特征点，如图3所示，提取的定位特征点不处于同一直线上；
(3)基于对极约束删除冗余匹配点并计算剩余特征点在视觉测量***坐标系中三维坐标
步骤6、根据步骤4中映射关系、步骤5中曲面构件视觉测量坐标计算机器人运动参数，其中坐标系转换过程如图4所示，具体为：
(1)根据重建后的三维坐标
与机器人法兰和视觉测量***坐标系映射关系
计算曲面构件在机器人法兰坐标系中的坐标
(2)根据曲面构件在机器人法兰坐标系中的坐标
机器人法兰和末端执行器坐标系映射关系
计算曲面构件在末端执行器坐标系中的坐标
(3)根据曲面构件在末端执行器坐标系中的坐标
理论模型
进行匹配，获得视觉测量***与曲面构件理论模型坐标系之间的映射关系MMea，将映射关系改写为MMea＝(X Y Z A B C)形式；其中X、Y、Z表示：机器人三个平移运动量，A、B、C 表示机器人三个旋转运动量；
(4)根据曲面构件测量获得的位姿参数MMea＝(X Y Z A B C)Mea与曲面构件理论位姿参数MTheo＝(X Y Z A B C)Theo计算机器人运动量，并驱动机器人至指定位置，如图 5所示。
当驱动量小于阈值tol时，停止调姿；否则重复步骤5、6。
本发明未涉及部分与现有技术相同或可采用现有技术加以实现。
Claims (3)
1.一种面向曲面构件的机器人快速定位方法，其特征是，首先对机器人双目视觉***进行参数标定，包括相机内外参数以及手眼标定参数；然后使用双相机采集目标图像，提取图像中的二维定位特征点，并进行畸变校正；利用相机标定结果将定位特征点二维坐标转换成相机坐标系下的三维测量坐标；最后根据定位特征点的三维测量坐标、理论坐标以及手眼标定参数求解机器人运动参数；具体步骤如下：
步骤1、在机器人法兰、末端执行器以及标定工装上布置测量点作为坐标系转换基准点，三者的基准点同时处于激光跟踪仪测量范围内；
步骤2、分别使用激光跟踪仪和相机获取相关坐标，具体为：
(1)利用激光跟踪仪测量机器人法兰、末端执行器以及标定工装基准点，获得测量坐标
(2)利用视觉测量***测量标定工装基准点，获得测量坐标
步骤3、根据步骤2测量获得的坐标计算与激光跟踪仪测量坐标系相关的映射关系，具体为：
(1)根据标定工装基准点的激光跟踪仪和视觉测量***测量坐标
和
确定视觉测量***与激光跟踪仪测量坐标系映射关系
(2)根据机器人法兰基准点的理论坐标
和激光跟踪仪测量坐标
确定机器人法兰坐标系与激光跟踪仪测量坐标系映射关系
(3)根据末端执行器准点的理论坐标
和激光跟踪仪测量坐标
确定激光跟踪仪测量坐标系与末端执行器坐标系映射关系
步骤4、根据步骤3获得的映射关系进一步计算与机器人位姿参数相关的映射关系，具体为：
(1)根据视觉测量***与激光跟踪仪测量坐标系映射关系
机器人法兰坐标系与激光跟踪仪测量坐标系映射关系
计算机器人法兰和视觉测量***坐标系映射关系
(2)根据机器人法兰坐标系与激光跟踪仪测量坐标系映射关系
激光跟踪仪测量坐标系与末端执行器坐标系映射关系
计算机器人法兰和末端执行器坐标系映射关系
步骤5、计算曲面构件在视觉***坐标系中三维坐标，具体为：
(1)在曲面构件角点处粘贴三角形辅助反射靶标，将机器人示教至曲面构件上方，确保曲面件在视觉测量***视场范围内，采集曲面构件图像；
(2)使用Harris算法提取曲面构件表面三角形辅助反射靶标角点的像素坐标
(3)基于对极约束删除冗余匹配点并计算剩余特征点在视觉测量***坐标系中三维坐标
步骤6、根据步骤4中映射关系、步骤5中曲面构件视觉测量坐标计算机器人运动参数，具体为：
(1)根据重建后的三维坐标
与机器人法兰和视觉测量***坐标系映射关系
计算曲面构件在机器人法兰坐标系中的坐标
(2)根据曲面构件在机器人法兰坐标系中的坐标
机器人法兰和末端执行器坐标系映射关系
计算曲面构件在末端执行器坐标系中的坐标
(3)根据曲面构件在末端执行器坐标系中的坐标
、 理论模型
进行匹配，获得视觉测量***与曲面构件理论模型坐标系之间的映射关系MMea，将映射关系改写为MMea＝(X Y Z A B C)形式；其中X、Y、Z表示：机器人三个平移运动量，A、B、C表示机器人三个旋转运动量；
(4)根据曲面构件测量获得的位姿参数MMea＝(X Y Z A B C)Mea与曲面构件理论位姿参数MTheo＝(X Y Z A B C)Theo计算机器人运动量，并驱动机器人至指定位置。
2.根据权利要求1所述的方法，其特征是所述的机器人法兰、末端执行器以及标定工装均至少布置三个测量点作为基准点。
3.根据权利要求1所述的方法，其特征是驱动机器人至指定位置时的驱动量小于阈值tol时，停止调姿，否则需重复步骤5、步骤6。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910011810 | 2019-01-07 | ||
| CN201910011810X | 2019-01-07 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109794963A CN109794963A (zh) | 2019-05-24 |
| CN109794963B true CN109794963B (zh) | 2021-06-01 |
Family
ID=66559526
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910044449.0A Active CN109794963B (zh) | 2019-01-07 | 2019-01-17 | 一种面向曲面构件的机器人快速定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109794963B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110136208B (zh) * | 2019-05-20 | 2020-03-17 | 北京无远弗届科技有限公司 | 一种机器人视觉伺服***的联合自动标定方法及装置 |
| CN110370286B (zh) * | 2019-08-13 | 2022-04-12 | 西北工业大学 | 基于工业机器人和单目相机的定轴运动刚体空间位置识别方法 |
| CN112109073B (zh) * | 2019-08-30 | 2022-10-04 | 上汽通用五菱汽车股份有限公司 | 一种机器人离线程序的修正装置及方法 |
| CN112082482B (zh) * | 2020-09-09 | 2021-12-17 | 易思维（杭州）科技有限公司 | 对仅有棱边特征工件的视觉定位方法、应用及精度评估方法 |
| CN113580137B (zh) * | 2021-08-12 | 2023-09-22 | 天津大学 | 基于视觉测量的移动机器人基座-工件相对位姿确定方法 |
| CN113643384B (zh) * | 2021-10-12 | 2022-02-08 | 深圳荣耀智能机器有限公司 | 坐标系标定方法、自动组装方法及装置 |
| CN113945152B (zh) * | 2021-10-18 | 2023-09-08 | 易思维（杭州）科技有限公司 | 利用立体块恢复单线结构光三维传感器测量功能的方法 |
| CN114098968B (zh) * | 2021-12-28 | 2022-05-27 | 珠海维尔康生物科技有限公司 | 一种辅助机器人的快速定位跟踪装置 |
| CN115371564B (zh) * | 2022-10-24 | 2023-03-07 | 南京航空航天大学 | 线激光传感器与机器人法兰盘相对位姿标定方法及*** |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013526423A (ja) * | 2010-05-14 | 2013-06-24 | コグネックス・テクノロジー・アンド・インベストメント・コーポレーション | マシンビジョンシステムおよびロボットの間のロバストな較正の装置および方法 |
| CN104864807A (zh) * | 2015-04-10 | 2015-08-26 | 深圳大学 | 一种基于主动双目视觉的机械手手眼标定方法 |
| CN105716525A (zh) * | 2016-03-30 | 2016-06-29 | 西北工业大学 | 基于激光跟踪仪的机器人末端执行器坐标系标定方法 |
| CN106952262A (zh) * | 2017-04-25 | 2017-07-14 | 大连理工大学 | 一种基于立体视觉的船板加工精度分析方法 |
| CN108098762A (zh) * | 2016-11-24 | 2018-06-01 | 广州映博智能科技有限公司 | 一种基于新型视觉引导的机器人定位装置及方法 |
-
2019
- 2019-01-17 CN CN201910044449.0A patent/CN109794963B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013526423A (ja) * | 2010-05-14 | 2013-06-24 | コグネックス・テクノロジー・アンド・インベストメント・コーポレーション | マシンビジョンシステムおよびロボットの間のロバストな較正の装置および方法 |
| CN104864807A (zh) * | 2015-04-10 | 2015-08-26 | 深圳大学 | 一种基于主动双目视觉的机械手手眼标定方法 |
| CN105716525A (zh) * | 2016-03-30 | 2016-06-29 | 西北工业大学 | 基于激光跟踪仪的机器人末端执行器坐标系标定方法 |
| CN108098762A (zh) * | 2016-11-24 | 2018-06-01 | 广州映博智能科技有限公司 | 一种基于新型视觉引导的机器人定位装置及方法 |
| CN106952262A (zh) * | 2017-04-25 | 2017-07-14 | 大连理工大学 | 一种基于立体视觉的船板加工精度分析方法 |
Non-Patent Citations (1)
| Title |
|---|
| 工业机器人视觉定位***的实现;冯志刚 等;《航空科学技术》;20180615;第29卷(第6期);第48-53页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109794963A (zh) | 2019-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109794963B (zh) | 一种面向曲面构件的机器人快速定位方法 | |
| CN110370286B (zh) | 基于工业机器人和单目相机的定轴运动刚体空间位置识别方法 | |
| CN111156925B (zh) | 基于线结构光和工业机器人的大构件三维测量方法 | |
| CN107139178B (zh) | 一种无人机及其基于视觉的抓取方法 | |
| CN109291048B (zh) | 一种磨抛工业机器人实时在线编程***及方法 | |
| CN110906863B (zh) | 一种用于线结构光传感器的手眼标定***及标定方法 | |
| CN111426270B (zh) | 一种工业机器人位姿测量靶标装置和关节位置敏感误差标定方法 | |
| CN111415391A (zh) | 一种采用互拍法的多目相机外部方位参数标定方法 | |
| CN105806309A (zh) | 基于激光三角测距的机器人零位标定***与方法 | |
| CN111043963A (zh) | 基于二维激光雷达的车厢容器的三维扫描***测量方法 | |
| CN112017248B (zh) | 一种基于点线特征的2d激光雷达相机多帧单步标定方法 | |
| CN112958960B (zh) | 一种基于光学靶标的机器人手眼标定装置 | |
| CN109059755B (zh) | 一种机器人高精度手眼标定方法 | |
| CN112109072B (zh) | 一种大型稀疏特征托盘精确6d位姿测量和抓取方法 | |
| CN115284292A (zh) | 基于激光相机的机械臂手眼标定方法及装置 | |
| CN113681559B (zh) | 一种基于标准圆柱的线激光扫描机器人手眼标定方法 | |
| CN115139283A (zh) | 基于随机标记点阵的机器人手眼标定方法 | |
| CN113781558B (zh) | 一种姿态与位置解耦的机器人视觉寻位方法 | |
| CN110962127A (zh) | 一种用于机械臂末端位姿辅助标定装置及其标定方法 | |
| CN111121628A (zh) | 基于二维激光雷达的车厢容器的三维扫描***标定方法 | |
| CN112700505B (zh) | 一种基于双目三维跟踪的手眼标定方法、设备及存储介质 | |
| CN111906767A (zh) | 基于双目结构光的视觉纠偏机械臂及纠偏方法 | |
| CN114046889B (zh) | 一种红外相机的自动化标定方法 | |
| CN111028298B (zh) | 一种用于刚体坐标系空间变换标定的汇聚式双目*** | |
| CN112123329A (zh) | 一种机器人3d视觉手眼标定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |