CN111906767A - 基于双目结构光的视觉纠偏机械臂及纠偏方法 - Google Patents
基于双目结构光的视觉纠偏机械臂及纠偏方法 Download PDFInfo
- Publication number
- CN111906767A CN111906767A CN202010631576.3A CN202010631576A CN111906767A CN 111906767 A CN111906767 A CN 111906767A CN 202010631576 A CN202010631576 A CN 202010631576A CN 111906767 A CN111906767 A CN 111906767A
- Authority
- CN
- China
- Prior art keywords
- mechanical arm
- structured light
- delta
- gripper
- piece
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000001514 detection method Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000006073 displacement reaction Methods 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 5
- 238000003466 welding Methods 0.000 claims description 5
- 239000003292 glue Substances 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims description 3
- 239000013307 optical fiber Substances 0.000 claims 1
- 230000000007 visual effect Effects 0.000 claims 1
- 238000012544 monitoring process Methods 0.000 abstract description 2
- 238000003860 storage Methods 0.000 abstract description 2
- 238000004026 adhesive bonding Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 208000003164 Diplopia Diseases 0.000 description 1
- 208000029444 double vision Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/10—Programme-controlled manipulators characterised by positioning means for manipulator elements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J15/00—Gripping heads and other end effectors
- B25J15/08—Gripping heads and other end effectors having finger members
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J18/00—Arms
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
基于双目结构光的视觉纠偏机械臂及纠偏方法，通过工业PC控制机械臂控制器，驱动机械臂带动抓手实现定位，同时通过双目结构结构光设备对移动到特定位置的待检测件进行检测，通过检测的结果与原始保存位置进行比较，再进行纠偏处理，达到抓手的精确控制，可以实现对特定位置的监测和纠偏操作，适用于操作位置精度不高、随机性较大、效率要求高的场合使用。
Description
技术领域
本发明涉及机械自动化领域，具体涉及一种基于双目结构光的视觉纠偏机械臂及纠偏方法。
背景技术
双目结构光为主动视觉领域，一直以来被应用到三维重建、逆向工程等领域。双目结构光为一套双视觉***与一套结构光***，通过标定而进行整合的多功能***。由于双目立体视觉在对象二维图像匹配方面拥有自身的优点，然后在对象的三维重构中严重依赖于外接光线，同时拥有像素计算匹配难度大、计算量大等缺陷。
作为主动视觉的结构光，通过自主发射光线建立对象的三维信息刚好弥补了双目视觉对于光线依赖的这个缺陷，同时，结构光在三维重建过程中具有速度快、精度高等优点，大大的满足了人们对于物体各个表面信息提取的需求。
在工业生产中，应用双目视觉首先采集到对象的二维信息，并且对其进行匹配，接着应用结构光对对象特征位置进行三维重建，得出特征的具体三维信息。，大的提高了生产加工的精度。
现有技术中也有双目结构光的技术，例如中国专利文献CN 208795188U记载了一种结构光双目视觉检测***，适用于不同尺寸和精度要求的三维检测，一体化程度高，可实时显示当前检测物的三维轮廓，时效性强，应用前景广，但对于运动中的物体无法进行跟踪就定位纠偏。
发明内容
本发明所要解决的技术问题是提供一种基于双目结构光的视觉纠偏机械臂及纠偏方法，该***能够判断出待检测件相对于标准件在特征区域上抓取点的空间三维坐标的偏移量，并且可以将这些偏移量传送给相应的机械抓取机构，便于抓取机构完成准确抓取，实现***的整个纠偏过程。
为解决上述技术问题，本发明所采用的技术方案是：
基于双目结构光的视觉纠偏机械臂，包括工业PC，工业PC与机械臂控制器通过总线连接，机械臂控制器控制机械臂进行定位，机械臂上固定连接有抓手，抓手由抓手控制器连接控制，抓手控制器与工业PC连接，工业PC还连接有双目结构光设备，工业PC与双目结构光设备通过Ethernet进行连接，由于结构光连接的为三根千兆网线，在连接过程中需要交换机，工业PC与抓手控制器通过USB进行连接，
上述的抓手通过固定件与机械臂末端实现刚性连接，通过控制机械臂可以实现对抓手的控制。
上述的双目结构光设备独立于机械臂外，由相应的机械支撑进行支撑，并与机械臂底座一直保持相对静止状态，双目结构光设备固定完成后与机械臂底座保持固定的相对位置，在进行初始位置标定时不会因为机械臂的移动而是初始位置改变。
上述的工业PC与机械臂控制器之间的总线为Profinet总线，工业级通用总线可以拥有更快的响应速度以及可选的备件支持。
上述的抓手为定位的胶枪或者焊枪，纠偏后的抓手可以实现高精度的打胶或者焊接操作。
使用上述机械臂的纠偏方法，其特征在于，具体步骤为：
步骤一：控制机械臂带动抓手运动定位到一个初始位置P点；
步骤二：双目结构光设备采集冤死标准件特征区域的图像与相应的三维云点信息，计算出特征区域中待抓取点的空间位置坐标记为(X0，Y0，Z0)；
步骤三：工业PC将待抓取点的坐标(X0，Y0，Z0)换算成抓手的抓取位置，控制机械臂带动抓手对工件实施抓取动作后，又回复到初始位置P0点；
步骤四：当待检测件运动至固定工位后，重复步骤二的相应操作，即获取待检测件的空间位置坐标(X1，Y1，Z1)，计算其与(X0，Y0，Z0)之间的偏差位移(△X，△Y，△Z)，如果偏差位移(△X，△Y，△Z)在偏差阈值范围内，则控制机械臂带动抓手重复步骤三，如果偏差位移(△X，△Y，△Z)不在偏差阈值范围内，则将待抓取点的坐标(X0，Y0，Z0)更改为(X0+△X，Y0+△Y，Z0+△Z)，重复步骤三；
步骤五：当有待检测件时，重复步骤四，当无待检测件时控制抓手定位在初始位置P0点。
上述步骤四中，偏差位移(△X，△Y，△Z)中△X、△Y、△Z均为带有正负方向的矢量值。
上述的双目结构光设备的检测步骤为：
步骤一：双目相机采集待检测件/原始标准件的二维图像；
步骤二：将二维图像进行灰度化处理，再进行二值化处理；
步骤三：二值化后的图像进行特征检测，检测到特征后找出相应的抓取点，即抓取点的二维坐标(X，Y)值；
步骤四：应用双目相机与结构光采集待检测件/原始标准件的光栅图像；
步骤五：对所得的光栅图像进行基本的图像处理；
步骤六：将左右目相机所得的光栅图像进行三维匹配；
步骤七：根据步骤三中得到的二维检测特征映射到相应的三维匹配点云区域；
步骤八：根据步骤三中抓取点的二维坐标(X，Y)，以及步骤七中得到的特征区域点云信息，找出抓取点所对应的Z方向值。
本发明提供的一种基于双目结构光的视觉纠偏机械臂及纠偏方法，通过工业PC控制机械臂控制器，驱动机械臂带动抓手实现定位，同时通过双目结构结构光设备对移动到特定位置的待检测件进行检测，通过检测的结果与原始保存位置进行比较，再进行纠偏处理，达到抓手的精确控制，可以实现对特定位置的监测和纠偏操作，适用于操作位置精度不高、随机性较大、效率要求高的场合使用。
附图说明
下面结合附图和实施例对本发明作进一步说明：
图1为本发明的结构四示意图；
图2为本发明的运行流程；
图3为本发明空间坐标结算过程示意图。
图中：工业PC1、双目结构光设备2、机械臂控制器3、机械臂4、抓手5、抓手控制器6。
具体实施方式
如图1中所示，基于双目结构光的视觉纠偏机械臂，包括工业PC1，工业PC1与机械臂控制器3通过总线连接，机械臂控制器3控制机械臂4进行定位，机械臂4上固定连接有抓手5，抓手5由抓手控制器6连接控制，抓手控制器6与工业PC1连接，工业PC1还连接有双目结构光设备2，工业PC1与双目结构光设备2通过Ethernet进行连接，由于结构光连接的为三根千兆网线，在连接过程中需要交换机，工业PC1与抓手控制器6通过USB进行连接，
上述的抓手5通过固定件与机械臂4末端实现刚性连接，通过控制机械臂4可以实现对抓手5的控制。
上述的双目结构光设备2独立于机械臂4外，由相应的机械支撑进行支撑，并与机械臂4底座一直保持相对静止状态，双目结构光设备2固定完成后与机械臂4底座保持固定的相对位置，在进行初始位置标定时不会因为机械臂4的移动而是初始位置改变。
如图1中所示，上述的工业PC1与机械臂控制器3之间的总线为Profinet总线，工业级通用总线可以拥有更快的响应速度以及可选的备件支持。
上述的抓手5为定位的胶枪或者焊枪，纠偏后的抓手5可以实现高精度的打胶或者焊接操作。
如图2中所示，使用上述机械臂的纠偏方法，其特征在于，具体步骤为：
步骤一：控制机械臂4带动抓手5运动定位到一个初始位置P0点；
步骤二：双目结构光设备2采集冤死标准件特征区域的图像与相应的三维云点信息，计算出特征区域中待抓取点的空间位置坐标记为X0，Y0，Z0；
步骤三：工业PC1将待抓取点的坐标X0，Y0，Z0换算成抓手5的抓取位置，控制机械臂4带动抓手5对工件实施抓取动作后，又回复到初始位置P0点；
步骤四：当待检测件运动至固定工位后，重复步骤二的相应操作，即获取待检测件的空间位置坐标X1，Y1，Z1，计算其与X0，Y0，Z0之间的偏差位移△X，△Y，△Z，如果偏差位移△X，△Y，△Z在偏差阈值范围内，则控制机械臂4带动抓手5重复步骤三，如果偏差位移△X，△Y，△Z不在偏差阈值范围内，则将待抓取点的坐标X0，Y0，Z0更改为X0+△X，Y0+△Y，Z0+△Z，重复步骤三；
步骤五：当有待检测件时，重复步骤四，当无待检测件时控制抓手5定位在初始位置P0点。
上述步骤四中，偏差位移△X，△Y，△Z中△X、△Y、△Z均为带有正负方向的矢量值。
如图3中所示，上述的双目结构光设备2的检测步骤为：
步骤一：双目相机采集待检测件/原始标准件的二维图像；
步骤二：将二维图像进行灰度化处理，再进行二值化处理；
步骤三：二值化后的图像进行特征检测，检测到特征后找出相应的抓取点，即抓取点的二维坐标X，Y值；
步骤四：应用双目相机与结构光采集待检测件/原始标准件的光栅图像；
步骤五：对所得的光栅图像进行基本的图像处理；
步骤六：将左右目相机所得的光栅图像进行三维匹配；
步骤七：根据步骤三中得到的二维检测特征映射到相应的三维匹配点云区域；
步骤八：根据步骤三中抓取点的二维坐标X，Y，以及步骤七中得到的特征区域点云信息，找出抓取点所对应的Z方向值。
Claims (7)
1.基于双目结构光的视觉纠偏机械臂，其特征是：包括工业PC(1)，工业PC(1)与机械臂控制器(3)通过总线连接，机械臂控制器(3)控制机械臂(4)进行定位，机械臂(4)上固定连接有抓手(5)，抓手(5)由抓手控制器(6)连接控制，抓手控制器(6)与工业PC(1)连接，工业PC(1)还连接有双目结构光设备(2)。
2.根据权利要求1所述的基于双目结构光的视觉纠偏机械臂，其特征在于，所述的抓手(5)通过固定件与机械臂(4)末端实现刚性连接；
所述的双目结构光设备(2)独立于机械臂(4)外，由相应的机械支撑进行支撑，并与机械臂(4)底座一直保持相对静止状态。
3.根据权利要求1所述的基于双目结构光的视觉纠偏机械臂，其特征是：所述的工业PC(1)与机械臂控制器(3)之间的总线为Profinet总线。
4.根据权利要求2所述的基于双目结构光的视觉纠偏机械臂，其特征是：所述的抓手(5)为定位的胶枪或者焊枪。
5.使用上述权利要求1-4所述机械臂的纠偏方法，其特征在于，具体步骤为：
步骤一：控制机械臂(4)带动抓手(5)运动定位到一个初始位置P0点；
步骤二：双目结构光设备(2)采集冤死标准件特征区域的图像与相应的三维云点信息，计算出特征区域中待抓取点的空间位置坐标记为(X0，Y0，Z0)；
步骤三：工业PC(1)将待抓取点的坐标(X0，Y0，Z0)换算成抓手(5)的抓取位置，控制机械臂(4)带动抓手(5)对工件实施抓取动作后，又回复到初始位置P0点；
步骤四：当待检测件运动至固定工位后，重复步骤二的相应操作，即获取待检测件的空间位置坐标(X1，Y1，Z1)，计算其与(X0，Y0，Z0)之间的偏差位移(△X，△Y，△Z)，如果偏差位移(△X，△Y，△Z)在偏差阈值范围内，则控制机械臂(4)带动抓手(5)重复步骤三，如果偏差位移(△X，△Y，△Z)不在偏差阈值范围内，则将待抓取点的坐标(X0，Y0，Z0)更改为(X0+△X，Y0+△Y，Z0+△Z)，重复步骤三；
步骤五：当有待检测件时，重复步骤四，当无待检测件时控制抓手(5)定位在初始位置P0点。
6.根据权利要求5中所述的纠偏方法，其特征是：所述的步骤四中，偏差位移(△X，△Y，△Z)中△X、△Y、△Z均为带有正负方向的矢量值。
7.根据权利要求5中所述的纠偏方法，其特征在于，所述的双目结构光设备(2)的检测步骤为：
步骤一：双目相机采集待检测件/原始标准件的二维图像；
步骤二：将二维图像进行灰度化处理，再进行二值化处理；
步骤三：二值化后的图像进行特征检测，检测到特征后找出相应的抓取点，即抓取点的二维坐标(X，Y)值；
步骤四：应用双目相机与结构光采集待检测件/原始标准件的光栅图像；
步骤五：对所得的光栅图像进行基本的图像处理；
步骤六：将左右目相机所得的光栅图像进行三维匹配；
步骤七：根据步骤三中得到的二维检测特征映射到相应的三维匹配点云区域；
步骤八：根据步骤三中抓取点的二维坐标(X，Y)，以及步骤七中得到的特征区域点云信息，找出抓取点所对应的Z方向值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010631576.3A CN111906767A (zh) | 2020-07-03 | 2020-07-03 | 基于双目结构光的视觉纠偏机械臂及纠偏方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010631576.3A CN111906767A (zh) | 2020-07-03 | 2020-07-03 | 基于双目结构光的视觉纠偏机械臂及纠偏方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111906767A true CN111906767A (zh) | 2020-11-10 |
Family
ID=73227255
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010631576.3A Pending CN111906767A (zh) | 2020-07-03 | 2020-07-03 | 基于双目结构光的视觉纠偏机械臂及纠偏方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111906767A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115167198A (zh) * | 2022-06-21 | 2022-10-11 | 沈阳新松机器人自动化股份有限公司 | 一种双末端机械手的晶圆纠偏***及方法 |
| CN116086359A (zh) * | 2023-04-07 | 2023-05-09 | 杭州键嘉医疗科技股份有限公司 | 一种手术器械追踪阵列的误差测量装置及方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10315166A (ja) * | 1997-05-22 | 1998-12-02 | Kawasaki Heavy Ind Ltd | 注視機能を付加した遠隔視覚提示装置 |
| CN101486124A (zh) * | 2009-02-13 | 2009-07-22 | 南京工程学院 | 多结构光双目复合视觉焊缝跟踪方法及装置 |
| CN103028816A (zh) * | 2012-12-24 | 2013-04-10 | 上海电机学院 | 基于结构光双目视觉传感的焊接装置及方法 |
| CN104942404A (zh) * | 2015-07-15 | 2015-09-30 | 广东工业大学 | 双波长双目视觉焊缝跟踪方法及跟踪*** |
| CN107767423A (zh) * | 2017-10-10 | 2018-03-06 | 大连理工大学 | 一种基于双目视觉的机械臂目标定位抓取方法 |
| CN107907048A (zh) * | 2017-06-30 | 2018-04-13 | 长沙湘计海盾科技有限公司 | 一种基于线结构光扫描的双目立体视觉三维测量方法 |
-
2020
- 2020-07-03 CN CN202010631576.3A patent/CN111906767A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10315166A (ja) * | 1997-05-22 | 1998-12-02 | Kawasaki Heavy Ind Ltd | 注視機能を付加した遠隔視覚提示装置 |
| CN101486124A (zh) * | 2009-02-13 | 2009-07-22 | 南京工程学院 | 多结构光双目复合视觉焊缝跟踪方法及装置 |
| CN103028816A (zh) * | 2012-12-24 | 2013-04-10 | 上海电机学院 | 基于结构光双目视觉传感的焊接装置及方法 |
| CN104942404A (zh) * | 2015-07-15 | 2015-09-30 | 广东工业大学 | 双波长双目视觉焊缝跟踪方法及跟踪*** |
| CN107907048A (zh) * | 2017-06-30 | 2018-04-13 | 长沙湘计海盾科技有限公司 | 一种基于线结构光扫描的双目立体视觉三维测量方法 |
| CN107767423A (zh) * | 2017-10-10 | 2018-03-06 | 大连理工大学 | 一种基于双目视觉的机械臂目标定位抓取方法 |
Non-Patent Citations (1)
| Title |
|---|
| 梁晋等: "《3D反求技术》", 31 January 2019, 华中科技大学出版社 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115167198A (zh) * | 2022-06-21 | 2022-10-11 | 沈阳新松机器人自动化股份有限公司 | 一种双末端机械手的晶圆纠偏***及方法 |
| CN116086359A (zh) * | 2023-04-07 | 2023-05-09 | 杭州键嘉医疗科技股份有限公司 | 一种手术器械追踪阵列的误差测量装置及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111775154B (zh) | 一种机器人视觉*** | |
| CN108182689B (zh) | 应用于机器人搬运打磨领域的板状工件三维识别定位方法 | |
| CN109794963B (zh) | 一种面向曲面构件的机器人快速定位方法 | |
| CN102825602B (zh) | 一种基于psd的工业机器人自标定方法及装置 | |
| CN108098762A (zh) | 一种基于新型视觉引导的机器人定位装置及方法 | |
| CN108326850B (zh) | 一种机器人准确移动机械臂到达指定位置的方法及*** | |
| CN108942918B (zh) | 一种基于线结构光的立体定位方法 | |
| CN102922521A (zh) | 一种基于立体视觉伺服的机械臂***及其实时校准方法 | |
| CN109291048B (zh) | 一种磨抛工业机器人实时在线编程***及方法 | |
| CN111687885B (zh) | 一种用于无序零件装配的智能双臂机器人***及视觉引导方法 | |
| CN112917513A (zh) | 一种基于机器视觉的三维点胶针头的tcp标定方法 | |
| CN111906767A (zh) | 基于双目结构光的视觉纠偏机械臂及纠偏方法 | |
| CN112648934B (zh) | 一种自动化弯管几何形态检测方法 | |
| CN112958960B (zh) | 一种基于光学靶标的机器人手眼标定装置 | |
| CN113379849A (zh) | 基于深度相机的机器人自主识别智能抓取方法及*** | |
| CN112643207B (zh) | 基于计算机视觉的激光自动除锈***及方法 | |
| CN109465829A (zh) | 一种基于转换矩阵误差模型的工业机器人几何参数辨识方法 | |
| CN111531407A (zh) | 一种基于图像处理的工件姿态快速测量方法 | |
| CN115042175A (zh) | 一种机器人机械臂末端姿态的调整方法 | |
| CN110568866B (zh) | 一种三维立体曲面视觉引导对位***及对位方法 | |
| CN111267094A (zh) | 一种基于双目视觉的工件定位与抓取方法 | |
| CN110962127B (zh) | 一种用于机械臂末端位姿辅助标定装置及其标定方法 | |
| CN114074331A (zh) | 一种基于视觉的无序抓取方法及机器人 | |
| CN115609586B (zh) | 一种基于抓取位姿约束的机器人高精度装配方法 | |
| CN215970736U (zh) | 基于三维视觉引导的钢轨打标装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20201110 |
|
| WD01 | Invention patent application deemed withdrawn after publication |