CN115122331A - 工件抓取方法及装置 - Google Patents
工件抓取方法及装置 Download PDFInfo
- Publication number
- CN115122331A CN115122331A CN202210846168.9A CN202210846168A CN115122331A CN 115122331 A CN115122331 A CN 115122331A CN 202210846168 A CN202210846168 A CN 202210846168A CN 115122331 A CN115122331 A CN 115122331A
- Authority
- CN
- China
- Prior art keywords
- workpiece
- real
- posture
- point
- state feedback
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 239000011159 matrix material Substances 0.000 claims description 45
- 230000009466 transformation Effects 0.000 claims description 38
- 239000012636 effector Substances 0.000 claims description 37
- 230000000007 visual effect Effects 0.000 claims description 25
- 238000004364 calculation method Methods 0.000 claims description 24
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 239000003550 marker Substances 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1692—Calibration of manipulator
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Abstract
本发明提供一种工件抓取方法及装置,在本发明中,设立状态反馈点,抓取工件之前,先获取状态反馈点的实时理论姿态并判断其是否满足抓取容差要求,满足抓取容差要求的则进一步计算得到工件抓取点的实时理论姿态,并根据工件抓取点的实时理论姿态引导机器人***抓取工件,也就是说,在状态反馈点可自主判断实时理论姿态是否能成功完成工件抓取,能成功抓取的则进行抓取,不能成功抓取的则不再进行抓取,这有效提升了机器人***的工件抓取效率,避免了因为定位姿态的偏差超过阈值而出现的工件抓取失败现象,方案简单易实施,实用性强、适用性广。
Description
技术领域
本发明涉及工业自动化技术领域,尤其涉及一种工件抓取方法及装置。
背景技术
随着计算机技术、自动化硬件水平的提高,机器人等自动化设备在工业现场的应用愈发普遍。工件抓取是机器人的常见任务,机器人抓取前需要获取工件的姿态信息,针对无法直接定位的工件,比较常见的方式是预设易于定位的标靶,通过对标靶的定位来实现对工件的间接定位,进而通过定位信息引导机器人完成抓取动作,但是,其通常缺少判断定位信息是否足够准确的技术,当定位姿态的偏差超过阈值时会出现抓取失败的情况。
因此,目前亟需一种具备定位信息判断反馈的机器人工件抓取方案。
发明内容
鉴于以上所述现有技术的缺点,本发明提供一种基于视觉引导的工件抓取技术方案,在抓取工件之前,先判断定位信息是否满足抓取要求,以避免定位信息不准所引起的抓取失败现象。
为实现上述目的及其他相关目的,本发明提供的技术方案如下。
一种工件抓取方法,包括:
设立机器人***的状态反馈点及工件抓取点,进行姿态转换关系预标定,获取标志板到所述状态反馈点的姿态变换矩阵及所述状态反馈点到所述工件抓取点的姿态变换矩阵,所述标志板设置在待抓取工件上;
获取所述标志板的实时姿态,并结合所述标志板到所述状态反馈点的姿态变换矩阵,计算得到所述状态反馈点的实时理论姿态;
判断所述状态反馈点的实时理论姿态是否满足抓取容差要求,若所述状态反馈点的实时理论姿态满足抓取容差要求,则结合所述状态反馈点到所述工件抓取点的姿态变换矩阵,计算得到所述工件抓取点的实时理论姿态,并根据所述工件抓取点的实时理论姿态引导所述机器人***抓取所述待抓取工件。
可选地,在设立机器人***的状态反馈点及工件抓取点,进行姿态转换关系预标定之前,所述工件抓取方法,还包括:
建立定位标靶与感知***,所述定位标靶设置在所述待抓取工件上,所述定位标靶包括标志板、挡板和连接板,所述标志板与所述挡板平行设置,且所述标志板的板面投影与所述挡板的板面投影存在重叠部分,所述标志板与所述挡板通过连接板固定连接,所述感知***包括工业相机、激光测距仪和姿态计算模块,所述机器人***包括机器人本体和末端执行器,所述工业相机和所述激光测距仪分别设置在所述末端执行器上。
可选地,所述标志板的板面上设置有视觉定位图案,所述标志板的板面上还设置有若干个圆心不共线的通孔,所述通孔的半径小于等于所述末端执行器抓取所述待抓取工件时的容差。
可选地,设立机器人***的状态反馈点及工件抓取点,进行姿态转换关系预标定,获取标志板到所述状态反馈点的姿态变换矩阵及所述状态反馈点到所述工件抓取点的姿态变换矩阵的步骤,包括:
通过所述工业相机采集所述视觉定位图案的图像,通过所述姿态计算模块对所述视觉定位图案的图像进行处理,得到所述标志板的姿态;
设立所述状态反馈点,调节所述机器人***的姿态,开启所述激光测距仪并使所述激光测距仪的光点穿透所述标志板上通孔的中心区域并到达所述挡板,得到所述激光测距仪到所述挡板的理想距离参数;通过所述姿态计算模块,根据所述机器人***在所述状态反馈点的姿态和所述标志板的姿态计算得到所述标志板到所述状态反馈点的姿态变换矩阵;
通过示教设立所述工件抓取点,通过所述姿态计算模块,根据所述机器人***在所述工件抓取点的姿态和所述机器人***在所述状态反馈点的姿态计算得到所述状态反馈点到所述工件抓取点的姿态变换矩阵。
可选地,获取所述标志板的实时姿态,并结合所述标志板到所述状态反馈点的姿态变换矩阵,计算得到所述状态反馈点的实时理论姿态的步骤,包括:
通过所述工业相机采集所述视觉定位图案的实时图像,通过所述姿态计算模块对所述视觉定位图案的实时图像进行处理,得到所述标志板的实时姿态;
通过所述姿态计算模块,根据所述标志板的实时姿态和所述标志板到所述状态反馈点的姿态变换矩阵计算得到所述状态反馈点的实时理论姿态。
可选地,判断所述状态反馈点的实时理论姿态是否满足抓取容差要求的步骤,包括:
将所述机器人***移动到所述状态反馈点的实时理论姿态,开启所述激光测距仪并获取所述激光测距仪到所述挡板的实时距离参数;
获取所述末端执行器抓取所述待抓取工件时的容差范围,比较所述理想距离参数与所述实时距离参数,若所述理想距离参数与所述实时距离参数的差值在所述容差范围之内,则所述状态反馈点的实时理论姿态满足抓取容差要求,若所述理想距离参数与所述实时距离参数的差值在所述容差范围之外,则所述状态反馈点的实时理论姿态不满足抓取容差要求。
可选地,结合所述状态反馈点到所述工件抓取点的姿态变换矩阵,计算得到所述工件抓取点的实时理论姿态,并根据所述工件抓取点的实时理论姿态引导所述机器人***抓取所述待抓取工件的步骤,包括:
通过所述姿态计算模块,根据所述状态反馈点的实时理论姿态和所述状态反馈点到所述工件抓取点的姿态变换矩阵计算得到所述工件抓取点的实时理论姿态;
根据所述工件抓取点的实时理论姿态,引导所述机器人***移动并驱动所述末端执行器抓取所述待抓取工件。
可选地,若所述状态反馈点的实时理论姿态不满足抓取容差要求,则重新设立所述状态反馈点及所述工件抓取点,再次进行姿态转换关系预标定,重新获取所述标志板的实时姿态并对所述状态反馈点的实时理论姿态进行更新,直到所述状态反馈点的实时理论姿态满足抓取容差要求。
一种工件抓取装置,包括:
定位标靶,设置在待抓取工件上;
机器人***;
感知***,设置在所述机器人***上,用于获取所述定位标靶的实时姿态,并通过预标定的姿态转换关系得到状态反馈点的实时理论姿态和工件抓取点的实时理论姿态,还用于判断所述状态反馈点的实时理论姿态是否满足抓取容差要求,并根据满足抓取容差要求的所述工件抓取点的实时理论姿态引导所述机器人***抓取所述待抓取工件。
可选地,所述定位标靶包括标志板、挡板和连接板,所述标志板与所述挡板平行设置,且所述标志板的板面投影与所述挡板的板面投影存在重叠部分,所述标志板与所述挡板通过连接板固定连接;所述机器人***包括机器人本体和末端执行器,所述末端执行器设置在所述机器人本体上;所述感知***包括工业相机、激光测距仪和姿态计算模块,所述工业相机和所述激光测距仪分别设置在所述末端执行器上。
可选地,所述标志板的板面上设置有视觉定位图案,所述标志板的板面上还设置有若干个圆心不共线的通孔,所述通孔的半径小于等于所述末端执行器抓取所述待抓取工件时的容差。
如上所述,本发明提供的工件抓取方法及装置,至少具有以下有益效果:
设立状态反馈点,抓取工件之前,先获取状态反馈点的实时理论姿态并判断其是否满足抓取容差要求,满足抓取容差要求的则进一步计算得到工件抓取点的实时理论姿态,并根据工件抓取点的实时理论姿态引导机器人***抓取工件,也就是说,在状态反馈点可自主判断实时理论姿态是否能成功完成工件抓取,能成功抓取的则进行抓取,不能成功抓取的则不再进行抓取,这有效提升了机器人***的工件抓取效率,避免了因为定位姿态的偏差超过阈值而出现的工件抓取失败现象,方案简单易实施,实用性强、适用性广。
附图说明
图1是本发明中工件抓取方法的步骤示意图;
图2是本发明一可选实施例中工件抓取装置的结构示意图;
图3-图4是图2中定位标靶1的结构示意图;
图5-图6是发明中工件抓取方法的部分流程示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。
需要说明的是,本实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。本说明书所附图式所绘示的结构、比例、大小等,均仅用以配合说明书所揭示的内容,以供熟悉此技术的人士了解与阅读,并非用以限定本发明可实施的限定条件,故不具技术上的实质意义,任何结构的修饰、比例关系的改变或大小的调整,在不影响本发明所能产生的功效及所能达成的目的下,均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
如前述在背景技术中所述的,发明人研究发现:针对无法直接定位工件的抓取作业,一般是预设标靶,通过对标靶的定位来实现对工件的间接定位,进而通过定位信息引导机器人完成抓取动作,但是,很多时候得到的定位信息的精准度不够,定位信息不够准确,当定位姿态的偏差超过机器人抓取工件时的容差范围之后,仍然依据该定位姿态进行引导抓取时会出现工件抓取失败的情况,这明显影响了工件的抓取准确度和抓取效率。
基于此,发明人提出一种基于视觉引导的工件抓取技术方案:在工件抓取点之前设立状态反馈点,在状态反馈点判断对应的实时理论姿态是否满足抓取容差要求,满足抓取容差要求的进一步计算工件抓取点的实时理论姿态,并根据工件抓取点的实时理论姿态引导机器人***抓取工件,不满足要求的则持续更新直到其满足抓取容差要求。
如图1所示,本发明提供一种工件抓取方法,其包括步骤:
S1、设立机器人***的状态反馈点及工件抓取点,进行姿态转换关系预标定,获取标志板到状态反馈点的姿态变换矩阵及状态反馈点到工件抓取点的姿态变换矩阵,标志板设置在待抓取工件上;
S2、获取标志板的实时姿态,并结合标志板到状态反馈点的姿态变换矩阵,计算得到状态反馈点的实时理论姿态;
S3、判断状态反馈点的实时理论姿态是否满足抓取容差要求,若状态反馈点的实时理论姿态满足抓取容差要求,则结合状态反馈点到工件抓取点的姿态变换矩阵,计算得到工件抓取点的实时理论姿态,并根据工件抓取点的实时理论姿态引导机器人***抓取待抓取工件。
详细地,如图1所示,在设立机器人***的状态反馈点及工件抓取点,进行姿态转换关系预标定的步骤S1之前,工件抓取方法,还包括步骤:
S0、建立定位标靶1与感知***2,定位标靶设置1在待抓取工件0上,定位标靶1包括标志板11和挡板12,标志板11与挡板12平行设置,感知***2包括工业相机21、激光测距仪22和姿态计算模块(图中未示出),机器人***3包括机器人本体31和末端执行器32,工业相机21和激光测距仪22分别设置在末端执行器32上。
详细地,如图2所示,在机器人***3中,末端执行器32设置在机器人本体31上,机器人本体31可自由移动,末端执行器32可执行抓取动作;在步骤S10中,首先,根据待抓取工件0的物理特征和末端执行器32抓取待抓取工件0时的容差设计、搭建定位标靶1,并将定位标靶1固定安装在待抓取工件0上。
更详细地,如图2及图3所示,定位标靶1设置在待抓取工件0上,定位标靶1包括标志板11、挡板12和连接板13,标志板11与挡板12平行设置,且标志板11的板面在YZ平面内的投影与挡板12的板面在YZ平面内的投影存在重叠部分,标志板11与挡板12通过连接板13固定连接,标志板11与挡板12在X轴方向的间隔距离可调节,即连接板13在X轴方向的尺寸可调节,通常设定为3cm~5cm。定位标靶1的整体尺寸与待抓取工件0的物理特征和末端执行器32抓取待抓取工件0时的容差相匹配。
更详细地,如图4所示,在标志板11的中心设立定位区域112,其余区域为反馈区域111,标志板11的板面上定位区域112处设置有视觉定位图案,该视觉定位图案可以是定位二维码等常见的开源视觉定位图案,该视觉定位图案有其配套的图像处理算法,可通过算法计算获得标志板11的三维姿态信息,如apritag系列图案及图像处理算法;标志板11的板面上反馈区域111处设置有若干个圆心不共线的通孔A,通孔A的数量和半径根据末端执行器32抓取待抓取工件0时的容差而定,通孔A的半径小于等于末端执行器32抓取待抓取工件0时的容差,如末端执行器32抓取待抓取工件0时在某方向上有±2mm的容差,则通孔A的半径可设计为2mm,通孔A的数量根据容差精度要求决定,容差精度越高,则通孔A的数量越多,在保证三维容差精度的基础上可进一步限定末端执行器32的旋转角度精度,通常1~3个通孔即可。
更详细地,如图2所示,定位标靶1固定安装在待抓取工件0上,安装位置根据实际情况而定;标志板11与挡板12平行设置,且标志板11的板面在YZ平面内的投影与挡板12的板面在YZ平面内的投影存在重叠部分,使得后续在进行状态反馈点否满足抓取容差要求判断时穿透标志板11上通孔A的激光测距仪22的光点能射到挡板12上并发生反射。
更详细地,如图2所示,在步骤S10中,还要根定位标靶1的设置相应地设计并搭建感知***2,感知***2包括工业相机21、激光测距仪22和姿态计算模块(图中未示出),工业相机21和激光测距仪22分别设置在末端执行器32上,姿态计算模块可设置在机器人本体31上,其中,激光测距仪22的数量和位置与标志板11上通孔A的数量和位置一一对应。
详细地,设立机器人***的状态反馈点及工件抓取点,进行姿态转换关系预标定,获取标志板到状态反馈点的姿态变换矩阵及状态反馈点到工件抓取点的姿态变换矩阵的步骤S1,进一步包括:
S11、如图5所示,通过工业相机21采集视觉定位图案的图像,通过姿态计算模块对视觉定位图案的图像进行处理,得到标志板11的姿态;
S12、设立状态反馈点,如图6所示,调节机器人***3的姿态,开启激光测距仪22并使激光测距仪22的光点穿透标志板11上通孔A的中心区域并到达挡板12,得到激光测距仪22到挡板12的理想距离参数并保存;通过姿态计算模块,根据机器人***3在状态反馈点的姿态和标志板11的姿态计算得到标志板11到状态反馈点的姿态变换矩阵;
S13、通过示教设立工件抓取点,通过姿态计算模块,根据机器人***3在工件抓取点的姿态和机器人***3在状态反馈点的姿态计算得到状态反馈点到工件抓取点的姿态变换矩阵。
更详细地,如图5所示,在步骤S11中,以定位标靶1的标志板11定位区域112上的视觉定位图案成像效果最佳为准则选择机器人拍照点,在该点采集图像并经过图像处理算法获得标志板11的姿态矩阵。
更详细地,如图6所示,在步骤S12中,先设立状态反馈点,得到状态反馈点的距离参数;在状态反馈点设定好之后,根据当前机器人***3的姿态矩阵和步骤S11中得到的标志板的姿态矩阵,计算得到标志板11到状态反馈点的姿态变换矩阵。
更详细地,在步骤S13中,先设立工件抓取点,通过示教机器人***3抓取工件点位,在工件抓取点设定好之后,根据当前机器人***3的姿态矩阵和步骤S12中得到的状态反馈点的姿态矩阵,计算得到状态反馈点到工件抓取点的姿态变换矩阵。
在搭建好定位标靶1与感知***2并完成了姿态转换关系预标定之后,便可以进行工件抓取作业,在实际抓取工作时,根据感知***2计算得出的姿态信息引导机器人***3完成抓取操作。
详细地,获取标志板11的实时姿态,并结合标志板11到状态反馈点的姿态变换矩阵,计算得到状态反馈点的实时理论姿态的步骤S2,进一步包括:
S21、如图5所示,通过工业相机21采集视觉定位图案的实时图像,通过姿态计算模块对视觉定位图案的实时图像进行处理,得到标志板11的实时姿态;
S22、通过姿态计算模块,根据标志板11的实时姿态和标志板11到状态反馈点的姿态变换矩阵计算得到状态反馈点的实时理论姿态。
更详细地,在步骤S21中,与前面预标定时类似,通过感知***2中工业相机21采集标志板11上视觉定位图案的实时图像,并经过图像处理算法获得当前时刻标志板11的实时姿态;在步骤S22中,结合预标定的标志板11到状态反馈点的姿态变换矩阵,计算得到当前时刻状态反馈点的实时理论姿态(或者计算姿态)。
详细地,在步骤S3中,判断状态反馈点的实时理论姿态是否满足抓取容差要求的步骤,进一步包括:
Stp1、将机器人***3移动到状态反馈点的实时理论姿态,开启激光测距仪22并获取激光测距仪22到挡板12的实时距离参数;
Stp2、获取末端执行器32抓取待抓取工件0时的容差范围,比较理想距离参数与实时距离参数,若理想距离参数与实时距离参数的差值在容差范围之内,则状态反馈点的实时理论姿态满足抓取容差要求,若理想距离参数与实时距离参数的差值在容差范围之外,则状态反馈点的实时理论姿态不满足抓取容差要求。
更详细地,在步骤Stp1中,将机器人***3移动到当前时刻的状态反馈点的实时理论姿态,开启激光测距仪22并获取激光测距仪22到挡板12的实时距离参数。
更详细地,在步骤Stp2中,结合末端执行器32抓取待抓取工件0时的容差范围、理想距离参数与实时距离参数三者进行判断,在状态反馈点的实时理论姿态处,若激光测距仪22测得的实时距离参数与理想距离参数的差值在容差范围之内,如±2mm,则表示激光测距仪22的光点穿透了标志板11上通孔A的中心区域并到达挡板12,YZ平面内的距离满足抓取容差要求,同时,在X轴方向的距离也在容差范围之内,X轴方向的距离也满足抓取容差要求,即状态反馈点的实时理论姿态满足三维空间内的抓取容差要求。
更详细地,在步骤Stp2中,针对有多个激光测距仪22的情况,若每个激光测距仪22对应的理想距离参数与实时距离参数的差值在容差范围之内,则状态反馈点的实时理论姿态满足三维空间内的抓取容差要求。
更详细地,在步骤Stp2中,针对有多个激光测距仪22的情况,在确定三维空间定位精度情况下,可进一步确定旋转角度的定位精度,若至少有一个激光测距仪22对应的理想距离参数与实时距离参数的差值不在容差范围之内,则表示该状态反馈点的某个旋转角度不符合要求,状态反馈点的实时理论姿态不满足“三维空间+旋转角度”的抓取容差要求,需要重新确认。
详细地,在步骤S3中,结合状态反馈点到工件抓取点的姿态变换矩阵,计算得到工件抓取点的实时理论姿态,并根据工件抓取点的实时理论姿态引导机器人***抓取待抓取工件的步骤,进一步包括:
Stp3、通过姿态计算模块,根据状态反馈点的实时理论姿态和状态反馈点到工件抓取点的姿态变换矩阵计算得到工件抓取点的实时理论姿态;
Stp4、根据工件抓取点的实时理论姿态,引导机器人***3移动并驱动末端执行器32抓取待抓取工件0。
更详细地,在步骤Stp3~Stp4中,根据当前时刻的状态反馈点的实时理论姿态,结合预标定的状态反馈点到工件抓取点的姿态变换矩阵,计算得到当前时刻的工件抓取点的实时理论姿态,根据其姿态信息引导机器人***3完成工件抓取操作。
更详细地,在步骤S3中,若状态反馈点的实时理论姿态不满足抓取容差要求,则重复上述部分步骤,重新设立状态反馈点及工件抓取点,再次进行姿态转换关系预标定,重新获取标志板11的实时姿态并对状态反馈点的实时理论姿态进行更新,直到状态反馈点的实时理论姿态满足抓取容差要求,最后再计算工件抓取点的实时理论姿态并完成抓取。
此外,为了实现上述工件抓取方法,本发明还提供一种工件抓取装置,如图2所示,其包括:
定位标靶1,设置在待抓取工件0上;
机器人***3;
感知***2,设置在机器人***3上,用于获取定位标靶1的实时姿态,并通过预标定的姿态转换关系得到状态反馈点的实时理论姿态和工件抓取点的实时理论姿态,还用于判断状态反馈点的实时理论姿态是否满足抓取容差要求,并根据满足抓取容差要求的工件抓取点的实时理论姿态引导机器人***3抓取待抓取工件0。
其中,如图2所示,定位标靶1包括标志板11、挡板12和连接板13,标志板11与挡板12平行设置,且标志板11的板面在YZ平面内的投影与挡板12的板面在YZ平面内的投影存在重叠部分,标志板11与挡板12通过连接板13固定连接;机器人***3包括机器人本体31和末端执行器32,末端执行器32设置在机器人本体31上;感知***2包括工业相机21、激光测距仪22和姿态计算模块,工业相机21和激光测距仪22分别设置在末端执行器32上。
详细地,如图2所示,标志板11的板面上设置有视觉定位图案,标志板11的板面上还设置有若干个圆心不共线的通孔A,通孔A的半径小于等于末端执行器32抓取待抓取工件0时的容差。
需要说明的是,上述工件抓取装置的工作原理可参照上述工件抓取方法,在此不再赘述。
综上所述,在本发明所提供的工件抓取方法及装置中,设立状态反馈点,抓取工件之前,先获取状态反馈点的实时理论姿态并判断其是否满足抓取容差要求,满足抓取容差要求的则进一步计算得到工件抓取点的实时理论姿态,并根据工件抓取点的实时理论姿态引导机器人***抓取工件,也就是说,在状态反馈点可自主判断实时理论姿态是否能成功完成工件抓取,能成功抓取的则进行抓取,不能成功抓取的则不再进行抓取,这有效提升了机器人***的工件抓取效率,避免了因为定位姿态的偏差超过阈值而出现的工件抓取失败现象,方案简单易实施,实用性强、适用性广。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。
Claims (11)
1.一种工件抓取方法,其特征在于,包括:
设立机器人***的状态反馈点及工件抓取点,进行姿态转换关系预标定,获取标志板到所述状态反馈点的姿态变换矩阵及所述状态反馈点到所述工件抓取点的姿态变换矩阵,所述标志板设置在待抓取工件上;
获取所述标志板的实时姿态,并结合所述标志板到所述状态反馈点的姿态变换矩阵,计算得到所述状态反馈点的实时理论姿态;
判断所述状态反馈点的实时理论姿态是否满足抓取容差要求,若所述状态反馈点的实时理论姿态满足抓取容差要求,则结合所述状态反馈点到所述工件抓取点的姿态变换矩阵,计算得到所述工件抓取点的实时理论姿态,并根据所述工件抓取点的实时理论姿态引导所述机器人***抓取所述待抓取工件。
2.根据权利要求1所述的工件抓取方法,其特征在于,在设立机器人***的状态反馈点及工件抓取点,进行姿态转换关系预标定之前,所述工件抓取方法,还包括:
建立定位标靶与感知***,所述定位标靶设置在所述待抓取工件上,所述定位标靶包括标志板、挡板和连接板,所述标志板与所述挡板平行设置,且所述标志板的板面投影与所述挡板的板面投影存在重叠部分,所述标志板与所述挡板通过连接板固定连接,所述感知***包括工业相机、激光测距仪和姿态计算模块,所述机器人***包括机器人本体和末端执行器,所述工业相机和所述激光测距仪分别设置在所述末端执行器上。
3.根据权利要求2所述的工件抓取方法,其特征在于,所述标志板的板面上设置有视觉定位图案,所述标志板的板面上还设置有若干个圆心不共线的通孔,所述通孔的半径小于等于所述末端执行器抓取所述待抓取工件时的容差。
4.根据权利要求3所述的工件抓取方法,其特征在于,设立机器人***的状态反馈点及工件抓取点,进行姿态转换关系预标定,获取标志板到所述状态反馈点的姿态变换矩阵及所述状态反馈点到所述工件抓取点的姿态变换矩阵的步骤,包括:
通过所述工业相机采集所述视觉定位图案的图像,通过所述姿态计算模块对所述视觉定位图案的图像进行处理,得到所述标志板的姿态;
设立所述状态反馈点,调节所述机器人***的姿态,开启所述激光测距仪并使所述激光测距仪的光点穿透所述标志板上通孔的中心区域并到达所述挡板,得到所述激光测距仪到所述挡板的理想距离参数;通过所述姿态计算模块,根据所述机器人***在所述状态反馈点的姿态和所述标志板的姿态计算得到所述标志板到所述状态反馈点的姿态变换矩阵;
通过示教设立所述工件抓取点,通过所述姿态计算模块,根据所述机器人***在所述工件抓取点的姿态和所述机器人***在所述状态反馈点的姿态计算得到所述状态反馈点到所述工件抓取点的姿态变换矩阵。
5.根据权利要4所述的工件抓取方法,其特征在于,获取所述标志板的实时姿态,并结合所述标志板到所述状态反馈点的姿态变换矩阵,计算得到所述状态反馈点的实时理论姿态的步骤,包括:
通过所述工业相机采集所述视觉定位图案的实时图像,通过所述姿态计算模块对所述视觉定位图案的实时图像进行处理,得到所述标志板的实时姿态;
通过所述姿态计算模块,根据所述标志板的实时姿态和所述标志板到所述状态反馈点的姿态变换矩阵计算得到所述状态反馈点的实时理论姿态。
6.根据权利要5所述的工件抓取方法,其特征在于,判断所述状态反馈点的实时理论姿态是否满足抓取容差要求的步骤,包括:
将所述机器人***移动到所述状态反馈点的实时理论姿态,开启所述激光测距仪并获取所述激光测距仪到所述挡板的实时距离参数;
获取所述末端执行器抓取所述待抓取工件时的容差范围,比较所述理想距离参数与所述实时距离参数,若所述理想距离参数与所述实时距离参数的差值在所述容差范围之内,则所述状态反馈点的实时理论姿态满足抓取容差要求,若所述理想距离参数与所述实时距离参数的差值在所述容差范围之外,则所述状态反馈点的实时理论姿态不满足抓取容差要求。
7.根据权利要6所述的工件抓取方法,其特征在于,结合所述状态反馈点到所述工件抓取点的姿态变换矩阵,计算得到所述工件抓取点的实时理论姿态,并根据所述工件抓取点的实时理论姿态引导所述机器人***抓取所述待抓取工件的步骤,包括:
通过所述姿态计算模块,根据所述状态反馈点的实时理论姿态和所述状态反馈点到所述工件抓取点的姿态变换矩阵计算得到所述工件抓取点的实时理论姿态;
根据所述工件抓取点的实时理论姿态,引导所述机器人***移动并驱动所述末端执行器抓取所述待抓取工件。
8.根据权利要1-7所述的工件抓取方法,其特征在于,若所述状态反馈点的实时理论姿态不满足抓取容差要求,则重新设立所述状态反馈点及所述工件抓取点,再次进行姿态转换关系预标定,重新获取所述标志板的实时姿态并对所述状态反馈点的实时理论姿态进行更新,直到所述状态反馈点的实时理论姿态满足抓取容差要求。
9.一种工件抓取装置,其特征在于,包括:
定位标靶,设置在待抓取工件上;
机器人***;
感知***,设置在所述机器人***上,用于获取所述定位标靶的实时姿态,并通过预标定的姿态转换关系得到状态反馈点的实时理论姿态和工件抓取点的实时理论姿态,还用于判断所述状态反馈点的实时理论姿态是否满足抓取容差要求,并根据满足抓取容差要求的所述工件抓取点的实时理论姿态引导所述机器人***抓取所述待抓取工件。
10.根据权利要求9所述的工件抓取装置,其特征在于,所述定位标靶包括标志板、挡板和连接板,所述标志板与所述挡板平行设置,且所述标志板的板面投影与所述挡板的板面投影存在重叠部分,所述标志板与所述挡板通过连接板固定连接;所述机器人***包括机器人本体和末端执行器,所述末端执行器设置在所述机器人本体上;所述感知***包括工业相机、激光测距仪和姿态计算模块,所述工业相机和所述激光测距仪分别设置在所述末端执行器上。
11.根据权利要求10所述的工件抓取装置,其特征在于,所述标志板的板面上设置有视觉定位图案,所述标志板的板面上还设置有若干个圆心不共线的通孔,所述通孔的半径小于等于所述末端执行器抓取所述待抓取工件时的容差。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210846168.9A CN115122331B (zh) | 2022-07-04 | 2022-07-04 | 工件抓取方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210846168.9A CN115122331B (zh) | 2022-07-04 | 2022-07-04 | 工件抓取方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115122331A true CN115122331A (zh) | 2022-09-30 |
CN115122331B CN115122331B (zh) | 2024-07-23 |
Family
ID=83382986
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210846168.9A Active CN115122331B (zh) | 2022-07-04 | 2022-07-04 | 工件抓取方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115122331B (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012040644A1 (en) * | 2010-09-24 | 2012-03-29 | Evolution Robotics, Inc. | Systems and methods for vslam optimization |
JP2014104529A (ja) * | 2012-11-27 | 2014-06-09 | Canon Inc | ロボットシステム及びロボットシステムの制御方法 |
US20140277742A1 (en) * | 2013-03-14 | 2014-09-18 | GM Global Technology Operations LLC | Intuitive grasp control of a multi-axis robotic gripper |
US20180364731A1 (en) * | 2017-06-14 | 2018-12-20 | PerceptIn, Inc. | Monocular Modes for Autonomous Platform Guidance Systems with Auxiliary Sensors |
US20190188435A1 (en) * | 2011-08-30 | 2019-06-20 | Digimarc Corporation | Methods and arrangements for identifying objects |
CN110842928A (zh) * | 2019-12-04 | 2020-02-28 | 中科新松有限公司 | 一种复合机器人视觉引导定位装置及方法 |
CN111775146A (zh) * | 2020-06-08 | 2020-10-16 | 南京航空航天大学 | 一种工业机械臂多工位作业下的视觉对准方法 |
CN112936257A (zh) * | 2021-01-22 | 2021-06-11 | 熵智科技(深圳)有限公司 | 一种工件抓取方法、装置、计算机设备及存储介质 |
WO2021228181A1 (zh) * | 2020-05-13 | 2021-11-18 | 中国科学院福建物质结构研究所 | 一种3d打印方法和装置 |
CN114074331A (zh) * | 2022-01-19 | 2022-02-22 | 成都考拉悠然科技有限公司 | 一种基于视觉的无序抓取方法及机器人 |
JP2022039906A (ja) * | 2020-08-28 | 2022-03-10 | 中国計量大学 | マルチセンサによる複合キャリブレーション装置及び方法 |
-
2022
- 2022-07-04 CN CN202210846168.9A patent/CN115122331B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012040644A1 (en) * | 2010-09-24 | 2012-03-29 | Evolution Robotics, Inc. | Systems and methods for vslam optimization |
US20190188435A1 (en) * | 2011-08-30 | 2019-06-20 | Digimarc Corporation | Methods and arrangements for identifying objects |
JP2014104529A (ja) * | 2012-11-27 | 2014-06-09 | Canon Inc | ロボットシステム及びロボットシステムの制御方法 |
US20140277742A1 (en) * | 2013-03-14 | 2014-09-18 | GM Global Technology Operations LLC | Intuitive grasp control of a multi-axis robotic gripper |
US20180364731A1 (en) * | 2017-06-14 | 2018-12-20 | PerceptIn, Inc. | Monocular Modes for Autonomous Platform Guidance Systems with Auxiliary Sensors |
CN110842928A (zh) * | 2019-12-04 | 2020-02-28 | 中科新松有限公司 | 一种复合机器人视觉引导定位装置及方法 |
WO2021228181A1 (zh) * | 2020-05-13 | 2021-11-18 | 中国科学院福建物质结构研究所 | 一种3d打印方法和装置 |
CN111775146A (zh) * | 2020-06-08 | 2020-10-16 | 南京航空航天大学 | 一种工业机械臂多工位作业下的视觉对准方法 |
JP2022039906A (ja) * | 2020-08-28 | 2022-03-10 | 中国計量大学 | マルチセンサによる複合キャリブレーション装置及び方法 |
CN112936257A (zh) * | 2021-01-22 | 2021-06-11 | 熵智科技(深圳)有限公司 | 一种工件抓取方法、装置、计算机设备及存储介质 |
CN114074331A (zh) * | 2022-01-19 | 2022-02-22 | 成都考拉悠然科技有限公司 | 一种基于视觉的无序抓取方法及机器人 |
Non-Patent Citations (3)
Title |
---|
KENTARO NOZU: "Robotic bolt insertion and tightening based on in-hand object localization and force sensing", 《2018 IEEE/ASME INTERNATIONAL CONFERENCE ON ADVANCED INTELLIGENT MECHATRONICS》, 2 September 2018 (2018-09-02) * |
于涵: "基于深度视觉的排爆机器人自主抓取***研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, 15 July 2020 (2020-07-15) * |
刘景亚: "基于增强学习的工业机器人自主运动规划", 《机器人技术与应用》, 30 May 2021 (2021-05-30) * |
Also Published As
Publication number | Publication date |
---|---|
CN115122331B (zh) | 2024-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6966582B2 (ja) | ロボットモーション用のビジョンシステムの自動ハンドアイ校正のためのシステム及び方法 | |
EP3222393B1 (en) | Automated guidance system and method for a coordinated movement machine | |
US6681151B1 (en) | System and method for servoing robots based upon workpieces with fiducial marks using machine vision | |
US9519736B2 (en) | Data generation device for vision sensor and detection simulation system | |
CN108827154B (zh) | 一种机器人无示教抓取方法、装置及计算机可读存储介质 | |
US7200260B1 (en) | Teaching model generating device | |
JP5365379B2 (ja) | ロボットシステム及びロボットシステムのキャリブレーション方法 | |
US20050273199A1 (en) | Robot system | |
CN212284935U (zh) | 一种基于3d视觉的金属板材分拣装置 | |
JP2015213973A (ja) | ピッキング装置およびピッキング方法 | |
EP3577629B1 (en) | Calibration article for a 3d vision robotic system | |
US20220402131A1 (en) | System and method for error correction and compensation for 3d eye-to-hand coordinaton | |
EP4116043A2 (en) | System and method for error correction and compensation for 3d eye-to-hand coordination | |
US20190030722A1 (en) | Control device, robot system, and control method | |
CN110740841A (zh) | 作业*** | |
US20220395981A1 (en) | System and method for improving accuracy of 3d eye-to-hand coordination of a robotic system | |
US20230173660A1 (en) | Robot teaching by demonstration with visual servoing | |
CN115122331A (zh) | 工件抓取方法及装置 | |
US20230123629A1 (en) | 3d computer-vision system with variable spatial resolution | |
WO2023013740A1 (ja) | ロボット制御装置、ロボット制御システム、及びロボット制御方法 | |
WO2023102647A1 (en) | Method for automated 3d part localization and adjustment of robot end-effectors | |
CN113977637A (zh) | 可用于非精度料箱的机器人视觉识别抓件***及方法 | |
CN110977950B (zh) | 一种机器人抓取定位方法 | |
US12017371B2 (en) | Efficient and robust line matching approach | |
JPH09323280A (ja) | マニピュレータの制御方法及びシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |