CN115556102A - 一种基于视觉识别的机器人分拣规划方法及规划设备 - Google Patents
一种基于视觉识别的机器人分拣规划方法及规划设备 Download PDFInfo
- Publication number
- CN115556102A CN115556102A CN202211244339.7A CN202211244339A CN115556102A CN 115556102 A CN115556102 A CN 115556102A CN 202211244339 A CN202211244339 A CN 202211244339A CN 115556102 A CN115556102 A CN 115556102A
- Authority
- CN
- China
- Prior art keywords
- robot
- pose
- teaching
- sorting
- grabbing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000000007 visual effect Effects 0.000 title claims abstract description 36
- 239000011159 matrix material Substances 0.000 claims description 32
- 230000009466 transformation Effects 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 239000000126 substance Substances 0.000 claims description 4
- 238000009795 derivation Methods 0.000 claims description 3
- 101150012763 endA gene Proteins 0.000 claims 1
- 230000001131 transforming effect Effects 0.000 claims 1
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/04—Viewing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Abstract
本发明提供了一种基于视觉识别的机器人分拣规划方法,包括:对示教物体进行视觉识别,控制机器人对示教物体的抓取示教,记录所述机器人在示教抓取的位姿;在实际分拣场景时,根据所述机器人的视觉识别结果,结合机器人示教抓取的位姿数据,计算得到实际抓取时的抓取位姿的末端位姿。本发明还提供了基于上述分拣规划方法的分拣规划设备及分拣方法及装置。本发明采用对机器人初始示教的方式,结合三维视觉识别***,快速精确的计算出机器人实际抓取位姿结果,避免了TCP标定的步骤,简化了计算抓取位姿的流程,从而提高了抓取位姿的精度,使得机器人的分拣工作更为方便,提高了机器人分拣***的柔性。
Description
技术领域
本发明属于机器视觉领域,具体涉及到一种基于视觉识别的机器人分拣规划方法及规划设备、机器人分拣方法及分拣设备。
背景技术
目前随着机器人技术及三维视觉技术的飞速发展,三维点云的获取方式越来越方便,机器人技术及三维视觉技术逐渐在工业的各个领域中广泛应用,尤其是工业物流分拣领域,由于全球人力成本的日益高涨,采用机器人进行智能化分拣作业是未来趋势。
在现有技术中,传统机器人分拣***主要采用示教或离线编程的方法进行物体分拣;传统的示教方法对机器人编程过程繁琐,针对不同的分拣任务,需要多次重复对机器人的抓取位姿进行示教,效率很低,还容易发生碰撞;而采用离线编程方法,模型误差和机器人的绝对误差会对其精度有一定影响,影响分拣工作的成功率。
所以目前急需一种机器人分拣规划方法能简化计算机器人抓取位姿的流程,使得机器人分拣工作更为方便,以适应复杂的分拣工作。
发明内容
为了克服现有技术缺点与不足,本发明的目的在于提供一种基于视觉识别的机器人分拣规划方法及规划设备、机器人分拣方法及分拣设备,使得机器人可以根据视觉***的识别结果进行分拣规划,提高抓取精度并简化计算流程。
本发明的目的通过以下的技术方案实现:
本发明第一方面提供了一种基于视觉识别的机器人分拣规划方法,包括以下步骤:
S1、对示教物体进行视觉识别,控制机器人对所述示教物体的抓取示教,记录所述机器人在抓取示教物体时的示教位姿:读取所述机器人在示教位姿时的关节角,通过机器人正向运动学计算出所述机器人在示教位姿时的末端位姿矩阵示教时目标识别的位姿结果
所述为示教时工具坐标系到示教物体的变换矩阵,为机器人末端到工具末端的变换矩阵;为抓取位姿时机器人的末端的位姿矩阵;为的逆;为手眼标定结果;为示教时目标识别的位姿结果;为相机坐标系到模型点云坐标系的变换矩阵,取单位矩阵。
因抓取位姿与示教位姿满足相同的抓取关系,则有:
可得:
本发明第二方面提供一种基于视觉识别的机器人分拣规划设备,包括处理器和存储器;所述存储器上存储有非暂时性计算机指令,当所述非暂时性计算机指令被处理器运行时,执行所述基于视觉识别的机器人分拣规划方法。
本发明第三方面提供一种基于视觉识别的机器人分拣装置,包括机器人及所述基于视觉识别的机器人分拣规划设备。
在一种可行的实施方式中,在完成所述基于视觉识别的机器人分拣规划方法中的步骤S1~S2后,控制机器人进行物品抓取。
在一种可行的实施方式中,所述物品抓取过程中采用包围盒进行碰撞检测。
在一种可行的实施方式中,所述包围盒为圆柱体结构。
在一种可行的实施方式中,所述碰撞检测通过将实际分拣场景的场景点云坐标系转换到所述圆柱形包围盒的坐标系中进行判定检测;
发生碰撞的条件为:
与现有技术相比,本发明具有以下优点和有益效果:
(1)本发明采用初始示教的方式,结合视觉识别***,快速精确的计算出机器人实际抓取位姿结果;对机器人采用示教的方式可以抵消了机器人的绝对定位误差,简化了计算抓取位姿的流程,减少了TCP标定的操作,从而提高了抓取位姿的精度,使得机器人分拣更为方便。
(2)本发明将机器人末端的法兰及抓取机构简化为圆柱包围盒进行碰撞检测,简化了机器人模型的几何形状,将场景云点转换到机器人的末端坐标系中,建立圆柱包围盒方程,减少了算法的运算时间,避免了机器人在实际分拣过程中发生碰撞,提高了分拣工作的可行性。
附图说明
图1为本发明的机器人抓取位姿计算流程图。
图2为本发明的机器人抓取位姿计算示意图。
图3为本发明的机器人碰撞检测示意图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本发明一部分实施例,而非全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
在本发明的描述中,需要理解的是,术语“上”、“下”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
实施例1
如图1所示,本实施例的一种基于视觉识别的机器人分拣规划方法,包括以下步骤:
步骤S1,对示教物体进行视觉识别,控制机器人对所述示教物体的抓取示教,记录所述机器人在示教抓取的位姿:
对示教物体进行视觉识别,控制机器人完成对所述示教物体的抓取示教,记录所述机器人在抓取示教物体时的示教位姿:读取所述机器人在示教位姿时的关节角,通过机器人正向运动学计算出所述机器人在示教位姿时的末端位姿矩阵示教时目标识别的位姿结果
其中,所述示教物品为实景场景中符合所述机器人抓取量程的任一物品,所述机器人可在实景场景的任一位置进行抓取示教。
本实施例中,机器人抓取位姿计算如图2所示,图中:C为相机坐标系,S0为所述示教时,场景中物体坐标系,S1为实际抓取时,场景中物体坐标系,M为CAD模型中物体坐标系,E0为所述示教时,机器人末端法兰的坐标系,E1为实际抓取时,所述机器人的法兰坐标系。
所述为机器人末端到工具末端的变换矩阵,本实施例中机器人末端和工具末端是固连的,取固定值;所述为工具坐标系到场景待抓取物体的变换矩阵;为示教位姿0时机器人的末端的位姿矩阵,为的逆,为手眼标定结果,为相机坐标系到模型点云坐标系的变换矩阵,为示教时目标识别的位姿结果。
本实施例中,抓取位姿1的末端位姿的计算如图2所示,设定所述机器人在实际抓取的位姿为抓取位姿1,由于所述机器人的末端与其抓取执行工具固定连接,所述抓取执行工具工作时均以相同的姿态对物体进行抓取;所述抓取位姿1同样满足所述示教位姿0的抓取关系,结合推导出所述机器人在抓取位姿1的末端位姿矩阵推导过程如下:
所述抓取位姿1满足以下抓取关系:
为实际抓取目标识别的位姿结果,为示教时目标识别的位姿结果的逆,所述为的逆,所述为示教位姿0时机器人的末端的位姿矩阵;为实际抓取时工具坐标系到场景待抓取物体的变换矩阵;为实际抓取时机器人末端到工具末端的变换矩阵,取固定值。
实施例2
本实施例提供一种基于视觉识别的机器人分拣规划设备,包括处理器和存储器;所述存储器上存储有非暂时性计算机指令,当所述非暂时性计算机指令被处理器运行时,执行实施例1中的基于视觉识别的机器人分拣规划方法。
实施例3
本实施提供一种基于视觉识别的机器人分拣装置,包括机器人及实施例2中的基于视觉识别的机器人分拣规划设备。
实施例4
本实施提供一种基于视觉识别的机器人分拣方法,采用实施例1的机器人分拣规划方法获得,抓取位姿1的末端位姿矩阵控制机器人进行物品抓取,抓取的过程中,采用包围盒碰撞检测方法,包围盒由所述机器人末端的法兰和所述抓取执行工具简化而成,优选采用圆柱体结构。
如图3所示,图中:E为所述机器人法兰的坐标系,T为所述机器人工具的坐标系,S为在实际场景中待抓取物体的坐标系,B为机器人基座坐标系。
本实施的碰撞检测方法通过将实际分拣场景的场景点云坐标系转换到所述圆柱形包围盒的坐标系中进行判定检测,如果有场景点在圆柱包围盒中,则认为发生了碰撞。
所述机器人发生碰撞的条件为:
所述R0和H0根据所述机器人的末端法兰和抓取执行器的大小进行设置。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (9)
4.一种基于视觉识别的机器人分拣规划设备,其特征在于,包括处理器和存储器;所述存储器上存储有非暂时性计算机指令,当所述非暂时性计算机指令被处理器运行时,执行如权利要求1~3任一项所述的基于视觉识别的机器人分拣规划方法。
5.一种基于视觉识别的机器人分拣装置,其特征在于,包括机器人及权利要求4所述的基于视觉识别的机器人分拣规划设备。
6.一种基于视觉识别的机器人分拣方法,其特征在于,在完成权利要求1~3任一项所述的基于视觉识别的机器人分拣规划方法中的步骤S1~S2后,控制机器人进行物品抓取。
7.根据权利要求6所述的基于视觉识别的机器人分拣方法,其特征在于,所述物品抓取过程中采用包围盒进行碰撞检测。
8.根据权利要求7所述的基于视觉识别的机器人分拣方法,其特征在于,所述包围盒为圆柱体结构。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211244339.7A CN115556102B (zh) | 2022-10-12 | 2022-10-12 | 一种基于视觉识别的机器人分拣规划方法及规划设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211244339.7A CN115556102B (zh) | 2022-10-12 | 2022-10-12 | 一种基于视觉识别的机器人分拣规划方法及规划设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115556102A true CN115556102A (zh) | 2023-01-03 |
CN115556102B CN115556102B (zh) | 2024-03-12 |
Family
ID=84745501
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211244339.7A Active CN115556102B (zh) | 2022-10-12 | 2022-10-12 | 一种基于视觉识别的机器人分拣规划方法及规划设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115556102B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1806940A (zh) * | 2006-01-23 | 2006-07-26 | 湖南大学 | 高速自动化生产线上的次品自动分拣方法及设备 |
CN101402199A (zh) * | 2008-10-20 | 2009-04-08 | 北京理工大学 | 基于视觉的手眼式低伺服精度机器人移动目标抓取方法 |
CN108890692A (zh) * | 2018-07-05 | 2018-11-27 | 陕西大中科技发展有限公司 | 一种用于工业机器人视觉分拣的物料颜色识别方法 |
CN108890693A (zh) * | 2018-07-06 | 2018-11-27 | 陕西大中科技发展有限公司 | 一种基于视觉的工业机器人码垛方法 |
US20210237266A1 (en) * | 2018-06-15 | 2021-08-05 | Google Llc | Deep reinforcement learning for robotic manipulation |
CN113843821A (zh) * | 2021-10-18 | 2021-12-28 | 浙江工业大学 | 用于物料分拣的多吸盘可移动机械手及其控制*** |
-
2022
- 2022-10-12 CN CN202211244339.7A patent/CN115556102B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1806940A (zh) * | 2006-01-23 | 2006-07-26 | 湖南大学 | 高速自动化生产线上的次品自动分拣方法及设备 |
CN101402199A (zh) * | 2008-10-20 | 2009-04-08 | 北京理工大学 | 基于视觉的手眼式低伺服精度机器人移动目标抓取方法 |
US20210237266A1 (en) * | 2018-06-15 | 2021-08-05 | Google Llc | Deep reinforcement learning for robotic manipulation |
CN108890692A (zh) * | 2018-07-05 | 2018-11-27 | 陕西大中科技发展有限公司 | 一种用于工业机器人视觉分拣的物料颜色识别方法 |
CN108890693A (zh) * | 2018-07-06 | 2018-11-27 | 陕西大中科技发展有限公司 | 一种基于视觉的工业机器人码垛方法 |
CN113843821A (zh) * | 2021-10-18 | 2021-12-28 | 浙江工业大学 | 用于物料分拣的多吸盘可移动机械手及其控制*** |
Also Published As
Publication number | Publication date |
---|---|
CN115556102B (zh) | 2024-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11701777B2 (en) | Adaptive grasp planning for bin picking | |
CN112509063A (zh) | 一种基于边缘特征匹配的机械臂抓取***及方法 | |
CN112873205A (zh) | 基于双夹具实时切换的工业机器人无序抓取方法 | |
US20230166398A1 (en) | Collision handling methods in grasp generation | |
CN115972189A (zh) | 用于机器维护的夹持生成 | |
CN116079746B (zh) | 一种柔性抓取方法 | |
CN115070781B (zh) | 一种物体抓取方法及双机械臂协作*** | |
CN113269723A (zh) | 三维视觉定位与机械手协同工作的零部件无序抓取*** | |
CN114022551A (zh) | 一种燃油车加油盖精确识别与位姿估计的方法 | |
CN114463244A (zh) | 一种视觉机器人抓取***及其控制方法 | |
CN114299039B (zh) | 一种机器人及其碰撞检测装置和方法 | |
CN116766194A (zh) | 基于双目视觉的盘类工件定位与抓取***和方法 | |
CN114074331A (zh) | 一种基于视觉的无序抓取方法及机器人 | |
CN112338922B (zh) | 一种五轴机械臂抓取放置方法及相关装置 | |
CN113664826A (zh) | 一种未知环境中的机器人抓取方法及*** | |
CN117340895A (zh) | 一种基于目标检测的机械臂6-dof自主抓取方法 | |
Ranjan et al. | Identification and control of NAO humanoid robot to grasp an object using monocular vision | |
CN116749233A (zh) | 基于视觉伺服的机械臂抓取***及方法 | |
CN115556102B (zh) | 一种基于视觉识别的机器人分拣规划方法及规划设备 | |
Ren et al. | Vision based object grasping of robotic manipulator | |
CN113977637A (zh) | 可用于非精度料箱的机器人视觉识别抓件***及方法 | |
JPH02110788A (ja) | 3次元物体の形状認識方法 | |
Wang et al. | Object Grabbing of Robotic Arm Based on OpenMV Module Positioning | |
US20240109181A1 (en) | Grasp teach by human demonstration | |
Wei et al. | Research on Control Strategy of Two Arm Collaborative Robot Based on Vision |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |