CN114055472A - 机器人抓取控制方法、装置、存储介质和机器人 - Google Patents
机器人抓取控制方法、装置、存储介质和机器人 Download PDFInfo
- Publication number
- CN114055472A CN114055472A CN202111475669.2A CN202111475669A CN114055472A CN 114055472 A CN114055472 A CN 114055472A CN 202111475669 A CN202111475669 A CN 202111475669A CN 114055472 A CN114055472 A CN 114055472A
- Authority
- CN
- China
- Prior art keywords
- parts
- grabbed
- grabbing
- robot
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 239000002344 surface layer Substances 0.000 claims abstract description 50
- 230000009471 action Effects 0.000 claims abstract description 21
- 238000010586 diagram Methods 0.000 claims description 31
- 238000004590 computer program Methods 0.000 claims description 18
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000005484 gravity Effects 0.000 claims description 4
- 239000010410 layer Substances 0.000 abstract description 2
- 239000000284 extract Substances 0.000 abstract 1
- 239000000463 material Substances 0.000 description 27
- 230000008569 process Effects 0.000 description 7
- 230000006399 behavior Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Manipulator (AREA)
Abstract
本发明提供了一种机器人抓取控制方法、装置、存储介质和机器人,所述方法包括:获取多层堆叠零件中表层零件的图像数据;根据所述表层零件的图像数据,选择满足抓取条件的零件作为待抓取零件;获取所述待抓取零件在机器人坐标系下的位姿信息和深度信息;控制机器人根据所述待抓取零件在机器人坐标系下的位姿信息和深度信息对所述待抓取零件执行抓取动作。通过获取多层堆叠零件中表层零件的图像数据,并根据所述图像数据逐次提取出满足抓取条件的零件进行抓取,实现了对多层堆叠零件的快速抓取工作,其合理设置了多层堆叠零件之间的抓取顺序,有效避免分拣时的碰撞行为,可靠性更高,具有十分重要的意义。
Description
技术领域
本发明涉及机器人技术领域,尤其涉及一种机器人抓取控制方法、装置、存储介质和机器人。
背景技术
目前,随着智能机器人的广泛普及,越来越多的物品能够借助智能机器人实现抓取操作。例如,在制造业中利用机器人对零件进行分拣工作。但是目前大部分展会上的机器人分拣都是在同一水平面上的高速分拣,很少存在多层零件堆叠的复杂工况。
然而,在实际的工厂应用中,绝大部分零件都是在料框中堆叠放置的,而对于多层次堆叠摆放的零件拣取方面涉及工况复杂、在分拣过程中容易发生零件之间的碰撞等问题,因此,如何准确识别多层堆叠零件并实现抓取,成为亟待解决的难题。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的机器人抓取控制方法、装置、存储介质和机器人。
本发明的一个方面,提供了一种机器人抓取控制方法,包括以下步骤:
获取多层堆叠零件中表层零件的图像数据;
根据所述表层零件的图像数据,选择满足抓取条件的零件作为待抓取零件;
获取所述待抓取零件在机器人坐标系下的位姿信息和深度信息;
控制机器人根据所述待抓取零件在机器人坐标系下的位姿信息和深度信息对所述待抓取零件执行抓取动作。
进一步的,所述根据所述表层零件的图像数据,选择满足抓取条件的零件作为待抓取零件包括:
根据所述表层零件的图像数据生成对应的掩膜图;
判断所述表层零件中是否存在具有完整掩膜图的零件;
若存在,则将所述具有完整掩膜图的零件判定为满足抓取条件的零件,将所述满足抓取条件的零件作为待抓取零件。
进一步的,所述根据所述表层零件的图像数据,选择满足抓取条件的零件作为待抓取零件还包括:
判断所述满足抓取条件的零件是否为多个;
若为多个,则根据预设的抓取规则对所述多个满足抓取条件的零件进行排序;
根据所述排序将所述满足抓取条件的零件依次作为待抓取零件。
进一步的,所述方法还包括:
当判定所述表层零件中不存在具有完整掩膜图的零件时,则对所述表层零件对应的掩膜图按照由大到小的顺序进行排序,并选择具有最大的掩膜图的零件作为待抓取零件。
进一步的,在对所述待抓取零件执行抓取动作之前,所述方法还包括:
判断所述待抓取零件是否处于预设的不可抓取区域;
若待抓取零件处于不可抓取区域,则放弃当前抓取动作。
进一步的,所述获取所述待抓取零件在机器人坐标系下的位姿信息包括:
提取所述待抓取零件的图像数据;
根据所述图像数据提取所述待抓取零件的重心在相机坐标系下的三维坐标和所述待抓取零件的姿态;
根据相机坐标系与机器人坐标系之间的转换关系将所述待抓取零件在相机坐标系下的位姿信息转换到机器人坐标系中。
进一步,获取所述待抓取零件的深度信息包括:
获取待抓取零件的深度图像,根据所述深度图像获取所述待抓取零件的深度信息。
本发明的另一个方面,提供了一种机器人抓取控制装置,包括:
第一获取模块,用于获取多层堆叠零件中表层零件的图像数据;
选择模块,用于根据所述表层零件的图像数据,选择满足抓取条件的零件作为待抓取零件;
第二获取模块,用于获取所述待抓取零件在机器人坐标系下的位姿信息和深度信息;
控制模块,用于控制机器人根据所述待抓取零件在机器人坐标系下的位姿信息和深度信息对所述待抓取零件执行抓取动作。
进一步的,所述装置还包括图像生成模块和第一判断模块,
所述图像生成模块,用于根据所述表层零件的图像数据生成对应的掩膜图;
所述第一判断模块,用于判断所述表层零件中是否存在具有完整掩膜图的零件;
所述选择模块,用于若存在具有完整掩膜图的零件,则将所述具有完整掩膜图的零件判定为满足抓取条件的零件,将所述满足抓取条件的零件作为待抓取零件。
进一步的,所述装置还包括第二判断模块,用于判断所述满足抓取条件的零件是否为多个;
所述选择模块,还用于若所述满足抓取条件的零件为多个,则根据预设的抓取规则对所述多个满足抓取条件的零件进行排序;根据所述排序将所述满足抓取条件的零件依次作为待抓取零件。
进一步的,所述选择模块,还用于当判定所述表层零件中不存在具有完整掩膜图的零件时,则对所述表层零件对应的掩膜图按照由大到小的顺序进行排序,并选择具有最大的掩膜图的零件作为待抓取零件。
本发明的另一个方面,提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行上述方法的步骤。
本发明的另一个方面,提供了一种机器人,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时执行上述方法的步骤。
本发明的机器人抓取控制方法、装置、存储介质和机器人,通过获取多层堆叠零件中表层零件的图像数据,并根据所述图像数据逐次提取出满足抓取条件的零件进行抓取,实现了对多层堆叠零件的快速抓取工作,其合理设置了多层堆叠零件之间的抓取顺序,有效避免分拣时的碰撞行为,可靠性更高,具有十分重要的意义。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。在附图中:
图1为本发明实施例的机器人抓取控制方法的流程图;
图2为本发明又一实施例的机器人抓取控制的时序流程图;
图3为本发明实施例的机器人抓取控制装置的示意图。
具体实施方式
为了使本领域技术人员更好的理解本发明方案,下面将结合本发明实施例中的附图,对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。此外,下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
图1示意性的示出了本发明实施例的机器人抓取控制方法的流程图,如图1所示,机器人抓取控制方法,包括以下步骤:
S1、获取多层堆叠零件中表层零件的图像数据;
在本发明实施例中,机器人抓取单元主要包括:一台工业机器人、一套工业相机、一个末端抓取夹爪、一个料框以及放置于料框中多层叠加的待分拣零件。由于零件为多层叠加,存在零件间的相互叠压情况,若机器人抓取零件的顺便不合理,会很容易发生零件间的相互碰撞,影响***工作的可靠性。因而本发明实施例通过合理设置机器人抓取控制过程中的抓取顺序,来避免分拣时的碰撞行为。
进一步的,本发明实施例所述的图像数据包括但不限于表层零件的点云数据,所述表层零件的点云数据的获取方法为:通过工业相机对料框中零件进行拍照,获取料框中多层堆叠零件的表层零件的点云图像。料框中多层堆叠零件的表层零件的点云图像可以通过多种方式获取,例如,可以先通过三维相机获取与三维物品区域相对应的二维彩色图以及对应于二维彩色图的深度图,进而根据二维彩色图和深度图构建点云信息。又如,可以根据激光探测器、红外探测器、LED可见光探测器以及雷达探测器等元件生成点云,本发明对具体实现方式不作限定。
其中,点云图像为预设坐标系下的点的数据集。点包含了丰富的信息,包括三维坐标X,Y,Z、颜色、分类值、强度值、时间等。点云能够将现实世界原子化,通过高精度的点云数据可以还原现实世界。由此可见,点云信息能够反映三维物品区域的三维立体特征。
需要说明的是,在本实施例中所述的表层零件具体为在相机坐标系下,暴露于料框表层的零件。机器人在执行抓取动作时,不限于最高层零件,如论是最高层零件还是次高层零件,只要***识别到该零件没有被其他零件叠压,则优先抓取表层零件中不被其他零件叠压的零件。
进一步的,为了更好的识别所述料框中的零件是否存在被叠压的情况,在本实施例中还需要获取所述料框中多层堆叠零件中表层零件的零件掩膜图,具体为根据所述表层零件的图像数据生成对应的掩膜图,所述掩膜图能够清晰的显示出当前零件在料框中的状态,若所述零件的掩膜图为完整的零件掩膜图则证明当前零件没有被其他零件叠压,若所述零件的掩膜图不是完整的零件掩膜图则证明当前零件存在被其他零件叠压的情况,且掩膜图越小则该零件被叠压的部分越大。
S2、根据所述表层零件的图像数据,选择满足抓取条件的零件作为待抓取零件;
在本发明实施例中,在获取料框中多层堆叠零件的图像数据之后,***需要判断抓取零件的抓取顺序,以便更快捷可靠的完成对料框中零件的分拣工作。其中,优选抓取方案为,优先抓取表层零件中具有完整零件掩膜图的零件,当表层零件中不存在具有完整零件掩膜图的零件时,优先抓取具有最大掩膜图的零件。
进一步的,基于上述抓取原则,在根据所述表层零件的图像数据生成对应的掩膜图之后,还需要判断所述表层零件中是否存在具有完整掩膜图的零件,若存在,则将所述具有完整掩膜图的零件判定为满足抓取条件的零件,将所述满足抓取条件的零件作为待抓取零件。
进一步的,本发明实施例还需要判断具有完整掩膜图的零件是否为多个,若为多个,则可以判定满足抓取条件的零件为多个,此时,则根据预设的抓取规则对所述多个满足抓取条件的零件进行排序,根据所述排序将所述满足抓取条件的零件依次作为待抓取零件。所述预设的抓取规则对所述多个具有完整掩膜图的零件进行排序存在多种方式,可以根据零件距离机器人底座的方向由近及远进行排序,也可以是距离分拣待放取位置由近及远进行排序,本发明对具体实施方式不做限定。
进一步的,当判定所述表层零件中不存在具有完整掩膜图的零件时,则对所述表层零件对应的掩膜图按照由大到小的顺序进行排序,并选择具有最大的掩膜图的零件作为待抓取零件。
S3、获取所述待抓取零件在机器人坐标系下的位姿信息和深度信息;
进一步的,在本实施例中,获得满足抓取条件的待抓取零件之后,还需要获取所述待抓取零件在机器人坐标系下的位姿信息和深度信息。
需要说明的是,在步骤S1中所获取的多层堆叠零件的图像数据一般为相机坐标系下的数据,在获取满足条件的待抓取零件之后,还需要将所述待抓取零件在相机坐标系下的位姿信息转化为机器人坐标系下的数据,并控制机器人根据待抓取零件在机器人坐标系中的位姿信息和深度信息完成抓取动作。
其中,所述获取所述待抓取零件在机器人坐标系下的位姿信息具体为,提取所述待抓取零件的图像数据;根据所述图像数据提取所述待抓取零件在相机坐标系下的位姿信息,所述位姿信息包括所述待抓取零件的重心在相机坐标系下的三维坐标和所述待抓取零件的姿态,根据相机坐标系与机器人坐标系之间的转换关系将所述待抓取零件在相机坐标系下的位姿信息转换到机器人坐标系中。
进一步的,所述待抓取零件的姿态为表征待抓取零件朝向的向量数据,通过获得的待抓取零件的姿态,能够决定机器人在抓取所述待抓取零件时末端夹爪的朝向。
进一步的,获取所述待抓取零件的深度信息具体为,获取待抓取零件的深度图像,根据所述深度图像获取所述待抓取零件的深度信息。
S4、控制机器人根据所述待抓取零件在机器人坐标系下的位姿信息和深度信息对所述待抓取零件执行抓取动作。
进一步的,控制机器人根据所述待抓取零件在机器人坐标系下的位姿信息和深度信息对所述待抓取零件执行抓取动作,具体为根据待抓取零件在机器人坐标系下的位姿信息控制机器人到达待抓取零件所处的位置和控制机器人夹爪的朝向,根据所述待抓取零件的深度图像控制机器人到达相应的高度,进而完成相应的抓取动作。
进一步的,由于机器人对料框中待抓取零件完成抓取动作之后,会造成料框中零件布局的变化。因而在本发明实施例中,当控制机器人完成对满足抓取条件的零件的抓取动作之后,需要重新对料框中多层堆叠零件进行拍照,并重新选择满足抓取条件的零件。
具体的,当所述表层零件中存在多个具有完整零件点云的零件时,控制机器人按照预设的抓取规则依次完成对满足抓取条件的零件的抓取之后,重新对料框中多层堆叠零件进行拍照,并重新选择满足抓取条件的零件;当所所述零件点云中不存在具有完整掩膜图的零件时,则对所述表层零件对应的掩膜图按照由大到小的顺序进行排序,并选择具有最大的掩膜图的零件作为待抓取零件。控制机器人完成当前具有最大的掩膜图的零件的抓取之后,重新对料框中多层堆叠零件进行拍照,并重新选择满足抓取条件的零件。
需要说明的是,在本发明实施例中,还需要判断所述零件是否在不可抓取区域,在具体的实施过程中,若待抓取零件处于不可抓取区域,则放弃当前抓取动作,将当前待抓取零件判定为不满足抓取条件的零件,并通过判断当前料框中是否还存在满足抓取条件的零件执行后续步骤。
进一步的,所述不可抓取区域的设定包括:在执行零件分拣任务之前清空料框中零件,对料框进行拍照识别,将单个零件放在料框的边缘,通过机器人多次抓取进行碰撞检测,将存在碰撞风险的范围和位置记录为不可抓取区域,以免造成机器人或料框的损坏。
为了更好的描述本发明的关于机器人抓取多层堆叠零件的技术方案,附图2示意性的示出了本发明又一实施例的机器人抓取控制的时序流程图。根据附图2所述,机器人抓取控制的步骤包括:
S21、获取料框中多层堆叠零件中表层零件的图像数据,并根据所述图像数据生成对应的掩膜图;
S22、判断所述表层零件中是否存在具有完整掩膜图的零件;
若所述表层零件中存在具有完整掩膜图的零件则执行步骤S231;
若所述表层零件中不存在具有完整掩膜图的零件则执行步骤S232。
S231、将所述具有完整掩膜图的零件作为满足抓取条件的零件,并执行步骤S241;
S241、判断所述满足抓取条件的零件是否为多个;
若满足抓取条件的零件为1个,则执行步骤S27;
若满足抓取条件的零件为多个,则执行步骤S251。
S251、根据预设的抓取规则对所述多个满足抓取条件的零件进行排序,并执行步骤S261;
S261、根据所述排序将所述满足抓取条件的零件依次作为待抓取零件,并执行步骤S27;
S232、对所述表层零件对应的掩膜图按照由大到小的顺序进行排序,并执行步骤S242;
S242、选择具有最大的掩膜图的零件作为待抓取零件,并执行步骤S27;
S27、获取所述待抓取零件在机器人坐标系下的位姿信息和深度信息;
S28、判断所述待抓取零件是否处于预设的不可抓取区域:
若待抓取零件处于不可抓取区域,则放弃当前抓取动作,将当前待抓取零件判定为不满足抓取条件的零件,并执行步骤S210;
若待抓取零件不处于不可抓取区域,则执行步骤S29。
S29、控制机器人根据所述待抓取零件在机器人坐标系下的位姿信息和深度信息对所述待抓取零件执行抓取动作;
S210、判断所述料框中是否还存在满足抓取条件的零件:
若所述料框中还存在满足抓取条件的零件,则执行步骤S27;
若所述料框中不存在满足抓取条件的零件,则执行步骤S21。
需要说明的是,附图2实施例仅仅是示意性的描述机器人抓取控制的时序流程图,具体抓取过程中各个环节的参数如何提取已经在附图1的实施例中做了详细介绍,在此不再赘述。进一步的,当料框中没有零件或者料框中零件全部在不可抓取区域时则结束当前机器人抓取程序。
图3示意性示出了本发明一个实施例的机器人抓取控制装置,参照图3,本发明实施例的机器人抓取控制装置,具体包括第一获取模块301、选择模块302、第二获取模块303以及控制模块304,其中:
第一获取模块301,用于获取多层堆叠零件中表层零件的图像数据;
选择模块302,用于根据所述表层零件的图像数据,选择满足抓取条件的零件作为待抓取零件;
第二获取模块303,用于获取所述待抓取零件在机器人坐标系下的位姿信息和深度信息;
控制模块304,用于控制机器人根据所述待抓取零件在机器人坐标系下的位姿信息和深度信息对所述待抓取零件执行抓取动作。
进一步的,所述装置还包括图像生成模块和第一判断模块,
所述图像生成模块,用于根据所述表层零件的图像数据生成对应的掩膜图;
所述第一判断模块,用于判断所述表层零件中是否存在具有完整掩膜图的零件;
所述选择模块302,用于若存在具有完整掩膜图的零件,则将所述具有完整掩膜图的零件判定为满足抓取条件的零件,将所述满足抓取条件的零件作为待抓取零件。
进一步的,所述装置还包括第二判断模块,用于判断所述满足抓取条件的零件是否为多个;
所述选择模块302,还用于若所述满足抓取条件的零件为多个,则根据预设的抓取规则对所述多个满足抓取条件的零件进行排序;根据所述排序将所述满足抓取条件的零件依次作为待抓取零件。
进一步的,所述选择模块302,还用于当判定所述表层零件中不存在具有完整掩膜图的零件时,则对所述表层零件对应的掩膜图按照由大到小的顺序进行排序,并选择具有最大的掩膜图的零件作为待抓取零件。
进一步的,所述第二获取模块303,用于获取所述待抓取零件在机器人坐标系下的位姿信息包括,提取所述待抓取零件的图像数据;根据所述图像数据提取所述待抓取零件的重心在相机坐标系下的三维坐标和所述待抓取零件的姿态;根据相机坐标系与机器人坐标系之间的转换关系将所述待抓取零件在相机坐标系下的位姿信息转换到机器人坐标系中。
进一步的,所述第二获取模块303,还用于获取所述待抓取零件的深度信息包括,获取待抓取零件的深度图像,根据所述深度图像获取所述待抓取零件的深度信息。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
本发明的机器人抓取控制方法、装置,通过获取多层堆叠零件中表层零件的图像数据,并根据所述图像数据逐次提取出满足抓取条件的零件进行抓取,实现了对多层堆叠零件的快速抓取工作,其合理设置了多层堆叠零件之间的抓取顺序,有效避免分拣时的碰撞行为,可靠性更高,具有十分重要的意义。
此外,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,其中,计算机程序被设置为运行时执行上述实施例中的机器人抓取控制方法的步骤。
本实施例中,所述机器人抓取控制装置集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
根据本发明实施例的另一方面,还提供了一种机器人,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述各个机器人抓取控制方法实施例中的步骤,例如图1所示的S1-S4。或者,所述处理器执行所述计算机程序时实现上述的机器人抓取控制装置实施例中各模块/单元的功能,例如图3所示的第一获取模块301、选择模块302、第二获取模块303以及控制模块304。
其中,所述处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器是所述机器人的控制中心,利用各种接口和线路连接整个机器人分拣设备的各个部分。
本领域的技术人员能够理解,尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (13)
1.一种机器人抓取控制方法,其特征在于,包括以下步骤:
获取多层堆叠零件中表层零件的图像数据;
根据所述表层零件的图像数据,选择满足抓取条件的零件作为待抓取零件;
获取所述待抓取零件在机器人坐标系下的位姿信息和深度信息;
控制机器人根据所述待抓取零件在机器人坐标系下的位姿信息和深度信息对所述待抓取零件执行抓取动作。
2.根据权利要求1所述的方法,其特征在于,所述根据所述表层零件的图像数据,选择满足抓取条件的零件作为待抓取零件包括:
根据所述表层零件的图像数据生成对应的掩膜图;
判断所述表层零件中是否存在具有完整掩膜图的零件;
若存在,则将所述具有完整掩膜图的零件判定为满足抓取条件的零件,将所述满足抓取条件的零件作为待抓取零件。
3.根据权利要求2所述的方法,其特征在于,所述根据所述表层零件的图像数据,选择满足抓取条件的零件作为待抓取零件还包括:
判断所述满足抓取条件的零件是否为多个;
若为多个,则根据预设的抓取规则对所述多个满足抓取条件的零件进行排序;
根据所述排序将所述满足抓取条件的零件依次作为待抓取零件。
4.根据权利要求2所述的方法,其特征在于,所述方法还包括:
当判定所述表层零件中不存在具有完整掩膜图的零件时,则对所述表层零件对应的掩膜图按照由大到小的顺序进行排序,并选择具有最大的掩膜图的零件作为待抓取零件。
5.根据权利要求1-4任一项所述的方法,其特征在于,在对所述待抓取零件执行抓取动作之前,所述方法还包括:
判断所述待抓取零件是否处于预设的不可抓取区域;
若待抓取零件处于不可抓取区域,则放弃当前抓取动作。
6.根据权利要求1所述的方法,其特征在于,所述获取所述待抓取零件在机器人坐标系下的位姿信息包括:
提取所述待抓取零件的图像数据;
根据所述图像数据提取所述待抓取零件的重心在相机坐标系下的三维坐标和所述待抓取零件的姿态;
根据相机坐标系与机器人坐标系之间的转换关系将所述待抓取零件在相机坐标系下的位姿信息转换到机器人坐标系中。
7.根据权利要求1所述的方法,其特征在于,获取所述待抓取零件的深度信息包括:
获取待抓取零件的深度图像,根据所述深度图像获取所述待抓取零件的深度信息。
8.一种机器人抓取控制装置,其特征在于,包括:
第一获取模块,用于获取多层堆叠零件中表层零件的图像数据;
选择模块,用于根据所述表层零件的图像数据,选择满足抓取条件的零件作为待抓取零件;
第二获取模块,用于获取所述待抓取零件在机器人坐标系下的位姿信息和深度信息;
控制模块,用于控制机器人根据所述待抓取零件在机器人坐标系下的位姿信息和深度信息对所述待抓取零件执行抓取动作。
9.根据权利要求8所述的装置,其特征在于,所述装置还包括图像生成模块和第一判断模块,
所述图像生成模块,用于根据所述表层零件的图像数据生成对应的掩膜图;
所述第一判断模块,用于判断所述表层零件中是否存在具有完整掩膜图的零件;
所述选择模块,用于若存在具有完整掩膜图的零件,则将所述具有完整掩膜图的零件判定为满足抓取条件的零件,将所述满足抓取条件的零件作为待抓取零件。
10.根据权利要求9所述的装置,其特征在于,所述装置还包括第二判断模块,用于判断所述满足抓取条件的零件是否为多个;
所述选择模块,还用于若所述满足抓取条件的零件为多个,则根据预设的抓取规则对所述多个满足抓取条件的零件进行排序,根据所述排序将所述满足抓取条件的零件依次作为待抓取零件。
11.根据权利要求9所述的装置,其特征在于,所述选择模块,还用于当判定所述表层零件中不存在具有完整掩膜图的零件时,则对所述表层零件对应的掩膜图按照由大到小的顺序进行排序,并选择具有最大的掩膜图的零件作为待抓取零件。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行所述权利要求1-7任一项所述方法的步骤。
13.一种机器人,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-7任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111475669.2A CN114055472A (zh) | 2021-12-06 | 2021-12-06 | 机器人抓取控制方法、装置、存储介质和机器人 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111475669.2A CN114055472A (zh) | 2021-12-06 | 2021-12-06 | 机器人抓取控制方法、装置、存储介质和机器人 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114055472A true CN114055472A (zh) | 2022-02-18 |
Family
ID=80228683
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111475669.2A Pending CN114055472A (zh) | 2021-12-06 | 2021-12-06 | 机器人抓取控制方法、装置、存储介质和机器人 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114055472A (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101618544A (zh) * | 2008-07-04 | 2010-01-06 | 发那科株式会社 | 物品取出装置 |
CN105082133A (zh) * | 2014-05-08 | 2015-11-25 | 东芝机械株式会社 | 拣选装置以及拣选方法 |
CN106272424A (zh) * | 2016-09-07 | 2017-01-04 | 华中科技大学 | 一种基于单目相机和三维力传感器的工业机器人抓取方法 |
US20170057092A1 (en) * | 2015-08-25 | 2017-03-02 | Canon Kabushiki Kaisha | Apparatus and method for determining work to be picked |
CN108109174A (zh) * | 2017-12-13 | 2018-06-01 | 上海电气集团股份有限公司 | 一种用于散乱零件随机分拣的机器人单目引导方法和*** |
CN108555908A (zh) * | 2018-04-12 | 2018-09-21 | 同济大学 | 一种基于rgbd相机的堆叠工件姿态识别及拾取方法 |
CN110370268A (zh) * | 2018-09-11 | 2019-10-25 | 天津京东深拓机器人科技有限公司 | 箱内拣选的方法、装置和*** |
JP2020049651A (ja) * | 2019-12-11 | 2020-04-02 | キヤノン株式会社 | 干渉判定装置、干渉判定方法、コンピュータプログラム |
CN111775152A (zh) * | 2020-06-29 | 2020-10-16 | 深圳大学 | 基于三维测量引导机械臂抓取散乱堆叠工件的方法及*** |
CN112802105A (zh) * | 2021-02-05 | 2021-05-14 | 梅卡曼德(北京)机器人科技有限公司 | 对象抓取方法及装置 |
CN112847375A (zh) * | 2021-01-22 | 2021-05-28 | 熵智科技(深圳)有限公司 | 一种工件抓取方法、装置、计算机设备及存储介质 |
-
2021
- 2021-12-06 CN CN202111475669.2A patent/CN114055472A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101618544A (zh) * | 2008-07-04 | 2010-01-06 | 发那科株式会社 | 物品取出装置 |
CN105082133A (zh) * | 2014-05-08 | 2015-11-25 | 东芝机械株式会社 | 拣选装置以及拣选方法 |
US20170057092A1 (en) * | 2015-08-25 | 2017-03-02 | Canon Kabushiki Kaisha | Apparatus and method for determining work to be picked |
CN106272424A (zh) * | 2016-09-07 | 2017-01-04 | 华中科技大学 | 一种基于单目相机和三维力传感器的工业机器人抓取方法 |
CN108109174A (zh) * | 2017-12-13 | 2018-06-01 | 上海电气集团股份有限公司 | 一种用于散乱零件随机分拣的机器人单目引导方法和*** |
CN108555908A (zh) * | 2018-04-12 | 2018-09-21 | 同济大学 | 一种基于rgbd相机的堆叠工件姿态识别及拾取方法 |
CN110370268A (zh) * | 2018-09-11 | 2019-10-25 | 天津京东深拓机器人科技有限公司 | 箱内拣选的方法、装置和*** |
JP2020049651A (ja) * | 2019-12-11 | 2020-04-02 | キヤノン株式会社 | 干渉判定装置、干渉判定方法、コンピュータプログラム |
CN111775152A (zh) * | 2020-06-29 | 2020-10-16 | 深圳大学 | 基于三维测量引导机械臂抓取散乱堆叠工件的方法及*** |
CN112847375A (zh) * | 2021-01-22 | 2021-05-28 | 熵智科技(深圳)有限公司 | 一种工件抓取方法、装置、计算机设备及存储介质 |
CN112802105A (zh) * | 2021-02-05 | 2021-05-14 | 梅卡曼德(北京)机器人科技有限公司 | 对象抓取方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3768174B2 (ja) | ワーク取出し装置 | |
CN109102543B (zh) | 基于图像分割的物体定位方法、设备和存储介质 | |
CN108044627B (zh) | 抓取位置的检测方法、装置及机械臂 | |
JP6529302B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
CN112802105A (zh) | 对象抓取方法及装置 | |
CN113284178B (zh) | 物体码垛方法、装置、计算设备及计算机存储介质 | |
CN113420746B (zh) | 机器人视觉分拣方法、装置、电子设备和存储介质 | |
CN112802093B (zh) | 对象抓取方法及装置 | |
CN111428731A (zh) | 基于机器视觉的多类目标识别定位方法、装置和设备 | |
CN112464410B (zh) | 一种工件抓取顺序的确定方法、装置、计算机设备及介质 | |
JP7230873B2 (ja) | 異物検出装置、異物除去装置および異物検出方法 | |
CN107679529A (zh) | 一种物流包裹图片处理方法、装置及*** | |
CN111761575A (zh) | 工件及其抓取方法和生产线 | |
JP2022045905A (ja) | 混合サイズデパレタイジング | |
CN111003380A (zh) | 一种智能回收垃圾的方法、***、设备 | |
CN113538459A (zh) | 一种基于落点区域检测的多模式抓取避障检测优化方法 | |
CN112802107A (zh) | 基于机器人的夹具组的控制方法及装置 | |
CN114310892A (zh) | 基于点云数据碰撞检测的物体抓取方法、装置和设备 | |
WO2024067006A1 (zh) | 无序线材分拣方法、装置及*** | |
CN114055472A (zh) | 机器人抓取控制方法、装置、存储介质和机器人 | |
CN111687060A (zh) | 一种物流多级分拣***及方法 | |
CN116197885B (zh) | 基于压叠检测的图像数据过滤方法、装置、设备和介质 | |
JP6041710B2 (ja) | 画像認識方法 | |
CN113894050B (zh) | 物流件分拣方法、分拣设备及存储介质 | |
CN113955343B (zh) | 基于三维视觉的无序垃圾智能分类设备及其分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220218 |