CN113894774A - 一种机器人抓取控制方法、装置、存储介质和机器人 - Google Patents
一种机器人抓取控制方法、装置、存储介质和机器人 Download PDFInfo
- Publication number
- CN113894774A CN113894774A CN202111248281.9A CN202111248281A CN113894774A CN 113894774 A CN113894774 A CN 113894774A CN 202111248281 A CN202111248281 A CN 202111248281A CN 113894774 A CN113894774 A CN 113894774A
- Authority
- CN
- China
- Prior art keywords
- pose
- grabbing
- teaching
- robot
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000003860 storage Methods 0.000 title claims abstract description 17
- 239000012636 effector Substances 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 31
- 230000036544 posture Effects 0.000 description 14
- 230000009471 action Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 7
- 210000003811 finger Anatomy 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 210000003813 thumb Anatomy 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 241000282376 Panthera tigris Species 0.000 description 2
- 238000009776 industrial production Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/04—Viewing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/0081—Programme-controlled manipulators with master teach-in means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1612—Programme controls characterised by the hand, wrist, grip control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- Orthopedic Medicine & Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Manipulator (AREA)
Abstract
本公开实施例涉及一种机器人抓取控制方法、装置、存储介质和机器人，包括：获取示教物体的图像；根据所述示教物体的图像确定示教物***姿；获取人手抓取所述示教物体在不同的示教物***姿时的人手抓取图像；根据所述人手抓取图像确定机器人抓取位姿；建立所述示教物***姿与所述机器人抓取位姿的示教一一对应关系并存储；其中，所述示教物***姿包括不同示教物体的示教物***姿以及同一示教物体的不同6D位姿。本公开实施例中，简化了机器人示教过程，提高了效率，并且能针对物体指定合适的抓取位姿，保证了抓取精度与可靠性。
Description
技术领域
本公开涉及机器人技术领域，尤其涉及一种机器人抓取控制方法、装置、存储介质和机器人。
背景技术
随着机器人技术的发展，机器人技术越来越多地应用在工业生产中，机器人需要适应生产线上产品的变化。
为了提高生产效率，会使用机器人抓取目标产品。而目前机器人抓取动作主要通过示教器反复调试或拖拽示教等人工方式实现，这要求操作人员对机器人具有丰富的操作经验，而且现有的示教器以及拖拽示教的操作繁琐、效率较低。此外，现有技术中通过人工智能与机器视觉自动生成机器人抓取位姿的方式，难以为抓取物体指定合适的抓取位姿。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种机器人抓取控制方法、装置、存储介质和机器人。
第一方面，本公开提供了一种机器人抓取控制方法，包括：
获取示教物体的图像；
根据所述示教物体的图像确定示教物***姿；
获取人手抓取所述示教物体在不同的示教物***姿时的人手抓取图像；
根据所述人手抓取图像确定机器人抓取位姿；
建立所述示教物***姿与所述机器人抓取位姿的示教一一对应关系并存储；
其中，所述示教物***姿包括不同示教物体的示教物***姿以及同一示教物体的不同6D位姿。
在一些实施例中，还包括：
获取待抓取物体图像；
根据所述待抓取物体图像确定待抓取物***姿；
根据所述示教物***姿与所述机器人抓取位姿的示教一一对应关系，确定所述待抓取物***姿对应的机器人抓取位姿；
根据所述机器人抓取位姿控制机器人抓取待抓取物体。
在一些实施例中，在根据所述示教物***姿与所述机器人抓取位姿的示教一一对应关系，确定所述待抓取物***姿对应的机器人抓取位姿之前，还包括：
根据所述待抓取物体图像确定所述待抓取物体是否属于预设待抓取物体，并在所述待抓取物体属于预设待抓取物体时，执行根据所述示教物***姿与所述机器人抓取位姿的示教一一对应关系，确定所述待抓取物***姿对应的机器人抓取位姿的操作。
在一些实施例中，所述根据所述人手抓取图像确定机器人抓取位姿，包括：
根据所述人手抓取图像确定人手抓取位姿；
将所述人手抓取位姿转换为机器人抓取位姿。
在一些实施例中，所述根据所述人手抓取图像确定人手抓取位姿，包括：
根据所述人手抓取图像确定人手抓取手势，并确定人手抓取手势中的关键点坐标；
根据所述关键点坐标确定人手抓取方向；
根据所述关键点坐标以及所述人手抓取方向确定人手抓取位姿。
在一些实施例中，将所述人手抓取位姿转换为机器人抓取位姿，包括：
通过预设手眼标定关系将所述人手抓取位姿转换为机器人抓取位姿。
第二方面，本公开还提供了一种机器人抓取控制装置，包括：
第一图像获取模块，用于获取示教物体的图像；
物***姿确定模块，用于根据所述示教物体的图像确定示教物***姿；
第二图像获取模块，用于获取人手抓取所述示教物体在不同的示教物***姿时的人手抓取图像；
抓取位姿确定模块，用于根据所述人手抓取图像确定机器人抓取位姿；
示教一一对应关系确定模块，用于建立所述示教物***姿与所述机器人抓取位姿的示教一一对应关系并存储；
其中，所述示教物***姿包括不同示教物体的示教物***姿以及同一示教物体的不同6D位姿。
在一些实施例中，还包括：
第三图像获取模块，用于获取待抓取物体图像；
待抓取物***姿确定模块，用于根据所述待抓取物体图像确定待抓取物***姿；
待抓取物***姿对应机器人抓取位姿确定模块，用于根据所述示教物***姿与所述机器人抓取位姿的示教一一对应关系，确定所述待抓取物***姿对应的机器人抓取位姿；
待抓取物体抓取模块，用于根据所述机器人抓取位姿控制机器人抓取待抓取物体。
第三方面，本公开还提供了一种存储介质，所述存储介质上存储有计算机程序，所述程序被处理器执行时实现第一方面中任意一项所述方法的步骤。
第四方面，本公开还提供了一种机器人，包括：
图像采集装置、机械臂、末端执行器以及控制器；
所述图像采集装置以及所述末端执行器位于所述机械臂上；所述控制器分别与所述图像采集装置、所述机械臂以及所述末端执行器电连接；所述图像采集装置用于采集示教物体的图像以及人手抓取图像；所述末端执行器用于在所述控制器的控制下抓取示教物体或待抓取物体；所述控制器用于实现如第一方面任一实施例所述的机器人抓取控制方法的步骤。
本公开实施例提供的机器人抓取控制方法，通过获取示教物体的图像，根据示教物体的图像确定示教物***姿。获取人手抓取示教物体在不同的示教物***姿时的人手抓取图像，根据人手抓取图像确定机器人抓取位姿，并建立示教物***姿与机器人抓取位姿的示教一一对应关系并存储。其中，所述示教物***姿包括不同示教物体的示教物***姿以及同一示教物体的不同6D位姿。由于可以通过人手抓取位姿进行示教，因此可以针对物体指定合适的抓取位姿。此外，本公开实施例可以自动实现机器人抓取示教，无需在抓取过程中实时计算抓取位姿，无需通过示教器等反复调试，不依赖于操作人员的经验，当物体重心不变但是三维坐标和/或三维旋转角发生变化时，也会相对应合适的抓取位姿，因此可以提高效率，保证抓取的精度与可靠性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的一种机器人抓取控制方法示教过程时的流程示意图；
图2为本公开实施例提供的一种机器人抓取控制方法抓取过程时的流程示意图；
图3为本公开实施例提供的一种机器人抓取控制装置的结构框图；
图4为本公开实施例提供的一种机器人结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
在工业生产中，现有的机器人抓取物体主要是通过示教器反复调试或拖拽等人工方式实现，这就要求操作人员对机器人具有丰富的操作经验。另一种方法是采用人工智能和机器视觉方式，可以自动生成抓取位姿，但由于是自动生成抓取位姿，难以生成指定的抓取位姿，在需要为物体指定合适的抓取位姿情况下，难以完成抓取。
有鉴于此，本公开实施例提供一种机器人抓取控制方法，本公开实施例提供的机器人抓取控制方法可以由机器人抓取控制装置执行。机器人抓取控制装置可以通过软件和/或硬件的形式实现。该机器人抓取控制装置例如还可以集成在机器人的控制器中。为详细描述本公开实施例提供的机器人抓取控制方法，本公开实施例示例性提供一种适用场景，该场景例如可以包括机器人以及示教物体。机器人包括图像采集装置、机械臂、末端执行器以及控制器。其中，图像采集装置以及末端执行器可以位于机械臂上。控制器分别与图像采集装置、机械臂以及末端执行器电连接。图像采集装置用于采集示教物体的图像以及人手抓取图像，末端执行器用于在控制器的控制下抓取示教物体或待抓取物体。图1为本公开实施例提供的一种机器人抓取控制方法示教过程时的流程示意图。如图1所示，机器人抓取控制方法示教过程包括S101至S105：
S101、获取示教物体的图像。
例如将示教物体放置在工作台上，通过机器人的机械臂上的图像采集装置获取示教物体的图像。图像采集装置例如可以是相机等设备。示教物体可以摆放成不同的角度，以使图像采集装置可以采集到具有不同示教物***姿的示教物体的图像。
在示教过程中，还可以采集多种不同类型的示教物体的图像，以完成后续多种不同类型物体的示教。
S102、根据示教物体的图像确定示教物***姿。
该步骤可根据示教物体的图像确定示教物***姿，即本公开实施例无需预先建立示教物体的三维模型，而是通过机器视觉技术，通过获取示教物体的图像，从示教物体的图像中确定示教物***姿。
S103、获取人手抓取所述示教物体在不同的示教物***姿时的人手抓取图像。
将示教物体放置在工作台后，可以通过人手模拟机器人的末端执行器对示教物体的抓取，此时可以通过机械臂上的图像采集装置采集人手抓取图像。在工作台上多次放置示教物体，可以变换示教物体的位姿放置示教物体。例如变换示教物体的三维坐标时，示教物体的位姿也会出现相应改变，或者变换示教物体的三维旋转角度，示教物体的位姿也会相对应改变。该步骤实质为获取人手抓取不同的位姿的示教物体时的人手抓取图像。人手抓取过程中，对于不同位姿的示教物体，可以变换不同的人手抓取位姿。
S104、根据人手抓取图像确定机器人抓取位姿。
该步骤可根据人手抓取图像确定机器人抓取位姿，即本公开实施例无需预先建立机器人抓取位姿的三维模型，而是通过机器视觉技术，通过获取人手抓取图像，根据人手抓取图像中确定机器人抓取位姿。
S105、建立示教物***姿与机器人抓取位姿的示教一一对应关系并存储。
其中，所述示教物***姿包括不同示教物体的示教物***姿以及同一示教物体的不同6D位姿。6D位姿包括三维位置和三维旋转角。示教物***姿包括不同的示教物体的示教物***姿，还包括同一个示教物体在三维位置和/或三维旋转角发生变化时的6D位姿。
经过上述步骤，可得到示教物***姿与机器人抓取位姿，将示教物***姿和与该示教物***姿下进行抓取时对应的机器人抓取位姿，建立示教一一对应关系并存储。本公开实施例通过示教物体的图像确定示教物***姿，通过人手抓取图像确定机器人抓取位姿，无需事先取得示教物体的三维模型以及机器人抓取位姿的三维模型，并将示教物***姿和与该示教物***姿下进行抓取时对应的机器人抓取位姿，建立示教一一对应关系并存储，从而自动完成整个示教过程。因此本公开实施例在抓取示教过程中无需示教器的反复调试，因此可以提高示教效率。由于示教过程中不依赖操作人员对机器人的操作经验，因此还可以保证抓取的精度与可靠性。此外，针对于传统的通过机器视觉以及人工智能计算抓取位姿的方式，本公开实施例无需在抓取过程中实时计算抓取位姿，因此可以减小运算复杂度。由于在示教过程中可以针对不同示教物体的示教物***姿以及同一示教物体的不同6D位姿建立一一对应的机器人抓取位姿的示教一一对应关系，因此本公开实施例可以产线上放置多种类型的物体时的抓取，以及随意放置物体时的柔性抓取。另外，在遇到更换待抓取物体等情况时，本公开实施例不需要在示教或者抓取过程中重新编写程序，只需重新获取示教物体的图像及人手抓取图像进行示教即可。例如按照上述步骤110至步骤150的方式再次示教需要抓取的物体即可，因此对于生产线上的产品换型等情况具有很高的灵活性。
本公开实施例还提供一种机器人抓取控制方法，图2为本公开实施例提供的一种机器人抓取控制方法抓取过程时的流程示意图。如图2所示，包括S201-S204：
S201、获取待抓取物体图像。
S202、根据待抓取物体图像确定待抓取物***姿。
在示教完成后，可以通过机械臂上设置的图像采集装置对待抓取物体进行图像采集，并根据获取的待抓取物体图像确定待抓取物体的位姿。
S203、根据示教物***姿与机器人抓取位姿的示教一一对应关系，确定待抓取物***姿对应的机器人抓取位姿。
S204、根据机器人抓取位姿控制机器人抓取待抓取物体。
由于示教过程建立了示教物***姿与机器人抓取位姿的示教一一对应关系，因此在确定待抓取物***姿后，可以查找示教物***姿与机器人抓取位姿的示教一一对应关系中，待抓取物***姿对应的机器人抓取位姿。在确定待抓取物***姿对应的机器人抓取位姿后，可根据机器人抓取位姿控制机器人抓取待抓取物体。
本公开实施例提供的机器人抓取控制方法，示教后的抓取工作过程中，通过获取待抓取物体图像并根据待抓取物体图像确定待抓取物***姿，然后根据示教过程中建立的示教物***姿与机器人抓取位姿的示教一一对应关系，确定待抓取物***姿对应的机器人抓取位姿，并根据机器人抓取位姿控制机器人抓取待抓取物体，可以实现对待抓取物体的准确抓取。由于本公开实施例中，示教物体的不同示教物***姿均对应有机器人抓取位姿，因此在示教后的抓取工作中，可以不用固定物体在工作台上的摆放位姿，无需设置定位工装即可实现对物体的精准抓取。
在一些实施例中，在根据示教物***姿与机器人抓取位姿的示教一一对应关系，确定待抓取物***姿对应的机器人抓取位姿之前，还包括：
根据待抓取物体图像确定待抓取物体是否属于预设待抓取物体，并在待抓取物体属于预设待抓取物体时，执行根据示教物***姿与机器人抓取位姿的示教一一对应关系，确定待抓取物***姿对应的机器人抓取位姿的操作。
在机器人进行抓取物体之前，首先判断待抓取物体是否属于之前预设待抓取物体，若经判断属于预设待抓取物体，则对该物体进行抓取，并根据示教物***姿与机器人抓取位姿的示教一一对应关系，确定待抓取物***姿对应的机器人抓取位姿。如果经判断，物体不属于预设待抓取物体，则不对该物体进行抓取。也可能会出现经比对，该待抓取物体属于预设的待抓取物体，但是由于物体摆放的问题导致机器人无法形成预定的抓取位姿，机器人对此不进行抓取。可以重新进行人手示教或为该物体调整合适的抓取位姿等。在抓取前先判断物体图像有效的避免了待抓取物体不符合一贯的抓取位姿，造成抓取失败的结果，提高了抓取效率。
在一些实施例中，S104根据所述人手抓取图像确定机器人抓取位姿包括：
S1041、根据所述人手抓取图像确定人手抓取位姿。
S1042、将所述人手抓取位姿转换为机器人抓取位姿。
本公开实施例先通过手势识别技术根据人手抓取图像确定人手抓取位姿，然后将人手抓取位姿转换为机器人抓取位姿。本公开实施例中对手势识别技术的具体算法不做限定。在人手抓取位姿转换为机器人抓取位姿过程中的具体转换算法也不做具体限定。
在一些实施例中，S1041所述根据所述人手抓取图像确定人手抓取位姿，包括：
S10411、根据所述人手抓取图像确定人手抓取手势，并确定人手抓取手势中的关键点坐标。
在进行人手示教的过程中，首先根据人手抓取图像识别出人手抓取手势，并确定人手抓取手势中的关键点坐标。例如人手抓取手势中的关键点为A，确定关键点A的三维坐标(x,y,z)。其中，人手抓取手势中的关键点既可以指人手与待抓取物的接触点，也可以指人手的关节、虎口等处。根据不同的末端执行器、不同的待抓取物体及人手抓取情况设定，在此不做限定。
S10412、根据所述关键点坐标确定人手抓取方向。
S10413、根据所述关键点坐标以及所述人手抓取方向确定人手抓取位姿。
由于示教物体为立体图形，人手抓取物体过程中具有一定的抓取方向，所以在得到关键点的三维坐标后，还需要确定人手抓取方向(rx,ry,rz)。得到关键点A的三维坐标(x,y,z)、人手抓取方向(rx,ry,rz)即刻唯一确定人手抓取位姿(x,y,z,rx,ry,rz)。
在一些实施例中，机械臂上的末端执行器例如可以为吸盘，相应的，人手示教动作例如可以为食指指向待抓取物体表面某个接触点的动作。此时机器人机械臂上的图像采集装置(例如RGBD相机)对人手示教动作进行拍摄，通过手势识别算法，识别人手抓取手势，并识别食指的关键点在RGBD相机坐标系中的位置，并进一步确定RGBD相机坐标系下食指与待抓取物体的接触点的三维坐标(x,y,z)，根据接触点A的三维坐标(x,y,z)以及食指的关键点确定抓取方向(rx,ry,rz)。
在一些实施例中，机械臂上的末端执行器例如可以为二指夹爪，人手示教动作例如可以为四指并拢，与拇指对握待抓取物体的抓取动作。此时机器人机械臂上的图像采集装置(例如RGBD相机)对人手示教动作进行拍摄，通过手势识别算法识别拇指、中指等手部关键点在RGBD相机坐标系中的位置，并进一步确定RGBD相机坐标系下拇指与物体的接触点A(x1,y1,z1),中指与物体接触点B(x2,y2,z2),，及虎口位置C(x3,y3,z3),的三维坐标，通过A,B,C三点的三维坐标可以确定抓取方向(rx,ry,rz)。其中，点A，B为接触点，C为夹爪中心点，得到相机坐标系下的抓取位姿(x3,y3,z3,rx,ry,rz)。
本公开实施例可以采用手势识别技术在人手抓取图像中直接识别出人手抓取手势，无需在人手(例如手背)上标记标志物就可以直接识别人手抓取手势中的关键点。因此人手手背也不需要保持朝向图像采集装置，因此示教过程中能够获取更灵活的6D人手抓取位姿，适应各种产品抓取的需要。
可选的，根据所述人手抓取图像确定人手抓取手势，并确定人手抓取手势中的关键点坐标，例如可以采用如下方式：
根据人手抓取图像确定人手抓取手势，采用基于全卷积神经网络生成模型对人手抓取手势进行特征提取，并生成手部稠密特征表示图像，该表示方式能保留手部稠密特征之间的空间关系。然后基于监督学习模型进一步把手部稠密特征表示图像转化为人手抓取手势中的关键点坐标。
因此，本公开实施例通过手势识别算法可以直接识别人手多个手指在物体上的示教抓取点，可适应不同的示教者。
需要说明的是，机器人的末端执行器可以为吸盘、平行二指夹爪、三指夹爪等，可以根据不同物体的特点，对抓取物体的末端执行器形式进行灵活选择。
在一些实施例中，S1042、将所述人手抓取位姿转换为机器人抓取位姿包括：通过预设手眼标定关系将人手抓取位姿转换为机器人抓取位姿。
可以预先设置手眼标定关系，即图像采集装置坐标系与机器人基坐标系之间的坐标转化关系。由于通过机器视觉确定的人手抓取位姿为图像采集装置坐标系下的坐标，因此需要在确定人手抓取位姿后，将图像采集装置坐标系下的人手抓取位姿转换为机器人基坐标系下的机器人抓取位姿，从而可以根据机器人基坐标系下的机器人抓取位姿计算出末端执行器如何运动进行抓取。
本公开实施例提供了一种机器人抓取控制装置，图3为本公开实施例提供的一种机器人抓取控制装置的结构框图。如图3所示，包括第一图像获取模块11、物***姿确定模块12、第二图像获取模块13、抓取位姿确定模块14和示教一一对应关系确定模块15。
其中，第一图像获取模块11用于获取示教物体的图像。物***姿确定模块12用于根据示教物体的图像确定示教物***姿。第二图像获取模块13用于获取人手抓取所述示教物体在不同的示教物***姿时的人手抓取图像。抓取位姿确定模块14用于根据人手抓取图像确定机器人抓取位姿。示教一一对应关系确定模块15用于建立示教物***姿与机器人抓取位姿的示教一一对应关系并存储。
由于可以通过人手抓取位姿进行示教，因此可以针对物体指定合适的抓取位姿。此外，本公开实施例可以自动实现机器人抓取示教，无需通过示教器等反复调试，无需在抓取过程中实时计算抓取位姿，不依赖于操作人员的经验，因此可以提高效率，保证抓取的精度与可靠性。
需要说明的是，前述机器人抓取控制方法实施例的解释说明也适用于本实施例的机器人抓取控制装置。关于机器人抓取控制装置实施例中的各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
在一些实施例中，机器人抓取控制装置还可以包括第三图像获取模块、待抓取物***姿确定模块、待抓取物***姿对应机器人抓取位姿确定模块和待抓取物体抓取模块。
其中，第三图像获取模块用于获取待抓取物体图像。待抓取物***姿确定模块用于根据待抓取物体图像确定待抓取物***姿。待抓取物***姿对应机器人抓取位姿确定模块用于根据示教物***姿与机器人抓取位姿的示教一一对应关系，确定待抓取物***姿对应的机器人抓取位姿。待抓取物体抓取模块用于根据机器人抓取位姿控制机器人抓取待抓取物体。
本公开实施例还提供了一种存储介质，存储介质上存储有计算机程序，程序被处理器执行时可以实现上述任意实施例中机器人抓取控制方法的步骤，在此不做赘述。
需要说明的是，存储介质的例子包括但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RandomAccess Memory，RAM)、只读存储器(Read-Only Memory，ROM)、可擦式可编程只读存储器(Electrical Programmable Read Only Memory，EPROM)、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
本申请的上述实施例提供的存储介质与本申请实施例提供的机器人抓取控制方法出于相同的发明构思，具有与其存储的应用程序或指令所采用、运行或实现的方法相同的有益效果。
本公开实施例还提供了一种机器人。如图4所示，其中包括：图像采集装置21、机械臂22、末端执行器23以及控制器(图中未画出)。图像采集装置21以及末端执行器23位于机械臂22上，控制器分别与图像采集装置21、机械臂22以及末端执行器23电连接。图像采集装置21用于采集示教物体的图像以及人手抓取图像，以获取示教物***姿与机器人抓取位姿的示教一一对应关系，并且用于采集待抓取物体图像，以获取待抓取物***姿。末端执行器23用于在控制器的控制下抓取示教物体或待抓取物体，当示教物体或待抓取物体出现时，末端执行器23根据示教物***姿或者待抓取物***姿进行相应抓取。控制器用于实现上述任一实施例所述的机器人抓取控制方法的步骤。
通过机器人进行抓取控制操作时，无需事先取得示教物体的三维模型以及机器人抓取位姿的三维模型，通过机械臂22上设置的图像采集装置21可获取示教物体的图像与人手抓取图像，以得到示教物***姿和与该示教物***姿下进行抓取时对应的机器人抓取位姿，并建立示教一一对应关系并存储，从而自动完成整个示教过程。因此本公开实施例在抓取示教过程中无需示教器的反复调试，无需在抓取过程中实时计算抓取位姿可以提高示教效率。由于示教过程中不依赖操作人员对机器人的操作经验，因此还可以保证抓取的精度与可靠性。
在一些实施例中，图像采集装置21例如可以包括至少一台相机，当示教物体放置在工作台上时，相机对示教物体进行拍摄，以获取示教物体的图像。图像采集装置21还可以获取人手抓取图像。需要说明的是，可以采用同一图像采集装置对示教物体的图像以及人手抓取图像进行采集。在其他实施例中还可以设置第一图像采集装置采集示教物体的图像，设置第二图像采集装置采集人手抓取图像。
在一些实施例中，末端执行器可以包括吸盘、平行二指夹爪、三指夹爪等，可以根据需要抓取的物体的特点，对末端执行器形式进行灵活选择。
在一些实施例中，机械臂可以设置为三自由度机械臂或者六自由度机械臂等。可根据实际需要设置机械臂种类。机械臂能够在程序指令下精准定位到某一点进行作业，确保了抓取过程的精准度，节约人力。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种机器人抓取控制方法，其特征在于，包括：
获取示教物体的图像；
根据所述示教物体的图像确定示教物***姿；
获取人手抓取所述示教物体在不同的示教物***姿时的人手抓取图像；
根据所述人手抓取图像确定机器人抓取位姿；
建立所述示教物***姿与所述机器人抓取位姿的示教一一对应关系并存储；
其中，所述示教物***姿包括不同示教物体的示教物***姿以及同一示教物体的不同6D位姿。
2.根据权利要求1所述的机器人抓取控制方法，其特征在于，还包括：
获取待抓取物体图像；
根据所述待抓取物体图像确定待抓取物***姿；
根据所述示教物***姿与所述机器人抓取位姿的示教一一对应关系，确定所述待抓取物***姿对应的机器人抓取位姿；
根据所述机器人抓取位姿控制机器人抓取待抓取物体。
3.根据权利要求2所述的机器人抓取控制方法，其特征在于，在根据所述示教物***姿与所述机器人抓取位姿的示教一一对应关系，确定所述待抓取物***姿对应的机器人抓取位姿之前，还包括：
根据所述待抓取物体图像确定所述待抓取物体是否属于预设待抓取物体，并在所述待抓取物体属于预设待抓取物体时，执行根据所述示教物***姿与所述机器人抓取位姿的示教一一对应关系，确定所述待抓取物***姿对应的机器人抓取位姿的操作。
4.根据权利要求1所述的机器人抓取控制方法，其特征在于，所述根据所述人手抓取图像确定机器人抓取位姿，包括：
根据所述人手抓取图像确定人手抓取位姿；
将所述人手抓取位姿转换为机器人抓取位姿。
5.根据权利要求4所述的机器人抓取控制方法，其特征在于，所述根据所述人手抓取图像确定人手抓取位姿，包括：
根据所述人手抓取图像确定人手抓取手势，并确定人手抓取手势中的关键点坐标；
根据所述关键点坐标确定人手抓取方向；
根据所述关键点坐标以及所述人手抓取方向确定人手抓取位姿。
6.根据权利要求4所述的机器人抓取控制方法，其特征在于，将所述人手抓取位姿转换为机器人抓取位姿，包括：
通过预设手眼标定关系将所述人手抓取位姿转换为机器人抓取位姿。
7.一种机器人抓取控制装置，其特征在于，包括：
第一图像获取模块，用于获取示教物体的图像；
物***姿确定模块，用于根据所述示教物体的图像确定示教物***姿；
第二图像获取模块，用于获取人手抓取所述示教物体在不同的示教物***姿时的人手抓取图像；
抓取位姿确定模块，用于根据所述人手抓取图像确定机器人抓取位姿；
示教一一对应关系确定模块，用于建立所述示教物***姿与所述机器人抓取位姿的示教一一对应关系并存储；
其中，所述示教物***姿包括不同示教物体的示教物***姿以及同一示教物体的不同6D位姿。
8.根据权利要求7所述的机器人抓取控制装置，其特征在于，还包括：
第三图像获取模块，用于获取待抓取物体图像；
待抓取物***姿确定模块，用于根据所述待抓取物体图像确定待抓取物***姿；
待抓取物***姿对应机器人抓取位姿确定模块，用于根据所述示教物***姿与所述机器人抓取位姿的示教一一对应关系，确定所述待抓取物***姿对应的机器人抓取位姿；
待抓取物体抓取模块，用于根据所述机器人抓取位姿控制机器人抓取待抓取物体。
9.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述程序被处理器执行时实现权利要求1-6中任意一项所述方法的步骤。
10.一种机器人，其特征在于，包括：
图像采集装置、机械臂、末端执行器以及控制器；
所述图像采集装置以及所述末端执行器位于所述机械臂上；所述控制器分别与所述图像采集装置、所述机械臂以及所述末端执行器电连接；所述图像采集装置用于采集示教物体的图像以及人手抓取图像；所述末端执行器用于在所述控制器的控制下抓取示教物体或待抓取物体；所述控制器用于实现如权利要求1至6中任一项所述的机器人抓取控制方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111248281.9A CN113894774A (zh) | 2021-10-26 | 2021-10-26 | 一种机器人抓取控制方法、装置、存储介质和机器人 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111248281.9A CN113894774A (zh) | 2021-10-26 | 2021-10-26 | 一种机器人抓取控制方法、装置、存储介质和机器人 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113894774A true CN113894774A (zh) | 2022-01-07 |
Family
ID=79026367
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111248281.9A Pending CN113894774A (zh) | 2021-10-26 | 2021-10-26 | 一种机器人抓取控制方法、装置、存储介质和机器人 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113894774A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115401698A (zh) * | 2022-10-17 | 2022-11-29 | 福州大学 | 一种基于抓取手势检测的机械手灵巧抓取规划方法和*** |
| CN115570562A (zh) * | 2022-09-05 | 2023-01-06 | 梅卡曼德（北京）机器人科技有限公司 | 机器人装配位姿确定方法、装置、机器人及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011065035A1 (ja) * | 2009-11-24 | 2011-06-03 | 株式会社豊田自動織機 | ロボットの教示データを作成する方法およびロボット教示システム |
| US10166676B1 (en) * | 2016-06-08 | 2019-01-01 | X Development Llc | Kinesthetic teaching of grasp parameters for grasping of objects by a grasping end effector of a robot |
| CN111002295A (zh) * | 2019-12-30 | 2020-04-14 | 中国地质大学（武汉） | 一种二指抓取机器人的示教手套及示教*** |
| CN111958604A (zh) * | 2020-08-20 | 2020-11-20 | 扬州蓝邦数控制刷设备有限公司 | 一种高效的基于cad模型的异形毛刷单目视觉示教抓取方法 |
| CN113492393A (zh) * | 2020-04-08 | 2021-10-12 | 发那科株式会社 | 一种由人演示的机器人示教 |
-
2021
- 2021-10-26 CN CN202111248281.9A patent/CN113894774A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011065035A1 (ja) * | 2009-11-24 | 2011-06-03 | 株式会社豊田自動織機 | ロボットの教示データを作成する方法およびロボット教示システム |
| US10166676B1 (en) * | 2016-06-08 | 2019-01-01 | X Development Llc | Kinesthetic teaching of grasp parameters for grasping of objects by a grasping end effector of a robot |
| CN111002295A (zh) * | 2019-12-30 | 2020-04-14 | 中国地质大学（武汉） | 一种二指抓取机器人的示教手套及示教*** |
| CN113492393A (zh) * | 2020-04-08 | 2021-10-12 | 发那科株式会社 | 一种由人演示的机器人示教 |
| CN111958604A (zh) * | 2020-08-20 | 2020-11-20 | 扬州蓝邦数控制刷设备有限公司 | 一种高效的基于cad模型的异形毛刷单目视觉示教抓取方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115570562A (zh) * | 2022-09-05 | 2023-01-06 | 梅卡曼德（北京）机器人科技有限公司 | 机器人装配位姿确定方法、装置、机器人及存储介质 |
| CN115401698A (zh) * | 2022-10-17 | 2022-11-29 | 福州大学 | 一种基于抓取手势检测的机械手灵巧抓取规划方法和*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105598987B (zh) | 借助机器人确定关于对象的抓取空间 | |
| JP5685027B2 (ja) | 情報処理装置、物体把持システム、ロボットシステム、情報処理方法、物体把持方法およびプログラム | |
| CN113894774A (zh) | 一种机器人抓取控制方法、装置、存储介质和机器人 | |
| CN113492393A (zh) | 一种由人演示的机器人示教 | |
| CN108858193A (zh) | 一种机械臂抓取方法及*** | |
| JP2009279700A (ja) | ワークの把持方法および装置 | |
| JP2020082322A (ja) | 機械学習装置、機械学習システム、データ処理システム及び機械学習方法 | |
| US20220331964A1 (en) | Device and method for controlling a robot to insert an object into an insertion | |
| CN112775959A (zh) | 机械手的抓取位姿确定方法及***、存储介质 | |
| US20220335622A1 (en) | Device and method for training a neural network for controlling a robot for an inserting task | |
| CN110605711A (zh) | 一种控制协作机器人抓取物体的方法、装置及*** | |
| CN114025928A (zh) | 末端执行器的控制***以及末端执行器的控制方法 | |
| CN114463244A (zh) | 一种视觉机器人抓取***及其控制方法 | |
| CN114347008A (zh) | 基于工业机器人的无序抓取工件方法、装置及智能终端 | |
| Çoban et al. | Wireless teleoperation of an industrial robot by using myo arm band | |
| CN114670189B (zh) | 存储介质、以及生成机器人的控制程序的方法及*** | |
| CN112372641A (zh) | 一种基于视觉前馈与视觉反馈的家庭服务机器人物品抓取方法 | |
| Kita et al. | A method for handling a specific part of clothing by dual arms | |
| CN112338922B (zh) | 一种五轴机械臂抓取放置方法及相关装置 | |
| CN114494426A (zh) | 用于控制机器人来在不同的方位拿起对象的装置和方法 | |
| CN115635482B (zh) | 基于视觉的机器人到人物体传递方法、装置、介质及终端 | |
| Liu et al. | Mapping human hand motion to dexterous robotic hand | |
| JP2022133256A (ja) | 対象物をピックアップするロボットの制御装置及び制御方法 | |
| Zhu et al. | A robotic semantic grasping method for pick-and-place tasks | |
| Vatsal et al. | Augmenting vision-based grasp plans for soft robotic grippers using reinforcement learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220107 |