CN113334395B - 多夹具的机械臂无序抓取方法及*** - Google Patents

多夹具的机械臂无序抓取方法及*** Download PDF

Info

Publication number
CN113334395B
CN113334395B CN202110905807.XA CN202110905807A CN113334395B CN 113334395 B CN113334395 B CN 113334395B CN 202110905807 A CN202110905807 A CN 202110905807A CN 113334395 B CN113334395 B CN 113334395B
Authority
CN
China
Prior art keywords
grabbing
current
mechanical arm
sequence
grabbed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110905807.XA
Other languages
English (en)
Other versions
CN113334395A (zh
Inventor
秦广军
林浩田
肖利民
韩萌
杨钰杰
王良
孙***
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Weishi Intelligent Iot Innovation Center Co ltd
Original Assignee
Changzhou Weishi Intelligent Iot Innovation Center Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Weishi Intelligent Iot Innovation Center Co ltd filed Critical Changzhou Weishi Intelligent Iot Innovation Center Co ltd
Priority to CN202110905807.XA priority Critical patent/CN113334395B/zh
Publication of CN113334395A publication Critical patent/CN113334395A/zh
Application granted granted Critical
Publication of CN113334395B publication Critical patent/CN113334395B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及一种多夹具的机械臂无序抓取方法及***，其中，一种多夹具的机械臂无序抓取方法通过获取待抓取物体组的当前运动状态；预测待抓取物体组中各个物体的运动轨迹；依据各个物体的运动轨迹，通过蒙特卡洛树搜索分析方法选取最优抓取顺序。通过对运动状态进行预测模拟，并通过蒙特卡洛树搜索分析方法进行最优抓取顺序的选取，可以在较短时间内求得较优解，从而可以高效的处理多物体抓取的任务。

Description

多夹具的机械臂无序抓取方法及***
技术领域
本发明涉及机械臂抓取路径规划领域，具体涉及一种多夹具的机械臂无序抓取方法及***。
背景技术
随着人工智能浪潮的到来，智能机器人开始在各行各业逐步替代传统的自动化设备。对机器人而言，抓取是机器人完成工作必不可少的技能，以往的机械臂往往只有单一夹具，在一次抓取中只能针对单一物体进行抓取。然而，在实际的生产应用场景中，往往需要抓取多个物体，加快生产处理效率，比如，在食品生产行业中对多个同类食品抓取装箱，工业生产中对同一类零件抓取装配。
现有自动化流水线上的多夹具机器人往往只能批量处理已经预先处理、规整整齐的大批量物体，无法对多个运动状态不一的物体进行批处理，在复杂环境中由于被抓取的多个物体的移动轨迹、所处位置、物体姿态均不同，使得现有机械臂抓取方法及设备难以在各种复杂的应用场景中平衡移动距离及处理时间的比例，高效、快速地处理任务。
发明内容
本发明的目的是提供一种多夹具的机械臂无序抓取方法及***。
为了解决上述技术问题，本发明提供了一种多夹具的机械臂无序抓取方法，所述方法包括：
获取待抓取物体组的当前运动状态；
预测待抓取物体组中各个物体的运动轨迹；
依据各个物体的运动轨迹，通过蒙特卡洛树搜索分析方法选取最优抓取顺序。
进一步的，所述获取待抓取物体组的当前运动状态的步骤包括：
采集单帧图像对场景中的物体进行分类识别，确定场景中的物体分类；
根据物体分类结果，确定待抓取物体组的抓取个数；
连续采集待抓取物体组的多帧图像；
根据多帧图像确定待抓取物体组的当前运动状态。
进一步的，所述根据多帧图像确定待抓取物体组的当前运动状态的步骤包括：
通过相邻两帧图像采集时间间隔与物体移动距离及运动方向向量得出当前运动状态。
进一步的，所述依据各个物体的运动轨迹，通过蒙特卡洛树搜索分析方法选取最优抓取顺序的步骤包括：
对物体组中的待抓取物体进行编号，搜索树的根节点为
Figure 999581DEST_PATH_IMAGE001
，将待抓取物体编号进 行全排列得到的子树添加至根节点，其中，树上任意一条路径为抓取顺序；
依次计算每个抓取顺序所需的时间以及机械臂运动距离；
通过抓取顺序所需的时间以及机械臂运动距离对当前抓取顺序进行评价，当结果在容忍区间内则认为是一次成功的搜索，否则认为失败；
在计算最优路径耗费的时间在预设时间内，遍历所有抓取顺序进行评价，选取出成功的搜索路径，并调整容忍区间对成功的搜索路径进行重复评价，直至计算最优路径耗费的时间到达预设时间；
选取访问次数最多的节点路径为最优抓取顺序。
进一步的，所述依次计算每个抓取顺序所需的时间以及机械臂运动距离的步骤包括：
物体组中某一物体随时间在空间中的位置变化为P i T =（x，y，z）；
其中，P表示物体组，物体组中的物体编号为i,当前时间为T，x、y、z表示空间位置，由预测的运动轨迹获得；
在一个抓取顺序中的任意物体时间的计算公式为：
Figure 18221DEST_PATH_IMAGE002
式中，
Figure 523152DEST_PATH_IMAGE003
为计算处理的固定时间，
Figure 618147DEST_PATH_IMAGE004
为机械臂由前一抓取位置 到后一物体抓取位置所需时间，t a+1 表示当前物体抓取所需时间，t a 表示前一物体抓取所需 时间，在当前物体为抓取顺序中的第一个物体时，不存在前一物体，t a =0；
机械臂运动距离为：
Figure 457796DEST_PATH_IMAGE005
；
式中，d a+1 表示当前物体抓取时机械臂运动距离，d a 表示前一物体抓取时机械臂运动距离，x a 、y a 、z a 表示前一物体随时间在空间中的位置，x a+1 、y a+1 、z a+1 表示当前物体随时间在空间中的位置。
进一步的，所述通过抓取顺序所需的时间以及机械臂运动距离对当前抓取顺序进行评价，当结果在容忍区间内则认为是一次成功的搜索，否则认为失败的步骤中，评价时的评价函数为；
Figure 30860DEST_PATH_IMAGE006
；
式中，
Figure 390297DEST_PATH_IMAGE007
为使每一步抓取动作的移动距离为当前状态下最小，得到的机械臂完 成抓取序列移动的最短路径，
Figure 905461DEST_PATH_IMAGE008
为使每一步抓取动作所用时间为当前状态最大，得到的 机械臂完成抓取序列所需最长时间，
Figure 717559DEST_PATH_IMAGE009
为平衡系数，平衡系数为经验值，
Figure 94314DEST_PATH_IMAGE010
为容忍度，t 为在一个抓取顺序中最后一个物体所需时间，d为在一个抓取顺序中最后一个物体抓取时 机械臂的运动距离；
U=1表示成功的探索，U=0表示失败的探索。
进一步的，所述选取访问次数最多的节点路径为最优抓取顺序的方法包括：
最优节点的向下搜索采用上限置信区间算法UCT：
Figure 291946DEST_PATH_IMAGE011
其中
Figure 463164DEST_PATH_IMAGE012
为搜索树中节点
Figure 11826DEST_PATH_IMAGE013
的成功次数，
Figure 395534DEST_PATH_IMAGE014
为搜索树中节点
Figure 995142DEST_PATH_IMAGE013
的模拟次数，
Figure 586530DEST_PATH_IMAGE015
是所有模拟次数，
Figure 638799DEST_PATH_IMAGE016
为探索常数；
score为可选节点
Figure 357357DEST_PATH_IMAGE013
的得分，将当前可选节点的score做排序，选取得分最高的节 点循环使用UCT继续向下搜索直至某一叶子节点，使用评价函数评价当前搜索路径，评价完 成后沿当前路径向上回溯并更新节点状态；
按照score得分选取抓取顺序。
本发明还提供了一种多夹具的机械臂无序抓取***，所述***包括：
运动状态获取模块，适于获取待抓取物体组的当前运动状态；
运动轨迹预测模块，适于预测待抓取物体组中各个物体的运动轨迹；
蒙特卡洛树搜索分析模块，适于依据各个物体的运动轨迹，通过蒙特卡洛树搜索分析方法选取最优抓取顺序。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储至少一条的指令，以上所述指令由处理器执行时实现如上述的多夹具的机械臂无序抓取方法。
本发明还提供了一种电子设备，包括存储器和处理器；所述存储器中存储有至少一条指令；所述处理器，通过加载并执行所述至少一条指令以实现如上述的多夹具的机械臂无序抓取方法。
本发明的有益效果是，本发明的提供了一种多夹具的机械臂无序抓取方法及***，其中，一种多夹具的机械臂无序抓取方法通过获取待抓取物体组的当前运动状态；预测待抓取物体组中各个物体的运动轨迹；依据各个物体的运动轨迹，通过蒙特卡洛树搜索分析方法选取最优抓取顺序。通过对运动状态进行预测模拟，并通过蒙特卡洛树搜索分析方法进行最优抓取顺序的选取，可以在较短时间内求得较优解，从而可以高效的处理多物体抓取的任务。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明实施例所提供的多夹具的机械臂无序抓取方法的流程图。
图2是本发明实施例所提供的搜索树的结构示意图。
图3是本发明实施例所提供的多夹具的机械臂无序抓取***的原理框图。
图4是本发明实施例所提供的电子设备的部分原理框图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
实施例1
如图1所示，本实施例1提供了一种多夹具的机械臂无序抓取方法。通过对运动状态进行预测模拟，并通过蒙特卡洛树搜索分析方法进行最优抓取顺序的选取，可以在较短时间内求得较优解，从而可以高效的处理多物体抓取的任务。
具体来说，所述多夹具的机械臂无序抓取方法包括：
S110：获取待抓取物体组的当前运动状态。
具体来说，步骤S110包括以下步骤：
S111：采集单帧图像对场景中的物体进行分类识别，确定场景中的物体分类。
在本实施例中，通过机械臂自带的摄像装置进行图像拍摄，物体的分类按照预先存入的抓取需求的分类标准进行分类。
S112：根据物体分类结果，确定待抓取物体组的抓取个数。
S113：连续采集待抓取物体组的多帧图像。
S114：根据多帧图像确定待抓取物体组的当前运动状态。
具体来说，通过相邻两帧图像采集时间间隔与物体移动距离及运动方向向量得出当前运动状态。
S120：预测待抓取物体组中各个物体的运动轨迹；
S130：依据各个物体的运动轨迹，通过蒙特卡洛树搜索分析方法选取最优抓取顺序。
具体来说，步骤S130包括以下步骤：
S131：对物体组中的待抓取物体进行编号，搜索树的根节点为
Figure 795160DEST_PATH_IMAGE017
，将待抓取物体编 号进行全排列得到的子树添加至根节点，其中，树上任意一条路径为抓取顺序。
具体来说，如图2所示，图2中只示意了抓取个数为3时的情况。
S132：依次计算每个抓取顺序所需的时间以及机械臂运动距离。
具体来说，步骤S132的计算过程如下：
物体组中某一物体随时间在空间中的位置变化为P i T =（x，y，z）；
其中，P表示物体组，物体组中的物体编号为i,当前时间为T，x、y、z表示空间位置，由预测的运动轨迹获得；
在一个抓取顺序中的任意物体时间的计算公式为：
Figure 573760DEST_PATH_IMAGE018
式中，
Figure 847747DEST_PATH_IMAGE019
为计算处理的固定时间，
Figure 369995DEST_PATH_IMAGE020
为机械臂由前一抓取位置 到后一物体抓取位置所需时间，t a+1 表示当前物体抓取所需时间，t a 表示前一物体抓取所需 时间，在当前物体为抓取顺序中的第一个物体时，不存在前一物体，t a =0；
机械臂运动距离为：
Figure 927884DEST_PATH_IMAGE021
；
式中，d a+1 表示当前物体抓取时机械臂运动距离，d a 表示前一物体抓取时机械臂运动距离，x a 、y a 、z a 表示前一物体随时间在空间中的位置，x a+1 、y a+1 、z a+1 表示当前物体随时间在空间中的位置。
S133：通过抓取顺序所需的时间以及机械臂运动距离对当前抓取顺序进行评价，当结果在容忍区间内则认为是一次成功的搜索，否则认为失败。
具体来说，评价时的评价函数为；
Figure 346227DEST_PATH_IMAGE022
；
式中，
Figure 91198DEST_PATH_IMAGE023
为使每一步抓取动作的移动距离为当前状态下最小，得到的机械臂完 成抓取序列移动的最短路径，
Figure 417137DEST_PATH_IMAGE024
为使每一步抓取动作所用时间为当前状态最大，得到的 机械臂完成抓取序列所需最长时间，
Figure 580265DEST_PATH_IMAGE025
为平衡系数，平衡系数为经验值，
Figure 700668DEST_PATH_IMAGE026
为容忍度，t 为在一个抓取顺序中最后一个物体所需时间，d为在一个抓取顺序中最后一个物体抓取时 机械臂的运动距离；
U=1表示成功的探索，U=0表示失败的探索。
S134：在计算最优路径耗费的时间在预设时间内，遍历所有抓取顺序进行评价，选取出成功的搜索路径，并调整容忍区间对成功的搜索路径进行重复评价，直至计算最优路径耗费的时间到达预设时间。
具体来说，预设时间为人为设定无序抓取时的抓取顺序计算时耗费的总时间，在预设时间内，通过迭代容忍度的取值，来对可能是最优路径的抓取顺序进行进一步的评价，从而减少了遍历所有抓取顺序时整体的计算量。
S135：选取访问次数最多的节点路径为最优抓取顺序。
最优节点的向下搜索采用上限置信区间算法UCT：
Figure 464094DEST_PATH_IMAGE027
其中
Figure 62565DEST_PATH_IMAGE028
为搜索树中节点
Figure 80200DEST_PATH_IMAGE029
的成功次数，
Figure 620771DEST_PATH_IMAGE030
为搜索树中节点
Figure 356646DEST_PATH_IMAGE029
的模拟次数，
Figure 758809DEST_PATH_IMAGE031
是所有模拟次数，
Figure 896529DEST_PATH_IMAGE032
为探索常数；
score为可选节点
Figure 608002DEST_PATH_IMAGE029
的得分，将当前可选节点的score做排序，选取得分最高的节点 循环使用UCT继续向下搜索直至某一叶子节点，使用评价函数评价当前搜索路径，评价完成 后沿当前路径向上回溯并更新节点状态，如图2所示。
按照score得分选取抓取顺序。
实施例2,
请参阅图3，本实施例提供了一种多夹具的机械臂无序抓取***，所述***包括：运动状态获取模块、运动轨迹预测模块以及蒙特卡洛树搜索分析模块。
运动状态获取模块，适于获取待抓取物体组的当前运动状态；具体来说，运动状态获取模块用于执行以下步骤：
S111：采集单帧图像对场景中的物体进行分类识别，确定场景中的物体分类。
在本实施例中，通过机械臂自带的摄像装置进行图像拍摄，物体的分类按照预先存入的抓取需求的分类标准进行分类。
S112：根据物体分类结果，确定待抓取物体组的抓取个数。
S113：连续采集待抓取物体组的多帧图像。
S114：根据多帧图像确定待抓取物体组的当前运动状态。
具体来说，通过相邻两帧图像采集时间间隔与物体移动距离及运动方向向量得出当前运动状态。
运动轨迹预测模块，适于预测待抓取物体组中各个物体的运动轨迹。
蒙特卡洛树搜索分析模块，适于依据各个物体的运动轨迹，通过蒙特卡洛树搜索分析方法选取最优抓取顺序。具体来说蒙特卡洛树搜索分析模块用于执行以下步骤：
S131：对物体组中的待抓取物体进行编号，搜索树的根节点为
Figure 565594DEST_PATH_IMAGE033
，将待抓取物体编 号进行全排列得到的子树添加至根节点，其中，树上任意一条路径为抓取顺序。
具体来说，如图2所示，图2中只示意了抓取个数为3时的情况。
S132：依次计算每个抓取顺序所需的时间以及机械臂运动距离。
具体来说，步骤S132的计算过程如下：
物体组中某一物体随时间在空间中的位置变化为P i T =（x，y，z）；
其中，P表示物体组，物体组中的物体编号为i,当前时间为T，x、y、z表示空间位置，由预测的运动轨迹获得；
在一个抓取顺序中的任意物体时间的计算公式为：
Figure 771447DEST_PATH_IMAGE034
式中，
Figure 12941DEST_PATH_IMAGE035
为计算处理的固定时间，
Figure 646048DEST_PATH_IMAGE036
为机械臂由前一抓取位置到 后一物体抓取位置所需时间，t a+1 表示当前物体抓取所需时间，t a 表示前一物体抓取所需时 间，在当前物体为抓取顺序中的第一个物体时，不存在前一物体，t a =0；
机械臂运动距离为：
Figure 356515DEST_PATH_IMAGE037
；
式中，d a+1 表示当前物体抓取时机械臂运动距离，d a 表示前一物体抓取时机械臂运动距离，x a 、y a 、z a 表示前一物体随时间在空间中的位置，x a+1 、y a+1 、z a+1 表示当前物体随时间在空间中的位置。
S133：通过抓取顺序所需的时间以及机械臂运动距离对当前抓取顺序进行评价，当结果在容忍区间内则认为是一次成功的搜索，否则认为失败。
具体来说，评价时的评价函数为；
Figure 366059DEST_PATH_IMAGE038
；
式中，
Figure 196481DEST_PATH_IMAGE039
为使每一步抓取动作的移动距离为当前状态下最小，得到的机械臂完 成抓取序列移动的最短路径，
Figure 266068DEST_PATH_IMAGE040
为使每一步抓取动作所用时间为当前状态最大，得到的 机械臂完成抓取序列所需最长时间，
Figure 198252DEST_PATH_IMAGE041
为平衡系数，平衡系数为经验值，
Figure 11487DEST_PATH_IMAGE042
为容忍度，t 为在一个抓取顺序中最后一个物体所需时间，d为在一个抓取顺序中最后一个物体抓取时 机械臂的运动距离；
U=1表示成功的探索，U=0表示失败的探索。
S134：在计算最优路径耗费的时间在预设时间内，遍历所有抓取顺序进行评价，选取出成功的搜索路径，并调整容忍区间对成功的搜索路径进行重复评价，直至计算最优路径耗费的时间到达预设时间。
具体来说，预设时间为人为设定无序抓取时的抓取顺序计算时耗费的总时间，在预设时间内，通过迭代容忍度的取值，来对可能是最优路径的抓取顺序进行进一步的评价，从而减少了遍历所有抓取顺序时整体的计算量。
S135：选取访问次数最多的节点路径为最优抓取顺序。
最优节点的向下搜索采用上限置信区间算法UCT：
Figure 961995DEST_PATH_IMAGE043
其中
Figure 936904DEST_PATH_IMAGE044
为搜索树中节点
Figure 621963DEST_PATH_IMAGE045
的成功次数，
Figure 222578DEST_PATH_IMAGE046
为搜索树中节点
Figure 43903DEST_PATH_IMAGE045
的模拟次数，
Figure 924134DEST_PATH_IMAGE047
是 所有模拟次数，
Figure 830911DEST_PATH_IMAGE048
为探索常数；
score为可选节点
Figure 235216DEST_PATH_IMAGE045
的得分，将当前可选节点的score做排序，选取得分最高的节 点循环使用UCT继续向下搜索直至某一叶子节点，使用评价函数评价当前搜索路径，评价完 成后沿当前路径向上回溯并更新节点状态，如图2所示。
按照score得分选取抓取顺序。
实施例3
本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储至少一条的指令，以上所述指令由处理器执行时实现实施例1所提供的多夹具的机械臂无序抓取方法。
多夹具的机械臂无序抓取方法通过对运动状态进行预测模拟，并通过蒙特卡洛树搜索分析方法进行最优抓取顺序的选取，可以在较短时间内求得较优解，从而可以高效的处理多物体抓取的任务。
实施例4
请参阅图4，本实施例提供了一种电子设备，包括：存储器502和处理器501；所述存储器502中存储有至少一条程序指令；所述处理器501，通过加载并执行所述至少一条程序指令以实现如实施例1所提供的多夹具的机械臂无序抓取方法。
存储器502和处理器501采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器501和存储器502的各种电路连接在一起。总线还可以将诸如***设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器501处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器501。
处理器501负责管理总线和通常的处理，还可以提供各种功能，包括定时，***接口，电压调节、电源管理以及其他控制功能。而存储器502可以被用于存储处理器501在执行操作时所使用的数据。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (9)

1.一种多夹具的机械臂无序抓取方法，其特征在于，所述方法包括：
获取待抓取物体组的当前运动状态；
预测待抓取物体组中各个物体的运动轨迹；
依据各个物体的运动轨迹，通过蒙特卡洛树搜索分析方法选取最优抓取顺序，即，对物体组中的待抓取物体进行编号，搜索树的根节点为
Figure DEST_PATH_IMAGE002
，将待抓取物体编号进行全排列得到的子树添加至根节点，其中，树上任意一条路径为抓取顺序；
依次计算每个抓取顺序所需的时间以及机械臂运动距离；
通过抓取顺序所需的时间以及机械臂运动距离对当前抓取顺序进行评价，当结果在容忍区间内则认为是一次成功的搜索，否则认为失败；
在计算最优路径耗费的时间在预设时间内，遍历所有抓取顺序进行评价，选取出成功的搜索路径，并调整容忍区间对成功的搜索路径进行重复评价，直至计算最优路径耗费的时间到达预设时间；
选取访问次数最多的节点路径为最优抓取顺序。
2.如权利要求1所述的多夹具的机械臂无序抓取方法，其特征在于，所述获取待抓取物体组的当前运动状态的步骤包括：
采集单帧图像对场景中的物体进行分类识别，确定场景中的物体分类；
根据物体分类结果，确定待抓取物体组的抓取个数；
连续采集待抓取物体组的多帧图像；
根据多帧图像确定待抓取物体组的当前运动状态。
3.如权利要求2所述的多夹具的机械臂无序抓取方法，其特征在于，所述根据多帧图像确定待抓取物体组的当前运动状态的步骤包括：
通过相邻两帧图像采集时间间隔与物体移动距离及运动方向向量得出当前运动状态。
4.如权利要求1所述的多夹具的机械臂无序抓取方法，其特征在于，所述依次计算每个抓取顺序所需的时间以及机械臂运动距离的步骤包括：
物体组中某一物体随时间在空间中的位置变化为P i T =（x，y，z）；
其中，P表示物体组，物体组中的物体编号为i,当前时间为T，x、y、z表示空间位置，由预测的运动轨迹获得；
在一个抓取顺序中的任意物体时间的计算公式为：
Figure DEST_PATH_IMAGE004
式中，
Figure DEST_PATH_IMAGE006
为计算处理的固定时间，
Figure DEST_PATH_IMAGE008
为机械臂由前一抓取位置到后一物体抓取位置所需时间，t a+1 表示当前物体抓取所需时间，t a 表示前一物体抓取所需时间，在当前物体为抓取顺序中的第一个物体时，不存在前一物体，t a =0；
机械臂运动距离为：
Figure DEST_PATH_IMAGE010
；
式中，d a+1 表示当前物体抓取时机械臂运动距离，d a 表示前一物体抓取时机械臂运动距离，x a 、y a 、z a 表示前一物体随时间在空间中的位置，x a+1 、y a+1 、z a+1 表示当前物体随时间在空间中的位置。
5.如权利要求4所述的多夹具的机械臂无序抓取方法，其特征在于，所述通过抓取顺序所需的时间以及机械臂运动距离对当前抓取顺序进行评价，当结果在容忍区间内则认为是一次成功的搜索，否则认为失败的步骤中，评价时的评价函数为；
Figure DEST_PATH_IMAGE012
；
式中，
Figure DEST_PATH_IMAGE014
为使每一步抓取动作的移动距离为当前状态下最小，得到的机械臂完成抓取序列移动的最短路径，
Figure DEST_PATH_IMAGE016
为使每一步抓取动作所用时间为当前状态最大，得到的机械臂完成抓取序列所需最长时间，
Figure DEST_PATH_IMAGE018
为平衡系数，平衡系数为经验值，
Figure DEST_PATH_IMAGE020
为容忍度，t为在一个抓取顺序中最后一个物体所需时间，d为在一个抓取顺序中最后一个物体抓取时机械臂的运动距离；U=1表示成功的探索，U=0表示失败的探索。
6.如权利要求4所述的多夹具的机械臂无序抓取方法，其特征在于，所述选取访问次数最多的节点路径为最优抓取顺序的方法包括：
最优节点的向下搜索采用上限置信区间算法UCT：
Figure DEST_PATH_IMAGE022
其中W i 为搜索树中节点i的成功次数，n i 为搜索树中节点i的模拟次数，N i 是所有模拟次数，
Figure DEST_PATH_IMAGE024
为探索常数；
score为可选节点i的得分，将当前可选节点的score做排序，选取得分最高的节点循环使用UCT继续向下搜索直至某一叶子节点，使用评价函数评价当前搜索路径，评价完成后沿当前路径向上回溯并更新节点状态；
按照score得分选取抓取顺序。
7.一种多夹具的机械臂无序抓取***，其特征在于，所述***包括：
运动状态获取模块，适于获取待抓取物体组的当前运动状态；
运动轨迹预测模块，适于预测待抓取物体组中各个物体的运动轨迹；
蒙特卡洛树搜索分析模块，适于依据各个物体的运动轨迹，通过蒙特卡洛树搜索分析方法选取最优抓取顺序，即，对物体组中的待抓取物体进行编号，搜索树的根节点为
Figure DEST_PATH_IMAGE026
，将待抓取物体编号进行全排列得到的子树添加至根节点，其中，树上任意一条路径为抓取顺序；
依次计算每个抓取顺序所需的时间以及机械臂运动距离；
通过抓取顺序所需的时间以及机械臂运动距离对当前抓取顺序进行评价，当结果在容忍区间内则认为是一次成功的搜索，否则认为失败；
在计算最优路径耗费的时间在预设时间内，遍历所有抓取顺序进行评价，选取出成功的搜索路径，并调整容忍区间对成功的搜索路径进行重复评价，直至计算最优路径耗费的时间到达预设时间；
选取访问次数最多的节点路径为最优抓取顺序。
8.一种计算机可读存储介质，所述计算机可读存储介质中存储至少一条的指令，其特征在于，以上所述指令由处理器执行时实现权利要求1至6中任一所述的多夹具的机械臂无序抓取方法。
9.一种电子设备，其特征在于，包括存储器和处理器；所述存储器中存储有至少一条指令；所述处理器，通过加载并执行所述至少一条指令以实现权利要求1-6中任一项所述的多夹具的机械臂无序抓取方法。
CN202110905807.XA 2021-08-09 2021-08-09 多夹具的机械臂无序抓取方法及*** Active CN113334395B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110905807.XA CN113334395B (zh) 2021-08-09 2021-08-09 多夹具的机械臂无序抓取方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110905807.XA CN113334395B (zh) 2021-08-09 2021-08-09 多夹具的机械臂无序抓取方法及***

Publications (2)

Publication Number Publication Date
CN113334395A CN113334395A (zh) 2021-09-03
CN113334395B true CN113334395B (zh) 2021-11-26

Family

ID=77481061

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110905807.XA Active CN113334395B (zh) 2021-08-09 2021-08-09 多夹具的机械臂无序抓取方法及***

Country Status (1)

Country Link
CN (1) CN113334395B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113580149B (zh) * 2021-09-30 2021-12-21 湖南大学 基于关键点预测网络的无序混叠工件抓取方法和***
CN113910237B (zh) * 2021-11-05 2023-02-28 江苏昱博自动化设备有限公司 多夹具的机械臂无序夹取方法及***
CN116673968B (zh) * 2023-08-03 2023-10-10 南京云创大数据科技股份有限公司 基于强化学习的机械臂轨迹规划要素选择方法及***
CN117848588B (zh) * 2024-03-07 2024-06-04 青岛天一红旗软控科技有限公司 一种机械平衡自适应测试方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014080652A1 (ja) * 2012-11-22 2014-05-30 大日本スクリーン製造株式会社 把持機構の軌道生成装置、把持機構の軌道生成方法、把持機構の軌道生成プログラム、記録媒体、ロボットプログラム作成装置
JP2018051684A (ja) * 2016-09-28 2018-04-05 ファナック株式会社 複数個の物品をひとつずつ最適な経路で取り出す搬送装置
CN109834712A (zh) * 2019-03-01 2019-06-04 广东工业大学 一种机器人抓取顺序优化的方法
CN111508066A (zh) * 2020-04-16 2020-08-07 北京迁移科技有限公司 一种基于3d视觉的无序堆叠工件抓取***及交互方法
CN111687885A (zh) * 2020-06-03 2020-09-22 西安交通大学 一种用于无序零件装配的智能双臂机器人***及视觉引导方法
CN112518748A (zh) * 2020-11-30 2021-03-19 广东工业大学 面向运动物品的视觉机械臂自动抓取方法与***
CN112775967A (zh) * 2020-12-30 2021-05-11 中南民族大学 基于机器视觉的机械臂抓取方法、装置及设备
CN112873205A (zh) * 2021-01-15 2021-06-01 陕西工业职业技术学院 基于双夹具实时切换的工业机器人无序抓取方法
CN113096161A (zh) * 2021-03-31 2021-07-09 哈尔滨工业大学（深圳） 一种密集行人环境下强化学习移动机器人的导航方法及装置
CN113139644A (zh) * 2021-03-24 2021-07-20 北京科技大学顺德研究生院 一种基于深度蒙特卡洛树搜索的信源导航方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014080652A1 (ja) * 2012-11-22 2014-05-30 大日本スクリーン製造株式会社 把持機構の軌道生成装置、把持機構の軌道生成方法、把持機構の軌道生成プログラム、記録媒体、ロボットプログラム作成装置
JP2018051684A (ja) * 2016-09-28 2018-04-05 ファナック株式会社 複数個の物品をひとつずつ最適な経路で取り出す搬送装置
CN109834712A (zh) * 2019-03-01 2019-06-04 广东工业大学 一种机器人抓取顺序优化的方法
CN111508066A (zh) * 2020-04-16 2020-08-07 北京迁移科技有限公司 一种基于3d视觉的无序堆叠工件抓取***及交互方法
CN111687885A (zh) * 2020-06-03 2020-09-22 西安交通大学 一种用于无序零件装配的智能双臂机器人***及视觉引导方法
CN112518748A (zh) * 2020-11-30 2021-03-19 广东工业大学 面向运动物品的视觉机械臂自动抓取方法与***
CN112775967A (zh) * 2020-12-30 2021-05-11 中南民族大学 基于机器视觉的机械臂抓取方法、装置及设备
CN112873205A (zh) * 2021-01-15 2021-06-01 陕西工业职业技术学院 基于双夹具实时切换的工业机器人无序抓取方法
CN113139644A (zh) * 2021-03-24 2021-07-20 北京科技大学顺德研究生院 一种基于深度蒙特卡洛树搜索的信源导航方法及装置
CN113096161A (zh) * 2021-03-31 2021-07-09 哈尔滨工业大学（深圳） 一种密集行人环境下强化学习移动机器人的导航方法及装置

Also Published As

Publication number Publication date
CN113334395A (zh) 2021-09-03

Similar Documents

Publication Publication Date Title
CN113334395B (zh) 多夹具的机械臂无序抓取方法及***
CN106393102B (zh) 机器学习装置、机器人***及机器学习方法
CN110125930B (zh) 一种基于机器视觉和深度学习的机械臂抓取控制方法
JP7145843B2 (ja) ロボットマニピュレータの訓練
US11440183B2 (en) Hybrid machine learning-based systems and methods for training an object picking robot with real and simulated performance data
CN109176521A (zh) 一种机械臂及其抓取控制方法和***
Kiatos et al. Robust object grasping in clutter via singulation
CN107303675A (zh) 最佳化具有多台工业机械的生产***的动作的单元控制器
CN109397285B (zh) 一种装配方法、装配装置及装配设备
JP6671694B1 (ja) 機械学習装置、機械学習システム、データ処理システム及び機械学習方法
CN108748149B (zh) 一种复杂环境下基于深度学习的无标定机械臂抓取方法
EP4115347A1 (en) Trajectory optimization using neural networks
CN111223141B (zh) 基于强化学习的自动化流水线作业效率优化***及方法
Comba et al. Robot ensembles for grafting herbaceous crops
CN109500809B (zh) 对由机器人选择和抓取物体的自动化过程的优化
CN113840696A (zh) 用于在训练和运行时环境中控制机器人物体拾取和放置的基于机器学习的***和方法
Arana-Arexolaleiba et al. Transferring human manipulation knowledge to industrial robots using reinforcement learning
Xu et al. Dexterous manipulation from images: Autonomous real-world rl via substep guidance
CN117773913A (zh) 机器人控制方法、装置、存储介质及机器人
RU2755876C1 (ru) Способ оптимизации роботизированной сортировки тко путём динамического планирования перемещений робота-сортировщика
Weng et al. The task-level evaluation model for a flexible assembly task with an industrial dual-arm robot
Hung et al. Introspective visuomotor control: exploiting uncertainty in deep visuomotor control for failure recovery
Gao et al. A hierarchical manipulation scheme for robotic sorting of multiwire cables with hybrid vision
Kumra et al. Learning multi-step robotic manipulation policies from visual observation of scene and q-value predictions of previous action
JP7470062B2 (ja) 情報処理装置、および、学習認識システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant