CN111683798B - 工件拾取装置以及工件拾取方法 - Google Patents

工件拾取装置以及工件拾取方法 Download PDF

Info

Publication number
CN111683798B
CN111683798B CN201980011823.5A CN201980011823A CN111683798B CN 111683798 B CN111683798 B CN 111683798B CN 201980011823 A CN201980011823 A CN 201980011823A CN 111683798 B CN111683798 B CN 111683798B
Authority
CN
China
Prior art keywords
workpiece
parameter
hand
calculation
measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980011823.5A
Other languages
English (en)
Other versions
CN111683798A (zh
Inventor
殿谷徳和
森谷俊洋
小岛岳史
藤井春香
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN111683798A publication Critical patent/CN111683798A/zh
Application granted granted Critical
Publication of CN111683798B publication Critical patent/CN111683798B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1669Programme controls characterised by programming, planning systems for manipulators characterised by special application, e.g. multi-arm co-operation, assembly, grasping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1612Programme controls characterised by the hand, wrist, grip control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40269Naturally compliant robot arm
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)

Abstract

本发明提供一种工件拾取装置及方法,提升对于经散装的工件的握持的成功率,实现良好的拾取操作。工件拾取装置包括测量工件的传感器、握持工件的手部、使手部移动的机器人、以及它们的控制装置。控制装置具有:位置姿势算出部,算出工件的位置姿势等;握持姿势算出部,算出手部对于工件的握持姿势;路径算出部,算出使手部朝握持姿势移动的路径;传感器控制部,控制传感器的动作;手部控制部,控制手部的动作;机器人控制部,控制机器人的动作;状况判定部,根据三维位置的测量结果等来判定工件的状况;以及参数变更部,在工件的状况的判定结果满足规定的条件的情况下,变更测量参数及各种算出参数中的至少任一者。

Description

工件拾取装置以及工件拾取方法
技术领域
本发明涉及一种工件拾取装置以及工件拾取方法。
背景技术
以往,已知有一种从杂乱地重叠放置的散装零件中识别各个零件(工件)的位置姿势,通过机器人来将工件一个一个地取出的装置(所谓的散装拾取装置)。作为所述散装拾取装置,在专利文献1中提出有如下的散装拾取装置:使机械手部朝工件握持目标位置前进,确认握持状态,在握持状态并不良好的情况下,变更工件握持目标位置,使机械手部前进直至变成良好的握持状态为止。
现有技术文献
专利文献
专利文献1:日本专利特开2010-69542号公报
发明内容
发明所要解决的问题
在所述以往的散装拾取装置中,利用距离传感器对经散装的工件进行三维测量,将所获得的测量结果与工件的三维计算机辅助设计(Computer Aided Design,CAD)模型进行对照,由此识别个别的工件的位置姿势。此时,用于利用距离传感器进行三维测量的测量参数一般由用户在测量前事先设定规定值。
但是,即便用户适当地进行了此种测量参数的设定,也因工件周边的环境变化或工件的表面状态的变化等而导致测量值的一部分缺失或遗漏,因此无法对经散装的所有工件进行三维测量。尤其,若工件的拾取次数增加,残存的工件的数量变少,则存在如下的问题:测量值存在缺失或遗漏的工件的比例逐渐地增多,即,对工件进行检测本身变得困难。换言之,一般越是位置姿势的测量值稳定的工件,越比其他工件更优先地被先拾取,因此存在如下的倾向:拾取作业越进行到最后阶段,因难以检测而无法拾取的工件的数量越增大。
因此,本发明在一个方面是鉴于所述情况而形成的发明,其目的在于提供一种针对经散装的工件,可提升握持的成功率,可实现良好的拾取操作的工件拾取技术。
解决问题的技术手段
为了解决所述课题,本发明采用以下的结构。
[1]本公开的工件拾取装置的一例是用于取出经堆积的工件的工件拾取装置,包括:传感器,测量所述工件的三维位置;手部,握持所述工件;机器人,使所述手部朝握持位置移动且从所述握持位置移动;以及控制装置,控制所述传感器、所述手部、及所述机器人。而且,所述控制装置具有:位置姿势算出部,根据所述三维位置的测量结果,使用规定的算出参数来算出所述工件的位置姿势、且算出检测了位置姿势的工件数;握持姿势算出部,根据所述位置姿势的算出结果,使用规定的算出参数来算出所述手部握持所述工件时的所述手部的握持姿势;路径算出部,使用规定的算出参数来算出使所述手部朝所述握持姿势移动的路径;传感器控制部,根据测量所述三维位置时的测量参数,控制所述传感器的动作;手部控制部,根据所述握持姿势,控制所述手部的动作;机器人控制部,根据所述路径,控制所述机器人的动作;状况判定部,根据所述三维位置的测量结果及所述工件数的算出结果,判定所述工件的状况;以及参数变更部,在所述工件的状况的判定结果满足规定的条件的情况下,变更包含测量所述三维位置时的测量参数、所述位置姿势的算出参数、所述握持姿势的算出参数、及所述路径的算出参数中的至少任一者的参数。
在所述结构中,使用规定的测量参数来测量经堆积的各个工件的三维位置,根据其测量结果来算出工件的位置姿势与经检测的工件数,进而,根据它们的结果来判定工件的状况。而且,对应于工件的状况来变更包含测量参数、位置姿势的算出参数、握持姿势的算出参数、及路径的算出参数中的至少任一者的参数,进行再测量或再算出后,进行工件的拾取。因此,即便在最初的三维测量中工件的测量值产生了缺失或遗漏,也可以提升对于工件的握持的成功率(减少不成功率)。
另外,此处的“成功率”并非是指手部试行了工件的握持时,可握持所述工件的比率,而是表示可测量仍然残存的工件的三维位置(工件拾取装置可探测残存的工件),其结果,成功拾取工件的比率。换言之,此处的“不成功率”并非是指手部试行了工件的握持,但握持所述工件失败的比率,而是表示虽然仍然残存有工件,但无法测量所述工件的三维位置(工件拾取装置无法探测残存的工件),因此未成功拾取工件的比率。另外,传感器可被固定,也可以设置成可移动,在后者的情况下,传感器自身可具有驱动机构,也可以将传感器安装在例如机器人上。
[2]在所述结构中,也可以设为所述控制装置包括从所述三维位置的测量结果中提取缺损区域的缺损区域提取部,所述状况判定部根据所述工件数,及所述缺损区域的位置、面积或体积,判定所述工件的状况。此处,所谓“缺损区域”,表示在传感器的测量范围内,虽然是原本应获得工件的三维位置的测量值的区域,但未获得工件的三维位置的测量值,测量值产生缺失或遗漏的区域。
在所述结构中,根据经探测的工件数及与缺损区域相关的特征量(位置、面积或体积)两者来判定工件的状况,因此可更准确地掌握仍然残存的工件的状态,其结果,可正确地判断是否需要变更测量参数或各种算出参数。
[3]在所述结构中,也可以设为所述控制装置包括从所述三维位置的测量结果中提取平面区域的平面区域提取部,所述状况判定部根据所述工件数,及所述平面区域的位置、距离或面积,判定所述工件的状况。此处,所谓“平面区域”,是指在工件的三维位置的测量值中被认为是“平面”的区域,更具体而言,例如相当于收纳有工件的容器的底面或堆积有工件的支撑台的面等。
在所述结构中,根据经探测的工件数及与平面区域相关的特征量(位置、距离或面积)两者来判定工件的状况,因此可更准确地掌握仍然残存的工件的状态,其结果,可正确地判断是否需要变更测量参数或各种算出参数。
[4]在所述结构中,所述参数变更部也可以在所述工件数为规定值以下的情况下,变更所述参数。
在所述结构中,可以说对用于判定是否需要变更参数的工件数设定阈值,因此尤其在如相对于设想残存的工件数,经检测的工件数少的情况下,可更正确地判断是否需要变更参数。
[5]在所述结构中,也可以设为所述参数变更部在所述缺损区域的面积或体积为规定值以上的情况下、或所述缺损区域的位置存在于所述工件的载置区域内的规定的范围内的情况下,变更所述参数。此处,所谓“载置区域”,表示载置有工件的有限的区域,更具体而言,例如相当于收纳有工件的容器或堆积有工件的支撑台等。
在所述结构中,可以说对用于判定是否需要变更参数的缺损区域的面积、体积或位置设定阈值,因此尤其在如相对于设想残存的工件数,工件的测量值的缺失或遗漏多的情况下,可更正确地判断是否需要变更参数。
[6]在所述结构中,也可以设为所述参数变更部在所述平面区域的距离或面积为规定值以下的情况下、或所述平面区域的位置相对于所述工件的载置面存在于规定的范围内的情况下,变更所述参数。此处,所谓“平面区域的距离”,表示适宜的基准位置与经检测的平面区域的位置之间的距离。另外,所谓“载置面”,表示载置有工件的有限的区域的面,更具体而言,例如相当于收纳有工件的容器的底面或堆积有工件的支撑台的面。
在所述结构中,可以说对用于判定是否需要变更参数的平面区域的距离、面积或位置设定阈值,因此可更正确地判断是否需要变更参数。
[7]在所述结构中,也可以设为所述参数变更部将所述参数的变更限制在规定次数以内。
在所述结构中,在超过规定次数的情况下不进行参数的变更处理,因此可抑制由即便无法进一步显著地提高对于工件的握持的成功率,也重复处理所引起的处理时间的增大。
[8]在所述结构中,所述参数变更部能够以变更作为测量所述三维位置时的测量参数的曝光时间、照明照度、及测量位置中的至少任一者的方式构成。
在所述结构中,变更工件的三维位置的测量参数之中,特别主要的曝光时间、照明照度、及测量位置等参数,因此在再测量时,可进行工件的三维位置的更正确的检测,其结果,可减少测量值的缺失或遗漏的产生。
[9]在所述结构中,也可以设为所述参数变更部根据所述缺损区域的亮度,变更曝光时间、照明照度、及测量位置中的至少任一者。
在所述结构中,着眼于缺损区域的亮度,因此容易确定产生缺损区域的因素,其结果,可更适当地再次设定曝光时间、照明照度、及测量位置等主要的测量参数。
[10]在所述结构中,也可以设为所述参数变更部变更作为所述位置姿势的算出参数的位置姿势算出的阈值。
在所述结构中,变更位置姿势算出的阈值,由此即便在工件的测量值存在缺失或遗漏的情况、或工件重叠的情况下,也容易检测各个工件,因此可增大成为握持候补的工件数,其结果,可进一步提高握持的成功率。
[11]在所述结构中,也可以设为所述参数变更部变更作为所述握持姿势的算出参数的握持姿势算出的阈值。
在所述结构中,变更握持姿势算出的阈值,由此即便在工件间的间隙小的情况(工件接近的情况)、或例如收纳在容器中的工件存在于容器的壁边的情况下,也使手部对于工件的握持变得容易,其结果,可进一步提高对于工件的握持的成功率。
[12]在所述结构中,也可以设为所述参数变更部变更作为所述路径的算出参数的干扰判定的阈值。
在所述结构中,变更干扰判定的阈值,由此可更主动地使手部朝工件的握持位置移动,因此可进一步提高对于工件的握持的成功率。
[13]在所述结构中,也可以设为所述参数变更部对应于所述参数的变更次数来变更所述参数。
在所述结构中,对应于参数的变更次数来变更各参数,因此可设定对应于工件的拾取进展而残存的工件数变少的状况的适当的参数,其结果,可进一步提高对于工件的握持的成功率。
[14]本公开的工件拾取方法的一例是可使用所述结构的工件拾取装置的一例来有效地实施的方法,包含以下的各步骤。即,所述方法是用于使用包括传感器、手部、机器人、及控制装置的工件拾取装置,取出经堆积的工件的方法,包括:测量步骤,所述传感器测量所述工件的三维位置;握持步骤,所述手部握持所述工件;移动步骤,所述机器人使所述手部朝握持位置移动且从所述握持位置移动;以及控制步骤,所述控制装置控制所述传感器、所述手部、及所述机器人。而且,所述控制步骤具有:位置姿势算出步骤,根据所述三维位置的测量结果,使用规定的算出参数来算出所述工件的位置姿势、且算出检测了位置姿势的工件数;握持姿势算出步骤,根据所述位置姿势的算出结果,使用规定的算出参数来算出所述手部握持所述工件时的所述手部的握持姿势;路径算出步骤,使用规定的算出参数来算出使所述手部朝所述握持姿势移动的路径;传感器控制步骤,根据测量所述三维位置时的测量参数,控制所述传感器的动作;手部控制步骤,根据所述握持姿势,控制所述手部的动作;机器人控制步骤,根据所述路径,控制所述机器人的动作;状况判定步骤,根据所述三维位置的测量结果及所述工件数的算出结果,判定所述工件的状况;以及参数变更步骤,在所述工件的状况的判定结果满足规定的条件的情况下,变更包含测量所述三维位置时的测量参数、所述位置姿势的算出参数、所述握持姿势的算出参数、及所述路径的算出参数中的至少任一者的参数。
另外,在本公开中,“部”及“装置”并非仅是指物理部件,也包含通过软件来实现所述“部”及“装置”所具有的功能的结构。另外,可通过两个以上的物理部件或装置来实现一个“部”及“装置”所具有的功能、或者也可以通过一个物理部件或装置来实现两个以上的“部”及“装置”的功能。进而,所谓“部”及“装置”,例如是指也可以改称为“部件”及“***”的概念。
发明的效果
根据本发明,与基于设定有单一的测量参数的工件的三维测量的以往的拾取相比,可提升对于经散装的工件的握持的成功率,其结果,可实现良好的拾取操作。
附图说明
图1是示意性地表示实施方式的工件拾取装置的应用场景的一例的概略的平面图。
图2是示意性地表示实施方式的工件拾取装置的硬件结构的一例的平面图。
图3是示意性地表示实施方式的工件拾取装置的功能结构的一例的平面图。
图4是表示实施方式的工件拾取装置中的处理顺序的一例的流程图。
图5是表示作为其他实施方式的第一结构例的工件拾取装置中的处理顺序的一例的流程图。
图6是表示作为其他实施方式的第二结构例的工件拾取装置中的处理顺序的一例的流程图。
图7是表示作为其他实施方式的第三结构例的工件拾取装置中的处理顺序的一例的流程图。
符号的说明
1:传感器
2:手部
3:机器人
4:控制装置
5:工件
6:收纳容器
41:控制运算部
42:通信接口(I/F)部
43:存储部
44:输入部
45:输出部
46:总线
100:工件拾取装置
410:位置姿势算出部
420:握持姿势算出部
430:路径算出部
440:区域提取部
450:状况判定部
460:参数变更部
470:传感器控制部
480:手部控制部
490:机器人控制部
S10~S80、S81~S83:步骤
具体实施方式
以下,参照附图对本公开的一例的实施方式(以下也表述成“实施方式”)进行说明。但是,以下所说明的实施方式只是例示,并不意图排除以下未明示的各种变形或技术的应用。即,本公开的一例可在不脱离其主旨的范围内进行各种变形来实施。另外,在以下的附图的记载中,对相同或类似的部分附加相同或类似的符号,附图是示意性的附图,未必与实际的尺寸或比率等一致。进而,有时在附图相互间也包含彼此的尺寸的关系或比率不同的部分。
§1应用例
首先,使用图1对应用本公开的一例的场景的一例进行说明。图1是示意性地表示本实施方式的工件拾取装置100的应用场景的一例的概略的平面图。本实施方式的工件拾取装置100是用于将被散装在例如收纳容器6等供给装置内的多个工件5从所述收纳容器6中取出,朝适宜的托盘等(未图示)移设,并进行排列来配置的装置。
在图1的例子中,工件拾取装置100包括:传感器1、手部2、机器人3、以及控制装置4。
传感器1是用于测量工件5的三维位置的距离传感器,例如包含搭载有一般的光学传感器的相机装置来构成,以规定的视角拍摄工件5。手部2具有可进行抓住且放掉各个工件5的动作的握持机构。机器人3在其臂部的前端设置有手部2,具有用于使手部2朝收纳容器6内的工件5的握持位置移动、且使握持有工件5的手部2从所述握持位置朝所述托盘等移动的驱动机构。控制装置4与传感器1、手部2、及机器人3分别连接,除用于控制利用传感器1的工件5的测量处理、利用手部2的工件5的握持处理、机器人3的驱动处理以外,用于控制与在工件拾取装置100中所需要的各种动作或运算相关的处理。
此处,作为工件5的三维位置的测量方式,并无特别限制,例如可适宜选择如下的方式来使用:利用光的直进性的各种主动测量方式(例如,将三角测距作为基本原理的空间编码模式投影方式、时间编码模式投影方式、莫尔拓扑方式等)、利用光的直进性的各种被动测量方式(例如,将三角测距作为基本原理的立体相机方式、视体积交叉方式、因子分解方式等,将同轴测距作为基本原理的聚焦深度(Depth from focusing)方式等)、以及利用光的速度的各种主动测量方式(例如,将同时测距作为基本原理的光时间差(飞行时间(Time Of Flight,TOF))测定方式、激光扫描方式等)。
另外,传感器1视需要也可以具有投影仪(未图示),所述投影仪朝工件5投射包含适宜的测量光(例如,主动方式中所使用的图案光或扫描光等)的所谓的三维(3-Dimensional,3D)用照明、或作为通常的照明的所谓的二维(2-Dimensional,2D)用照明。所述投影仪的结构也无特别限制,例如在投射图案光的投影仪的情况下,可例示包括激光光源、图案掩模、及透镜的结构。从激光光源射出的光通过形成有规定的图案的图案掩模而变换成具有规定的图案的测量光(图案光),经由透镜而朝工件5投射。
更具体而言,控制装置4进行以下的(1)至(7)中所示的各处理。
(1)位置姿势算出处理
根据表示由传感器1所获得的工件5的三维位置的三维点群数据及与其对应的二维图像,使用规定的算出参数来算出工件5的位置姿势(三维坐标及环绕三维轴的旋转角度)、及位置姿势经检测的工件5的数量(工件数)。
(2)握持姿势算出处理
根据工件5的位置姿势的算出结果,使用规定的算出参数来算出手部2握持工件5时的手部2的握持姿势。
(3)路径算出处理
根据手部2的初期姿势(初期位置)、及握持工件5时的手部2的握持姿势的算出结果,使用规定的算出参数来算出使手部2从初期姿势移动至握持姿势为止的路径。
(4)区域提取处理
在表示由传感器1所获得的工件5的三维位置的三维点群数据中,提取虽然是原本应获得工件5的三维位置的测量值的区域,但未获得工件5的三维位置的测量值,测量值产生缺失或遗漏的区域(缺损区域)。
(5)状况判定处理
根据位置姿势经检测的工件5的数量(工件数)、及工件5的三维位置的测量结果(例如,从三维点群数据中提取的缺损区域),判定工件5的状况。此处,关于工件数,例如在与可根据目前为止的拾取的经历等来推断的残存工件数相比,由传感器1所检测到的工件数显著少、或未检测到工件5(工件数=0)等状况的情况下,可通过后述(6)中所示的参数变更处理,更准确地掌握仍然残存的工件5的状态。另外,关于作为测量结果所提取的缺损区域,在缺损区域相对于传感器1的测量范围(视野)整体所占的比率显著大等状况的情况下,可通过后述(6)中所示的参数变更处理,更准确地掌握仍然残存的工件5的状态。
因此,在本实施方式中,将位置姿势经检测的工件数、及从三维点群数据中提取的缺损区域的特征量是否分别满足规定的条件作为工件5的状况来进行判定。更具体而言,例如将位置姿势经检测的工件数是否为规定值以下、及作为从三维点群数据中提取的缺损区域的特征量的“面积”或“体积”是否为规定值以上、或作为缺损区域的特征量的“位置”是否存在于工件5的载置区域内(收纳容器6的内部)的规定的范围内作为工件5的状况来进行判定。
(6)参数变更处理
在工件5的状况的判定结果满足规定的条件(所述(5)中所例示的判定条件)的情况下,变更(计算)测量工件5的三维位置时的测量参数。另外,本实施方式是变更测量参数的形态的一例,但在后述的第一结构例至第三结构例中,分别例示变更(计算、或从事先准备的表中选择)算出工件5的位置姿势时的算出参数、算出手部2对于工件5的握持姿势时的算出参数、及算出从手部2的初期姿势至握持姿势为止的路径时的算出参数的形态。
(7)各种控制处理
根据测量工件5的三维位置时的测量参数,控制传感器1的动作,根据所算出的握持姿势,控制手部2的动作,根据所算出的路径,控制机器人3的动作。
如此,控制装置4相当于本发明中的“位置姿势算出部”、“握持姿势算出部”、“路径算出部”、“传感器控制部”、“手部控制部”、“机器人控制部”、“状况判定部”、及“参数变更部”各者的一例。
根据以上所述,根据本实施方式的工件拾取装置100,可改善在以往的装置中是课题的工件的握持困难性,并提升握持工件时的成功率。即,在以往的装置中,由于设定单一的测量参数来测量工件的三维位置,因此随着工件的拾取次数增加,其测量值产生缺失或遗漏的比例变多,其结果,存在良好的拾取变得困难的倾向。相对于此,根据本实施方式的工件拾取装置100,在对应于工件的实际的状况,适宜变更测量参数后,通过传感器1来再次测量工件5的三维位置,因此即便在工件的拾取次数增加的情况下,也可以准确地检测工件来实现正确的拾取操作。
§2结构例
[硬件结构]
继而,使用图2对本实施方式的工件拾取装置100的硬件结构的一例进行说明。图2是示意性地表示本实施方式的工件拾取装置100的硬件结构的一例的平面图。
在图2的例子中,工件拾取装置100也包括图1中所例示的传感器1、手部2、机器人3、以及控制装置4。此处,控制装置4包含控制运算部41、通信接口(Interface,I/F)部42、存储部43、输入部44、以及输出部45,各部可经由总线46而相互可通信地连接。
控制运算部41包含中央处理器(Central Processing Unit,CPU)、随机存取存储器(Random Access Memory,RAM)、只读存储器(Read Only Memory,ROM)等,对应于信息处理来进行各构成元件的控制及各种运算。
通信I/F部42例如为用于通过有线或无线来与作为其他构成元件的“部”及“装置”进行通信的通信组件。通信I/F部42用于通信的通信方式任意,例如可列举局域网(LocalArea Network,LAN)或通用串行总线(Universal Serial Bus,USB)等,也可以应用与总线46同等的适宜的通信线。传感器1、手部2、及机器人3均能够以经由通信I/F部42而可与控制运算部41等进行通信的方式设置。
存储部43例如为硬盘驱动器(Hard Disk Drive,HDD)、固态驱动器(Solid StateDrive,SSD)等辅助存储装置,存储由控制运算部41所执行的各种程序(用于执行所述(1)至(6)中所示的各种处理的运算程序,以及用于进行所述(7)中所示的传感器1、手部2、及机器人3各自的动作的控制处理的控制程序等)、从传感器1中输出的三维点群数据或二维图像、包含测量参数或各种算出参数的数据库、各种运算结果的数据、与工件5的拾取状况或拾取记录相关的数据等,进而存储工件5的三维CAD模型数据等。如此,通过控制运算部41来执行被存储在存储部43中的运算程序及控制程序,由此实现后述的功能结构例中的各种处理功能。
输入部44是用于受理来自利用工件拾取装置100的用户的各种输入操作的接口器件,例如可通过鼠标、键盘、触摸屏、语音麦克风等来实现。输出部45是用于通过显示、语音、印刷等,朝利用工件拾取装置100的用户等报告各种信息的接口器件,例如可通过显示器、扬声器、打印机等来实现。
[功能结构]
继而,使用图3对本实施方式的工件拾取装置100的功能结构的一例进行说明。图3是示意性地表示本实施方式的工件拾取装置100的功能结构的一例的平面图。
图2中所示的工件拾取装置100的控制运算部41将被存储在存储部43中的各种程序(控制程序及运算程序等)在RAM中展开。而且,控制运算部41通过CPU来解释及执行在RAM中展开的各种程序,控制各构成元件。由此,如图3中例示的那样,本实施方式的工件拾取装置100可实现包括控制装置4的结构,所述控制装置4具有分别执行所述(1)至(6)中所示的各处理的位置姿势算出部410、握持姿势算出部420、路径算出部430、区域提取部440、状况判定部450、及参数变更部460,以及执行所述(7)中所示的控制处理的传感器控制部470、手部控制部480、及机器人控制部490。
另外,在本实施方式中,对由工件拾取装置100中包括的控制装置4实现的各功能通过通用的CPU来实现的例子进行了说明,但以上的功能的一部分或全部也可以通过一个或多个专用的处理器来实现。另外,工件拾取装置100中包括的控制装置4的功能结构当然也可以对应于实施方式或结构例,适宜进行功能的省略、替换、及追加。另外,所谓“控制装置”,可解释成一般的信息处理装置(例如计算机、工作站等)。
§3运行例
继而,使用图4对工件拾取装置100的动作的一例进行说明。图4是表示本实施方式的工件拾取装置100中的处理顺序的一例的流程图,也是表示使用工件拾取装置100的工件拾取方法中的处理顺序的一例的流程图。另外,以下所说明的处理顺序只不过是一例,各处理可在本公开的技术思想的范围内尽可能地变更。另外,以下所说明的处理顺序可对应于实施方式或各结构例,适宜进行步骤的省略、替换、及追加。
(启动)
首先,工件拾取装置100的用户启动工件拾取装置100,执行各种程序(运算程序、控制程序等)。然后,控制装置4中的控制运算部41按照以下的处理顺序,控制传感器1、手部2、及机器人3各自的动作,且进行利用控制装置4中的各功能部的运算处理。另外,在本实施方式中,在以下的各步骤中的处理之前,从存储部43中读出各个步骤中所需要的测量参数及各种算出参数的初期值设定,并适宜保持在传感器控制部470、位置姿势算出部410、握持姿势算出部420、及路径算出部430中。但是,只要是各步骤的处理前,则当然也可以在适宜的时机进行所述参数的读出。
另外,如图4所示,在本实施方式中,在一连串的处理中执行分支步骤(步骤S60~步骤S80),但为了容易理解,先对步骤S10~步骤S50的处理的流程进行说明后,对步骤S60~步骤S80的处理进行说明。
(步骤S10)
在步骤S10中,通过传感器控制部470来使传感器1运转,使用测量参数的初期值设定,测量工件5的三维位置。作为测量参数,例如除曝光时间、照明照度、及测量位置(例如,传感器1相对于工件5的相对的三维位置或姿势(光轴的方向))以外,可列举在所应用的测量方式中设定的各种参数。而且,传感器1对经拍摄的工件5的图像进行规定的图像处理,例如将表示工件5的三维位置的三维点群数据(点云数据)及与其对应的二维图像作为测量结果朝控制装置4输出。
(步骤S20)
在步骤S20中,通过位置姿势算出部410,使用工件5的位置姿势的算出参数的初期值设定,算出工件5的位置姿势,进而算出位置姿势经检测的工件5的数量(工件数K)。作为工件5的位置姿势的算出参数,例如可列举位置姿势算出中的与工件5的检测相关的阈值等,更具体而言,可例示:将工件5的测量结果与工件5的三维CAD模型进行对照时的三维匹配的阈值、分割处理中的分割的面积等。而且,位置姿势算出部410例如针对各个工件5,将三维坐标(x,y,z)及环绕三维轴的旋转角度(rx,ry,rz)作为算出结果来输出,进而输出工件数K。
(步骤S30)
在步骤S30中,通过握持姿势算出部420,使用手部2握持工件5时的手部2的握持姿势的算出参数的初期值设定、且根据步骤S20中所算出的工件5的位置姿势,算出手2对于所述工件5的握持姿势。作为手部2对于工件5的握持姿势的算出参数,例如可列举握持姿势算出中的阈值等。
(步骤S40)
在步骤S40中,通过路径算出部430,使用手部2从初期姿势朝握持姿势移动的路径的算出参数的初期值设定,算出使手部2从其初期姿势移动至步骤S30中所算出的握持姿势为止的路径。作为手部2从初期姿势朝握持姿势移动的路径的算出参数,例如可列举手部2对于工件5或收纳容器6的干扰判定的阈值等。
(步骤S50)
然后,在步骤S50中,决定握持作为对象的工件5(例如,从可握持的概率高的工件5起依次选定),通过机器人控制部490,根据步骤S40中所算出的朝所述作为对象的工件5的路径,使机器人3运转,使手部2移动至针对所述工件5在步骤S30中所算出的握持姿势为止。然后,通过手部控制部480,根据所述握持姿势,使手部2运转,握持作为对象的工件5。进而,通过机器人控制部490及手部控制部480,从收纳容器6中取出所握持的工件5,朝适宜的托盘等移设,并进行排列来配置。
(步骤S60)
如上所述,在本实施方式中,在步骤S20(工件的位置姿势算出)之后、实施步骤S30之前,使处理进入至步骤S60,在所述步骤S60中,进行工件5的状况判定。
此处,首先,作为工件5的状况判定的前处理,通过区域提取部440,使用从传感器1中输出的表示工件5的三维位置的三维点群数据,提取产生了数据的缺失或遗漏的区域(缺损区域)。更具体而言,当三维点群数据产生了缺失或遗漏时,测量值一般变成“0”值或测量范围外的整数值(可将它们称为异常值)。因此,对三维点群数据进行着眼于此种异常值的贴标签处理(使相同的异常值变成同一标签的处理),将与异常值对应的标签的部位作为缺损区域来提取。如此,本实施方式中的区域提取部440相当于本发明中的“缺损区域提取部”。
继而,作为工件5的状况判定,通过状况判定部450,例如判定是否满足以下所示的条件1及条件2。
[条件1]:工件数K是否为规定值以下。
[条件2]:缺损区域的面积S或体积V是否为规定值以上。
另外,算出“缺损区域的面积S”的方法并无特别限制,例如在提取了单一的缺损区域的情况下,可在从传感器1中输出的三维点群数据或与其对应的二维图像中,确定表示所述缺损区域的边缘的二维坐标,将根据所述二维坐标所算出的面积设为“缺损区域的面积S”。另外,例如在提取了多个缺损区域的情况下,可在从传感器1中输出的三维点群数据或与其对应的二维图像中,确定表示各缺损区域的边缘的二维坐标,根据所述二维坐标来算出各缺损区域的面积,将使所获得的所有缺损区域的面积相加所得的值设为“缺损区域的面积S”。
另一方面,算出“缺损区域的体积V”的方法也无特别限制,例如在提取了单一的缺损区域的情况下,在从传感器1中输出的三维点群数据中,确定表示所述缺损区域的边缘的三维坐标,将根据所述三维坐标所算出的体积设为“缺损区域的体积V”。另外,例如在提取了多个缺损区域的情况下,可在从传感器1中输出的三维点群数据中,确定表示各缺损区域的边缘的三维坐标,根据所述三维坐标来算出各缺损区域的体积,将使所获得的所有缺损区域的体积相加所得的值设为“缺损区域的体积V”。
此处,关于条件1,作为工件数的规定值,考虑工件5的拾取进行某种程度后残存的工件5的数量变少的状态,例如可设定0个~几个。在虽然设想固定数的工件5残存,但经检测的工件数K为0个或几个而极少的情况下,推测产生了测量异常的可能性高。
另外,关于条件2,作为缺损区域的面积S及体积V的规定值,可设定使由用户事先输入的收纳容器6的底面的面积及收纳容器6的体积乘以规定的比例所得的值。在与工件5的收纳容器6的底面的面积及收纳容器6的体积相比,缺损区域的面积S或体积V占据某种程度的大的比例的情况下,推测产生了测量异常的可能性高。
因此,在满足以上的条件1或条件2的情况下,变更测量参数来再次试行,由此准确地检测实际残存的工件5,其结果,可提高对于工件5的握持的可能性(握持的成功率)。另外,在满足条件1及条件2两者的情况下,只要变更测量参数来再次试行,便可进一步提高对于工件5的握持的成功率。
因此,在本实施方式中,在满足条件1、且满足条件2的情况(条件1及条件2均为“真(True)”的情况)下,状况判定部450将“是(需要变更参数)”作为判定结果来输出,另外,输出缺损区域的位置信息。另一方面,在不满足条件1、或不满足条件2的情况(条件1或条件2的任一者为“假(False)”的情况)下,状况判定部450将“否(不需要变更参数)”作为判定结果来输出。
(步骤S70)
当在步骤S60中工件的状况判定结果满足条件1、且满足条件2时(步骤S60中“是”),进入至步骤S70,通过参数变更部460,判定目前为止的参数的变更次数N(测量参数的变更次数、及后述的第一结构例至第三结构例中的算出参数的变更次数的合计值)是否未满规定值。作为参数的变更次数的规定值,由于预计通过将参数变更某种程度的次数,对于残存的工件5的握持的成功率在此时间点已提高相当程度,因此例如可设定五次~十次左右的有限值。
(步骤S80)
当在步骤S70中参数的变更次数的判定结果满足条件时(步骤S70中“是”),进入至步骤S80,变更参数。在本实施方式中,对测量参数及各种算出参数之中,利用传感器1的工件5的测量中的测量参数进行变更。
此处,首先,作为测量参数变更的前处理,通过参数变更部460,根据从状况判定部450中输出的缺损区域的位置信息、及从传感器1中输出的二维图像,判定在经拍摄的图像中的与缺损区域对应的部位产生了“晕影”及“曝光不足(blocked up shadows)”的哪一个。另外,所谓“晕影”,表示在图像中失去过亮的部分的灰阶而变成纯白色的状态,有时也被称为“曝光过度(blown out highlights)”或“光晕(halation))。另外,所谓“曝光不足”,表示在图像中未获得明亮部分的灰阶的信息而被涂成纯黑色的状态。
更具体而言,若二维图像中的与缺损区域对应的像素的平均亮度值(通常,由0~255的范围表示)例如为128以上,则判断产生了“晕影”,若未满128,则判断产生了“曝光不足”。而且,参数变更部460对应于“晕影”及“曝光不足”,以可抑制它们的产生的程度,变更测量参数(例如除抑制曝光时间、照明照度、及测量位置以外,在所应用的测量方式中设定的各种参数)来重新设定。更具体而言,参数变更部460能够以如下方式变更测量参数:在“晕影”的情况下,例如使曝光时间比初期值短,在“曝光不足”的情况下,例如使曝光时间比初期值长(但是,并不限定于此)。
而且,在步骤S80中变更测量参数后,使处理回到步骤S10,通过传感器1,使用变更后的测量参数进行工件5的三维位置的再测量,并依次执行其以后的处理步骤。另外,参数变更部460每次变更参数,均增加参数的变更次数N。
另一方面,当在步骤S60中工件的状况判定结果不满足条件1、或不满足条件2时(步骤S60中“否”)、或者当在步骤S70中参数的变更次数的判定结果不满足条件时(步骤S70中“否”),不进行参数的变更,使处理进入至步骤S30以后的处理而结束。另外,当在步骤S60中工件的状况判定结果不满足条件1、或不满足条件2时(步骤S60中“否”),参数变更部460重设参数的变更次数N(设为N=“0”)。
§4作用及效果
如上所述,根据本实施方式的工件拾取装置100及工件拾取方法的一例,通过传感器1,使用测量参数的初期值设定,暂时测量被散装在例如收纳容器6内的各个工件5的三维位置,根据其测量结果来算出工件5的位置姿势与经检测的工件数K,进而,根据它们的结果,通过状况判定部450来进行工件5的状况判定。而且,例如在工件5的状况判定结果满足条件1、且满足条件2的情况下,再次设定测量参数,使用所述测量参数,通过传感器1来进行工件5的三维位置的再测量后,依次执行工件5的拾取处理。因此,即便工件5的三维位置的最初的测量值产生了缺失或遗漏(缺损区域),也可以进行对应于此状况的适当的工件的拾取操作,其结果,与以往相比,可格外提升通过手部2来握持工件5时的成功率(格外减少不成功率)。
另外,在利用规定的多个测量参数来实施多个测量后,不进行从多个测量结果中选定良好的测量结果,并根据此结果来实施工件的拾取等处理,而是在掌握工件5的实际的状况后,视需要判断是否需要变更测量参数,因此可抑制处理时间的过度的增大。
§5变形例
以上,对作为本公开的一例的实施方式进行了详细说明,但所述说明在所有方面只不过表示本公开的一例,当然可不脱离本公开的范围而进行各种改良或变形,例如,可进行如以下所示的变更。另外,在以下的说明中,关于与所述实施方式相同的构成元件,使用相同的符号,关于与所述实施方式相同的点,适宜省略说明。另外,所述实施方式及以下的各变形例可适宜组合来构成。
<5.1>
图5是表示作为其他实施方式的第一结构例的工件拾取装置中的处理顺序的一例的流程图。所述第一结构例除进行使基于步骤S81的参数变更处理来代替图4中所示的流程图中所示的步骤S80中的参数变更处理,及在进行所述参数变更处理后,使处理回到步骤S20,通过位置姿势算出部410,使用变更后的算出参数进行工件5的位置姿势的算出以外,进行与图4中所示的实施方式中的处理相同的处理。
即,在所述第一结构例中,在步骤S81中,参数变更部460将作为测量参数及各种算出参数之中,工件5的位置姿势的算出参数的如下的阈值或面积变更规定的比例,所述阈值是位置姿势算出中的与工件5的检测相关的阈值,更具体而言,是将工件5的测量结果与工件5的三维CAD模型进行对照时的三维匹配的阈值,所述面积是分割处理中的分割的面积。
另外,在此情况下,也可以使所述“规定的比例”对应于参数的变更次数N而变化。例如,在三维匹配的分数由0~100的范围的数值表示,最初的阈值为80的情况下,也能够以由新的阈值=80-(N×10)表示的方式变更(例如,在N=1的情况下新的阈值=70,在N=4的情况下新的阈值=40)。另外,也可以不是利用所述式计算新的阈值的方式,而是将与参数的变更次数N对应的阈值的表事先保持在存储部43中,当需要变更参数时,适宜读出新的阈值。
而且,在步骤S81中变更算出参数后,使处理回到步骤S20,通过位置姿势算出部410,使用变更后的算出参数进行工件5的位置姿势的再算出,并依次执行其以后的处理步骤。
在所述第一结构例中,在工件5的状况判定结果例如满足条件1、且满足条件2的情况下,也再次设定测量参数及各种算出参数中的位置姿势的算出参数,使用其来进行工件5的位置姿势的再算出后,依次执行工件5的拾取处理。因此,即便工件5的三维位置的最初的测量值产生了缺失或遗漏(缺损区域),也可以进行对应于此状况的适当的工件的拾取操作,其结果,与以往相比,可格外提升通过手部2来握持工件5时的成功率(减少不成功率),并且可抑制处理时间的增大。
<5.2>
图6是表示作为其他实施方式的第二结构例的工件拾取装置中的处理顺序的一例的流程图。所述第二结构例除进行使基于步骤S82的参数变更处理来代替图4中所示的流程图中所示的步骤S80中的参数变更处理,及在进行所述参数变更处理后,使处理回到步骤S30,通过握持姿势算出部420,使用变更后的算出参数进行手部2对于工件5的握持姿势的算出以外,进行与图4中所示的实施方式中的处理相同的处理。
即,在所述第二结构例中,在步骤S82中,参数变更部460将作为测量参数及各种算出参数之中,手部2对于工件5的握持姿势的算出参数的握持姿势算出中的阈值变更规定的比例。另外,在此情况下,与第一结构例同样地,也可以使所述“规定的比例”对应于参数的变更次数N而变化。另外,与第一结构例同样地,也可以不是计算新的阈值的方式,而是将与参数的变更次数N对应的阈值的表事先保持在存储部43中,当需要变更参数时,适宜读出新的阈值。
而且,在步骤S82中变更算出参数后,使处理回到步骤S30,通过握持姿势算出部420,使用变更后的算出参数进行手部2对于工件5的握持姿势的再算出,并依次执行其以后的处理步骤。
在所述第二结构例中,在工件5的状况判定结果例如满足条件1、且满足条件2的情况下,也再次设定测量参数及各种算出参数中的握持姿势的算出参数,使用其来进行手部2对于工件5的握持姿势的再算出后,依次执行工件5的拾取处理。因此,即便工件5的三维位置的最初的测量值产生了缺失或遗漏(缺损区域),也可以进行对应于此状况的适当的工件的拾取操作,其结果,与以往相比,可格外提升通过手部2来握持工件5时的成功率(格外减少不成功率),并且可抑制处理时间的增大。
<5.3>
图7是表示作为其他实施方式的第三结构例的工件拾取装置中的处理顺序的一例的流程图。所述第三结构例除进行使基于步骤S83的参数变更处理来代替图4中所示的流程图中所示的步骤S80中的参数变更处理,及在进行所述参数变更处理后,使处理回到步骤S40,通过路径算出部430,使用变更后的算出参数进行手部2从初期姿势朝握持姿势移动的路径的算出以外,进行与图4中所示的实施方式中的处理相同的处理。
即,在所述第三结构例中,在步骤S83中,参数变更部460将作为测量参数及各种算出参数之中,手部2从初期姿势朝握持姿势移动的路径的算出参数的如下的阈值变更规定的比例,所述阈值是手部2对于工件5或收纳容器6的干扰判定的阈值。另外,在此情况下,与第一结构例同样地,也可以使所述“规定的比例”对应于参数的变更次数N而变化。另外,与第一结构例同样地,也可以不是计算新的阈值的方式,而是将与参数的变更次数N对应的阈值的表事先保持在存储部43中,当需要变更参数时,适宜读出新的阈值。
而且,在步骤S83中变更算出参数后,使处理回到步骤S40,通过路径算出部430,使用变更后的算出参数进行手部2从初期姿势朝握持姿势移动的路径的再算出,并依次执行其以后的处理步骤。
在所述第三结构例中,在工件5的状况判定结果例如满足条件1、且满足条件2的情况下,也再次设定测量参数及各种算出参数之中,手部2从初期姿势朝握持姿势移动的路径的算出参数,使用其来进行手部2从初期姿势朝握持姿势移动的路径的再算出后,依次执行工件5的拾取处理。因此,即便工件5的三维位置的最初的测量值产生了缺失或遗漏(缺损区域),也可以进行对应于此状况的适当的工件的拾取操作,其结果,与以往相比,可格外提升通过手部2来握持工件5时的成功率(格外减少不成功率),并且可抑制处理时间的增大。
<5.4>
另外,在所述实施方式及第一结构例至第三结构例中的处理中,作为一例,对作为工件5的状况判定的基于是否满足条件1及条件2的判定方法进行了说明,但例如也可以将条件1+以下的条件3代替条件1+条件2(缺损区域的面积S或体积V是否为规定值以上)用作判定条件。
[条件3]:缺损区域的位置是否存在于工件5的收纳容器6内的规定的范围内。
此处,关于条件3,作为规定的范围,可根据由用户事先输入的收纳容器6的形状数据,例如指定收纳容器6的壁边附近,或若为矩形容器,则指定角落附近的区域。一般在工件5存在于收纳容器6的壁边附近或角落附近的情况下,存在三维位置的测量值容易产生缺失或遗漏、或握持比较困难等倾向,因此在缺损区域位于所述规定的范围内的情况下,也可以说参数的变更有效。
即,此处,在满足条件1、且满足条件3的情况(条件1及条件3均为“真(True)”的情况)下,状况判定部450将“是(需要变更参数)”作为判定结果来输出,另外,输出缺损区域的位置信息。另一方面,在不满足条件1、或不满足条件3的情况(条件1或条件3的任一者为“假(False)”的情况)下,状况判定部450将“否(不需要变更参数)”作为判定结果来输出。
<5.5>
另外,在所述实施方式及第一结构例至第三结构例中的处理中,作为一例,对通过区域提取部440从三维点群数据中提取缺损区域,应用作为基于所述缺损区域的特征量(面积S或体积V)的判定条件的条件2的判定方法进行了说明,但例如也可以通过区域提取部440从三维点群数据中提取平面区域来代替缺损区域,应用基于所述平面区域的特征量的判定条件。即,此处,作为状况判定处理,根据位置姿势经检测的工件5的数量(工件数)、及作为工件5的三维位置的测量结果而从三维点群数据中提取的平面区域,判定工件5的状况。另外,所谓“平面区域”,是指在工件5的三维位置的测量值(例如,表示工件5的三维位置的三维点群数据)中被认为是“平面”的区域,更具体而言,例如为相当于工件5的收纳容器6的底面或堆积有工件5的支撑台的面等的区域。
在此情况下,在步骤S60中,首先作为工件5的状况判定的前处理,通过区域提取部440,使用从传感器1中输出的表示工件5的三维位置的三维点群数据,提取平面区域。如此,本实施方式中的区域提取部440相当于本发明中的“平面区域提取部”。
其次,作为工件5的状况判定,通过状况判定部450,例如判定是否满足以下所示的条件1及条件4或条件5。
[条件1]:工件数K是否为规定值以下。
[条件4]:平面区域的距离D或面积S是否为规定值以下。
[条件5]:平面区域的位置相对于工件5的载置面(此处为收纳容器6的底面)是否存在于规定的范围内。
另外,算出“平面区域的距离D”的方法并无特别限制,例如在提取了单一的平面区域的情况下,可在从传感器1中输出的三维点群数据或与其对应的二维图像中,确定包含所述平面区域的面,将任意的距离基准点与所述经确定的面的距离,即从距离基准点朝经确定的面的垂线的长度设为“平面区域的距离D”。另外,例如在提取了多个平面区域的情况下,可在从传感器1中输出的三维点群数据或与其对应的二维图像中,确定包含各平面区域的面,将任意的距离基准点与所述经确定的各面的距离,即从距离基准点朝经确定的各面的垂线的长度分别设为“平面区域的距离D”。
另一方面,算出“平面区域的面积S”的方法也无特别限制,例如在提取了单一的平面区域的情况下,在从传感器1中输出的三维点群数据或与其对应的二维图像中,确定表示所述平面区域的边缘的二维坐标,将根据所述二维坐标所算出的面积设为“平面区域的面积S”。另外,例如在提取了多个平面区域的情况下,可在从传感器1中输出的三维点群数据或与其对应的二维图像中,确定表示各平面区域的边缘的二维坐标,根据所述二维坐标来算出各平面区域的面积,将使所获得的所有平面区域的面积相加所得的值设为“平面区域的面积S”。
此处,关于条件4,作为平面区域的距离D的规定值,例如可设定使由用户事先输入的从任意的距离基准点至收纳容器6的底面为止的距离(从距离基准点朝底面的垂线的长度)乘以规定的比例所得的值。另外,作为平面区域的面积S的规定值,可设定使由用户事先输入的收纳容器6的底面的面积乘以规定的比例所得的值。在平面区域的距离D大于规定值的情况、或平面区域的面积S大于规定值的情况下,经提取的平面区域为收纳容器的6的底面的可能性高,但在并非如此,平面区域的距离D为规定值以下的情况、或平面区域的面积S为规定值以下的情况下,所述平面区域为收纳容器6的底面的可能性低,因此在此情况下,推测工件5残存在收纳容器6内的可能性高。
另外,关于条件5,作为规定的范围,可根据由用户事先输入的收纳容器6的形状数据,例如指定收纳容器6的中央以外的壁边附近,或若为矩形容器,则指定角落附近的区域。一般在平面区域存在于收纳容器6的中央区域的情况下,经提取的平面区域相当于收纳容器的6的底面的可能性高,但在并非如此,平面区域为中央以外的位置的情况下,所述平面区域为收纳容器6的底面的可能性低,因此在此情况下,推测工件5残存在收纳容器6内的可能性高。
因此,作为此情况的判定条件,例如在满足条件1、且满足条件4或条件5的任一者的情况(条件1为“真(True)”且条件4或条件5的任一者为“真(True)”的情况)下,状况判定部450将“是(需要变更参数)”作为判定结果来输出,另外,输出平面区域的位置信息。另一方面,在提取了多个平面区域的情况下,例如当多个“平面区域的距离D”的任一者满足条件4(多个平面区域的任一者不相当于收纳容器6的底面)时,可将条件4设为“真(True)”。
另一方面,在不满足条件1、或不满足条件4及条件5的任一者的情况(条件1为“假(False)”或条件4及条件5均为“假(False)”的情况)下,状况判定部450将“否(不需要变更参数)”作为判定结果来输出。另外,在提取了多个平面区域的情况下,例如当多个“平面区域的距离D”均不满足条件4(多个平面区域均相当于收纳容器6的底面)时,可将条件4设为“假(False)”。
进而,当在步骤S60中参数变成需要变更(步骤S60中“是”),在步骤S70中参数的变更次数的判定结果满足条件时(步骤S70中“是”),在步骤S80中,作为参数变更的前处理,进行以下的处理。即,通过参数变更部460,根据从状况判定部450中输出的平面区域以外的区域的位置信息、及从传感器1中输出的二维图像,求出经拍摄的图像中的平面区域以外的区域的部位的平均亮度值。进而,根据其结果,以与图4中所示的实施方式相同的方式变更作为测量参数的曝光时间。
§6附记
以上所说明的实施方式是为了容易理解本发明而成的实施方式,并非用于对本发明加以限定来进行解释的实施方式。实施方式所包括的各元件及其配置、材料、条件、形状及尺寸等并不限定于例示,可适宜变更。另外,可将在不同的实施方式中所示的结构彼此部分地替换或组合。
(附记1)
一种工件拾取装置100,用于取出经堆积的工件5,所述工件拾取装置100包括:
传感器1,测量所述工件5的三维位置;
手部2,握持所述工件5;
机器人3,使所述手部2朝握持位置移动且从所述握持位置移动;以及
控制装置4,控制所述传感器1、所述手部2、及所述机器人3;
所述控制装置4具有:
位置姿势算出部410,根据所述三维位置的测量结果,使用规定的算出参数来算出所述工件5的位置姿势、且算出检测了位置姿势的工件数;
握持姿势算出部420,根据所述位置姿势的算出结果,使用规定的算出参数来算出所述手部2握持所述工件5时的所述手部2的握持姿势;
路径算出部430,使用规定的算出参数来算出使所述手部2朝所述握持姿势移动的路径;
传感器控制部470,根据测量所述三维位置时的测量参数,控制所述传感器1的动作;
手部控制部480,根据所述握持姿势,控制所述手部2的动作;
机器人控制部490,根据所述路径,控制所述机器人3的动作;
状况判定部450,根据所述三维位置的测量结果及所述工件数的算出结果,判定所述工件5的状况;以及
参数变更部460,在所述工件5的状况的判定结果满足规定的条件的情况下,变更包含测量所述三维位置时的测量参数、所述位置姿势的算出参数、所述握持姿势的算出参数、及所述路径的算出参数中的至少任一者的参数。
(附记2)
根据附记1记载的工件拾取装置100,其中所述控制装置4包括从所述三维位置的测量结果中提取缺损区域的缺损区域提取部440,
所述状况判定部450根据所述工件数,及所述缺损区域的位置、面积或体积,判定所述工件5的状况。
(附记3)
根据附记1记载的工件拾取装置100,其中所述控制装置4包括从所述三维位置的测量结果中提取平面区域的平面区域提取部440,
所述状况判定部450根据所述工件数,及所述平面区域的位置、距离或面积,判定所述工件5的状况。
(附记4)
根据附记1至3的任一项记载的工件拾取装置100,其中所述参数变更部460在所述工件数为规定值以下的情况下,变更所述参数。
(附记5)
根据附记2或4记载的工件拾取装置100,其中所述参数变更部460在所述缺损区域的面积或体积为规定值以上的情况下、或所述缺损区域的位置存在于所述工件5的载置区域内的规定的范围内的情况下,变更所述参数。
(附记6)
根据附记3或4记载的工件拾取装置100,其中所述参数变更部460在所述平面区域的距离或面积为规定值以下的情况下、或所述平面区域的位置相对于所述工件5的载置面存在于规定的范围内的情况下,变更所述参数。
(附记7)
根据附记1至6的任一项记载的工件拾取装置100,其中所述参数变更部460将所述参数的变更限制在规定次数以内。
(附记8)
根据附记1至7的任一项记载的工件拾取装置100,其中所述参数变更部460变更作为测量所述三维位置时的测量参数的曝光时间、照明照度、及测量位置中的至少任一者。
(附记9)
根据附记8记载的工件拾取装置100,其中所述参数变更部460根据所述缺损区域的亮度,变更曝光时间、照明照度、及测量位置中的至少任一者。
(附记10)
根据附记1至7的任一项记载的工件拾取装置100,其中所述参数变更部460变更作为所述位置姿势的算出参数的位置姿势算出的阈值。
(附记11)
根据附记1至7的任一项记载的工件拾取装置100,其中所述参数变更部460变更作为所述握持姿势的算出参数的握持姿势算出的阈值。
(附记12)
根据附记1至7的任一项记载的工件拾取装置100,其中所述参数变更部460变更作为所述路径的算出参数的干扰判定的阈值。
(附记13)
根据附记1至12的任一项记载的工件拾取装置100,其中所述参数变更部460对应于所述参数的变更次数来变更所述参数。
(附记14)
一种工件拾取方法,用于使用包括传感器1、手部2、机器人3及控制装置4的工件拾取装置100来取出经堆积的工件5,所述工件拾取方法包括:
测量步骤,所述传感器1测量所述工件5的三维位置;
握持步骤,所述手部2握持所述工件5;
移动步骤,所述机器人3使所述手部2朝握持位置移动且从所述握持位置移动;以及
控制步骤,所述控制装置4控制所述传感器1、所述手部2、及所述机器人3,
所述控制步骤包括:
位置姿势算出步骤,根据所述三维位置的测量结果,使用规定的算出参数来算出所述工件5的位置姿势、且算出检测了位置姿势的工件数;
握持姿势算出步骤,根据所述位置姿势的算出结果,使用规定的算出参数来算出所述手部2握持所述工件5时的所述手部2的握持姿势;
路径算出步骤,使用规定的算出参数来算出使所述手部2朝所述握持姿势移动的路径;
传感器控制步骤,根据测量所述三维位置时的测量参数,控制所述传感器1的动作;
手部控制步骤,根据所述握持姿势,控制所述手部2的动作;
机器人控制步骤,根据所述路径,控制所述机器人3的动作;
状况判定步骤,根据所述三维位置的测量结果及所述工件数的算出结果,判定所述工件5的状况;以及
参数变更步骤,在所述工件5的状况的判定结果满足规定的条件的情况下,变更包含测量所述三维位置时的测量参数、所述位置姿势的算出参数、所述握持姿势的算出参数及所述路径的算出参数中的至少任一者的参数。

Claims (14)

1.一种工件拾取装置,用于取出经堆积的工件,所述工件拾取装置包括:
传感器,测量所述工件的三维位置;
手部,握持所述工件;
机器人,使所述手部朝握持位置移动且从所述握持位置移动;以及
控制装置,控制所述传感器、所述手部及所述机器人;
所述控制装置包括:
位置姿势算出部,根据所述三维位置的测量结果,使用规定的算出参数来算出所述工件的位置姿势、且算出检测了位置姿势的工件数;
握持姿势算出部,根据所述位置姿势的算出结果,使用规定的算出参数来算出所述手部握持所述工件时的所述手部的握持姿势;
路径算出部,使用规定的算出参数来算出使所述手部朝所述握持姿势移动的路径;
传感器控制部,根据测量所述三维位置时的测量参数,控制所述传感器的动作;
手部控制部,根据所述握持姿势,控制所述手部的动作;
机器人控制部,根据所述路径,控制所述机器人的动作;
状况判定部,根据所述三维位置的测量结果及所述工件数的算出结果,判定所述工件的状况;以及
参数变更部,在所述工件的状况的判定结果满足规定的条件的情况下,变更包含测量所述三维位置时的测量参数、所述位置姿势的算出参数、所述握持姿势的算出参数及所述路径的算出参数中的至少任一者的参数。
2.根据权利要求1所述的工件拾取装置,其中所述控制装置包括从所述三维位置的测量结果中提取缺损区域的缺损区域提取部,
所述状况判定部根据所述工件数及所述缺损区域的位置、面积或体积,判定所述工件的状况。
3.根据权利要求1所述的工件拾取装置,其中所述控制装置包括从所述三维位置的测量结果中提取平面区域的平面区域提取部,
所述状况判定部根据所述工件数及所述平面区域的位置、距离或面积,判定所述工件的状况。
4.根据权利要求1至3中任一项所述的工件拾取装置,其中所述参数变更部在所述工件数为规定值以下的情况下,变更所述参数。
5.根据权利要求2所述的工件拾取装置,其中所述参数变更部在所述缺损区域的面积或体积为规定值以上的情况下、或所述缺损区域的位置存在于所述工件的载置区域内的规定的范围内的情况下,变更所述参数。
6.根据权利要求3所述的工件拾取装置,其中所述参数变更部在所述平面区域的距离或面积为规定值以下的情况下、或所述平面区域的位置相对于所述工件的载置面存在于规定的范围内的情况下,变更所述参数。
7.根据权利要求1至3中任一项所述的工件拾取装置,其中所述参数变更部将所述参数的变更限制在规定次数以内。
8.根据权利要求1至3中任一项所述的工件拾取装置,其中所述参数变更部变更作为测量所述三维位置时的测量参数的曝光时间、照明照度及测量位置中的至少任一者。
9.根据权利要求8所述的工件拾取装置,其中所述参数变更部根据缺损区域的亮度,变更曝光时间、照明照度及测量位置中的至少任一者。
10.根据权利要求1至3中任一项所述的工件拾取装置,其中所述参数变更部变更作为所述位置姿势的算出参数的位置姿势算出的阈值。
11.根据权利要求1至3中任一项所述的工件拾取装置,其中所述参数变更部变更作为所述握持姿势的算出参数的握持姿势算出的阈值。
12.根据权利要求1至3中任一项所述的工件拾取装置,其中所述参数变更部变更作为所述路径的算出参数的干扰判定的阈值。
13.根据权利要求1至3中任一项所述的工件拾取装置,其中所述参数变更部对应于所述参数的变更次数来变更所述参数。
14.一种工件拾取方法,用于使用包括传感器、手部、机器人及控制装置的工件拾取装置来取出经堆积的工件,所述工件拾取方法包括:
测量步骤,所述传感器测量所述工件的三维位置;
握持步骤,所述手部握持所述工件;
移动步骤,所述机器人使所述手部朝握持位置移动且从所述握持位置移动;以及
控制步骤,所述控制装置控制所述传感器、所述手部及所述机器人,
所述控制步骤包括:
位置姿势算出步骤,根据所述三维位置的测量结果,使用规定的算出参数来算出所述工件的位置姿势、且算出检测了位置姿势的工件数;
握持姿势算出步骤,根据所述位置姿势的算出结果,使用规定的算出参数来算出所述手部握持所述工件时的所述手部的握持姿势;
路径算出步骤,使用规定的算出参数来算出使所述手部朝所述握持姿势移动的路径;
传感器控制步骤,根据测量所述三维位置时的测量参数,控制所述传感器的动作;
手部控制步骤,根据所述握持姿势,控制所述手部的动作;
机器人控制步骤,根据所述路径,控制所述机器人的动作;
状况判定步骤,根据所述三维位置的测量结果及所述工件数的算出结果,判定所述工件的状况;以及
参数变更步骤,在所述工件的状况的判定结果满足规定的条件的情况下,变更包含测量所述三维位置时的测量参数、所述位置姿势的算出参数、所述握持姿势的算出参数及所述路径的算出参数中的至少任一者的参数。
CN201980011823.5A 2018-03-13 2019-03-11 工件拾取装置以及工件拾取方法 Active CN111683798B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018045940A JP6879238B2 (ja) 2018-03-13 2018-03-13 ワークピッキング装置及びワークピッキング方法
JP2018-045940 2018-03-13
PCT/JP2019/009593 WO2019176829A1 (ja) 2018-03-13 2019-03-11 ワークピッキング装置及びワークピッキング方法

Publications (2)

Publication Number Publication Date
CN111683798A CN111683798A (zh) 2020-09-18
CN111683798B true CN111683798B (zh) 2023-04-14

Family

ID=67907128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980011823.5A Active CN111683798B (zh) 2018-03-13 2019-03-11 工件拾取装置以及工件拾取方法

Country Status (5)

Country Link
US (1) US11667036B2 (zh)
EP (1) EP3766644B1 (zh)
JP (1) JP6879238B2 (zh)
CN (1) CN111683798B (zh)
WO (1) WO2019176829A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11407111B2 (en) * 2018-06-27 2022-08-09 Abb Schweiz Ag Method and system to generate a 3D model for a robot scene
JP6908908B2 (ja) * 2019-10-10 2021-07-28 株式会社トキワシステムテクノロジーズ ロボットアームの経路生成装置および経路生成プログラム
EP4094904B1 (en) * 2020-01-23 2024-05-15 OMRON Corporation Robot system control device, robot system control method, computer control program, and robot system
JP6708917B1 (ja) * 2020-02-05 2020-06-10 リンクウィズ株式会社 形状検出方法、形状検出システム、プログラム
JP2021146452A (ja) 2020-03-19 2021-09-27 株式会社東芝 ハンドリング装置、制御装置、および制御プログラム
JP7468289B2 (ja) 2020-10-16 2024-04-16 オムロン株式会社 制御装置、ロボット、制御方法、プログラム
JP2022123510A (ja) 2021-02-12 2022-08-24 オムロン株式会社 支援システム、画像処理装置、支援方法およびプログラム
TW202233370A (zh) * 2021-02-18 2022-09-01 日商發那科股份有限公司 機器人系統及控制裝置
CN116175541B (zh) * 2021-11-28 2023-11-10 梅卡曼德(北京)机器人科技有限公司 抓取控制方法、装置、电子设备和存储介质
CN114347008B (zh) * 2022-01-18 2024-06-25 广东原点智能技术有限公司 基于工业机器人的无序抓取工件方法、装置及智能终端

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010091429A (ja) * 2008-10-08 2010-04-22 Honda Motor Co Ltd ワーク形状推定装置
CN102308201A (zh) * 2008-12-24 2012-01-04 斯奈克玛 机械零件的无损检查方法
CN103221188A (zh) * 2010-11-17 2013-07-24 三菱电机株式会社 工件取出装置
CN103313921A (zh) * 2011-02-15 2013-09-18 欧姆龙株式会社 图像处理装置及图像处理***
CN105034024A (zh) * 2014-04-15 2015-11-11 株式会社安川电机 机器人控制***、信息通信模块、机器人控制器及机器人控制方法
CN106181964A (zh) * 2014-08-11 2016-12-07 发那科株式会社 机器人程序生成装置
DE102016114337A1 (de) * 2015-08-06 2017-02-09 Cognex Corporation System und verfahren zum verknüpfen von koordinatenräumen maschinellen sehens in einer umgebung angeleiteten zusammenbaus

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5579444A (en) * 1987-08-28 1996-11-26 Axiom Bildverarbeitungssysteme Gmbh Adaptive vision-based controller
GB2261069B (en) * 1991-10-30 1995-11-01 Nippon Denso Co High speed picking system for stacked parts
DE10080012B4 (de) * 1999-03-19 2005-04-14 Matsushita Electric Works, Ltd., Kadoma Dreidimensionales Verfahren zum Erkennen von Gegenständen und System zum Aufnehmen eines Gegenstandes aus einem Behältnis mit Verwendung des Verfahrens
JP2001300878A (ja) * 2000-04-19 2001-10-30 Daihatsu Motor Co Ltd パレット内バラ積みワークの取出方法
JP3782679B2 (ja) * 2001-05-09 2006-06-07 ファナック株式会社 干渉回避装置
JP3842233B2 (ja) * 2003-03-25 2006-11-08 ファナック株式会社 画像処理装置及びロボットシステム
JP3930490B2 (ja) * 2004-04-23 2007-06-13 ファナック株式会社 物品取出し装置
WO2006013829A1 (ja) * 2004-08-02 2006-02-09 Matsushita Electric Industrial Co., Ltd. 物品運搬用ロボット、物品運搬システム、及び物品運搬方法
SE529377C2 (sv) * 2005-10-18 2007-07-24 Morphic Technologies Ab Publ Metod och arrangemang för att lokalisera och plocka upp föremål från en bärare
JP4153528B2 (ja) * 2006-03-10 2008-09-24 ファナック株式会社 ロボットシミュレーションのための装置、プログラム、記録媒体及び方法
JP4199264B2 (ja) * 2006-05-29 2008-12-17 ファナック株式会社 ワーク取り出し装置及び方法
US7313464B1 (en) * 2006-09-05 2007-12-25 Adept Technology Inc. Bin-picking system for randomly positioned objects
WO2008076942A1 (en) * 2006-12-15 2008-06-26 Braintech Canada, Inc. System and method of identifying objects
JP4309439B2 (ja) * 2007-03-30 2009-08-05 ファナック株式会社 対象物取出装置
JP4508252B2 (ja) * 2008-03-12 2010-07-21 株式会社デンソーウェーブ ロボット教示装置
JP4565023B2 (ja) * 2008-07-04 2010-10-20 ファナック株式会社 物品取り出し装置
JP5196156B2 (ja) 2008-09-16 2013-05-15 株式会社Ihi バラ積みピッキング装置におけるワークピッキング方法
US8559699B2 (en) * 2008-10-10 2013-10-15 Roboticvisiontech Llc Methods and apparatus to facilitate operations in image based systems
JP5201411B2 (ja) 2008-11-21 2013-06-05 株式会社Ihi バラ積みピッキング装置とその制御方法
JP5333344B2 (ja) * 2009-06-19 2013-11-06 株式会社安川電機 形状検出装置及びロボットシステム
JP5402697B2 (ja) * 2009-10-26 2014-01-29 株式会社安川電機 ロボット装置及びワーク取り出しシステム並びにワーク取り出し方法
US8306314B2 (en) * 2009-12-28 2012-11-06 Mitsubishi Electric Research Laboratories, Inc. Method and system for determining poses of objects
JP5767464B2 (ja) * 2010-12-15 2015-08-19 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
JP5144785B2 (ja) * 2011-04-18 2013-02-13 ファナック株式会社 ロボットの着目部位と周辺物との干渉を予測する方法及び装置
JP5787642B2 (ja) * 2011-06-28 2015-09-30 キヤノン株式会社 対象物保持装置、対象物保持装置の制御方法、およびプログラム
JP6000579B2 (ja) * 2012-03-09 2016-09-28 キヤノン株式会社 情報処理装置、情報処理方法
JP5975685B2 (ja) * 2012-03-09 2016-08-23 キヤノン株式会社 情報処理装置、情報処理方法
JP5642738B2 (ja) * 2012-07-26 2014-12-17 ファナック株式会社 バラ積みされた物品をロボットで取出す装置及び方法
JP6323993B2 (ja) * 2012-08-28 2018-05-16 キヤノン株式会社 情報処理装置、情報処理方法、及びコンピュータプログラム
JP5670397B2 (ja) * 2012-08-29 2015-02-18 ファナック株式会社 バラ積みされた物品をロボットで取出す装置及び方法
US9102055B1 (en) * 2013-03-15 2015-08-11 Industrial Perception, Inc. Detection and reconstruction of an environment to facilitate robotic interaction with the environment
JP5786896B2 (ja) * 2013-06-07 2015-09-30 株式会社安川電機 ワーク検出装置、ロボットシステム、被加工物の製造方法及びワーク検出方法
JP6415026B2 (ja) * 2013-06-28 2018-10-31 キヤノン株式会社 干渉判定装置、干渉判定方法、コンピュータプログラム
JP2015147256A (ja) * 2014-02-04 2015-08-20 セイコーエプソン株式会社 ロボット、ロボットシステム、制御装置、及び制御方法
US9259844B2 (en) * 2014-02-12 2016-02-16 General Electric Company Vision-guided electromagnetic robotic system
JP6338421B2 (ja) * 2014-03-31 2018-06-06 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、把持システムおよびプログラム
JP6415190B2 (ja) * 2014-09-03 2018-10-31 キヤノン株式会社 ロボット装置、ロボット制御プログラム、記録媒体、およびロボット装置の制御方法
JP5905549B1 (ja) * 2014-09-16 2016-04-20 ファナック株式会社 バラ積みされた物品を取出す物品取出装置
JP6424560B2 (ja) * 2014-10-17 2018-11-21 株式会社リコー 異常原因推定装置、ピッキング装置及びピッキング装置における異常原因推定方法
JP6562619B2 (ja) * 2014-11-21 2019-08-21 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
JP6335806B2 (ja) * 2015-01-22 2018-05-30 三菱電機株式会社 ワーク供給装置およびワーク把持姿勢計算方法
US10335951B2 (en) * 2015-07-29 2019-07-02 Canon Kabushiki Kaisha Information processing apparatus, information processing method, robot control apparatus, and robot system
JP6522488B2 (ja) * 2015-07-31 2019-05-29 ファナック株式会社 ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法
DE102016009030B4 (de) * 2015-07-31 2019-05-09 Fanuc Corporation Vorrichtung für maschinelles Lernen, Robotersystem und maschinelles Lernsystem zum Lernen eines Werkstückaufnahmevorgangs
JP2018144155A (ja) * 2017-03-03 2018-09-20 株式会社キーエンス ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP6846949B2 (ja) * 2017-03-03 2021-03-24 株式会社キーエンス ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP6438512B2 (ja) * 2017-03-13 2018-12-12 ファナック株式会社 機械学習により補正した計測データでワークの取り出しを行うロボットシステム、計測データ処理装置および計測データ処理方法
JP7116901B2 (ja) * 2017-08-01 2022-08-12 オムロン株式会社 ロボット制御装置、ロボット制御方法及びロボット制御プログラム
JP6693981B2 (ja) * 2018-02-19 2020-05-13 ファナック株式会社 ロボットの動作をシミュレーションするシミュレーション装置
JP6937995B2 (ja) * 2018-04-05 2021-09-22 オムロン株式会社 物体認識処理装置及び方法、並びに、物体ピッキング装置及び方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010091429A (ja) * 2008-10-08 2010-04-22 Honda Motor Co Ltd ワーク形状推定装置
CN102308201A (zh) * 2008-12-24 2012-01-04 斯奈克玛 机械零件的无损检查方法
CN103221188A (zh) * 2010-11-17 2013-07-24 三菱电机株式会社 工件取出装置
CN103313921A (zh) * 2011-02-15 2013-09-18 欧姆龙株式会社 图像处理装置及图像处理***
CN105034024A (zh) * 2014-04-15 2015-11-11 株式会社安川电机 机器人控制***、信息通信模块、机器人控制器及机器人控制方法
CN106181964A (zh) * 2014-08-11 2016-12-07 发那科株式会社 机器人程序生成装置
DE102016114337A1 (de) * 2015-08-06 2017-02-09 Cognex Corporation System und verfahren zum verknüpfen von koordinatenräumen maschinellen sehens in einer umgebung angeleiteten zusammenbaus

Also Published As

Publication number Publication date
CN111683798A (zh) 2020-09-18
EP3766644B1 (en) 2022-05-11
US20210039257A1 (en) 2021-02-11
EP3766644A1 (en) 2021-01-20
US11667036B2 (en) 2023-06-06
EP3766644A4 (en) 2022-01-12
WO2019176829A1 (ja) 2019-09-19
JP2019155535A (ja) 2019-09-19
JP6879238B2 (ja) 2021-06-02

Similar Documents

Publication Publication Date Title
CN111683798B (zh) 工件拾取装置以及工件拾取方法
CN110348279B (zh) 物体识别处理装置和方法、以及物体拣选装置和方法
US9415511B2 (en) Apparatus and method for picking up article randomly piled using robot
JP5767464B2 (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
JP2017042859A (ja) ピッキングシステム、並びに、そのための処理装置、方法及びプログラム
US20180290307A1 (en) Information processing apparatus, measuring apparatus, system, interference determination method, and article manufacturing method
JP5295828B2 (ja) 対象物の把持システム及び同システムにおける干渉検出方法
JP6338421B2 (ja) 情報処理装置、情報処理装置の制御方法、把持システムおよびプログラム
US10286557B2 (en) Workpiece position/posture calculation system and handling system
JP2016099257A (ja) 情報処理装置及び情報処理方法
JP2015009314A (ja) 干渉判定装置、干渉判定方法、コンピュータプログラム
JP2016186469A (ja) 情報処理装置、情報処理方法、プログラム
JP2018136896A (ja) 情報処理装置、システム、情報処理方法、および物品の製造方法
US11816754B2 (en) Measurement parameter optimization method and device, and computer control program stored on computer-readable storage medium
JP2010071743A (ja) 物体検出方法と物体検出装置およびロボットシステム
JP2016091053A (ja) 情報処理装置および容器形状の推定方法、ワークピッキングシステム、プログラム
JP2017201276A (ja) 情報処理装置、情報処理方法、プログラム、システム、および物品製造方法
CN114310892B (zh) 基于点云数据碰撞检测的物体抓取方法、装置和设备
JP2010210511A (ja) 対象物の3次元位置・姿勢認識装置及びその方法
JP7264247B2 (ja) 情報処理装置及び情報処理方法
US20220297292A1 (en) Information processing device and information processing method
EP4094904B1 (en) Robot system control device, robot system control method, computer control program, and robot system
CN111470244B (zh) 机器人***的控制方法以及控制装置
JP2023041200A (ja) ワーク保持装置、ワーク保持方法、プログラム、及び制御装置
CN112975943A (zh) 判断机器人夹爪最佳抓取高度的处理方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant