CN103786153B - 物品取出装置及物品取出方法 - Google Patents
物品取出装置及物品取出方法 Download PDFInfo
- Publication number
- CN103786153B CN103786153B CN201310530229.1A CN201310530229A CN103786153B CN 103786153 B CN103786153 B CN 103786153B CN 201310530229 A CN201310530229 A CN 201310530229A CN 103786153 B CN103786153 B CN 103786153B
- Authority
- CN
- China
- Prior art keywords
- mentioned
- article
- maintaining part
- object article
- manipulator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/0093—Programme-controlled manipulators co-operating with conveyor means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
- B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
- B65G47/90—Devices for picking-up and depositing articles or materials
- B65G47/905—Control arrangements
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39508—Reorientation of object, orient, regrasp object
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40053—Pick 3-D object from pile of objects
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40607—Fixed camera to observe workspace, object, workpiece, global
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Manipulator (AREA)
Abstract
本发明提供一种物品取出装置,其利用机械手的保持部从不规则地堆积在容器内的多个物品中取出一个对象物品,并且以规定的姿势将取出的对象物品载置在目标位置。物品取出装置具备根据利用第一视觉传感器获得的与容器内的物品的高度分布相关的信息,获得与对象物品的概略位置相关的信息的概略位置获得部。并且,物品取出装置具备根据由第二视觉传感器获得的与对象物品相对于保持部的相对位置姿势相关的信息,以使对象物品相对于目标位置为规定的相对位置姿势关系的方式控制机械手的载置动作控制部。并且,提供一种使用这种物品取出装置的物品取出方法。
Description
技术领域
本发明涉及用于利用机械手从不规则地堆积在容器内的多个物品中取出物品的物品取出装置及物品取出方法。
背景技术
就从不规则地堆积在容器内的多个物品中依次取出物品的取出工序的自动化而言,学术界及工业界提出了多个方案。近年来,伴随计算机的处理能力的提高及图像处理技术的进步,出现了更具实用性的方法。例如,JP-A-2004-188562公开了下述内容:在计测应该取出的物品的立***置及姿势前,计测不规则的多个物品的大致的高度分布并决定应该取出的物品。
期望能实现物品的取出工序的自动化的实用的物品取出装置及物品取出方法。
发明内容
根据本申请的第一方案,提供一种物品取出装置,其利用机械手从不规则地堆积在容器内的多个物品中取出一个对象物品,并且以规定的姿势将取出的上述对象物品载置在目标位置,上述机械手具备能释放地保持上述对象物品的保持部,该物品取出装置具备:第一视觉传感器,其获得与上述容器内的上述多个物品的高度分布相关的信息;概略位置获得部,其根据由上述第一视觉传感器获得的与上述高度分布相关的信息,获得与在上述容器内位于比周围的物品高的位置的对象物品的概略位置相关的信息;取出动作控制部,其根据由上述概略位置获得部获得的与上述对象物品的上述概略位置相关的信息,以能利用上述保持部保持上述对象物品的方式控制上述机械手;第二视觉传感器,其计测由上述保持部保持的状态的上述对象物品,获得与上述对象物品相对于上述保持部的相对位置姿势相关的信息;以及载置动作控制部,其根据由上述第二视觉传感器获得的上述对象物品的上述相对位置姿势,以使由上述保持部保持的状态的上述对象物品相对于上述目标位置为规定的相对位置姿势关系的方式控制上述机械手。
根据本申请的第二方案,提供一种物品取出装置,在第一方案中,上述第二视觉传感器是平面摄像机。
根据本申请的第三方案,提供一种物品取出装置,在第一方案中,上述第二视觉传感器是立体视觉传感器。
根据本申请的第四方案,提供一种物品取出装置,在第一至第三任一方案中,还具备:保持部信息存储部,其存储与未保持上述对象物品的状态的上述保持部对应且由上述第二视觉传感器获得的第一信息;以及相对位置姿势计算部,其根据上述第一信息及与由上述第二视觉传感器获得的保持上述对象物品的状态的上述保持部对应的第二信息,计算上述对象物品的上述相对位置姿势。
根据本申请的第五方案,提供一种物品取出方法,其利用机械手从不规则地堆积在容器内的多个物品中取出一个对象物品,并且以规定的姿势将取出的上述对象物品载置在目标位置,上述机械手具备能释放地保持上述对象物品的保持部,该物品取出方法具备下述步骤:利用第一视觉传感器获得与上述容器内的上述多个物品的高度分布相关的信息,根据由上述第一视觉传感器获得的与上述高度分布相关的信息,获得与在上述容器内位于比周围的物品高的位置的对象物品的概略位置相关的信息,根据与上述对象物品的上述概略位置相关的信息,以能利用上述保持部保持上述对象物品的方式控制上述机械手,利用第二视觉传感器计测由上述保持部保持的状态的上述对象物品,获得与上述对象物品相对于上述保持部的相对位置姿势相关的信息,根据由上述第二视觉传感器获得的上述对象物品的上述相对位置姿势,以使由上述保持部保持的状态的上述对象物品相对于上述目标位置为规定的相对位置姿势关系的方式控制上述机械手。
根据本申请的第六方案,提供一种物品取出方法,在第五方案中,上述第二视觉传感器是平面摄像机。
根据本申请的第七方案,提供一种物品取出方法,在第五方案中,上述第二视觉传感器是立体视觉传感器。
根据本申请的第八方案,提供一种物品取出方法,在第五至第七任一方案中,还具备下述步骤:在获得与上述对象物品相对于上述保持部的上述相对位置姿势相关的信息时,读取由上述第二视觉传感器预先获得并存储的与未保持上述对象物品的状态的上述保持部对应的第一信息,根据上述第一信息及由上述第二视觉传感器获得的与保持上述对象物品的状态的上述保持部对应的第二信息,计算上述对象物品的上述相对位置姿势。
这些及其他本发明的目的、特征及优点参照附图所表示的本发明的示例的实施方式的详细说明变得明确。
附图说明
图1是概略地表示本发明的实施方式的机器人***的侧视图。
图2是概略地表示本发明的实施方式的机器人***的侧视图。
图3是概略地表示本发明的实施方式的机器人***的侧视图。
图4是放大表示收放了工件的容器的放大图。
图5是放大表示收放了工件的容器的放大图。
图6A~图6C是表示由终端执行器保持的状态的对象工件的例子的局部放大图。
图7A~图7C是表示由终端执行器保持的状态的对象工件的例子的局部放大图。
图8A~图8C是表示由第二视觉传感器获得的图像的例子的图。
图9A~图9C是表示在其他实施方式中使用终端执行器保持对象工件时的过程的图。
图10是表示机器人***的处理部的功能框的图。
图11是表示相对位置姿势获得部的功能框的图。
图12是表示由机器人***取出对象工件的工序的流程图。
具体实施方式
下面,参照附图说明本发明的实施方式。图示的实施方式的各结构要素为了更好地理解,具有从实际应用的方式改变其比例尺的场合。另外,对相同或对应的结构要素在多个附图中使用相同的参照符号。
参照图1~图3说明本发明的一个实施方式的物品取出装置的例子即机器人***10的结构及作用。图1~图3是概略地表示机器人***10的侧视图。机器人***10用于利用机械手16从不规则地堆积在容器12内的多个工件14中取出一个对象工件14a(参照图2),并且以规定的姿势将取出的对象工件14a载置在传送带18的目标位置(参照图3)。在本说明书中,“对象工件14a(对象物品)”的用词表示在所述的取出工序中作为从容器12取出的对象而选择的工件(物品),为了方便与收放在容器12内的状态的其他工件14区别而使用。
容器12具有底壁与从底壁的周围向大致铅垂方向上方延伸的周壁,形成收放多个工件14的收放空间。工件14是由机器人***10取出的物品的例子,例如如图示那样,是在侧视中具有半圆弧状的形状的半圆筒形的部件。在容器12的上部形成有例如在俯视中为圆形或矩形的开口,由此,机械手16能从容器12的上方触碰容器12内的工件14。
机械手16是具有利用通过线24连接的机械手控制装置20控制的多个关节轴的公知的机械手。机械手16作为能释放地保持工件14的保持单元具备终端执行器22。终端执行器22例如如图所示,是利用在内部产生的负压吸附对象工件14a并保持的吸附衬垫式夹钳。或者,终端执行器22也可以是利用电磁铁等磁力产生单元的磁性夹钳、利用流体压力的流体压式夹钳、或具有通过电性机械式单元进行开闭动作的手指(爪)的多指把手。即,终端执行器22能根据由机器人***10取出的工件14等物品的形状具有多种公知的类型的方式。机械手16的终端执行器22根据从机械手控制装置20发送的驱动信号保持或释放对象工件14a。
在容器12的上方设有固定在支撑架26上的第一视觉传感器28。在图1中从第一视觉传感器28向下方描绘的虚线30表示第一视觉传感器28的计测范围。在与本发明的关系中不是必要的要素,但是第一视觉传感器28的计测范围如图所示包括收放工件14的容器12的收放空间整体。第一视觉传感器28通过线32连接在传感器控制装置34上,能在与传感器控制装置34之间授受与计测处理相关的信号、例如计测开始指令及计测结果。
第一视觉传感器28是根据传感器控制装置34的计测开始指令获得与容器12内的多个工件14的高度分布相关的信息的立体视觉传感器。高度分布例如作为由规定的空间分解能获得的立体点集合而获得。立体点集合是在例如作为控制机械手16的基准中使用的作业坐标系中作为(X、Y、Z)而表示的立体的位置数据组。第一视觉传感器28可以是一般称为“测距器”的任意类型的立体视觉传感器。
立体视觉传感器例如具备能获得平面图像数据的多个平面摄像机,根据立体视的概念,根据这些平面图像数据计测从传感器头到对象物的距离。或者,第一视觉传感器28可以是利用狭缝状的激光在沿与狭缝的发展方向正交的方向上延伸的表面上进行扫描,并且利用安装在传感器头侧的摄像机接受激光的反射光的类型的立体视觉传感器。另外,第一视觉传感器28可以是利用以形成平面阵列的方式排列的多个红外线LED的Time of Flight类型的立体视觉传感器。在该场合,根据对从由红外线LED发射红外线后在对象物中反射并返回到传感器头侧必要的时间的差异,计测到对象物(该场合为工件14)的距离。
由第一视觉传感器28计测的结果通过线32发送到传感器控制装置34。传感器控制装置34还具备处理来自第一视觉传感器28的图像信息的图像处理装置(未图示)。图像处理装置可以内置在传感器控制装置34中,也可以与传感器控制装置34独立地设置。在传感器控制装置34上通过线42还连接有第二视觉传感器38。传感器控制装置34及与传感器控制装置34协作的图像处理装置不限于特定类型的控制装置,可以是公知的多种类型。由第一视觉传感器28获得的与工件14的高度分布相关的信息发送到通过线36连接在传感器控制装置34上的机械手控制装置20,如之后更详细地叙述那样,用于机械手16的动作控制。另外,在图示的实施方式中,机械手控制装置20及传感器控制装置34是互相不同的装置,但也可以将传感器控制装置34内置在机械手控制装置20中。
第二视觉传感器38如图所示设置在离开容器12的位置。在图2中,从第二视觉传感器38向上方描绘的虚线40表示第二视觉传感器38的计测范围。第二视觉传感器38计测由机械手16的终端执行器22保持的状态的对象工件14a,用于获得与对象工件14a相对于终端执行器22的相对位置姿势相关的信息。如图2所示,在使用第二视觉传感器38计测对象工件14a时,以对象工件14a包含于第二视觉传感器38的计测范围内的方式控制机械手16的位置及姿势。在此,执行利用第二视觉传感器38的计测时的机械手16的终端执行器22的位置及姿势是已经预定的已知信息、或是在执行计测处理的瞬间在机械手控制装置20内部获得的信息。由此,通过进行适当的坐标转换,从由第二视觉传感器38获得的位置姿势信息计算对象工件14a相对于机械手16的终端执行器22的相对位置姿势。利用坐标转换的对象工件14a的相对位置姿势的计算例如记载在JP-B-4174342中。另外,第二视觉传感器38只要设置在能够与容器12内的工件14独立地计测对象工件14a的位置即可,未限定于图示的位置关系。
传送带18为了任意的下一个工序而依次搬运从容器12取出的对象工件14a。对象工件14a如图3所示,以相对于传送带18具有规定的姿势的方式(例如对象工件14a的凸部朝向铅垂方向上方)利用机械手16载置在传送带18上。
图10是表示用于说明机器人***10的机械手控制装置20及传感器控制装置34的作用的机器人***10的处理部50的功能框的图。如图所示,机械手控制装置20具备概略位置获得部52、取出动作控制部54以及载置动作控制部56。传感器控制装置34具备高度分布获得部60、相对位置姿势获得部62。高度分布获得部60根据由第一视觉传感器28得到的计测结果,获得容器12内的工件14的高度分布。另外,相对位置姿势获得部62根据由第二视觉传感器38获得的计测结果,获得对象工件14a相对于保持有对象工件14a的状态的终端执行器22的相对位置姿势。
机械手控制装置20的概略位置获得部52根据由高度分布获得部60获得的工件14的高度分布,获得与在容器12内位于比周围的工件14高度高的对象工件14a的概略位置相关的信息。图4是放大表示收放多个工件14的容器12的放大图。在机器人***10中,根据工件14的高度分布,作为对象工件14a的概略位置决定局部位于高处的对象工件14a的部位的立***置信息。在图4中标注在工件14上的标记“x”表示对象工件14a的概略位置。
图5是与图4相同的放大图。在图5所示的实施方式中,对象工件14a的概略位置不是局部位于高处的部位,而是由在规定的面积S中延伸的大致平面状的平面部的规定位置(例如平面部的重心位置)决定。例如,相对于规定的下限值S1及上限值S2,具有满足S1<S<S2的面积S的平面部为对象。在图5中标注在工件14上的记号“x”表示该场合的对象工件14a的概略位置。
参照图4及图5说明的对象工件14a的概略位置的决定方法只不过是一个例子,未限定于这些特定的样式。即,作为由概略位置获得部52获得的对象工件14a的概略位置,只要特定由终端执行器22保持对象工件14a的程度的位置即可,因此也可以利用其他决定方法决定对象工件14a的概略位置。
取出动作控制部54根据由概略位置获得部52获得的对象工件14a的概略位置,以由终端执行器22保持对象工件14a的方式生成控制机械手16的驱动信号。在利用与图4或图5相关地说明的对象工件14a的概略位置的场合,以将终端执行器22定位在标记“x”的位置的方式控制机械手16的位置及姿势。
载置动作控制部56根据由相对位置姿势获得部62获得的对象工件14a的相对位置姿势,以将由终端执行器22保持的状态的对象工件14a载置在传送带18上的目标位置的方式生成控制机械手16的控制信号。另外,机械手16以对象工件14a相对于目标位置为规定的相对位置关系的方式、即对象工件14a以规定的姿势载置在传送带18上的方式被控制。图3表示将对象工件14a载置在传送带18上时的机械手16的位置及姿势的例子。
图6A~图6C及图7A~图7C是表示由终端执行器22保持的状态的对象工件14a的例子的局部放大图。图6A表示在圆弧的一方的端部附近保持对象工件14a的场合。在该场合,如果以对象工件14a沿顺时针方向旋转大致90度的方式改变机械手16的姿势,则对象工件14a得到图3所示的相对于传送带18的规定的姿势。图6B在对象工件14a的凸部朝向大致铅垂方向上方的状态下由终端执行器22保持。即,对象工件14a大致具有相对于传送带18的规定的姿势。因此,在该场合,只要在维持对象工件14a的姿势的状态下移动到传送带18即可。
图6C表示对象工件14a在从相对于传送带18的规定的姿势旋转180度的状态下由终端执行器22保持的场合。在该场合,难以仅通过改变机械手16的姿势地以适当的姿势将对象工件14a载置在传送带18上。因此,例如如图7A所示,使用形成有能***终端执行器22的开口46的工作台44。并且,如图7A~C所示,只要将对象工件14a暂时载置在工作台44上,并重新从对象工件14a的相反侧保持对象工件14a即可。
在此,参照图8A~图8C及图11说明利用相对位置姿势获得部62获得对象工件14a的相对位置姿势的处理的例子。图8A~图8C是表示由第二视觉传感器38获得的图像的例子的图。图11是表示一个实施方式的相对位置姿势获得部62的功能框的图。相对位置姿势获得部62如图11所示还具备保持部信息存储部64、计测信息比较部66、相对位置姿势计算部68。
保持部信息存储部64存储在未保持对象工件14a的状态下的终端执行器22(保持部)的计测信息、例如图像信息。图8B表示未保持对象工件14a的状态的终端执行器22的图像。保持部信息存储部64例如用于预先存储图8B所示的图像信息。相对于此,图8A表示保持了对象工件14a的状态的终端执行器22的图像,例如是在图2所示的状态下由第二视觉传感器38获得的图像。因此,图8A表示有终端执行器22及对象工件14a双方。在图8A及图8B的状态下,终端执行器22以在相同的位置具有相同的姿势的方式进行定位。
计测信息比较部66对图8A的图像与图8B的图像进行比较,通过从图8A的图像除去在双方的图像中都存在的图像,获得图8C所示的只表示对象工件14a的图像。相对位置姿势计算部68根据由计测信息比较部66获得的对象工件14a的图像,计算对象工件14a相对于终端执行器22的相对位置姿势。这样,相对位置姿势获得部62根据由第二视觉传感器38得到的计测结果,获得对象工件14a的相对位置姿势。
接着,参照图12说明使用上述实施方式的机器人***10取出对象工件14a的取出方法。图12是表示利用机器人***10取出对象工件14a的工序的流程图。
当机械手控制装置20收到启动指令时,通过传感器控制装置34向第一视觉传感器28发送计测开始信号。启动指令例如通过由用户操作未图示的操作部来产生。第一视觉传感器28根据来自传感器控制装置34的计测开始信号,获得由传感器头与工件14之间的距离决定的与工件14的高度分布相关的信息。与工件14的高度分布相关的信息输入传感器控制装置34的高度分布获得部60,计算容器12内的工件14的高度分布(步骤S101)。另外,在该时点,机械手16及其终端执行器22以不妨碍利用第一视觉传感器28的工件14的计测的方式,并以不会进入由虚线30表示的计测范围的方式后退到离开容器12的位置。另外,预先结束用于使由第一视觉传感器28计测的数据、机械手16的作业坐标***相关的检查。
接着,根据由步骤S101得到的高度分布,由传感器控制装置34检测平面部(步骤S102),并且对平面部的个数n进行计数。平面部是与图5相关地如上所述那样大致沿水平方向在规定的面积S中延伸的工件14的一部分。并且,在至少检测出一个平面部的场合,进入下一个步骤S104,在未检测出平面部的场合,视为不存在应该取出的对象工件14a,结束取出工序(步骤S103)。在步骤S103中,在至少检测出一个平面部的场合,以检测出的工件14的平面部的位置、例如重心位置高的顺序排列的方式以各平面部决定对象工件14a的顺序(步骤S104)。
并且,在步骤S105中,为了依次从容器12取出对象工件14a,在表示平面部的第i个顺序的“i”中代入值1。接着,计算机械手16的终端执行器22能够保持第i个对象工件14a的机械手16的位置及姿势(步骤S106)。保持对象工件14a时的机械手16的位置及姿势根据由概略位置获得部52获得的对象工件14a的概略位置决定。并且,机械手16根据由机械手控制装置20的取出动作控制部54发送的控制信号移动,定位于在步骤S106中计算的机械手位置。当机械手16到达规定位置时,驱动终端执行器22,并保持对象工件14a(步骤S107)。
当由终端执行器22保持对象工件14a时,使机械手16移动而将对象工件14a搬运到容器12的外部。如图2所示,机械手16移动到第二视觉传感器38能计测对象工件14a的位置。并且,利用第二视觉传感器38计测在保持了对象工件14a的状态下的终端执行器22(步骤S108)。另外,预先结束用于使由第二视觉传感器38计测的数据、机械手16的作业坐标系相关的检查。
接着,相对位置姿势获得部62进行动作,计算对象工件14a相对于终端执行器22的相对位置姿势(步骤S109)。为了计算对象工件14a的相对位置姿势,与图11相关的上述保持部信息存储部64、计测信息比较部66及相对位置姿势计算部68进行动作。并且,根据对象工件14a的相对位置姿势,计算用于以规定的姿势将对象工件14a载置在传送带18的规定位置的机械手16的位置及姿势(步骤S110)。接着,载置动作控制部56进行动作,使机械手16移动到在步骤S110中计算的机械手16的规定位置。当将机械手16移动到规定的位置姿势时,释放终端执行器22,将对象工件14a载置在传送带18上(步骤S111)。
根据以上的步骤S106~S111的工序,从容器12取出一个对象工件14a,并载置在目标位置。为了选择接下来应该取出的对象工件14a,在“i”上输入(i+1)的值(步骤S112)。接着,判断“i”值是否超过在步骤102中检测的平面部的个数n(步骤S113)。在“i”是n以下的场合,具有在步骤102中检测的平面部的n个对象工件14a中、(n-(i-1))个对象工件14a留在容器12内。因此,返回步骤S106并继续剩下的对象工件14a的取出工序。这样,步骤S106~步骤S111的工序反复进行到具有在步骤S102中检测的平面部的n个对象工件14a的取出工序结束。
另一方面,在判断为“i”比n大的场合,即在判断为具有在步骤S102中检测的平面部的对象工件14a被全部从容器12取出的场合,处理流程返回步骤S101,再次执行获得工件14的高度分布的处理。
根据上述实施方式,在由机械手16保持对象工件14a的状态下,由第二视觉传感器38计测对象工件14a相对于机械手16的终端执行器22的相对位置姿势。因此,在保持对象工件14a之前进行的利用第一视觉传感器28的计测处理中,不需要正确地计测对象工件14a的位置及姿势。换言之,只要明白能由终端执行器22保持的程度的对象工件14a的概略位置即可。由此,能够在短时间内结束利用第一视觉传感器28进行的工件14的计测处理。另外,正确的立***置及姿势的计测只以由机械手16保持的状态的一个对象工件14a为对象并由第二视觉传感器38进行。在该场合,一部分的工件14未隐藏在其他工件14的背后,因此与一次对多个工件14进行立体计测的场合相比,能够高精度地执行计测处理。其结果,提高对象工件14a向规定位置的载置工序的精度。并且,也不需要执行大量的立体信息的处理,缩短计算所需的时间,因此提高了处理效率。因此,根据本实施方式,提供比现有技术实用的工件14的取出装置及取出方法。
正确地计测不规则地堆积在容器内的多个物品的位置及姿势需要高度的技术及高性能的计算机,但根据本实施方式,任一个都不需要。通常,在由机械手保持对象物品的场合,机械手保持对象物品的预定的部位。因此,需要正确地计测对象物品的位置及姿势。相对于此,在本实施方式中,如图6A~图6C所示,未特别地限定保持对象工件14a时的对象工件14a与机械手16的终端执行器22的位置关系。因此,即使计测容器12内的多个工件14时的计测精度比较低也是容许的。
另外,视觉传感器普遍预定与物品的形状对应的检测模型。因此,需要对每个应该取出的物品的种类改变检测模型,并且微调各种设定。相对于此,根据基于物品的高度分布决定对象物品的概略位置的本实施方式,物品的形状不同对计测精度带来的影响小,能不进行追加调整地应用于多种物品。
在上述实施方式中,说明了第二视觉传感器38是立体视觉传感器的例子,但是未限定于这种特定的方式。在优选的实施方式中,第二视觉传感器38可以是平面摄像机。在该实施方式中,例如对象工件14a'如图9A所示,具有大致平板的形状。另外,终端执行器22'是具有蛇腹部70的吸附衬垫式夹钳。图9A~图9C表示使用这种终端执行器22'保持对象工件14a'时的过程。如图9A所示,对象工件14a'与上述实施方式相同,在未图示的容器12内不规则地堆积,相对于终端执行器22'具有多个位置姿势关系。并且,如图9B所示那样具有蛇腹部70的终端执行器22'能根据对象工件14a'的姿势变形。并且,如图9C所示,当提起对象工件14a'时,对象工件14a'的表面相对于终端执行器22'朝向垂直方向。并且,这种情况即使对象工件14a'在容器12内具有任一姿势都相同。
因此,在采用具有这种方式的终端执行器22'及对象工件14a'的场合,只要相对于终端执行器22'的轴线直角地延伸的平面内(例如水平面内)的位置姿势关系清楚,则对象工件14'相对于终端执行器22'的相对位置姿势清楚。即,在这种实施方式中,第二视觉传感器38不需要是立体视觉传感器,可以是平面视觉传感器、例如平面摄像机。
发明效果
根据本申请发明的物品取出装置及物品取出方法,在由机械手保持对象物品的状态下,由第二视觉传感器计测对象物品相对于机械手的保持部的相对位置姿势。因此,在由机械手保持对象物品前不需要正确地计测对象物品的位置姿势。另外,正确的立***置姿势的计测通过仅将由机械手保持的状态的一个对象物品作为对象来执行。由此,与一次计测多个对象物品的立***置姿势的场合相比,计测处理变得容易,计测精度稳定。其结果,提高了对象物品向规定位置的载置工序的精度。另外,不需要执行大量的立体信息的处理,缩短计算所需的时间,因此提高了处理效率。
以上,说明了本发明的多种实施方式,但本领域技术人员当然明白即使任意地组合在本说明书中明示或暗示地公开的实施方式的特征也能实施本发明。另外,使用本发明的示例的实施方式并图示本发明来进行说明,但本领域技术人员当然能理解可不脱离本发明的精神及范围地进行上述或多种改变、省略、追加。
Claims (8)
1.一种物品取出装置(10),其利用机械手(16)从不规则地堆积在容器(12)内的多个物品(14)中取出一个对象物品(14a),并且以规定的姿势将取出的上述对象物品(14a)载置在目标位置,该物品取出装置(10)的特征在于,
上述机械手(16)具备能释放地保持上述对象物品(14a)的保持部(22),
该物品取出装置(10)具备:
第一视觉传感器(28),其获得与上述容器(12)内的上述多个物品(14)的高度分布相关的信息;
概略位置获得部(52),其根据由上述第一视觉传感器(28)获得的与上述高度分布相关的信息,获得与在上述容器(12)内位于比周围的物品(14)高的位置的对象物品(14a)的概略位置相关的信息;
取出动作控制部(54),其根据由上述概略位置获得部(52)获得的与上述对象物品(14a)的上述概略位置相关的信息,以能利用上述保持部(22)保持上述对象物品(14a)的方式控制上述机械手(16);
第二视觉传感器(38),其计测由上述保持部(22)保持的状态的上述对象物品(14a),获得与上述对象物品(14a)相对于上述保持部(22)的相对位置姿势相关的信息;以及
载置动作控制部(56),其根据由上述第二视觉传感器(38)获得的上述对象物品(14a)的上述相对位置姿势,以使由上述保持部(22)保持的状态的上述对象物品(14a)相对于上述目标位置为规定的相对位置姿势关系的方式控制上述机械手(16)。
2.根据权利要求1所述的物品取出装置(10),其特征在于,
上述第二视觉传感器(38)是平面摄像机。
3.根据权利要求1所述的物品取出装置(10),其特征在于,
上述第二视觉传感器(38)是立体视觉传感器。
4.根据权利要求1~3任一项所述的物品取出装置(10),其特征在于,
还具备:
保持部信息存储部(64),其存储与未保持上述对象物品(14a)的状态的上述保持部(22)对应且由上述第二视觉传感器(38)获得的第一信息;以及
相对位置姿势计算部(68),其根据上述第一信息及与由上述第二视觉传感器(38)获得的保持上述对象物品(14a)的状态的上述保持部(22)对应的第二信息,计算上述对象物品(14a)的上述相对位置姿势。
5.一种物品取出方法,其利用机械手(16)从不规则地堆积在容器(12)内的多个物品(14)中取出一个对象物品(14a),并且以规定的姿势将取出的上述对象物品(14a)载置在目标位置,该物品取出方法的特征在于,
上述机械手(16)具备能释放地保持上述对象物品(14a)的保持部(22),
该物品取出方法具备下述步骤:
利用第一视觉传感器(28)获得与上述容器(12)内的上述多个物品(14)的高度分布相关的信息,
根据由上述第一视觉传感器(28)获得的与上述高度分布相关的信息,获得与在上述容器(12)内位于比周围的物品(14)高的位置的对象物品(14a)的概略位置相关的信息,
根据与上述对象物品(14a)的上述概略位置相关的信息,以能利用上述保持部(22)保持上述对象物品(14a)的方式控制上述机械手(16),
利用第二视觉传感器(38)计测由上述保持部(22)保持的状态的上述对象物品(14a),获得与上述对象物品(14a)相对于上述保持部(22)的相对位置姿势相关的信息,
根据由上述第二视觉传感器(38)获得的上述对象物品(14a)的上述相对位置姿势,以使由上述保持部(22)保持的状态的上述对象物品(14a)相对于上述目标位置为规定的相对位置姿势关系的方式控制上述机械手(16)。
6.根据权利要求5所述的物品取出方法,其特征在于,
上述第二视觉传感器(38)是平面摄像机。
7.根据权利要求5所述的物品取出方法,其特征在于,
上述第二视觉传感器(38)是立体视觉传感器。
8.根据权利要求5~7任一项所述的物品取出方法,其特征在于,
还具备下述步骤:
在获得与上述对象物品(14a)相对于上述保持部(22)的上述相对位置姿势相关的信息时,
读取由上述第二视觉传感器(38)预先获得并存储的与未保持上述对象物品(14a)的状态的上述保持部(22)对应的第一信息,
根据上述第一信息及由上述第二视觉传感器(38)获得的与保持上述对象物品(14a)的状态的上述保持部(22)对应的第二信息,计算上述对象物品(14a)的上述相对位置姿势。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012-240501 | 2012-10-31 | ||
JP2012240501A JP5642759B2 (ja) | 2012-10-31 | 2012-10-31 | 物品取出装置及び物品取出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103786153A CN103786153A (zh) | 2014-05-14 |
CN103786153B true CN103786153B (zh) | 2015-10-14 |
Family
ID=50479807
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310530229.1A Active CN103786153B (zh) | 2012-10-31 | 2013-10-31 | 物品取出装置及物品取出方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9604363B2 (zh) |
JP (1) | JP5642759B2 (zh) |
CN (1) | CN103786153B (zh) |
DE (1) | DE102013018222B4 (zh) |
Families Citing this family (67)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013002099A1 (ja) * | 2011-06-29 | 2013-01-03 | 三菱電機株式会社 | 部品供給装置 |
JP5778311B1 (ja) * | 2014-05-08 | 2015-09-16 | 東芝機械株式会社 | ピッキング装置およびピッキング方法 |
US9272417B2 (en) * | 2014-07-16 | 2016-03-01 | Google Inc. | Real-time determination of object metrics for trajectory planning |
US11059185B2 (en) | 2014-10-03 | 2021-07-13 | Frito-Lay North America, Inc. | Apparatus and method for transferring a pattern from a universal surface to an ultimate package |
US9346170B2 (en) | 2014-10-03 | 2016-05-24 | Frito-Lay North America, Inc. | Apparatus and method for universal, flexible pillow bag pattern creation |
US9346169B2 (en) | 2014-10-03 | 2016-05-24 | Frito-Lay North America, Inc. | Apparatus and method for universal, flexible pillow bag pattern creation |
US9802720B2 (en) | 2014-10-03 | 2017-10-31 | Frito-Lay North America, Inc. | Apparatus and method for maintaining a pattern of non-rigid objects in a desired position and orientation |
WO2016054561A1 (en) * | 2014-10-03 | 2016-04-07 | Frito-Lay North America, Inc. | Apparatus and method for pattern creation |
JP6140204B2 (ja) | 2015-02-06 | 2017-05-31 | ファナック株式会社 | 3次元センサを備えた搬送ロボットシステム |
EP3261809B1 (en) * | 2015-02-25 | 2022-09-21 | Dematic Corp. | Automated order fulfillment system and method |
CN104786226A (zh) * | 2015-03-26 | 2015-07-22 | 华南理工大学 | 抓取在线工件的机器人位姿及运动轨迹定位***与方法 |
JP6117853B2 (ja) * | 2015-05-13 | 2017-04-19 | ファナック株式会社 | バラ積みされた物品を取り出すための物品取出システム、および方法 |
EP4219093A1 (en) | 2015-08-26 | 2023-08-02 | Berkshire Grey Operating Company, Inc. | Systems and methods for providing contact detection in an articulated arm |
US11370128B2 (en) | 2015-09-01 | 2022-06-28 | Berkshire Grey Operating Company, Inc. | Systems and methods for providing dynamic robotic control systems |
EP4137280A1 (en) | 2015-09-01 | 2023-02-22 | Berkshire Grey Operating Company, Inc. | Systems and methods for providing dynamic robotic control systems |
CN108290297B (zh) | 2015-09-08 | 2021-12-03 | 伯克希尔格雷股份有限公司 | 用于在自动***中提供高流量真空采集的***和方法 |
US10265872B2 (en) | 2015-09-09 | 2019-04-23 | Berkshire Grey, Inc. | Systems and methods for providing dynamic communicative lighting in a robotic environment |
ES2952517T3 (es) | 2015-09-11 | 2023-10-31 | Berkshire Grey Operating Company Inc | Sistemas robóticos y métodos para identificar y procesar diversos objetos |
WO2017083574A1 (en) * | 2015-11-13 | 2017-05-18 | Berkshire Grey Inc. | Sortation systems and methods for providing sortation of a variety of obejcts |
US9937532B2 (en) | 2015-12-18 | 2018-04-10 | Berkshire Grey Inc. | Perception systems and methods for identifying and processing a variety of objects |
CN108472814B (zh) | 2016-01-08 | 2021-07-16 | 伯克希尔格雷股份有限公司 | 用于获取并移动物体的***和方法 |
CA3117170C (en) | 2016-02-08 | 2023-08-29 | Berkshire Grey, Inc. | Systems and methods for providing processing of a variety of objects employing motion planning |
EP3458385A1 (de) | 2016-05-17 | 2019-03-27 | Liebherr-Verzahntechnik GmbH | Kommissioniersystem |
WO2017198281A1 (de) * | 2016-05-17 | 2017-11-23 | Liebherr-Verzahntechnik Gmbh | Kommissionierzelle |
DE102016007313B4 (de) * | 2016-06-10 | 2020-06-18 | rbc-Fördertechnik GmbH | Vorrichtung und Verfahren zum Ausrichten und/oder Vereinzeln von Objekten |
JP6831651B2 (ja) * | 2016-07-04 | 2021-02-17 | 川崎重工業株式会社 | ワークの袋詰め装置 |
JP2018034242A (ja) * | 2016-08-31 | 2018-03-08 | セイコーエプソン株式会社 | ロボット制御装置、ロボット、及びロボットシステム |
JP6614075B2 (ja) | 2016-09-07 | 2019-12-04 | 株式会社ダイフク | 物品積載設備 |
JP6800223B2 (ja) | 2016-10-28 | 2020-12-16 | ベックマン コールター, インコーポレイテッド | 物質調製評価システム |
WO2018087546A1 (en) * | 2016-11-08 | 2018-05-17 | Dogtooth Technologies Limited | A robotic fruit picking system |
EP3551560A1 (en) | 2016-12-09 | 2019-10-16 | Berkshire Grey Inc. | Systems and methods for processing objects provided in vehicles |
JP6426690B2 (ja) * | 2016-12-22 | 2018-11-21 | ファナック株式会社 | バラ積みされた物品を取り出すための物品取出システム、および方法 |
JP7047249B2 (ja) * | 2017-01-10 | 2022-04-05 | オムロン株式会社 | 画像処理システム、画像処理装置、ワークのピックアップ方法、および、ワークのピックアッププログラム |
JP6470321B2 (ja) * | 2017-01-11 | 2019-02-13 | ファナック株式会社 | 物品搬送装置 |
EP3569368A4 (en) * | 2017-01-12 | 2020-01-22 | Fuji Corporation | WORKING MACHINE AND RECORDING POSITION SELECTION PROCEDURE |
JP6453922B2 (ja) * | 2017-02-06 | 2019-01-16 | ファナック株式会社 | ワークの取り出し動作を改善するワーク取り出し装置およびワーク取り出し方法 |
EP3366433B1 (en) * | 2017-02-09 | 2022-03-09 | Canon Kabushiki Kaisha | Method of controlling robot, method of teaching robot, and robot system |
US10639787B2 (en) | 2017-03-06 | 2020-05-05 | Berkshire Grey, Inc. | Systems and methods for efficiently moving a variety of objects |
JP6418359B1 (ja) | 2017-03-24 | 2018-11-07 | 三菱電機株式会社 | ロボットプログラムの生成装置及び生成方法 |
JP6526100B2 (ja) * | 2017-04-28 | 2019-06-05 | ファナック株式会社 | 物品取出システム |
JP6487495B2 (ja) | 2017-05-19 | 2019-03-20 | ファナック株式会社 | ワーク取出しシステム |
EP4299260A3 (en) | 2017-08-02 | 2024-04-10 | Berkshire Grey Operating Company, Inc. | Systems and methods for acquiring and moving objects having complex outer surfaces |
CN111052890B (zh) * | 2017-09-15 | 2021-07-09 | 株式会社富士 | 元件供给*** |
JP6676030B2 (ja) * | 2017-11-20 | 2020-04-08 | 株式会社安川電機 | 把持システム、学習装置、把持方法、及び、モデルの製造方法 |
JP6662836B2 (ja) * | 2017-11-24 | 2020-03-11 | ファナック株式会社 | 収容領域又は治具にワークを配置するワーク配置システム |
US11383936B1 (en) * | 2017-12-06 | 2022-07-12 | Alliance Manufacturing, Inc. | Automatic height adjusting manifold |
US11072074B2 (en) * | 2017-12-13 | 2021-07-27 | Cognex Corporation | Calibration and operation of vision-based manipulation systems |
WO2019148428A1 (en) | 2018-02-01 | 2019-08-08 | Abb Schweiz Ag | Vision-based operation for robot |
CN109641706B (zh) * | 2018-02-02 | 2021-04-30 | 深圳蓝胖子机器智能有限公司 | 拣货方法、***及其应用的获持与放置***、机器人 |
GB2572199A (en) * | 2018-03-22 | 2019-09-25 | Elior Group | Ware identification and handling apparatus |
DE102018204508A1 (de) * | 2018-03-23 | 2019-09-26 | Kuka Deutschland Gmbh | Verfahren und System zum Betreiben eines Roboters |
US10576526B2 (en) * | 2018-07-03 | 2020-03-03 | Komatsu Industries Corporation | Workpiece conveying system, and workpiece conveying method |
CN110893999A (zh) * | 2018-09-12 | 2020-03-20 | 泰科电子(上海)有限公司 | 图像采集***和图像采集方法 |
CA3117600A1 (en) | 2018-10-25 | 2020-04-30 | Berkshire Grey, Inc. | Systems and methods for learning to extrapolate optimal object routing and handling parameters |
JP7134071B2 (ja) * | 2018-11-14 | 2022-09-09 | 株式会社ダイフク | 物品搬送設備 |
JP7134073B2 (ja) * | 2018-11-14 | 2022-09-09 | 株式会社ダイフク | 物品積載設備 |
JP7107249B2 (ja) * | 2019-02-26 | 2022-07-27 | 株式会社ダイフク | 物品移載装置 |
DE102019106068B3 (de) | 2019-03-11 | 2020-06-10 | Hiwin Technologies Corp. | System zur beseitigung von überlagerungen zufällig angeordneter werkstücke |
JP7368135B2 (ja) | 2019-07-31 | 2023-10-24 | ファナック株式会社 | 複数の可動部を有する物品搬送システム |
US20220241982A1 (en) * | 2019-09-18 | 2022-08-04 | Fuji Corporation | Work robot and work system |
MX2022006131A (es) * | 2019-12-05 | 2022-06-17 | Magna Int Inc | Metodo y configuracion para robotica sin vallas. |
WO2022020159A1 (en) | 2020-07-22 | 2022-01-27 | Berkshire Grey, Inc. | Systems and methods for object processing using a passively collapsing vacuum gripper |
US20220024705A1 (en) | 2020-07-22 | 2022-01-27 | Berkshire Grey, Inc. | Systems and methods for object processing using a vacuum gripper that provides object retention by evacuation |
DE102020212768B4 (de) | 2020-10-09 | 2022-05-05 | Ifc Intelligent Feeding Components Gmbh | Schüttgut-Zuführsystem |
US11633857B2 (en) * | 2020-10-27 | 2023-04-25 | Solomon Technology Corporation | Method for picking up an object from a bin |
US20220134384A1 (en) * | 2020-11-05 | 2022-05-05 | Beumer Corporation | System and method for separating and singulating postal articles |
CN118055897A (zh) | 2021-10-06 | 2024-05-17 | 伯克希尔格雷营业股份有限公司 | 利用转移***对提供在升高车辆中的物体的动态处理和用于接收物体的方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6721444B1 (en) * | 1999-03-19 | 2004-04-13 | Matsushita Electric Works, Ltd. | 3-dimensional object recognition method and bin-picking system using the method |
JP2003148914A (ja) * | 2001-11-08 | 2003-05-21 | Fanuc Ltd | 位置検出装置及び位置検出を利用した取出し装置 |
JP2004118562A (ja) | 2002-09-26 | 2004-04-15 | Fuji Photo Film Co Ltd | 摂取カロリー計算支援方法および装置並びにプログラム |
JP3805302B2 (ja) * | 2002-12-13 | 2006-08-02 | ファナック株式会社 | ワーク取出し装置 |
JP4174342B2 (ja) | 2003-02-19 | 2008-10-29 | ファナック株式会社 | ワーク搬送装置 |
JP4565023B2 (ja) | 2008-07-04 | 2010-10-20 | ファナック株式会社 | 物品取り出し装置 |
DE102008052436A1 (de) | 2008-10-21 | 2010-04-22 | Daimler Ag | Verfahren und Vorrichtung zum Vereinzeln von Bauteilen aus einem Behältnis |
JP5229253B2 (ja) | 2010-03-11 | 2013-07-03 | 株式会社安川電機 | ロボットシステム及びロボット装置並びにワーク取り出し方法 |
JP5743499B2 (ja) * | 2010-11-10 | 2015-07-01 | キヤノン株式会社 | 画像生成装置、画像生成方法、およびプログラム |
-
2012
- 2012-10-31 JP JP2012240501A patent/JP5642759B2/ja active Active
-
2013
- 2013-10-30 DE DE102013018222.0A patent/DE102013018222B4/de active Active
- 2013-10-30 US US14/067,168 patent/US9604363B2/en active Active
- 2013-10-31 CN CN201310530229.1A patent/CN103786153B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
JP5642759B2 (ja) | 2014-12-17 |
CN103786153A (zh) | 2014-05-14 |
US9604363B2 (en) | 2017-03-28 |
DE102013018222B4 (de) | 2019-01-03 |
US20140121836A1 (en) | 2014-05-01 |
JP2014087913A (ja) | 2014-05-15 |
DE102013018222A1 (de) | 2014-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103786153B (zh) | 物品取出装置及物品取出方法 | |
CN106493728B (zh) | 坐标系设定方法、坐标系设定装置以及机器人*** | |
EP2636493B1 (en) | Information processing apparatus and information processing method | |
JP5897624B2 (ja) | ワークの取出工程をシミュレーションするロボットシミュレーション装置 | |
JP5887383B2 (ja) | 物品をコンベヤに整列させる物品整列装置 | |
JP5810562B2 (ja) | 画像処理システムに向けられたユーザ支援装置、そのプログラムおよび画像処理装置 | |
CN101927494B (zh) | 形状检测*** | |
US20140147240A1 (en) | Component supply apparatus | |
JP6057862B2 (ja) | 部品供給装置および部品供給装置のプログラム生成方法 | |
CN104608126A (zh) | 用机器人取出散装物品的装置和方法 | |
CN109955222A (zh) | 物品搬运装置、机器人***和物品搬运方法 | |
US20070282485A1 (en) | Robot simulation apparatus | |
JP6526100B2 (ja) | 物品取出システム | |
JP6549655B2 (ja) | 物品搬送装置 | |
JP2014161965A (ja) | 物品取り出し装置 | |
JP2008021092A (ja) | ロボットシステムのシミュレーション装置 | |
CN104802173A (zh) | 视觉传感器的数据生成装置和检测模拟*** | |
JP2010012567A (ja) | 物品取り出し装置 | |
JP2014028415A (ja) | バラ積みされた物品をロボットで取出す装置 | |
CN106272421B (zh) | 一种程控工业机器人 | |
JP2017033429A (ja) | 3次元物体検査装置 | |
JP6570540B2 (ja) | マニュピュレータ及び入力ツールを用いて対象体をハンドリングする方法 | |
KR101735446B1 (ko) | 선택적 센싱이 가능한 비접촉식 평탄도 측정 시스템 | |
CN109983299A (zh) | 工业机器人的测量***和方法 | |
JP2011093058A (ja) | 対象物把持領域抽出装置および対象物把持領域抽出装置を用いたロボットシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |