CN105082133A - 拣选装置以及拣选方法 - Google Patents

拣选装置以及拣选方法 Download PDF

Info

Publication number
CN105082133A
CN105082133A CN201510231422.4A CN201510231422A CN105082133A CN 105082133 A CN105082133 A CN 105082133A CN 201510231422 A CN201510231422 A CN 201510231422A CN 105082133 A CN105082133 A CN 105082133A
Authority
CN
China
Prior art keywords
workpiece
opening portion
mechanical arm
intersection point
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510231422.4A
Other languages
English (en)
Other versions
CN105082133B (zh
Inventor
西原泰宣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shibaura Machine Co Ltd
Original Assignee
Toshiba Machine Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Machine Co Ltd filed Critical Toshiba Machine Co Ltd
Publication of CN105082133A publication Critical patent/CN105082133A/zh
Application granted granted Critical
Publication of CN105082133B publication Critical patent/CN105082133B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37567—3-D vision, stereo vision, with two cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39094—Interference checking between robot and fixture
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39476—Orient hand relative to object
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40053—Pick 3-D object from pile of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及拣选装置以及拣选方法。拣选装置具备：对在容器的内部散装的工件组进行三维拍摄的拍摄装置、能够把持工件的机械臂、以及控制机械臂的工作的控制装置，控制装置基于拍摄装置的拍摄结果来识别工件的位置和姿势，对通过该工件的把持位置且沿着接近向量延伸的直线与包含容器的开口部的平面的交点进行计算，基于该交点与所述开口部的位置关系来判断是否能够拣选该工件。

Description

拣选装置以及拣选方法
技术领域
本发明涉及一种从在容器的内部散装的工件组中拣选工件的拣选装置以及拣选方法。
背景技术
目前，已知以下这样的装置：使用三维图像识别装置从在箱中散装的工件组中检测作为对象的工件，在识别该工件的位置和姿势之后，经由通信单元将位置和姿势的信息发送至机械臂的控制器，基于该位置和姿势的信息对机械臂的工作进行控制来拣选该工件。
在此，由于作为对象的工件的位置和姿势，在拣选时机械臂的手与箱干扰，存在手或者箱破损的危险性。当手或者箱破损时作业效率下降。
为了解决这样的问题点，在日本特开2012–223845号中公开了对机械臂的手的形状和箱的形状进行三维多边形数据化来实时地检查多边形数据彼此的干扰的装置。
然而，在日本特开2012–223845号所记载的装置中，存在以下那样的问题。即，在该装置中，在机械臂的工作中需要实时地判断干扰。此外，在工作前使用多个评价位置来进行模拟，因此，是高精度的，但是并不简便，需要相当好的运算能力。进而，在每次变更手的形状或箱的形状时需要再次定义模型，通用性低。
发明内容
本发明是考虑以上这样的方面而完成的。本发明的目的在于提供一种在机械臂的工作前事先判断是否能够在不会与容器干扰的情况下拣选工件并且通过运算处理时间少的简便的方法来实现是否能够进行这样的拣选的判断的拣选装置以及拣选方法。
本发明是一种拣选装置，其特征在于，具备：三维拍摄装置，对在容器的内部散装的工件组进行三维拍摄；机械臂，具有能够把持工件的手；以及控制装置，对所述机械臂的工作进行控制，所述控制装置基于所述三维拍摄装置的拍摄结果来识别作为对象的工件的位置和姿势，基于所识别的位置和姿势的信息来求取该工件的把持位置和接近向量，对通过该把持位置且沿着接近向量延伸的直线与包含所述容器的开口部的平面的交点进行计算，基于该交点与所述开口部的位置关系来判断是否能够拣选该工件。
根据本发明，通过控制装置，在机械臂工作前事先判断是否能够在手或者手所把持的工件与容器彼此不会干扰的情况下拣选工件，并且，通过运算处理时间少的简便的方法来实现是否能够进行这样的拣选的判断。由此，能够在不使手、容器破损的情况下安全且高效地拣选工件。
具体地，例如，所述控制装置判断是否满足所述交点位于所述开口部的内侧并且该交点与规定所述开口部的缘部之间的最短距离比规定值大这样的条件，在满足该条件的情况下，使所述机械臂拣选该工件，在不满足该条件的情况下，不使所述机械臂拣选该工件。
优选的是，所述规定值是相对于所述接近向量成直角的方向上的所述把持位置与所述工件的轮廓之间的距离的最大值以及相对于所述接近向量成直角的方向上的所述把持位置与所述手的轮廓之间的距离的最大值中的任一个更大的值的1倍~1.1倍。根据这样的方式，能够可靠地防止在拣选时沿着接近向量进行直线移动的手或者手所把持的工件与容器干扰。
此外，优选的是，所述控制装置使所述机械臂工作而使所述手与规定所述开口部的缘部抵接，由此，求取该缘部的位置。根据这样的方式，能够容易地求取规定开口部的缘部的位置。
或者，所述控制装置还具备传感器，所述传感器对设置在所述开口部的周围的位置指示用标记的位置进行检测，所述控制装置基于所述传感器的检测结果来求取规定所述开口部的缘部的位置也可。根据这样的方式，也能够容易地求取规定开口部的缘部的位置。
此外，本发明是一种拣选方法，其特征在于，具备：对在容器的内部散装的工件组进行三维拍摄的工序；以及对具有能够把持工件的手的机械臂的工作进行控制的工序，对所述机械臂的工作进行控制的工序具有：基于所述三维拍摄的工序的拍摄结果来识别作为对象的工件的位置和姿势的工序；基于所识别的位置和姿势的信息来求取所述工件的把持位置和接近向量的工序；对通过所述把持位置且沿着接近向量延伸的直线与包含所述容器的开口部的平面的交点进行计算的工序；以及基于所计算的交点与所述开口部的位置关系来判断是否能够拣选所述工件的工序。
根据本发明，在机械臂工作前事先判断是否能够在手或者手所把持的工件与容器彼此不会干扰的情况下拣选工件，并且，通过运算处理时间少的简便的方法来实现是否能够进行这样的拣选的有无的判断。由此，能够在不使手、容器破损的情况下安全且高效地拣选工件。
具体地，例如，判断是否能够拣选所述工件的工序具有以下这样的工序：判断是否满足所述交点位于所述开口部的内侧并且该交点与规定所述开口部的缘部之间的最短距离比规定值大这样的条件，在满足该条件的情况下，使所述机械臂拣选该工件，在不满足该条件的情况下，不使所述机械臂拣选该工件。
优选的是，为相对于所述接近向量成直角的方向上的所述把持位置与所述工件的轮廓之间的距离的最大值以及相对于所述接近向量成直角的方向上的所述把持位置与所述手的轮廓之间的距离的最大值中的任一个更大的值的1倍~1.1倍。根据这样的方式，能够可靠地防止在拣选时沿着接近向量进行直线移动的手或者手所把持的工件与容器干扰。
此外，优选的是，还具备通过使所述机械臂工作而使所述手与规定所述开口部的缘部抵接来求取该缘部的位置的工序。根据这样的方式，能够容易地求取规定开口部的缘部的位置。
或者，还具备对设置在所述开口部的周围的位置指示用标记的位置进行检测并且基于检测结果来求取规定所述开口部的缘部的位置的工序也可。根据这样的方式，也能够容易地求取规定开口部的缘部的位置。
附图说明
图1是示出本发明的一个实施方式的拣选装置的概略结构图。
图2是放大示出容器的开口部的示意图。
图3是用于说明求取包含容器的开口部的平面的方程式的方法的示意图。
图4是用于对求取通过工件的把持位置且与接近向量（approachvector）平行的直线与包含容器的开口部的平面的交点的工序进行说明的示意图。
图5是判断是否满***点位于开口的内侧并且交点与规定开口部的缘部之间的最短距离比规定值大这样的条件的工序的示意图。
图6是示出交点位于开口部的内侧的情况的示意图。
图7是示出交点位于开口部的外侧的情况的示意图。
图8是用于说明交点与规定开口部的缘部之间的距离的示意图。
图9是根据相对于接近向量成直角的平面的手和工件的一个例子的剖面图。
图10是根据相对于接近向量成直角的平面的手和工件的另一例子的剖面图。
图11是示出本发明的一个实施方式的拣选方法的流程图。
具体实施方式
在以下，参照附图详细地说明本发明的实施方式。
图1是示出本发明的一个实施方式的拣选装置的概略结构图。如图1所示，本实施方式的拣选装置10具备：对在容器20的内部散装的工件组进行三维拍摄的三维拍摄装置11、具有能够把持工件21的手13的机械臂12、以及对机械臂12的工作进行控制的控制装置14。
其中，三维拍摄装置11是能够通过立体视觉、光切断法、条纹照明法等方法取得对象物的三维信息的、其本身为公知的拍摄装置。三维拍摄装置11配置成与容器20的开口部22相对，能够通过开口部22对在容器20的内部散装的工件组进行三维拍摄。
图2是放大示出容器的开口部22的示意图。在图示的例子中，容器20的开口部22具有四角形状，所述四角形状具有4个顶点B1、B2、B3、B4，规定开口部22的缘部23由4个脊线构成。在此，各顶点B1、B2、B3、B4存在于作为拣选装置10的基准坐标系的世界坐标系上，绕世界坐标系的Z轴（右旋螺纹）按照B1→B2→B3→B4的顺序进行定义。
如图1所示，本实施方式的控制装置14具有图像识别部15、机械手控制器16以及将机械手控制器16、图像识别部15和三维拍摄装置11彼此通信连接的网络集线器17。作为通信连接的规范，例如能够优选采用以太网（注册商标）规范。
图像识别部15经由网络集线器17读出由三维拍摄装置11拍摄的三维图像数据并存储到存储部中。图像识别部15由包含存储部的计算机***构成，所述存储部存储有市售的三维图像识别程序等。在存储部中存储的三维图像识别程序基于从三维拍摄装置11读出的三维图像数据对在容器20的内部散装的工件组进行解析，从其中检索具有与预先存储的模型工件形状一致的图像数据的部位（即，作为对象的工件），并对所检测的部位的位置和姿势进行识别。
机械手控制器16经由网络集线器17读出由图像识别部15识别的位置和姿势的信息。此外，机械手控制器16基于从图像识别部15读出的位置和姿势的信息，求取作为对象的工件21的世界坐标系中的把持位置和接近向量。在此，接近向量是指在拣选时机械臂12的手13朝向工件21的把持位置而直线接近的方向。机械手控制器16基于作为对象的工件21的把持位置和接近向量的信息对机械臂12的工作进行控制。
作为机械臂12，例如使用其本身为公知的垂直多关节机械手。在图示的例子中，机械臂12的关节的数量为6个（6轴），利用来自机械手控制器16的控制输出，分别驱动期望的量的设置于各关节的驱动源（例如，伺服电动机），由此，使机械臂12的前端以采取期望的位置和姿势的方式移动和/或旋转。
在机械臂12的前端设置有能够把持工件21的手13。在此，所谓把持是除了夹持动作等抓住动作以外也可以是利用磁力或负压等的吸附动作。
在图示的例子中，手13具有一对细长可动构件。一对细长可动构件彼此平行且相对地配置，相对于彼此，例如通过气压能够进行相对移动。在该一对细长可动构件相互接近时，定位在该一对细长可动构件间的工件21被该一对细长可动构件夹持并把持。另一方面，在该一对细长可动构件彼此分离时，把持在该一对细长可动构件间的工件21被释放。
当对拣选时的机械臂12的工作进行说明时，关于设置在机械臂12的前端的手13，首先，在容器20的外侧从规定的待机位置向接近位置移动。在此，接近位置是指为容器20的外侧并且通过作为对象的工件21的把持位置且沿着接近向量延伸的直线L上的规定的位置（例如，离工件21的把持位置距离100mm的位置）。在接近位置上，手13的一对细长可动构件朝向沿着接近向量延伸的方向。接着，手13从接近位置沿着接近向量直线移动到工件把持位置，作为对象的工件21被定位在一对细长可动构件间。在工件把持位置上，作为对象的工件21被手13把持。接着，把持工件21的手13从工件把持位置且沿着接近向量直线移动而返回到接近位置。接着，手13从接近位置向待机位置或者规定的工件释放位置移动。
在本实施方式中，机械手控制器16使机械臂12工作而使手13与规定容器20的开口部22的缘部23抵接，由此，求取世界坐标系中的该缘部23的位置。更详细地，机械手控制器16使机械臂12工作而使手13接近容器20的缘部23并对在接触时产生的接触压力进行感测，由此，判断手13是否与缘部23抵接。然后，在判断为抵接了的情况下，根据该时间点的手13的位置坐标值来求取规定开口部22的缘部23的位置坐标值。
此外，在本实施方式中，机械手控制器16对通过作为对象的工件21的把持位置且沿着接近向量延伸的直线L与包含开口部22的平面F的交点M进行计算。
在此，对计算交点M的方法的一个例子进行说明。首先，如图3所示，根据规定开口部22的缘部23的位置来求取包含开口部22的平面F的方程式。具体地，例如，平面F的法线向量N=（nx、ny、nz）为从开口部22的顶点B1朝向顶点B2的向量与从顶点B1朝向顶点B4的向量的外积，利用下式（1）表示。
[数式1]
使用开口部22的顶点B1的世界坐标系中的坐标值B1：（x1、y1、z1），利用下式（2）表示通过该顶点B1且相对于法线向量N垂直的平面F的方程式。
[数式2]
接着，如图4所示，求取通过工件21的把持位置且沿着接近向量延伸的直线L的方程式。具体地，例如，根据由图像识别部15识别的工件21的位置和姿势Pwk：（xwk、ywk、zwk、awk、bwk、cwk）求取工件21的姿势矩阵Rabc。在此，（xwk、ywk、zwk）表示世界坐标系中的工件21的位置（原点位置）。此外，（awk、bwk、cwk）表示世界坐标系中的工件21的姿势，即，
awk：表示绕世界坐标系的X轴的旋转
bwk：表示绕世界坐标系的Y轴的旋转
zwk：表示绕世界坐标系的Z轴的旋转。
更详细地，例如，作为机械手的前端姿势表现采用“Z、Y、X欧拉角表现”，按照以下顺序使基准坐标系（世界坐标系）“Σi”旋转。即，（i）使基准坐标系“Σi”绕Z轴进行cwk旋转。（ii）接着，使旋转后的坐标系“Σ’”绕Y轴进行bwk旋转。（iii）接着，使旋转后的坐标系“Σ’’”绕X轴进行awk旋转。
利用下式（3）表示上述（i）~（iii）的每一个的旋转矩阵。
[数式3]
在此，表示sa=sin（awk）、sb=sin（bwk）、sc=sin（cwk）、ca=cos（awk）、cb=cos（bwk）、cc=cos（cwk）。
在欧拉角表现中，将旋转的坐标系的变换矩阵从右侧起依次相乘，因此，利用下式（4）表示工件21的姿势矩阵Rabc。
[数式4]
工件21的接近向量为表示工件21的姿势的坐标系的Z轴向量，以vz=（r13、r23、r33）来提供。工件21的接近向量与直线L的方向向量等效，因此，在工件21的把持位置与原点位置一致的情况下，直线L的方程式使用参数t通过下式（5）、下式（6）以及下式（7）来表示。
[数式5]
[数式6]
[数式7]
为了求取平面F与直线L的交点M，当将下式（5）、下式（6）以及下式（7）代入到上式（2）中对参数t进行求解时，得到下式（8）。
[数式8]
通过将上式（8）分别代入到上式（5）、上式（6）以及上式（7）中，从而求取平面F与直线L的交点坐标M：（xm、ym、zm）。
此外，在本实施方式中，如图4所示，机械手控制器16基于计算出的交点M与开口部22的位置关系，判断是否能够对工件21进行拣选。
具体地，例如如图5所示，机械手控制器16判断是否满***点M位于开口部22的内侧并且该交点M与规定开口部22的缘部23之间的最短距离ΔL1、ΔL2、ΔL3、ΔL4比规定值Δr大这样的条件（以下，也称为非干扰条件），在满足该条件的情况下，使机械臂12拣选该工件21，在不满足该条件的情况下，不使机械臂12拣选该工件21。
在此，关于“规定值Δr”，如图9所示那样在相对于接近向量成直角的方向上把持位置C与工件21的轮廓之间的距离的最大值Δrw比把持位置C与手13的轮廓之间的距离的最大值Δrh大的情况下（Δrw>Δrh），优选的是，为把持位置C与工件21的轮廓之间的距离的最大值Δrw的1倍~1.1倍（Δr=1×Δrw~1.1×Δrw）。另一方面，如图10所示那样在相对于接近向量成直角的方向上把持位置C与工件21的轮廓之间的距离的最大值Δrw比把持位置C与手13的轮廓之间的距离的最大值Δrh小的情况下（Δrw<Δrh），优选的是，为把持位置C与手13的轮廓之间的距离的最大值Δrh的1倍~1.1倍（Δr=1×Δrh~1.1×Δrh）。当比1倍小时，在拣选时存在手13或者手13所把持的工件21与容器20干扰的可能性。此外，当比1.1倍大时，在容器20的侧壁侧不被拣选的工件21的比例变大，作业效率下降。
接着，对判断是否满足非干扰条件的方法的一个例子进行说明。首先，如图6所示，判断是否满***点M位于开口部22的内侧这样的条件（第一条件）。具体地，例如，利用下式（9）求取规定开口部22的缘部23中的从顶点B1到顶点B2的脊线向量与从顶点B1到交点M的向量的外积向量。
[数式9]
接着，对利用上式（9）求取的外积向量的Z轴值进行评价。在该Z轴值为零以上的情况即满足下式（10）的情况下，
[数式10]
根据右旋螺纹的法则，如图6所示那样，交点M相对于从顶点B1到顶点B2的脊线向量位于开口部22侧。
另一方面，在外积向量的Z轴值比零小的情况即满足下式（11）的情况下，
[数式11]
根据右旋螺纹的法则，如图7所示那样，交点M相对于从顶点B1到顶点B2的脊线向量位于与开口部22相反的一侧。
也对规定开口部22的缘部23的其它脊线向量进行同样的评价。即，求取下式（12）、下式（13）以及下式（14）。
[数式12]
[数式13]
[数式14]
接着，判断是否满足下式（15）。
[数式15]
在满足上式（15）的情况下，交点M位于开口部22的内侧。另一方面，在不满足上式（15）的情况下，交点M位于开口部22的外侧。
接着，判断是否满***点M与规定开口部22的缘部23之间的最短距离比规定值大这样的条件（第二条件）。具体地，例如，利用下式（16）求取规定开口部22的缘部23中的从顶点B1到顶点B2的脊线向量与从顶点B1到交点M的向量所形成的角度θ1。
[数式16]
由上式（16），利用下式（17）求取从顶点B1到顶点B2的脊线向量与交点M之间的最短距离ΔL1。
[数式17]
也对规定开口部22的缘部23的其它脊线向量进行同样的评价。即，求取下式（18）、下式（19）以及下式（20）。
[数式18]
[数式19]
[数式20]
接着，利用下式（21）、下式（22）以及下式（23）求取规定开口部22的缘部23的其它脊线向量与交点M之间的最短距离ΔL2、ΔL3以及ΔL4。
[数式21]
[数式22]
[数式23]
判断缘部23的各脊线向量与交点M之间的最短距离ΔL1、ΔL2、ΔL3、ΔL4的每一个是否比规定值Δr大。在最短距离ΔL1、ΔL2、ΔL3、ΔL4中的至少一个比规定值Δr小的情况下，存在手13或者手13所把持的工件21与容器20干扰的可能性。
因此，在满足上述的第一条件和第二条件两者的情况下，机械手控制器16判断为手13或者手13所把持的工件21与容器20不会干扰，使机械臂12拣选工件21。另一方面，在不满足第一条件和第二条件中的任一个或者两者的情况下，机械手控制器16判断为存在手13或者手13所把持的工件21与容器20干扰的可能性，不使机械臂12拣选工件21。
再有，在本实施方式中，基于由图像识别部15识别的位置和姿势的信息，机械手控制器16求取作为对象的工件的把持位置和接近向量，但是，并不限定于此，图像识别部15求取作为对象的工件的把持位置和接近向量，机械手控制器16经由网络集线器17读出由图像识别部15求取的工件的把持位置和接近向量的信息也可。此外，图像识别15对通过作为对象的工件21的把持位置且沿着接近向量延伸的直线L与包含开口部22的平面F的交点M进行计算，判断该交点M是否位于开口部22的内侧并且该交点M与规定开口部22的缘部23之间的最短距离是否比规定值Δr大，机械手控制器16也可以经由网络集线器17读出由图像识别部15判断出的结果。
接着，参照图11对以上那样的本实施方式的作用（本发明的一个实施方式的拣选方法）进行说明。
首先，以与拣选装置10的三维拍摄装置11相对的方式定位收容有散装的工件组的容器20的开口部22。
接着，通过机械手控制器16控制机械臂12的工作而使机械臂12的手13与容器20的规定开口部22的缘部23抵接，由此，求取世界坐标系中的缘部23的位置坐标值。
接着，利用三维拍摄装置11经由容器20的开口部22对内部进行三维拍摄（步骤S1）。由图像识别部15经由网络集线器17读出三维拍摄装置11的拍摄结果。
图像识别部15基于三维拍摄装置11的拍摄结果，对作为对象的工件的位置和姿势进行识别（步骤S2）。更详细地，通过在图像识别部15的存储部中存储的三维图像识别程序并且基于从三维拍摄装置11读出的三维图像数据来解析在容器20的内部散装的工件组，从其中检索具有与预先存储的模型工件形状一致的图像数据的部位（即，作为对象的工件），并且，识别所检测的部位的位置和姿势。通过机械手控制器16经由网络集线器17读出由图像识别部15识别的位置和姿势的信息。
机械手控制器16基于由图像识别部15识别的位置和姿势的信息，例如通过上述的方法求取作为对象的工件21的世界坐标系中的把持位置和接近向量（步骤S3）。
接着，机械手控制器16例如通过上述的方法对通过作为对象的工件21的把持位置且沿着接近向量延伸的直线L与包含开口部22的平面F的交点M进行计算（步骤S4）。
接着，机械手控制器16基于所计算的交点M与开口部22的位置关系，判断是否能够拣选作为对象的工件21（步骤S5）。具体地，例如，机械手控制器16通过上述的方法来判断是否满***点M位于开口部22的内侧并且该交点M与规定开口部22的缘部23之间的最短距离比规定值大这样的条件（非干扰条件）。
在判断为满足非干扰条件的情况下，机械手控制器16使机械臂12拣选工件21（步骤S6）。更详细地，机械手控制器16对机械臂12的各关节的驱动部的工作进行控制，使机械臂12的手13从待机位置向接近位置移动，接着，从接近位置沿着接近向量直线移动到工件把持位置。此时，手13通过为开口部22的内侧并且离规定开口部22的缘部23距离比规定值Δr大的位置。由此，防止手13与容器20的干扰。接着，手13在工件把持位置把持工件21之后，从工件把持位置沿着接近向量直线移动到接近位置。此时，手13也通过为开口部22的内侧并且离规定开口部22的缘部23距离比规定值Δr大的位置，由此，防止手13或者手13所把持的工件21与容器20的干扰。接着，把持工件21的手13从接近位置向待机位置或者规定的工件释放位置移动。
另一方面，在判断为不满足条件的情况下，机械手控制器16不使机械臂12拣选工件21。在该情况下，将其它工件21作为把持对象而依次重复上述的各步骤S1~S5。
根据以上那样的本实施方式，通过控制装置14，在机械臂12工作前事先判断是否能够在手13或者手13所把持的工件21与容器20彼此不会干扰的情况下拣选工件21，并且，通过运算处理时间少的简便的方法来实现是否能够进行这样的拣选的判断。由此，能够在不使手13、容器20破损的情况下安全且高效地拣选工件21。
此外，根据本实施方式，规定值Δr是相对于接近向量成直角的方向上的把持位置C与工件21的轮廓之间的距离的最大值Δrw以及相对于接近向量成直角的方向上的把持位置C与手13的轮廓之间的距离的最大值Δrh中的任一个更大的值的1倍~1.1倍，由此，能够可靠地防止在拣选时沿着接近向量进行直线移动的手13或者手13所把持的工件21与容器20干扰。
再有，在本实施方式中，控制装置14基于是否满足计算出的交点M位于开口部22的内侧并且该交点M与规定开口部22的缘部23之间的最短距离比规定值Δr大这样的条件来判断是否能够拣选工件21，但是，并不限定于此，例如，控制装置14即使在计算出的交点M位于开口部22的外侧的情况下，也可以通过适当地进行变更工件21的把持位置等辅助处理来判断为能够拣选工件21。
此外，在本实施方式中，在求取规定开口部22的缘部23的位置时，使机械臂12工作而使手13与规定开口部22的缘部23抵接，由此，求取该缘部23的位置，但是，并不限定于此，例如，还具备对设置在开口部22的周围的位置指示用标志（marker）的位置进行检测的传感器（未图示），控制装置14基于传感器的检测结果来求取规定开口部22的缘部23的位置也可。在该情况下，作为传感器，并不被特别限定，但是，例如使用光学、电或者磁传感器。或者，作为传感器也可以利用三维拍摄装置11。
附图标记的说明
10拣选装置
11三维拍摄装置
12机械臂
13手
14控制装置
15图像识别部
16机械手控制器
17网络集线器
20容器
21工件
22开口部
23缘部。

Claims (10)

1.一种拣选装置，其特征在于，具备：
三维拍摄装置，对在容器的内部散装的工件组进行三维拍摄；
机械臂，具有能够把持工件的手；以及
控制装置，对所述机械臂的工作进行控制，
所述控制装置基于所述三维拍摄装置的拍摄结果来识别作为对象的工件的位置和姿势，基于所识别的位置和姿势的信息来求取该工件的把持位置和接近向量，对通过该把持位置且沿着接近向量延伸的直线与包含所述容器的开口部的平面的交点进行计算，基于该交点与所述开口部的位置关系来判断是否能够拣选该工件。
2.根据权利要求1所述的拣选装置，其特征在于，
所述控制装置判断是否满足所述交点位于所述开口部的内侧并且该交点与规定所述开口部的缘部之间的最短距离比规定值大这样的条件，在满足该条件的情况下，使所述机械臂拣选该工件，在不满足该条件的情况下，不使所述机械臂拣选该工件。
3.根据权利要求2所述的拣选装置，其特征在于，
所述规定值是相对于所述接近向量成直角的方向上的所述把持位置与所述工件的轮廓之间的距离的最大值以及相对于所述接近向量成直角的方向上的所述把持位置与所述手的轮廓之间的距离的最大值中的任一个更大的值的1倍~1.1倍。
4.根据权利要求1至3的任一项所述的拣选装置，其特征在于，
所述控制装置使所述机械臂工作而使所述手与规定所述开口部的缘部抵接，由此，求取该缘部的位置。
5.根据权利要求1至3的任一项所述的拣选装置，其特征在于，
还具备传感器，所述传感器对设置在所述开口部的周围的位置指示用标记的位置进行检测，
所述控制装置基于所述传感器的检测结果来求取规定所述开口部的缘部的位置。
6.一种拣选方法，其特征在于，具备：
对在容器的内部散装的工件组进行三维拍摄的工序；以及
对具有能够把持工件的手的机械臂的工作进行控制的工序，
对所述机械臂的工作进行控制的工序具有：
基于所述三维拍摄的工序的拍摄结果来识别作为对象的工件的位置和姿势的工序；
基于所识别的位置和姿势的信息来求取所述工件的把持位置和接近向量的工序；
对通过所述把持位置且沿着接近向量延伸的直线与包含所述容器的开口部的平面的交点进行计算的工序；以及
基于所计算的交点与所述开口部的位置关系来判断是否能够拣选所述工件的工序。
7.根据权利要求6所述的拣选方法，其特征在于，
判断是否能够拣选所述工件的工序具有以下这样的工序：判断是否满足所述交点位于所述开口部的内侧并且该交点与规定所述开口部的缘部之间的最短距离比规定值大这样的条件，在满足该条件的情况下，使所述机械臂拣选该工件，在不满足该条件的情况下，不使所述机械臂拣选该工件。
8.根据权利要求7所述的拣选方法，其特征在于，
所述规定值是相对于所述接近向量成直角的方向上的所述把持位置与所述工件的轮廓之间的距离的最大值以及相对于所述接近向量成直角的方向上的所述把持位置与所述手的轮廓之间的距离的最大值中的任一个更大的值的1倍~1.1倍。
9.根据权利要求6至8的任一项所述的拣选方法，其特征在于，
还具备通过使所述机械臂工作而使所述手与规定所述开口部的缘部抵接来求取该缘部的位置的工序。
10.根据权利要求6至8的任一项所述的拣选方法，其特征在于，
还具备对设置在所述开口部的周围的位置指示用标记的位置进行检测并且基于检测结果来求取规定所述开口部的缘部的位置的工序。
CN201510231422.4A 2014-05-08 2015-05-08 拣选装置以及拣选方法 Active CN105082133B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014097129A JP5778311B1 (ja) 2014-05-08 2014-05-08 ピッキング装置およびピッキング方法
JP2014-097129 2014-05-08

Publications (2)

Publication Number Publication Date
CN105082133A true CN105082133A (zh) 2015-11-25
CN105082133B CN105082133B (zh) 2017-06-09

Family

ID=54192728

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510231422.4A Active CN105082133B (zh) 2014-05-08 2015-05-08 拣选装置以及拣选方法

Country Status (4)

Country Link
US (1) US9604364B2 (zh)
JP (1) JP5778311B1 (zh)
CN (1) CN105082133B (zh)
DE (1) DE102015208584B4 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378636A (zh) * 2018-08-09 2019-10-25 北京京东尚科信息技术有限公司 一种交叉拣选方法和装置
CN111687839A (zh) * 2020-06-03 2020-09-22 北京如影智能科技有限公司 一种夹取物品的方法及装置
CN114055472A (zh) * 2021-12-06 2022-02-18 珠海格力智能装备有限公司 机器人抓取控制方法、装置、存储介质和机器人

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6642968B2 (ja) * 2014-03-20 2020-02-12 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
JP6632208B2 (ja) * 2015-03-24 2020-01-22 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
CN105665304A (zh) * 2016-02-01 2016-06-15 先驱智能机械（深圳）有限公司 物体的抓取与分拣***及分拣盘
CN106142082B (zh) * 2016-06-23 2018-07-10 苏州穿山甲机器人股份有限公司 机器人调整路径偏移的定位导航方法
JP6773588B2 (ja) 2017-03-10 2020-10-21 株式会社東芝 搬送装置
WO2018185858A1 (ja) 2017-04-04 2018-10-11 株式会社Ｍｕｊｉｎ 制御装置、ピッキングシステム、物流システム、プログラム、制御方法、及び、生産方法
JP6444499B1 (ja) 2017-04-04 2018-12-26 株式会社Ｍｕｊｉｎ 制御装置、ピッキングシステム、物流システム、プログラム、及び、制御方法
CN115385039A (zh) 2017-04-04 2022-11-25 牧今科技 控制装置、信息处理装置、控制方法以及信息处理方法
CN110494259B (zh) * 2017-04-04 2020-11-10 牧今科技 控制装置、拾取***、物流***、程序、控制方法以及生产方法
JP6363294B1 (ja) 2017-04-04 2018-07-25 株式会社Ｍｕｊｉｎ 情報処理装置、ピッキングシステム、物流システム、プログラム、及び、情報処理方法
CN109540105A (zh) * 2017-09-22 2019-03-29 北京印刷学院 一种基于双目视觉的快递包裹抓取装置和抓取方法
JP6977634B2 (ja) * 2018-03-13 2021-12-08 オムロン株式会社 外観検査装置、外観検査方法及びプログラム
DE102018205669B4 (de) * 2018-04-13 2021-12-23 Kuka Deutschland Gmbh Aufnehmen von Nutzlasten mittels eines robotergeführten Werkzeugs
JP7118725B2 (ja) * 2018-04-27 2022-08-16 川崎重工業株式会社 ロボットの教示方法及びロボットの教示システム
CN109093625A (zh) * 2018-09-11 2018-12-28 国网山东省电力公司莱芜供电公司 一种用于机器人巡航的直线路径视觉识别方法
JP6508691B1 (ja) 2018-10-15 2019-05-08 株式会社Ｍｕｊｉｎ 制御装置、作業ロボット、プログラム、及び、制御方法
JP7204513B2 (ja) * 2019-02-13 2023-01-16 株式会社東芝 制御装置及びプログラム
JP7316114B2 (ja) * 2019-06-26 2023-07-27 ファナック株式会社 ワーク搬送装置
TW202233370A (zh) 2021-02-18 2022-09-01 日商發那科股份有限公司 機器人系統及控制裝置
CN113478484B (zh) * 2021-07-01 2022-06-21 河南中烟工业有限责任公司 一种烟丝箱定位对中***以及方法
CN113910235A (zh) * 2021-10-29 2022-01-11 珠海格力智能装备有限公司 机器人抓取物料的碰撞检测方法、装置、设备和存储介质
CN114700940B (zh) * 2022-03-24 2023-08-25 梅卡曼德（北京）机器人科技有限公司 抓取方法、装置及计算设备
WO2024019701A1 (en) * 2022-07-18 2024-01-25 Siemens Aktiengesellschaft Bin wall collision detection for robotic bin picking

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002071313A (ja) * 2000-08-31 2002-03-08 Toshiba Corp ターゲットマーカとこれを用いた対象物の位置計測方法及びロボットシステム
US20020169522A1 (en) * 2001-05-09 2002-11-14 Fanuc Ltd. Device for avoiding interference
US20070177790A1 (en) * 2006-02-01 2007-08-02 Fanuc Ltd Workpiece picking device
JP2011177863A (ja) * 2010-03-03 2011-09-15 Ihi Corp 把持装置
CN103568024A (zh) * 2012-07-31 2014-02-12 发那科株式会社 利用机械手取出散装物品的装置
CN103732363A (zh) * 2011-08-19 2014-04-16 株式会社安川电机 机器人***、机器人控制装置、机器人手部及机器人控制方法
CN103770112A (zh) * 2012-10-19 2014-05-07 株式会社安川电机 机器人***及加工件的制造方法
CN104057447A (zh) * 2013-03-18 2014-09-24 株式会社安川电机 机器人拾取***以及被加工物的制造方法

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6721444B1 (en) * 1999-03-19 2004-04-13 Matsushita Electric Works, Ltd. 3-dimensional object recognition method and bin-picking system using the method
JP3377465B2 (ja) * 1999-04-08 2003-02-17 ファナック株式会社 画像処理装置
JP3300682B2 (ja) * 1999-04-08 2002-07-08 ファナック株式会社 画像処理機能を持つロボット装置
JP3925020B2 (ja) 1999-12-21 2007-06-06 株式会社明電舎 ロボットの制御装置
CA2369845A1 (en) * 2002-01-31 2003-07-31 Braintech, Inc. Method and apparatus for single camera 3d vision guided robotics
WO2003064116A2 (en) * 2002-01-31 2003-08-07 Braintech Canada, Inc. Method and apparatus for single camera 3d vision guided robotics
JP3768174B2 (ja) * 2002-07-24 2006-04-19 ファナック株式会社 ワーク取出し装置
JP4004899B2 (ja) * 2002-09-02 2007-11-07 ファナック株式会社 物品の位置姿勢検出装置及び物品取出し装置
JP2004160567A (ja) * 2002-11-11 2004-06-10 Fanuc Ltd 物品取出し装置
JP3805310B2 (ja) * 2003-01-30 2006-08-02 ファナック株式会社 ワーク取出し装置
JP3842233B2 (ja) * 2003-03-25 2006-11-08 ファナック株式会社 画像処理装置及びロボットシステム
JP3830477B2 (ja) * 2003-09-04 2006-10-04 ファナック株式会社 ワーク持ち替え装置
JP3834307B2 (ja) * 2003-09-29 2006-10-18 ファナック株式会社 ロボットシステム
JP3930490B2 (ja) * 2004-04-23 2007-06-13 ファナック株式会社 物品取出し装置
SE529377C2 (sv) * 2005-10-18 2007-07-24 Morphic Technologies Ab Publ Metod och arrangemang för att lokalisera och plocka upp föremål från en bärare
JP4153528B2 (ja) * 2006-03-10 2008-09-24 ファナック株式会社 ロボットシミュレーションのための装置、プログラム、記録媒体及び方法
US20120143726A1 (en) * 2006-05-02 2012-06-07 Munroe Chirnomas Automated Storage and Distribution System
JP4199264B2 (ja) * 2006-05-29 2008-12-17 ファナック株式会社 ワーク取り出し装置及び方法
JP4238256B2 (ja) * 2006-06-06 2009-03-18 ファナック株式会社 ロボットシミュレーション装置
US7313464B1 (en) * 2006-09-05 2007-12-25 Adept Technology Inc. Bin-picking system for randomly positioned objects
JP4226623B2 (ja) * 2006-09-29 2009-02-18 ファナック株式会社 ワーク取り出し装置
JP4309439B2 (ja) * 2007-03-30 2009-08-05 ファナック株式会社 対象物取出装置
US7957583B2 (en) * 2007-08-02 2011-06-07 Roboticvisiontech Llc System and method of three-dimensional pose estimation
JP4516592B2 (ja) * 2007-12-06 2010-08-04 本田技研工業株式会社 移動型ロボット
DE102007060653A1 (de) * 2007-12-15 2009-06-18 Abb Ag Positionsermittlung eines Objektes
JP4565023B2 (ja) * 2008-07-04 2010-10-20 ファナック株式会社 物品取り出し装置
US8559699B2 (en) * 2008-10-10 2013-10-15 Roboticvisiontech Llc Methods and apparatus to facilitate operations in image based systems
JP5282614B2 (ja) * 2009-03-13 2013-09-04 オムロン株式会社 視覚認識処理用のモデルデータの登録方法および視覚センサ
US8437537B2 (en) * 2009-03-27 2013-05-07 Mitsubishi Electric Research Laboratories, Inc. Method and system for estimating 3D pose of specular objects
US20120182296A1 (en) * 2009-09-23 2012-07-19 Han Dingnan Method and interface for man-machine interaction
JP5257335B2 (ja) * 2009-11-24 2013-08-07 オムロン株式会社 ３次元視覚センサにおける計測有効領域の表示方法および３次元視覚センサ
DE102009060551B4 (de) * 2009-12-23 2011-09-01 Deutsche Post Ag Sensorsystem zur Erfassung von Oberflächenstrukturen mehrerer Stückgüter
KR101743926B1 (ko) * 2010-09-20 2017-06-08 삼성전자주식회사 로봇 및 그 제어방법
FI20106090A0 (fi) * 2010-10-21 2010-10-21 Zenrobotics Oy Menetelmä kohdeobjektin kuvien suodattamiseksi robottijärjestelmässä
JP5630208B2 (ja) * 2010-10-25 2014-11-26 株式会社安川電機 形状計測装置、ロボットシステムおよび形状計測方法
US8165403B1 (en) * 2010-11-19 2012-04-24 Mitsubishi Electric Research Laboratories, Inc. Method and system for determining poses of specular objects
JP5767464B2 (ja) * 2010-12-15 2015-08-19 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
JP5144785B2 (ja) * 2011-04-18 2013-02-13 ファナック株式会社 ロボットの着目部位と周辺物との干渉を予測する方法及び装置
JP5642738B2 (ja) * 2012-07-26 2014-12-17 ファナック株式会社 バラ積みされた物品をロボットで取出す装置及び方法
JP5670397B2 (ja) * 2012-08-29 2015-02-18 ファナック株式会社 バラ積みされた物品をロボットで取出す装置及び方法
JP5620445B2 (ja) * 2012-09-13 2014-11-05 ファナック株式会社 選択条件に基づいてロボットの保持位置姿勢を決定する物品取出装置
JP5642759B2 (ja) * 2012-10-31 2014-12-17 ファナック株式会社 物品取出装置及び物品取出方法
US9333649B1 (en) * 2013-03-15 2016-05-10 Industrial Perception, Inc. Object pickup strategies for a robotic device
JP5616478B1 (ja) * 2013-04-18 2014-10-29 ファナック株式会社 ワークを搬送するロボットを備えるロボットシステム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002071313A (ja) * 2000-08-31 2002-03-08 Toshiba Corp ターゲットマーカとこれを用いた対象物の位置計測方法及びロボットシステム
US20020169522A1 (en) * 2001-05-09 2002-11-14 Fanuc Ltd. Device for avoiding interference
JP2002331480A (ja) * 2001-05-09 2002-11-19 Fanuc Ltd 干渉回避装置
US20070177790A1 (en) * 2006-02-01 2007-08-02 Fanuc Ltd Workpiece picking device
JP2011177863A (ja) * 2010-03-03 2011-09-15 Ihi Corp 把持装置
CN103732363A (zh) * 2011-08-19 2014-04-16 株式会社安川电机 机器人***、机器人控制装置、机器人手部及机器人控制方法
CN103568024A (zh) * 2012-07-31 2014-02-12 发那科株式会社 利用机械手取出散装物品的装置
CN103770112A (zh) * 2012-10-19 2014-05-07 株式会社安川电机 机器人***及加工件的制造方法
CN104057447A (zh) * 2013-03-18 2014-09-24 株式会社安川电机 机器人拾取***以及被加工物的制造方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378636A (zh) * 2018-08-09 2019-10-25 北京京东尚科信息技术有限公司 一种交叉拣选方法和装置
CN111687839A (zh) * 2020-06-03 2020-09-22 北京如影智能科技有限公司 一种夹取物品的方法及装置
CN111687839B (zh) * 2020-06-03 2021-11-30 北京如影智能科技有限公司 一种夹取物品的方法及装置
CN114055472A (zh) * 2021-12-06 2022-02-18 珠海格力智能装备有限公司 机器人抓取控制方法、装置、存储介质和机器人

Also Published As

Publication number Publication date
US20150321354A1 (en) 2015-11-12
JP2015213973A (ja) 2015-12-03
DE102015208584A1 (de) 2015-11-12
JP5778311B1 (ja) 2015-09-16
DE102015208584B4 (de) 2019-05-09
CN105082133B (zh) 2017-06-09
US9604364B2 (en) 2017-03-28

Similar Documents

Publication Publication Date Title
CN105082133A (zh) 拣选装置以及拣选方法
US10894324B2 (en) Information processing apparatus, measuring apparatus, system, interference determination method, and article manufacturing method
US9333654B2 (en) Robot parts assembly on a workpiece moving on an assembly line
CN104690551B (zh) 一种机器人自动化装配***
Kuts et al. Adaptive industrial robots using machine vision
US8244402B2 (en) Visual perception system and method for a humanoid robot
JP2018176334A5 (zh)
KR102056664B1 (ko) 센서를 이용한 작업 방법 및 이를 수행하는 작업 시스템
CN108818530B (zh) 基于改进rrt算法的机械臂抓取散乱堆放活塞运动规划方法
US9604360B2 (en) Robot system for preventing accidental dropping of conveyed objects
US20080027580A1 (en) Robot programming method and apparatus with both vision and force
Ragaglia et al. Safety-aware trajectory scaling for human-robot collaboration with prediction of human occupancy
US20170270631A1 (en) Automated guidance system and method for a coordinated movement machine
WO2005072917A1 (en) Machine vision controlled robot tool system
CN111036863A (zh) 采用机器视觉定位大包下水口的装置及其使用方法
Alzarok et al. Survey of the current practices and challenges for vision systems in industrial robotic grasping and assembly applications
CN109983299A (zh) 工业机器人的测量***和方法
Zhang et al. Vision-guided robotic assembly using uncalibrated vision
Zhang et al. Vision-guided robot alignment for scalable, flexible assembly automation
Luo et al. Robotic conveyor tracking with dynamic object fetching for industrial automation
WO2014042668A2 (en) Automatic and manual robot work finder calibration systems and methods
EP4144494A1 (en) Image processing method, image processing device, robot mounted-type conveyance device, and system
CN117794704A (zh) 机器人控制设备、机器人控制***以及机器人控制方法
Koo et al. Development of a robot car wiring system
Kidiraliev et al. Using optical sensors for industrial robot-human interactions in a Gazebo environment

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant