CN102528810B - 形状计测装置、机器人***及形状计测方法 - Google Patents

形状计测装置、机器人***及形状计测方法 Download PDF

Info

Publication number
CN102528810B
CN102528810B CN201110320596.XA CN201110320596A CN102528810B CN 102528810 B CN102528810 B CN 102528810B CN 201110320596 A CN201110320596 A CN 201110320596A CN 102528810 B CN102528810 B CN 102528810B
Authority
CN
China
Prior art keywords
measurement object
distance
workpiece
camera
laser
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201110320596.XA
Other languages
English (en)
Other versions
CN102528810A (zh
Inventor
半田博幸
有江健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yaskawa Electric Corp
Original Assignee
Yaskawa Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yaskawa Electric Corp filed Critical Yaskawa Electric Corp
Publication of CN102528810A publication Critical patent/CN102528810A/zh
Application granted granted Critical
Publication of CN102528810B publication Critical patent/CN102528810B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518Projection by scanning of the object

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

实施方式涉及的形状计测***具备:激光照射部,照射激光;扫描部,将由激光照射部照射的激光扫描到放置有计测对象物的区域;照相机,在通过检测由扫描部照射并从计测对象物反射的激光的反射光来检测放置有计测对象物的区域的同时,进行计测对象物的3维计测;及控制部,以根据通过照相机检测出的放置有计测对象物的区域来变更扫描部的扫描范围的方式进行控制。

Description

形状计测装置、机器人***及形状计测方法
技术领域
所公开的实施方式涉及形状计测装置、机器人***及形状计测方法。
背景技术
在日本国特开2001-277167号公报中公开有具备照射激光的激光照射部的形状计测装置(3维姿势识别方法)。
在形状计测装置(3维姿势识别方法)中设有:激光装置(激光照射部),照射线激光(激光);及CCD照相机,接受由激光装置照射并被部件群(计测对象物)反射的反射光。在该3维姿势识别方法中,以激光装置在部件群上从规定的开始位置移动到结束位置的同时照射线激光的方式构成,根据由CCD照相机接受的来自部件群的反射光,算出部件群的最高点。之后,机器手取出对应于部件群中的最高点的部件。另外,在取出对应于最高点的部件之后,激光装置再次在部件群上从规定的开始位置移动到结束位置的同时照射线激光,从而在剩余的部件群中算出部件群的最高点,机器手取出对应于最高点的部件。
但是,在日本国特开2001-277167号公报的形状计测装置(3维姿势识别方法)中,在机器手每一次从部件群中取出部件时,由于以激光装置在部件群(计测对象物)上从规定的开始位置移动到结束位置的同时照射线激光的方式构成,因此在通过线激光来重复扫描部件群时,扫描部件群所需的合计时间变得比较长。
发明内容
本发明的目的之一是提供能够缩短扫描计测对象物所需的合计时间的形状计测装置、机器人***及形状计测方法。
为了达成上述目的,本发明的第1局面涉及的形状计测装置具备:激光照射部,照射激光;扫描部,将由激光照射部照射的激光扫描到放置有计测对象物的区域;照相机,在通过检测由扫描部照射并从计测对象物反射的激光的反射光来检测放置有计测对象物的区域的同时,进行计测对象物的3维计测;及控制部,以根据通过照相机检测出的放置有计测对象物的区域来变更扫描部的扫描范围的方式进行控制,所述控制部如下构成,根据检测出的来自所述计测对象物的反射光,在算出所述照相机与所述计测对象物之间的第1距离的同时,根据所述照相机与所述计测对象物之间的所述第1距离,变更所述扫描部的扫描范围。
在该第1局面涉及的形状计测装置中,如上所述,由于具备以根据通过照相机检测出的放置有计测对象物的区域来变更扫描部的扫描范围的方式进行控制的控制部,因此例如在计测对象物在较广的范围内放置有多个的初始状态下,使扫描范围变大,另一方面,在计测对象物逐渐被去掉而计测对象物被放置在较小的范围内时,能够根据计测对象物被放置的范围来使扫描范围变小。由此,相应于扫描部的扫描范围变小,能够使扫描计测对象物所需的合计时间变短。
本发明的第2局面涉及的机器人***具备:机器人,具有把持计测对象物的把持部;及形状计测装置,包括:激光照射部,照射激光;扫描部,将由激光照射部照射的激光扫描到放置有计测对象物的区域;照相机,在通过检测由扫描部照射并从计测对象物反射的激光的反射光来检测放置有计测对象物的区域的同时,进行计测对象物的3维计测;及控制部,以根据通过照相机检测出的放置有计测对象物的区域来变更扫描部的扫描范围的方式进行控制,所述控制部如下构成,根据检测出的来自所述计测对象物的反射光,在算出所述照相机与所述计测对象物之间的第1距离的同时,根据所述照相机与所述计测对象物之间的所述第1距离,变更所述扫描部的扫描范围。
在该第2局面涉及的机器人***中,如上所述,由于具备以根据通过照相机检测出的放置有计测对象物的区域来变更扫描部的扫描范围的方式进行控制的控制部,因此例如在计测对象物在较广的范围内放置有多个的初始状态下,使扫描范围变大,另一方面,在计测对象物逐渐被去掉而计测对象物被放置在较小的范围内时,能够根据计测对象物被放置的范围来使扫描范围变小。由此,相应于扫描部的扫描范围变小,能够使扫描计测对象物所需的合计时间变短,因此能够使机器人的把持计测对象物而使其移动的动作所需的合计时间变短。
本发明的第3局面涉及的形状计测方法具备:将激光扫描到放置有计测对象物的区域的步骤;在通过检测由计测对象物反射的激光的反射光来检测放置有计测对象物的区域的同时,进行计测对象物的3维计测的步骤;及根据检测出的放置有计测对象物的区域来变更激光的扫描范围的步骤,根据检测出的来自所述计测对象物的反射光,在算出所述照相机与所述计测对象物之间的第1距离的同时,根据所述照相机与所述计测对象物之间的所述第1距离,变更所述扫描部的扫描范围。
在该第3局面涉及的形状计测方法中,如上所述,由于具备根据检测出的放置有计测对象物的区域来变更激光的扫描范围的步骤,因此例如在计测对象物在较广的范围内放置有多个的初始状态下,使扫描范围变大,另一方面,在计测对象物逐渐被去掉而计测对象物被放置在较小的范围内时,能够根据计测对象物被放置的范围来使扫描范围变小。由此,能够提供如下形状计测方法,相应于扫描部的扫描范围变小,能够使扫描计测对象物所需的合计时间变短。
附图说明
如果参照附图来阅读以下的发明的详细说明,则能够容易地理解本发明的更加完全的认识与伴随其的优点。
图1是表示第1实施方式涉及的机器人***的整体构成的图。
图2是表示机器人***的传感器单元的图。
图3是机器人***的传感器单元的侧视图。
图4是机器人***的传感器单元的俯视图。
图5是表示机器人***的扫描工件的状态的图。
图6是机器人***的框图。
图7是表示机器人***的3维计测的动作的流程图。
图8是表示机器人***的3维计测开始时的动作的图。
图9是表示在机器人***的3维计测中开始扫描到最初检测出工件的状态的图。
图10是表示根据图9所示的被检测出的工件而修整扫描的扫描开始角度的状态的图。
图11是表示在机器人***的3维计测中开始扫描到最后检测出工件的状态的图。
图12是表示根据图11所示的被检测出的工件而修整扫描的扫描结束角度的状态的图。
图13是表示在机器人***的3维计测中工件消失的状态的图。
图14是表示第2实施方式涉及的机器人***的扫描工件的状态的侧视图。
图15是表示机器人***的扫描工件的状态的立体图。
图16是表示机器人***的3维计测托盘的状态的侧视图。
图17是表示机器人***的3维计测托盘的状态的立体图。
图18是表示机器人***的3维计测托盘的结果的图像的图。
图19是表示机器人***的3维计测托盘及工件的结果的图像的图。
图20是表示从3维计测图19所示的托盘及工件的结果差分3维计测图18所示的托盘的结果的状态的图像的图。
具体实施方式
下面,根据附图对实施方式进行说明。
第1实施方式
首先,参照图1对第1实施方式涉及的机器人***100的整体构成进行说明。
如图1所示,在机器人***100中设有:机器人1;储料器2;机器人控制器3;传感器单元(距离图像传感器单元)4;用户控制器5;及搬运用托盘6。并且,传感器单元4是“形状计测装置”的一例。
储料器2由以树脂等形成的箱(托盘)构成,在储料器2的内部例如放置有螺栓等多个工件200。机器人1是垂直多关节型机器人,在机器人1的顶端设有用于一个一个地把持放置在储料器2内的工件200的手装置7。并且,手装置7是“把持部”的一例。另外,被手装置7把持的工件200如下构成,被移动到用于向下一个工序搬运工件200的搬运用托盘6上。在机器人1的各关节部上内置有未图示的伺服马达,伺服马达以按照预先由机器人控制器3示教的动作命令来被控制的方式构成。
下面,参照图2至图5对第1实施方式涉及的机器人***100的传感器单元4的构成进行说明。
如图2所示,在传感器单元4中设有高速照相机11与激光扫描仪12。并且,高速照相机11是“照相机”的一例。
另外,如图3所示,在传感器单元4内部设有传感器控制器13。并且,传感器控制器13是“控制部”的一例。另外,在高速照相机11上设有由CMOS传感器等构成的拍摄器件14。并且,在由CMOS传感器构成的拍摄器件14中以从包含在CMOS传感器中的全部像素中提取像素数据而形成图像的方式构成。另外,在高速照相机11中设有只通过规定范围的波长的带通滤波器11a。
如图3及图4所示,激光扫描仪12具备:激光发生器15,发生激光狭缝光;镜子部16,反射激光狭缝光;马达17,旋转驱动镜子部16;角度检测器18,检测镜子部16的旋转角度;及夹具19,固定镜子部16。并且,激光发生器15是“激光照射部”的一例。另外,镜子部16是“扫描部”的一例。
如图5所示,由激光发生器15发生的激光狭缝光被镜子部16反射而照射到工件200上。并且,由激光发生器15发生的激光狭缝光照射在镜子部16的旋转中心。另外,由于旋转驱动镜子部16,因此激光狭缝光扫描工件200被放置的区域整体。而且,由高速照相机11来拍摄由镜子部16照射并被工件200反射的激光狭缝光的反射光。
另外,根据:马达17(镜子部16)的旋转角度;接受光的拍摄器件14的位置;及激光发生器15、镜子部16和高速照相机11的几何学关系,使用三角测量原理来3维计测高速照相机11与工件200(工件200被放置的面20)之间的距离。
下面,参照图6对第1实施方式涉及的机器人***100的传感器控制器13的构成进行说明。
如图6所示,在传感器控制器13中设有控制激光扫描仪12的马达17的马达控制部31。另外,在传感器控制器13中设有连接机器人控制器3与用户控制器5的通信部32。
另外,在通信部32上连接有第1距离设定部33,同时在第1距离设定部33上连接有第1距离存储部34。第1距离设定部33具有设定高速照相机11与工件200被放置的面20之间的距离L1(参照图5)的功能。而且,第1距离存储部34具有存储由第1距离设定部33设定的距离L1的功能。另外,在通信部32上连接有第2距离设定部35,同时在第2距离设定部35上连接有第2距离存储部36。第2距离设定部35具有设定工件200被放置的面20附近的死区区域高度d(距离d)(参照图5)的功能。而且,第2距离存储部36具有存储由第2距离设定部35设定的工件200被放置的面20附近的死区区域高度d(距离d)的功能。并且,工件200被放置的面20附近的死区区域高度d(距离d)例如被设定成工件200的Z方向高度h(参照图5)的1/2。
另外,在第1距离存储部34上连接有扫描角度设定部37。扫描角度设定部37具有设定镜子部16开始激光狭缝光扫描的扫描开始角度θLS1(参照图5)与扫描结束角度θLE1的功能。并且,激光狭缝光的扫描角度以沿着Z方向的直线为基准(0度)。而且,由于对于镜子部16的法线的激光狭缝光的入射角与反射角相等,因此用下式(1)来表示镜子部16的旋转角度θM与由镜子部16反射的激光狭缝光的扫描角度θL的关系。
θL=2×θM···(1)
另外,根据高速照相机11与放置工件200的面20之间的距离L1(参照图5)、高速照相机11的中心到镜子部16的旋转中心为止的距离、高速照相机11的可视角度θC,能够通过几何学来求出扫描开始角度θLS1及扫描结束角度θLE1。
另外,在扫描角度设定部37上连接有扫描角度修整部38。而且,在扫描角度修整部38上连接有第1角度存储部39与第2角度存储部40。在此,在第1实施方式中,第1角度存储部39如下构成,存储在镜子部16开始扫描之后高速照相机11到工件200为止的距离(例如La,参照图9)最初成为从高速照相机11与工件200被放置的面20之间的距离L1差分工件200被放置的面20附近的死区区域高度d(距离d)的距离L2(L1-d)以下(La≤L2)时的激光狭缝光的扫描角度(例如θLP1,参照图9)。并且,高速照相机11到工件200为止的距离La是“第1距离”的一例。另外,从高速照相机11与工件200被放置的面20之间的距离L1差分工件200被放置的面20附近的死区区域高度d(距离d)的距离L2是“第2距离”的一例。
另外,在第1实施方式中,第2角度存储部40存储在镜子部16结束扫描为止高速照相机11到工件200为止的距离(例如Ln,参照图11)最后成为从高速照相机11与工件200被放置的面20之间的距离L1差分工件200被放置的面20附近的死区区域高度d(距离d)的距离L2(L1-d)以下(Ln≤L2)时的激光狭缝光的扫描角度(例如θLPn,参照图11)。而且,扫描角度修整部38具有如下功能,根据在第1角度存储部39及第2角度存储部40中存储的角度,修整设定在扫描角度设定部37的开始激光狭缝光扫描的扫描开始角度θLS1及扫描结束角度θLE1。即,在第1实施方式中,根据工件200被放置的区域,变更扫描开始角度θLS1及扫描结束角度θLE1。
另外,在传感器控制器13中设有:连接在高速照相机11上的图像取得部41;及连接在图像取得部41上的识别部42。图像取得部41具有通过设置在高速照相机11上的拍摄器件14来取得被拍摄的图像的功能。识别部42具有通过图像取得部41取得的高速照相机11的图像来分别识别多个工件200的功能。
下面,参照图5至图13对第1实施方式的机器人***100的3维计测工件200的动作进行说明。并且,在第1实施方式中,为了简化说明,对工件200直接被放置在图5所示的面20上而不是在储料器2的内部时的动作进行说明,
在图7所示的步骤S1中,如图5所示,高速照相机11接受由镜子部16照射并被工件200(放置工件200的面20)反射的反射光来计测高速照相机11到工件200(放置工件200的面20)为止的距离。具体而言,根据马达17(镜子部16)的旋转角度、接受光的拍摄器件14的位置、激光发生器15、镜子部16及高速照相机11的几何学关系,使用三角测量的原理来3维计测高速照相机11与工件200(放置工件200的面20)之间的距离。之后,在步骤S2中,通过传感器控制器13的第1距离设定部33来将被计测的高速照相机11与工件200(放置工件200的面20)之间的距离存储在第1距离存储部34中。
接下来,在步骤S3中,判断是否用户使用用户控制器5以手动方式输入工件200被放置的面20附近的死区区域高度d(距离d)。而且,在步骤S3中,在判断成死区区域高度d(距离d)被输入时,进入步骤S4。并且,在死区区域高度d(距离d)被输入为止反复进行步骤S3的判断。之后,在步骤S4中,通过第2距离设定部35来将由用户设定的距离d存储在第2距离存储部36中。并且,将工件200被放置的面20附近的死区区域高度d(距离d),例如设定成工件200的Z方向的高度h(参照图5)的1/2。
接下来,在步骤S5中,在上述步骤S2中存储的高速照相机11与工件200(放置工件200的面20)之间的距离中算出在高速照相机11的光轴方向(Z方向)上的最大值,并且被设定成高速照相机11与放置工件200的面20之间的距离L1。并且,也可以由用户使用用户控制器5以手动方式设定高速照相机11与放置工件200的面20之间的距离L1,而不是在上述步骤S1及步骤S2中进行。
之后,在步骤S6中,根据距离L1、高速照相机11的中心到镜子部16的旋转中心为止的距离、高速照相机11的可视角度θC的几何学关系,算出激光狭缝光的扫描开始角度θLS1与扫描结束角度θLE1,并且被设定在传感器控制器13的扫描角度设定部37。并且,如图5所示,扫描开始角度θLS1以被照射的激光狭缝光在箭头X1方向上超过高速照相机11可拍摄的面20上的区域C的方式被设定,以便能够扫描在Z方向上被叠放的全部工件200。另一方面,扫描结束角度θLE1以被照射的激光狭缝光与高速照相机11可拍摄的面20上的区域C在箭头X2方向上的边界相一致的方式被设定。
接下来,在步骤S7中,开始3维计测工件200。具体而言,如图8所示,根据在上述步骤S6中被设定的扫描开始角度θLS1与扫描结束角度θLE1,照射激光狭缝光(旋转驱动镜子部16)。即,激光狭缝光在扫描角度θL1的范围内扫描。由此,由激光发生器15产生并被镜子部16反射的激光狭缝光被照射到工件200(放置工件200的面20)上,之后被工件200(放置工件200的面20)反射。由于该反射光入射到高速照相机11中,因此工件200(放置工件200的面20)被拍摄。之后,根据:马达17(镜子部16)的旋转角度;接受光的拍摄器件14的位置;及激光发生器15、镜子部16和高速照相机11的几何学关系,使用三角测量原理来3维计测高速照相机11与工件200之间的距离L。
并且,由于镜子部16被旋转驱动,因此3维计测高速照相机11与工件200之间的距离L也被连续的进行。之后,在连续进行的3维计测之间,在步骤S8中,判断高速照相机11到工件200为止的距离L是否成为从高速照相机11与工件200被放置的面20之间的距离L1差分工件200被放置的面20附近的死区区域高度d(距离d)的距离L2(L1-d)以下(L≤L1-d)。
而且,例如图9所示,在镜子部16开始扫描之后,根据在工件200a的表面上的点Pa处反射的反射光,计测高速照相机11与工件200a的点Pa之间的距离La,在步骤S8中,在距离La成为从高速照相机11与工件200被放置的面20之间的距离L1差分工件200被放置的面20附近的死区区域高度d(距离d)的距离L2(L1-d)以下(La≤L1-d)时,进入步骤S9。之后,在步骤S9中,在工件200a的表面上的点Pa处反射时的激光狭缝光的扫描角度θLP1被存储在传感器控制器13的第1角度存储部39(参照图6)中。
另外,持续进行镜子部16的扫描,在步骤S10中,判断高速照相机11到工件200为止的距离L是否成为从高速照相机11与工件200被放置的面20之间的距离L1差分工件200被放置的面20附近的死区区域高度d(距离d)的距离L2(L1-d)以下(L≤L1-d)。而且,在步骤S10中,在判断成高速照相机11到工件200为止的距离L成为从高速照相机11与工件200被放置的面20之间的距离L1差分死区区域高度d(距离d)的距离L2(L1-d)以下的期间,步骤S10的动作被重复进行。
而且,例如后述的图11所示,根据在工件200n的表面上的点Pn处反射的反射光,计测高速照相机11与工件200n的点Pn之间的距离Ln,之后在步骤S10中,在判断成高速照相机11到工件200n为止的距离L成为从高速照相机11与工件200被放置的面20之间的距离L1差分工件200被放置的面20附近的死区区域高度d(距离d)的距离L2(L1-d)以上(L>L1-d)时,进入步骤S11。并且,如图9所示,根据工件200被放置的位置、姿势,在步骤S10中,也存在如下情况,在未判断成高速照相机11到工件200为止的距离L成为从高速照相机11与工件200被放置的面20之间的距离L1差分工件200被放置的面20附近的死区区域高度d(距离d)的距离L2(L1-d)以上的情况下结束镜子部16的扫描。
之后,在步骤S12中,判断激光狭缝光的扫描角度是否成为扫描结束角度θLE1以上(激光狭缝光的扫描角度是否达到扫描结束角度θLE1)。在步骤S12中,在判断成激光狭缝光的扫描角度未达到扫描结束角度θLE1时,返回到步骤S8。在步骤S12中,在判断成激光狭缝光的扫描角度大于扫描结束角度θLE1时,进入步骤S13。
在步骤S13中,由传感器控制器13的识别部42对3维计测的计测数据进行图像识别处理。而且,通过对预先存储的工件200的模板与已进行图像识别处理的计测数据进行比较,从而识别每个多个工件200。并且,在识别各个工件200时,也同时识别各个工件200的位置及姿势(倾斜、上下等)。而且,从被识别的多个工件200中,根据工件200的位置及姿势来判断机器人1的手装置7(参照图1)最容易把持的工件200(例如工件200a)。而且,最容易把持的工件200a的位置及姿势从传感器控制器13传递到机器人控制器3。由此,在通过机器人1的手装置7来把持工件200a的同时,工件200a被移动到用于向下一个工序搬运工件200a的搬运用托盘6上。
接着,进入步骤S14,通过传感器控制器13的扫描角度修整部38及扫描角度设定部37(参照图6)来修正、设定在下一次扫描时的扫描开始角度。具体而言,在上述步骤S9中,通过传感器控制器13的扫描角度修整部38及扫描角度设定部37(参照图6),将在存储在第1角度存储部39中的激光狭缝光的扫描角度θLP1上加算规定角度(例如2度)的角度(θLP1+2)作为在下一次扫描时的扫描开始角度θLS2来进行修正、设定。并且,在图9所示的状态中,在上述步骤S10中,由于在未判断成高速照相机11到工件200为止的距离L成为从高速照相机11与工件200被放置的面20之间的距离L1差分死区区域高度d(距离d)的距离L2(L1-d)以上的情况下结束镜子部16的扫描,因此扫描结束角度θLE1不被修正。
之后,返回到步骤S7,再次开始3维计测。具体而言,如图10所示,根据在上述步骤S14中被设定的扫描开始角度θLS2与扫描结束角度θLE1来旋转驱动镜子部16。即,激光狭缝光在扫描角度θL2(<θL1)的范围内扫描。之后,重复进行步骤S8至步骤S14的动作。而且,在图10所示的状态中,在步骤S8中,判断成高速照相机11与工件200b的点Pb之间的距离Lb成为从高速照相机11与工件200被放置的面20之间的距离L1差分死区区域高度d(距离d)的距离L2(L1-d)以下(Lb≤L1-d),在工件200b表面上的点Pb处反射时的激光狭缝光的扫描角度θLP2存储在传感器控制器13的第1角度存储部39(参照图6)中。之后,进入步骤S14,将在激光狭缝光的扫描角度θLP2上加算规定角度(例如2度)的角度(θLP2+2)作为在下一次扫描时的扫描开始角度θLS3来进行设定。
之后,再次重复进行步骤S8至步骤S14的动作,从而重复3维计测工件200和通过机器人1的手装置7来将工件200重复移动到搬运用托盘6上,例如图11所示,成为工件200的个数减少的状态。此时,在扫描角度θL3(<θL2)的范围内操作激光狭缝光。而且,在被工件200n的表面上的点Pn处反射而高速照相机11到工件200n为止的距离Ln被计测后,在步骤S10中,判断成大于从高速照相机11与工件200被放置的面20之间的距离L1差分死区区域高度d(距离d)的距离L2(L1-d)(L>L1-d)。之后,在步骤S11中,高速照相机11到工件200n为止的距离L(Ln)最后成为从高速照相机11与工件200被放置的面20之间的距离L1差分死区区域高度d(距离d)的距离L2(L1-d)以下(L≤L1-d)时(在工件200n的表面上的点Pn处被反射时)的激光狭缝光的扫描角度θLPn被存储在传感器控制器13的第2角度存储部40(参照图6)中。之后,进入步骤S13,在通过机器人1的手装置7来把持工件200n的同时,工件200n被移动到用于向下一个工序搬运工件200n的搬运用托盘6上。之后,进入步骤S14,通过传感器控制器13的扫描角度修整部38及扫描角度设定部37(参照图6),将从激光狭缝光的扫描角度θLPn差分规定角度(例如2度)的角度(θLPn―2)作为在下一次扫描时的扫描结束角度θLE2来进行修正、设定。
之后,如图12所示,根据上述设定的扫描结束角度θLE2,激光狭缝光在扫描角度θL4(<θL3)的范围内被照射。而且,工件200o被识别。之后,在通过机器人1的手装置7来把持工件200o的同时,工件200o被移动到用于向下一个工序搬运工件200o的搬运用托盘6上。而且,如图13所示,成为全部工件200被移动的状态。之后,激光狭缝光重新在扫描角度θL4(参照图12)的范围内被照射,在确认工件200未被识别之后,根据最初设定的扫描开始角度θLS1及扫描结束角度θLE1来进行激光狭缝光的扫描。由此,在激光狭缝光的扫描范围逐渐变小的同时,在将工件200重复移动到搬运用托盘6上的途中,即使在由于机器人1的手装置7接触工件200而工件200移动到偏离激光狭缝光的扫描范围的位置的情况下,也能够识别扫描范围外的工件200。
在第1实施方式中,如上所述,由于具备以根据由高速照相机11检测出的放置有工件200的区域来变更镜子部16的扫描范围的方式进行控制的传感器控制器13,因此例如在工件200在较广的范围内被放置有多个的初始状态下,能够使扫描范围变大,另一方面,在工件200逐渐被去掉而工件200被放置在较小的范围内时,能够根据工件200被放置的范围来使扫描范围变小。由此,相应于镜子部16的激光狭缝光的扫描范围变小,能够使对工件200进行扫描所需的合计时间变短。其结果,能够使机器人1把持工件200而移动到搬运用托盘6上的动作所需的合计时间变短。
另外,在第1实施方式中,如上所述,如下构成传感器控制器13,根据由高速照相机11检测出的放置有工件200的区域来变更扫描开始角度及扫描结束角度中的一个,从而进行变更镜子部16的扫描范围的控制。由此,由于通过变小扫描开始角度及扫描结束角度中的至少一个来使镜子部16的扫描范围变小,因此能够使扫描工件200所需的合计时间变短。
另外,在第1实施方式中,如上所述,如下构成传感器控制器13,根据被检测出的来自工件200的反射光,算出高速照相机11与工件200之间的距离L,同时根据高速照相机11与工件200之间的距离L,变更镜子部16的扫描范围。由此,根据工件200被放置的状态(个数),能够容易地变更镜子部16的扫描范围。
另外,在第1实施方式中,如上所述,如下构成传感器控制器13,根据高速照相机11与工件200之间的距离L最初成为从高速照相机11与放置工件200的面20之间的距离L1差分放置工件200的面附近的死区区域高度(距离d)的距离L2以下时的激光狭缝光的扫描角度,变更扫描开始角度。由此,能够抑制由于检测到不足死区区域高度d(距离d)的例如来自存在于工件200被放置的面20上的垃圾的反射光而错误地识别放置有工件200的区域。
另外,在第1实施方式中,如上所述,如下构成传感器控制器13,根据高速照相机11与工件200之间的距离L最后成为从高速照相机11与放置工件200的面20之间的距离L1差分放置工件200的面20附近的死区区域高度(距离d)的距离L2以下时的镜子部16的旋转角度,变更扫描结束角度。由此,能够抑制由于检测到不足死区区域高度d(距离d)的例如来自存在于工件200被放置的面20上的垃圾的反射光而错误地识别放置有工件200的区域。
另外,在第1实施方式中,如上所述,以成为工件200的高度h的1/2的方式构成死区区域高度d(距离d)。由此,能够抑制由于检测到来自不足工件200的高度h的1/2的垃圾等的反射光而错误地识别放置有工件200的区域。
第2实施方式
下面,参照图14及图15对第2实施方式的机器人***101进行说明。在该第2实施方式中,与工件200直接被放置在面20上的第1实施方式不同,将工件200放置在箱状的托盘102中。
如图14及图15所示,在第2实施方式的机器人***101中,多个工件200被放置在箱状的托盘102中。并且,第2实施方式的其他构成与上述第1实施方式相同。
下面,参照图14至图20对第2实施方式的传感器控制器13的3维计测的动作进行说明。
首先,在3维计测工件200之前,如图16及图17所示,在工件200未被放置在托盘102中的状态下,3维计测托盘102与放置有托盘102的面103等。具体而言,计测高速照相机11到托盘102的框架102a为止的距离、高速照相机11到托盘102的内底面102b为止的距离、托盘102到放置有托盘102的面103为止的距离等。由此,如图18所示,由传感器控制器13的识别部42识别从箭头Z1方向(参照图16及图17)观察托盘102的图像。
接着,如图14及图15所示,在工件200被放置在托盘102中的状态下,通过传感器单元4来3维计测托盘102与工件200。并且,3维计测的具体动作与上述第1实施方式相同。而且,通过传感器单元4来3维计测托盘102与工件200,从而如图19所示,传感器控制器13的识别部42识别从箭头Z1方向(参照图14及图15)观察托盘102与工件200的图像。并且,在此状态下,由于与高速照相机11与工件200之间的距离一起也能够得到高速照相机11到托盘102之间的距离,因此不能像上述的第1实施方式那样根据高速照相机11与工件200之间的距离L来修正激光狭缝光的扫描范围。
于是,从托盘102与工件200的3维计测的结果(距离信息、参照图19)差分预先计测的托盘102的3维计测的结果(距离信息、参照图18)。从而如图20所示,传感器控制器13的识别部42识别工件200的3维计测的结果(图像)。其结果,与上述的第1实施方式一样,能够根据高速照相机11与工件200之间的距离L来修正激光狭缝光的扫描范围。并且,第2实施方式涉及的工件200的3维计测的其他动作与上述第1实施方式相同。
在第2实施方式中,如上所述,工件200被放置在托盘102的内部,以根据通过高速照相机11来检测出的托盘102内部的工件200被放置的区域来变更镜子部16的扫描范围的方式构成传感器控制器13。由此,能够抑制由于检测到来自托盘102的反射光而错误地识别放置有工件200的区域。
另外,在第2实施方式中,如上所述,如下构成传感器控制器13,通过从在托盘102内部放置有工件200的状态下的高速照相机11的3维计测结果差分在托盘102内部未放置有工件200的状态下的高速照相机11的3维计测结果,从而根据高速照相机11检测出的托盘102内部的放置有工件200的区域来变更镜子部16的扫描范围。由此,能够容易地抑制由于检测到来自托盘102的反射光而错误地识别放置有工件200的区域。
并且,应认为这次公开的实施方式在所有方面均为例示,并不受限制。本发明的范围并不是上述实施方式的说明所示,而是通过权利要求书来表示,而且包含在与权利要求书同等的含义及范围内的全部变更。
例如,在上述第1及第2实施方式中,虽然示出了根据高速照相机到工件为止的距离L成为从高速照相机与工件被放置的面之间的距离L1差分工件被放置的面附近的死区区域高度d(距离d)的距离L2(L1-d)以下(La≤L1-d)时的激光狭缝光的扫描角度来修正扫描开始角度及扫描结束角度的例子,但是本发明并不局限于此。例如,也可以根据高速照相机到工件为止的距离L不足高速照相机与工件被放置的面之间的距离L1(L<L1)时的激光狭缝光的扫描角度来修正扫描开始角度及扫描结束角度。
另外,在上述第1及第2实施方式中,虽然示出了将死区区域高度d(距离d)设定成工件高度h的1/2的例子,但是本发明并不局限于此。在本发明中距离d小于工件高度h即可。
另外,在上述第1及第2实施方式中,虽然示出了根据高速照相机与工件之间的距离L来修正激光狭缝光的扫描开始角度及扫描结束角度两者的例子,但是本发明并不局限于此。例如,也可以只修正激光狭缝光的扫描开始角度或扫描结束角度的一个。
另外,在上述第1及第2实施方式中,虽然示出了从包含在拍摄器件的CMOS传感器中的全部像素中提取像素数据来形成图像的例子,但是本发明并不局限于此。例如,对应于激光狭缝光的扫描范围的变小,也可以使提取像素数据的CMOS传感器的像素数减少。由此,相应于提取像素数据的像素数的减少,能够高速地提取像素数据。

Claims (8)

1.一种形状计测装置,其特征为,具备:
激光照射部,照射激光;
扫描部,将由所述激光照射部照射的所述激光扫描到放置有计测对象物的区域;
照相机,在通过检测由所述扫描部照射并从所述计测对象物反射的所述激光的反射光来检测放置有所述计测对象物的区域的同时,进行所述计测对象物的3维计测;
及控制部,以根据通过所述照相机检测出的放置有所述计测对象物的区域来变更所述扫描部的扫描范围的方式进行控制,
所述控制部如下构成,根据检测出的来自所述计测对象物的反射光,在算出所述照相机与所述计测对象物之间的第1距离的同时,根据所述照相机与所述计测对象物之间的所述第1距离,变更所述扫描部的扫描范围。
2.根据权利要求1所述的形状计测装置,其特征为,
所述控制部如下构成,根据通过所述照相机检测出的放置有所述计测对象物的区域来变更扫描开始角度及扫描结束角度中的至少一个,从而进行变更所述扫描部的扫描范围的控制。
3.根据权利要求1所述的形状计测装置,其特征为,
所述控制部如下构成,根据所述照相机与所述计测对象物之间的所述第1距离最初成为从所述照相机与放置所述计测对象物的面之间的距离差分放置所述计测对象物的面附近的死区区域高度得到的第2距离以下时的激光的扫描角度,变更扫描开始角度。
4.根据权利要求1所述的形状计测装置,其特征为,
所述控制部如下构成,根据所述照相机与所述计测对象物之间的所述第1距离最后成为从所述照相机与放置所述计测对象物的面之间的距离差分放置所述计测对象物的面附近的死区区域高度得到的第2距离以下时的激光的扫描角度,变更扫描结束角度。
5.根据权利要求3所述的形状计测装置,其特征为,
所述第2距离大于从所述照相机与放置所述计测对象物的面之间的距离差分所述计测对象物高度的距离,并且,不足所述照相机与放置所述计测对象物的面之间的距离。
6.根据权利要求1所述的形状计测装置,其特征为,
所述计测对象物被放置在箱状容器的内部,
所述控制部如下构成,根据通过所述照相机检测出的在所述箱状容器内部的放置有所述计测对象物的区域,变更所述扫描部的扫描范围。
7.一种机器人***,其特征为,具备:
机器人,具有把持计测对象物的把持部;
及形状计测装置,包括:激光照射部,照射激光;扫描部,将由所述激光照射部照射的所述激光扫描到放置有所述计测对象物的区域;照相机,在通过检测由所述扫描部照射并从所述计测对象物反射的所述激光的反射光来检测放置有所述计测对象物的区域的同时,进行所述计测对象物的3维计测;及控制部,以根据通过所述照相机检测出的放置有所述计测对象物的区域来变更所述扫描部的扫描范围的方式进行控制,
所述控制部如下构成,根据检测出的来自所述计测对象物的反射光,在算出所述照相机与所述计测对象物之间的第1距离的同时,根据所述照相机与所述计测对象物之间的所述第1距离,变更所述扫描部的扫描范围。
8.一种形状计测方法,其特征为,包含如下内容:
将激光扫描到放置有计测对象物的区域;
利用照相机,在通过检测由所述计测对象物反射的所述激光的反射光来检测放置有所述计测对象物的区域的同时,进行所述计测对象物的3维计测;
及根据检测出的放置有所述计测对象物的区域来变更所述激光的扫描范围,
根据检测出的来自所述计测对象物的反射光,在算出照相机与所述计测对象物之间的第1距离的同时,根据所述照相机与所述计测对象物之间的所述第1距离,变更激光的扫描范围。
CN201110320596.XA 2010-10-25 2011-10-20 形状计测装置、机器人***及形状计测方法 Expired - Fee Related CN102528810B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010238308A JP5630208B2 (ja) 2010-10-25 2010-10-25 形状計測装置、ロボットシステムおよび形状計測方法
JP2010-238308 2010-10-25

Publications (2)

Publication Number Publication Date
CN102528810A CN102528810A (zh) 2012-07-04
CN102528810B true CN102528810B (zh) 2015-05-27

Family

ID=44674459

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110320596.XA Expired - Fee Related CN102528810B (zh) 2010-10-25 2011-10-20 形状计测装置、机器人***及形状计测方法

Country Status (4)

Country Link
US (1) US20120098961A1 (zh)
EP (1) EP2444210A1 (zh)
JP (1) JP5630208B2 (zh)
CN (1) CN102528810B (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170028557A1 (en) * 2015-07-28 2017-02-02 Comprehensive Engineering Solutions, Inc. Robotic navigation system and method
EP2722640A4 (en) * 2011-06-20 2014-11-19 Yaskawa Denki Seisakusho Kk DEVICE FOR MEASURING A THREE DIMENSIONAL SHAPE AND ROBOTIC SYSTEM
US9255830B2 (en) * 2012-05-21 2016-02-09 Common Sensing Inc. Dose measurement system and method
JP6092530B2 (ja) * 2012-06-18 2017-03-08 キヤノン株式会社 画像処理装置、画像処理方法
JP5642738B2 (ja) * 2012-07-26 2014-12-17 ファナック株式会社 バラ積みされた物品をロボットで取出す装置及び方法
JP6270157B2 (ja) 2012-07-30 2018-01-31 国立研究開発法人産業技術総合研究所 画像処理システムおよび画像処理方法
KR101787356B1 (ko) 2012-12-25 2017-10-19 히라따기꼬오 가부시키가이샤 반송 시스템
JP2014159988A (ja) * 2013-02-19 2014-09-04 Yaskawa Electric Corp 物体検出装置、ロボットシステム、及び物体検出方法
JP2014159989A (ja) * 2013-02-19 2014-09-04 Yaskawa Electric Corp 物体検出装置及びロボットシステム
US10438050B2 (en) * 2013-02-27 2019-10-08 Hitachi, Ltd. Image analysis device, image analysis system, and image analysis method
KR101374802B1 (ko) * 2013-03-29 2014-03-13 이철희 농업용 로봇시스템
FR3007126B1 (fr) * 2013-06-14 2018-04-20 European Aeronautic Defence And Space Company Eads France Dispositif de controle robotise d'une structure par ultrason-laser
JP6415026B2 (ja) 2013-06-28 2018-10-31 キヤノン株式会社 干渉判定装置、干渉判定方法、コンピュータプログラム
JP5778311B1 (ja) * 2014-05-08 2015-09-16 東芝機械株式会社 ピッキング装置およびピッキング方法
JP2015230229A (ja) * 2014-06-04 2015-12-21 株式会社リコー 非接触レーザスキャニング分光画像取得装置及び分光画像取得方法
CN105486251B (zh) * 2014-10-02 2019-12-10 株式会社三丰 形状测定装置、形状测定方法及点感测器的定位单元
JP6431333B2 (ja) * 2014-10-15 2018-11-28 キヤノン株式会社 加工装置
US9855661B2 (en) * 2016-03-29 2018-01-02 The Boeing Company Collision prevention in robotic manufacturing environments
MX2017009060A (es) * 2017-06-23 2019-02-08 Magna Exteriors Inc Sistema de inspeccion tridimensional.
JP6622772B2 (ja) * 2017-09-26 2019-12-18 ファナック株式会社 計測システム
JP7172305B2 (ja) * 2018-09-03 2022-11-16 セイコーエプソン株式会社 三次元計測装置およびロボットシステム
JP7308689B2 (ja) * 2019-08-06 2023-07-14 株式会社キーエンス 三次元形状測定装置
JP7434686B2 (ja) * 2019-12-27 2024-02-21 川崎重工業株式会社 シート層の検査装置及び検査方法
JP2022189080A (ja) * 2021-06-10 2022-12-22 ソニーセミコンダクタソリューションズ株式会社 測距装置、および測距方法
CN116071742A (zh) * 2021-08-09 2023-05-05 牧今科技 用于物体检测的***和方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1038530C (zh) * 1992-04-07 1998-05-27 本田技研工业株式会社 非接触位置检测设备
EP1428634B1 (en) * 2002-12-13 2009-03-04 Fanuc Ltd Workpiece taking-out robot with a three-dimensional visual sensor
US7668406B2 (en) * 2002-06-27 2010-02-23 Metrologic Instruments, Inc. Digital image acquisition system capable of compensating for changes in relative object velocity

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4300836A (en) * 1979-10-22 1981-11-17 Oregon Graduate Center For Study And Research Electro-optical scanning system with self-adaptive scanning capability
JPS60200385A (ja) * 1984-03-26 1985-10-09 Hitachi Ltd 姿勢判定方式
JPH01134573A (ja) * 1987-11-19 1989-05-26 Kawasaki Heavy Ind Ltd 画像処理方法
JPH0821081B2 (ja) * 1987-12-03 1996-03-04 ファナック株式会社 ウィンドウの制御方法
JP2809348B2 (ja) * 1989-10-18 1998-10-08 三菱重工業株式会社 3次元位置計測装置
JPH03202290A (ja) * 1989-12-27 1991-09-04 Toyota Motor Corp ばら積み物体の取出装置
JPH04244391A (ja) * 1991-01-30 1992-09-01 Toyota Motor Corp ロボットを用いた段バラシ装置
JPH06229732A (ja) * 1993-01-29 1994-08-19 Fanuc Ltd スポット光ビーム走査型3次元視覚センサ
US6044170A (en) * 1996-03-21 2000-03-28 Real-Time Geometry Corporation System and method for rapid shape digitizing and adaptive mesh generation
JP3873401B2 (ja) * 1996-11-19 2007-01-24 コニカミノルタセンシング株式会社 3次元計測システム
JPH11291187A (ja) * 1998-04-14 1999-10-26 Kobe Steel Ltd 積荷位置姿勢認識装置
JP3300682B2 (ja) * 1999-04-08 2002-07-08 ファナック株式会社 画像処理機能を持つロボット装置
JP2001051058A (ja) * 1999-08-11 2001-02-23 Minolta Co Ltd 距離測定装置
JP2001277167A (ja) * 2000-03-31 2001-10-09 Okayama Pref Gov Shin Gijutsu Shinko Zaidan 3次元姿勢認識手法
JP2001319225A (ja) * 2000-05-12 2001-11-16 Minolta Co Ltd 3次元入力装置
EP1402230A1 (en) * 2001-06-29 2004-03-31 Square D Company Overhead dimensioning system and method
JP2004012143A (ja) * 2002-06-03 2004-01-15 Techno Soft Systemnics:Kk 立体計測装置
JP2004160567A (ja) * 2002-11-11 2004-06-10 Fanuc Ltd 物品取出し装置
JP4548595B2 (ja) * 2004-03-15 2010-09-22 オムロン株式会社 センサ装置
JP4911341B2 (ja) * 2006-03-24 2012-04-04 株式会社ダイフク 物品移載装置
JP4226623B2 (ja) * 2006-09-29 2009-02-18 ファナック株式会社 ワーク取り出し装置
JP5360369B2 (ja) * 2008-09-11 2013-12-04 株式会社Ihi ピッキング装置と方法
JP5201411B2 (ja) * 2008-11-21 2013-06-05 株式会社Ihi バラ積みピッキング装置とその制御方法
JP4650565B2 (ja) * 2008-12-15 2011-03-16 パナソニック電工株式会社 人体検知センサ

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1038530C (zh) * 1992-04-07 1998-05-27 本田技研工业株式会社 非接触位置检测设备
US7668406B2 (en) * 2002-06-27 2010-02-23 Metrologic Instruments, Inc. Digital image acquisition system capable of compensating for changes in relative object velocity
EP1428634B1 (en) * 2002-12-13 2009-03-04 Fanuc Ltd Workpiece taking-out robot with a three-dimensional visual sensor

Also Published As

Publication number Publication date
CN102528810A (zh) 2012-07-04
JP2012093104A (ja) 2012-05-17
EP2444210A1 (en) 2012-04-25
JP5630208B2 (ja) 2014-11-26
US20120098961A1 (en) 2012-04-26

Similar Documents

Publication Publication Date Title
CN102528810B (zh) 形状计测装置、机器人***及形状计测方法
US10753738B2 (en) Robot system
CN109571461B (zh) 机器人***
US9604363B2 (en) Object pickup device and method for picking up object
CN102735166B (zh) 三维扫描仪和机器人***
CN110054116B (zh) 应用于叉车的货叉导航方法、***及无人叉车
JP5561260B2 (ja) ロボットシステム及び撮像方法
JP5201411B2 (ja) バラ積みピッキング装置とその制御方法
US7200260B1 (en) Teaching model generating device
US7966094B2 (en) Workpiece picking apparatus
JP2010083593A (ja) 物品収納設備における学習装置
JP2007101197A (ja) 物体探索装置,物体探索装置を備えるロボットシステム及び物体探索方法
JP2002211747A (ja) コンベヤ装置
JP5218479B2 (ja) 移動体システム
WO2016132845A1 (ja) ベンディングロボット及びワーク検出方法
US20220219277A1 (en) Method for loading a panel depositing device of a flatbed machine tool and flatbed machine tool
CN114341930A (zh) 图像处理装置、拍摄装置、机器人以及机器人***
KR101861589B1 (ko) 3차원 스캐닝 모드 및 3차원 프린팅 모드를 갖는 병렬 로봇을 이용한 복합 시스템
CN111928797A (zh) 一种基于激光扫描成像的3d高精密检测***
JP6725344B2 (ja) プレスブレーキ及び角度検出装置
JP2014174047A (ja) 計測装置、計測方法、および物品の製造方法
US11958200B2 (en) Automatic robotic arm system and coordinating method for robotic arm and computer vision thereof
JPH09255158A (ja) 物体配置認識装置
US11293751B2 (en) Profile inspection system for verifying relative position of vehicle component objects and manufacturing cell including same
KR102407342B1 (ko) 자율주행 제품검사 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150527

Termination date: 20161020