CN103383238B - 图像测量设备、图像测量方法和图像测量程序 - Google Patents

图像测量设备、图像测量方法和图像测量程序 Download PDF

Info

Publication number
CN103383238B
CN103383238B CN201310157440.3A CN201310157440A CN103383238B CN 103383238 B CN103383238 B CN 103383238B CN 201310157440 A CN201310157440 A CN 201310157440A CN 103383238 B CN103383238 B CN 103383238B
Authority
CN
China
Prior art keywords
image
workpiece
plane
outside parameter
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310157440.3A
Other languages
English (en)
Other versions
CN103383238A (zh
Inventor
谷纮太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN103383238A publication Critical patent/CN103383238A/zh
Application granted granted Critical
Publication of CN103383238B publication Critical patent/CN103383238B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/46Sensing device

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及图像测量设备、图像测量方法和图像测量程序。即使在工件的测量平面与具有校准的外部参数的平面之间出现差异的情况下,也允许以小的误差实现二维测量。当工件(2)被保持装置(3)夹紧时,图像测量设备(1)计算校准了外部参数的校准平面(17)与工件(2)的测量平面(20)之间的差值。图像测量设备(1)校正外部参数,以使得校准平面(17)与测量平面(20)一致,并且通过使用经校正的外部参数二维地测量工件(2)。

Description

图像测量设备、图像测量方法和图像测量程序
技术领域
本发明涉及用于从通过照相机拍摄的图像测量工件的二维位置和/或姿势的图像测量。
背景技术
一般地,已知可从由照相机拍摄的图像测量要成像对象(以下,简称为工件)的二维位置姿势。实际工件的位置姿势由实际空间坐标(世界坐标系)代表,而拍摄的图像由图像坐标(图像坐标系)代表。因此,为了从拍摄图像测量工件的二维位置姿势,需要使关于图像坐标[像素(pixel)]的信息与实际空间坐标[毫米(mm)]相关。即,相互参照识别照相机的成像面与二维测量的测量面。
这两个面的识别需要校准照相机的内部参数(诸如图像中心位置、焦距和透镜的畸变的参数)和外部参数(旋转参数和平移参数)。
常规上,通过将已预先测量其在实际空间中的相对位置关系的校准图案成像并比较拍摄图像上的校准图案与实际空间中的校准图案之间的相对位置关系,校准外部参数(日本专利申请公开No.2003-50107)。
发明内容
不幸的是,根据日本专利申请公开No.2003-50107的方法,如果在具有校准的外部参数的平面与测量对象实际所处的平面之间存在差异,那么出现测量误差。一般地,在工件位于固定平面上的情况下,在校准了外部参数的平面(以下,称为校准平面)和工件的测量平面之间不出现大的差异。因此,这种测量误差不导致问题。但是,在通过例如机器人臂的末端执行器(endeffector)夹持工件的情况下,工件的位置姿势会根据工件的夹持位置改变。在这种情况下,校准平面与工件的测量平面之间的差异大。该差异导致基于平面之间的差异的测量误差因此变大的问题。
因此,本发明的目的是,即使在工件的测量平面与具有校准的外部参数的平面之间出现差异的情况下,也能够以小的误差实现二维测量。
根据本发明的图像测量设备包括:拍摄由保持装置保持的工件的图像的第一照相机;检测由保持装置保持的工件的测量平面的位置和/或姿势的检测装置;和存储第一照相机的外部参数和校准了外部参数的校准平面的位置和/或姿势、基于检测装置的检测值校正外部参数使得测量平面与校准平面的位置和/或姿势相互一致、并且通过使用经校正的外部参数从由第一照相机拍摄的图像测量工件的二维位置和/或姿势的控制单元。
根据本发明的图像测量方法是使其外部参数被校准了的照相机拍摄由保持装置保持的工件的图像并基于拍摄的图像测量工件的二维位置和/或姿势的方法,该方法包括使计算装置:计算校准了外部参数的校准平面与工件的测量平面之间的差值;基于通过差值计算所计算的差值校正外部参数,使得测量平面与校准平面的位置和/或姿势相互一致;以及,通过使用经外部参数的校正处理校正过的外部参数从由照相机拍摄的图像二维地测量工件的二维位置和/或姿势。
从参照附图对示例性实施例的以下描述,本发明的其它特征将变得清晰。
附图说明
图1是示出根据本发明的第一实施例的包括图像测量设备的自动组装装置的示意图。
图2是示出图1的图像测量设备的控制单元的示意图。
图3是示出图1中的图像测量设备对于外部参数的校准的流程图。
图4A是示出校准外部参数时的图像测量设备的示意图。
图4B是示出校准基准件的示意图。
图5是示出通过图1中的图像测量设备进行的二维图像测量的流程图。
图6是示出二维测量工件时的图像测量设备的示意图。
图7A是示出校准基准件与工件之间的初始位移的示图。
图7B是示出工件的测量平面与校准平面之间的位置的差异的示图。
图8是示出包括根据本发明的第二实施例的图像测量设备的自动组装装置的示意图。
图9是示出图8中的图像测量设备校准外部参数的状态的示意图。
图10是示出工件的测量平面与校准平面之间的位置姿势的差异的示图。
图11是示出包括根据本发明的第三实施例的图像测量设备的自动组装装置的示意图。
图12是示出根据本发明的第三实施例的保持装置保持工件的状态的平面图。
具体实施方式
现在将参照附图详细描述本发明的优选实施例。
第一实施例
图像测量设备的构造
以下将参照附图描述根据本发明的第一实施例的图像测量设备1。如图1所示,在夹持工件2的同时在生产线上自动组装产品的自动组装装置7在远端处包含机器人臂5;该臂包含用于保持工件2的保持装置3。自动组装装置7包含拍摄由保持装置3保持的工件2的图像的照相机(第一照相机)6和与照相机6和机器人臂5连接的控制单元10。
保持装置3是夹紧工件2的夹具。更具体而言,保持装置3包含夹紧工件2的指部(夹钳)9和主体11,指部9附着到主体11。主体11具有用于检测工件2的夹紧位置的长度测量仪器(检测装置)12。自动组装装置7由此包含构成图像测量设备1的照相机6、控制单元10和长度测量仪器12。
如图2所示,控制单元10包括包含计算装置102和存储装置103的计算机的主体。机器人臂5、照相机6和长度测量仪器12与计算机连接。允许操作员执行输入操作的输入装置106、教导悬架(teachingpendant)13和显示装置107也与计算机的主体连接。
存储装置103存储有照相机6的外部参数(以下,称为基准外部参数)114和校准了基准外部参数的校准平面的位置和姿势的数据113。该存储装置还存储有各种程序,诸如用于机器人臂5和照相机6的控制驱动程序和使计算机校正基准外部参数114并二维地测量工件2的图像测量程序112。
更具体而言,计算机的主体包含构成计算装置102的作为主要部件的CPU102a、图像处理装置102b和声音处理装置102c。不仅图像处理装置102b和声音处理装置102c,而且ROM103a和RAM103b通过总线111与CPU102a连接。ROM103a存储有基本上控制计算机所需要的程序、包含图像测量程序112的各种程序、以及数据。在RAM103b中确保CPU102a的工作区域。图像处理装置102b根据来自CPU102a的绘制指令控制作为显示装置107的液晶显示器,以使该显示装置在屏幕上显示规定的图像。声音处理装置102c根据来自CPU102a的声音产生指令产生声音信号,并且将该信号输出到扬声器109。
构成输入装置106的键盘106a和鼠标106b通过与总线111连接的输入接口106c与CPU102a连接。该连接允许输入组装工件2所需要的指定信息或其它的指令。
机器人臂5和照相机6与总线111连接。记录介质读取器115也与总线111连接,并且读取存储有图像测量程序112的记录介质110,并且可在例如ROM103a中存储程序。存储装置103包含作为主要存储装置的ROM103a和RAM103b,并且还包含外部存储装置。
并且,通信装置116与总线111连接。该连接允许在不使用记录介质110的情况下通过通信装置116下载从因特网等分发的图像测量程序112。
在本实施例中,控制单元10是与照相机6连接的计算机。但是,在照相机6中嵌入的计算装置可与计算机一体化地构成控制单元。作为替代,可仅仅照相机6的计算装置构成控制单元。
二维测量操作
现在将基于图3~7B描述图像测量设备1对于工件的二维测量。首先,图像测量设备1通过使用校准基准件15校准外部参数;该校准是用于二维测量工件的预备过程。图像测量设备1由此获取基准外部参数114。
更具体而言,如图3和图4A~4B所示,图像测量设备1使机器人臂5的保持装置(以下,简称为夹具)3夹紧(保持)校准基准件15(图3中的步骤S1,保持工件的步骤)。如图4A所示,校准基准件15包含用于允许夹具3夹紧该基准件的附件15a和安装于该附件上的校准板15b。在校准板15b的上表面上形成包含被布置成3×3矩阵的圆形标记16的校准图案。图像测量设备1使照相机6拍摄校准图案的图像(S2,将校准基准件成像的步骤)。
校准图案的拍摄图像被传送到控制单元10。控制单元10通过使用图像校准外部参数(S5,校准外部参数的步骤)。更具体而言,首先,控制单元10基于拍摄图像获取各标记16在图像坐标系中的坐标[u,v]。标记16在图像坐标系中的坐标与标记16在作为实际空间中的坐标系的世界坐标系中的坐标之间的关系可由下式(1)代表。
式1
s u v 1 = A R , t Xr Yr Zr 1
A:内部参数,[R,t]:外部参数,
[Xr,Yr,Zr]:各标记16在世界坐标系中的坐标。
假定上面存在校准图案的校准平面17被定义为XY平面,那么式(1)可由下式(2)表示。
式(2)
s u v 1 = A R , t Xp Yp 0 1
校准图案的标记16的相对位置关系是已知的。因此,假定标记16中的一个是原点,那么各标记16的[Xp,Yp,0]是已知的。控制单元10通过使用诸如最小二乘法的数学方法求解标记16中的每一个的方程(2),由此校准外部参数[R,t]。在外部参数[R,t]被校准之后,校准的外部参数作为基准外部参数114被存储于存储装置103中(S4,存储外部参数的步骤)。
当校准基准件15被夹具3夹紧时,图像测量设备1在校准外部参数的同时检测校准基准件15的夹紧位置。即,设置在夹具3的主体11的上表面11U上的长度测量仪器12测量到校准基准件15的下表面的距离Lp(S5,检测校准平面的步骤)。控制单元10存储沿与校准平面17正交的方向的距离Lp作为夹紧位置(S6,存储夹紧位置的步骤)。
换句话说,控制单元10存储距离Lp作为对其校准了外部参数的校准平面17的位置,并且,长度测量仪器12用作检测校准平面17的位置的检测装置。
照相机6的内部参数在外部参数校准之前已被校准。只要校准图案具有不排成一条直线的至少三个标记,校准图案可以为任何形式。标记的形状可以为格子和诸如圆柱的三维形状中的任一种。此外,校准基准件15的形状可以为诸如立方体和板的形状中的任一种。
在完成照相机参数(外部参数和内部参数)的校准之后,图像测量设备1进入允许二维地测量工件2的状态。以下将基于图5~图7B描述图像测量设备1在实际二维测量工件2时的操作。
如图6所示,当工件2在生产线上被机器人臂5的夹具3夹紧时(图5中的S7,夹紧工件的步骤),通过长度测量仪器12测量到工件2的下表面2L的距离Lm(S8,检测工件夹紧位置的步骤)。
控制单元10在存储装置103中存储由长度测量仪器12检测的作为工件2的夹紧位置(保持位置)的距离Lm。即,长度测量仪器12用作检测由夹具(保持装置)3夹紧(保持)的工件2的测量平面20的位置的检测装置。控制单元10存储距离Lm作为工件2的夹紧位置,即工件2的测量平面20的位置。
当工件2被夹具3夹紧时,图像测量设备1使其内部参数和外部参数被校准了的照相机6拍摄工件2的图像(S9,将工件成像的步骤)。控制单元10对于工件2的拍摄图像施加图像处理,以获取工件2的测量点在图像坐标系中的坐标[u,v](S10,图像处理的步骤)。
这里,当夹具3夹紧工件2时导致的夹紧位置的偏离会导致上面存在工件2的测量点的测量平面20与校准了基准外部参数114的校准平面17之间的偏离。因此,控制单元10从长度测量仪器12的检测值计算工件2的测量平面20与校准了基准外部参数114的校准平面17之间的差值(S11,计算差值的步骤)。
更具体而言,图7A是比较夹具3在基准位置处夹紧工件2的情况与夹具3为了获取基准外部参数114而夹紧校准基准件15的情况的示图。如图7A所示,由于工件2与校准基准件15之间的形状差异,在校准平面17与测量平面20之间存在第一初始位移Offset_1。并且,工件2的下表面2L和15L与由长度测量仪器12测量的校准基准件15之间存在第二初始位移Offset_2。即,在基准位置处夹紧工件2时的长度测量仪器的检测值Lm′与校准基准外部参数时的长度测量仪器的检测值Lp之间的差值是第二初始位移Offset_2。因此,考虑初始位移Offset_1和Offset_2,计算校准平面17与测量平面20之间的夹紧位置方向(Z轴方向)的位置差。
即,如图7B所示,假定当夹紧工件2时由长度测量仪器12测量的到工件2的下表面2L的距离为Lm,由于工件2的夹紧位置的变化导致的差值ΔL由式(3)表示。
式3
ΔL=Lp-Lm-offset_2
控制单元10计算校准平面17与测量平面20之间的实际差值为offset_1+ΔL。
在计算校准平面17与测量平面20之间的夹紧方向的位置差之后,控制单元10基于通过计算差值的步骤计算的差值校正基准外部参数114,使得校准平面17与测量平面20相互一致(S12,校正外部参数的步骤)。更具体而言,代表工件2在图像上的位置[u,v]与实际位置之间的关系的式(4)的夹紧方向的位置Zp的值被设为差值offset_1+ΔL,使得工件2的测量平面20与校准平面17一致。
式4
s u v 1 = A R , t Xp Yp Offset _ 1 + ΔL 1
控制单元10通过求解式(4)的连立方程测量工件2的二维位置(S13,二维测量的步骤),并且采用该位置作为测量结果(S14)。即,控制单元10通过使用经校正的外部参数测量工件2的二维位置。
以上描述了工件2的一个测量点(即,工件的中心(重心))的二维位置的测量。测量工件2和校准基准件15的至少两个点或者优选至少三个点也可识别工件2的姿势。
因此,图像测量设备1使单个或多个长度测量仪器(长度测量传感器)12测量工件2的测量平面20的位置和/或姿势。控制单元10存储照相机6的基准外部参数114和校准了基准外部参数114的校准平面17的位置和姿势中的一个。控制单元10校正基准外部参数114,使得测量平面20和校准平面17的位置和姿势中的一个相互一致。因此,在二维测量工件在XY轴方向的位置时,可考虑由于当夹紧工件2时导致的夹紧位置的偏离导致的Z轴方向精确地测量工件的二维位置和/或姿势。
只有获取测量平面20与校准平面17之间的相对差值,才可校正基准外部参数114。因此,基准外部参数114能够以低的计算负荷被校正,而无需获取测量平面20和校准平面17的三维位置。因此,每当工件2的夹紧位置偏离时,就通过长度测量仪器12测量与校准平面17正交的工件2的夹紧位置,由此允许简单并且精确地校正外部参数。
测量工件2的夹紧位置的长度测量传感器可以是诸如超声传感器的非接触测量仪器或诸如盘式量表(dialgauge)的接触测量仪器。本实施例具有长度测量仪器被设置在夹具3处的构造。但是,该构造仅需要测量工件2的夹紧位置。例如,该仪器可被设置在远离夹具3的位置处。
第二实施例
现在将描述根据本发明的第二实施例的图像测量设备。第二实施例与第一实施例的不同在于,使用立体照相机31以测量校准平面17和测量平面20的位置和/或姿势。在以下的描述中,省略与第一实施例的构造部件类似的构造部件的描述。
如图8所示,图像测量设备1包含作为保持工件2的保持装置的多指部机器人手(以下,简称为机器人手)33。与第一实施例同样,机器人手33被附着到机器人臂5的远端处,并且包括包含可移动关节的多个指部34。指部34夹紧工件2。
图像测量设备1还包括作为用于测量工件2的位置姿势的照相机的单目(monocular)照相机(第一照相机;以下,简称为照相机)30。照相机30是一体化地包含计算装置35的智能照相机。计算装置35用作处理拍摄图像的图像处理装置。计算装置35和向照相机30发出成像指令的外部计算机36构成图像测量设备1的控制单元10。外部计算机36具有与第一实施例中的控制单元类似的构造。
图像测量设备1还包括作为检测工件2的测量平面20的位置和/或姿势的检测装置设置在机器人手33处的立体照相机(第二照相机)31。立体照相机31可通过使用左右照相机31a和31b的视差信息执行三维测量,并且,拍摄用于三维测量工件上的特征点(规定点)的图像。
图像测量设备1使用立体照相机31以拍摄工件上的特征点的图像,由此检测校准平面17和测量平面20的位置和/或姿势。该设备1在该特征上与第一实施例的设备不同。以下将主要对于该不同描述图像测量设备1对于工件2的二维测量。
图像测量设备1使控制单元10存储任意设计工件2的特征点2a时的尺寸信息,并且利用该工件自身作为校准基准件以校准照相机30的外部参数。
更具体而言,如图9所示,当通过机器人手33夹紧作为基准件的工件2时,由照相机30拍摄图像,并且使用工件2的特征点2a作为校准基准件的标记,以根据与第一实施例的方法类似的方法校准外部参数。
同时,图像测量设备1使立体照相机31拍摄工件2的特征点2a的图像。控制单元10根据立体方法从拍摄的立体图像三维测量各特征点2a的位置。控制单元10从特征点2a的三维位置计算校准平面17的位置姿势Hp,并且存储该位置姿势。
下面将描述工件2的位置姿势的二维测量。当工件2被机器人手33夹紧时,通过照相机30和立体照相机31拍摄上面存在特征点2a的工件2的测量平面20的图像。
在通过立体照相机31拍摄特征点2a的图像之后,与基准外部参数114的校准同样地,控制单元10测量特征点2a的三维位置,并且,从特征点2a的三维位置计算工件2的测量平面20的位置姿势Hm。
图10是比较基准外部参数114的校准与工件2上的二维测量的示图。如图10所示,校准平面17的位置姿势Hp偏离测量平面20的位置姿势Hm。在控制单元10获取校准平面17和测量平面20的位置和姿势Hp和Hm之后,该单元根据式(5)计算校准平面17与测量平面20之间的差值ΔH。
式5
ΔH=Hp-Hm
在获取差值ΔH之后,控制单元10校正基准外部参数114,使得差值ΔH被消除,即,使得校准平面17与测量平面20一致。经校正的外部参数表示为[R′,t′]。
在校正外部参数的同时,控制单元10从由照相机30拍摄的图像计算工件2的图像上的特征点2a的坐标[u,v]。控制单元10求解向关联图像坐标系的坐标与世界坐标系的坐标的式(1)应用经校正的外部参数[R′,t′]的式(6)的连立方程,由此获取工件2的特征点2a的二维位置[Xp,Yp]。对各特征点2a应用类似的过程,由此获取工件2的姿势。
式6
s u v 1 = A R ' , t ' Xp Yp 0 1
基准外部参数由此被校正,使得校准基准外部参数之后的校准平面17与工件2的测量平面20一致,由此,即使工件2的夹紧位置偏离,也允许正确地测量工件2的二维位置姿势。
与工件2的位置姿势的测量同样地,通过使用图像测量方法,检测工件2的夹紧位置,由此允许测量工件的位置和姿势的点与检测夹紧位置的点一致。该一致可减少误差因素。
在本实施例中,使用工件自身作为校准基准件。但是,可以使用精确制成与工件的形状相同的形状的标准件。第二照相机未必是立体照相机。作为替代,第二照相机可以是一个照相机。在这种情况下,使用诸如运动立体方法、三维CAD匹配、透视畸变计算、光切断方法和空间编码方法的方法中的任一种,以检测校准平面17和测量平面20。
第三实施例
现在将描述本发明的第三实施例。第三实施例与第一实施例和第二实施例的不同在于,使用接触传感器以测量校准平面17和测量平面20的位置和/或姿势。在以下的描述中,省略与第一实施例和第二实施例的构造部件类似的构造部件的描述。
如图11所示,图像测量设备1包括作为检测工件的测量平面的位置和/或姿势的检测装置设置在夹具(保持装置)3的指部9的远端处的压力分布传感器40。压力分布传感器40是在表面上设置多个用于检测施加的力的传感器的力传感器。与工件2接触的表面形成为倾斜为锥形。
更具体而言,如图12所示,压力分布传感器40被设置在三个指部9的各自的远端处。压力分布传感器40是能够通过计算压力分布传感器的力检测分布的重心来检测工件2与指部9(保持装置)之间的接触点的接触传感器。并且,传感器40能够通过检测三个接触点的位置来检测平面的位置和姿势。在指部9的数量为两个的情况下,夹紧位置姿势被二维地校正。在四个或更多个的情况下,通过使用最小二乘法等计算最接近多个检测点的平面;可基于该平面执行三维检测。
因此,在校准外部参数时,图像测量设备1可通过获取夹具3夹紧校准基准件时的指部9的接触点的位置,获取校准平面17的位置姿势Hp。类似地,当工件2被二维地测量时,可通过获取夹具3夹紧工件2时的指部9的接触点的位置,获取测量平面20的位置姿势Hm。
假定当在基准位置处夹紧工件2时测量的测量平面20的位置姿势Hm′与校准平面17的位置姿势Hp之间的初始位移为Hoffset,控制单元10可根据式(7)计算校准平面17与测量平面20之间的差值ΔH。
式7
ΔH=Hp-Hm-Hoffset
因此,图像测量设备1可根据与第二实施例类似的方法通过使用校准平面17与测量平面20之间的差值ΔH来校正基准外部参数,并精确地测量工件的二维位置姿势。
通过使用设置在夹紧工件的位置处的力检测传感器检测夹紧位置。因此,可在夹紧工件2的步骤中检测工件的有无。因此,如果由于任何原因不能夹紧工件,可在检测工件夹紧位置的步骤之前检测夹紧误差。因此,可以减少重新尝试夹紧工件的时间。并且,可防止对工件有无的错误识别。
在第一到第三实施例中,使用夹具和机器人手作为保持工件2的保持装置。但是,只要装置可保持工件,装置不限于此。例如,装置可以是吸附以保持工件的吸附保持装置。
保持装置未必附着于机器人手的远端。例如,装置可被设置在被布置于轨道上的驱动装置上。并且,当然,在第一到第三实施例中描述的本发明的方面可以按任意的方式被组合。
本发明校正外部参数,使得校准了外部参数的校准平面与工件的测量平面一致。因此,即使测量平面偏离校准平面,也可通过使用经校正的外部参数精确地二维地测量工件。
虽然已参照示例性实施例描述了本发明,但应理解,本发明不限于所公开的示例性实施例。所附权利要求的范围应被赋予最宽泛的解释以包含所有这样的修改以及等同的结构和功能。

Claims (6)

1.一种图像测量设备,包括:
第一照相机,所述第一照相机拍摄由保持装置保持的工件的图像;
检测装置,所述检测装置检测由保持装置保持的所述工件的测量平面的位置和/或姿势;和
控制单元,所述控制单元存储第一照相机的外部参数和校准了外部参数的校准平面的位置和/或姿势,基于检测装置的检测值校正外部参数以使得测量平面与校准平面的位置和/或姿势相互一致,并且通过使用经校正的外部参数从由第一照相机拍摄的图像测量所述工件的二维位置和/或姿势。
2.根据权利要求1所述的图像测量设备,其中,
所述检测装置是检测与所述校准平面正交的工件的保持位置的长度测量传感器。
3.根据权利要求1所述的图像测量设备,其中,
所述检测装置是拍摄用于三维地测量工件上的规定点的图像的第二照相机。
4.根据权利要求1所述的图像测量设备,其中,
所述检测装置是设置在所述保持装置处并检测所述保持装置与工件之间的接触点的接触传感器。
5.一种自动组装装置,包括:根据权利要求1所述的图像测量设备;保持装置;和机器人臂。
6.一种图像测量方法,用于使其外部参数被校准了的照相机拍摄由保持装置保持的工件的图像,并基于拍摄的图像测量工件的二维位置和/或姿势,所述方法包括使计算装置:
计算校准了外部参数的校准平面与工件的测量平面之间的差值;
基于通过差值计算所计算的所述差值校正外部参数,以使得测量平面与校准平面的位置和/或姿势相互一致;以及
通过使用经外部参数的校正处理校正过的外部参数,从由照相机拍摄的图像二维地测量工件的二维位置和/或姿势。
CN201310157440.3A 2012-05-02 2013-05-02 图像测量设备、图像测量方法和图像测量程序 Expired - Fee Related CN103383238B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012105101A JP6025386B2 (ja) 2012-05-02 2012-05-02 画像計測装置、画像計測方法及び画像計測プログラム
JP2012-105101 2012-05-02

Publications (2)

Publication Number Publication Date
CN103383238A CN103383238A (zh) 2013-11-06
CN103383238B true CN103383238B (zh) 2016-06-01

Family

ID=49491095

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310157440.3A Expired - Fee Related CN103383238B (zh) 2012-05-02 2013-05-02 图像测量设备、图像测量方法和图像测量程序

Country Status (3)

Country Link
US (1) US9303988B2 (zh)
JP (1) JP6025386B2 (zh)
CN (1) CN103383238B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5616478B1 (ja) * 2013-04-18 2014-10-29 ファナック株式会社 ワークを搬送するロボットを備えるロボットシステム
JP2015174191A (ja) * 2014-03-17 2015-10-05 株式会社安川電機 ロボットシステム、ロボットシステムのキャリブレーション方法およびロボットシステムの位置補正方法
DE102014012286B4 (de) * 2014-08-22 2016-07-21 Cl Schutzrechtsverwaltungs Gmbh Vorrichtung und Verfahren zum Herstellen von dreidimensionalen Objekten
KR101947935B1 (ko) * 2014-12-22 2019-02-13 사이버옵틱스 코포레이션 3차원 측정 시스템의 갱신 보정 방법
WO2017033357A1 (ja) * 2015-08-25 2017-03-02 川崎重工業株式会社 ロボットシステム
US9815204B2 (en) * 2016-01-22 2017-11-14 The Boeing Company Apparatus and method to optically locate workpiece for robotic operations
BR112019000728B1 (pt) 2016-07-15 2023-03-28 Fastbrick Ip Pty Ltd Veículo que incorpora máquina de assentamento de tijolos
EP3485109B1 (en) 2016-07-15 2021-09-29 Fastbrick IP Pty Ltd Boom for material transport
JP6381144B2 (ja) * 2016-10-06 2018-08-29 ソリッドビジョン株式会社 撮像処理装置
JP6852450B2 (ja) * 2017-02-17 2021-03-31 セイコーエプソン株式会社 表示方法およびロボットシステム
JP2018205212A (ja) * 2017-06-07 2018-12-27 株式会社リコー 撮影装置、ステレオカメラシステム、計測装置、及び計測システム
WO2019006511A1 (en) 2017-07-05 2019-01-10 Fastbrick Ip Pty Ltd REAL-TIME POSITION TRACKING AND ORIENTATION DEVICE
WO2019033166A1 (en) 2017-08-17 2019-02-21 Fastbrick Ip Pty Ltd COMMUNICATION SYSTEM FOR AN INTERACTION SYSTEM
CN111226090B (zh) 2017-08-17 2023-05-23 快砖知识产权私人有限公司 具有改进的横滚角测量的激光***
ES2971624T3 (es) 2017-10-11 2024-06-06 Fastbrick Ip Pty Ltd Máquina para transportar objetos
CN108240793A (zh) * 2018-01-26 2018-07-03 广东美的智能机器人有限公司 物体尺寸测量方法、装置和***
JP6703018B2 (ja) * 2018-02-01 2020-06-03 ファナック株式会社 作業ロボットシステム
CN108535444B (zh) * 2018-07-06 2023-09-29 国网浙江省电力有限公司营销服务中心 一种快速无损自动检测电能计量箱金属元素的***
CN109872367B (zh) * 2019-03-18 2022-12-27 安徽速达数控设备有限责任公司 带有ccd相机雕刻机的校正方法及校正***
CN111951248B (zh) * 2020-08-12 2023-11-28 上海仁度生物科技股份有限公司 一种用于自动化核酸提取设备的定位校准装置及方法
CN112834322B (zh) * 2021-01-07 2024-02-02 深圳大学 试件变形的测量方法、终端、装置、试验***和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1374502A (zh) * 2001-03-05 2002-10-16 株式会社三丰 位置测定装置和采用该装置的工作设备
JP2003050107A (ja) * 2001-08-07 2003-02-21 Matsushita Electric Ind Co Ltd カメラ校正装置
CN1727839A (zh) * 2004-07-28 2006-02-01 发那科株式会社 机器人***中再校准三维视觉传感器的方法和设备
CN101100061A (zh) * 2006-07-03 2008-01-09 发那科株式会社 测量装置以及校准方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4579380A (en) * 1983-12-06 1986-04-01 Carnegie-Mellon University Servo robot gripper
JP3442140B2 (ja) * 1994-04-20 2003-09-02 ファナック株式会社 3次元視覚センサを用いた位置計測装置及び位置ずれ補正装置
JP3532644B2 (ja) * 1995-02-03 2004-05-31 株式会社モリテックス 測距測長装置
JP3893191B2 (ja) * 1997-06-16 2007-03-14 松下電器産業株式会社 計測用撮像装置の校正値測定方法
CN103503025B (zh) * 2011-02-25 2016-09-07 弗劳恩霍夫应用研究促进协会 基于对对象的模型进行变换来确定模型参数
JP5875272B2 (ja) 2011-07-22 2016-03-02 キヤノン株式会社 3次元計測方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1374502A (zh) * 2001-03-05 2002-10-16 株式会社三丰 位置测定装置和采用该装置的工作设备
JP2003050107A (ja) * 2001-08-07 2003-02-21 Matsushita Electric Ind Co Ltd カメラ校正装置
CN1727839A (zh) * 2004-07-28 2006-02-01 发那科株式会社 机器人***中再校准三维视觉传感器的方法和设备
CN101100061A (zh) * 2006-07-03 2008-01-09 发那科株式会社 测量装置以及校准方法

Also Published As

Publication number Publication date
JP2013231702A (ja) 2013-11-14
US9303988B2 (en) 2016-04-05
CN103383238A (zh) 2013-11-06
JP6025386B2 (ja) 2016-11-16
US20130293701A1 (en) 2013-11-07

Similar Documents

Publication Publication Date Title
CN103383238B (zh) 图像测量设备、图像测量方法和图像测量程序
US11254008B2 (en) Method and device of controlling robot system
CN107883831B (zh) 测量***和测量方法
US9715730B2 (en) Three-dimensional measurement apparatus and robot system
EP1555508B1 (en) Measuring system
KR20160079756A (ko) 적어도 3개의 이산 평면에 따른 머신 비젼 카메라의 보정을 위한 시스템 및 방법
CN104802173A (zh) 视觉传感器的数据生成装置和检测模拟***
JP2012253758A (ja) 車両視覚システムの較正方法および車両視覚システム
US11230011B2 (en) Robot system calibration
JP6670974B1 (ja) ロボット用の座標系アライメント方法及びアライメントシステム並びにアライメント装置
JPH07237158A (ja) 位置・姿勢検出方法及びその装置並びにフレキシブル生産システム
CN111145247B (zh) 基于视觉的位置度检测方法及机器人、计算机存储介质
CN101113891B (zh) 光学式测量装置
EP1923663A1 (en) Measuring device, positioning system and positioning method
KR101626374B1 (ko) 모서리 기반 코너 추정을 이용한 정밀 위치 보정 방법
JP4240215B2 (ja) ビデオ式3次元位置計測装置およびビデオ式伸び計並びにビデオ式幅計
Chiou Reducing the variance of intrinsic camera calibration results in the ROS camera calibration package
WO2021210540A1 (ja) 座標系設定システム及び位置姿勢計測システム
WO2022124232A1 (ja) 画像処理システム及び画像処理方法
KR20040009550A (ko) 역공학의 센서융합에 의한 데이터 획득방법
JPH08166810A (ja) ロボットの位置補正精度を測定する方法
JPS6217604A (ja) 3次元計測における補助光の校正方式
KR20120067051A (ko) 3차원 카메라 모듈 측정 장치, 3차원 카메라 모듈 보정 장치 및 보정 방법
JP2018146232A (ja) 認識装置、較正装置、システム、生成方法および物品製造方法
JPH0429001B2 (zh)

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160601

Termination date: 20200502