CN114026384B - 计算机视觉***的校准方法及用于该方法的基准立体物 - Google Patents

计算机视觉***的校准方法及用于该方法的基准立体物 Download PDF

Info

Publication number
CN114026384B
CN114026384B CN201980097798.7A CN201980097798A CN114026384B CN 114026384 B CN114026384 B CN 114026384B CN 201980097798 A CN201980097798 A CN 201980097798A CN 114026384 B CN114026384 B CN 114026384B
Authority
CN
China
Prior art keywords
dimensional
robot
coordinate system
measurement
dimensional measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980097798.7A
Other languages
English (en)
Other versions
CN114026384A (zh
Inventor
小西嘉典
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN114026384A publication Critical patent/CN114026384A/zh
Application granted granted Critical
Publication of CN114026384B publication Critical patent/CN114026384B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G01B21/042—Calibration or calibration artifacts
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Manipulator (AREA)

Abstract

一种在计算机视觉***中使用具有从任何方向观察都不具有对称性的形状且具有规定的大小的基准立体物来进行的校准方法，包括以下步骤：基于基准立体物的三维形状数据和通过三维测量得到的三维测量数据，计算基准立体物相对于对三维测量部定义的测量部坐标系的位置姿势；以及计算表示测量部坐标系与对基准立体物定义的基准坐标系之间的坐标变换的基准/测量部变换矩阵。

Description

计算机视觉***的校准方法及用于该方法的基准立体物
技术领域
本发明涉及计算机视觉***的校准方法以及用于该方法的基准立体物。
背景技术
以往，为了提高通过三维测量对象物体而得到的三维测量数据的对位的精度，提出了使用通过对设置于配置有对象物体的测定空间的立体物(以下，也称为“基准立体物”)进行三维测量而得到的三维测量数据的技术。
例如，在专利文献1中公开了如下技术：为了调查轮胎的胎面部分的使用所引起的磨损，针对使用前后的轮胎的三维测量数据，将轮胎胎面部的圆周上的位置以及轮胎的宽度方向的位置准确地对位。
在此，从将轮胎保持为能够旋转的固定支承部经由杆将由3个球体构成的基准立体物固定配置于测定空间。求出使这些球体的中心位置坐标移动到预先确定的目标坐标的坐标变换，使用该坐标变换进行作为对象物体的轮胎的三维测量数据的对位。
为了对这样的基准立体物获得充分的识别精度，需要一定数量以上的测量点。因此，必须使用尺寸大的球作为基准立体物，但若增大尺寸，则对象物体被基准立体物遮挡，或者基准立体物所占的区域的比例变大，拍摄尺寸相对变小等，阻碍对象物体的测量。
另外，还提出了由多个平面构成的基准立体物(例如，参照专利文献2)，由于平面在其切面上位置不确定，因此难以高精度地识别测量视点的位置姿势。
现有技术文献
专利文献
专利文献1：日本特许第4956960号公报
专利文献2：日本特许第4423811号公报
发明内容
发明要解决的课题
本发明是鉴于上述实际情况而完成的，其目的在于提供一种在三维测量时能够高精度地识别位置姿势的基准立体物，并且提供一种使用该基准立体物来提高计算机视觉***中的三维测量的校准精度的技术。
用于解决课题的手段
用于解决上述课题的本发明是一种校准方法，在具有进行三维测量的三维测量部以及控制所述三维测量部的测量控制部的计算机视觉***中使用基准立体物来进行所述校准方法，该基准立体物是从任何方向观察都不具有对称性的形状并且具有规定的大小，成为基于所述三维测量的位置姿势识别的基准，所述校准方法包括以下步骤：通过所述三维测量部对所述基准立体物进行三维测量；基于与所述基准立体物的三维形状相关的数据和通过所述基准立体物的三维测量而得到的三维测量数据，计算所述基准立体物相对于对所述三维测量部定义的测量部坐标系的位置姿势；以及基于所述基准立体物相对于所述测量部坐标系的位置姿势，计算表示对所述基准立体物定义的基准坐标系与所述测量部坐标系之间的坐标变换的基准/测量部变换矩阵。
这样，通过使用从任何方向观察都不具有对称性的形状且具有规定的大小、成为基于所述三维测量的位置姿势识别的基准的基准立体物，能够高精度地计算基准立体物相对于对三维测量部定义的测量部坐标系的位置姿势。另外，由于基准立体物相对于测量部坐标系的位置姿势的计算精度提高，因此能够高精度地计算表示基准坐标系与测量部坐标系之间的坐标变换的基准/测量部变换矩阵。因此，在使用了这样的三维测量部的计算机视觉***中，能够进行高精度的校准。
另外，在本发明中，也可以是，所述计算机视觉***还具有：机器人，其具有臂；以及机器人控制部，其控制所述机器人，通过所述三维测量部对所述基准立体物进行三维测量的步骤包括如下步骤：控制保持有所述基准立体物的所述臂，变更所述基准立体物相对于所述三维测量部的位置姿势地对该基准立体物进行三维测量。
这样，在应用于具有臂的机器人的计算机视觉***中，通过使臂保持基准立体物，基于基准立体物相对于三维测量部处于不同的位置姿势的情况下的多个三维测量数据，计算基准立体物相对于测量部坐标系的位置姿势，因此基准立体物相对于测量部坐标系的位置姿势的计算精度进一步提高。因此，在这样的计算机视觉***中，能够进行高精度的三维测量的校准。
另外，在本发明中，也可以是，所述计算机视觉***还具有：机器人，其具有臂；以及机器人控制部，其控制所述机器人，通过所述三维测量部对所述基准立体物进行三维测量的步骤包括如下步骤：控制保持有所述三维测量部的所述臂，变更所述三维测量部相对于所述基准立体物的位置姿势地对该基准立体物进行三维测量。
这样，在应用于具有臂的机器人的计算机视觉***中，通过使臂保持三维测量部，基于基准立体物相对于三维测量部处于不同的位置姿势的情况下的多个三维测量数据，计算基准立体物相对于测量部坐标系的位置姿势，因此基准立体物相对于测量部坐标系的位置姿势的计算精度进一步提高。因此，在这样的计算机视觉***中，能够进行高精度的三维测量的校准。
另外，在本发明中，也可以是，所述校准方法还包括如下步骤：基于所述基准/测量部变换矩阵，计算表示对所述机器人的基端部定义的机器人坐标系与对所述臂定义的工具坐标系之间的坐标变换的机器人/工具变换矩阵、表示所述工具坐标系与所述基准坐标系之间的坐标变换的工具/基准变换矩阵以及表示所述机器人坐标系与所述测量部坐标系之间的坐标变换的机器人/测量部变换矩阵。
这样，通过提高基准立体物相对于测量部坐标系的位置姿势的计算精度，能够高精度地计算表示基准坐标系与测量部坐标系之间的坐标变换的基准/测量部变换矩阵。表示机器人坐标系与测量部坐标系之间的坐标变换的机器人/测量部变换矩阵等于机器人/工具变换矩阵、工具/基准变换矩阵以及基准/测量部变换矩阵之积。根据该关系式、先计算出的基准/测量部变换矩阵、以及能够根据表示机器人中的臂的位置姿势的传感器的检测值等已知的信息计算出的变换矩阵，能够计算未知的机器人/测量部变换矩阵，因此能够进行机器人-三维测量部间的精度高的校准。
另外，在本发明中，也可以是，所述计算机视觉***具有配置有一个以上的所述基准立体物的台，该台能够变更所述基准立体物相对于所述三维测量部的位置和姿势中的至少任意一方，通过所述三维测量部对所述基准立体物进行三维测量的步骤包括如下步骤：通过所述台变更所述基准立体物相对于所述三维测量部的位置和姿势中的至少任意一方地进行三维测量。
这样，通过控制台能够变更基准立体物相对于三维测量部的位置和姿势中的至少任意一方，因此，基于基准立体物相对于三维测量部处于不同的位置姿势的情况下的多个三维测量数据，计算基准立体物相对于测量部坐标系的位置姿势。因此，基准立体物相对于测量部坐标系的位置姿势的计算精度进一步提高。因此，在这样的计算机视觉***中，能够进行高精度的三维测量的校准。
另外，在本发明中，也可以是，所述基准立体物具有将轴向的两端部形成为半球状的3个圆柱的一端结合而成的形状。
这样，由于基准立体物包含较多曲率大的曲面，因此基于三维测量部的三维测量数据的基准立体物相对于测量部坐标系的位置姿势的计算精度进一步提高。因此，基于此计算出的各变换矩阵的精度也进一步提高。即，计算机视觉***中的三维测量的校准的精度进一步提高。
另外，本发明是用于所述校准方法的基准立体物。
若使用这样的基准立体物，则能够在三维测量时高精度地识别位置姿势，因此能够提高计算机视觉***中的三维测量的校准的精度。
发明效果
根据本发明，能够提出在三维测量时能够高精度地识别位置姿势的基准立体物，并且能够使用该基准立体物来提高计算机视觉***中的三维测量的校准的精度。
附图说明
图1中的图1A是基准立体物的整体立体图，图1B是表示基准立体物的结构要素的立体图。
图2是表示将基准立体物配置在校准板上的状态的图。
图3是表示将基准立体物配置在转台上的状态的图。
图4是表示比较对象的立体物的图。
图5是表示机器人视觉***的整体结构的图。
图6是信息处理装置的功能框图。
图7是表示校准的过程的流程图。
图8是表示其他机器人视觉***的整体结构的图。
图9中的图9A～图9E是表示配置有基准立体物和对象物体的工作台的来自不同视点的三维测量数据的图。
具体实施方式
[应用例]
以下，参照附图对本发明的应用例进行说明。
将本发明的基准立体物1示于图1A。基准立体物1从任何方向观察都没有对称性，具有姿势唯一地确定的形状。
准备预先知道大小的基准立体物1，进行三维测量，对所得到的三维测量数据进行处理，由此能够高精度地识别基准立体物1相对于3D传感器等三维测量单元的位置姿势。
这样的三维测量中的基准立体物1能够以如下方式利用。例如，如图2所示，将配置有基准立体物1的校准板25安装于机械臂212的指尖部分，通过能够进行三维测量的传感器单元20进行三维测量，高精度地识别基准立体物1的位置姿势，由此能够高精度地计算机器人-传感器间的未知的变换矩阵。另外，如图8所示，也可以通过安装于机械臂212的指尖部分的传感器单元20，对配置于作业空间的工作台28上的基准立体物1进行三维测量。在这样的结构中，也同样能够高精度地识别基准立体物1的位置姿势，因此能够高精度地计算机器人-传感器间的未知的变换矩阵。
另外，如图3所示，以转台27的中央为中心在周向上以90度间隔配置4个基准立体物1-1、1-2、1-3、1-4。然后，在配置有基准立体物1-1～1-4的转台的中央配置对象物体，通过传感器进行三维测量。使用基于这样得到的三维测量数据的基准立体物1-1～1-4的位置姿势识别结果，复原对象物体的三维形状。通过将基准立体物1-1～1-4相对于转台如上述那样配置，能够防止被对象物体遮挡，并且通过使用4个基准立体物1-1～1-4的位置姿势识别结果的平均值，识别精度提高。通过使转台27以中央为旋转中心进行旋转，能够变更基准立体物1-1、1-2、1-3、1-4相对于传感器的位置和姿势。在转台27配置有4个基准立体物作为一个以上的基准立体物1，但基准立体物的数量和配置不限于此。在此，转台27对应于本发明的台。
另外，如图9所示，在从各种相对位置三维测量对象物体30的情况下，通过在配置有对象物体30的工作台29的四角配置4个基准立体物1-5～1-8，能够高精度地识别对象物体30的位置姿势。由此，能够准确地进行来自各种相对位置的三维测量数据相互的对位。
<实施例1>
(基准立体物)
图1A表示本实施例的基准立体物1的形状。基准立体物1包含很多曲率大的曲面，从任何方向观察都没有对称性，具有姿势唯一地确定的形状。具体而言，是将在半径12mm、长度30mm的圆柱10a的两端部配置有半径12mm的半球状的球面部10b、10c的物体10(参照图1B)以一端的球面部重叠的方式结合3个而成的形状。在图1A中，与纸面平行地取x轴和y轴，与纸面垂直地在近前侧取z轴。基准立体物1的第一枝11相对于第二枝12的延长方向(y轴方向)形成23度的角度，第三枝13相对于z轴倾斜40度。第二枝12绕x轴倾斜7度。此处所示的大小及角度为一例，各枝的大小或角度可根据3D传感器的测量视野的大小而适当变更，并不限定于此。
为了容易进行三维测量，基准立体物1优选将表面加工成扩散反射面。这样的扩散反射面能够通过选择材质、或者进行涂装、粗糙的表面加工来实现。
另外，若在基准立体物1的表面形成图案，则在投射图案光而进行三维测量的情况下成为障碍，因此优选为无图案。
另外，考虑到在三维测量时投射可见光的情况，优选基准立体物1的表面为白色。
如上所述，基准立体物1具有对于任何视点都唯一地确定其姿势的形状。另外，其大小也是预先已知的。因此，能够基于对基准立体物1进行三维测量而得到的三维测量数据，高精度地识别基准立体物1的位置姿势。图4表示比较例的基准立体物50。基准立体物50是在圆板的中央部具有沿高度方向贯通的中空部的形状。利用传感器对静止的状态的基准立体物50和基准立体物1连续15次进行三维测量，并将识别出的位置姿势的各个方向上的标准偏差示于下表中。x平移表示x方向的平移，x旋转表示绕x轴的旋转(其他方向和角度也同样)。
[表1]
x平移(mm) y平移(mm) z平移(mm) x旋转(度) y旋转(度)
基准立体物1 0.058 0.039 0.033 0.091 0.049
基准立体物50 0.146 0.212 0.011 0.058 0.059
如上述的表所示，在基准立体物50中，根据方向而位置姿势识别结果的变动较大，但根据基准立体物1，能够与方向无关地高精度地识别位置姿势。
(机器人视觉***的整体结构)
参照图5，对本发明的实施例的机器人视觉***100进行说明。
机器人视觉***100是如下***：设置于进行物品的组装、加工等的生产线，基于从传感器单元20取入的数据，识别安装于机器人21的臂末端的多指手、吸附盘对装载于托盘等的物体的把持位置、姿势。在此，机器人视觉***100与本发明的计算机视觉***对应。
图5表示在机器人视觉***100中，在臂212指尖部分安装有保持校准目标26的校准板25，进行机器人-传感器单元间校准的状态。
机器人视觉***100大致由传感器单元20、信息处理装置22、PLC(可编程逻辑控制器)24以及机器人21构成。传感器单元20与信息处理装置22之间通过有线或无线连接，传感器单元20的输出被取入到信息处理装置22。信息处理装置22是使用从传感器单元20取入的数据进行各种处理的设备。作为信息处理装置22的处理，例如也可以包括距离测量(测距)、三维形状识别、物体识别、场景识别等。信息处理装置22的处理结果例如被输出到PLC 24、显示器23等，用于机器人21的控制。
(传感器单元)
传感器单元20至少具有用于拍摄对象物体的光学像的照相机。并且，传感器单元20也可以包括为了进行对象物体的三维测量所需的结构(传感器、照明装置、投光装置等)。例如，在通过立体匹配(也被称为立体视觉、立体照相机方式等)测量进深距离的情况下，在传感器单元20中设置多台照相机。在主动立体的情况下，由于是随机点图案，因此在传感器单元20中还设置有向对象物体投射结构化光的投光装置。在通过空间编码化图案投影方式进行三维测量的情况下，在传感器单元20中设置投射图案光的投光装置和照相机。除此此外，如照度差立体法、TOF(飞行时间)法、相移法等，只要是能够取得对象物体的三维信息的方法，则可以使用任何方式。在此，传感器单元20固定配置于规定的位置。在此，传感器单元20对应于本发明的三维测量部。
(信息处理装置)
信息处理装置22例如由具备CPU(处理器)、RAM(存储器)、非易失性存储装置(硬盘、SSD等)、输入装置、输出装置等的计算机构成。在该情况下，CPU将存储于非易失性存储装置的程序在RAM中展开，执行该程序，由此实现后述的各种结构。但是，信息处理装置22的结构并不限定于此，也可以通过FPGA或ASIC等专用电路来实现后述的结构中的全部或一部分，还可以通过云计算或分布式计算来实现。
机器人21具有经由多个关节连结于机器人基座211上且具有规定的自由度的臂212。如上所述，在把持对象物体的情况下，在臂212的末端安装具有多个手指的多指手、具有吸附盘的吸附手。机器人基座211设置于地面或规定的设置部位。在此，在臂212的指尖部分安装有保持校准目标26的校准板25。在此，机器人基座211与本发明的机器人的基端部对应。
在本实施例中，将具有图1A所示的形状且大小已知的基准立体物1用作校准目标26。
图6是包括信息处理装置22的结构的功能框图。
信息处理装置22包括传感器单元控制部221、机器人控制指示部222、存储部223、位置姿势计算部224、校准执行部225、校准结果输出部226。
传感器单元控制部221控制传感器单元20，指示三维测量的实施以及三维测量结果的输出等。
机器人控制指示部222对由PLC 24等构成的机器人控制部30输出控制指示，并且取得构成机器人21的臂212的关节的旋转角度等传感器的检测值，并存储于存储部223的规定区域。在执行校准时，从机器人控制指示部222对机器人控制部30输出控制信息，使臂212移动，变更基准立体物1相对于传感器单元20的位置。
存储部223是由非易失性存储装置的规定区域构成的存储单元，存储构成上述的机器人21的臂212的关节的旋转角度等的传感器的检测值、从后述的机器人基座211到臂212的末端的连杆等各部的尺寸数据、基准立体物1的三维形状数据等。
位置姿势计算部224基于由传感器单元20对基准立体物1进行三维测量而得到的三维测量数据和基准立体物1的三维形状数据，计算基准立体物的位置姿势。
校准执行部225执行后述的校准处理。
校准结果输出部226将执行的校准的结果输出到外部装置，或者存储在存储部223的规定区域中。校准的结果被利用于基于机器人视觉***的对象物体的把持位置识别处理等。
(校准处理)
参照图7的流程图，对作为校准方法的校准处理的一例进行说明。
机器人-传感器单元间校准是指计算表示定义于机器人21的坐标系与定义于传感器单元20的坐标系之间的坐标变换的变换矩阵。
用∑cam表示对图5所示的传感器单元20的照相机定义的照相机坐标系，用∑cal表示对校准目标26定义的目标坐标系，用∑tool表示对臂212的末端定义的工具坐标系，用∑base表示对机器人基座211定义的机器人坐标系。此时，将从目标坐标系Σcal向照相机坐标系Σcam的变换矩阵设为camHcal。将从目标坐标系Σcal向工具坐标系Σtool的变换矩阵设为toolHcal。将从工具坐标系Σtool向机器人坐标系Σbase的变换矩阵设为baseHtool。并且，将从机器人坐标系Σbase向照相机坐标系Σcam的变换矩阵设为camHbase。此时，这些变换矩阵具有以下的式(1)所示的关系。
camHcal＝camHbase·baseHtool·toolHcal…(1)
这里，照相机坐标系Σcam对应于本发明的测量部坐标系，目标坐标系Σcal对应于本发明的基准坐标系，变换矩阵camHcal对应于本发明的基准/测量部变换矩阵。另外，变换矩阵baseHtool对应于本发明的机器人/工具变换矩阵，变换矩阵toolHcal对应于本发明的工具/基准变换矩阵，变换矩阵camHbase对应于本发明的机器人/测量部变换矩阵。
如图5所示，利用传感器单元20对在安装于机器人21的臂212的指尖部分的校准板25上配置的校准目标26进行三维测量(步骤S1)。
对于通过由传感器单元20对校准目标26进行三维测量而得到的三维测量数据，使用校准目标26的3D CAD数据等三维形状模型进行拟合。由此，能够计算出照相机坐标系Σcam中的校准目标26的位置姿势(步骤S2)。三维测量数据是通过三维测量取得的、由各点具有三维信息的多个点构成的数据。可以是如点群数据那样各点具有照相机坐标系中的三维坐标值的形式的数据，也可以是深度值(进深距离的信息)与二维图像的各点(各像素)相关联的形式的数据。在此，使用点群数据作为三维测量数据。
通过识别照相机坐标系Σcam中的校准目标26的位置姿势，能够确定对校准目标26定义的目标坐标系Σcal与照相机坐标系Σcam的位置关系，因此能够计算从目标坐标系Σcal向照相机坐标系Σcam的变换矩阵camHcal(步骤S3)。
另外，臂212的指尖部分相对于机器人基座211的位置以及角度能够根据从机器人基座211到臂212的指尖部分为止的连杆等各部分的尺寸数据、和检测各关节的旋转角度等各自由度下的移动量的传感器的检测值来计算。因此，也能够计算出从工具坐标系Σtool向机器人坐标系Σbase的变换矩阵baseHtool(步骤S4)。
此时，设预先设定了校准板25相对于臂212的指尖部分的安装位置及姿势，设定了校准目标26应相对于校准板25配置的位置及姿势。这样，由于预先知道校准目标26相对于臂212的指尖部分的位置，因此也能够计算出从目标坐标系Σcal向工具坐标系Σtool的变换矩阵toolHcal(步骤S4)。
在此，从目标坐标系Σcal向工具坐标系Σtool的变换矩阵toolHcal、从工具坐标系Σtool向机器人坐标系Σbase的变换矩阵baseHtool、从目标坐标系Σcal向照相机坐标系Σcam的变换矩阵camHcal、从机器人坐标系向照相机坐标系Σcam的变换矩阵camHbase处于式(1)所示的关系。
如上所述，通过校准目标26的位置姿势的识别，计算出目标坐标系Σcal向照相机坐标系的变换矩阵camHcal。而且，如果预先设定了校准板25相对于臂212的指尖部分的安装位置以及姿势，设定了校准目标26应配置于校准板25的位置以及姿势，则校准目标26相对于臂212的指尖部分的位置是预先已知的。因此，也能够计算出从目标坐标系Σcal向工具坐标系Σtool的变换矩阵toolHcal。另外，臂212的指尖部分相对于机器人基座211的位置能够根据从机器人基座211到臂212的指尖部分为止的连杆的尺寸数据和检测各关节的旋转角度的传感器的检测值来计算，因此也能够计算出从工具坐标系Σtool向机器人坐标系Σbase的变换矩阵baseHtool。
这样，由于能够计算出式(1)中右边的camHbase以外的变换矩阵，所以能够根据式(1)计算camHbase。即，能够计算出从机器人坐标系Σbase向照相机坐标系Σcam的变换矩阵，能够进行机器人-传感器单元间校准(步骤S5)。
校准的结果被输出到外部装置，或者被保存到存储部223的规定区域(步骤S6)。
在上述的处理中，说明了已知校准目标26相对于工具坐标系Σtool的位置姿势，能够计算从目标坐标系Σcal向工具坐标系Σtool的变换矩阵toolHcal的情况。在此，对不知道校准目标26相对于工具坐标系Σtool的位置姿势的情况进行说明。在该情况下，以使校准目标26相对于传感器单元20成为不同的位置姿势的方式控制机器人21，通过传感器单元20对多个位置姿势下的校准目标26进行三维测量。这样，即使变更校准目标26的位置姿势，校准目标26相对于工具坐标系Σtool的相对关系也保持恒定。因此，能够根据针对校准目标26的各个位置姿势的多个式(1)，计算从目标坐标系Σcal向工具坐标系Σtool的变换矩阵toolHcal。
<实施例2>
(机器人视觉***的整体结构)
参照图8，对本发明的实施例2的机器人视觉***200进行说明。
对于与实施例1共同的结构，使用相同的标号并省略详细的说明。这里，机器人视觉***200与本发明的计算机视觉***对应。
在机器人视觉***200中，传感器单元20安装于机器人21的臂212的指尖部分。机器人视觉***200除了传感器单元20的安装位置以外，具备与机器人视觉***100共同的结构。
在机器人视觉***200中，在配置有机器人21的作业空间中配置的工作台28配置基准立体物1。
照相机坐标系Σcam、针对作为校准目标的基准立体物1定义的目标坐标系Σcal、工具坐标系Σtool、机器人坐标系Σbase与实施例1相同。另外，这些坐标系之间的变换矩阵camHcal、toolHcal、baseHtool以及camHbase也与实施例1相同。
在这些变换矩阵之间，式(1)同样成立。
在此，也以与图7所示的流程图同样的过程进行机器人-传感器单元间校准。
在本实施例中，传感器单元20安装于臂212的指尖部分。因此，与机器人的动作无关，照相机坐标系Σcam与工具坐标系Σtool的相对位置关系不变化。在校准中，也可以代替目标坐标系Σcal与工具坐标系Σtool之间的变换矩阵，而使用从照相机坐标系向工具坐标系的变换矩阵toolHcam。
另外，在图8所示的例子中，在工作台28配置有一个基准立体物1，但也可以如图3所示那样将配置有多个(在此为4个)基准立体物1-1、1-2、1-3、1-4作为校准目标的转台27配置于作业空间。通过使用多个基准立体物1-1、1-2、1-3、1-4，能够更准确地进行校准。
<实施例3>
(使用了基准立体物的对象物体的三维测量数据的对位)
关于基准立体物1，除了如上述那样进行机器人-传感器单元间的校准之外，还能够进行以下说明那样的利用。
图9A～图9E表示从不同的视点对在中央配置有对象物体30且在四角分别配置有基准立体物1-5、1-6、1-7、1-8的大致正方形的工作台29进行三维测量而得到的三维测量数据。
在从某个视点进行对象物体30的三维测量的情况下，由于对象物体30具有三维形状，所以并不是能得到所有面的三维测量数据。无法得到从照相机的视点观察时成为对象物体30的影子的部分的三维测量数据。如图9A所示，在从与工作台29正对的位置利用照相机进行了三维测量的情况下，能够得到对象物体30的前表面(在图9A中将纸面的近前侧的面称为前表面，以图9A为基准来决定对象物体30的上下左右)的三维测量数据，但无法得到对象物体30的上下左右的侧面的三维数据。
图9B、图9C、图9D以及图9E分别是从对象物体30的下表面侧、上表面侧、右侧面侧以及左侧面侧的视点通过照相机进行三维测量而得到的三维测量数据。如图9A～图9E所示，通过变更对象物体30相对于照相机的视点的相对位置，能够得到对象物体30的各种部位的三维测量数据。
这样，通过取得来自对象物体30的多个不同视点的三维测量数据，能够更准确地复原该对象物体30的三维形状。在对从不同的视点进行了三维测量的三维测量数据进行整合来复原对象物体30的三维形状的情况下，需要准确地进行三维测量数据相互的对位。因此，需要准确地识别三维测量对象物体30时的、对象物体30相对于照相机的位置姿势。
本实施例的基准立体物1-5、1-6、1-7、1-8从任何视点观察都没有对称性，其姿势是唯一地确定的形状，其大小也是已知的，因此通过将基准立体物1-5、1-6、1-7、1-8用于三维测量，能够准确地识别其位置姿势。通过将这样的基准立体物1-5、1-6、1-7、1-8配置于配置有对象物体30的工作台29，能够准确地识别三维测量时的对象物体30的位置姿势。另外，通过将基准立体物1-5、1-6、1-7、1-8配置于工作台29的四角，能够防止基准立体物的1-5、1-6、1-7、1-8的遮挡。进而，通过对4个基准立体物1-5、1-6、1-7、1-8的位置姿势识别结果进行平均化，能够更准确地识别对象物体30的位置姿势。但是，基准立体物1相对于对象物体30的配置位置、个数并不限定于此，能够根据对象物体30的形状、照相机的视野等适当设定。
在机器人21的臂末端安装多指手、吸附盘而进行拾取等把持对象物体30的动作的情况下，如没有对象物体30的3D CAD数据的情况、与实际的对象物体30的差异大的情况那样，存在无法使用3D CAD数据或者3D CAD数据不适当的情况。在这样的情况下，通过三维测量对象物体30，根据三维测量数据生成对象物体30的三维模型数据。然后，基于这样生成的对象物体30的三维模型数据，进行拾取等的对象物体30的把持位置识别，基于识别结果控制机器人来进行拾取等动作。为了进行这种情况下的对象物体30的三维测量，也可以在图5所示的机器人21的臂212的指尖部分安装配置有对象物体30和基准立体物1-5、1-6、1-7、1-8的工作台29来代替校准板25，控制机器人21，变更对象物体30相对于传感器单元20的位置姿势来进行三维测量。另外，也可以将配置有对象物体30和基准立体物1-5、1-6、1-7、1-8的工作台29配置于机器人21的作业空间，变更图8所示的安装于机器人21的臂的指尖部分的传感器单元20的位置姿势来进行三维测量。
在变更传感器单元20和对象物体30的位置姿势来进行三维测量的情况下，可以变更传感器单元20和对象物体30中的任意方的位置姿势，但也可以固定传感器单元而变更对象物体30的位置姿势。
(本实施方式的优点)
在以上所述的结构以及处理中，通过使用从任何方向观察都没有对称性的形状且具有规定的大小的基准立体物1进行三维测量，能够准确地识别基准立体物1相对于传感器单元的位置姿势。由此，能够提供提高机器人-传感器单元间的校准的精度的技术。
需要说明的是，以下为了能够对比本发明的构成要件和实施例的结构，带附图的附图标号地记载本发明的构成要件。
<发明1>
一种校准方法，在具有进行三维测量的三维测量部(20)以及控制所述三维测量部(20)的测量控制部(221)的计算机视觉***中，使用基准立体物(1)来执行该校准方法，该基准立体物(1)是从任何方向观察都不具有对称性的形状并且具有规定的大小，成为基于所述三维测量的位置姿势识别的基准，所述校准方法包括如下步骤：
通过所述三维测量部(20)对所述基准立体物(1)进行三维测量的步骤(S1)；
基于与所述基准立体物(1)的三维形状相关的数据和通过所述基准立体物(1)的三维测量而得到的三维测量数据，计算所述基准立体物相对于对所述三维测量部(20)定义的测量部坐标系的位置姿势的步骤(S2)；以及
基于所述基准立体物(1)相对于所述测量部坐标系的位置姿势，计算表示对所述基准立体物(1)定义的基准坐标系与所述测量部坐标系之间的坐标变换的基准/测量部变换矩阵的步骤(S3)。
标号说明
1：基准立体物；20：传感器单元；21：机器人；27：转台；30：机器人控制部；211：基端部；212：臂；221：传感器单元控制部；100、200：机器人视觉***。

Claims (6)

1.一种校准方法，
在具有进行三维测量的三维测量部以及控制所述三维测量部的测量控制部的计算机视觉***中使用基准立体物来进行所述校准方法，该基准立体物是将轴向的两端部形成为半球状的3个圆柱的一端结合而成且从任何方向观察都不具有对称性的形状并且具有规定的大小，成为基于所述三维测量的位置姿势识别的基准，
所述校准方法包括以下步骤：
通过所述三维测量部对所述基准立体物进行三维测量；
基于与所述基准立体物的三维形状相关的数据和通过所述基准立体物的三维测量而得到的三维测量数据，计算所述基准立体物相对于对所述三维测量部定义的测量部坐标系的位置姿势；以及
基于所述基准立体物相对于所述测量部坐标系的位置姿势，计算表示对所述基准立体物定义的基准坐标系与所述测量部坐标系之间的坐标变换的基准/测量部变换矩阵。
2.根据权利要求1所述的校准方法，其中，
所述计算机视觉***还具有：
机器人，其具有臂；以及
机器人控制部，其控制所述机器人，
通过所述三维测量部对所述基准立体物进行三维测量的步骤包括如下步骤：控制保持有所述基准立体物的所述臂，变更所述基准立体物相对于所述三维测量部的位置姿势地对该基准立体物进行三维测量。
3.根据权利要求1所述的校准方法，其中，
所述计算机视觉***还具有：
机器人，其具有臂；以及
机器人控制部，其控制所述机器人，
通过所述三维测量部对所述基准立体物进行三维测量的步骤包括如下步骤：控制保持有所述三维测量部的所述臂，变更所述三维测量部相对于所述基准立体物的位置姿势地对该基准立体物进行三维测量。
4.根据权利要求2所述的校准方法，其中，
所述校准方法还包括如下步骤：
基于所述基准/测量部变换矩阵，计算表示对所述机器人的基端部定义的机器人坐标系与对所述臂定义的工具坐标系之间的坐标变换的机器人/工具变换矩阵、表示所述工具坐标系与所述基准坐标系之间的坐标变换的工具/基准变换矩阵以及表示所述机器人坐标系与所述测量部坐标系之间的坐标变换的机器人/测量部变换矩阵。
5.根据权利要求1所述的校准方法，其中，
所述计算机视觉***具有配置有一个以上的所述基准立体物的台，该台能够变更所述基准立体物相对于所述三维测量部的位置和姿势中的至少任意一方，
通过所述三维测量部对所述基准立体物进行三维测量的步骤包括如下步骤：通过所述台变更所述基准立体物相对于所述三维测量部的位置和姿势中的至少任意一方地进行三维测量。
6.一种基准立体物，其用于权利要求1至5中的任一项所述的校准方法。
CN201980097798.7A 2019-07-26 2019-07-26 计算机视觉***的校准方法及用于该方法的基准立体物 Active CN114026384B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/029529 WO2021019627A1 (ja) 2019-07-26 2019-07-26 コンピュータビジョンシステムのキャリブレーション方法及びこれに用いる基準立体物

Publications (2)

Publication Number Publication Date
CN114026384A CN114026384A (zh) 2022-02-08
CN114026384B true CN114026384B (zh) 2023-12-22

Family

ID=74229418

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980097798.7A Active CN114026384B (zh) 2019-07-26 2019-07-26 计算机视觉***的校准方法及用于该方法的基准立体物

Country Status (5)

Country Link
US (1) US20220357153A1 (zh)
EP (1) EP3974767A4 (zh)
JP (1) JP7180783B2 (zh)
CN (1) CN114026384B (zh)
WO (1) WO2021019627A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111515950B (zh) * 2020-04-28 2022-04-08 腾讯科技（深圳）有限公司 机器人坐标系变换关系确定方法、装置、设备和存储介质
US11908100B2 (en) * 2021-03-15 2024-02-20 Qualcomm Incorporated Transform matrix learning for multi-sensor image capture devices
JP7363841B2 (ja) * 2021-03-18 2023-10-18 Ｊｆｅスチール株式会社 モジュールブロック形状測定方法、モジュールブロック形状測定システム、および、炉建設方法
US20220395981A1 (en) * 2021-06-09 2022-12-15 eBots Inc. System and method for improving accuracy of 3d eye-to-hand coordination of a robotic system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04203907A (ja) * 1990-11-29 1992-07-24 Sanyo Mach Works Ltd 位置、姿勢測定装置用指示具
JP2002062127A (ja) * 2000-08-21 2002-02-28 Sanyo Mach Works Ltd 仮想稜線の三次元測定方法
JP2007121126A (ja) * 2005-10-28 2007-05-17 Yokohama Rubber Co Ltd:The ３次元形状測定装置及び３次元形状測定方法
DE102006021063B3 (de) * 2006-05-03 2007-09-06 Aicon 3D Systems Gmbh Markierungskörper für eine dreidimensionale photogrammetrische Vermessung eines Objekts
CN105026885A (zh) * 2013-01-09 2015-11-04 卡尔蔡司工业测量技术有限公司 用于求取旋转装置旋转误差的检验体
CN106886990A (zh) * 2015-12-14 2017-06-23 财团法人工业技术研究院 三维坐标缝合方法及应用其的三维坐标信息缝合装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3306781B2 (ja) * 1992-12-31 2002-07-24 株式会社ダイヘン 産業用ロボットの手動操作による教示制御装置および教示方法
BE1014137A6 (nl) * 2001-04-24 2003-05-06 Krypton Electronic Eng Nv Werkwijze en inrichting voor de verificatie en identificatie van een meetinrichting.
JP4423811B2 (ja) 2001-04-27 2010-03-03 コニカミノルタセンシング株式会社 三次元形状測定システム及び三次元形状測定方法
US7423666B2 (en) * 2001-05-25 2008-09-09 Minolta Co., Ltd. Image pickup system employing a three-dimensional reference object
JP4877891B2 (ja) * 2001-08-03 2012-02-15 株式会社トプコン 校正用被写体
JP4863006B2 (ja) * 2006-12-28 2012-01-25 パルステック工業株式会社 ３次元形状測定方法
JP6080407B2 (ja) * 2012-07-03 2017-02-15 キヤノン株式会社 ３次元計測装置及びロボット装置
JP6210748B2 (ja) * 2013-06-17 2017-10-11 キヤノン株式会社 三次元位置計測装置、及び三次元位置計測装置のキャリブレーションずれ判定方法
JP6572262B2 (ja) * 2017-06-06 2019-09-04 ファナック株式会社 教示位置修正装置および教示位置修正方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04203907A (ja) * 1990-11-29 1992-07-24 Sanyo Mach Works Ltd 位置、姿勢測定装置用指示具
JP2002062127A (ja) * 2000-08-21 2002-02-28 Sanyo Mach Works Ltd 仮想稜線の三次元測定方法
JP2007121126A (ja) * 2005-10-28 2007-05-17 Yokohama Rubber Co Ltd:The ３次元形状測定装置及び３次元形状測定方法
DE102006021063B3 (de) * 2006-05-03 2007-09-06 Aicon 3D Systems Gmbh Markierungskörper für eine dreidimensionale photogrammetrische Vermessung eines Objekts
CN105026885A (zh) * 2013-01-09 2015-11-04 卡尔蔡司工业测量技术有限公司 用于求取旋转装置旋转误差的检验体
CN106886990A (zh) * 2015-12-14 2017-06-23 财团法人工业技术研究院 三维坐标缝合方法及应用其的三维坐标信息缝合装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于双目立体视觉的无线柔性坐标测量***;张元元;张丽艳;杨博文;;仪器仪表学报(07);全文 *

Also Published As

Publication number Publication date
CN114026384A (zh) 2022-02-08
EP3974767A1 (en) 2022-03-30
JP7180783B2 (ja) 2022-11-30
EP3974767A4 (en) 2023-01-11
WO2021019627A1 (ja) 2021-02-04
JPWO2021019627A1 (zh) 2021-02-04
US20220357153A1 (en) 2022-11-10

Similar Documents

Publication Publication Date Title
CN114026384B (zh) 计算机视觉***的校准方法及用于该方法的基准立体物
JP7237483B2 (ja) ロボットシステムの制御方法、制御プログラム、記録媒体、制御装置、ロボットシステム、物品の製造方法
JP6426725B2 (ja) 移動可能な対象物体の場所を追跡するためのシステム及び方法
JP6000579B2 (ja) 情報処理装置、情報処理方法
JP5365218B2 (ja) ロボットビジョンシステムおよび自動キャリブレーション方法
CN107883831B (zh) 测量***和测量方法
EP2682711B1 (en) Apparatus and method for three-dimensional measurement and robot system comprising said apparatus
US20150127162A1 (en) Apparatus and method for picking up article randomly piled using robot
CN112672860A (zh) 用于ar和数字孪生的机器人校准
JP6025386B2 (ja) 画像計測装置、画像計測方法及び画像計測プログラム
US20150202776A1 (en) Data generation device for vision sensor and detection simulation system
KR102056664B1 (ko) 센서를 이용한 작업 방법 및 이를 수행하는 작업 시스템
JP2016099257A (ja) 情報処理装置及び情報処理方法
JP2013130426A (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
JP2014046433A (ja) 情報処理システム、方法及びプログラム
WO2020217878A1 (ja) 対象物の位置姿勢を検出する装置、方法およびプログラム
US12002240B2 (en) Vision system for a robotic machine
US20190139255A1 (en) Posture positioning system for machine and the method thereof
CN110664484A (zh) 一种机器人与影像设备的空间注册方法及***
CN112109072B (zh) 一种大型稀疏特征托盘精确6d位姿测量和抓取方法
CN111745639B (zh) 信息处理方法及装置、物体检测装置以及机器人***
JP7439410B2 (ja) 画像処理装置、画像処理方法およびプログラム
WO2023013740A1 (ja) ロボット制御装置、ロボット制御システム、及びロボット制御方法
JP3925129B2 (ja) ３次元画像撮像装置および方法
US20240003675A1 (en) Measurement system, measurement device, measurement method, and measurement program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant