CN103372862B

CN103372862B - 机器人***及其校准方法、机器人、校准装置及数码相机

Info

Publication number: CN103372862B
Application number: CN201310122560.XA
Authority: CN
Inventors: 相矶政司
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2012-04-12
Filing date: 2013-04-10
Publication date: 2016-06-29
Anticipated expiration: 2033-04-10
Also published as: JP5928114B2; JP2013215866A; US9075411B2; US20130274921A1; CN103372862A

Abstract

本发明涉及机器人***、机器人***的校准方法、机器人、校准装置以及数码相机，该机器人***具备：带标记的可动构件；基于控制信息在三维坐标系中控制所述可动构件的控制部；通过拍摄所述标记的可动范围来输出图像数据的数码相机；以及校准设备，其基于拍摄被控制在相互不同位置的所述标记而得的所述图像数据与所述控制信息来生成将所述图像数据的二维坐标系与所述三维坐标系建立对应的变换参数。

Description

机器人***及其校准方法、机器人、校准装置及数码相机

技术领域

本发明涉及机器人***、机器人***的校准方法、机器人、校准装置以及数码相机。

背景技术

以往，公知有一边用数码相机拍摄工件，一边用臂操作工件的机器人***。为使这样的***运转，需要进行将从数码相机输出的图像数据的坐标系与控制臂的坐标系建立对应的校准。专利文献1中公开了下述技术，即通过一边在使机器人的臂把持形成了特定的图像的图案板的状态下使臂移动，一边拍摄图案板，来实施校准。

专利文献1：日本特开平4－35885号公报

但是，如专利文献1所记载那样，在使用了校准用图案板的情况下，机器人***的用户必须保管图案板，每当校准时必须准备图案板，从而比较繁琐。

发明内容

本发明的目的之一是使机器人***的校准简便。

用于实现上述目的的机器人***具备：带标记的可动构件；基于控制信息在三维坐标系中控制所述可动构件的控制部；通过拍摄所述标记的可动范围来输出图像数据的数码相机；基于拍摄被控制在相互不同位置的所述标记而得的所述图像数据与所述控制信息来生成将所述图像数据的二维坐标系与所述三维坐标系建立对应的变换参数的校准设备。

根据本发明，由于标记被标注于可动构件，因此用户不需要保管图案构件，或者不需要在每次校准时准备图案构件。由此，机器人***的校准会更简便。

在用于实现上述目的的机器人***中，所述校准设备还可以基于拍摄被控制在相互不同的6个位置的所述标记而得的所述图像数据来生成所述变换参数。

在采用了该构成的情况下，能够如下那样将所述二维坐标系与所述三维坐标系建立对应。即，当假设所述二维坐标系中的所述标记的坐标为（x_i，y_i）（i=1，2，...，6），所述三维坐标系中的所述标记的坐标为（X_i，Y_i，Z_i），m=（M₁₁，...，M₃₄），用下式表示所述二维坐标系与所述三维坐标系的对应关系时，

【数式1】

s_{i} (\begin{matrix} x_{i} \\ y_{i} \\ 1 \end{matrix}) = (\begin{matrix} M_{11} & M_{12} & M_{13} & M_{14} \\ M_{21} & M_{22} & M_{23} & M_{24} \\ M_{31} & M_{32} & M_{33} & M_{34} \end{matrix}) (\begin{matrix} X_{i} \\ Y_{i} \\ Z_{i} \\ 1 \end{matrix})

能够将用下式表示的矩阵的固有矢量m=（M₁₁，...，M₃₄）作为所述变换参数

【数式2】

\underset{i}{Σ} {A {(x_{i}, X_{i})}^{T} A (x_{i}, X_{i})}

S_i：参数A：矩阵T：倒置。

此外，本发明作为机器人***的校准方法，作为与机器人以及数码相机独立的校准装置，作为具备校准功能的数码相机都可以成立。

附图说明

图1是本发明的实施方式的框图。

图2是本发明的实施方式的示意图。

图3是本发明的实施方式的框图。

具体实施方式

以下，参照附图对本发明的实施方式进行说明。此外，在各图中对对应的构成要素标注相同的附图标记，并省略重复的说明。

1．机器人***的构成

图1是表示本发明的机器人***100的构成的框图。机器人***100具备PC（PersonalComputer）10、机器人20和数码相机30。

机器人20具备作为可动构件的第一臂22和第二臂23，以及控制部21。第一臂22以及第二臂23分别具备多个连杆、连杆间的旋转机构、手部、多个致动器以及驱动电路。第一臂22的姿势由第一臂22所具备的多个连杆的姿势决定。即第一臂22的姿势由第一臂22所具备的各连杆的旋转机构的旋转角度θ_j（j＝1，2，3）决定。另外，第二臂23的姿势由第二臂23所具备的各连杆的旋转机构的旋转角度θ_j决定。在第一臂22的连杆的表面附有标记22a。标记22a是可以光学识别的图形。控制部21是具备CPU、RAM、ROM、输入输出机构等的计算机。控制部21通过执行从PC10的输出部10c输出的命令组，来一边使用数码相机30识别工件，一边控制连杆间的旋转机构的致动器，使第一臂22以及第二臂23执行“抓住工件”，“移动工件”，“释放工件”这样的操作。另外，控制部21通过将存储于ROM的校准程序加载到RAM中并利用CPU执行，而一边从数码相机30获取图像数据，一边实施后述的校准。即，控制部21也作为校准设备发挥作用。

数码相机30被固定于可以拍摄第一臂22以及第二臂23的可动范围的位置，与控制部21按照可进行通信的方式连接。数码相机30具备：包含未图示的区域影像传感器和光学***的拍摄部；以及修正并输出从拍摄部输出的图像数据的计算机。

PC10具备CPU、RAM、ROM、输入输出机构、硬盘装置等，并与键盘12、鼠标13、显示器11等操作装置连接。PC10通过将存储于硬盘装置的机器人控制程序加载于RAM中并利用CPU执行，来作为用户界面10a以及输出部10c发挥作用。用户界面10a在显示器11上显示GUI（GraphicalUserInterface：图形用户界面），从用户获取用于机器人示教（teaching）的指令。用于机器人示教的指令通过用户操作键盘12以及鼠标13而被输入到PC10。输出部10c将用于机器人示教的指令变换为用于控制控制部21的命令组，并向控制部21输出命令组。

2．机器人***的校准

以下说明的机器人***的校准是求取将数码相机30输出的图像数据的二维坐标系与控制部21在控制第一臂22以及第二臂23时使用的三维坐标系建立对应的变换参数的处理。具体地说，在数码相机30输出的图像数据中与拍摄到的标记22a的像素的位置对应的二维坐标系的坐标被设定为（x_i，y_i）（i=1，2，...，6），与控制部21在控制第一臂22以及第二臂23时使用的控制信息对应的三维坐标系的坐标被设定为（X_i，Y_i，Z_i），当用下式（1）表示这些二维坐标系与三维坐标系的对应关系时，求取变换参数m：m=（M₁₁，...，M₃₄）的处理相当于校准。此外，S_i与M₁₁～M₃₄是标量。

【数式3】

s_{i} (\begin{matrix} x_{i} \\ y_{i} \\ 1 \end{matrix}) = (\begin{matrix} M_{11} & M_{12} & M_{13} & M_{14} \\ M_{21} & M_{22} & M_{23} & M_{24} \\ M_{31} & M_{32} & M_{33} & M_{34} \end{matrix}) (\begin{matrix} X_{i} \\ Y_{i} \\ Z_{i} \\ 1 \end{matrix}) \cdot \cdot \cdot (1)

S_i：参数

在此，式（1）中有M₁₁～M₃₄这12个未知数。若将表示相同的位置的（x_i，y_i）与（X_i，Y_i，Z_i）的1组代入到式（1），则能够消去2个未知数，因此若获取6组表示6个不同位置的（x_i，y_i）与（X_i，Y_i，Z_i），则能够经解析地求取12个未知数（M₁₁，...，M₃₄）。

通过求取变换参数m，能够将数码相机30所输出的图像数据的任意的坐标（x，y）变换为控制部21在控制第一臂22以及第二臂23时使用的任意的坐标（X，Y，Z），或者能够将坐标（X，Y，Z）变换为坐标（x，y）。通过求取这样的变换参数，可以一边使用数码相机30识别工件，一边使第一臂22以及第二臂23执行“抓住工件”、“移动工件”、“释放工件”这样的操作。另外，用户根据机器人20的设置环境任意地设定了针对机器人20的数码相机30的位置和姿势后，能够设定变换参数m，因此用户能够自由地设定机器人20与数码相机30的位置关系。

图2是表示由控制部21执行的机器人***的校准的流程的流程图。参照图2说明的以下的处理例如通过由PC10指示校准的开始，或者通过按压设置于机器人20的复位开关而开始。

首先，控制部21将规定为了校准而预先确定的第一臂22的6个姿势的控制信息F_i（i=1，2，...，6）从ROM读入RAM，基于控制信息F₁将第一臂22控制为最初的姿势（S100）。第一臂22的姿势由第一臂22所具备的连杆间的旋转机构的旋转角度决定，因此能够用下式（2）表示。此外，虽第一臂22的旋转机构的数量为3，并将各旋转机构的旋转角度表示为θ₁、θ₂、θ₃，但第一臂22的旋转机构的数量可以为2以下，也可以为4以上。

F_i＝（θ₁，θ₂，θ₃）…（2）

具体地说，控制部21设定i＝1后，将控制信息F_i（i＝1，2，…，6）从RAM读入CPU，将F₁作为目标值来控制第一臂22的各旋转机构的致动器。此外，在本实施例中，校准用的控制信息F_i被预先确定，因此在由F_i确定的姿势下，必须按照能够从数码相机30看见第一臂22的标记22a的方式设定机器人20与数码相机30的位置关系，但也可以是用户在可以从数码相机30看见第一臂22的标记22a的范围内，能够设定用于校准的控制信息F_i。

然后，控制部21指示数码相机30进行拍摄，从数码相机30获取图像数据（S101）。由此，控制部21获取拍摄第一臂22的标记22a而得的图像数据。

然后，控制部21对获取到的图像数据进行解析，在图像数据的二维坐标系中检测标记22a的位置（S102）。对于标记22a的检测，能够使用公知的图案匹配等技术。对于标记22a的位置而言，例如将图像数据的4个顶点之一的像素作为原点，并假设标记22a的重心所处位置的像素的坐标（x_i，y_i）。控制部21存储这样计算出的二维坐标系的坐标（x_i，y_i）直至计算出变换参数。

然后，控制部21基于在控制第一臂22时使用的控制信息F_i，来计算标记22a的三维坐标（X_i，Y_i，Z_i）（S103）。标记22a的位置用第一臂22的各旋转机构的旋转角度θ_j、第一臂22的各旋转机构的旋转轴的相对的位置与姿势、标记22a相对于带标记22a的连杆的旋转轴的相对的位置来表示。具体地说，当带标记22a的第三连杆的位置与姿势由第一臂22所具备的3个旋转机构的旋转角度决定时，标记22a的位置由（F_i，p₁，p₂，p₃，p₄）来表示。在此。p₁是固定于机器人20的非可动部分的坐标系的矢量，即是在控制第一臂22时使用的三维坐标系的矢量，表示固定于机器人20的非可动部分的第一连杆的旋转轴的位置与姿势。p₂是固定于第一连杆的坐标系的矢量，表示连结第一连杆与第二连杆的旋转轴的位置与姿势。p₃是固定于第二连杆的坐标系的坐标，表示连结第二连杆与第三连杆的旋转轴的位置与姿势。p₄是固定于第三连杆的坐标系的坐标，表示标记22a的重心相对于连结第二连杆与第三连杆的旋转轴的位置。控制部21对这样表示的标记22a的位置进行线性变换，而变换为固定于机器人20的非可动部分的三维坐标系的坐标（X_i，Y_i，Z_i）。控制部21存储通过线性变换计算出的三维坐标系的坐标（X_i，Y_i，Z_i），直至计算出变换参数。

然后，控制部21判断对预先确定的6个姿势的上述步骤S101到步骤S103的处理是否结束（S104）。

在对预先确定的6个姿势的上述步骤S101到步骤S103的处理未结束的情况下，控制部21使i＝i＋1，进行自增1，基于下一控制信息F_i来控制第一臂22，再次执行从S101到S104的处理。

在对预先确定的6个姿势的上述步骤S101到步骤S103的处理结束的情况下，控制部21基于在步骤S102中检测出的二维坐标系的坐标（x_i，y_i）与在步骤S103中计算出的三维坐标系的坐标（X_i，Y_i，Z_i），计算将图像数据的二维坐标系与控制第一臂22时使用的三维坐标系建立对应的变换参数。具体而言，如下所述。

首先，式（1）能够省略地表示为下式（3）。

s_ix_i＝MX_i…（3）

式（3）中存在标量倍的不定性。从式（3）中消去s_i，对M₁₁～M₃₄进行归纳，可写为下式（4）。

A（x_i，X_i）m＝0…（4）

在此，为

【数式4】

A (x_{i}, X_{i}) = (\begin{matrix} X_{i} & Y_{i} & Z_{i} & 1 & 0 & 0 & 0 & 0 & x_{i} X_{i} & x_{i} Y_{i} & x_{i} Z_{i} & x_{i} \\ 0 & 0 & 0 & 0 & X_{i} & Y_{i} & Z_{i} & 1 & y_{i} X_{i} & y_{i} Y_{i} & y_{i} Z_{i} & y_{i} \end{matrix}) \cdot \cdot \cdot (5)

A：矩阵

【数式5】

m＝(M₁₁，...，M₃₄)^T…(6)

T：倒置

m相当于将图像数据的二维坐标系与在控制第一臂22时使用的三维坐标系建立对应的变换参数。

现在，考虑求取将使用在步骤S102中检测出的二维坐标系的坐标（x_i，y_i）和在步骤S103中计算出的三维坐标系的坐标（X_i，Y_i，Z_i）以下式（7）表示的函数f（m）最小化的m。

【数式6】

f (m) = \underset{i}{Σ} {| | A (x_{i}, X_{i}) m | |}^{2} \cdot \cdot \cdot (7)

当使用拉格朗日的待定乘数法时，这就变为导入待定乘数λ与约束条件g（m）＝0来求取用下式（8）表示的函数h（m，λ）的极值的问题。

h（m，λ）＝f（m）＋λg（m）…（8）

在此，为了消除不定性，将约束条件设定为∥m∥＝1，若假设

g（m）＝1－∥m∥²…（9）

则使函数f（m）最小化的m变为满足下式（10）的m。

【数式7】

\frac{&PartialD;}{&PartialD; m} h (m, λ) = 0 \cdot \cdot \cdot (10)

式（10）的左边能够按下式（11）的方式进行变形。

【数式8】

\frac{&PartialD;}{&PartialD; m} h (m, λ) = \frac{&PartialD;}{&PartialD; m} [m^{T} \underset{i}{Σ} {A {(x_{i}, X_{i})}^{T} A (x_{i}, X_{i})} m + λ (1 - m^{T} m)]

= \underset{i}{Σ} {A {(x_{i}, X_{i})}^{T} A (x_{i}, X_{i})} m - λm \cdot \cdot \cdot (11)

由此，控制部21能够将用下式（12）表示的矩阵的固有矢量作为变换参数m来进行计算。

【数式9】

\underset{i}{Σ} {A (x_{i}, X_{i})^{T} A (x_{i}, X_{i})} \cdot \cdot \cdot (12)

在以上说明的机器人***100的校准中，不需要用户保管在操作工件时没有使用的附带的校准用图案构件，或者不需要使机器人20的臂把持图案构件，因此机器人***100的校准简便。另外，由于不需要使机器人20的臂把持图案构件，因此在机器人20的运转中也可以实施校准。

3.其他的实施方式

此外，当然，本发明的技术的范围不限于上述的实施例，可以在不脱离本发明的要旨的范围内施以各种变更。例如，也可以在第一臂22的2个以上的连杆的表面分别标注标记。由此，能够缩短校准的所需时间。例如，在第一臂22的2个连杆的表面上分别标注标记的情况下，将第一臂22控制为3个姿势，按每个姿势获取图像数据，从而能够基于拍摄了被控制成相互不同的6个位置的标记的图像数据，使用上述的算法来计算变换参数。另外，即使在第一臂22、第二臂23的每一个上标注标记并同时使第一臂22以及第二臂23运动来实施校准，也能够缩短校准的所需时间。此外，由于标记的数量增加，即使使用上述的算法，为计算变换参数所需的图像数据是一个就足够了。

另外，由于针对数码相机的标记的自由度是6，因此作为求取变换参数用的信息，标记的6个位置信息具有冗余性。即，为了求取变换参数所需的标记的位置信息的数量由求取变换参数的数学算法来决定，可以是5以下，也可以是7以上。另外，上述的校准中使用的算法是统计手法，因此为求取变换参数所需的标记的位置信息的数量越多，则也就越能够提高校准的精度。

另外，标注标记的可动构件的种类可以是旋转运动的臂，也可以是手部，还可以是直线运动的杆、圆筒。另外，可以用光源、磁性体、热源、音源等构成标记。由磁性体构成的标记的位置使用磁传感器，由热源构成的标记使用热传感器，由音源构成的标记使用声学传感器，从而可以在二维坐标系中确定出各个的位置。

另外，可以使PC10作为机器人20和独立的校准装置发挥作用等，还可以在机器人20的外部设置校准设备。在使PC10作为校准装置发挥作用的情况下，如图3所示那样，使PC10作为控制信息获取部10d、图像数据获取部10e以及校准设备10f发挥作用的校准程序被存储于PC10的硬盘装置。在此，控制信息获取部10d获取用于控制标注了标记22a的机器人20的第一臂22的控制信息。控制信息也可以获取作为校准程序的常量预先存储在硬盘装置中的信息，也可以从机器人20的控制部21获取。在使用作为校准程序的常量预先存储在硬盘装置中的控制信息进行校准的情况下，PC10将从硬盘装置读入的控制信息F_i输出给机器人20的控制部21来控制第一臂22。图像数据获取部10e根据控制信息，从数码相机30获取拍摄了被控制在相互不同位置的标记22a而得的图像数据。校准设备10f基于拍摄标记22a而得的图像数据与控制信息来生成变换参数m，并输出给机器人20的控制部21。

另外，通过在数码相机30的CPU中执行包含这样的控制信息获取部10d、图像数据获取部10e和校准设备10f的校准程序，还可以使数码相机30作为校准装置发挥作用。

附图标记的说明：

10…PC，10a…用户界面，10a…输出部，11…显示器，12…键盘，13…鼠标，20…机器人，21…控制部，22…第一臂，22a…标记，23…第二臂，30…数码相机，100…机器人***。

Claims

1.一种机器人***，其特征在于，具备：

具有第一标记的第一可动构件；

具有第二标记的第二可动构件；

控制部，其基于控制信息在三维坐标系中分别控制所述第一以及第二可动构件；

数码相机，其通过分别拍摄所述第一以及第二标记来输出图像数据；以及

校准设备，其基于分别拍摄被控制于相互不同位置的所述第一以及第二标记而得的所述图像数据和所述控制信息，来生成将所述图像数据的二维坐标系与所述三维坐标系建立对应的变换参数。

2.根据权利要求1所述的机器人***，其特征在于，

具备输出部，该输出部向所述第一以及第二可动构件的控制部输出所述变换参数。

3.根据权利要求1所述的机器人***，其特征在于，

所述校准设备基于拍摄被控制于相互不同的6个位置的所述第一以及第二标记而得的所述图像数据来生成所述变换参数。

4.根据权利要求3所述的机器人***，其特征在于，

当将所述二维坐标系中的所述第一以及第二标记的坐标设为(x_i，y_i)，将所述三维坐标系中的所述第一以及第二标记的坐标设为(X_i，Y_i，Z_i)，其中i＝1，2，...，6，用下式表示所述二维坐标系与所述三维坐标系的对应关系时，

……数式1

将用下式表示的矩阵的固有矢量m＝(M₁₁，...，M₃₄)作为所述变换参数

S_i：参数A：矩阵T：倒置……数式2。

5.一种机器人***的校准方法，其特征在于，包含：

基于控制信息在三维坐标系中使带第一以及第二标记的第一以及第二可动构件分别移动，

通过用数码相机分别拍摄所述第一以及第二标记来获取图像数据，

基于分别拍摄被控制于相互不同位置的所述第一以及第二标记而得的所述图像数据和所述控制信息，来将所述图像数据的二维坐标系与所述三维坐标系建立对应。

6.一种机器人，其特征在于，具备：

具有第一标记的第一可动构件；

具有第二标记的第二可动构件；

控制部，其基于控制信息在三维坐标系中分别控制所述第一以及第二可动构件；以及

数码相机，其通过分别拍摄所述第一以及第二标记来输出图像数据，

所述机器人通过基于分别拍摄被控制于相互不同位置的所述第一以及第二标记而得的所述图像数据和所述控制信息来生成将所述图像数据的二维坐标系与所述三维坐标系建立对应的变换参数的校准设备进行校准。

7.一种机器人，其特征在于，具备：

控制信息获取部，其获取在三维坐标系中控制带第一以及第二标记的第一以及第二可动构件的控制信息；

图像数据获取部，其从数码相机获取拍摄被控制于相互不同位置的所述第一以及第二标记而得的图像数据；以及

校准设备，其基于分别拍摄所述第一以及第二标记而得的所述图像数据和所述控制信息，来生成将所述图像数据的二维坐标系与所述三维坐标系建立对应的变换参数。