CN104735444A - 根据直线特征执行视觉***平面手眼校准的***和方法 - Google Patents

Abstract

本发明提供一种***和方法，通过使用具有至少一个特征的所制物体来对一个视觉***进行手眼校准。该特征可以是线性特征，并且物体在一运动台体上至少在一个自由度上以平移或旋转方式运动。该***还包括至少一第一视觉***相机和一图像处理器。所述第一视觉***相机布置为可获取所制物体的第一线性特征的图像，并可响应于所述运动台体在至少一个平移自由度上的运动而跟踪所述第一线性特征的运动。所述第一线性特征沿一平面在至少两个不同的位置被识别。基于所述至少两个位置，所述***计算所述第一相机在像素坐标系中的像素位置与在运动坐标系中物理位置之间的映射关系。

Description

根据直线特征执行视觉***平面手眼校准的***和方法

技术领域

本发明涉及一种在机器视觉***应用中所使用的校准***和方法以及校准物体。

背景技术

在机器视觉***(本文称为“视觉***”)中，一个或多个摄像机被用于对成像场景中的物体或表面执行视觉***处理。这些处理可以包括检查、符号解码、调整以及各种其它的自动化任务。更具体地讲，视觉***可用于检测成像场景中穿过的一个平面工件。场景通常由一个或多个视觉***摄像机成像，这些摄像机(一个或多个)可以包括操作相关视觉***处理以产生结果的内部或外部视觉***处理器。通常需要校准一个或多个摄像机以使它/它们有足够的精度和可靠性来执行视觉任务(多个)。校准板可用于校准摄像机。

校准物体(通常是一个“板”的形式)通常以在其表面带有特色图案的平板状物体的形式提供。特色图案通常经过精心设计，从而使用户能够很容易地从一个相机捕获的校准板图像中识别出每个可见特征。一些示例性的图案包括但不限于：点网格，线网格，或者大致的蜂窝图案，三角形棋盘图案等等。每个可见特征的特点可由(面)板的设计(比如相对于设计内部隐含定义的一个参考位置和/或坐标系的位置或方向)推知。

由交叉线和修饰图形镶嵌排列而成的棋盘图案设计，提供了在即便透视系数和镜头畸变、图案部分损坏、不均匀光照等非理想条件下执行校准时在精度和鲁棒性方面的一些优点。更具体地说，在一个静止物体的二维(2D)校准时，通过校准棋盘边缘确定单个棋盘块的各个角的相对位置，一般对于确定视觉***的精度是足够的，并且视情况而定，向相机处理器提供适当的校正系数以便运行时物体在考虑这些校正系数的条件下得到测量。

通过进一步了解校准原理可知：对于一个刚体，比如一个校准板，一种运动可由一对姿态来表征：运动前的初始姿态、运动后的终止姿态——“姿态”在此定义为用于描述在任意特定瞬间、当前坐标系下物体状态的一组数值——物体的一种虚拟特性。例如，在二维空间，一个刚体可用三个数字表征：X平移，Y平移和旋转R。校准板前后的姿态描述了当相机(多个)和校准板间存在相对运动时校准板如何呈现给相机(多个)。典型地，按所谓的“手眼校准”标准，一个校准板以许多不同的姿态呈现给相机(多个)，而每个相机获取校准板在每个姿态下的一幅图像。对于机器视觉的手眼校准，典型情况下，校准板被移动到多个预定姿态，而相机(多个)获取所述校准板的特定图像。此种手眼校准的目标是在“运动坐标系”中确定相机(多个)和校准板的刚体姿态。该运动坐标系可以用多种方式来定义。姿态的数目(指定校准板和/或这些相机在空间中的位置)必须在一个适当的坐标系中解释。一旦单一的统一坐标系被选定，则姿态和运动均在该全局坐标系中描述/解释。这个选定的坐标系被常称作“运动坐标系”。典型地，“运动”由一个能够完成物理运动的实际设备来提供，比如一个机器人手臂，或者一个运动台站，比如一台起重机架。请注意，校准板既可以相对于一个或多个固定相机运动，相机(多个)也可以相对固定校准板运动。此种运动执行装置的控制器使用数值(即姿态)命令装置执行任何想要的运动，而那些数值在适合该装置的本地坐标系中被解释。注意：尽管可以选定任意运动坐标系以提供一个相对于运动执行装置与相机(多个)的通用的全局坐标系，但通常希望选择运动执行装置的本地坐标系作为整体的运动坐标系。

因此，手眼校准通过运动的执行(或者移动校准板，或者移动相机)针对运动坐标系校准***，并在运动之前和之后获取图像以确定该运动对于一个运动物体的作用效果。通过进一步的背景延伸，这不同于典型的内在的和外在的相机校准，这种校准不包括(即“免于”)在一个运动坐标系中确定相机的外在姿态。在这种情况下，相机(多个)通常都使用所捕获的一个处于所有相机视野内特定位置的校准板的图像相对于校准板自身的坐标系得到校准。机器视觉校准软件根据每台相机捕获的校准板图像推导出每台相机的相对位置。这种校准被称作“针对校准板的校准相机”，而一个手眼校准被称作“针对运动坐标系的校准相机”。

当机器视觉***使用手眼校准时，其软件通过把图像中观察到的运动效果和受控运动(其受控运动数据是已知的)相关联来求解各个姿态。校准的另一个结果是在相机图像中的每个像素位置和运动坐标系中一个物理位置建立映射，因此在图像空间找到一个位置后，在运动坐标系中该位置可被解出，并且运动执行装置可据之执行命令。

在各种制造过程中，希望对齐一个扁平工件或更一般地，对齐一个所关注特征位于通常相互平行的离散平面上的工件。更具体地，组装应用中，一个工件与另一个工件对齐。一个示例性的处理是需要把一部蜂窝电话或一台平板电脑的复盖玻璃***其壳体内。另一个示例性的处理涉及打印应用，其中工件与处理设备对齐，比如丝网印刷移动电话、平板电脑或平板显示器的复盖玻璃的时候。

机器视觉手眼校准的标准技术(例如在以上描述的复盖玻璃安装布置时就要求移动一个特殊的校准目标，例如棋盘校准板)可能在操作方面比较麻烦(例如，工作区域的空间约束，特殊安装固定和/或用于握持目标的抓取装置)。这就使得自定义校准板和/或固定件的使用成为必需的，会增加成本和安装时间。

发明内容

通过移动一个典型的(运行时刻)工件(其下面的部件/物体处理装置，比如一个机器人和/或运动平台，被设计为在其计划的、运行时刻制造过程中进行处理)而提供一种用于执行平面的(即2D)手眼校准的***和方法，本发明克服了先前技术的不足。该***和方法可在手眼校准中降低对某个特定校准目标的视觉***的依赖。具体地，示例性实施例通过在台体运动时察看对于一个物体/工件的一个或多个直线特征保证手眼校准的性能。本***和方法有望使范围广泛的视觉***应用获得足够的校准精度水平。该***和方法通过工件随平台运动期间仅仅察看一个或多个直线特征即可示例性地执行手眼校准，并使用这些特征建立一个坐标系，以便视觉***作为参照。该***和方法利用单一的全局(和/或运动)坐标系便可应用于单个或多个相机配置。

在一个示例性实施例中，提供了一种用于视觉***(利用具有至少一个特征的所制物体)的平面的(2D)手眼校准的***和方法。该特征可以是线性特征，并且物体在一运动台体上至少在一个自由度上以平移或旋转方式运动。该***还包括至少一第一视觉***相机和图像处理器。该第一视觉***相机可按多种参数校准，这些参数可以是(或不是)相机本身具有的，以及安排用于获取所制物体第一线性特征的图像并响应于运动台体在至少一个平移自由度上的运动而跟踪第一线性特征的运动。一处理/处理器识别一个二维(2D)平面上至少两个不同位置的第一线性特征，并基于至少两个位置，计算出第一相机像素坐标系中的像素位置与运动坐标系中物理位置间的映射关系。线性特征为一边缘、一支架和一有明显对比度差异的区域中的至少一个。可选地，可提供第二视觉***相机(也可经过校准)。另外，在进一步实施例中，可布置提供可选的视觉***相机(例如第三个，第四个，等等)。第二视觉***相机可适当布置以便识别并分别跟踪所制作物体的至少一个第二线性特征。做为选择，两个或更多相机中的每一个(第一相机，第二相机等等)可跟踪同一个第一(等)特征(例如来自视域的不同点)。运动台体包括至少一将所制物体沿x轴移动的第一滑道，和一将所制物体沿y轴移动的第二滑道，y轴在2D平面通常大致与x轴正交。运动台体可包括升降机，所述升降机布置为沿一个与2D平面正交的z轴移动所制物体。该***可以进一步包括转台，可使所制物体至少能绕x轴，y轴和z轴之一旋转。第一滑道、第二滑道和升降机中至少有一个由包括转动导螺杆和受控电机的致动器驱动。示例性的旋转台体旋转所制物体。运动台体可包括导螺杆驱动的滑道和可操作地连接至该导螺杆的受控电机。电机可包括伺服电机或步进电动机中的至少一个。运动台体包括滑道和可操作地与之相连的受控线性电机。

附图说明

本发明以下描述参考下列附图，其中：

图1是一个示意图，表示一个示例性的制造布置，使用了一个或多个机器视觉***相机和相关的处理部件，用于按照此处图示的实施例的校准***和方法；

图2是一个含多个视觉***相机视域的示意图，每个视域指向一个包括单个线性边缘特征物体的分立区域；

图3是一个过程流程图，该过程利用附加到一个运动台体上的运行时刻物体的线性特征执行一个或多个相机的手眼校准；

图4是一个示意性的平面图，说明在一个示例性实施例中用于其视觉***的一个单轴运动台体；

图5是一个示意性的平面图，说明在一个示例性实施例中用于其视觉***的一个带有旋转的三轴运动台体；

图6是一个示意性的平面图，说明在一个示例性实施例中用于其视觉***的一个两轴运动台体；

图7是一个示意性的平面图，说明在一个示例性实施例中用于其视觉***的一个XXY类型运动台体。

具体实施方式

I.手眼校准，进一步的考虑

传统的手眼校准，无论是手动执行，还是在一个视觉***内，都必需在观察到的影像特征位置和它们的期望物理位置之间建立对应关系，并使观察到的位置和期望位置之间的差异最小化。在示例性实施例中，线性特征等的使用，都借用了传统的手眼校准的各个方面，不过强调了更多的考虑。这些考虑起因于按原先技术执行的传统的手眼校准中可用的校准特征与使用了运行时刻所制物体及有选择的线性特征的新颖校准方法之间的差异。这些差异主要涉及对应关系的类型，反过来，对应关系类型导致计算的不同方式并使所获图像中所观察到的数据和期望数据之间的差异最小化。

先前的技术趋于使用完全指定特征沿X和Y轴的2D位置的“点数据”。请注意，在三维手眼校准中，点数据完全地指定一个特征的三维位置。然而，该示例性实施例描述一个平面内的二维手眼校准，因此所作考虑主要适用于二维(2D)环境，将在下面进一步描述。例如，如果特征是一个圆盘，则“点数据”包括其中心的x和y坐标。可以预期第三维度能够利用适当的技术加入进来。在刘刚(GANG LIU)等的名为“使用不准确的校准目标的机器视觉***”的共同转让的美国专利申请号13/835,759中，讲授并描述了一种带有与一个点对点距离度量有关的相伴方程的解决方案，该方案参考了大卫J.迈克(David J.Michael)等的名为“确定一个相机和一个可移动物体间校准关系的基于NONFEEDBACK的机器视觉方法”的专利(美国专利号5,960,125)，每一个教导都以参考的形式清楚地结合进来，作为有用的背景信息。

示例性的实施例采用“线性数据”，只部分地指定了一个特征在x-y平面中的二维(2D)位置。即在一条直线(线性特征)延伸通过一个相机整个视野(FOV)的情况下，相机没有对示例性的直线的终点成像。更具体地讲，相机缺乏关于直线终点的任何信息源。因此，根据图像数据，相机和相关的视觉***只可以确定沿法线方向的直线位置(与图像中直线/线性特征的延长线垂直)，但是缺乏数据来确定实际成像的是直线的哪一段。事实上，如果相机沿着直线方向被移动，则所获取的图像将保持完全相同。因此，相机和视觉***包括只能确定沿一个维度的线段位置的数据(与线段的延长线垂直)。如此，当试图对应一个观察得到的线性特征与一个期望的线性特征时，沿着线性特征延长线的两个特征(观察的和预期的)的相对变换没有有用的信息。这是试图校准直线时的一个关键差别，其位置数据只有沿直线的法线可用，而不是使用点数据的更传统的校准那样，其位置数据在两个垂直的维度都可用(即沿着x和y轴)。通过非限制性实例，计算点到线距离的公式可定义如下：

d＝u*y-v*x-r

其中，(x,y)指定给定的点的位置。(r,u,v)参数化一个给定线，其中(u,v)是其单位长度方向矢量，而r是离原点(0,0)的带符号垂直距离。d是所述点到线的带符号的垂直距离。应注意当且仅当d＝0时所述点会准确落在所述线上。还请注意，可以想到的是，上述等式仅表示指定一个点线对应关系的多种技术之一。基于此处的教导，特别考虑了对技术人员应该是清楚的技术。

通过实例和比较，在传统的手眼校准视觉***中，校准过程操作按一种相对简单的方式来计算两点间距，一个由观察图像位置推导获得，另一个由预期位置推导获得。所述计算产生相机运行时刻操作时使用的必要校准参数。然而，基于线性数据的校准参数是截然不同的，因为该校准方法/算法使用了所谓的点到线度量，其为从一个给定点到给定线的垂直距离。从所述图像中观察的线段上的任何点可作为所述点，其中所述点作为相应观察所得数据的角色。一条预期线是所观察物体(部件)边缘的假定模型，受特定运动台体姿态影响，在此姿态图像被获取。从所述点到所述线的距离是手眼校准理论试图最小化的差异。这种一般化方法将在下面进一步描述。

根据使用线性特征校准的示例性实施例，一个目标是在使用所制运行时刻物体时允许校准出现－即在一个实际的制造/处理过程期间一个或多个物体被成像和操作，而不是使用一个有目的建造的校准物体。这种校准假定包括某些具有线性特征的边缘、框架等部件。使用一个所制运行时刻物体可提高操作的便利并避免停机和在场景中部署一个校准物体和相关的运动台体的相伴成本。通常，物体的几何形状要求并不严格，并且常常不希望在使用它校准前精确测量其几何形状。

一个特殊校准物体和一个所制物体(用于校准)两者都可包括一个或多个适合视觉***方法/算法来提取的影像特征。使用一个专用校准物体和一个运行时刻物体之间的关键区别是典型情况下缺乏特征(一般多重)间相对的空间关系方面的可用的精确尺寸。如果这样的度量在一个物体运行时刻可以获得，一般精度都非常低，因此，如果用作常规的校准物体，将对校准结果产生大的误差。因此，根据示例性实施例，手眼校准(以及相关的校准处理/处理器)通常可以预先不知道运行时刻物体的几何形状。所述处理/处理器为作为手眼校准过程一部分的成像物体上的观察所得直线(线性特征)推导出适当的等式，且不用输入任何精确测量的几何形状，比如部件的宽度或高度。以这种方式，按照此处示例性实施例，使用最小的先验信息并使用正常通过运动台体场景的物体，利用在一个或多个方向上沿着(例如)x-y平面的运动(其也用于台体运行时刻操作)，校准处理/处理器为相机和相关的视觉***推导出适当的校准参数这使特别地建造校准物体的需求最小化或彻底消除，固定件诸如此类及替代品依赖台体的可用运动和反馈能力。

注意，通常示例性实施例在此指“平面的”或2D手眼校准－即校准过程使用线性特征操作物体沿着一个平面(例如x,y)进行运动。适当时可以指定一个或多个高度(例如Z轴)值，但是通常对于沿着一个平面的给定校准测量集是不变的。

II.说明性视觉***布置

通过非限制性实例，图1显示了一个一般化制造布置100，其中一个第一物体或工件110由一个运动机械手和/或运动台体组件120悬挂于一个第二物体或工件112之上。在各种实施例中，第一工件110可以是一个透明窗体或其它面状构造，第二工件112可以是一个框架或壳体，被构造或布置为永久性地在一个组装步骤中接受第一工件110。第一工件之整个或部分表面可以是透明的(如图所示)、半透明或不透明。下面进一步描述工件110，112在未装配和装配后的配置情况。第二工件112位于一个运动台体(可包括一个部件运送器)121上，其按照该领域的技巧在一个运动台体控制器和相关的控制过程124控制下沿多个方向(箭头122)之每个方向运动。所述方向122可表征为在xy平面内的X轴和Y轴平移(或移动)，以及垂直于xy平面的Z轴(可选)平移(移动)。同样地，可以出现至少围绕z轴的旋转运动R。在一个示例性布置中，所述机械手组件120可被构造和布置为沿着至少一个轴(Z)运动(箭头130)，且可选地沿着x和/或y轴运动。可选地，在物体110和112组合期间使用的所有Z轴动作可由所述运动台体本身执行。所述运动台体平移的方向，和所述运动台体121运动的方向可看作视觉***相机在“运动坐标系”中的坐标轴，其在使用了适当的技术进行离线(非运行时刻)校准过程中都得到校准(下面进一步描述)。一种替代性布置100可包括绕x轴/或y轴规定的旋转(即“倾斜”)。

所述布置100至少包括一个，示例为四个视觉***相机140，142，144和146，每个都带有各自的图像传感器(简称“传感器”)150，152，154和156。每个传感器150，152，154和156通过各个镜头组件160，162，164和166在其视野内接收来自一个图像场景的光。所述场景由一个或多个照明组件170，172，174和176照亮，其可通过所述各个相机140，142，144和146的处理器选通。一个或多个所述照明组件可以是“内部的”，比如一个相机壳体内摄相机镜头周围的环形发光器，或一个或多个所述照明组件可以是外部的，适当布置后在所述场景中提供可接受的照明效果以使闭塞和其它不受欢迎的效果(比如由于表面的镜面反射)最小化。可以提供比图1所述布置100描述的更多或更少的发光器。另外，尽管所述相机140，142，144和146被描述为其光轴OA与场景倾斜布置(对z轴成锐角)，在替代性实施例中，每个相机的光轴OA可与z轴大体对齐(即在轴)。通常，如果实际可行，所述相机布置为能提供完整的、无阻挡的两个工件110和112的边缘视图。

用于每个(一个或多个)相机的视觉***处理器可全部或部分位于所述各个相机壳体之内。与每个相机有关的视觉***处理器和处理功能由方块180表示。在此为每个相机都提供了一个单独的视觉***处理器，相机可个自处理图象信息，并与一个进一步的远程处理器，比如一台PC机，分享视觉***结果。可替代地，一个或多个相机处理器可担当“主”视觉***处理器，而另一个相机担当“从”处理器，向主处理器传送未处理的图像数据以便进一步处理。可替代地，所有相机140，142，144和146可布置为通过适当的相机接口(例如，一个USB链接或基于TCP/IP的网络)将多个图像帧传送到一个中心视觉***处理单元(例如一台PC机)。

应注意，在此处所述相机可事先(可选地)根据内在和/或其它参数进行校准。这可使用在此处描述的一个传统的校准板实现。

按照一个示例性实施例，所述视觉***处理器/处理180包括一个相关的对齐处理182。所述对齐处理182被构造并布置为能确保第一工件110的外边缘184与当前工件112即第二工件的内部边缘186适当对齐。所述对齐处理182与所述操纵器组合的机器人控制188通信，以跟随并指示Z轴运动，同时也与所述运动台体控制器124通信，以跟随并指示x和y轴运动。基于来自对齐处理182的反馈，随着所述机械手沿着z轴降低第一工件使之与第二物体接合，所述运动台体121受控(一般在x，y方向以及旋转R)移动第一工件110与第二物体112进入适当的对齐状态。

在其它制造布置中，一个所制工件或物体与处理设备对齐，比如手机，平板电脑和平板显示器复盖玻璃的丝网印刷。对齐挑战与此类布置中出现的以上描述类似。如下面进一步描述，在另外的实施例中，明确考虑了操纵部件完成多种运动的各种可替换布置。一般地，所述视觉***包括特别的运动台体布置的模型，而该模型部分地基于引起所述特别运动的致动器的结构与功能。

III.校准过程

如图2所示，这种情况很常见：同时使用多个相机，当物体随运动台体(或其它运输工具)运动时，每个相机的视野用于跟踪完整物体200的一部分。如所示，所述每个相机的视野210，220，230和240分别位于与离散边缘212，222，232和242相邻的物体之部分区域。在各种的实施中，贯穿运行时刻的运动－台体－操纵过程，由每个相机分别跟踪的物体部分可保持在该相机的视野之内。在其它实施例中，可以预见的是不同特征可进入单个相机的视野中。如果是这样，就要使用适当的跟踪技术以区分所述不同的特征。

在一个示例性实施例中，所述对齐处理182包括一个训练***，该***在设置阶段(一般在任何运行时刻阶段之前)利用所制运行时刻物体200的(典型情况下)线性边缘特征执行手眼校准。如本文所述，所述运行时刻物体和/或所制物体(object under manufacture)是一个通常由运动台体运载以实行一个或多个组装和/或制造步骤的物体。这区别于特别地用于相机/视觉***的物体。如上总体描述的那样，按照在该领域已知的技术，手眼校准用于在图像像素坐标和运动台体坐标之间建立对应关系，其中运动台体物理上移动所述物体进入期望的对齐位置。在校准期间，台体移动物体到多个预定姿势，以便所述特征(多个)的一维(1D)位置信息可根据每个姿势推导而得。以这种方式(如上所提)，所述***和方法降低了对特定校准物体的依赖，其在所述的制造/检查环境所给定的空间约束下难于和/或不便使用。

参考图3，显示的是一个使用线性边缘特征用于手眼校准的过程300。对每个相机，获取传统的校准物体的至少一个图像，例如在步骤310中的“棋盘形”校准。在步骤320中，该图像用于校准每个相机特定的图像－实物的映射(或像素－校准特征的映射)。相机(多个)的固有变量在确定所述映射过程中可选地使用，但在此对于示例性实施例不是必须的。通常，步骤310和320确保所述相机和所述校准物体间没有移动。

在步骤330中，一个在制造时典型的运行时刻物体出现在成像场景中，而接受手－眼校准的每个相机都可看到所述物体的一个或多个线性的(即直线)特征(虽然有时术语称为一个“工件”)，同时所述物体刚性连接于所述运动台体。这些线性特征可以是边缘或任何其它特征，其表示一个可分别的线段－－例如，打印的边缘、符号或字母、支架、切块等等。通常，在设置期间所述视觉***可使用典型的边缘检测技术和工具发现这样的线性特征，而用户可在校准过程中手动标志这些特征进行跟踪。在第一位置和/或旋转角度获取所述物体的图像之后，所述台体(和联接物体)被移动到另外的预定姿势(即另外的x-y转移位置和/或转动角R)，直到设定的最后姿势(判定步骤332)。在每个姿势，每个相机捕捉所述物体/工件(步骤330)的一个图像。在获取了所述物体在一个或多个姿势的图像后，就从那些图像提取观看到的线性特征(使用从步骤320获得的相机校准参数)。所述线性特征的相对物理位置基于所述运动台体的已知位置(示例性的使用由控制器124或其它物理位置感测***(步骤350)提供的反馈)与那些分立的线性特征的关联决定。然后位置信息被用于使任何点到线的差异最小化，从而通过使一个观察点到一个预期线的距离差异最小化来计算手眼校准，其在步骤360中将每个相机的像素位置映射到所述运动台体运动坐标系中的物理位置。更具体地，所述校准处理和/或处理器使用一个所谓的点到线度量，其为一个给定点到一个给定线的垂直距离。任何从所述图像中提取的观察线段上的点(像素)都可充当所述点——其在对应关系中作为所述观察数据的角色。一条预期线是所观察部件边缘的假定模型，受特定运动台体姿态影响，在此姿态图像被获取。根据在此处所述示例性实施例，从所述点到所述线的距离是手眼校准理论试图最小化的差异。

IV.运动台体布置

参阅图4－7，说明了按照该领域的技巧实施的多个不同的运动台体。每个所述实施方式以及任何等效的布置可用于与所述示例性实施例的教导结合使用。

按照一个实施例，图4显示一个示例性的单轴(例如X轴或Y轴)运动台体400，其被置于成像场景之内。所述物体410(幻线所示)附加到所述台体滑块420，其在沿着一个轨道或其它基于线性轴承的引导方式(例如，轨道430)的适当的轴承上移动。所述滑块420由一个致动器电机440驱动。所述电机可包括任何可接受的适当连接的旋转或线性电机、减速齿轮传输等等。在一个实施例中，所述致动器电机440可包括伺服或步进电动机，其向一个适当的电机控制器(以上描述的)提供反馈控制信号。所述控制器允许所述***处理器精确地找到滑块的当前位置并比较该位置与由视觉***报告的其在运动坐标系中的位置。在本实施例中所述电机440旋转一个采用传统设计的导螺杆。所述导螺杆相对所述滑块420上的一个固定螺纹块旋转，从而以一个已知的比率把旋转运动转换为线性运动(双箭头460)。在替代实施例中，旋转致动器电机可用以用线性电动机代替，其按照已知的原理移动滑块。术语“致动器”或“致动器电机”应广义地理解为包括多样的旋转和线性电动机，包括那些由电力、液体和/或其它原动力驱动。

应注意两个或更多(许多)以上描述的单轴运动台体可被以各种的配置方式叠置(或别的方式布置)以产生直角的运动效果(例如一个xy布置，如下所述)。可以预见的是，运动台体可如此布置以产生三个直角运动(例如x，y和z坐标轴)，以及可选地，绕z轴旋转一个(或更多)度数。平移和/或旋转(例如，绕x和/或y轴倾斜)的附加程序在进一步台体结构中会明确规定。多家供应商提供商用的运动台体和运动台体部件。例如，以各种自由度组合转换的台体可由加利福尼亚州的Rancho Santa Margarita Newmark***公司提供。

参见图5，显示了一个具有xy配置的在成像场景内的一个两轴运动台体。所制物体410安装在滑块510上，其在两个独立致动器(总体如上所描述)540和550牵引驱动(双箭头520和530)下运动。这些力被正交布置在一个2D X轴/Y轴(xy)平面之内。按照在此处的实施例，该平面一般定义了手眼校准的运动坐标系。

参考图6，显示了一个具有xyzR结构的四自由度运动台体。所制物体410安装在滑块610上，其在两个独立致动器(总体如上所描述)640和650牵引驱动(双箭头620和630)下运动。再次说明，这些力被正交布置在一个2D X轴/Y轴(xy)平面之内。按照在此处的实施例，该平面一般定义了手眼校准的运动坐标系。在xy平面内物体410的旋转(双弯曲箭头R)可由一个旋转的台体660(幻影所示)提供，其具有一个相关的致动器670和适当的齿轮传动。一个Z轴升降台体(未示出)正交地移动物体410(横越680)到xy平面——目的是驱动所述物体与一个与之对齐的上覆物体接触。

应该清楚，范围宽泛的运动台体和结构可与此处描述的手眼校准***和方法联合使用。图7显示一个按照xxy布置的特别的示例性的(非限制性实例)运动台体结构700。滑块701在所述成像场景内运载所制物体410。所述致动器720沿着Y轴方向转移(双箭头730)所述滑块710。一对致动器740和750按间隔的指向布置，沿着所述直角X轴方向(指定x1和x2)转移(双箭头760和770)所述滑块710。所述两个致动器740和750可相互独立地控制以便各自可同时在相反的方向进行平移。所述致动器还可以枢轴连接至所述滑块710。因此，每个致动器740和750的反向平移可在xy平面之内引起有限旋转R1。这样可限制所述物体410与叠置的相关物体转动对齐。注意，提供的可选Z轴升降机和/或对齐物体(在图7中未示出)可提供在此处描述并显示的所述和其它示例性结构之机械手降低到物体410。更一般地，向所述台体滑块提供了所谓UVW布置。即，一个第一滑块和一个第二滑块大致相互平行，并且所述第一和第二滑块大致与第三个滑块垂直。每个滑块可独立地线性驱动。另外，可明确预期的是一对致动器(与x1，x2布置类似)可应用于所述台体的Y轴驱动器以提供一个带有有限旋转(双箭头R1)的xxyy台体布置，由同一平面内的位于一对直角坐标轴中的致动器提供。即，为台体提供了四个滑块，第一滑块和第二滑块大致相互平行，而第一和第二滑块同时大致垂直于第三和第四滑块——其中第三和第四滑块大致分别相互平行。使用两对滑块用于在两个直角方向之每个方向平衡力或负载。作为一个进一步备选方案，所述台体可布置为一个xyy布置，其每个滑块都可线性地驱动。

总体很清楚，以上描述的在一个平面的(2D)运动环境中对所制运行时刻物体利用线性的(或等效的)特征所做手眼校准之***和方法，在设置效率和成本方面提供了重要的改进，而且一般地有助于避免修改制造环境以适应一个传统的校准物体。

前述为本发明之示例性实施例的详细描述。在不脱离本发明的精神和范围的情况下，可以进行各种修改和补充。以上描述的各种实施例的各自特性可视情况与其它描述的实施例特性组合，以便在相关的新实施例中提供多重特性组合。此外，尽管前述描写了本发明的设备和方法的许多分离的实施例，但在此所描述的只是本发明之原理的应用的示例。例如，在替代实施例中，所述运动台体可布置为一个机械手手臂，构台等诸如此类，并且术语“运动台体”应广义地理解为包括这样的结构。例如，在此处所使用的术语“处理”和/或“处理器”应广义地包括多种基于硬件和/或软件的功能和部件。还有，此处使用了各种方向和指向术语，比如“垂直”，“水平”，“向上”，“向下”，“底部”，“顶部”，“侧面”，“正面”，“后面”，“左”，“右”，等等，只用于相对的常规而非相对于固定坐标系，比如地心引力，的绝对定向。此外，所描述处理或处理器可与其它处理和/或处理器组合或分割为各种子处理或处理器。此类子处理和/或子处理器按照此处实施例可为各种组合。同样地，可明确预期的是，此处的任何功能，处理和/或处理器可使用电子硬件、由程序指令的非易失性计算机可读取媒介构成的软件，或硬件和软件的结合。此外，可以预见的是某些或所有视觉***处理任务可在主模块或一个远程处理器(例如服务器或PC机)中执行，其在操作上通过有线或无线通信(网络)链接经所述接口模块连接到所述主模块。另外，在识别和跟踪在此描述的线性特征时，可明确预期线性特征和点特征两者都可通过所述整个***识别并分别跟踪，从而提供一个***，其混合了所述物体的线特征和点特征的识别与跟踪，产生一个用于校准的映射。因此，本说明书仅作为实例提供，并不限制本发明的范围。

Claims (20)

1.一种用于视觉***的平面手眼校准的***，使用具有至少一个特征的所制物体，所述物体在一运动台体上以平移或旋转方式在至少一个自由度上运动，所述***包括：

至少一第一视觉***相机和一视觉处理器，第一视觉***相机布置为获取所制物体的至少一第一线性特征的图像，并跟踪所述第一线性特征的运动以响应所述运动台体在至少一个自由度上的平移运动；并且

一处理，其识别二维(2D)平面上至少两个不同位置的第一线性特征，并基于该至少两个位置，计算出第一相机像素坐标系中的像素位置与运动坐标系中物理位置间的映射关系。

2.根据权利要求1所述的***，其中所述第一相机被固有校准。

3.根据权利要求1所述的***，其中所述第一线性特征是一边缘、一支架，以及一具有对比度差异的区域中的至少一个。

4.根据权利要求1所述的***，还包括第二视觉***相机，所述第二视觉***相机被布置为用于跟踪所述物体的特征。

5.根据权利要求4所述的***，其中所述第二视觉***相机被布置为用于识别并分别跟踪所制物体的第一线性特征与第二线性特征中的至少一个。

6.根据权利要求4所述的***，其中所述特征包括点特征，并且第一相机和第二相机每个都被构造和布置为可识别并分别跟踪点特征或线性特征。

7.根据权利要求1所述的***，其中所述运动台体包括至少将所制物体沿x轴移动的第一滑块，和将所制物体沿在2D平面与x轴正交的y轴移动的第二滑块。

8.根据权利要求7所述的***，其中所述运动台体包括升降机，所述升降机被布置为可将所制物体沿z轴垂直转移到所述2D平面上。

9.根据权利要求8所述的***，还包括转台，所述转台可使所制物体至少能绕x轴，y轴和z轴之一旋转。

10.根据权利要求8所述的***，其中所述第一滑块、第二滑块和升降机中的至少一个由包括旋转导螺杆和受控电机的致动器提供动力。

11.根据权利要求1所述的***，还包括转动所制物体的旋转台体。

12.根据权利要求1所述的***，其中所述运动台体包括导螺杆驱动的滑块和可操作地连接至所述导螺杆的受控电机。

13.根据权利要求2所述的***，其中所述电机包括伺服电机或步进电动机中的至少一个。

14.根据权利要求1所述的***，其中所述运动台体包括滑块和可操作地与其连接的受控线性电机。

15.根据权利要求1所述的***，其中运动台体布置为带有大致相互平行的第一滑块和第二滑块的UVW型运动台体，且每个所述第一滑块和第二滑块大致与第三滑块垂直。

16.根据权利要求1所述的***，其中所述运动台体布置为带有大致相互平行的第一滑块和第二滑块的xxyy类型的运动台体，且每个所述第一滑块和第二滑块大致与第三滑块和第四滑块垂直，所述第三滑块和所述第四滑块大致相互平行。

17.一种用于视觉***的平面手眼校准的方法，使用具有至少一个特征的所制物体，所述物体在运动台体上以平移或旋转方式至少在一个自由度上运动，所述方法包括如下步骤：

提供至少一第一视觉***相机和一视觉处理器，所述第一视觉***相机布置为用以获取所制物体上至少一第一线性特征的图像；

跟踪所述第一线性特征的运动以响应所述运动台体在至少一个平移自由度上的运动；

沿二维(2D)平面在至少两个不同的位置识别所述第一线性特征；并且

基于所述至少两个位置，计算所述第一相机在像素坐标系中的像素位置与在运动坐标系中物理位置之间的映射关系。

18.根据权利要求17所述的方法，其中所述第一线性特征是一边缘、一支架，以及一具有对比度差异的区域中的至少一个。

19.根据权利要求17所述的方法，还包括提供一第二视觉***相机，所述第二视觉***相机被布置为用于跟踪所述物体的特征。

20.根据权利要求19所述的方法，其中所述第二视觉***相机被布置为用于识别并分别跟踪所制物体的第一线性特征与第二线性特征中的至少一个。