CN103764304A - 在机器人***中拾取动作之后使传感器测量值无效的方法 - Google Patents

Abstract

本发明涉及在机器人分拣***的目标区域上分拣动作之后使传感器测量值无效的方法及***。在该方法中，使用传感器从目标区域中获得传感器测量值。使用目标区域上方的传感器来形成目标区域的第一图像。基于传感器测量值以及所述第一图像，使用机械臂在目标区域中执行第一分拣动作。随即，使用目标区域上方的传感器来形成目标区域的第二图像。比较第一图像与第二图像以判定目标区域中无效区域。基于传感器测量值，在未来分拣动作中避开无效区域。

Description

在机器人***中拾取动作之后使传感器测量值无效的方法

技术领域

本发明涉及用于利用机械臂和手爪操纵物理对象的***及方法。特别是，本发明涉及在机器人***中拾取动作之后使传感器测量值无效的方法。

背景技术

机器人***可用于各种物理对象（诸如制造组件、机械零件和可再生材料）的分拣和分类。分拣和分类要求物理对象以足够概率识别。在诸如回收和废物管理的应用中，重要的是，所分拣对象组的纯度高，即，在最终所分拣对象组中错误类型的对象尽可能少。所分拣组通常包括玻璃、塑料、金属、纸张和生物废物。待分拣对象通常在传送带上提供给机器人***，该机器人***包括至少一个机械臂，用于将对象分拣到许多目标垃圾桶。

在机器人***中，待移动或者操纵的物理对象的识别可采用不同类型传感器。第一类型传感器可包括用于形成整个目标区域的图像的传感器。例如，可使用可见光或者红外电磁辐射，产生目标区域的图像。第二类型传感器包括需要跨传感器视场移动成像对象的传感器。这种传感器的典型实例为配置于传送带上的行扫描仪传感器。行扫描仪传感器可配置为一行多个等距传感器。每个行扫描仪传感器负责获得传送带的纵向条带上的读数阵列。来自每个行扫描仪传感器的阵列可组合以形成传感器读数矩阵。这种传感器的例子可为红外扫描仪、金属探测器和激光扫描仪。第二类型传感器的区别特征在于在未移动成像对象的情况下（在以上例子中，是在未移动传送带的情况下）它们可能不形成传感器读数矩阵。第二类型传感器的问题在于需要相对于彼此移动成像对象或者传感器。

常常当机械臂从已经用于形成传感器读数矩阵的区域拾取或者试图拾取对象时，该矩阵至少部分地变为无效。在一些情况下，由拾取动作引起的变化并不限于拾取或者试图拾取的对象。在含有以无组织方式布置的目标对象（例如，待分拣废物）的传送带上，该对象可彼此连接并且至少部分在彼此顶部。因此，在拾取动作之后，对象中至少一些可能不再处于当矩阵形成时它们曾处于的位置。将传送带再次移动至同一行传感器阵列下方以形成相似矩阵是必要的。这样一来，在机械臂的每个拾取动作之后，必须前后移动传送带。对于用于移动对象的其它设置（诸如旋转盘片），问题相同。利用这种传感器获取第二读数耗能且耗时。因此，至少部分地使用相同行传感器读数矩阵来重复拾取动作将是有益的。

发明内容

根据本发明第一方面，本发明为方法，该方法包括以下步骤：使用目标区域中至少一个传感器来获得至少两个传感器测量值；形成所述目标区域的第一图像；基于在所述至少两个传感器测量值中至少第一传感器测量值，在所述目标区域中执行第一分拣动作；形成所述目标区域的第二图像；比较所述第一图像与所述第二图像以判定所述目标区域中至少一个无效区域；以及在所述目标区域中至少一个第二分拣动作中避开所述无效区域，所述第二分拣动作是基于在所述至少两个传感器测量值中至少第二传感器测量值。

根据本发明又一个方面，本发明为设备，所述设备包括：用于使用至少一个传感器从目标区域中来获得至少两个传感器测量值的装置；用于形成所述目标区域的第一图像的装置；用于基于在所述至少两个传感器测量值中第一传感器测量值在所述目标区域中执行第一分拣动作的装置；用于形成所述目标区域的第二图像的装置；用于比较所述第一图像与所述第二图像以判定所述目标区域中至少一个无效区域的装置；以及用于在至少一个第二分拣动作中避开所述目标区域中所述无效区域的装置，所述第二分拣动作是基于在所述至少两个传感器测量值中至少第二传感器测量值。

根据本发明又一个方面，本发明为计算机程序，所述计算机程序包括代码，当在数据处理***上执行时，所述代码适于引起处理器执行以下步骤：使用至少一个传感器从目标区域中来获得至少两个传感器测量值；形成所述目标区域的第一图像；基于在所述至少两个传感器测量值中至少第一传感器测量值，在所述目标区域内执行第一分拣动作；形成所述目标区域的第二图像；比较所述第一图像与所述第二图像以判定所述目标区域中至少一个无效区域；以及在至少一个第二分拣动作中避开所述目标区域中所述无效区域，所述第二分拣动作是基于在所述至少两个传感器测量值中至少第二传感器测量值。

根据本发明又一个方面，本发明为设备，所述设备包括至少一个处理器，所述至少一个处理器被构造为：使用至少一个传感器从目标区域中获得至少两个传感器测量值；形成所述目标区域的第一图像；基于在所述至少两个传感器测量值中至少第一传感器测量值，在所述目标区域中执行第一分拣动作；形成所述目标区域的第二图像；比较所述第一图像与所述第二图像以判定所述目标区域中至少一个无效区域；以及在至少一个第二分拣动作中避开所述目标区域中所述无效区域，所述第二分拣动作是基于在所述至少两个传感器测量值中至少第二传感器测量值。

在本发明一个实施方式中，使用机械臂来执行所述分拣动作。

在本发明一个实施方式中，图像（诸如第一图像和第二图像）可为可表示或者解译为二维矩阵或者阵列或者三维阵列的任何一种传感器数据。

在本发明一个实施方式中，图像（诸如第一图像和第二图像）可为单色或者多色照片。中性色单色图像称为灰度或者黑白图像。

在本发明一个实施方式中，图像（诸如第一图像和第二图像）可包括照片和高度图中至少一个。高度图可包括在给定点处高度值的二维阵列或者矩阵。高度图也可为目标区域的三维模型。例如，三维模型可包括（例如）一组点、一组线、一组向量、一组平面、一组三角形、一组任意地理形状中至少一个。高度图可与图像相关联，例如，作为元数据。

在本发明一个实施方式中，图像（诸如第一图像和第二图像）可为高度图。在本发明一个实施方式中，使用三维行扫描仪来捕捉高度图。

在本发明一个实施方式中，逐图像可能是指包括照片图像和高度图中至少一个的数据集合。照片图像可为二维或者三维。

在本发明一个实施方式中，除图像（诸如第一图像和第二图像）的另一个表示外，该图像可使高度图作为图像一部分与它相关联。

在本发明一个实施方式中，使用三维行扫描仪来捕捉高度图。行扫描仪可为激光行扫描仪。例如，激光行扫描仪可包括具有位置编码器和安装硬件的平衡旋转镜和电机。扫描仪使传感器的激光束偏转90度，当它旋转时使它扫过一整圈。

在本发明一个实施方式中，比较所述第一图像与所述第二图像以判定所述目标区域中至少一个无效区域的步骤还包括：比较所述第一图像和所述第二图像中区域的高度。所述区域可为任意大小或者形状。第一图像和第二图像可为高度图，或者它们可使单独高度图与它们相关联。

在本发明一个实施方式中，比较所述第一图像与所述第二图像以判定所述目标区域中至少一个无效区域的步骤还包括：选择所述第一图像或者所述第二图像的高度图之一；从选定的高度图产生两个新高度图，所述两个新高度图可称为最小图（min-map）和最大图（max-map），使用公式min-map=erode(heightmap)–fudgefactor，逐像素计算最小图，使用公式max-map=dilate(heightmap)+fudgefactor，逐像素计算最大图；通过对于第二高度图中每个像素h2(x,y)校验是否满足条件min-map(x,y)<h2(x,y)<max-map(x,y)，比较第二高度图h2（即，另一个高度图）与选定高度图h1；并且将未满足所述条件的像素选定为所述至少一个无效区域像素(x,y)。膨胀函数为形态膨胀算子。腐蚀函数为形态腐蚀算子。敷衍因子为常数或者与像素有关的常数阵列。

在本发明一个实施方式中，比较所述第一图像与所述第二图像以判定所述目标区域中至少一个无效区域的步骤还包括：形成选定高度图的上限表面，所述选定高度图为所述第一图像或者所述第二图像的高度图；形成选定高度图的下限表面；并且将在所述上限表面与所述下限表面之间所述另一个高度图不适合的这些区域选定为所述至少一个无效区域，所述另一个高度图为所述第一图像或者所述第二图像的高度图。

在本发明一个实施方式中，比较所述第一图像与所述第二图像以判定所述目标区域中至少一个无效区域的步骤还包括：将与所述第一图像或者所述第二图像相关联的高度图指派为第一高度图；将与另一个图像相关联的高度图指派为第二高度图；形成所述第一高度图的上限表面；形成所述第一高度图的下限表面；并且将在所述上限表面与所述下限表面之间所述第二高度图不适合的这些区域选定为所述至少一个无效区域。存在着与所述第一图像相关联的高度图以及与所述第二图像相关联的高度图。

在本发明一个实施方式中，比较所述第一图像与所述第二图像以判定所述目标区域中至少一个无效区域的步骤还包括：将所述第一图像或者所述第二图像指派为第一高度图；将另一个图像指派为第二高度图；形成所述第一高度图的上限表面；形成所述第一高度图的下限表面；并且将在所述上限表面与所述下限表面之间所述第二高度图不适合的这些区域选定为所述至少一个无效区域。在本实施方式中，所述第一图像和所述第二图像为高度图。

在本发明一个实施方式中，使用形态膨胀算子，逐像素计算上限表面。膨胀函数可定义为使得输出像素的值为在输入像素的相邻的所有像素的最大值。在二进制图像中，如果任何所述像素设置为值1，那么输出像素设置为1。敷衍因子可在计算中加或减到由膨胀函数提供的值。

在本发明一个实施方式中，使用形态腐蚀算子erode，逐像素计算下限表面。腐蚀函数可定义为使得输出像素的值为在输入像素的相邻的所有像素的最小值。在二进制图像中，如果任意像素设置为0，那么输出像素设置为0。敷衍因子可在计算中加或减到由腐蚀函数提供的值。

在本发明一个实施方式中，所述分拣动是使用机扑手执行的拾取动作。拾取动作也可称为夹送。

所述分拣动作可能是不成功的拾取动作。所述分拣动作可为目标区域中至少一个对象的移动、试图移动或者触碰。移动可在任何方向上。

在本发明一个实施方式中，基于第一图像以及在所述至少两个传感器测量值中至少第一传感器测量值，可使用机械臂来执行目标区域中第一分拣动作。

在本发明一个实施方式中，第二拾取动作可为基于第一图像和第二图像中至少一个连同在所述至少两个传感器测量值中至少第二传感器测量值。

在本发明一个实施方式中，在无效区域中测量第一传感器测量值，并且在无效区域中未测量第二传感器测量值。

在本发明一个实施方式中，通过使用第一摄像机捕捉目标区域的图像来形成第一图像，并且通过使用第二摄像机捕捉目标区域的图像来形成第二图像。

在本发明一个实施方式中，所述方法还包括以下步骤：使传送带运行预定义长度，所述目标区域位于所述传送带上，所述预定义长度对应于第一摄像机与第二摄像机之间的距离。

在本发明一个实施方式中，所述方法还包括以下步骤：使用透视校正，将第一图像和第二图像中至少一个变换为由第一图像和第二图像共享的坐标系。透视校正可补偿就第一摄像机和第二摄像机朝向传送带的视角中而言的差异以及就第一摄像机和第二摄像机到传送带的距离而言的差异中至少一个。例如，透视校正可包括校正第一图像与第二图像之间垂直倾斜和水平倾斜中至少一个。

在本发明一个实施方式中，所述方法还包括以下步骤：使用具有已知形状的测试对象，判定透视校正。透视校正可通过以下定义：当传送带运行时，使用第一摄像机捕捉多个第一测试图像，使用第二摄像机捕捉多个第二测试图像；并且在第一测试图像和第二测试图像中选择表示测试对象的最佳匹配图像。透视校正可定义为将最佳匹配第一测试图像和最佳匹配第二测试图像转化为共同坐标系所需的变换。

在本发明一个实施方式中，所述方法还包括以下步骤：当传送带运行时，使用第一摄像机捕捉多个第一测试图像，使用第二摄像机捕捉多个第二测试图像；在第一测试图像和第二测试图像中选择表示测试对象的最佳匹配图像；并且将传送带在所述图像之间已经运行的长度记录为预定义长度。

在本发明一个实施方式中，所述方法还包括以下步骤：对于第一图像和第二图像中至少一个进行高通滤波。

在本发明一个实施方式中，比较第一图像与第二图像的步骤还包括：形成第一图像和第二图像的多个区域，所述多个区域为至少部分重叠或者不同。利用窗口函数，所述多个区域可由第一图像和第二图像的整个区域形成。例如，窗口函数可为矩形窗口函数，或者它可为高斯窗口函数。所述区域可为定义高度和宽度的像素块，例如，诸如30×30像素。所述多个区域在第一图像和第二图像中可具有相同像素并且可具有相同大小。

在本发明一个实施方式中，比较第一图像与第二图像的步骤还包括：利用平滑函数，使所述多个区域中每个区域平滑化。平滑函数可为高斯核。

在本发明一个实施方式中，比较第一图像与第二图像的步骤还包括：基于第一图像与第二图像之间的低相关性以及第一图像内的高方差，将多个区域判定为所述至少一个无效区域。

在本发明一个实施方式中，将多个区域判定为所述至少一个无效区域的步骤还包括：对于每个区域，选择第一图像与第二图像之间的最大相关性屈服位移；并且使用所述最大相关性屈服位移，对于每个区域，计算第一图像与第二图像之间相关性。所述位移是水平方向或者垂直方向上给定数目像素的位移。例如，像素数目在任一方向上可小于五个或者三个像素。最大相关性屈服位移可通过单独在水平方向或者垂直方向上尝试每个所述位移来判定。

在本发明一个实施方式中，比较第一图像与第二图像的步骤还包括：在所述区域内判定第一图像内具有最高方差的多个区域。

在本发明一个实施方式中，比较第一图像与第二图像的步骤还包括：判定第一图像与第二图像之间相关性最低的多个区域；并且将具有最高方差和最低相关性的区域判定为所述至少一个无效区域。

在本发明一个实施方式中，对于达到无效区域的区域，第一图像内必定超出的局部方差阈值以及第一图像与第二图像之间未必超出的局部相关性阈值也可用作无效区域选择标准。

在本发明一个实施方式中，所述至少一个传感器包括红外传感器、金属探测器和激光扫描仪。红外传感器可为近红外（NIR）传感器。

在本发明一个实施方式中，所述摄像机为可见光摄像机、飞行时间三维摄像机、结构化光三维摄像机或者红外摄像机或者三维摄像机。

在本发明一个实施方式中，第一图像和第二图像使用单个三维摄像机来形成，例如，所述三维摄像机可为飞行时间三维摄像机或者结构化光三维摄像机。

在本发明一个实施方式中，使用来自传感器的数据，判定夹送或者拾取动作成功。如果夹送未成功，那么机械臂然后移动到不同位置进行另一尝试。

在本发明一个实施方式中，通过利用学习***进一步改良所述***，所述学习***可在所述设备中运行。

在本发明一个实施方式中，计算机程序存储于计算机可读介质上。计算机可读介质可为可移除存储卡、可移除存储模块、磁盘、光盘、全息存储器或者磁带。例如，可移除存储模块可为USB记忆棒、PCMCIA卡或者智能存储卡。

在本发明一个实施方式中，可使用三维图像捕捉摄像机而不是两个摄像机来捕捉第一图像和第二图像。三维图像捕捉摄像机可包括两个透镜和图像传感器。

在本发明一个实施方式中，第一传感器阵列和第二传感器阵列可在静止目标区域上移动以从第一传感器阵列和第二传感器阵列形成传感器读数矩阵。在这种情况下，没有传送带。待拾取对象可放置于静止目标区域上。在这种情况下，也可使用单个二维摄像机或者单个三维摄像机来捕捉第一图像和第二图像。

在本发明一个实施方式中，传送带可利用旋转盘或者盘片取代，待拾取对象放置于所述旋转盘或者盘片上。在这种情况下，第一传感器阵列和第二传感器阵列沿着盘或者盘片半径方向放置。

上文所述的本发明实施方式可以彼此任何组合来使用。一些实施方式可组合在一起以形成本发明又一个实施方式。与本发明相关的方法、***、设备、计算机程序或者计算机程序产品可包括上文所述的本发明实施方式中至少一个。

本发明益处与从机器人操作空间的对象选择质量提高相关。针对随后拾取动作的无效区域有关的信息使得在每次机械臂拾取动作之后没必要前后移动传送带（这是因为在每个拾取动作之后，传感器信息可能部分变为失效）。这节省了机器人***的能量和处理时间。

附图说明

为了进一步理解本发明而包括且构成本说明书一部分的附图示出本发明实施方式并且连同说明书一起有助于说明本发明原理。附图中：

图1为示出在本发明一个实施方式中应用两个行传感器阵列的机器人***的框图；

图2示出在本发明一个实施方式中使用放置于传送带上校准对象的两个摄像机的校准；

图3为示出在本发明一个实施方式中机器人***中在拾取动作之后使传感器测量值无效的方法的流程图；

图4为示出在本发明一个实施方式中在机器人***中在拾取动作之后使传感器测量值无效的方法的流程图；以及

图5为示出在本发明一个实施方式中在机器人***中判定目标区域内无效图像区域的方法的流程图。

具体实施方式

现将详细参考本发明实施方式，本发明实施方式的例子在附图中示出。

图1为示出在本发明一个实施方式中应用两个行传感器阵列的机器人***的框图。

图1中，机器人***100包括机器人110，例如工业机器人，所述机器人包括机械臂112。手爪114连接到机械臂116，手爪也可为夹具或者爪部。机械臂116能够可在传送带102的操作区域102B内移动手爪112。机械臂112可包括许多电机，例如，伺服电机，所述伺服电机使机械臂旋转、俯仰和夹送能够受控。机械臂112和手爪114的各种移动由致动器实现。举例来说，致动器可为电动致动器、气动致动器或者液压致动器或者这些致动器的任何组合。致动器可使机器人110的各种元件移动或者旋转。与机器人110相关的，存在着计算机单元（未示出），所述计算机单元将手爪114和机械臂112的目标坐标转化为输入到控制机械臂112和手爪114的致动器的适当电压和功率电平。使用用于将指定夹送指令的目标坐标从设备120输送到计算机单元的连接器（例如USB连接器），控制与机器人110相关联的计算机单元。响应于来自设备120的控制信号，致动器执行各种机械功能，包括但并不一定限于：将手爪114定位于操作区域102B内的特定位置上；使手爪114降或升；以及手爪114的闭合和打开。机器人110可包括各种传感器。举例来说，传感器包括各种位置传感器（未示出），所述位置传感器指示机械臂112和手爪114的位置以及手爪114的打开/闭合状态。手爪的打开/闭合状态并不限于简单是/否位。在本发明一个实施方式中，手爪114在其每个手指方面可指示多位打开/闭合状态，藉此可获得手爪中（多个）对象的大小和/或形状的指示。除位置传感器外，该组传感器可包括应变传感器，也称为应变仪或者力反馈传感器，所述应变传感器指示由机械臂112和手爪114的各种元件经历的应变。在说明性而非限制性实施例中，应变传感器包括可变电阻，其电阻值随施加于它们的压缩张力而变化。因为电阻值变化与电阻绝对值相比为小，所以通常按照惠斯通电桥配置来测量可变电阻。

图1中示出传送带102。在传送带上示出通过机器人110待分拣到许多目标垃圾桶（未示出）的许多对象，例如，对象108和对象109。在传送带102上示出两个行传感器阵列，即，传感器阵列103和传感器阵列104。传感器阵列包括许多等距传感器，所述等距传感器从在各自传感器下方传送带102的条带获得读数阵列。传感器阵列可放置为使得它们与传送带102的边正交。在本发明一个实施方式中，传感器阵列中的传感器可能不为等距，并且传感器阵列可相对于传送带102的边以非正交角度放置。传感器阵列中的传感器可为静止，或者它们可移动以扫描传送带102的更宽条带。例如，传感器阵列103可为近红外（NIR）传感器阵列。例如，传感器阵列104可为激光扫描仪阵列。每个传感器阵列负责获得阵列，即，传送带的纵向条带上的读数时间数列。来自每个传感器阵列的阵列可组合以形成传感器读数矩阵。

传送带102划分为两个逻辑区域，即，第一区域102A和第二区域102B。第一区域102A可称为原始区域，其中传送带102上对象未移动。第二区域102B为机器人110的操作区域，其中机器人110可夹送或者试图夹送对象，诸如对象108。对象108示出为包括由电线连接的两个部分。第一部分的移动引起第二部分的移动，第二部分的移动又引起对象109的移动，对象109部分在对象108的第二部分上。因此，区域102B内对象108的移动引起矩阵（即，许多矩阵元素）内传感器读数区域无效。对于每个矩阵元素，假定设备120知道在第二区域102B内与该元素对应的区域。

图1中，有第一摄像机105，该第一摄像机被配置为获得第一图像，该第一图像取自区域102A。也有第二摄像机106，该第二摄像机被配置为获得第二图像，该第二图像又取自区域102B。拍摄第一图像以判定在采取夹送动作之前传送带102上对象的配置。拍摄第二图像以判定在已经采取夹送动作之后对象的配置。夹送动作可能成功或者不成功。有特定传感器101，该特定传感器101可称为带编码器，该带编码器用于判定带位置的校正偏移，该校正偏移使得能够获得对应第一图像和第二图像，其中对象相对于带表面未移动貌似在几乎相同位置。带编码器101用于判定在给定时间窗口期间传送带102已经运行的步进数。

机器人110连接到数据处理设备120（简称设备120）。设备120的内部功能利用框140示出。设备120包括至少一个处理器142、随机存取存储器（RAM）148和硬盘144。一个或多个处理器142通过执行软件实体150、152、154和156来控制机械臂。设备120至少还包括：摄像机接口147；控制机器人110的机器人接口146；和传感器接口145。机器人接口146也可假定为控制传送带102的移动。接口145、146和147可为总线接口，例如，通用串行总线（USB）接口。终端130也连接到设备120，该终端至少包括显示器和键盘。终端130可为使用局域网连接到设备120的膝上型计算机。

设备120的存储器148包括程序集合，或者一般地，由至少一个处理器142执行的软件实体。有传感器控制器实体150，该传感器控制器实体经由接口145从传感器阵列103获得传感器读数矩阵，并且从传感器阵列104获得传感器读数矩阵。矩阵中元素表示当传送带102运行时在给定时刻来自给定传感器阵列内给定传感器的传感器读数。存在着臂控制器实体152，该臂控制器实体152经由机器人接口146发出指令给机器人110以控制机械臂116和手爪112的旋转、俯仰和夹送。臂控制器实体152也可接收与所测量机械臂112和手爪114的旋转、俯仰和夹送有关的传感器数据。臂控制器可利用基于经由接口146接收到设备120的反馈发出的新指令来致动臂。臂控制器实体152被构造为发出指令给机器人110以进行明确定义的高级操作。高级操作例子为，将机械臂移动到指定位置。还有摄像机控制器实体154，使用接口147与摄像机105和106进行通信。摄像机控制器实体引起摄像机105和106在指定时刻拍摄图片。摄像机控制器实体154经由接口147获得由摄像机105和106拍摄的图片并且将图片存储于存储器140中。

传感器控制器实体150可使用至少一个传感器从传送带102上目标区域获得至少一个传感器测量值。摄像机控制器实体154可使用第一摄像机捕捉该目标区域的第一图像。臂控制器实体152可使传送带运行预定义长度，该预定义长度对应于第一摄像机与第二摄像机之间的距离。基于至少一个传感器测量值和第一图像中至少一个，臂控制器实体152可使用机械臂在目标区域中执行第一拾取或者分拣动作。摄像机控制器实体154可使用第二摄像机捕捉目标区域的第二图像。图像分析仪实体156可比较第一图像与第二图像以判定目标区域中至少一个无效区域，并且指导臂控制器实体152在至少一个第二拾取或者分拣动作中避开目标区域中无效区域。

当至少一个处理器执行与本发明相关联的功能实体时，存储器包括诸如传感器控制器实体150、臂控制器实体152、摄像机控制器实体154和图像分析仪实体156的实体。图1所示设备120内的功能实体可以各种方式实现。它们可实现为在网络节点的本机操作***下执行的进程。实体可实现为单独进程或者线程，或者使得许多不同实体通过一个进程或者线程实现。进程或者线程可为包括许多例程的程序块实例，即，例如程序和功能。功能实体可实现为单独计算机程序或者包括实现该实体的几个例程或者功能的单个计算机程序。程序块存储于至少一个计算机可读介质上，诸如，例如存储电路、存储卡、磁盘或者光盘。一些功能实体可实现为链接到另一个功能实体的程序模块。图1中功能实体也可存储于单独存储器中并且由单独处理器执行，例如，单独处理器经由网络节点内消息总线或者内部网络进行通信。这种消息总线的例子为***组件互连（PCI）总线。

在本发明一个实施方式中，软件实体150至156可实现为单独软件实体，诸如，例如子例程、进程、线程、方法、对象、模块和程序代码序列。它们也可只为设备120中软件内的逻辑功能，该逻辑功能还未分组为任何特定的单独子例程、进程、线程、方法、对象、模块和程序代码序列。它们的功能可能遍布设备120的软件。一些功能可在设备120的操作***中执行。

在本发明一个实施方式中，可使用三维图像捕捉摄像机，而不是摄像机105和106。三维图像捕捉摄像机可包括两个透镜和图像传感器。在本发明一个实施方式中，摄像机为可见光摄像机、飞行时间三维摄像机、结构化光三维摄像机或者红外摄像机或者三维摄像机。

在本发明一个实施方式中，取代摄像机或者除摄像机外，可使用三维行扫描仪。

在本发明一个实施方式中，图像（诸如第一图像和第二图像）可为可表示或者解译为二维矩阵或者阵列或者三维阵列的任何一种传感器数据。

在本发明一个实施方式中，传感器阵列103和传感器阵列104可在静止目标区域上移动以从传感器阵列103和传感器阵列104形成传感器读数矩阵。在这种情况下，没有传送带。待拾取对象可放置于静止目标区域上。在这种情况下，也可使用单个二维摄像机或者单个三维摄像机来捕捉第一图像和第二图像。

在本发明一个实施方式中，传送带102可被旋转盘或者盘片取代，待拾取对象放置于旋转盘或者盘片上。在这种情况下，传感器阵列103和传感器阵列104沿着盘或者盘片半径方向放置。在这种情况下，第一区域102A和第二区域102B为盘或者盘片中扇区。

上文就图1而言所述的本发明实施方式可以彼此任何组合来使用。一些实施方式可组合在一起以形成本发明又一个实施方式。

图2示出在本发明一个实施方式中使用放置于传送带上校准对象的两个摄像机的校准。

在图2的布置200中，有校准对象，该校准对象在传送带102两个位置处示出为对象202A和202B。校准对象包括臂203，该臂配置为直接指向摄像机105。臂203可配置为使得它垂直于摄像机105中透镜平面。当传送带102运行时，摄像机105和106各拍摄多个图片。从图像中选择来自摄像机105的第一图像和来自摄像机106的第二图像。第一图像和第二图像被选定为使得臂203在第一图像中直接指向摄像机105而在第二图像中直接指向摄像机106。一般地，由摄像机105和106拍摄的最佳匹配图像被选定为第一图像和第二图像。在拍摄第一图像和第二图像之间传送带102已经运行的距离记录为带偏移210。带偏移210可记录为许多带步长。带步长可从带编码器101获得。当传送带102运行时，带编码器101可提供信号序列给传感器控制器150，该传感器控制器指示何时遇到传送带102或者单独定时带上定时标记或者指示符。定时标记或者指示符可均匀地隔开。带偏移210随后可用于判定传送带102必须运行的带步长数目，以对于就摄像机105而言在区域102A中传送带102上一些对象获得就摄像机106而言在区域102B中的相似位置。第一图像和第二图像用于形成透视校正，以使第一图像和第二图像处于共同坐标系。透视校正为第一图像和第二图像中至少一个中的点到坐标系的映射，其中补偿就摄像机105和摄像机106的位置差异而言相对于传送带102平面的差异。第一图像和第二图像可变换为第三透视平面。第三透视平面可正交于传送带102的平面。

上文就图2而言所述的本发明实施方式可以彼此任何组合来使用。一些实施方式可组合在一起以形成本发明又一个实施方式。

图3为示出在本发明一个实施方式中的机器人***中在拾取动作之后使传感器测量值无效的方法的流程图。

该方法可应用于如图1和图2所示的机器人***中。

在步骤300处，从传送带上目标区域获得至少一个传感器测量值。

在本发明一个实施方式中，该至少一个传感器测量值可为传感器测量值矩阵。

在本发明一个实施方式中，通过使传送带运行，从静止传感器阵列获得传感器测量值矩阵。传送带可运行为使得它从每个传感器捕捉测量值时间数列。该时间数列可表示矩阵中的列，而传感器标识符可表示矩阵中的行，或者反之亦然。

在步骤302处，使用安装于传送带上方的摄像机，捕捉目标区域的第一图像。

在本发明一个实施方式中，摄像机安装于传送带上方，使得传感器阵列不妨碍整个目标区域的图像捕捉。

在步骤304处，传送带运行预定义长度。

在本发明一个实施方式中，预定义长度被确定为使得第二摄像机可捕捉目标区域的第二图像，使得利用透视校正和滚动中至少一个，第一图像和第二图像可变换为共同坐标系。

在步骤306处，机械臂在目标区域中执行拾取动作。该拾取动作可能干扰目标区域中至少一个对象的位置。

在步骤308处，在拾取动作之后，使用第二摄像机捕捉目标区域的第二图像。

在步骤310处，使用第一图像与第二图像的比较，判定目标区域中至少一个无效区域。

在本发明一个实施方式中，在比较第一图像与第二图像之前，使用任一图像相对于另一个图像的透视变换和滚动中至少一个，第一图像和第二图像变换为共同坐标系。

在本发明一个实施方式中，第一图像和第二图像可划分为多个区域进行比较。

在本发明一个实施方式中，多个区域从第一图像和第二图像形成。该多个区域可至少部分重叠或者不同。利用窗口函数，该多个区域可由第一图像和第二图像的整个区域形成。例如，窗口函数可为矩形窗口函数，或者它可为高斯窗口函数。可从图像整个区域获得给定区域，使得像素值乘以窗口函数值。非零像素值或者超过预定义阈值的像素值可从图像整个区域选定到所述区域。例如，该区域可为定义高度和宽度的像素块，诸如，例如30×30像素。该多个区域在第一图像和第二图像中可具有相同像素并且可具有相同大小。

在本发明一个实施方式中，在比较之前，高斯核可用于使第一图像和第二图像中至少一个平滑化。平滑化可在从第一图像和第二图像形成的多个区域中执行。

在本发明一个实施方式中，在比较之前，第一图像和第二图像可进行高通滤波。在本发明一个实施方式中，判定第一图像中具有最高局部方差的区域。例如，使用公式 $\frac{1}{n}\underset{(x,y)\&Element;A}{\mathrm{\&Sigma;}}S(I_1(x,y)*I_1(x,y))-S(I_1(x,y)*I_1(x,y)),$ 计算区域A的局部方差，其中S为平滑函数（例如高斯核），I₁为第一图像中像素，并且x和y为像素坐标，n为区域A中像素数目。

在本发明一个实施方式中，判定第一图像与第二图像之间具有最低局部相关性的区域。例如，使用公式 $\frac{1}{n}\underset{(x,y)\&Element;A}{\mathrm{\&Sigma;}}\frac{S(I_1(x,y)*I_2(x,y))}{\sqrt{(S(I_1(x,y)*I_1(x,y))*S(I_2(x,y)*I_2(x,y)))}},$ 计算第一图像和第二图像内区域A的局部相关性，其中S为平滑函数（例如高斯核），I₁为第一图像中像素，I₂为第二图像中像素，并且x和y为像素坐标，n为区域A中像素数目。

在本发明一个实施方式中，对于每个区域A，判定第一图像中区域A与第二图像中区域B之间位移dx、dy，所述位移产生最高局部相关性，其中–m<dx<m，–m<dy<m，并且m为小自然数，例如，0=<m<5。区域A最高局部相关性被采用为区域A局部相关性。

在本发明一个实施方式中，具有最高局部方差和最低局部相关性的许多区域被选定为无效并且记录于存储器中。在随后至少一个拾取动作中避开无效区域。

在本发明一个实施方式中，在比较中，将第一图像与第二图像之间相关性低的区域选定为无效区域。在本发明一个实施方式中，在比较中，将第一图像与第二图像之间相关性低且第一图像和第二图像中至少一个内局部方差高的区域选定为无效区域。

在本发明一个实施方式中，针对无效区域的选择标准也可用作对于作为无效区域合格的区域，第一图像内必定超出的局部方差阈值以及第一图像与第二图像之间未必超出的局部相关性阈值。

在本发明一个实施方式中，对于矩阵中每个测量值，判定它是否属于无效区域。

在步骤312处，在通过机械臂的随后至少一个拾取动作中避开目标区域中至少一个无效区域。原因在于，在无效区域中执行的传感器测量值不再反映在拾取动作之后对象的位置。

图4为示出在本发明一个实施方式中的机器人***中在拾取动作之后使传感器测量值无效的方法的流程图。拾取动作可能失败，并且可能仅导致对象移动或者对象位置或者形状变化。拾取动作可能仅为对象或者目标区域的触碰。

该方法可应用于如图1和图2所示的机器人***中。

在步骤400处，从目标区域获得至少两个传感器测量值。目标区域可为静止或者在传送带上移动。

在本发明一个实施方式中，该至少两个传感器测量值可为传感器测量值矩阵。

在本发明一个实施方式中，通过使传送带运行，从静止传感器阵列获得传感器测量值矩阵。传送带可运行为使得它从每个传感器捕捉测量值时间数列。时间数列可表示矩阵中的列，而传感器标识符可表示矩阵中的行，或者反之亦然。

在本发明一个实施方式中，传感器测量值矩阵使用静止目标区域上方移动传感器阵列来形成。

在步骤402处，使用目标区域上方的图像传感器来捕捉目标区域的第一图像。在目标区域上方有至少一个图像传感器。例如，该至少一个图像传感器可为摄像机、激光扫描仪或者三维摄像机。该至少一个图像传感器可能并不严格地在目标区域上方，而是在没有充当妨碍其它对象的视野的障碍物的对象或者传感器的情况下能够捕捉目标区域图像的位置处。

在本发明一个实施方式中，摄像机安装于传送带上方，使得传感器阵列不妨碍整个目标区域的图像捕捉。

在本发明一个实施方式中，在获得所述至少两个传感器测量值和捕捉第一图像的步骤之后，传送带可运行预定义长度。

在本发明一个实施方式中，预定义长度被确定为使得第二摄像机可捕捉目标区域的第二图像，使得利用透视校正和滚动中至少一个，第一图像和第二图像可变换为共同坐标系。

在步骤404处，机械臂在目标区域中执行拾取动作。拾取动作可能干扰目标区域中至少一个对象的位置。

在步骤406处，在拾取动作之后，使用目标区域上方的图像传感器来捕捉目标区域的第二图像。在目标区域上方有至少一个图像传感器。例如，该至少一个图像传感器可为摄像机、激光扫描仪或者三维摄像机。该至少一个图像传感器可能并不严格地在目标区域上方，而是在没有充当妨碍其它对象的视野的障碍物的对象或者传感器的情况下能够捕捉目标区域图像的位置处。

在步骤408处，使用第一图像与第二图像的比较，判定目标区域中至少一个无效区域。

在本发明一个实施方式中，在比较第一图像与第二图像之前，使用任一图像相对于另一个图像的透视变换和滚动中至少一个，第一图像和第二图像变换为共同坐标系。

在本发明一个实施方式中，多个区域由第一图像和第二图像形成。该多个区域可至少部分重叠或者不同。该区域可为第一图像和第二图像的整个区域的子集。第一图像和第二图像的区域可具有相同像素，然而，在第一图像和第二图像中像素值不同。利用窗口函数，该多个区域可由第一图像和第二图像的整个区域形成。例如，窗口函数可为矩形窗口函数，或者它可为高斯窗口函数。可从图像整个区域获得给定区域，使得像素值乘以窗口函数值。非零像素值或者超过预定义阈值的像素值可从图像整个区域选定到所述区域。不同区域可从图像整个区域形成，使得形成对于不同域产生相同值的窗口函数。例如，该区域可为定义高度和宽度的像素块，诸如，例如30×30像素。该多个区域在第一图像和第二图像中可具有相同像素并且可具有相同大小。

在本发明一个实施方式中，在比较之前，高斯核可用于使第一图像和第二图像中至少一个平滑化。平滑化可在从第一图像和第二图像形成的多个区域中执行。

在本发明一个实施方式中，在比较之前，第一图像和第二图像可进行高通滤波。区域可为定义高度和宽度的像素块，诸如，例如30×30像素。

在本发明一个实施方式中，判定第一图像中具有最高局部方差的区域。可替换地，可判定超过预定义局部方差阈值的区域。例如，使用公式 $\frac{1}{n}\underset{(x,y)\&Element;A}{\mathrm{\&Sigma;}}S(I_1(x,y)*I_1(x,y))-S(I_1(x,y)*I_1(x,y)),$ 计算区域A局部方差，其中S为平滑函数（例如高斯核），I₁为第一图像中像素，并且x和y为像素坐标，n为区域A中像素数目。

在本发明一个实施方式中，判定第一图像与第二图像之间具有最低局部相关性的区域。可替换地，可判定低于预定义局部相关性阈值的区域。例如，使用公式 $\frac{1}{n}\underset{(x,y)\&Element;A}{\mathrm{\&Sigma;}}\frac{S(I_1(x,y)*I_2(x,y))}{\sqrt{(S(I_1(x,y)*I_1(x,y))*S(I_2(x,y)*I_2(x,y)))}},$ 计算第一图像和第二图像内区域A局部相关性，其中S为平滑函数（例如高斯核），I₁为第一图像中像素，I₂为第二图像中像素，并且x和y为像素坐标，n为区域A中像素数目。

在本发明一个实施方式中，对于每个区域A，判定第一图像中区域A与第二图像中区域B之间位移dx、dy，该位移产生最高局部相关性，其中–m<dx<m，–m<dy<m，并且m为小自然数，例如，0=<m<5。区域A最高局部相关性被采用为区域A局部相关性。

在本发明一个实施方式中，具有最高局部方差和最低局部相关性的许多区域被选定为无效并且记录于存储器中。在随后至少一个拾取动作中避开无效区域。

在本发明一个实施方式中，对于作为无效区域合格的区域，第一图像内必定超出的局部方差阈值以及第一图像与第二图像之间未必超出的局部相关性阈值也可用作无效区域选择标准。

在本发明一个实施方式中，在比较中，第一图像与第二图像之间相关性低的区域选定为无效区域。在本发明一个实施方式中，在比较中，第一图像与第二图像之间相关性低且第一图像和第二图像中至少一个内局部方差高的区域选定为无效区域。

在本发明一个实施方式中，对于矩阵中每个测量值，判定它是否属于无效区域。

在本发明一个实施方式中，比较第一图像与第二图像以判定目标区域中至少一个无效区域还包括：选择第一图像或者第二图像的高度图之一；从选定高度图产生两个新高度图，该两个新高度图可称为最小图（min-map）和最大图（max-map），使用公式min-map=erode(heightmap)–fudgefactor，逐像素计算最小图，使用公式max-map=dilate(heightmap)+fudgefactor，逐像素计算最大图；通过对于第二高度图中每个像素h2(x,y)校验是否满足条件min-map(x,y)<h2(x,y)<max-map(x,y)，比较第二高度图h2（即，另一个高度图）与选定高度图h1；并且将未满足所述条件的像素选定为所述至少一个无效区域像素(x,y)。膨胀函数为形态膨胀算子。腐蚀函数为形态腐蚀算子。敷衍因子为常数或者与像素有关的常数阵列。

在本发明一个实施方式中，比较第一图像与第二图像以判定目标区域中至少一个无效区域还包括：形成选定高度图的上限表面，该选定高度图为第一图像或者第二图像的高度图；形成选定高度图的下限表面；并且将在上限表面与下限表面之间另一个高度图不适合的这些区域选定为至少一个无效区域，该另一个高度图为第一图像或者第二图像的高度图。

在步骤410处，在通过机械臂的随后至少一个拾取动作中避开目标区域中至少一个无效区域。原因在于，在无效区域中执行的传感器测量值不再反映在拾取动作之后对象的位置。

上文就图4而言所述的本发明实施方式可以彼此任何组合来使用。一些实施方式可组合在一起以形成本发明又一个实施方式。

图5为示出在本发明一个实施方式中的机器人***中判定目标区域内无效图像区域的方法的流程图。

该方法可应用于如图1和图2所示的机器人***中以及应用于如图3和图4所示的方法中。

在步骤500处，对于第一图像和第二图像，判定共同坐标系。第一图像表示在利用机械臂对于目标区域执行拾取动作之前传送带上目标区域。第二图像表示在已经执行拾取动作之后传送带上目标区域。在本发明一个实施方式中，使用具有已知形状的测试对象，判定共同坐标系。在本发明一个实施方式中，测试对象如图2所示。

在步骤502处，使用透视校正，第一图像和第二图像中至少一个变换为共同坐标系。第一图像和第二图像可变换为第三透视平面。第三透视平面可正交于传送带平面。

在步骤504处，第一图像和第二图像中至少一个进行高通滤波。高通滤波可用于去除光条件和反射差异。

在步骤506处，多个区域由第一图像和第二图像形成。该多个区域可至少部分重叠或者不同。利用窗口函数，该多个区域可由第一图像和第二图像的整个区域形成。例如，窗口函数可为矩形窗口函数，或者它可为高斯窗口函数。可从图像整个区域获得给定区域，使得像素值乘以窗口函数值。非零像素值或者超过预定义阈值的像素值可从图像整个区域选定到该区域。例如，该区域可为定义高度和宽度的像素块，诸如，例如30×30像素。该多个区域在第一图像和第二图像中可具有相同像素并且可具有相同大小。

在步骤508处，判定第一图像中具有最高局部方差的区域。例如，使用公式 $\frac{1}{n}\underset{(x,y)\&Element;A}{\mathrm{\&Sigma;}}S(I_1(x,y)*I_1(x,y))-S(I_1(x,y)*I_1(x,y)),$ 计算区域A局部方差，其中S为平滑函数（例如高斯核），I₁为第一图像中像素，并且x和y为像素坐标，n为区域A中像素数目。

在步骤510处，判定第一图像与第二图像之间具有最低局部相关性的区域。例如，使用公式 $\frac{1}{n}\underset{(x,y)\&Element;A}{\mathrm{\&Sigma;}}\frac{S(I_1(x,y)*I_2(x,y))}{\sqrt{(S(I_1(x,y)*I_1(x,y))*S(I_2(x,y)*I_2(x,y)))}},$ 计算第一图像和第二图像内区域A局部相关性，其中S为平滑函数（例如高斯核），I₁为第一图像中像素，I₂为第二图像中像素，并且x和y为像素坐标，n为区域A中像素数目。

在本发明一个实施方式中，对于每个区域A，判定第一图像中区域A与第二图像中区域B之间位移dx、dy，该位移产生最高局部相关性，其中–m<dx<m，–m<dy<m，并且m为小自然数，例如，0=<m<5。区域A最高局部相关性被采用为区域A局部相关性。

在步骤512处，具有最高局部方差和最低局部相关性的许多区域被选定为无效并且记录于存储器中。在随后至少一个拾取动作中避开无效区域。

在本发明一个实施方式中，为了减少计算量，从摄像机接收的图像数据下采样为被确定为适合分析的分辨率。

在本发明一个实施方式中，所得下采样图像然后进行归一化以说明照明条件变化。归一化可对于下采样图像中每个像素单独地完成。

上文就图5而言所述的本发明实施方式可以彼此任何组合来使用。一些实施方式可组合在一起以形成本发明又一个实施方式。

与本发明相关的方法、***、设备、计算机程序或者计算机程序产品可包括上文与图1、图2、图3和图4联合描述的本发明实施方式中至少一个。

本发明示例性实施方式可包括在可执行示例性实施方式进程的任何合适设备内，例如，包括任何合适服务器、工作站、PC、膝上型计算机、PDA、互联网设备、手持式设备、蜂窝电话机、无线设备、其它设备等，并且所述任何合适设备可经由一个或多个接口机构进行通信，例如，包括互联网接入、以任何合适形式（例如，语音、调制解调器等）的无线电通信、无线通信介质、一个或多个无线通信网络、蜂窝通信网络、3G通信网络、4G通信网络、公用电话交换网络（PSTN）、分组数据网络（PDN）、互联网、内联网、它们组合等。

应当理解，示例性实施方式是为了示例目的，本领域技术人员应当理解，用于实现示例性实施方式的特定硬件的许多变形可行。例如，示例性实施方式的一个或多个组件的功能可经由一个或多个硬件设备实现。

示例性实施方式可存储与本文所述的各种进程有关的信息。所述信息可存储于一个或多个存储器中，诸如硬盘、光盘、磁-光盘、RAM等。一个或多个数据库可存储用于实现本发明示例性实施方式的信息。数据库可使用包括在本文所列的一个或多个存储器或者存储设备中的数据结构（例如，记录、表、数组、字段、图形、树、列表等）来组织。就示例性实施方式而言描述的进程可包括相应数据结构，用于将由示例性实施方式的设备和子***的进程收集和/或产生的数据存储于一个或多个数据库中。

本领域技术人员应当理解，示例性实施方式全部或者一部分可通过特定应用集成电路制备或者通过使常规组件电路的相应网络互连来实现。

如上所述，示例性实施方式的组件可包括根据本发明教案且用于保存数据结构、表、记录和/或本文所述的其它数据的计算机可读介质或者存储器。计算机可读介质可包括参与提供指令给处理器进行执行的任何合适介质。所述介质可采取许多形式，包括但不限于非易失性介质、易失性介质、传输介质等。例如，非易失性介质可包括光盘或磁盘、磁-光盘等。易失性介质可包括动态存储器等。传输介质可包括同轴电缆、铜线、光纤等。传输介质也可采取诸如在射频（RF）通信、红外（IR）数据通信等期间产生的声、光、电磁波等形式。例如，计算机可读介质的常见形式可包括：软盘、柔性盘、硬盘、磁带、任何其它合适磁性介质；CD-ROM、CDRW、DVD、任何其它合适光学介质；穿孔卡片、纸带、光学标记片、具有孔图案或者其它光学可识别标记的任何其它合适物理介质；RAM、PROM、EPROM、快闪EPROM、任何其它合适存储芯片或者卡带；载波或者计算机可读取的任何其它合适介质。

虽然本发明已经结合许多示例性实施方式和实施例进行说明，但是本发明并不限于此，而是包括各种修改和等同配置，均包括在预期权利要求范围内。

本领域技术人员显而易见，随着科技进步，本发明基本思想可以各种方式实现。本发明及其实施方式因此并不限于上述例子，相反，它们可在权利要求范围内变化。

Claims (19)

1.一种方法，包括：

使用至少一个传感器从目标区域中获得至少两个传感器测量值；

形成所述目标区域的第一图像；

基于所述至少两个传感器测量值中的至少第一传感器测量值，在所述目标区域中执行第一分拣动作；

形成所述目标区域的第二图像；

比较所述第一图像与所述第二图像以判定所述目标区域中的无效区域，其中，所述第一图像与所述第二图像之间具有低相关性的区域被选定为所述无效区域；以及

在至少一个第二分拣动作中避开所述目标区域中的所述无效区域，所述第二分拣动作是基于在所述至少两个传感器测量值中的至少第二传感器测量值。

2.根据权利要求1所述的方法，其中，所述第一图像通过使用第一摄像机捕捉所述目标区域的图像来形成，并且所述第二图像通过使用第二摄像机捕捉所述目标区域的图像来形成。

3.根据权利要求2所述的方法，所述方法还包括：

使目标区域位于其上的传送带运行预定义长度，所述预定义长度对应于所述第一摄像机与第二摄像机之间的距离。

4.根据权利要求3所述的方法，所述方法还包括：

使用透视校正，将所述第一图像和所述第二图像中至少一个变换为由所述第一图像和所述第二图像共享的坐标系。

5.根据权利要求3所述的方法，所述方法还包括：

使用具有已知形状的测试对象，判定所述透视校正。

6.根据权利要求5所述的方法，所述方法还包括：

当所述传送带运行时，使用所述第一摄像机捕捉多个第一测试图像，并且使用所述第二摄像机捕捉多个第二测试图像；

在表示所述测试对象的所述第一测试图像和所述第二测试图像中选择最佳匹配图像；以及

将所述传送带在两个所述图像之间已经运行的长度记录为所述预定义长度。

7.根据前述权利要求中任一项所述的方法，其中，比较所述第一图像与所述第二图像的步骤还包括：

对于所述第一图像和所述第二图像中的至少一个进行高通滤波。

8.根据前述权利要求中任一项所述的方法，其中，比较所述第一图像与所述第二图像的步骤还包括：

形成所述第一图像和所述第二图像的多个区域，所述多个区域为部分重叠或者不同。

9.根据权利要求8所述的方法，其中，比较所述第一图像与所述第二图像的步骤还包括：

利用平滑函数，使所述多个区域中每个区域平滑化。

10.根据权利要求8或9所述的方法，其中，比较所述第一图像与所述第二图像的步骤还包括：

基于所述第一图像与所述第二图像之间的低相关性以及所述第一图像内的高方差，将多个区域判定为所述至少一个无效区域。

11.根据权利要求10所述的方法，其中，将多个区域判定为所述至少一个无效区域的步骤还包括：

对于每个区域，选择所述第一图像与所述第二图像之间的最大相关性屈服位移；并且

使用所述最大相关性屈服位移，对于每个区域，计算所述第一图像与所述第二图像之间的相关性。

12.根据前述权利要求中任一项所述的方法，其中，所述至少一个传感器包括红外传感器和激光扫描仪。

13.根据权利要求1所述的方法，其中，所述摄像机为可见光摄像机、飞行时间三维摄像机、结构化光三维摄像机或者红外摄像机。

14.根据权利要求1所述的方法，其中，所述第一图像和所述第二图像使用单个三维摄像机来形成。

15.根据权利要求1所述的方法，其中，所述分拣动作使用机械臂来执行。

16.根据权利要求1所述的方法，其中，比较所述第一图像与所述第二图像以判定所述目标区域中的至少一个无效区域的步骤还包括：

将与所述第一图像或者所述第二图像相关的高度图指派为第一高度图；

将与另一个所述图像相关的高度图指派为第二高度图；

形成所述第一高度图的上限表面；

形成所述第一高度图的下限表面；以及

将在所述上限表面与所述下限表面之间所述第二高度图不拟合的区域选定为所述至少一个无效区域。

17.一种设备，所述设备包括：

用于使用至少一个传感器从目标区域中获得至少两个传感器测量值的装置；

用于形成所述目标区域的第一图像的装置；

用于基于所述至少两个传感器测量值中的至少第一传感器测量值在所述目标区域中执行第一分拣动作的装置；

用于形成所述目标区域的第二图像的装置；

用于比较所述第一图像与所述第二图像以判定所述目标区域中无效区域的装置，其中，所述第一图像与所述第二图像之间具有低相关性的区域被选定为所述无效区域；以及

用于在至少一个第二分拣动作中避开所述目标区域中所述无效区域的装置，所述第二分拣动作是基于在所述至少两个传感器测量值中的至少第二传感器测量值。

18.一种计算机程序，所述计算机程序包括代码，当在数据处理***上执行时，所述代码适于引起处理器执行以下步骤：

使用至少一个传感器从目标区域中获得至少两个传感器测量值；

形成所述目标区域的第一图像；

基于所述至少两个传感器测量值中的至少第一传感器测量值，在所述目标区域中执行第一分拣动作；

形成所述目标区域的第二图像；

比较所述第一图像与所述第二图像以判定所述目标区域中无效区域，其中，所述第一图像与所述第二图像之间具有低相关性的区域被选定为所述无效区域；以及

在至少一个第二分拣动作中避开所述目标区域中所述无效区域，所述第二分拣动作是基于在所述至少两个传感器测量值中的至少第二传感器测量值。

19.根据权利要求18所述的计算机程序，其中，所述计算机程序存储于计算机可读介质上。

Images