CN107530881B - 机器人***和用于操作机器人的方法 - Google Patents

Abstract

一种机器人***，包括：机器人，具有相关联的工作空间；视觉传感器，被构造成获得机器人场景的3D图像，机器人场景包括位于工作空间中的工件；以及控制***，被通信地耦接到视觉传感器和机器人。控制***被配置为执行程序指令，以通过将图像分割成第一图像部分和第二图像部分以及通过存储与第一图像部分相关联的图像数据来对图像进行过滤，第一图像部分基本上仅包含机器人场景内的感兴趣区，第二图像部分包含机器人场景的感兴趣区外部的剩余部分。控制***操作性地基于与第一图像部分相关联的图像数据来控制机器人的移动，以对工件执行作业。

Description

机器人***和用于操作机器人的方法

技术领域

本发明涉及工业机器人，更具体地，涉及用于机器人应用的3D视觉和3D数据的使用。

背景技术

用于机器人应用的视觉***处理图像数据，该图像数据与处置工件或者在工件上执行诸如制造过程的过程相关。一些现有的***相对于某些应用具有各种缺点、缺陷和不足。例如，在一些***中，用于机器人场景的图像的视觉图像数据集可能比其他场景所需要的更大，这可能需要使用比其他场景所需要的更昂贵的、更大的存储器和/或更快的处理器，或者可能降低执行机器人操作的速度。因此，仍然需要在这一技术领域作出进一步贡献。

发明内容

本发明的实施例包括机器人***。机器人***包括机器人，其具有相关联的工作空间；视觉传感器，其被构造成获得机器人场景的3D图像，该机器人场景包括位于工作空间中的工件；以及控制***，其被通信地耦合到视觉传感器和机器人。控制***被配置为执行程序指令以通过将图像分割成第一图像部分和第二图像部分以及通过存储与第一图像部分相关联的图像数据来对图像进行过滤，第一图像部分基本上仅包含机器人场景内的感兴趣区，第二图像部分包含机器人场景的感兴趣区外部的剩余部分。控制***操作性地基于与第一图像部分相关联的图像数据来控制机器人的移动来对工件执行作业。

附图说明

本文的描述参考附图，其中贯穿若干视图的相同的附图标记指代相同的部件，并且其中：

图1示意性地示出了根据本发明的实施例的具有机器人以及提供工件的图像的视觉传感器的机器人***的非限制性示例的一些方面。

图2示意性地示出了根据本发明的实施例的作为机器人3D视觉***的一个示例的视觉引导应用中的机器人***的非限制性示例的一些方面。

图3A示出了根据本发明的实施例的由视觉传感器获取的工件的图像和周围的几何形状的非限制性示例的一些方面。

图3B示出了根据本发明的实施例的从对图3A的图像执行的3D图像分割过程所获得的图像部分的非限制性示例的一些方面。

图4是示出根据本发明的实施例的用于操作机器人的方法的非限制性示例的一些方面的流程图。

图5是示出根据本发明的实施例的用于操作机器人的方法的非限制性示例的一些方面的流程图。

图6示出了具有机器人和3D视觉传感器的机器人***，该3D视觉传感器提供机器人将对其执行作业的工件的图像。

图7示出了作为机器人3D视觉***的一个示例的视觉引导应用。

图8A示出了由3D视觉传感器获取的图像和周围几何形状，由机器人在该图像的一部分上执行作业。

图8B示出了对图8A中所示的图像进行分割的结果。

图9示出了使用部件移动范围来分割图像以对数据进行过滤的流程图。

图10示出了通过基于机器人工作空间准则(诸如机器人工作空间的包络，其限定具有或不具有工具的机器人的范围)过滤数据来分割图像的流程图。

具体实施方式

为了促进对本发明的原理的理解，现在将参考在图中示出的实施例，并且将使用具体的语言来描述本发明的原理。尽管如此，应当理解对本发明的某些实施例的说明和描述并不旨在限制本发明的范围。另外，所示出的和/或所描述的实施例的任何改变和/或修改都被认为在本发明的范围内。此外，如本发明所属领域技术人员通常会想到的，如本文所示出的和/或所描述的本发明的原理的任何其他应用被认为在本发明的范围内。

参考附图，特别是图1和图2，示意性地示出了根据本发明的实施例的、用于机器人***10的框图的非限制性示例的一些方面。机器人***10包括3D图像传感器***11、机器人12和控制***13。机器人***10被配置为使用工具16执行作业，例如执行对被设置在机器人工作空间15内或机器人工作空间15上的工件14(例如，制造的产品)的制造作业。在图2的图示中，工件14被设置在工作台17上，工作台17至少部分地被设置在工作空间15中。在一些实施例中，机器人***10还被配置为或者备选地被配置为通过处置工件14而对工件14执行作业，而在一些实施例中，通过将工件14从一个位置和/或取向移动到另一个位置和/或取向，对工件14进行加工。

视觉传感器11是被定位成以便观察工作空间15和工件14的机器人视觉传感器。视觉传感器11被配置为生成并且提供工作空间15以及机器人12将对其执行作业的工件14的图像。视觉传感器11是3D视觉传感器，即能够获取3D图像。在一种形式中，视觉传感器11是3D相机形式的单一图像传感器。在其他实施例中，视觉传感器11可以采取其他形式，并且可以是例如单一图像传感器或者一种或多种类型的、并置的或者跨期望的位置分布的多个图像传感器(诸如被动和/或主动图像传感器)，其可以采用各种技术中的一种或多种技术来渲染3D图像。这些技术可以包括例如采用运动立体、阴影恢复形状、结构化照明和/或投影纹理技术以及其他技术的单一或多个相机。在一种形式中，视觉传感器11位于机器人12上。在一个特定形式中，视觉传感器11位于机器人12的移动(动态)部分上。在其他实施例中，视觉传感器11可以位于机器人12的静态部分12上、机器人12的移动(动态)部分上，或者可以位于静态或动态的其他位置。在一种分布式形式中，视觉传感器11的部件传感器可以被设置在机器人12的静态和/或动态部分上或者在期望位置处的任何其他适当的结构上。

在一种形式中，机器人12是多轴机器。在其他实施例中，机器人12可以是单轴机器。机器人12包括经由腕20而被耦接到臂19的端部执行器18。端部执行器18、臂19或枢轴20是可以在其上安装视觉传感器11的机器人12特征的非限制性示例。在一种形式中，工具16被安装到端部执行器18。机器人12操作性地将工具16定位在机器人12的可到达体积内(即在工作空间15内)的期望位置处，以便对工件14执行作业。

在一种形式中，控制***13包括控制器21和控制器22。在一种形式中，控制器21和控制器22是分立的处理单元。在其他实施例中，控制***13可以反映单个控制器或者可以反映任何数目的控制器。控制器21被通信地耦接到视觉传感器11和控制器22。在一种形式中，控制器21是计算设备，例如图像处理器。在其他实施例中，控制器21可以采取其他形式。在一种形式中，除其他方面以外，控制器21被配置以执行程序指令以处理从视觉传感器11接收的图像数据，并且将经处理的图像数据提供给控制器22。在一些实施例中，控制器21可以被单独地或者与控制器22结合地配置为将图像数据(例如，3D图像深度数据和其他图像数据)从一个坐标系转换到另一个坐标系，例如从视觉传感器11坐标系转换到机器人12坐标系。控制器21还可以被配置为执行程序指令以执行与操作机器人12相关联的其他任务。

控制器22被通信地耦接到机器人12和控制器21。在一种形式中，控制器22是机器人控制器。在其他实施例中，控制器22可以采取其他形式。在一种形式中，除其他方面以外，控制器22被配置为执行程序指令以基于3D图像数据来控制机器人22的操作和定位。在一些实施例中，控制器22可以被单独地或者与控制器21结合地配置为将图像数据(例如，3D图像深度数据和其他图像数据)从一个坐标系转换到另一个坐标系，例如从视觉传感器11转换到机器人12坐标系。在一些实施例中，控制器21还可以被配置为执行程序指令以执行其他图像相关的任务。

控制***13被配置为执行程序指令以执行本文所阐述的各种功能，例如诸如关于图4和图5所示出的和所描述的功能。应当理解，取决于控制器21和22的特定配置以及所执行的特定功能，各种功能的性能可以由控制器21和22单独地或联合地执行。例如但不限于，图像获取通常可以由控制器21执行，而机器人12的运动控制通常可以由控制器22执行。

在一种形式中，控制器21和22是基于微处理器的，并且程序指令是以被存储在一个或多个存储器(未示出)中的软件的形式。然而，备选地，考虑到控制器21和22中的任何一个或两个控制器以及由控制器执行的程序指令可以是以软件、固件和硬件(包括状态机)形式的任何组合，并且可以反映分立设备和/或集成电路的输出，分立设备和/或集成电路可以位于同一特定位置处或者可以被分布成跨多于一个位置，其包括被配置以实现与基于处理器的控制器执行基于软件或固件的指令相同或相似结果的任何数字和/或模拟设备。在一些实施例中，控制器21可以与视觉传感器21封装在一起或者容纳有视觉传感器21。在其他实施例中，控制器21可以位于其他地方，例如，在与控制器22相同的机柜中。

在一种形式中，视觉传感器11和控制器21形成3D视觉***23。在一些实施例中，3D视觉***23也可以被认为包括控制器22。诸如3D视觉***23的3D视觉***可以针对各种目的而用于机器人应用中。在一种形式中，3D视觉***23用于机器人引导。在其他实施例中，附加地或备选地，3D视觉***23可以用于例如但不限于检查、监控、安全或用于本文未提及的其他目的。在一种形式中，3D视觉***23被配置为使用视觉传感器11捕获图像(例如工件14和工作空间15的3D图像)。3D视觉***23还被配置为例如使用控制***13(特别地控制器22)来分析图像并且确定工件14的位置和几何形状。控制***13使用工件14的位置和几何形状来计算机器人12的路径，以对当前工件14执行作业。在工件14的位置和几何形状被计算之前，例如，如本文所述，使用3D分割过程来过滤3D图像，例如，以便减小3D图像数据集的大小。

参考图3A，描绘了根据本发明的实施例的由视觉传感器11获取的图像24的非限制性示例的一些方面。图像24是机器人场景25的图像。机器人场景是涵盖机器人工作空间(例如工作空间15)的全部或一部分以及被设置在工作空间15内的要被机器人作业的工件(例如工件14)的场景。在一些情形下，其他对象可以位于工作空间15内。在一些情形下，机器人场景还包括工作空间外部的背景对象和/或空间或结构或特征。图像24中描绘的机器人场景25包括工件14(即由机器人12对其进行作业的)以及周围的结构、空间和/或特征，诸如工作空间15和设置工件14于其上的工作台17，并且还可以包括由视觉传感器11捕获的任何其他周围图像数据。

将下面描述的方法应用于图像24，从感兴趣区外部的区域或体积分割机器人场景25的感兴趣区的图像部分。在一种形式中，从图像24中去除感兴趣区外部的区域或体积，以产生基本上仅包含感兴趣区的图像部分，即，仅包含在某个容差带内的感兴趣区。在其他实施例中，图像部分仅包含感兴趣区。属于该图像部分的图像数据，即与感兴趣区相关联的图像数据，被存储以供机器人12后续对工件14执行作业时使用。该示例中的感兴趣区是工件14以及紧邻于且至少部分地包围工件14的期望的空间带，例如工件或部件位移范围，也称为部分移动范围或部分运动范围，在图3B中示意性示出为空间带26。因此，在本示例中，工件14和空间带26形成感兴趣区27。在其他实施例中，感兴趣区可以采取其他形式。

带26的大小和形状可以根据应用的需要而变化。空间带26从紧邻工件14的内部部分或内部界限延伸到从工件14径向向外延伸的外部部分或者外部界限。在一些情况下，空间带可以延伸进入或部分进入工件，例如但不限于，取决于工件的几何形状和将要由机器人12执行的操作。在各种实施例中，限定空间带26的外部界限的径向偏移可以根据应用的需要而沿着工件14的***变化。因此，在任何给定方向上的空间带26的厚度可以沿着工件14的***变化。虽然在本示例中将空间带26描述为工件位移范围，但在其他情况下，空间带26也可以或备选地被选择并且被定大小以用于其他目的，例如，以反映工具16包络、安全区或者期望由视觉***13观察并且对改变进行分析的任何其他区域或体积，例如如下所描述。

在该示例中，来自原始未分割图像(例如图像24)中也可见的工件14和带26的外部的机器人场景的几何形状不在感兴趣区中。使用本文描述的方法，分割图像，并且从图像24的周围区域或剩余部分(balance)中提取感兴趣区。图3B示出了图3A图像的分割和过滤的结果。包围感兴趣区的区域被移除，例如从原始图像中消除(或者，备选地，从原始图像中提取感兴趣区)。例如，在该示例中，感兴趣区不包括工作空间15或工作台17，因此工作空间15(到工件14和空间带26之外的范围)和工作台17不被包括在如图3B所示的经分割和经过滤的图像部分28中。在图3A和图3B的示例中，感兴趣区27是工件14及其紧挨周围的区域(即带26)，例如工件位移或移动范围。因此，从图像24提取的并且在图3B中示出的图像部分28基本上仅包括感兴趣区27，即工件14和带26。

在一些实施例中，感兴趣区可以是工作空间15，该工作空间15是由机器人12可以到达的所有点所限定的所有区域或体积，取决于实施例，该工作空间15可以包括或可以不包括可由工具16的全部或一个或多个部分到达的所有点。在一些实施例中，工具16的包络可以至少部分地被空间带考虑在内，在各种实施例中，空间带可以围绕工作空间15而被设置在工作空间15内，或者部分地围绕工作空间15并且部分地被设置在工作区域15内。在其他实施例中，感兴趣区可以是工作空间加上围绕工作空间设置的空间带，例如，一般地用参考标号29表示。在各种实施例中，空间带29表示工具16的包络或者加到工作空间包络15的另一个期望的空间带，例如安全区，或者期望由视觉***13观察并且对改变进行分析的任何其他区域或体积，例如如下所描述的。在另一些其他实施例中，感兴趣区可以采取其他形式。在任一种情况下，取决于实施例，被设置在机器人场景25内但在工作空间15或空间带29的外部的其他对象或背景图像数据(例如，一般由圆柱体30表示)不在感兴趣区内，并且因此不会被包含在经由本文所描述的分割和过滤过程而获得的最终图像中。

对于在工作空间15周围采用空间带29的实施例，带29的大小和形状可以根据应用的需要而变化。在一种形式中，空间带29从紧邻外表面工作空间15的内部部分或内部界限延伸到从工作空间15径向向外延伸的外部部分或外部界限。在各种实施例中，空间带29的外部界限的径向偏移可以随着应用的需要而沿着工作空间15的***变化。因此，空间带29在任何给定方向上的厚度可以沿着工作空间15的***而变化。尽管在本示例中将空间带29描述为工具16包络，但是在其他情况下，空间带29也可以或者备选地被选择并且被定大小以用于其他目的，例如在外部邻近工作空间15并且期望由视觉***13观察并且对改变进行分析的任何区域或体积，例如如下所描述的。带空间29的实际形状随着每个应用而变化。在某些情形下，空间带可以延伸到或部分地延伸到工作空间中。

在任何情况下，通过将图像分割成包含感兴趣区的部分和包含感兴趣区的外部的所有图像数据的部分来过滤图像；并且通过提取或保留属于感兴趣区的图像部分的图像数据，从而消除属于感兴趣区外部的图像部分的图像数据。控制***13操作性地控制机器人21的移动和操作，从而基于属于感兴趣区的经分割和经过滤的图像数据来对工件14执行作业。

参考图4和图5，示出了根据本发明的一些实施例的描绘用于操作机器人的方法的非限制性示例的一些方面的流程图40和70。在一些实施例中，该方法包括将3D图像数据(例如，包括3D图像的深度数据)转换到机器人坐标系，例如基于机器人的坐标系，这允许来自机器人12的已知信息(例如，工作空间、奇异点、机器人坐标中的工件位置)被利用到例如过滤3D图像数据中，以获得与感兴趣的3D区域相关联的经分割和经过滤的图像数据。

在图4和图5中，针对两种情况，执行该方法的步骤分别表示为流程图40和70。在图4的流程图40示出的第一种情况下，工件或部件位移或移动范围用于过滤数据。在图5的流程图70示出的第二种情况下，基于机器人工作空间准则(例如，机器人工作空间15的包络，其限定具有或不具有工具的机器人的可达范围)来过滤图像数据。可以向机器人工作空间添加空间带或带阈值，使得经过滤的数据包括可以对机器人有用的、在机器人工作空间周围的额外的数据带或空间带。

取决于应用，可以同时应用一种或两种情况。空间带阈值可以应用于两种情况。在第一种情况(图4)下，额外的空间带用来允许机器人查看是否可以针对变化分析包围工件的额外的区域，例如工件14的偏转、工件14的损坏、与工件14邻近的其他对象的存在或者与工件14紧邻的人或人的一部分的存在。在这两种情况下，额外的带可以用作关于机器人工作空间的预警***，使得机器人可以“意识到”远离工件14的事件或对象或人员。

在图4的流程图中，过程在框42开始。在框44，将视觉传感器11校准到机器人12坐标系，例如，使得3D图像数据可以被转换成公共坐标系。然后，将校准数据存储在可由控制***13访问的存储器中。校准可以仅执行一次，并且存储校准参数以用于后续的图像过滤。因此，尽管图4的过程的初始使用包括将视觉传感器11校准到机器人12坐标系，后续经过流程图40的过程可以使用在初始通过期间预先存储的校准数据。

在流程图40的框46，机器人被移动到拍摄图像位置。也即是，机器人12被移动以将视觉传感器11放置在用于获取机器人场景(例如，机器人场景25)的图像的期望位置处。框46可应用于视觉传感器11被安装在机器人12的移动部分上的应用中。在视觉传感器11被安装在机器人12的静止部分或其他静止位置的应用中，不执行框42，或者可以被执行为在机器人12的训练期间的设置的一部分。

在框48，视觉传感器11获取3D图像。在一种形式中，基于接收视觉传感器11的输出的控制器21获得图像数据。在其他实施例中，可以基于接收视觉传感器11的输出的控制器22来获得图像，例如，其中控制器22具有用以获取图像的足够的存储和处理能力。

在框50，将3D图像转换到机器人坐标系。备选地，在一些实施例中，在框50，3D图像可以被保留在视觉传感器11坐标系中或者被转换到视觉传感器11坐标系。

在框52，通过将图像分割成第一图像部分和第二图像部分，第一图像部分基本上仅包含机器人场景内的感兴趣区，第二图像部分包含机器人场景的感兴趣区外部的剩余部分；并且通过从机器人场景图像获得或保留与第一图像部分相关联的图像数据，来对转换的机器人场景图像数据进行过滤。在图4的实施例中，该图像的分割和过滤使用来自空间带输入框54的输入，该输入在图4的非限制性示例中是工件或部件位移或运动范围输入。该输入涉及适应工件或部件14的位置的可变性，例如由于在通过机器人12对工件14执行作业期间由工具16对工件14的偏转而造成的，由于工件14在工作台17上的放置变化而造成的，和/或出于其他原因(包括本文未提及的原因)造成的位移。因此，流程图40的示例中的感兴趣区是工件和紧邻工件40的体积，该体积是以工件位移范围形式的空间带(例如空间带26)。图像的过滤可以以一种或多种不同的方式进行，例如，通过将机器人场景图像与感兴趣区的图像数据(工件14加上空间带26)进行比较来说明感兴趣区外部的那些的特征或对象，例如，从机器人场景图像中减去或消除感兴趣区外部的所有图像数据，或者从机器人场景图像中提取在感兴趣区内的所有图像数据。在一些实施例中，视觉***23可以识别工件14，例如，经由以不同取向与工件14的已知图像模式匹配。一旦识别出，可以确定与机器人场景图像数据中的工件14相关联的图像数据以及属于基于空间带输入框(边界盒)56(例如，空间带26)所限定的包围区域的图像数据，从而获得基本上仅包含感兴趣区的图像数据。在各种实施例中，可以采用各种算法来分割和过滤机器人场景图像数据。

在框56，将与基本上仅包含经分割和经过滤的机器人场景图像中的感兴趣区的图像部分相关联的图像数据存储在控制***13(特别地控制器21)中。该图像数据被存储以例如用于后续进一步处理，诸如对象识别、碰撞检测、运动规划等。在各种实施例中，图像数据还可以或者备选地全部或部分被存储在控制器22中。所提取的图像部分可以由控制器21提供给控制器22或者给其他设备以用于处理。在一些实施例中，所提取的图像部分可以可选地被转换到视觉传感器11坐标系，在一些实施例中，这可以使分析数据更容易。一个示例是机器人12前面的占用空间。在相机坐标系中限定3D图像使得相对容易地确定与相机11最近的部分，因为图像中最近的对象更接近(更小的深度)相机。

在框58，执行进一步的处理，并且基本上仅与感兴趣区域相关联的图像数据被控制***13使用，以控制机器人12的移动并且对工件14执行作业。在各种实施例中，进一步的处理可以与使用不采用与本发明的一些方面相关联的分割和过滤***和方法的机器人***执行的处理相同或类似，因此这里不再描述该进一步的处理。框58可以在任何时间执行，无论是在框56完成之后立即执行还是在随后的任何时间执行。

在框60，过程结束。

参考图5，示出了描绘用于操作机器人的方法的非限制性示例的一些方面的流程图70，其中所获取的3D图像数据基于机器人工作空间准则而被分割。该方法从框72开始。框74、76、78和80在功能上与图4的流程图40的框44、46、48和50相同，因此，上面关于相应的框44、46、48和50所阐述的相应描述也同样可应用，这里不再重复。

在框82，通过将图像3D分割成第一图像部分和第二图像部分，第一图像部分基本上仅包含机器人场景内的感兴趣区，第二图像部分包含机器人场景的感兴趣区外部的剩余部分；并且通过从机器人场景图像获得或保留与第一图像部分相关联的图像数据，来对转换的图像数据进行过滤。在图5的实施例中，该图像的分割和过滤使用来自工作空间限定输入框84的输入，其在图4的非限制性示例中是作为表面(例如，3D CAD渲染的或确定的表面、或者限定工作空间15的几何形状的任何3D表面类型)的工作空间15的限定、或者作为分析等式的工作空间15的限定，该分析方程式限定工作空间15的几何形状。在其他实施例中，可以采用工作空间15的其他限定。因此，流程图70的示例中的感兴趣区是机器人工作空间(例如工作空间15)。在一些实施例中，例如在框84，也可以输入限定与工作空间的边界紧邻并且从工作空间15的边界延伸的空间带(例如空间带29)，。图像的过滤可以以一种或多种不同的方式进行，例如，通过将机器人场景图像与工作空间(或工作空间加空间带，取决于实施例)的图像表示进行比较，来说明在工作空间(或工作空间加空间带，取决于实施例)外部的那些特征或对象，例如，从机器人场景图像中减去工作空间(或工作空间加空间带，取决于实施例)外部的所有图像数据，或者从机器人场景图像中提取在工作空间(或工作空间加空间带，取决于实施例)内的所有图像数据。

在框86，与仅包含感兴趣区的图像部分相关联的图像数据被存储在例如控制***13(特别地控制器21)中，以用于进一步处理，例如，如上面关于图4的框56所描述的。

在框88，执行进一步的处理，并且基本上仅与感兴趣区相关联的图像数据被控制***13使用，来控制机器人12的移动并且对工件14执行作业，例如，如上面关于图4的框58所描述的。

在框90，图5的过程结束。

本发明的实施例包括机器人***，该机器人***包括：机器人，其具有相关联的工作空间；视觉传感器，其被构造成获得机器人场景的3D图像，该机器人场景包括位于工作空间中的工件；以及控制***，其被通信地耦合到视觉传感器和机器人，其中控制***被配置以执行程序指令，来通过将图像分割成第一图像部分和第二图像部分并且通过存储与第一图像部分相关联的图像数据来对图像进行过滤，第一图像部分基本上仅包含机器人场景内的感兴趣区，第二图像部分包含机器人场景的感兴趣区外部的剩余部分；其中控制***操作性地基于与第一图像部分相关联的图像数据来控制机器人的移动，以对工件执行作业。

在一个改进中，控制***被配置为执行程序指令，以将视觉传感器校准到机器人坐标系。

在另一改进中，机器人场景的图像包括机器人场景图像数据；并且控制***被配置为执行程序指令，以将机器人场景图像数据转换到机器人坐标系。

在又一改进中，控制***被配置以执行程序指令，以在将机器人场景图像数据转换到机器人坐标系之后分割图像。

在又一改进中，感兴趣区是工件；并且第一图像部分基本上仅包括工件和工件位移范围。

在又一改进中，感兴趣区是工件；并且第一图像部分基本上仅包括工件。

在另一改进中，控制***被配置以执行程序指令以在工件周围创建空间带；感兴趣区是工件和空间带；并且第一图像部分基本上仅包括工作空间和空间带。

在又一改进中，感兴趣区是工作空间；并且第一图像部分基本上仅包括工作空间。

在又一改进中，控制***被配置以执行程序指令以在工作空间周围创建空间带；感兴趣区是工件、工作空间和空间带；并且第一图像部分基本上仅包括工件、工作空间和空间带。

在又一改进中，视觉传感器被安装在机器人的移动部分上。

本发明的实施例包括一种用于操作机器人的方法，该方法包括：使用机器人视觉传感器来获取机器人场景的3D图像；执行将图像3D分割成第一图像部分和第二图像部分，第一图像部分基本上仅包含机器人场景内的感兴趣区，第二图像部分包含机器人场景的感兴趣区外部的剩余部分；存储与第一图像部分相关联的图像数据；以及使用与第一图像部分相关联的所存储的图像数据来操作机器人以对工件执行作业。

在一个改进中，3D图像包括机器人场景图像数据，该方法还包括将机器人场景图像数据从机器人视觉传感器坐标系变换到机器人坐标系。

在另一改进中，在转换之后进行分割。

在又一改进中，该方法还包括限定围绕工件被设置的空间带，其中感兴趣区仅包括工件和空间带。

在又一改进中，空间带被限定为工件位移范围。

在又一改进中，该方法还包括限定围绕工作空间被设置的空间带，其中感兴趣区包括工件、工作空间和空间带。

在另一改进中，空间带由机器人工具包络限定。

本发明的实施例包括一种用于操作机器人的方法，该方法包括：将机器人视觉传感器校准到机器人坐标系；使用机器人视觉传感器来获取机器人场景的3D图像；过滤3D图像以产生基本上仅包含机器人场景内的感兴趣区的图像部分；以及使用第一图像部分来操作机器人以对在感兴趣区中的工件执行作业。

在一个改进中，该方法还包括：将图像分割成第一图像部分和第二图像部分，该第一图像部分基本上仅包含机器人场景内的感兴趣区，该第二图像部分包含机器人场景的感兴趣区外部的剩余部分；以及存储与第一图像部分相关联的图像数据。

在另一改进中，3D图像包括机器人场景图像数据，该方法还包括将机器人场景图像数据从机器人视觉传感器坐标系转换到机器人坐标系。

现在参考图6，示出了机器人***110的框图，该机器人***110具有机器人112和3D视觉传感器111，该3D视觉传感器111提供机器人112将对其执行作业的工件114的图像。来自视觉传感器111的图像被提供给计算设备113，该计算设备113被连接到机器人控制器115，机器人控制器115在其中存储有机器人112在对工件114执行作业时要遵循的指令。应当理解的是，图6示出了***110的一个示例，因为例如但不限于，3D视觉传感器111(相机)可以和计算设备113一起，并且计算设备113和机器人控制器115可以一起在同一个机柜中。

3D视觉***可以用于许多不同的机器人应用程序，以用于引导、检查、监控或安全。图7示出了使用3D视觉***的典型视觉引导应用的一个示例。该应用包括机器人112，为了便于图示，仅示出了被附接到机器人112的末端执行器的工具116以及3D视觉传感器111(为了便于图示，未在图7中示出)，该3D视觉传感器111可以是被安装在机器人112上的相机，在该示例中，在图7中将工件或对象或感兴趣的部分示出为具有搁置在台上的翅片的部件114。

3D视觉任务是捕获图像、分析图像并确定部件位置和几何形状。部件位置和几何形状用于计算针对当前部件的机器人路径。在计算部件位置和几何形状之前，使用下面所描述的3D分割来减少3D数据集。虽然相机111可以被安装在机器人112上，但是应当理解，相机111可以安装在别处，但是无论相机111安装在何处，优选地，将相机111校准到机器人112。

图8A示出了由机器人112对其执行作业的部件114的、由3D视觉传感器111获取的图像和诸如图7所示的台的周围几何形状，部件114搁置在该台上并且也在该图中示出。针对该3D视觉使用的感兴趣区域是部件114周围的区域。然而，来自机器人场景中的也在图8A所示的图像中可见的其他几何形状对机器人112和3D视觉处理是不需要的，使得机器人可以对部件114执行作业。

将下述方法应用于图8A所示的图像。可以利用部件114的周围区域或机器人112可以到达的区域，从图8A中的图像中提取机器人场景的感兴趣部分，这里是部件114来自图8A的所有其他数据(诸如其他几何形状)可以被消除。图8A的这种分割的结果在图8B中示出。

现在参考图9和图10，分别示出了下面详细描述的分割数据以得到机器人场景的分割图像的方法的流程图140和150。该方法包括将3D图像的深度数据转换到机器人坐标系中的一个。这样，可以使用来自机器人112的已知信息(例如工作空间、奇异点、机器人坐标中的部件位置)，来过滤导致感兴趣的3D区域的3D数据，以用于进一步处理。

在图9和图10中，执行该方法的步骤分别表示为针对两种情况的流程图140和150。在图9的流程图140示出的第一种情况下，使用部件移动范围来过滤数据。在图10的流程图150示出的第二种情况下，基于机器人工作空间准则(诸如机器人工作空间的包络，其限定具有或不具有工具的机器人的范围)来过滤数据，并且可以将带阈值添加到机器人工作空间，使得经过滤的数据包括在机器人工作空间周围的、对机器人有用的额外的数据带。

取决于应用，可以同时应用一种或两种情况。在两种情况下都应用带阈值。在第一种情况下，额外的带对于查看是否可以针对变化分析感兴趣部分周围的额外的结构是有用的。在这两种情况下，额外的带可以用作关于机器人工作空间的预警***，使得机器人可以意识到更远离的事件。

在图9的流程图中，过程从步骤141开始。在流程图140的步骤142，使机器人移动到拍摄图像位置，即，将机器人移动到需要放置传感器(例如相机111)以获取图像的位置。采用步骤142，例如，如果3D传感器(例如相机111)被安装在机器人上，而对于静态安装的3D传感器，则不需要。该步骤用于被安装在机器人上的相机111，因为期望机器人安装的相机111看到部件位置，因为相机位置可以改变；而静态安装的相机不能改变其位置，可以在训练机器人112期间设置。

在步骤143，从3D传感器111获取新的3D图像。尽管如图6所示，如果控制器具有足够的存储和处理能力来获取图像，则可以由机器人控制器115来获取图像。在步骤144，将新的3D图像转换到机器人坐标系，或者可以将机器人工作空间转换到相机坐标系，然后对图像进行过滤。相机111优选地被校准到机器人112。通过将相机应用到机器人转换以及将当前机器人位置应用到3D图像，将新的3D图像转换到机器人坐标系。可以理解，如果将分割范围提供给相机111，则不需要该步骤。

在步骤145，转换到机器人坐标系的新3D图像被过滤以分割图像，来移除如图8A和图8B所示的图像中捕获的其他几何形状。图像的这种过滤使用来自部件移动范围框146的输入。这个输入是需要的，因为部件114的位置可能存在可变性。图像的过滤可以是简单的比较，例如是所示的工作空间的外部或机器人的工作空间。

在步骤147，经分割的图像可以被存储在计算设备113中以用于进一步处理,例如对象识别、碰撞检测、运动规划等。经分割的图像被存储在计算设备113中，因为该设备被指定以执行进一步的处理，处理设备113可以将该数据提供给机器人112或用于处理的其他设备。可选地，经分割的图像可以被转换到相机坐标系，这可以使得更容易分析数据。一个示例是机器人112前面的占用空间。在相机坐标系中限定3D图像使得相对容易地确定与相机111最近的部分，因为图像中最近的对象与相机更近(较小的深度)。

现在参考图10，示出了基于机器人工作空间准则来分割视觉数据的方法的流程图50。该方法从步骤151开始，步骤152和153在功能上与图9所示的流程图140中的步骤142和143相同。

在步骤154，如在步骤144中所发生的那样，图像被转换到机器人坐标系，或者机器人工作空间可以被转换到相机坐标系，然后对图像进行过滤。可以理解，机器人工作空间和3D图像需要被引用到相同的坐标系，使得可以标志/标记或消除机器人工作空间外部的3D图像。也可以理解，如果分割范围被提供给相机111，则不需要该步骤。

在步骤155，由于机器人工作空间被提供为表面或分析等式，所以使用来自被限定为表面或被限定为分析等式的机器人工作空间的框156的输入，来在机器人坐标系中过滤图像。应当理解，机器人工作空间的任何3D表示用作输入都是有效的，以提取该工作空间外部的数据。然而，如果在步骤54将图像转换成相机坐标系，则应在该***中执行过滤。

如在步骤147中，步骤157的图像被存储以用于进一步处理，并且如果不在相机坐标系中，则图像可以被可选地转换到相机坐标系。该方法在步骤158结束。

从上面的描述可以理解，3D传感器优选地被校准到机器人坐标系，使得3D数据可以被转换到公共坐标系。

从图9和图10所示的流程图的描述也可以理解，相同的处理技术适用于来自静态和安装的相机的图像。当机器人安装3D传感器时，还有一个附加的步骤，将机器人移动到获取的图像位置。该位置每次都可以相同或不同，并且该位置基于机器人应用的逻辑。如果位置相同，则可以通过仅从在过程开始时曾被训练的3D传感器读取感兴趣的区域来加快该过程。相同的过程适用于静态相机。否则，优选地每次更新传感器中的感兴趣区域。

虽然已经结合目前被认为是最实际和优选的实施例描述了本发明，但是应当理解，本发明不限于所公开的实施例，相反地，本发明旨在覆盖包括在所附权利要求的精神和范围内的各种修改和等同的布置，该范围将被赋予最广泛的解释，以便涵盖法律允许的所有这样的修改和等同结构。此外应当理解，虽然在上述描述中使用词可优选的、可优选地或优选的指示这样描述的特征可能是更期望的，但是尽管如此也可能不是必需的，并且在本发明的范围内可以考虑任何缺少相同特征的实施例，该范围由权利要求限定。在阅读权利要求时，意图是使用诸如“一”、“一个”、“至少一个”和“至少一部分”这样的词语，不旨在将权利要求限于仅一项，除非在权利要求中另有具体说明。此外，当使用词语“至少一部分”和/或“一部分”时，除非另有具体说明，否则项可以包括部分和/或整个项。

Claims (17)

1.一种机器人***，包括：

机器人，具有相关联的工作空间；

视觉传感器，被构造成获得机器人场景的3D图像，所述机器人场景包括位于所述工作空间中的工件；以及

控制***，被通信地耦接到所述视觉传感器和所述机器人，其中所述控制***被配置为执行程序指令，以通过将所述图像分割成第一图像部分和第二图像部分以及通过存储与所述第一图像部分相关联的图像数据来对所述图像进行过滤，所述第一图像部分基本上仅包含所述机器人场景内的感兴趣区，所述第二图像部分包含所述机器人场景的所述感兴趣区外部的剩余部分，

其中所述控制***操作性地基于与所述第一图像部分相关联的所述图像数据来控制所述机器人的移动，以对所述工件执行作业，

其中所述机器人场景的所述图像包括机器人场景图像数据；并且其中所述控制***被配置为执行程序指令，以将所述机器人场景图像数据转换到机器人坐标系，并且

其中所述控制***被配置为执行所述程序指令，以在将所述机器人场景图像数据转换到所述机器人坐标系之后，对所述图像进行分割。

2.根据权利要求1所述的机器人***，其中所述控制***被配置为执行程序指令，以将所述视觉传感器校准到机器人坐标系。

3.根据权利要求1所述的机器人***，其中所述感兴趣区基本上仅包括所述工件和工件位移范围；或者

其中所述感兴趣区是所述工件；并且其中所述第一图像部分仅包括所述工件。

4.根据权利要求1所述的机器人***，其中所述控制***被配置为执行程序指令，以在所述工件周围创建空间带；其中所述感兴趣区是所述工件和所述空间带；并且其中所述第一图像部分基本上仅包括所述工作空间和所述空间带。

5.根据权利要求1所述的机器人***，其中所述感兴趣区是所述工件；并且其中所述第一图像部分基本上仅包括所述工作空间。

6.根据权利要求1所述的机器人***，其中所述控制***被配置为执行程序指令，以在所述工作空间周围创建空间带；其中所述感兴趣区是所述工件、所述工作空间和所述空间带；并且其中所述第一图像部分基本上仅包括所述工件、所述工作空间和所述空间带。

7.根据权利要求1所述的机器人***，其中所述视觉传感器被安装在所述机器人的移动部分上。

8.根据权利要求1所述的机器人***，其中所述感兴趣区被限制到由所述机器人可访问的区域。

9.一种用于操作机器人的方法，包括：

使用机器人视觉传感器来获取机器人场景的3D图像，其中所述3D图像包括机器人场景图像数据；

执行将所述3D图像3D分割成第一图像部分和第二图像部分，所述第一图像部分基本上仅包含所述机器人场景内的感兴趣区，所述第二图像部分包含所述机器人场景的所述感兴趣区外部的剩余部分；

存储与所述第一图像部分相关联的图像数据；

使用与所述第一图像部分相关联的被存储的所述图像数据来操作具有相关联的工作空间的机器人以对位于所述工作空间中的工件执行作业；

将所述机器人场景图像数据从机器人视觉传感器坐标系转换到机器人坐标系；以及

其中所述分割在所述转换之后被执行。

10.根据权利要求9所述的方法，还包括限定被设置在所述工件周围的空间带，其中所述感兴趣区仅包括所述工件和所述空间带。

11.根据权利要求10所述的方法，其中所述空间带被限定为工件位移范围。

12.根据权利要求9所述的方法，还包括限定被设置在所述工件周围的空间带，其中所述感兴趣区包括所述工件、所述工作空间和所述空间带。

13.根据权利要求12所述的方法，其中所述空间带由机器人工具包络限定。

14.根据权利要求9所述的方法，其中所述感兴趣区被限制到由所述机器人可访问的区域。

15.一种用于操作机器人的方法，包括：

将机器人视觉传感器校准到机器人坐标系；

使用所述机器人视觉传感器来获取机器人场景的3D图像；

对所述3D图像进行过滤，以产生基本上仅包含所述机器人场景内的感兴趣区的图像部分；

使用所述图像部分来操作机器人，以对所述感兴趣区中的工件执行作业；以及

其中所述感兴趣区还由所述机器人可访问的区域而限定。

16.根据权利要求15所述的方法，还包括将所述图像部分分割成第一图像部分和第二图像部分，所述第一图像部分基本上仅包含所述机器人场景内的所述感兴趣区，所述第二图像部分包含所述机器人场景的所述感兴趣区外部的剩余部分；以及存储与所述第一图像部分相关联的图像数据。

17.根据权利要求15所述的方法，其中所述3D图像包括机器人场景图像数据，所述方法还包括将所述机器人场景图像数据从机器人视觉传感器坐标系转换到机器人坐标系。

Images