CN111149067A - 经由基准检测在工作空间中的机器人定位 - Google Patents

Abstract

公开了用于确定机器人在工作空间中相对于对象的位置的装置和方法，该方法包括结合对象识别使用相机、扫描仪或其他适当的设备。相机等用于接收信息，从该信息中可以关于由相机所查看的场景建立点云。点云将被理解为位于以相机为中心的参考系中。关于已知基准的信息被使用，并且通过目标识别与点云进行比较。例如，来自机器人的连杆可以是标识的基准，使得当识别时点云的坐标可以被转换到以机器人为中心的参考系，因为基准的位置相对于机器人是已知的。

Description

经由基准检测在工作空间中的机器人定位

技术领域

本发明一般涉及机器人的态势感知(situational awareness)，更具体地但非排他地，涉及通过使用对象识别来确定态势感知。

背景技术

当机器人导航和/或操纵其周围环境时，为机器人提供态势感知仍然是感兴趣的领域。相对于某些应用而言，一些现有的***有各种各样的缺点。因此，仍然需要在该技术领域作出进一步的贡献。

发明内容

本发明的一个实施例是一种用以确定在机器人的环境中的态势感知的独特方法。其他实施例包括用于确定机器人在工作空间中的位置的装置、***、设备、硬件、方法和组合。本申请的进一步的实施例、形式、特征、方面、益处和优点将通过本文提供的描述和附图变得显而易见。

附图说明

图1描绘了工作空间中的机器人的一个实施例。

图2描绘了有助于确定机器人的态势感知的控制器的实施例。

图3描绘了用于捕获场景的相机，该场景包括在工作空间内的机器人。

图4描绘了由图3的相机捕获的场景的计算机生成图像。

具体实施方式

为了促进对本发明原理的理解，现在将参考附图中所示的实施例，并将使用特定的语言来描述相同的实施例。然而，应该理解的是，本发明的范围并没有由此而受到限制。所描述的实施例中的任何变更和进一步修改、以及本文所描述的本发明原理任何的进一步应用，均被视为由本发明涉及的领域的技术人员所想出。

参考图1，公开了工作空间50，其包括分布在其中的一个或多个工作空间对象52，并且其中还可以布置机器人54以用于对工作空间对象52进行操作、或避开工作空间对象52的一个或多个特征。工作空间50可以是小室(cell)、封闭的房间或局部区域(无论是否封闭)，其中机器人54可以遍历和/或操纵一个或多个效应器，诸如臂、手、夹持器、吸盘等。位置检测器58用于检测工作空间50内工作空间对象52和机器人54的位置，并通过使用计算机60来辅助检测，该计算机60可以接收由位置检测器58采集的与位置相关的信息，并且操纵机器人54和/或效应器56。下文将描述关于位置检测器58和计算机实现应用的进一步的细节，该计算机实现应用用以协助确定对象52到机器人54的相对定位来辅助机器人54的导航/操纵等任务。

机器人54可以是任何能够用于在工作空间内操纵的有用设备。这样的操纵可以是仅通过移动一个或多个效应器56(例如臂、夹持器、滑块等)或两者的组合而从一个位置传输到另一个位置。该操纵可以包括平移和旋转中的任何一个或多个。在一种形式中，机器人45是双臂机器人，该双臂机器人具有多自由度，并且能够夹持或以其他方式操纵工作空间50中的对象(例如对象52)和/或在对象52周围操纵。

***58可以基于相机、扫描仪或能够捕获信号的类似设备，该信号用于生产表示感兴趣对象(例如对象52)的位置的点云(point cloud)。相机、扫描仪等被用于捕获任何类型的信号，诸如被反射或通过对象(例如对象52和/或机器人54)的电磁波(例如可见光)、声音等。***58可以被手持或者通过静止或移动的任何机构被保持。***58可以与源结合使用，该源发射这种信号(例如顶灯、激光、x光机、可听或不可听扬声器等等)或利用周围环境反射的信号(诸如通过由阳光照亮的对象而可能发生)。这样的信号的检测/捕获可以用于确定感兴趣的对象的一个或多个方面的位置，并可以通过任何数目的设备实现，诸如电荷耦合设备、麦克风等。检测各种特征的位置允许点云的创建，该点云可以参考任意的坐标系，该坐标系通常是相对于***本身定义的。这样的点云可以通过使用计算机60来确定，如将在下文进一步描述。

***58的一些非限制性示例包括非接触式3D扫描仪、非接触式无源扫描仪、立体视觉成像***、光度扫描仪、轮廓扫描仪、3-D相机，移动2-D相机等。为了便于描述，并仅强调两个可能的***(任何适合创建点云的***在本文中都是可以接受的)，在下文将引用“相机”或“扫描仪”，尽管此处不旨在对上述任何公开的实施例中所述的任何其他可能的***58的适用性进行限制。因此，相对于任何具体实施例的“相机”或“扫描仪”的提及，将被理解为同样应用于任何其他类型的***58，除非固有地或明确地被禁止为相反。

如本文所使用的，术语“***”可以包括接收位置信息信号(例如反射的电磁波等)的单个传感器，并且/或者包括由传感器、镜头、外壳、电缆等组成的更大的***。在此并不旨在将“***”限制为单个离散的组件，除非明确意图相反。

***58可以捕获场景的“图像”，其有助于确定场景内各种特征的位置。这样的“图像”可以包括任何与各种类型的***相关联的不同的数据类型。例如，该“图像”可以是以任何可能的数据格式(.jpeg、.mpeg、.mov等)的该场景的可视照片图像、激光扫描数据等。数据格式或者从格式导出的数据可以被转换成有助于实现和/或执行本文中描述的各种实施例的任何格式或数据类型。与各种特征相关联的位置数据是有助于直接表示距离或通过后续处理推断距离的任何类型的数据。例如，位置数据可以是由相机捕获的可视场景并且由计算机60的后续算法操作以确定位置信息。

通过计算机60使用每个特征的位置信息以制定与各种特征相关联的点云，每个点表示场景内对象的一个特征或组件。在后续的处理中使用点云以确定场景中对象的相对定位，并通过对象识别来标识出场景的特征。

如上文所述，相机58可以被手持，但是本文也可以设想其他变型。在一个非限制性的实施例中，相机58可以位于机器人54上(例如与臂的基座结合安装)或任何其他合适的位置。然而，在其他实施例中，相机58可以远离机器人54定位，诸如但不限于机器人54也位于的工作空间50的壁。在这些实施例中，相机58可以以这样的方式定位或安装，以允许观察机器人54或机器人54的一部分，但是基于下文描述的用于确定工作空间50中相对位置信息的基准，可能不需要这样的限制。

一个或多个计算设备(例如计算机60)被用于收集来自相机58的信息并创建场景内各种特征的点云。计算设备可以包括基于计算机的应用62，该应用62用于收集数据并进行本文所讨论的必要的计算。基于计算机的应用62可以在本地或远程位置被托管，或者其可以是如将理解的分布式应用。基于计算机的应用62通常被构造为结合效应器56的开发动作来确定工作空间50内的态势感知。基于计算机的应用62被构造为通过利用来自相机58的信息以及对来自相机58的信息操作的对象识别算法，来检测机器人54在工作空间内的位置。

在一种形式中，基于计算机的应用62可以被认为是控制器，其中本文中使用的术语“控制器”包括以下实施例：表达操作机器人所必需的完整控制算法、或者执行在与其他组件一起使用时有助于控制机器人的离散或有限任务的子组件。因此，术语“控制器”可以指代当与控制机器人54的其他部分结合操作时，对确定对象52的位置特别有用。

本文中所指的基于计算机的应用62可以是旨在确定由相机58采集的场景内对象特征位置、并且还可能开发效应器56和/或机器人58的控制动作的任何类型的有用的计算机程序。基于计算机的应用62可以使用任何种类的计算设备(例如桌面个人计算机、手持设备等)执行，诸如在一个非限制性实施例中在图2中所示的计算设备。图2描绘了计算机60的示意图。计算机60包括处理设备64、输入/输出设备66、存储器68和操作逻辑70。此外，计算机60与一个或多个外部设备72通信。

输入/输出设备66可以是允许计算机与外部设备72通信的任何类型的设备。例如，输入/输出设备可以是网络适配器、网卡或端口(例如，USB端口、串行端口、并行端口、VGA、DVI、HDMI、FireWire、CAT 5或任何其他类型的端口)。输入/输出设备66可以包括硬件、软件和/或固件。设想该输入/输出设备66包括多于一个的这些适配器、卡或端口。

外部设备72可以是允许数据从计算机60输入或输出的任何类型的设备。在一个非限制性的示例中，外部设备72是手持设备。仅为了阐述几个非限制性的示例，外部设备72可以是另一个计算机、服务器、打印机、显示器、警报器、发光指示器、键盘、鼠标、鼠标按键或触摸屏显示器。此外，设想该外部设备72可以集成到计算机60中。例如，计算机60可以是智能电话、膝上型计算机或平板计算机，在这种情况下，显示器是外部设备，但是该显示器与计算机60集成为一个单元，这与智能电话、膝上型计算机或平板计算机等的设计相一致。进一步设想有多于一个外部设备与计算机60通信。外部设备可以与计算机60位于同一位置，也可以远离计算机定位。

处理设备64可以是可编程类型的、专用的、硬线状态机、或者这些的组合；并且可以进一步包括多个处理器、算术逻辑单元(ALU)、中央处理单元(CPU)等。对于具有多个处理单元的处理设备64的形式，可以适当地利用分布式、流水线式和/或并行处理。处理设备64可以专用于执行本文中描述的操作，或者可以在一个或多个附加应用中利用。在所描述的形式中，处理设备64是可编程的类型，其根据操作逻辑70来执行算法并处理数据，该操作逻辑70是由存储器68中存储的编程指令(诸如软件或固件)定义的。备选地或附加地，用于处理设备64的操作逻辑70至少部分地由硬线逻辑或其他硬件定义。处理设备64可以包括一个或多个任意类型的组件，该组件适合于处理从输入/输出设备66或其他地方接收的信号并且提供需要的输出信号。这样的组件可以包括数字电路***、模拟电路***或二者的组合。

存储器68可以是一种或多种类型的，诸如固态类型、电磁类型、光学类型或这些形式的组合。此外，存储器68可以是易失性的、非易失性的或这些类型的组合，并且一些或所有存储器可以是便携类型的，诸如硬盘、磁带、记忆棒、盒等。此外，仅举一个示例，在存储定义操作逻辑70的编程指令之外、或者代替存储定义操作逻辑70的编程指令，存储器68可以存储由处理设备64的操作逻辑70操纵的数据，诸如表示从输入/输出设备66接收和/或发送到输入/输出设备66的信号的数据。如图2所示，存储器68可以被包括在处理器64和/或与该处理器64耦合。

操作逻辑70可以包括：控制器的算法和步骤，控制器是否包括必要于影响机器人54的移动和动作的整套算法，或者控制器是否仅包括用以从相机58接收数据、确定点云、利用对象识别(下文进一步讨论)以及解析对象相对于键控到机器人54的参考系的位置所必需的那些算法。操作逻辑可以保存在易失性或非易失性类型的存储设备中，并且可以以任何合适的类型表示，诸如但不限于源代码、目标代码和机器代码。

现在转向图3并继续参考图2，示出了工作空间50的一个实施例，工作空间50包括工作空间对象52、机器人54、效应器56和用于扫描工作空间50的相机58。图3中的图示描绘了相机58被用于捕获场景，该场景包括工作空间50的各种细节。被相机58接收的信息由计算机60、特别是控制器或应用62所使用以形成点云，并且从点云中可以确定位置信息。图4中所示的基于计算机的模型74可以从由相机58捕获的信息中生成。基于计算机的模型74可以包括由相机58捕获的场景的细节，并且可以以任何合适的数据格式表示。

为了将由相机捕获的点云的坐标信息(并因此相对于相机中心视点)转换成相对于机器人表示的坐标信息，对象识别可以应用于点云(或源于点云的数据)、并且特别应用于点云中的基准，其中关于基准的信息相对于机器人的参考系是已知的。基准的对象识别和后续的到以机器人为中心的参考系的坐标转换可以协助机器人保持其态势感知、执行导航和/或标识无障碍的潜在移动等。设想关于基准(诸如特性、大小、形状等)的信息通过本文中描述的实施例而预先得知。这种先验知识可以采用基准的基于计算机的模型的形式，诸如但不限于CAD模型或其派生。这种基准的先验知识有助于通过使用对象识别以使用本文中的实施来识别数据。

基准可以是工作空间50中的任何参考对象，并且在一些形式中可以是2D或3D的。在一种形式中，基准是机器人或机器人的一部分，无论该部分是否包括一个或多个组件。例如，在机器人的手中的连杆76可以用作基准，只要采用的对象识别技术能够标识该基准。仅为阐述几个非限制性示例，基准的其他示例包括由机器人使用的工具或机器人的基板。

在本文任何实施例中使用的对象识别算法可以从多个单独的方法得出，包括匹配、学习或模式识别。在即时应用中使用的对象识别可以直接应用于点云数据来确定基准，或在一些形式中点云数据可以在执行对象识别之前被转换并/或操作来形成另一个数据类型。例如，关于CAD模型的信息或从CAD模型得出的信息可以用于与从相机生成的(或备选地从相机生成的点云数据导出的)点云数据进行比较。这样的CAD模型可以采用任何形式，这些形式可以使用或可能不使用任何合适的技术被转换，以生产用于对象识别的可用的数据。在一种形式中，CAD模型是基准的网格模型。仅列出几个非限制性的示例，对象识别可以从源于相机58的点云数据应用到CAD模型的点云数据，或者由相机捕获的点云数据可以转换成另一种形式(例如网格)，并且对象识别可以应用于网格模型版本的CAD模型。简言之，对象识别可以使用由相机捕获的点云数据或任何从该数据导出的数据来完成。

直到执行对象识别，来自相机图像的数据在相机空间中提供点云数据。一旦对象被识别，对象在工作空间中的位置可以被转换成机器人空间，该机器人空间给定了与相对于机器人54的基准相关的信息。例如，如果基准是在机器人上的连杆，则将已知该连杆相对于机器人的位置，并且还将相对于机器人坐标系已知点云数据的随后的坐标转换，使得关于对象52的位置信息可以被提供到机器人，其中这样的信息被用于允许机器人导航和/或操纵其周围环境。

一旦对象识别完成，来自相机角度的坐标信息因此可以准备转换为机器人角度。在一个非限制性实施例中，坐标转换将被理解为包括从一个原点和参考系到另一个原点和参考系的旋转和/或平移的转换。在一些实例中，原点和/或参考系取向可能是相似的，但是在大多数实例中两者将是不同的。总之，点云中相对于相机中心视点表示的坐标可以被转换为点云中相对于机器人中心视点表示的坐标。这样的转换为机器人提供了工作空间对象的态势感知，使得机器人可以选择与对象交互或避开对象。

本申请的一个方面提供了一种装置，该装置包括：工作空间，具有工作空间对象和机器人对象；***，被构造为接收来自工作空间的位置信息信号；计算设备，被构造为存储指令，并且处理与在工作空间内机器人对象的位置相关的信息；以及基于计算机的应用，被托管在计算设备上，并且被配置为：基于从***接收的位置信息信号来建立点云；利用对象识别，以检测从***接收的位置信息信号中的基准；以及标识点云中特定的点作为对象识别的结果，以提供关于机器人相对于工作空间对象的局部位置信息。

本申请的一个特征包括，其中基于计算机的应用被配置为：将与工作空间对象相关联的点云中的点的坐标转换到以机器人为中心的参考系。

本申请的另一个特征包括，其中基准是机器人对象的至少一部分，并且其中***是相机。

本申请的另一个特征包括，其中相机未被安装在机器人上。

本申请的另一个特征包括，其中对象识别通过将来自点云的信息与存储的关于基准的信息进行比较而被确定。

本申请的另一个特征包括，其中基准至少是机器人对象的一部分。

本申请的另一个特征包括，其中存储的关于基准的信息与基准的CAD模型相关。

本申请的另一个特征包括，其中***是相机或扫描仪中的一者，并且位置信息信号是反射的电磁辐射。

本申请的另一个特征包括，其中***是3D相机。

本申请的另一个特征包括扫描仪***，该扫描仪***包括***。

本申请的另一方面包括一种装置，该装置包括：机器人定位控制器，被配置为确定在机器人小室内的机器人相对于机器人小室中的工作空间对象的空间位置，机器人定位控制器被构造为：从***接收位置数据；从位置数据形成点云；通过使用对象识别来标识点云中的基准；以及通过使用信息来确定机器人相对于工作空间对象的位置，该信息作为通过对象识别来标识点云中的基准的结果而被生成。

本申请的一个特征包括，其中基准是机器人的至少一部分。

本申请的另一个特征包括，其中***是相机。

本申请的另一个特征包括，其中来自相机的图像数据呈从激光扫描中生成的数据点的形式。

本申请的另一个特征包括，其中机器人定位控制器被构造为：将基准从以相机为中心的参考系转换到以机器人为中心的参考系。

本申请的另一个特征包括，其中对象识别利用关于基准的预定信息。

本申请的另一个特征包括，其中预定信息从基准的CAD模型生成。

本申请的另一个特征包括，其中相机是扫描仪或3D相机中的一者。

本申请的又一方面包括一种方法，该方法包括：捕获机器人工作空间的图像，该工作空间包括机器人对象和工作空间对象；基于捕获的图像来确定点云；基于对象识别来检测捕获的图像内的基准；以及基于点云和对象识别来在工作空间中定位机器人对象。

本申请的一个特征包括，其中定位机器人对象包括制定对象相对于机器人对象的位置信息。

本申请的另一个特征还包括，将基准的位置信息从相机空间取向转换到机器人对象空间取向，使得机器人能够关于对象的位置进行操纵。

本申请的另一个特征包括，其中基准是机器人对象的至少一部分。

本申请的另一个特征还包括，在捕获期间停止机器人对象的移动。

本申请的另一个特征包括，其中捕获包括激光扫描、3-D图像捕获或连续2-D相机捕获中的至少一个。

尽管已经通过附图和前面的说明详细地说明和描述了本发明，但是该附图和说明被认为是说明性的而不是限制性的，应当理解，仅仅已经示出并描述了优选实施例，并且在本发明的精神范围内的变化和修改都期望受到保护。应当理解，上文描述中使用的诸如优选的、优选地、优选或更优选等词语的使用表示这样描述的特征可能是更期望的，然而它们可能不是必需的，并且缺乏相同特征的实施例可以被考虑在由下文的权利要求所定义的本发明的范围内。阅读权利要求时，意图是当诸如使用“一”、“一个”、“至少一个”或“至少一部分”等词语时，除非在权利要求中明确指出相反，否则不旨在将权利要求限制为仅一个项目。当使用语言“至少一部分”和/或“一部分”时，除非明确指出相反，否则该项目可以包括一部分和/或整个项。除非以其他方式指出或限制，术语“安装”、“连接”、“支撑”和“耦合”以及它们的变型被广泛应用，并且包含直接和间接安装、连接、支撑和耦合。此外，“连接”和“耦合”不限于物理或机械的连接或耦合。

Claims (24)

1.一种装置，包括：

工作空间，具有工作空间对象和机器人对象；

***，被构造为接收来自所述工作空间的位置信息信号；

计算设备，被构造为存储指令，并且处理与在所述工作空间内所述机器人对象的位置相关的信息；以及

基于计算机的应用，被托管在所述计算设备上，并且被配置为：基于从所述***接收的所述位置信息信号来建立点云；利用对象识别来检测从所述***接收的所述位置信息信号中的基准；以及标识所述点云中特定的点作为所述对象识别的结果，以提供关于所述机器人相对于所述工作空间对象的局部位置信息。

2.根据权利要求1所述的装置，其中所述基于计算机的应用被配置为：将与所述工作空间对象相关联的所述点云中的点的坐标转换到以机器人为中心的参考系。

3.根据权利要求2所述的装置，其中所述基准是所述机器人对象的至少一部分，并且其中所述***是相机。

4.根据权利要求3所述的装置，其中所述相机未被安装在所述机器人上。

5.根据权利要求1所述的装置，其中所述对象识别通过将来自所述点云的信息与存储的关于所述基准的信息进行比较而被确定。

6.根据权利要求5所述的装置，其中所述基准是所述机器人对象的至少一部分。

7.根据权利要求6所述的装置，其中存储的关于所述基准的所述信息与所述基准的CAD模型相关。

8.根据权利要求1所述的装置，其中所述***是相机和扫描仪中的一者，并且所述位置信息信号是反射的电磁辐射。

9.根据权利要求8所述的装置，其中所述***是3D相机。

10.根据权利要求8所述的装置，所述装置进一步包括扫描仪***，所述扫描仪***包括所述***。

11.一种装置，包括：

机器人定位控制器，被配置为确定在机器人小室内的机器人相对于在所述机器人小室中的工作空间对象的空间位置，所述机器人定位控制器被构造为：

从***接收位置数据；

从所述位置数据形成点云；

通过使用对象识别来标识所述点云中的基准；以及

通过使用信息来确定所述机器人相对于所述工作空间对象的位置，所述信息作为通过对象识别来标识所述点云中的所述基准的结果而被生成。

12.根据权利要求11所述的装置，其中所述基准是所述机器人的至少一部分。

13.根据权利要求12所述的装置，其中所述***是相机。

14.根据权利要求12所述的装置，其中来自所述相机的图像数据呈从激光扫描中生成的数据点的形式。

15.根据权利要求11所述的装置，其中所述机器人定位控制器被构造为：将所述基准从以相机为中心的参考系转换到以机器人为中心的参考系。

16.根据权利要求15所述的装置，其中所述对象识别利用关于所述基准的预定信息。

17.根据权利要求16所述的装置，其中所述预定信息从所述基准的CAD模型生成。

18.根据权利要求17所述的装置，其中所述相机是扫描仪和3D相机中的一者。

19.一种方法，包括：

捕获机器人工作空间的图像，所述工作空间包括机器人对象和工作空间对象；

基于捕获的所述图像来确定点云；

基于对象识别来检测捕获的所述图像内的基准；以及

基于所述点云和所述对象识别来在所述工作空间中定位所述机器人对象。

20.根据权利要求19所述的方法，其中定位所述机器人对象包括：制定所述对象相对于所述机器人对象的位置信息。

21.根据权利要求20所述的方法，所述方法进一步包括：将所述基准的位置信息从相机空间取向转换到机器人对象空间取向，使得机器人能够关于所述对象的位置进行操纵。

22.根据权利要求21所述的方法，其中所述基准是所述机器人对象的至少一部分。

23.根据权利要求21所述的方法，所述方法进一步包括：在捕获期间停止所述机器人对象的移动。

24.根据权利要求23所述的方法，其中所述捕获包括激光扫描、3-D图像捕获或连续2-D相机捕获中的至少一个。

Images