CN110573308B - 用于机器人设备的空间编程的基于计算机的方法及*** - Google Patents

Abstract

公开了一种用于机器人设备的空间编程的基于计算机的***和方法。混合现实工具可选择与机器人设备的一个或多个交互任务有关的对象。可定位对象的空间位置，包括对象的笛卡尔坐标和取向坐标。可执行应用程序以使用空间位置来操作机器人设备。基于初始参数，可在混合现实环境中模拟机器人设备对与技能集有关的对象执行一个或多个任务。

Description

用于机器人设备的空间编程的基于计算机的方法及***

技术领域

本申请涉及自动化和控制。更具体地，本申请涉及在自动化和控制中使用的机器人***的混合现实辅助编程。

背景技术

向机器人教授不同的技能带来了许多问题，仅举几例，诸如对专业知识和精力的要求、对机器人制造商软件的依赖性、各种编程语言/硬件的集成、任务的复杂程度以及缺乏有效的方法来无缝实现对多个机器人的编程。机器人任务执行需要不同技能的组合，采用工具(例如直接编程环境、示教器、运动***或视觉***)来生成控制程序。用这些工具，用户可为机器人创建不同类型的任务，诸如拾取和放置；复杂几何形状的3D打印或加工；组件的焊接等。

现有的用于对机器人***进行编程的最新技术包括基于代码的编程、示教器、基于视觉的***以及运动跟踪。在对机器人进行编程以执行特定任务时，常规的基于代码的编程需要具有机器人学和编程语言(例如C++、Python)的专业知识。例如，用户通过分析来自传感器的输入并利用存储器中的预定义动作，为机器人编程一系列动作以完成单独的任务。

示教器方法已被开发为对代码编程的改进，应用通用接口以对工业机器人进行编程，用于生产、装配和运输，仅举几例。这种技术的主要缺点包括重复教学过程，缺乏可重用性以及由于人为因素导致指导不准确的倾向。

基于视觉的***采用摄像机来提供图像或视频信息，以允许机器人执行诸如对象识别、路径规划、避障、拾取和放置等任务。通常，基于视觉的编程不能够捕获机器人与对象之间的物理联系和动态交互，其阻碍了可训练性。相机使用的图像位于2D空间中，而机器人在3D空间中操作。当依赖于这种编程方法时，弥合维度之间的差距仍然是一个严重的问题。

运动跟踪提供了通过视觉和非视觉传感器的输入来学习观察到的运动序列的能力。通过分析来自运动传感器的输入数据，可轻松而准确地重新创建复杂的移动和真实的物理交互，诸如二阶运动、重量转移和力交换。通常，人体运动跟踪具有低延迟的特征，并且跟踪***接近于软实时或硬实时操作。另一方面，移动跟踪设备及其相应的硬件/软件的成本昂贵，并且还需要高技术的技术人员来操作。

通常，当前使用的方法缺乏任务的可重用性、可扩展性和可转移性，因为如果分配了不同的任务，则需要对机器人进行重新编程。

附图说明

当结合附图阅读时，根据以下详细描述可最好地理解本发明的前述和其他方面。为了说明本发明，在附图中示出了当前优选的实施方式，然而，应理解，本发明不限于所公开的具体手段。附图中包括以下图：

图1示出根据本公开的实施方式的基于计算机的工具的***的示例；

图2示出根据本公开的实施方式的混合现实环境的示例性配置；

图3示出根据本公开的实施方式的技能引擎架构的图；

图4是根据本公开的实施方式的用于机器人设备的抓取姿势的空间编程的示例的图；

图5是根据本公开的实施方式的用于机器人设备的路径的空间编程的示例的图；

图6示出根据本公开的实施方式的使用MR工具调整机器人设备的空间坐标的界面的示例；以及

图7示出可在其中实施本公开的实施方式的计算环境的示例。

具体实施方式

此后，术语“混合现实”(MR)用于描述真实对象和虚拟对象的组合环境。可使用MR、增强现实(AR)或虚拟现实(VR)技术来模拟虚拟对象。为了简单起见，在本公开中使用术语MR。

公开了用于机器人编程平台的方法和***，该机器人编程平台可通过MR教学工具向机器人***教授不同的技能集。在机器人设备的技能引擎的编程阶段期间，针对一个或多个技能集，学习与对象的交互任务有关的空间参数。所公开的方法和***提出了对用于执行这种基于计算机的任务的计算机功能的改进。尽管当前可用的工具可对机器人设备技能引擎进行编程，但是本公开的实施方式使得技能引擎能够被安装并连接到MR环境，这具有多个优点，包括对专业编程语言中的专业知识的较低依赖性以及在积累机器人设备的技能集方面的可扩展性。

图1示出根据本公开的实施方式的基于计算机的工具的***的示例。在一个实施方式中，用户101可在操作图形用户界面(GUI)设备105以训练机器人设备的技能引擎110时佩戴诸如微软全息透镜(Microsoft HoloLens)的混合现实(MR)设备115。技能引擎110可具有储存在存储器中的多个应用程序120，每个程序用于执行技能集或任务的特定技能。对于每个应用120，可基于由MR工具(例如MR设备115和MR***数据130)辅助的学习来开发一个或多个模块122。由于应用模块122被编程为学习机器人设备的任务，任务参数可被储存为本地技能数据112或基于云的技能数据114。

MR设备115可为可穿戴的观看设备，其可在显示屏上显示与工作环境中的真实对象叠加和对齐的模拟对象的数字表示。MR设备115可被配置成在用户101监控应用程序120的执行时显示MR工作环境。真实环境可在MR设备115中作为可穿戴头戴耳机中的直接视图(例如，通过透明或半透明材料)来查看或通过由内置或外部摄像头生成的呈现在显示屏上的视频图像来查看。例如，用户101可操作MR设备115，该MR设备可启动本地储存的应用，以加载MR环境的虚拟方面并通过同步服务器166与真实方面进行同步。同步服务器166可接收由MR设备115捕获的真实和虚拟信息，真实信息来自传感器162以及虚拟信息由模拟器164生成。MR设备115可被配置成接受来自用户101的手势输入，以用于编辑、调整、更新或中断应用120。GUI设备105可被实施为诸如平板电脑、小键盘或触摸屏的计算机设备，以允许输入初始设置和参数以及基于用户101的输入编辑、调整或更新应用120。GUI设备105可与MR设备115协同工作以对应用120进行编程。

MR***数据130可包括从各种传感器162以及诸如开关、高速计数器或其组合的其他类型的设备接收的各种数字和模拟信号以及正交脉冲。传感器类型的示例可包括运动、振动、温度、旋转速度、压力、光学和音频中的一项或多项。以下将来自实际传感器的此类数据称为“真实数据”，以区别于从物理组件的模拟实体或数字孪生获得的虚拟数据。如图1所示，真实产品/工件数据151可包括与用于跟踪和监控工作环境中产品或工件的任何感测、切换或计数设备有关的信号。例如，感知传感器可安装在工作区域中，用于监控和跟踪产品/工件。真实数据的其他示例包括与工件的工作表面有关的真实表面数据153、与机器人设备(诸如可与产品/工件交互和操作的机器人抓取器)有关的真实单元1数据，以及与视觉传感设备(诸如相机)有关的真实视觉***数据157。技能引擎110在输入模块150处接收真实数据，该输入模块可被配置为用于每个相应输入信号的单独模块，并且可将信号转换为应用可用的输入信息。

MR***数据130可包括与MR环境的模拟组件的特性有关的虚拟数据。模拟器164可生成模拟信号格式(诸如针对真实数据所描述的模拟信号、数字信号或脉冲信号)的虚拟数据。还可以已转换为应用120可用的信息的格式将虚拟数据提供给技能引擎110。一个或多个输入模块140可被配置成接收任一格式的虚拟数据。在一个实施方式中，虚拟数据可经由输入模块150发送到技能引擎110，或者经由输入模块140和150两者划分和发送。如图1所示，虚拟产品/工件数据141可包括与如由MR设备115或单独MR模拟器164产生的与产品或工件的模拟有关的任何信号或信息。例如，虚拟产品/工件数据141可包括响应于模拟环境的反作用运动，该模拟环境可被转化成虚拟产品/工件的视觉表示160，用于呈现在MR设备115中。模拟器164可生成工件表面的模拟并将其储存为虚拟表面数据143。模拟器164也可根据各种参数生成虚拟单元1的模拟活动，这些参数可被储存为虚拟单元1数据。虚拟视觉***数据147可基于数字孪生的模拟感知。

通过诸如MR设备115的MR工具，可向用户101呈现用于选择将MR环境的哪些实体模拟为数字孪生的选项。具有真实数据/虚拟数据组合允许实现MR环境的各种模拟。例如，在真实-虚拟模式下，技能引擎110可在开发和编程应用模块122时，同时处理用于一个或多个真实组件的MR***数据130以及一个或多个虚拟组件的数据。例如，产品可存在于MR环境中，并且虚拟工件可在产品和工件之间的交互的模拟期间与真实产品共存。在这种情况下，真实产品数据151包括从对真实产品的活动起反应的传感器接收的传感器信号，并且虚拟工件数据141包括对模拟工件的活动和行为起反应而产生的信号和信息。在一个实施方式中，与机器人单元1相关联的控制传感器162可产生真实单元1数据155。例如，运动传感器可提供信号以分析机器人组件的最大速度阈值。

可在虚拟-虚拟模式下处理MR***数据130，其中一个或多个数字孪生响应于相应的应用程序模块122，并模拟由MR设备115或MR模拟器164跟踪的活动或操作，以产生对技能引擎110的相应虚拟数据输入，以及在MR设备115上显示的视觉模拟。

作为另一示例，可在真实-真实模式下处理MR***数据130，其中仅真实组件与实际传感器并与相应的应用模块120交互。在此类情况下，MR设备115可在工作环境内提供一个或多个模拟结构或对象的显示，诸如自动化装置的测试和调试期间的产品或工件或障碍物。MR设备115还可显示真实组件的模拟路径或移动，作为在实际路径或移动之前显示给用户101的视觉预测。此类预测可用于在对真实对象进行实际操作之前对物理工厂或技能集应用进行调整。

在使用MR工具对由可编程逻辑控制器(PLC)控制的机器人设备进行空间编程的实施方式中，关于在设计和工程阶段操纵的控制***并储存为技能数据112/114的知识可包括以下中的一项或多项：设备之间的连接性；传感器和致动器、设备的输入和输出以及设备连接性；功能、功能块、组织块、程序、过程以及它们之间的逻辑关系；控制变量名称以及一方面到具体程序和过程的变量的地址分配和另一方面到设备的变量的地址分配；数据类型和变量类型(例如，全局、直接、I/O、外部、临时、时间等)；以及备注和注释形式的对控制程序中的控制逻辑、控制回路、控制结构的解释和调整；以及根据本公开的实施方式，用于由诸如GUI 105的界面结合到MR设备115的接口来测试、观察、跟踪和调试的辅助代码。

尽管已示出和描述了MR***数据130的特定真实-虚拟组合，但是其他实施方式另选地或附加地包括各种其他种类的数据，取决于针对开发应用程序120而待模拟的控制组件的数量和类型。

图2示出根据本公开的实施方式的MR环境200的示例配置。技能引擎110控制机器人单元231并接收传感器输入235，诸如空间位置和取向数据。对象222和214可被设置在由机器人单元231操作的工作表面211上。服务器251(诸如图1中所示的模拟器164)可包括一个或多个处理器，以执行虚拟模块252以生成用于模拟真实对应物(诸如机器人单元231和对象222、214)的数字孪生。例如，虚拟模块252可呈现经模拟的机器人单元231的显示，作为真实机器人单元231的数字表示，具有与分配给该机器人单元并由技能引擎110的应用程序执行的技能和任务有关的相同空间维度和运动特性。虚拟模块252对模拟的呈现可在MR设备115中显示给用户。诸如传感器模拟的虚拟控制数据经由数据输入255被馈送到技能引擎110。来自传感器212的视觉传感器数据可提供与机器人单元231和对象222、214的真实版本的活动有关的视觉信息。虚拟模块252提供的模拟数据可使用诸如西门子LMS虚拟实验室等工具生成。

机器人单元231可被编程为执行各种任务，其作为与对象222(诸如产品、产品的子组件、工件或工具)的交互有关的技能集的一部分。例如，取决于机器人单元231的特定装置和配置，可对机器人单元231进行编程以对对象222执行包装操作、切割、钻孔、研磨或涂漆。作为说明性示例，图2中示出机器人单元231配备有抓取器224，用于在对象222上进行拾取和放置操作，诸如在自动化过程的包装操作中。在一个实施方式中，机器人单元231可从工作表面211拾取对象222，规划到目标位置225的路径223，以避免与障碍对象214碰撞。

在一个实施方式中，MR设备115可呈现并显示表示机器人模拟的虚拟机器人单元231和虚拟抓取器224。可在虚拟模块252中模拟虚拟机器人单元231和虚拟抓取器224，以针对避免碰撞应用程序，沿着真实工作台211上的路径223移动虚拟工件222。诸如相机的视觉传感器212可向技能引擎110提供输入，以提供表示用于真实组件(诸如工作台211和真实对象214)的视觉的MR输入。MR设备115可配备有还可提供真实对象的视觉数据的相机。来自视觉传感器212的视觉数据还可经由用于区段210中的模拟操作的MR显示的有线或无线连接被提供给MR设备115，这使得能够远程观看模拟操作。

对于示例模拟，真实对象214可充当虚拟工件222的障碍。对于空间相关应用的初始编程，MR设备115可用于在虚拟工件沿设计路径223行进到目标225时观察虚拟工件的路径。用户101可使用初始参数初始设置应用程序，以允许对应用进行编程。例如，可在知道可在后续试验中进行调整直到满足空间容差阈值的情况下，估计初始空间参数和约束。可经由GUI设备105或通过MR设备115的界面来输入初始参数。可使用由MR设备115显示的界面工具来进行虚拟机器人单元231和对象222的空间参数的调整。例如，可使用在MR设备115上运行的视觉界面应用来设置虚拟抓取器224的空间和取向坐标。当执行模拟操作时，一个或多个应用模块122可从传感器接收输入，计算虚拟机器人单元231和/或抓取器224的运动，基于附加传感器输入监控障碍物，从视觉***212接收障碍对象214的坐标，并且如果必要的话，计算新路径。如果虚拟工件未能跟随障碍对象214周围的路径223，则用户可中断模拟，诸如通过使用MR设备115的手势来中断模拟，然后使用GUI 105修改应用以进行必要的调整。

可重新运行MR模拟以测试调整后的应用，并根据需要进行附加的反复执行，直到根据约束(诸如空间容差阈值)经模拟的机器人单元231的操作成功。例如，可能需要路径223保持在一组空间边界内，以避免与周围结构碰撞。作为另一个示例，对象222的放置可基于与待在对象222上执行的后续任务的协调而受到目标位置225周围的空间范围的约束。

可重新运行MR模拟以测试调整后的应用，并根据需要进行附加的反复执行，直到机器人设备的模拟操作成功。上面的模拟提供了对机器人设备进行编程以学习各种可能路径的示例，诸如具有抓取器的机器人手臂，对于这些路径，将结合来自各种传感器输入的反馈执行用于运动控制的指令。

图3示出根据本公开的实施方式的技能引擎架构的图。在一个实施方式中，技能引擎110中的存储器可包括具有多个技能模块310的一个或多个软件应用或程序，用于由MR设备115进行编程。技能集映射模块302可识别与机器人设备的各种任务有关的技能，并将技能集映射到任务应用330。例如，可将用于位置选择311、抓取姿势312、目标姿势313和路径314的技能映射到如图3所示拾取和放置任务。如技能集映射模块302所确定的，可针对机器人设备的不同任务330混合和映射各种其他学习的技能。在一个实施方式中，位置选择模块311可被编码以从MR设备115接收与以下内容有关的信息：待机器人单元的抓取器抓取的对象的第一位置的空间坐标、对象的取向坐标以及与用于放置对象的目标位置有关的第二位置的空间坐标。位置选择模块311可包括空间约束，以禁止从被定义为出于任何原因被限制的区域中进行选择，并且可执行到用户的指示传输以接受或拒绝位置选择。抓取姿势模块312可被编码以接收抓取器相对于对象的空间坐标的空间和取向参数，使得抓取器可被正确地定位以用于抓取。抓取姿势模块312可包括约束，诸如基于根据储存的设计信息的抓手的限制的约束。目标姿势模块313可被编码以接收抓取器相对于目标位置的空间坐标的空间和取向参数，使得抓取器可被正确地定位，以将对象释放到工作表面上。目标姿势模块313可包括约束，诸如基于根据储存的设计信息的抓手的限制的约束。路径规划模块314可包括与使用抓取姿势空间坐标和目标姿势空间坐标来操作用于使对象沿工作空间内的路径移动的抓取器有关的指令和编码。根据以上所描述，在模拟虚拟机器人单元和抓取器执行拾取和放置操作期间，用于控制抓取器的任务应用程序可从模块311/312/313/314中的每一个接收与对象空间坐标、抓取、路径和目标释放有关的输入。

所学***台，该平台显著提高了可重用性和可转移性。

图4是根据本公开的实施方式的用于机器人设备的抓取姿势的空间训练和编程的示例的图。在该说明性示例中，示出了配备有抓取器412的机器人设备411，并且将执行控制程序以学习机器人设备411的拾取和放置任务，从而将对象432、452从表面422移动到目标位置462。图4中所示的实体411、412、432、452、422、462中的每一个都可为真实的或虚拟的。参考图3，编程可开始于位置模块311通过选择对象(诸如长方体对象432)和目标位置462经由MR设备接收用户指令。MR设备可诸如通过对所选对象432和所选目标462的彩色高亮显示来向用户提供视觉确认，作为***已加载选择的确认。位置选择模块311然后可使用视觉传感器(诸如图2所示的MR设备115或视觉传感器212)来确定所选对象和目标的空间位置。长方体对象432具有空间位置433，该空间位置433可包括笛卡尔坐标(x,y,z)以及取向坐标(翻滚角、俯仰角和偏航角(r,p,y))。抓取姿势模块312可识别抓取器412的初始空间位置413，其可包括笛卡尔坐标(x,y,z)和取向坐标(r,p,y)。使用视觉传感器，诸如图2的MR设备115或视觉传感器212，基于对象432的空间位置433，可由抓取姿势模块312计算相对的抓取姿势空间位置423，包括笛卡尔坐标和取向坐标。以类似的方式，位置选择模块311可确定圆柱对象452的空间位置453，并且抓取姿势模块312可计算抓取器412的抓取姿势空间位置443。在该示例中，抓取姿势模块312确定抓取姿势空间位置443的最佳取向坐标是基于沿对象452的侧面的抓取点，而不是像长方体对象432那样沿对象的顶部的抓取点。

图5是根据本公开的实施方式的机器人设备的路径的空间训练和编程的示例的图。路径模块314可基于对抓取姿势空间位置423和目标姿势空间位置563的知识来计算路径510，以避开障碍物，诸如对象525。还可根据需要沿路径510计算临时姿势，诸如姿势空间位置535。

图6示出了根据本公开的实施方式的使用MR工具来调整机器人设备的空间坐标的界面的示例。MR设备115可包括视觉界面，以在对机器人设备的空间设置进行调整时帮助用户。作为说明性示例，图形界面610包括球形三单元组611，该球形三单元组可根据笛卡尔坐标x,y,z和取向坐标r,p,y来控制。如图所示，取向坐标r控制沿轨道路径612的轴线的翻滚角，取向坐标p控制沿轨道路径613的轴线的俯仰角，并且取向坐标y控制沿轨道路径614的轴线的偏航角。使用用户的视觉、策略或手势提示，MR设备115可记录对机器人设备的姿势、任何技能或任务编程的调整的选择。

与需要编程和特殊硬件的常规机器人编程技术相比，本公开的方法和***不依赖于操作员具有计算机科学背景或编码经验。因此，对于连续和离散制造的工业应用，诸如机械和电子装配、货物搬运、焊接、3D打印自动化等，减少了培训和编程成本以及生产时间。本文描述的实施方式为机器人训练和编程提供了鲁棒性和稳定性，并且结果比深度学习解决方案更不容易出错。

图7说明了可在其中实施本公开的实施方式的计算环境的示例。计算环境700包括计算机***710，该计算机***可包括通信机制，诸如***总线721或用于在计算机***710内传达信息的其他通信机制。计算机***710还包括与***总线721耦合的一个或多个处理器720，用于处理信息。

处理器720可包括一个或多个中央处理单元(CPU)、图形处理单元(GPU)或本领域中已知的任何其他处理器。更一般地，本文描述的处理器是用于执行储存在计算机可读介质上的机器可读指令、用于执行任务的设备，并且可包括硬件和固件中的任何一个或组合。处理器还可包括储存用于执行任务的机器可读指令的存储器。处理器通过操纵、分析、修改、转换或传输供可执行过程或信息设备使用的信息，和/或通过将信息路由到输出设备来对信息进行操作。处理器可例如使用或包括计算机、控制器或微处理器的能力，并且可使用可执行指令来进行调节，以执行通用计算机没有执行的特殊目的功能。处理器可包括任何类型的适当处理单元，包括但不限于中央处理单元、微处理器、精简指令集计算机(RISC)微处理器、复杂指令集计算机(CISC)微处理器、微控制器、应用专用集成电路(ASIC)、现场可编程门阵列(FPGA)、片上***(SoC)、数字信号处理器(DSP)等。此外，处理器(一个或多个)720可具有任何合适的微架构设计，其包括任何数量的组成组件，例如，寄存器、多路复用器、算术逻辑单元、用于控制对高速缓存存储器的读/写操作的高速缓存控制器、分支预测器等。处理器的微架构设计可能够支持多种指令集中的任何一种。处理器可与使得能够在它们之间进行交互和/或通信的任何其他处理器耦合(电耦合和/或包括可执行组件)。用户界面处理器或生成器是包括用于生成显示图像或其一部分的电子电路或软件或两者的组合的已知元件。用户界面包括一个或多个显示图像，该显示图像使得用户能够与处理器或其他设备进行交互。

***总线721可包括***总线、存储器总线、地址总线或消息总线中的至少一种，并且可允许计算机***710的各种组件之间的信息(例如，数据(包括计算机可执行代码)、信令等)的交换。***总线721可包括但不限于存储器总线或存储器控制器、***总线、加速图形端口等。***总线721可与任何合适的总线架构相关联，包括但不限于工业标准架构(ISA)、微通道架构(MCA)、增强型ISA(EISA)、视频电子标准协会(VESA)架构、加速图形端口(AGP)架构、***组件互连(PCI)架构、PCI-Express架构、个人计算机存储卡国际协会(PCMCIA)架构、通用串行总线(USB)架构等。

继续参考图7，计算机***710还可包括耦合到***总线721的***存储器730，用于储存将由处理器720执行的信息和指令。***存储器730可包括易失性和/或非易失性存储器形式的计算机可读存储介质，诸如只读存储器(ROM)731和/或随机存取存储器(RAM)732。RAM732可包括其他动态存储设备(一种或多种)(例如，动态RAM、静态RAM和同步DRAM)。ROM 731可包括其他静态储存设备(一种或多种)(例如，可编程ROM、可擦除PROM和电可擦除PROM)。另外，***存储器730可用于在处理器720执行指令期间储存临时变量或其他中间信息。基本输入/输出***733(BIOS)可被储存在ROM 731中，该基本输入/输出***包含诸如在启动期间有助于在计算机***710内的元件之间传递信息的基本例程。RAM 732可包含处理器720可立即访问和/或当前正在操作的数据和/或程序模块。***存储器730可另外包括例如操作***734、应用程序735和其他程序模块736。例如，应用程序735可包括如图1所示并在本文描述的应用程序120和用于在MR设备115上运行的应用程序。应用程序735还可包括用于开发应用程序的用户界面，允许根据需要输入和修改输入参数。

操作***734可被加载到存储器730中，并且可提供在计算机***710上执行的其他应用软件与计算机***710的硬件资源之间的接口。更具体地，操作***734可包括一组计算机可执行指令，用于管理计算机***710的硬件资源并且用于向其他应用程序提供公共服务(例如，管理各种应用程序之间的存储器分配)。在某些示例实施方式中，操作***734可控制被描绘为储存在数据储存器740中的一个或多个程序模块的执行。操作***734可包括现在已知或将来可开发的任何操作***，包括但不限于任何服务器操作***、任何大型机操作***或任何其他专有或非专有操作***。

计算机***710还可包括耦合到***总线721的磁盘/介质控制器743，以控制一个或多个用于储存信息和指令的储存设备，诸如磁硬盘741和/或可移动介质驱动器742(例如，软盘驱动器、光盘驱动器、磁带驱动器、闪存驱动器和/或固态驱动器)。可使用适当的设备接口(例如，小型计算机***接口(SCSI)、集成设备电子设备(IDE)、通用串行总线(USB)或FireWire)将储存设备740添加到计算机***710。存储设备741、存储设备742可在计算机***710的外部。

计算机***710还可包括耦合到***总线721的现场设备接口765，以控制现场设备766，诸如生产线中使用的设备。计算机***710可包括用户输入接口或GUI 761，该用户输入接口或GUI 761可包括一个或多个输入设备，诸如键盘、触摸屏、平板电脑和/或点击设备，用于与计算机用户交互并向处理器720提供信息。

计算机***710可响应于处理器720执行包含在诸如***存储器730的存储器中的一个或多个指令的一个或多个序列，来执行本发明实施方式的部分或全部处理步骤。此类指令可从储存器740的另一计算机可读介质(诸如磁性硬盘741或可移动介质驱动器742)读入***存储器730。磁性硬盘741和/或可移动介质驱动器742可包含由本发明的实施方式使用的一个或多个数据储存和数据文件，诸如虚拟数据141、143、145、147和技能数据112。数据储存740可包括但不限于数据库(例如，关系数据库、面向对象的数据库等)、文件***、平面文件、其中数据储存在计算机网络的一个以上节点上的分布式数据储存、对等网络数据储存等。数据储存可储存各种类型的数据，例如，技能数据、传感器数据或根据本公开的实施方式生成的任何其他数据。数据储存内容和数据文件可加密以提高安全性。也可在多处理装置中采用处理器720以执行包含在***存储器730中的一个或多个指令序列。在替代实施方式中，可使用硬连线电路代替软件指令或与软件指令组合使用。因此，实施方式不限于硬件电路和软件的任何特定组合。

如上所述，计算机***710可包括至少一个计算机可读介质或存储器，用于保存根据本发明的实施方式编程的指令并且用于包含数据结构、表格、记录或本文描述的其他数据。如本文所使用的术语“计算机可读介质”指参与向处理器720提供指令以供执行的任何介质。计算机可读介质可采取许多形式，包括但不限于非暂时性、非易失性介质、易失性介质和传输介质。非易失性介质的非限制性示例包括光盘、固态驱动器、磁盘和磁光盘，诸如磁性硬盘741或可移动介质驱动器742。易失性介质的非限制性示例包括动态存储器，诸如***存储器730。传输介质的非限制性示例包括同轴电缆、铜线和光纤，包括构成***总线721的导线。传输介质还可采用声波或光波的形式，诸如在无线电波和红外数据通信期间生成的声波或光波。

用于执行本公开的操作的计算机可读介质指令可为汇编器指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据或者以一种或多种编程语言(包括面向对象编程语言，诸如Smalltalk、C++等，以及常规过程编程语言，诸如“C”编程语言或类似编程语言)的任何组合编写的源代码或目标代码。计算机可读程序指令可完全在用户计算机上执行，部分在用户计算机上执行，作为独立软件包，部分在用户计算机上执行，并且部分在远程计算机上执行，或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户计算机，或者可与外部计算机建立连接(例如，通过使用因特网服务提供商的因特网)。在一些实施方式中，包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可通过利用计算机可读程序指令的状态信息来个性化设置电子电路来执行计算机可读程序指令，以便执行本公开的各方面。

本文参考根据本公开的实施方式的方法、装置(***)和计算机程序产品的流程图和/或框图描述了本公开的各方面。将理解，流程图示和/或框图的每个框以及流程图示和/或框图中的框的组合可由计算机可读介质指令来实施。

计算环境700还可包括使用到一台或多台远程计算机(诸如远程计算设备780)的逻辑连接在联网环境中操作的计算机***710。网络接口770可实现例如经由网络771与其他远程设备780或***和/或储存设备741、742的通信。远程计算设备780可为个人计算机(膝上型或台式)、移动设备、服务器、路由器、网络PC、对等设备或其他公共网络节点，并且通常包括上面相对于计算机***710所描述的许多或所有元件。当在联网环境中使用时，计算机***710可包括调制解调器772，用于通过诸如因特网的网络771建立通信。调制解调器772可经由用户网络接口770或者经由另一适当的机制连接至***总线721。

网络771可为本领域公知的任何网络或***，包括因特网、内联网、局域网(LAN)、广域网(WAN)、城域网(MAN)、直接连接或一系列连接、蜂窝电话网络或能够促进计算机***710与其他计算机(例如，远程计算设备780)之间的通信的任何其他网络或介质。网络771可为有线的、无线的或其组合。可使用以太网、通用串行总线(USB)、RJ-6或本领域通常已知的任何其他有线连接来实施有线连接。可使用Wi-Fi、WiMAX和蓝牙、红外、蜂窝网络、卫星或本领域通常已知的任何其他无线连接方法来实施无线连接。另外，几个网络可单独工作或彼此通信以促进网络771中的通信。

应理解，图7中所描绘的储存在***存储器730中的程序模块、应用、计算机可执行指令、代码等仅是说明性的而不是穷举的，并且描述为由任何特定模块支持的处理可另选地跨多个模块分布或者由不同模块执行。此外，可提供各种程序模块(一种或多种)、脚本(一种或多种)、插件(一种或多种)、应用程序编程接口(一种或多种)(API(一种或多种))或本地托管在计算机***710、远程设备780上和/或托管在可经由网络(一种或多种)771中的一个或多个访问的其他计算设备(一种或多种)上的任何其他合适的计算机可执行代码，以支持由图7描绘的程序模块、应用或计算机可执行代码提供的功能和/或附加或替代功能。此外，功能可被不同地模块化，使得被描述为由图7中描绘的程序模块的集合共同支持的处理可由更少或更多数量的模块来执行，或者被描述为由任何特定模块支持的功能可至少部分地由另一模块支持。另外，支持本文描述的功能的程序模块可根据任何合适的计算模型(例如，客户端-服务器模型、对等模型等)形成可跨任何数量的***或设备执行的一个或多个应用的一部分。另外，描述为由图7中所描绘的任何程序模块支持的任何功能可至少部分地跨任何数量的设备以硬件和/或固件来实施。远程设备780可储存图2所示的虚拟模块252，或者如图1所示的技能数据112、114。

还应理解的是，计算机***710可包括除了所描述或描绘的那些之外的替代和/或附加硬件、软件或固件组件，而不脱离本公开的范围。更特别地，应理解，描绘为形成计算机***710的一部分的软件、固件或硬件组件仅是说明性的，并且在各种实施方式中可不存在一些组件或者可提供附加组件。虽然已将各种说明性程序模块已被描绘和描述为储存在***存储器730中的软件模块，但是应理解，描述为由程序模块支持的功能可由硬件、软件和/或固件的任何组合来实现。还应理解，在各种实施方式中，上述模块的每一个可表示所支持功能的逻辑分区。为了易于解释功能而描绘了该逻辑分区，并且该逻辑分区可不表示用于实施功能的软件、硬件和/或固件的结构。因此，应理解，在各种实施方式中，描述为由特定模块提供的功能可至少部分地由一个或多个其他模块提供。此外，在某些实施方式中可不存在一个或多个所示的模块，而在其他实施方式中，可存在未示出的附加模块，并且可支持所描述的功能和/或附加功能的至少一部分。此外，尽管某些模块可被描绘和描述为另一模块的子模块，但是在某些实施方式中，可将这些模块提供为独立模块或其他模块的子模块。

尽管已描述了本公开的特定实施方式，但是本领域的普通技术人员将认识到，许多其他修改和替代实施方式也在本公开的范围内。例如，关于特定设备或组件描述的任何功能和/或处理能力可由任何其他设备或组件执行。此外，尽管已根据本公开的实施方式描述了各种说明性的实施方式和架构，但是本领域技术人员将理解，对本文描述的说明性的实施方式和架构的许多其他修改也在本公开的范围内。另外，应理解，本文中描述为基于另一种操作、元件、组件、数据等的任何操作、元件、组件、数据等可另外地基于一个或多个其他操作、元件、组件、数据等。因此，短语“基于”或其变体应被解释为“至少部分地基于”。

尽管已以特定于结构特征和/或方法动作的语言描述了实施方式，但是应理解，本公开不一定限于所描述的特定特征或动作。相反，特定特征和动作被公开为实施实施方式的说明性形式。除非另有明确说明，或者在所使用的上下文中以其他方式理解，否则条件性语言(诸如“能够”、“可以”、“可能”或“可”等)通常旨在传达某些实施方式可包括(而其他实施方式不包括)某些特征、元件和/或步骤。因此，此类条件语言通常并不旨在暗指一个或多个实施方式以任何方式需要特征、元件和/或步骤，或者一个或多个实施方式必须包括用于在有或没有用户输入或提示的情况下决定，这些特征、元件和/或步骤是否包括在任何特定实施方式中或将在任何特定实施方式中执行。

附图中的流程图和框图说明了根据本公开的各种实施方式的***、方法和计算机程序产品的可能实施的架构、功能和操作。就这一点而言，流程图或框图中的每个框可表示指令的模块、片段或部分，其包括用于实施指定逻辑功能(一种或多种)的一个或多个可执行指令。在一些替代实施方式中，框中注明的功能可不按图中注明的顺序发生。例如，取决于所涉及的功能，实际上可大体上同时执行连续示出的两个框，或者有时可以相反的顺序执行这些框。还应注意，框图和/或流程图示的每个框以及框图和/或流程图示的框的组合，可由执行指定功能或动作或者实行特殊目的硬件和计算机指令的组合的基于特殊目的硬件的***来实施。

Claims (13)

1.一种用于机器人设备的空间编程的基于计算机的方法，所述方法包括：

通过混合现实工具选择与所述机器人设备的一个或多个交互任务有关的对象；

通过技能引擎确定所述对象的空间位置，该空间位置包括所述对象的笛卡尔坐标和取向坐标；

执行应用程序以使用所述空间位置操作所述机器人设备；

在混合现实环境中，模拟所述机器人设备对与技能集有关的所述对象执行所述一个或多个交互任务，所述执行基于初始参数；以及

迭代执行以下步骤，直到在空间容差阈值内实现对于执行所述一个或多个任务的参数的收敛：

响应于从用户接收到的指令，通过所述混合现实工具修改所述初始参数，其中所述混合现实工具包括用于用户调整所述机器人设备的姿势的球形三元组的图形用户界面；以及

使用修改的参数重复执行所述一个或多个任务的所述模拟；

基于所述参数的所述收敛，接收所述一个或多个任务的可接受模拟执行的指示；

将所述技能集映射到对应于所述指示的所述参数；以及

将所述映射上传到数据库。

2.根据权利要求1所述的方法，还包括：显示对确认所述对象的选择的指示。

3.根据权利要求1所述的方法，其中所述技能集包括抓取所述对象的任务，并且所述模拟包括：

相对于所述对象的所述笛卡尔坐标和所述取向坐标，设置所述机器人设备的抓取器的抓取姿势，其中所述抓取姿势包括相对笛卡尔坐标和取向坐标；以及

在所述混合现实环境中，显示所述机器人设备基于所述抓取姿势执行对所述对象的模拟抓取的虚拟表示。

4.根据权利要求1所述的方法，其中所述技能集包括放置所述对象的任务，并且所述模拟包括：

选择与所述对象的放置有关的目标位置；

在所述目标位置处显示虚拟标记；

确定所述目标位置的笛卡尔坐标和取向坐标；

相对于所述目标位置的笛卡尔坐标和取向坐标，设置所述机器人设备的抓取器的释放姿势，其中抓取姿势包括相对笛卡尔坐标和取向坐标；以及

在所述混合现实环境中，显示所述机器人设备基于所述释放姿势执行模拟将所述对象放置到所述目标位置上的虚拟表示。

5.根据权利要求4所述的方法，还包括：显示对确认所述目标位置的选择的指示。

6.根据权利要求4所述的方法，其中，所述技能集包括针对所述对象的路径的避障任务，并且所述模拟包括：

识别所述对象的位置和所述目标位置之间的任何障碍；

在所述对象的位置和所述目标位置之间，设置避免与识别的障碍接触的路径；以及

在所述混合现实环境中，显示所述机器人设备执行模拟所述对象沿所述路径移动的虚拟表示。

7.根据权利要求1所述的方法，其中，所述混合现实环境包括由虚拟表示模拟的所述机器人设备、所述对象和目标中的一个或多个。

8.一种用于机器人设备的空间编程的***，包括：

混合现实工具，被配置成选择与机器人设备的一个或多个交互任务有关的对象；

用于自动化***的技能引擎，所述技能引擎包括应用程序，所述应用程序包括被配置成确定包括所述对象的笛卡尔坐标和取向坐标的所述对象的空间位置的第一模块，以及被配置成执行应用程序以使用所述空间位置操作所述机器人设备的第二模块；以及

模拟器，被配置成在混合现实环境中模拟所述机器人设备对与技能集有关的所述对象执行一个或多个任务；

其中，所述混合现实工具还被配置成：

响应于从用户接收到的指令来修改初始参数，并且

在图形用户界面上显示用于用户调整所述机器人设备的姿势的球形三元组；

其中，所述模拟器还被配置成使用修改的参数重复执行所述一个或多个任务的模拟；以及

其中，修改所述参数并且迭代重复执行所述一个或多个任务，直到在空间容差阈值内实现对于执行所述一个或多个任务的参数的收敛；

其中，所述混合现实工具还被配置成基于所述参数的收敛接收对所述一个或多个任务的可接受模拟执行的指示；

其中，所述技能引擎还被配置成将所述技能集映射到对应于所述指示的所述参数，并且将所述映射上传到数据库。

9.根据权利要求8所述的***，其中，所述混合现实工具还被配置成显示对确认所述对象的选择的指示。

10.根据权利要求8所述的***，其中，所述技能集包括抓取所述对象的任务，并且所述模拟器还被配置成：

相对于所述对象的笛卡尔坐标和取向坐标，设置所述机器人设备的抓取器的抓取姿势，其中所述抓取姿势包括相对笛卡尔坐标和取向坐标；以及

所述混合现实工具还被配置成在所述混合现实环境中，显示所述机器人设备基于所述抓取姿势执行所述对象的模拟抓取的虚拟表示。

11.根据权利要求8所述的***，其中所述技能集包括放置所述对象的任务，并且所述模拟器还被配置成：

选择与所述对象的放置有关的目标位置；

在所述目标位置处呈现虚拟标记的显示；

确定所述目标位置的笛卡尔坐标和取向坐标；

相对于所述目标位置的笛卡尔坐标和取向坐标，设置所述机器人设备的抓取器的释放姿势，其中抓取姿势包括相对笛卡尔坐标和取向坐标；以及

在所述混合现实环境中，呈现所述机器人设备基于所述释放姿势执行将所述对象模拟放置到所述目标位置上的虚拟表示的显示。

12.根据权利要求11所述的***，其中所述技能集包括针对所述对象的路径的避障任务，并且所述模拟器还被配置成：

识别所述对象的位置与所述目标位置之间的任何障碍；以及

在所述对象的位置与所述目标位置之间设置避免与识别的障碍接触的路径；以及

在所述混合现实环境中，呈现所述机器人设备执行沿所述路径模拟移动所述对象的虚拟表示的显示。

13.根据权利要求8所述的***，其中，所述混合现实环境包括由虚拟表示模拟的所述机器人设备、所述对象和目标中的一个或多个。

Images