CN116079703A - 机器人示教方法、装置、设备及计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种机器人示教方法、装置、设备及计算机可读存储介质，属于机器人技术领域。该方法包括：在控制实体机器人执行第一示教动作的过程中，响应于实体机器人与障碍物发生碰撞，提供触觉反馈；利用提供触觉反馈后获取的调整指令对第一示教动作进行调整，得到满足非碰撞条件的目标示教动作，基于目标示教动作完成对实体机器人的示教。此种方式，增加了对碰撞事件的自动检测，并在检测到碰撞事件时，提供用于提示存在碰撞事件的触觉反馈，自动检测碰撞事件的可靠性较高，提供触觉反馈后获取的调整指令为示教者根据触觉反馈的提示产生的更为可靠的调整指令，对示教动作进行调整的质量较高，有利于提高机器人示教的效果。

Description

机器人示教方法、装置、设备及计算机可读存储介质

技术领域

本申请实施例涉及机器人技术领域，特别涉及一种机器人示教方法、装置、设备及计算机可读存储介质。

背景技术

随着机器人技术的发展，越来越多的实体机器人可以完成搬运、装配、轨迹跟踪等多种任务，在利用实体机器人完成某项任务之前时，需要由示教者对实体机器人进行示教，以确定出实体机器人完成该项任务所需执行的目标示教动作，进而基于该目标示教动作完成对实体机器人的示教。

在示教者对实体机器人进行示教的过程中，示教者能够实时观察计算机设备控制实体机器人执行某一示教动作的过程。相关技术中，示教者人为观察实体机器人与障碍物之间的碰撞事件，并在观察到碰撞事件后产生调整指令，计算机设备利用该调整指令对示教动作进行调整，以得到最终的目标示教动作。

人为观察碰撞事件的可靠性较低，容易漏掉发生在视觉盲区内的碰撞事件或者将非碰撞事件误认为碰撞事件，示教者在观察到碰撞事件后产生的调整指令的可靠性较低，导致对示教动作进行调整的质量较差，机器人示教的效果不佳。

发明内容

本申请实施例提供了一种机器人示教方法、装置、设备及计算机可读存储介质，可用于提高对示教动作进行调整的质量，进而提高机器人示教的效果。所述技术方案如下：

一方面，本申请实施例提供了一种机器人示教方法，所述方法包括：

在控制实体机器人执行第一示教动作的过程中，响应于所述实体机器人与障碍物发生碰撞，提供触觉反馈，所述触觉反馈用于提示存在碰撞事件；

利用提供所述触觉反馈后获取的调整指令对所述第一示教动作进行调整，得到满足非碰撞条件的目标示教动作，基于所述目标示教动作完成对所述实体机器人的示教。

另一方面，提供了一种机器人示教装置，所述装置包括：

控制单元，用于在控制实体机器人执行第一示教动作的过程中，响应于所述实体机器人与障碍物发生碰撞，提供触觉反馈，所述触觉反馈用于提示存在碰撞事件；

调整单元，用于利用提供所述触觉反馈后获取的调整指令对所述第一示教动作进行调整，得到满足非碰撞条件的目标示教动作，基于所述目标示教动作完成对所述实体机器人的示教。

在一种可能实现方式中，所述控制单元，用于基于所述实体机器人与所述障碍物之间的碰撞力，确定目标电流；为触觉反馈设备施加所述目标电流，以使所述触觉反馈设备在所述目标电流的作用下提供所述触觉反馈。

在一种可能实现方式中，所述装置还包括：

获取单元，用于获取虚拟机器人对应的第二示教动作；基于所述第二示教动作，获取所述第一示教动作。

在一种可能实现方式中，所述获取单元，用于获取示教信息，所述示教信息包括手势信息和语音信息中的至少一种；基于所述示教信息，获取示教指令，所述示教指令用于指示子示教动作；利用所述示教指令指示的子示教动作对所述虚拟机器人进行虚拟示教；响应于虚拟示教过程满足第一条件，得到所述第二示教动作。

在一种可能实现方式中，所述示教信息包括手势信息和语音信息，所述获取单元，用于基于所述手势信息和所述语音信息，获取融合文本；调用分类模型对所述融合文本进行分类处理，得到各个候选指令的匹配概率，所述分类模型基于样本文本和所述样本文本对应的指令标签训练得到；基于匹配概率满足选取条件的候选指令，获取所述示教指令。

在一种可能实现方式中，所述获取单元，用于对所述第二示教动作进行校正，得到校正后的第二示教动作；基于所述校正后的第二示教动作，获取所述第一示教动作。

在一种可能实现方式中，所述虚拟机器人由增强现实设备基于所述实体机器人构建得到。

在一种可能实现方式中，所述获取单元，用于将所述示教指令发送至增强现实设备，由所述增强现实设备控制所述虚拟机器人执行所述示教指令指示的子示教动作。

在一种可能实现方式中，所述实体机器人上安装有力传感器，所述控制单元，还用于响应于所述力传感器检测到的力满足碰撞检测条件，确定所述实体机器人与所述障碍物发生碰撞。

在一种可能实现方式中，所述分类模型为最大熵模型。

另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行，以使所述计算机设备实现上述任一所述的机器人示教方法。

另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行，以使计算机实现上述任一所述的机器人示教方法。

另一方面，还提供了一种计算机程序产品，所述计算机程序产品包括计算机程序或计算机指令，所述计算机程序或所述计算机指令由处理器加载并执行，以使计算机实现上述任一所述的机器人示教方法。

本申请实施例提供的技术方案至少带来如下有益效果：

本申请实施例提供的技术方案，在控制实体机器人执行示教动作的过程中，对实体机器人与障碍物之间的碰撞事件进行自动检测，并在检测到碰撞事件时，提供用于提示存在碰撞事件的触觉反馈，以使示教者能够根据触觉反馈直观感知到碰撞事件。自动检测碰撞事件的可靠性较高，提供触觉反馈后获取的调整指令为示教者根据触觉反馈的提示产生的更为可靠的调整指令，利用提供触觉反馈后获取的调整指令对示教动作进行调整的质量较高，有利于提高机器人示教的效果。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种机器人示教方法的实施环境的示意图；

图2是本申请实施例提供的一种机器人的示教环境的示意图；

图3是本申请实施例提供的一种机器人示教方法的流程图；

图4是本申请实施例提供的一种三维手模型的示意图；

图5是本申请实施例提供的一种示教环境中的各个主体参照的坐标系的示意图；

图6是本申请实施例提供的一种触觉反馈设备的示意图；

图7是本申请实施例提供的一种机器人示教装置的示意图；

图8是本申请实施例提供的一种机器人示教装置的示意图；

图9是本申请实施例提供的一种终端的结构示意图；

图10是本申请实施例提供的一种服务器的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

需要说明的是，本申请中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

图1示出了本申请实施例提供的一种机器人示教方法的实施环境的示意图。该实施环境包括：计算机设备11、实体机器人12、增强现实设备13、体感设备14和触觉反馈设备15。

其中，实体机器人12是指用于代替人类执行某些任务的设备，示例性地，实体机器人为应用在工业中的机器人，又可以称为工业机器人。本申请实施例对实体机器人12能够执行的任务的类型不加以限定，这与实际的应用场景以及实体机器人的结构等有关，示例性地，实体机器人12能够执行的任务包括但不限于装配任务、轨迹跟踪任务等。本申请实施例对实体机器人12的结构不加以限定，示例性地，实体机器人12是一种具有六个自由度的机器人，也即一种具有六个关节的机器人。当然，实体机器人12还可以为其他结构的机器人。

增强现实(Augmented Reality，AR)设备13是集成有增强现实技术的设备。增强现实技术是一种将真实环境和虚拟环境“无缝”集成的新技术，这种技术的目标是在屏幕上把虚拟环境套在真实环境中并供用户进行互动。本申请实施例中，增强现实设备13能够基于位于真实环境中的实体机器人构建出虚拟机器人，并为虚拟机器人添加运动属性，然后可以按照控制实体机器人的方式控制虚拟机器人的运动。本申请实施例对增强现实设备13的类型不加以限定，示例性地，增强现实设备13是指AR眼镜，如，HoloLens(一种头戴式显示器)。示例性地，增强现实设备13由示教者佩戴，示教者通过佩戴增强现实设备13，不仅能够观察虚拟机器人的运动，还能够观察实体机器人12的运动。

体感设备14用于获取示教者的示教信息，如，手势信息、语音信息等。示例性地，体感设备14具有即时动态捕捉、影像辨识、麦克风输入、语音辨识等多种功能。本申请实施例对体感设备14的类型不加以限定，示例性地，体感设备14为Kinect(一种体感设备)、LeepMotion(一种体感设备)等。示例性地，体感设备14连接在实体机器人12上，以便于对示教者的示教信息进行采集。本申请实施例对体感设备14在实体机器人12上连接的位置不加以限定。示例性地，对于实体机器人12为一种具有六个关节的机器人，且实体机器人12的第五个关节为平移关节，第六个关节为旋转关节的情况，体感设备14连接在实体机器人12的第五个关节上，以保证体感设备14的稳定性。当然，在示例性实施例中，体感设备14还可以不连接在实体机器人12上，如，放置在某一固定物体上。

触觉反馈设备15用于为示教者提供触觉反馈。示教者能够通过佩戴触觉反馈设备15接收到触觉反馈。本申请实施例对触觉反馈设备15的佩戴方式不加以限定，示例性地，触觉反馈设备15佩戴在示教者的手指上，此种情况下，触觉反馈设备15还可以称为指尖触觉反馈设备。

计算机设备11用于实现本申请实施例提供的机器人示教方法。在示例性实施例中，计算机设备11能够获取体感设备14采集的示教信息，将示教信息转换为控制虚拟机器人的示教指令并将示教指令下发给增强现实设备13，以使增强现实设备13按照示教指令对虚拟机器人进行控制。计算机设备11还能够获取虚拟机器人对应的示教动作，将虚拟机器人对应的示教动作转换为实体机器人12对应的示教动作，控制实体机器人12执行示教动作。计算机设备11还能够响应于实体机器人12在执行示教动作的过程中与障碍物发生碰撞，控制触觉反馈设备15为示教者提供触觉反馈。

计算机设备11可以为终端，也可以为服务器，本申请实施例对此不加以限定。示例性地，终端可以是任何一种可与用户通过键盘、触摸板、触摸屏、遥控器、语音交互或手写设备等一种或多种方式进行人机交互的电子产品，例如PC(Personal Computer，个人计算机)、手机、智能手机、PDA(Personal Digital Assistant，个人数字助手)、可穿戴设备、PPC(Pocket PC，掌上电脑)、平板电脑、智能车机、智能电视、智能音箱、车载终端等。服务器可以是一台服务器，也可以是由多台服务器组成的服务器集群，或者是一个云计算服务中心。计算机设备11通过有线或无线网络与实体机器人12、增强现实设备13、体感设备14和触觉反馈设备15建立通信连接。

本领域技术人员应能理解上述计算机设备11、实体机器人12、增强现实设备13、体感设备14和触觉反馈设备15仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

在示例性实施例中，对于实体机器人在生产线上执行轨迹跟踪任务的情况，一种机器人的示教环境如图2所示，该示教环境包括实体机器人、体感设备、增强现实设备、触觉反馈设备、生产线和虚拟机器人。虚拟机器人由增强现实设备基于实体机器人构建得到，虚拟机器人的基座与实体机器人的基座重合。体感设备安装在实体机器人的第五个关节上。增强现实设备佩戴在示教者的眼睛上，增强现实设备能够为示教者提供视觉反馈。触觉反馈设备佩戴在示教者的手指上，能够为示教者提供触觉反馈。生产线上具有轨迹跟踪配件。

基于上述图1所示的实施环境，本申请实施例提供一种机器人示教方法，该方法由计算机设备11执行。如图3所示，本申请实施例提供的机器人示教方法包括如下步骤301和步骤302。

在步骤301中，在控制实体机器人执行第一示教动作的过程中，响应于实体机器人与障碍物发生碰撞，提供触觉反馈，触觉反馈用于提示存在碰撞事件。

第一示教动作是指在对实体机器人进行示教的过程中确定出的实体机器人需要执行的某一示教动作，示例性地，第一示教动作由一个或多个子示教动作构成。该第一示教动作可能为最终确定出的示教动作，也可能为需要进一步调整的示教动作，本申请实施例对此不加以限定。

在示例性实施例中，在执行步骤301之前，需要先获取第一示教动作，本申请实施例对获取第一示教动作的方式不加以限定。示例性地，第一示教动作通过示教者在示教器上手动编程得到。示例性地，第一示教动作基于虚拟机器人对应的第二示教动作得到。

本申请实施例以第一示教动作基于虚拟机器人对应的第二示教动作得到为例进行说明，在此种情况下，可视为采用一种离在线融合示教的方式实现对实体机器人的示教，通过离在线融合示教，示教者能够直接在真实场景中安全地对虚拟机器人进行虚拟示教，随后实体机器人再现虚拟机器人的运动，以完成对实体机器人的示教。

在利用离在线融合示教的方式进行示教之前，需要先基于实体机器人构建得到虚拟机器人。示例性地，构建虚拟机器人的过程由增强现实设备执行，也即，虚拟机器人是由增强现实设备基于实体机器人构建得到的。通过佩戴增强现实设备，示教者不仅能够观察到真实环境中的实体机器人，还能够观察到叠加显示在真实环境中的虚拟机器人。示例性地，在增强现实设备的视野范围内，构建出的虚拟机器人的基座与真实环境中的实体机器人的基座重合。

在第一示教动作基于虚拟机器人对应的第二示教动作得到的情况下，在执行步骤301之前，需要执行的步骤包括：获取虚拟机器人对应的第二示教动作；基于第二示教动作，获取第一示教动作。

虚拟机器人对应的第二示教动作是指为使虚拟机器人完成虚拟任务确定出的虚拟机器人需要执行的某一示教动作。虚拟任务通过对实体机器人需要执行的任务进行虚拟化得到，例如，若实体机器人需要执行的任务是指实体机器人的末端执行器跟踪目标轨迹，则虚拟任务是指虚拟机器人的末端执行器跟踪虚拟轨迹，其中，虚拟轨迹与目标轨迹重合。

在一种可能实现方式中，获取虚拟机器人对应的第二示教动作的过程包括以下步骤3001至步骤3004。

步骤3001：获取示教信息，示教信息包括手势信息和语音信息中的至少一种。

手势信息用于表征示教者的手势，语音信息用于表征示教者的语音，示教者通过手势和语音中的至少一种自然交互方式对实体机器人进行示教。对于示教者通过手势这一种自然交互方式对实体机器人进行示教的情况，计算机设备获取的示教信息中仅包括手势信息；对于示教者通过语音这一种自然交互方式对实体机器人进行示教的情况，计算机设备获取的示教信息仅包括语音信息；对于示教者通过手势和语音这两种自然交互方式对实体机器人进行示教的情况，计算机设备获取的示教信息包括手势信息和语音信息。示例性地，示教者的手势可以是指绘制机器人要跟踪的轨迹的动态手势，也可以是指用于指示机器人移动的方向的静态手势，本申请实施例对此不加以限定。

本申请实施例对示教者采用何种自然交互方式对实体机器人进行示教不加以限定，只要能够实现对实体机器人的示教即可。

示例性地，步骤3001中获取的示教信息是指在某一时间段内获取的示教信息。对于示教信息包括手势信息的情况，示教信息包括的手势信息的数量可能为一个或多个；对于示教信息包括语音信息的情况，示教信息包括的语音信息的数量可能为一个或多个。

示例性地，手势信息的获取方式为：体感设备按照图像采集频率采集示教者的手势图像，将采集的手势图像发送至计算机设备；计算机设备对手势图像进行手势识别，基于识别得到的信息，获取手势信息。计算机设备在某一时间段内获取的手势信息的数量与体感设备在该时间段内采集的手势图像的数量相同。示例性地，某一时间段的时长为3秒，图像采集频率为每秒40张图像，则计算机设备能够在该时间段内获取120个手势信息。

图像采集频率根据经验设置或者根据体感设备的类型灵活调整，本申请实施例对此不加以限定，例如，图像采集频率为每秒采集40张图像。示例性地，体感设备参照的体感设备坐标系与示教者的手部参照的手部坐标系不同，体感设备在采集手势图像的过程中，根据手部坐标系和体感设备坐标系之间的变换关系，将示教者的手部在手部坐标系下的位置转换到了体感设备坐标系下，以保证后续示教的精准性。手部坐标系和体感设备坐标系之间的变换关系预先校准得到。

示例性地，手部坐标系是基于三维手模型确定的坐标系。三维手模型如图4所示，三维手模型可以提供食指尖A、掌骨关节B和手掌中心C的位置。从A连接到B，得到向量AB。将C作为手部坐标系的原点，将与向量AB平行的轴作为手部坐标系的Y轴(Y_H)，将位于平面ABC内与向量AB垂直的轴作为手部坐标系的X轴(X_H)，由于手部坐标系的X轴、Y轴以及Z轴相互垂直，所以能够根据Y_H和X_H，确定出手部坐标系的Z轴(Z_H)。需要说明的是，图4中所示的X_B ^R、Y_B ^R和Z_B ^R是指实体机器人的基座参照的基准坐标系的三个坐标轴。

示例性地，体感设备为一种长方体形的设备，体感设备坐标系以体感设备的中心点为原点，以平行于体感设备的光轴的轴作为Z轴(Z_K)，以平行于体感设备的长边的轴作为Y轴(Y_K)，将与Z_K和Y_K均垂直的轴作为X轴(X_K)。

示例性地，计算机设备利用手势识别模型对手势图像进行手势识别，手势识别模型能够输出用于表征识别出的手势的信息。手势识别模型能够利用样本手势图像和信息标签通过监督训练的方式训练得到。

示例性地，计算机设备中集成有手势跟踪***(如，3 Gear Systems)，计算机设备利用手势跟踪***对手势图像进行手势识别。示例性地，手势跟踪***以客户机/服务器模式工作，计算机设备可以通过UDP(User Datagram Protocol，用户数据报协议)套接字与手势识别服务器通信，并通过手势识别服务器提供的API(Application ProgrammingInterface，应用程序接口)获取用于表征手势的信息，以实现对手势图像的手势识别。

在对手势图像进行手势识别之后，能够得到用于表征手势图像中的手势的信息，本申请实施例对表征手势的信息的表示形式不加以限定，示例性地，用于表征一个手势的信息包括食指指尖的状态。示例性地，食指指尖的状态包括但不限于食指指尖在体感设备坐标系下所处的位置、速度以及加速度。速度以及加速度能够通过相邻的两张手势图像计算得到。示例性地，食指指尖在体感设备坐标系下所处的位置利用食指指尖分别在体感坐标系的X轴、Y轴以及Z轴上的位置唯一确定，食指指尖在体感设备坐标系下的速度利用食指指尖分别在体感坐标系的X轴、Y轴以及Z轴上的速度唯一确定，食指指尖在体感设备坐标系下的加速度利用食指指尖分别在体感坐标系的X轴、Y轴以及Z轴上的加速度唯一确定。示例性地，令x_k表示表征k时刻的手势的信息，则x_k利用式(1)表示：

其中，p_x，k，v_x，k，a_x，k分别表示食指指尖在体感坐标系的X轴上的位置、速度和加速度；p_y，k，v_y，k，a_y，k分别表示食指指尖在体感坐标系的Y轴上的位置、速度和加速度；p_z，k，v_z，k，a_z，k分别表示食指指尖在体感坐标系的Z轴上的位置、速度和加速度；

表示矩阵的转置。

在示例性实施例中，用于表征手势的信息中除了可以包括食指指尖的状态外，还可以包括食指指示的方向等，本申请实施例对此不加以限定。

在对手势图像进行手势识别之后，基于识别得到的信息，获取手势信息。在一种可能实现方式中，基于识别得到的信息，获取手势信息的方式是指：直接将识别得到的信息作为手势信息。在此种情况下，获取的手势信息是原始识别出的信息本身，无需执行额外操作，获取手势信息的效率较高。

在另一种可能实现方式中，基于识别得到的信息，获取手势信息的方式为：对识别得到的信息进行滤波，将滤波后得到的信息作为手势信息。识别得到的信息可能具有一定的测量误差以及带有一定的噪声，通过对识别得到的信息进行滤波，可以得到更为可靠的手势信息，以便于获取更准确的示教指令。需要说明的是，对于手势图像的数量为多个的情况，识别得到的信息同样为多个，对识别得到的信息进行滤波是指对每个识别得到的信息均进行滤波，本申请实施例以对一个识别得到的信息为例进行说明。

对识别得到的信息进行滤波的方式可以根据经验设置，也可以根据实际的应用场景灵活调整，本申请实施例对此不加以限定。示例性地，对识别得到的信息进行线性滤波(如，卡尔曼滤波)，或者对识别得到的信息进行非线性滤波(如，粒子滤波)。

在示例性实施例中，对识别得到的信息进行滤波，得到手势信息的过程基于式(2)实现：

x′_k＝Φ_kx_k+B_ku_k+w_k  (2)

其中，x′_k表示滤波后得到的手势信息；x_k表示识别得到的信息，利用式(1)表示；Φ_k表示状态转移矩阵；u_k表示输入矩阵；B_k表示应用于输入矩阵的控制输入模型；B_ku_k表示***输入矩阵；w_k表示过程噪声矩阵。

示例性地，在对识别得到的信息进行滤波的过程中，状态转移矩阵Φ_k如式(3)所示：

其中，t表示体感设备的图像采集时间间隔。

由于位置状态没有控制输入，所以***输入矩阵B_k·u_k如式(4)所示：

过程噪声矩阵w_k如式(5)所示：

其中，w_x，w_y，w_z分别表示在体感设备坐标系的X轴、Y轴和Z轴上，食指指尖的加速度的过程噪声。w_x，w_y，w_z的取值根据经验设置，或者根据实际的应用场景灵活调整，本申请实施例对此不加以限定。

通过将式(1)、式(3)、式(4)和式(5)代入式(2)，即可得到手势信息。

示例性地，语音信息的获取方式为：语音采集装置采集示教者在某一段时间内发出的语音，将用于表征采集到的语音的语音信息发送至计算机设备；计算机设备获取语音信息。本申请实施例对用于表征语音的语音信息的表示形式不加以限定，可以是指语音构成的音频。本申请实施例对语音采集装置的类型不加以限定，例如，语音采集装置是指麦克风阵列。示例性地，语音采集装置内置在与计算机设备建立有通信连接的设备中，语音采集装置内置在体感设备中，或者，语音采集装置内置在增强现实设备中。

基于上述手势信息以及语音信息的获取方式以及示教信息包括手势信息和语音信息的具体情况，能够获取示教信息。

步骤3002：基于示教信息，获取示教指令，示教指令用于指示子示教动作。

在获取示教信息后，基于示教信息，获取用于控制虚拟机器人的示教指令，示教指令用于指示子示教动作，此处的子示教动作是指需要控制虚拟机器人执行的动作。在示例性实施例中，由于实体机器人的各个关节之间的连接关系是已知的，且虚拟机器人的各个关节之间的连接关系与实体机器人的各个关节之间的连接关系相同，所以虚拟机器人的各个关节之间的连接关系也已知，根据各个关节之间的连接关系以及末端执行器执行的子示教动作，在逆向运动学的基础上能够计算出虚拟机器人的各个关节的动作。示例性地，实体机器人的各个关节之间的连接关系通过对实体机器人进行建模确定，例如，利用DH(Denavit-Hartenberg，德纳维特-哈滕伯格)模型对实体机器人进行建模。

本申请实施例对示教指令的表示方式不加以限定，只要能够明确指示出一种子示教动作即可。示例性地，示教指令由四个属性(C_opt,C_dir,C_val,C_unit)定义。其中，C_opt表示子示教动作的类型；C_dir表示子示教动作的方向；C_val表示动作值；C_unit表示动作单位。示例性地，示教指令由一个用于指示虚拟机器人的末端执行器的位置的坐标点表示，该坐标点是指在虚拟机器人的末端执行器参照的坐标系下的坐标点。

示例性地，基于示教信息，获取示教指令的过程是指综合考虑示教信息中的全部信息获取示教指令的过程，此种方式能提高获取的示教指令的准确性。示例性地，对于示教信息仅包括手势信息的情况，示教指令是通过考虑手势信息获取的指令；对于示教信息仅包括语音信息的情况，示教指令是通过考虑语音信息获取的指令；对于示教信息包括手势信息和语音信息的情况，示教指令是通过综合考虑手势信息和语音信息获取的指令。

在示例性实施例中，在示教信息包括手势信息和语音信息的情况下，基于示教信息，获取示教指令的过程包括以下步骤1和步骤2。

步骤1：基于手势信息和语音信息，获取融合文本。

融合文本为在综合考虑手势信息和语音信息的基础上得到的获取示教指令所依据的文本。在示例性实施例中，基于手势信息和语音信息，获取融合文本可以是指基于获取的全部的手势信息和全部的语音信息，获取融合文本；也可以是指基于获取的最新的参考数量个手势信息和全部的语音信息，获取融合文本，本申请实施例对此不加以限定。参考数量根据经验设置，或者根据应用场景灵活调整，例如，参考数量为2。最新的参考数量个手势信息是指基于一段时间内体感设备采集的最新的参考数量个手势图像获取的手势信息。

在示例性实施例中，基于手势信息和语音信息，获取融合文本的方式为：基于手势信息获取第一文本；基于语音信息获取第二文本；将第一文本和第二文本进行融合，得到融合文本。示例性地，基于手势信息获取第一文本的方式为：将手势信息中的方向转换为方向文本，将手势信息中的坐标点转换为位置文本，由方向文本和位置文本构成第一文本。示例性地，基于语音信息获取第二文本的方式为：识别语音信息对应的第二文本。本申请实施例对识别语音信息对应的文本的方式不加以限定。示例性地，调用语音识别SDK(SoftwareDevelopment Kit，软件开发工具包)识别语音信息对应的文本。示例性地，调用语音识别模型识别语音信息对应的文本。

需要说明的是，对于获取的手势信息的数量为多个的情况，基于每个手势信息均获取一个第一文本，第一文本的数量为多个；对于获取的语音信息的数量为多个的情况，基于每个语音信息均获取一个第二文本，第二文本的数量为多个。

在获取第一文本和第二文本之后，将第一文本和第二文本进行融合，得到融合文本。示例性地，对于第一文本和第二文本的数量均为多个的情况，将多个第一文本和多个第二文本进行融合，得到融合文本。

示例性地，将第一文本和第二文本进行融合的方式为：将第一文本和第二文本输入文本融合模型或文本融合程序，利用文本融合模型或文本融合程序对第一文本和第二文本进行融合。示例性地，该文本融合模型或文本融合程序根据融合经验构建得到，能够对基于手势信息获取的文本和基于语音信息获取的文本进行融合。

步骤2：调用分类模型对融合文本进行分类处理，得到各个候选指令的匹配概率，分类模型基于样本文本和样本文本对应的指令标签训练得到；基于匹配概率满足选取条件的候选指令，获取示教指令。

在获取融合文本之后，调用分类模型对融合文本进行分类处理，得到分类结果，该分类结果包括各个候选指令的匹配概率。各个候选指令是指预先设置的可供选择的示教指令，可以根据经验设置，或者根据机器人示教的实际应用场景灵活调整，本申请实施例对此不加以限定。

在示例性实施例中，调用分类模型对融合文本进行分类处理的方式为：提取融合文本的文本特征，将统合文本的文本特征输入分类模型进行分类处理，得到分类模型输出的分类结果。本申请实施例对提取某一文本的文本特征的方式不加以限定，示例性地，基于IF-IDF(Term Frequency Inverse Document Frequency，词频-逆向文件频率)算法提取某一文本的文本特征。示例性地，基于IF-IDF算法提取某一文本的文本特征的过程基于式(6)实现：

其中，TF_i，j表示文本i的词频；n_i，j表示文本i在语料库中的文档j中出现的数量；

表示文档j中包含的所有文本的数量；IDF_i表示文本i的逆向文件频率；|D|表示语料库中的所有文档的数量；|{j：t_i∈d_j}|表示语料库中的包含文本i的文档的数量；TFIDF_i，j表示文本i的文本特征。

需要说明的是，以上所述提取某一文本的文本特征的一种示例性描述，本申请实施例并不局限于此，示例性地，还可以利用word2vec模型(一种词向量模型)提取某一文本的文本特征。

分类结果包括各个候选指令的匹配概率，某一候选指令的匹配概率越高，说明该候选指令与融合文本的匹配度越高。在得到各个候选指令的匹配概率之后，基于匹配概率满足选取条件的候选指令，获取示教指令。匹配概率满足选取条件根据经验设置，或者根据应用场景灵活调整，本申请实施例对此不加以限定。

在示例性实施例中，匹配概率满足选取条件是指匹配概率为前K(K为不小于1的整数)大的匹配概率。此种情况下，匹配概率满足选取条件的候选指令的数量为K个。在示例性实施例中，匹配概率满足选取条件是指匹配概率不小于概率阈值，概率阈值根据经验设置，或者根据应用场景灵活调整，例如，概率阈值为0.8。

匹配概率满足选取条件的候选指令的数量可能为一个，也可能为多个，本申请实施例对此不加以限定。若匹配概率满足选取条件的候选指令的数量为一个，则基于匹配概率满足选取条件的候选指令，获取示教指令的方式为：直接将一个匹配概率满足选取条件的候选指令作为示教指令。若匹配概率满足选取条件的候选指令的数量为多个，则基于匹配概率满足选取条件的候选指令，获取示教指令的方式为：对多个匹配概率满足选取条件的候选指令进行融合，得到示教指令。示例性地，对多个匹配概率满足选取条件的候选指令进行融合是指对多个匹配概率满足选取条件的候选指令中的目标类型的候选指令进行融合，目标类型是指多个匹配概率满足选取条件的候选指令命中最多的指令类型。

分类模型基于样本文本和样本文本对应的指令标签通过监督训练的方式训练得到，样本文本对应的指令标签为各个候选指令中的某一候选指令。在执行上述步骤2之前，需要先训练得到分类模型。本申请实施例对分类模型的类型不加以限定，不同类型的分类模型的训练过程有所不同。示例性地，分类模型为神经网络模型、支持向量机模型、朴素贝叶斯模型、最大熵模型等。

示例性地，以分类模型为最大熵模型为例进行说明。最大熵模型的核心思想是在预测随机变量的概率分布时要满足已知条件。此时，概率分布的信息熵是最大的，它保留了各种可能性，并将预测的风险降至最低。假设x是一个样本文本的文本特征，y是相应的指令标签。最大熵模型是对条件概率p(y|x)进行建模，以获得最均匀的分布模型。在最大熵模型中需要引入条件熵H(p(y|x))来度量条件概率p(y|x)分布的均匀性。H(p(y|x))的计算公式如式(7)所示：

其中，

表示文本特征x在训练集中的经验分布；p(y|x)表示最大熵模型中需要求解的条件概率分布。

最大熵模型的求解问题可以归纳为式(8)表示的优化问题：

其中，f_i表示基于样本文本构建的特征函数；n(n为不小于1的整数)为特征函数的数量。

根据拉格朗拉格朗日乘子法，可以在式(8)的约束下求解得到最大熵概率分布p*(y|x)，p*(y|x)的计算公式如式(9)所示：

其中，f_i(x，y)表示第i个特征函数；λ_i表示f_i(x，y)的权重；Z(x)表示归一化因子，Z(x)的计算公式如式(10)所示：

通过对样本文本的研究，能够得到各个特征函数的权重值，基于各个特征函数的权重值以及式(9)和式(10)，能够计算得到最大熵概率分布p*(y|x)，也即得到最大熵模型。

以上所述仅以示教信息包括手势信息和语音信息为例介绍了获取示教指令的实现方式，对于示教信息仅包括手势信息的情况，直接基于第一文本获取示教指令；对于示教信息仅包括语音信息的情况，直接基于第二文本获取示教指令。

示例性地，基于本申请实施例提供的方式，示教者在示教过程中，不需要始终给出完整的命令，允许使用适当的默认值。计算机设备能够通过命令的上下文填充缺少的语义。例如，示教者首先发出命令“在此方向移动3mm”，并指向一个方向P。如果给出下一条命令“继续移动1mm”，计算机设备将其该命令与上一命令相结合，该指令可解释为“沿P方向移动1mm”。这样，示教者就不需要太多的关注来保证每一条命令的语义完整性，更符合人类日常交流的习惯，提高了示教过程的自然性。

在示例性实施例中，对于示教信息包括手势信息的情况，基于示教信息获取示教指令之前，需要进行动态坐标配准，以便于能够将手坐标系下的坐标点转换到其他坐标系中。本申请实施例以体感设备安装在实体机器人的第五个关节上为例，示教环境中的各个主体(设备或示教者的手部)参照的坐标系如图5所示。

实体机器人的基座参照的基准坐标系与世界坐标系一致，基准坐标系的三个轴分别记为X_B ^R、Y_B ^R和Z_B ^R；实体机器人的第五个关节参照的第五个关节坐标系的三个轴分别记为X₅ ^R、Y₅ ^R和Z₅ ^R；实体机器人的末端执行器参照的实体末端执行器坐标系的三个轴分别记为X_E ^R、Y_E ^R和Z_E ^R；体感设备参照的体感设备坐标系的三个轴分别记为X_K、Y_K和Z_K；增强现实设备参照的增强现实设备坐标系的三个轴分别记为X_A、Y_A和Z_A；校准盒参照的校准盒坐标系的三个轴分别记为X_C、Y_C和Z_C；示教者的手部参照的手部坐标系的三个轴分别记为X_H、Y_H和Z_H；虚拟机器人的末端执行器参照的虚拟末端执行器坐标系的三个轴分别记为X_E ^V、Y_E ^V和Z_E ^V(图中未示出)。其中，校准盒用于定位实体机器人的位置，以便于增强现实设备能够根据校准盒的位置在示教者的视野中构建并显示出基座与实体机器人的基座重合的虚拟机器人。

为了获得图5中的各种坐标系之间的变换关系，需要建立不同坐标系之间的变换关系。示例性地，不同坐标系之间的变换顺序依次为：手部坐标系、体感设备坐标系、第五个关节坐标系、基准坐标系、校准盒坐标系、增强现实设备坐标系。体感设备固定在实体机器人的第五个关节上，且体感设备坐标系和第五个关节坐标系之间的变换关系已事先校准。通过实体机器人的正向运动学模型，能够建立起第五个关节坐标系和基准坐标系之间的变换关系。校准盒坐标系和基准坐标系之间的关系也已预先校准。增强现实设备眼镜捕获校准盒后，能够校准增强现实设备坐标系和校准盒坐标系之间的变换关系。

虚拟机器人的基座参照的基准坐标系与实体机器人的基座参照的基准坐标系重合，因此，根据各坐标系之间的变换关系，能够将手部坐标系下的坐标值转换为虚拟机器人的基准坐标系下的坐标值，并用于对虚拟机器人进行示教。示例性地，在将手部坐标系下的坐标值转换为基准坐标系下的坐标值后，根据虚拟机器人的关节之间的关系，能够将基准坐标系下的坐标值进一步转换为虚拟机器人的末端执行器参照的虚拟末端执行器坐标系下的坐标值。

步骤3003：利用示教指令指示的子示教动作对虚拟机器人进行虚拟示教。

在获取示教指令后，利用示教指令指示的子示教动作对虚拟机器人进行虚拟示教，以使虚拟机器人执行示教指令指示的子示教动作。示例性地，利用示教指令指示的子示教动作对虚拟机器人进行虚拟示教的实现方式包括：计算机设备将示教指令发送至增强现实设备，由增强现实设备控制虚拟机器人执行示教指令指示的子示教动作。

由于虚拟机器人是由增强现实设备基于实体机器人构建得到的，所以控制虚拟机器人执行动作的过程由增强现实设备实现。增强现实设备在接收到计算机设备发送的示教指令后，能够识别出示教指令指示的子示教动作，然后控制虚拟机器人执行示教指令指示的子示教动作。示例性地，示教指令指示的子示教动作是指虚拟机器人的末端执行器需要执行的动作，控制虚拟机器人执行示教指令指示的子示教动作是指控制虚拟机器人的末端执行器执行示教指令指示的子示教动作。在控制虚拟机器人的末端执行器执行示教指令指示的子示教动作的过程中，虚拟机器人的一个或多个关节也执行动作，一个或多个关节执行的动作根据示教指令指示的子示教动作通过逆向运动学模型解析得到。

步骤3004：响应于虚拟示教过程满足第一条件，得到第二示教动作。

在利用示教指令指示的子示教动作对虚拟机器人进行虚拟示教之后，判断虚拟示教过程是否满足第一条件，若虚拟示教过程不满足第一条件，则根据步骤3001至步骤3003的方式获取新的示教指令，然后利用新的示教指令指示的子示教动作对虚拟机器人进行虚拟示教，直至虚拟示教过程满足第一条件。在虚拟示教过程满足第一条件时，得到虚拟机器人对应的第二示教动作。第二示教动作由虚拟机器人在虚拟示教过程中依次执行的各个子示教动作构成。

在示例性实施例中，虚拟示教过程满足第一条件根据经验设置，或者根据实际的应用场景灵活调整，本申请实施例对此不加以限定。示例性地，虚拟示教过程满足第一条件是指在参考时间段内未获取到任何示教信息，参考时间段根据经验设置，或者根据实际的应用场景灵活调整，本申请实施例对此不加以限定，例如，参考时间段是指3分钟。示例性地，虚拟示教过程满足第一条件是指虚拟机器人的末端执行器到达目标位置点，目标位置点是指完成虚拟任务时虚拟机器人的末端执行器需要位于的位置，目标位置点根据虚拟任务的类型确定，本申请实施例对此不加以限定。

在获取第二示教动作后，基于第二示教动作，获取实体机器人需要执行的第一示教动作。第一示教动作中包括的子示教动作的数量与第二示教动作中包括的子示教动作的数量相同。在一种可能实现方式中，基于第二示教动作，获取第一示教动作可以是指直接基于第二示教动作，获取第一示教动作；也可以是指先获取校正后的第二示教动作，然后基于校正后的第二示教动作，获取第一示教动作，本申请实施例对此不加以限定。

示例性地，对于基于第二示教动作，获取第一示教动作是指直接基于第二示教动作，获取第一示教动作的情况，第一示教动作的获取过程为：将第二示教动作从虚拟末端执行器坐标系下转换到实体末端执行器坐标系下，得到第一示教动作。示例性地，先将第二示教动作从虚拟末端执行器坐标系下转换到基准坐标系下，得到第三示教动作，然后将第三示教动作从基准坐标系下转换到实体末端执行器坐标系下，得到第一示教动作。

示例性地，对于基于第二示教动作，获取第一示教动作是指先获取校正后的第二示教动作，然后基于校正后的第二示教动作，获取第一示教动作的情况，在获取第一示教动作之前，需要先对第二示教动作进行校正，得到校正后的第二示教动作。第二示教动作中可能存在一个或多个精准性较低的子示教动作，对第二示教动作进行校正，能够修正精准性较低的子示教动作，校正后的第二示教动作的精准性较高。示例性地，计算机设备可以根据人类意图自行对第二示教动作进行校正，也可以根据工作人员的校正指令对第二示教动作进行校正，本申请实施例对此不加以限定。在获取校正后的第二示教动作之后，基于校正后的第二示教动作，获取第一示教动作。基于校正后的第二示教动作获取第一示教动作的原理与直接基于第二示教动作获取第一示教动作的原理相同，此处不再赘述。

在示例性实施例中，对第二示教动作进行校正的过程包括但不限于工件对齐以及轨迹校正等。工件对齐是指：对于将工件放入孔中的装配任务，提供虚拟工件与真实孔位的自动对齐。首先，应用分割算法(如分水岭算法)对真实工件的图像进行分割，并将其划分为不同的区域，然后提取区域及其对应的边缘、质心。基于深度图像，计算体感设备坐标系中边缘点的坐标，然后将其转换为世界坐标系。最后，可以自动调整虚拟工件的位置和方向，使其与孔对齐，即完成工件对齐，从能够将虚拟工件与孔位对齐的角度出发，对第二示教动作进行校正。轨迹校正是指：对于某些轨迹追踪任务，可以推断示教轨迹，根据推断的示教轨迹与执行第二示教动作的轨迹之间的差异对第二示教动作进行校正。

在示例性实施例中，在获取第二示教动作之后，判断第二示教动作是否满足第二条件，在确定第二示教动作满足第二条件时，再执行基于第二示教动作，获取第一示教动作的过程。也就是说，响应于第二示教动作满足第二条件，基于第二示教动作，获取第一示教动作。此种情况下，若第二示教动作不满足第二条件，则继续对虚拟机器人进行虚拟示教，直至得到满足第二条件的第二示教动作。满足第二条件根据经验设置，或者根据应用场景灵活调整。示例性地，第二示教动作满足第二条件是指第二示教动作包括的子示教动作的数量不大于数量阈值，数量阈值根据经验设置，此种第二条件的设置方式能够避免任务执行过程过于繁琐。

示例性地，第二示教动作满足第二条件是指虚拟机器人通过执行第二示教动作完成的任务与虚拟任务之间的差异不大于差异阈值，两个任务之间的差异的确定方式与任务的类型有关，本申请实施例对此不加以限定，例如，两个轨迹跟踪任务之间的差异是指跟踪的轨迹之间的差异。差异阈值根据经验设置，此种第二条件的设置方式能够保证第二示教动作的精准性。

在获取第一示教动作后，计算机设备控制实体机器人执行第一示教动作。在一种可能实现方式中，控制实体机器人执行第一示教动作是指控制实体机器人的末端执行器执行第一示教动作，在控制实体机器人的末端执行器执行第一示教动作的过程中，实体机器人的一个或多个关节也执行动作，一个或多个关节执行的动作根据第一示教动作通过逆向运动学模型解析得到。

在示例性实施例中，实体机器人直接与计算机设备通信连接，此种情况下，计算机设备能够直接控制实体机器人执行第一示教动作。在示例性实施例中，实体机器人通过控制器与计算机设备通信连接，此种情况下，计算机设备将第一示教动作发送给控制器，由控制器控制实体机器人执行第一示教动作。

在控制实体机器人执行第一示教动作的过程中，计算机设备实时监控实体机器人是否与障碍物发生碰撞。响应于实体机器人与障碍物发生碰撞，提供触觉反馈，该触觉反馈用于提示存在碰撞事件。示例性地，提供触觉反馈是指为示教者提供触觉反馈，通过提供触觉反馈，能够使示教者直观感知到碰撞事件，有利于使示教者产生更有针对性且可靠性更高的调整指令，从而提高对实体机器人进行示教的效果。

在一种可能实现方式中，实体机器人上安装有力传感器，响应于力传感器检测到的力满足碰撞检测条件，确定实体机器人与障碍物发生碰撞。力传感器在实体机器人上安装的位置与力传感器需要检测的可能会与障碍物发生碰撞的部位有关，示例性地，实体机器人与障碍物发生碰撞是指实体机器人的末端执行器与障碍物发生碰撞，也就是说，力传感器需要检测的可能会与障碍物发生碰撞的部位为实体机器人的末端执行器，此种情况下，力传感器安装在实体机器人的末端执行器上。示例性地，障碍物是指在实体机器人执行任务的过程中，不希望碰撞的主体。示例性地，在轨迹跟踪任务中，不希望碰撞的主体可以指示某工件，此种情况下，实体机器人与该工件发生碰撞的现象可能由于实体机器人抓取该工件产生，此时，实体机器人与障碍物之间的碰撞力可以称为抓取力。

力传感器用于检测力，将检测到的力发送至计算机设备，计算机设备能够判断力传感器检测到的力是否满足碰撞检测条件，若力传感器检测到的力满足碰撞检测条件，则确定实体机器人与障碍物发生碰撞。示例性地，力满足碰撞检测条件是指力的大小不小于第一阈值，第一阈值根据经验设置，若第一阈值为0，则力传感器检测到的力均满足碰撞检测条件。示例性地，力满足碰撞检测条件是指检测到力的阶段为控制实体机器人执行第一示教动作的过程中的特定阶段。该特定阶段是指不希望与障碍物产生碰撞的阶段，与实际需要执行的任务有关，本申请实施例对此不加以限定。

在确定实体机器人与障碍物发生碰撞时，提供触觉反馈。在示例性实施例中，示教者佩戴有触觉反馈设备，计算机设备提供触觉反馈是指计算机设备控制触觉反馈设备提供触觉反馈。在一种可能实现方式中，控制触觉反馈设备提供触觉反馈的过程包括：基于实体机器人与障碍物之间的碰撞力，确定目标电流；为触觉反馈设备施加目标电流，以使触觉反馈设备在目标电流的作用下提供触觉反馈。实体机器人与障碍物之间的碰撞力为力传感器检测到的力，在一种可能实现方式中，基于碰撞力确定目标电流的方式为：基于碰撞力，根据麦克斯韦方程组计算得到目标电流。

在示例性实施例中，触觉反馈设备中具有线圈和磁铁，目标电流是指需要施加到触觉反馈设备中的线圈上的电流，示例性地，对于触觉反馈设备中包括多个线圈的情况，目标电流的数量也为多个。触觉反馈设备中的线圈在施加电流之后，能够使触觉反馈设备中的磁铁产生磁力，该磁力用于为示教者提供触觉反馈。

在示例性实施例中，触觉反馈设备的示意图如图6所示。图6中的(1)所示的为佩戴在示教者的手指上的触觉反馈设备的示意图；图6中的(2)所示的为触觉反馈设备的线条示意图；图6中的(3)所示的为触觉反馈设备的产品图。如图6中的(2)以及(3)所示，触觉反馈设备中具有线圈、磁铁和棉垫。线圈和磁铁分布在四个可旋转的立足点上，棉垫分布在与手指接触的部位。磁铁能够在线圈上施加的电流的作用下产生磁力。

本申请实施例对线圈的尺寸以及结构不加以限定，对磁铁的尺寸以及类型不加以限定，可以根据实际的应用场景灵活调整。例如，每个线圈的直径为12.5mm，高度为34.5mm，线圈由350圈漆包铜构成。磁铁为圆柱形钕磁体，磁铁的直径和高度分别为10mm和2mm。该触觉反馈设备通过控制通过线圈的电流来调节指尖触觉。示教者仅通过简单佩戴设计的触觉反馈设备即可感受实体机器人末端执行器与障碍物之间的碰撞，不会影响到操作的沉浸感。

本申请实施例能够利用触觉反馈设备在人机交互中为示教者提供触觉反馈，触觉反馈设备允许非接触手势界面提供触觉反馈，能够将远程测量的碰撞事件通过感官传递给示教者。示教者可以通过手势对机器人进行示教，然后通过增强现实设备接收视觉反馈，通过固定在食指尖上的触觉反馈设备获得触觉反馈以进行远程操作。在示教过程中，仅依靠视觉反馈很容易在视觉盲区内因意外碰撞而损坏工件。通过触觉反馈，示教者可以快速检测碰撞事件的发生，并及时调整示教动作。

在示例性实施例中，在计算机设备控制实体机器人执行第一示教动作的过程中，示教者除了能够接收到触觉反馈外，还能够通过增强现实设备接收到视觉反馈。根据视觉反馈，示教者能够实时观察到实体机器人的运动。视觉反馈和触觉反馈相结合，能够为示教者提供更加全面的反馈，进而有利于提高示教者产生的调整指令的可靠性。

在步骤302中，利用提供触觉反馈后获取的调整指令对第一示教动作进行调整，得到满足非碰撞条件的目标示教动作，基于目标示教动作完成对实体机器人的示教。

在提供触觉反馈后，计算机设备能够利用提供触觉反馈后获取的调整指令对第一示教动作进行调整。提供触觉反馈后获取的调整指令是指示教者在接收到触觉反馈后根据触觉反馈的提示产生的调整指令，由于示教者能够根据触觉反馈直观感知到实体机器人在执行第一示教动作的过程中与障碍物发生了碰撞，所以示教者在接收到触觉反馈后，能够根据触觉反馈的提示产生更为可靠的调整指令，以使计算机设备能够根据调整指令得到能够有效降低实体机器人与障碍物的碰撞几率的调整后的示教动作。

在示例性实施例中，由于示教者能够根据视觉反馈实时观察到实体机器人的运动，所以示教者能够在接收到触觉反馈后，结合触觉反馈的提示以及观察到的运动情况，判断产生碰撞的可能原因，从而产生一种能够有效降低碰撞几率的调整指令。

计算机设备利用提供触觉反馈后获取的调整指令对第一示教动作进行调整的最终目的是得到满足非碰撞条件的目标示教动作，该目标示教动作即为最终确定的实体机器人实现任务所需执行的动作，在得到满足非碰撞条件的目标示教动作后，基于目标示教动作完成对实体机器人的示教。示例性地，基于目标示教动作完成对实体机器人的示教是指控制实体机器人执行目标示教动作并使实体机器人记录执行目标示教动作的方式，以使实体机器人能够通过自动执行目标示教动作来完成相应的任务。

在示例性实例中，调整指令可以通过手势或语音中的至少一种自然交互方式产生，本申请实施例对此不加以限定。计算机设备在提供触觉反馈后，可以通过与体感设备或增强现实设备进行交互，获取到示教者根据触觉反馈的提示产生的调整指令。

在示例性实施例中，示教者根据触觉反馈的提示产生的调整指令为用于直接对第一示教动作进行调整的指令，能够明确指示出如何对第一示教动作进行调整。此种情况下，计算机设备利用提供触觉反馈后获取的调整指令对第一示教动作进行调整是指直接利用提供触觉反馈后获取的调整指令对第一示教动作进行调整。

在示例性实施例中，对于第一示教动作基于虚拟机器人对应的第二示教动作得到的情况，示教者根据触觉反馈的提示产生的调整指令还可能为用于对第二示教动作进行调整的指令，能够明确指示出如何对第二示教动作进行调整。此种情况下，计算机设备利用提供触觉反馈后获取的调整指令对第一示教动作进行调整是指计算机设备利用提供触觉反馈后获取的调整指令对第二示教动作进行调整，基于调整后的第二示教动作获取调整后的第一示教动作，从而间接实现对第一示教动作的调整。

在利用提供触觉反馈后获取的调整指令对第一示教动作进行调整之后，判断调整后的第一示教动作是否满足非碰撞条件。在示例性实施例中，一个示教动作满足非碰撞条件包括在控制实体机器人执行该一个示教动作的过程中，实体机器人不会与障碍物发生碰撞。在示例性实施例中，一个示教动作满足非碰撞条件除了包括在控制实体机器人执行该一个示教动作的过程中，实体机器人不会与障碍物发生碰撞外，还包括在控制实体机器人执行该一个示教动作后，实体机器人完成的任务与实际的任务之间的差异小于阈值。无论哪种情况，若一个示教动作满足非碰撞条件，则至少能够保证在控制实体机器人执行该一个示教动作的过程中，实体机器人不会与障碍物发生碰撞。

在确定出调整后的第一示教动作之后，能够判断调整后的第一示教动作是否满足非碰撞条件，若调整后的第一示教动作满足非碰撞条件，则将该调整后的第一示教动作作为满足非碰撞条件的目标示教动作。若调整后的第一示教动作不满足非碰撞条件，则说明调整后的第一示教动作仍然需要调整。示例性地，在后续调整的过程中，若计算机设备向示教者提供触觉反馈，则示教者通过结合视觉反馈以及触觉反馈产生调整指令，若计算机设备未向示教者提供触觉反馈，则示教者可以根据视觉反馈产生调整指令，本申请实施例对此不加以限定。在对调整后的第一示教动作调整之后，判断再次调整后的第一示教动作是否满足非碰撞条件，以此类推，直至得到满足非碰撞条件的目标示教动作。

需要说明的是，本申请实施例以在控制实体机器人执行第一示教动作的过程中，实体机器人与障碍物发生了碰撞为例进行说明，本申请实施例并不局限于此。在示例性实施例中，在控制实体机器人执行第一示教动作的过程中，实体机器人有可能不会与障碍物发生碰撞，此种情况下，计算机设备无需提供触觉反馈，计算机设备可以判断第一示教动作是否满足非碰撞条件，若第一示教动作满足非碰撞条件，则可以直接将第一示教动作作为目标示教动作；若第一示教动作不满足非碰撞条件，则可以向示教者发送需要调整的提示，然后利用示教者根据视觉反馈产生的调整指令对第一示教动作进行调整。无论哪种情况，最终目的均是获取满足非碰撞条件的目标示教动作，以基于目标示教动作完成对实体机器人的示教。

示例性地，本申请实施例能够采用离在线融合的方式对机器人进行示教。通过虚实融合交互技术，示教者可以直接在真实场景中安全地对虚拟机器人进行虚拟示教，之后实体机器人再现虚拟机器人的运动以完成示教过程。该示教方法结合了手势和语音交互方式，能为示教者提供视觉反馈和触觉反馈。此外，该示教方法能够在确保示教者安全和避免损坏实体机器人或工件的同时，快速验证示教结果。一旦实体机器人运动和需要示教的运动之间存在误差，示教者可以通过手势和语音示教融合算法实时微调实体机器人运动。

本申请实施例提供的机器人示教方法，在控制实体机器人执行示教动作的过程中，对实体机器人与障碍物之间的碰撞事件进行自动检测，并在检测到碰撞事件时，提供用于提示存在碰撞事件的触觉反馈，以使示教者能够根据触觉反馈直观感知到碰撞事件。自动检测碰撞事件的可靠性较高，提供触觉反馈后获取的调整指令为示教者根据触觉反馈的提示产生的更为可靠的调整指令，利用提供触觉反馈后获取的调整指令对示教动作进行调整的质量较高，有利于提高机器人示教的效果。

参见图7，本申请实施例提供了一种机器人示教装置，该装置包括：

控制单元701，用于在控制实体机器人执行第一示教动作的过程中，响应于实体机器人与障碍物发生碰撞，提供触觉反馈，触觉反馈用于提示存在碰撞事件；

调整单元702，用于利用提供触觉反馈后获取的调整指令对第一示教动作进行调整，得到满足非碰撞条件的目标示教动作，基于目标示教动作完成对实体机器人的示教。

在一种可能实现方式中，控制单元701，用于基于实体机器人与障碍物之间的碰撞力，确定目标电流；为触觉反馈设备施加目标电流，以使触觉反馈设备在目标电流的作用下提供触觉反馈。

在一种可能实现方式中，参见图8，该装置还包括：

获取单元703，用于获取虚拟机器人对应的第二示教动作；基于第二示教动作，获取第一示教动作。

在一种可能实现方式中，获取单元703，用于获取示教信息，示教信息包括手势信息和语音信息中的至少一种；基于示教信息，获取示教指令，示教指令用于指示子示教动作；利用示教指令指示的子示教动作对虚拟机器人进行虚拟示教；响应于虚拟示教过程满足第一条件，得到第二示教动作。

在一种可能实现方式中，示教信息包括手势信息和语音信息，获取单元703，用于基于手势信息和语音信息，获取融合文本；调用分类模型对融合文本进行分类处理，得到各个候选指令的匹配概率，分类模型基于样本文本和样本文本对应的指令标签训练得到；基于匹配概率满足选取条件的候选指令，获取示教指令。

在一种可能实现方式中，获取单元703，用于对第二示教动作进行校正，得到校正后的第二示教动作；基于校正后的第二示教动作，获取第一示教动作。

在一种可能实现方式中，虚拟机器人由增强现实设备基于实体机器人构建得到。

在一种可能实现方式中，获取单元703，用于将示教指令发送至增强现实设备，由增强现实设备控制虚拟机器人执行示教指令指示的子示教动作。

在一种可能实现方式中，实体机器人上安装有力传感器，控制单元701，还用于响应于力传感器检测到的力满足碰撞检测条件，确定实体机器人与障碍物发生碰撞。

在一种可能实现方式中，分类模型为最大熵模型。

本申请实施例提供的机器人示教装置，在控制实体机器人执行示教动作的过程中，对实体机器人与障碍物之间的碰撞事件进行自动检测，并在检测到碰撞事件时，提供用于提示存在碰撞事件的触觉反馈，以使示教者能够根据触觉反馈直观感知到碰撞事件。自动检测碰撞事件的可靠性较高，提供触觉反馈后获取的调整指令为示教者根据触觉反馈的提示产生的更为可靠的调整指令，利用提供触觉反馈后获取的调整指令对示教动作进行调整的质量较高，有利于提高机器人示教的效果。

需要说明的是，上述实施例提供的装置在实现其功能时，仅以上述各功能单元的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元完成，即将设备的内部结构划分成不同的功能单元，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

在示例性实施例中，还提供了一种计算机设备，该计算机设备包括处理器和存储器，该存储器中存储有至少一条计算机程序。该至少一条计算机程序由一个或者一个以上处理器加载并执行，以使该计算机设备实现上述任一种机器人示教方法。该计算机设备可以为终端，也可以为服务器，本申请实施例对此不加以限定。接下来，对终端和服务器的结构分别进行介绍。

图9是本申请实施例提供的一种终端的结构示意图。该终端可以是：PC、手机、智能手机、PDA、可穿戴设备、PPC、平板电脑、智能车机、智能电视、智能音箱、车载终端。终端还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，终端包括有：处理器901和存储器902。

处理器901可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器901可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器901也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器901可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器901还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器902可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器902还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器902中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器901所执行，以使该终端实现本申请中方法实施例提供的机器人示教方法。

在一些实施例中，终端还可选包括有：***设备接口903和至少一个***设备。处理器901、存储器902和***设备接口903之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口903相连。具体地，***设备包括：射频电路904、显示屏905、摄像头组件906、音频电路907、定位组件908和电源909中的至少一种。

***设备接口903可被用于将I/O(Input/Output，输入/输出)相关的至少一个***设备连接到处理器901和存储器902。在一些实施例中，处理器901、存储器902和***设备接口903被集成在同一芯片或电路板上；在一些其他实施例中，处理器901、存储器902和***设备接口903中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路904用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路904通过电磁信号与通信网络以及其他通信设备进行通信。射频电路904将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路904包括：天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路904可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路904还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏905用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏905是触摸显示屏时，显示屏905还具有采集在显示屏905的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器901进行处理。此时，显示屏905还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏905可以为一个，设置在终端的前面板；在另一些实施例中，显示屏905可以为至少两个，分别设置在终端的不同表面或呈折叠设计；在另一些实施例中，显示屏905可以是柔性显示屏，设置在终端的弯曲表面上或折叠面上。甚至，显示屏905还可以设置成非矩形的不规则图形，也即异形屏。显示屏905可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode，有机发光二极管)等材质制备。

摄像头组件906用于采集图像或视频。可选地，摄像头组件906包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件906还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路907可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器901进行处理，或者输入至射频电路904以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器901或射频电路904的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路907还可以包括耳机插孔。

定位组件908用于定位终端的当前地理位置，以实现导航或LBS(Location BasedService，基于位置的服务)。定位组件908可以是基于美国的GPS(Global PositioningSystem，全球定位***)、中国的北斗***、俄罗斯的格雷纳斯***或欧盟的伽利略***的定位组件。

电源909用于为终端中的各个组件进行供电。电源909可以是交流电、直流电、一次性电池或可充电电池。当电源909包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。

在一些实施例中，终端还包括有一个或多个传感器910。该一个或多个传感器910包括但不限于：加速度传感器911、陀螺仪传感器912、压力传感器913、指纹传感器914、光学传感器915以及接近传感器916。

加速度传感器911可以检测以终端建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器911可以用于检测重力加速度在三个坐标轴上的分量。处理器901可以根据加速度传感器911采集的重力加速度信号，控制显示屏905以横向视图或纵向视图进行用户界面的显示。加速度传感器911还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器912可以检测终端的机体方向及转动角度，陀螺仪传感器912可以与加速度传感器911协同采集用户对终端的3D动作。处理器901根据陀螺仪传感器912采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器913可以设置在终端的侧边框和/或显示屏905的下层。当压力传感器913设置在终端的侧边框时，可以检测用户对终端的握持信号，由处理器901根据压力传感器913采集的握持信号进行左右手识别或快捷操作。当压力传感器913设置在显示屏905的下层时，由处理器901根据用户对显示屏905的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器914用于采集用户的指纹，由处理器901根据指纹传感器914采集到的指纹识别用户的身份，或者，由指纹传感器914根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器901授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器914可以被设置在终端的正面、背面或侧面。当终端上设置有物理按键或厂商Logo(商标)时，指纹传感器914可以与物理按键或厂商Logo集成在一起。

光学传感器915用于采集环境光强度。在一个实施例中，处理器901可以根据光学传感器915采集的环境光强度，控制显示屏905的显示亮度。具体地，当环境光强度较高时，调高显示屏905的显示亮度；当环境光强度较低时，调低显示屏905的显示亮度。在另一个实施例中，处理器901还可以根据光学传感器915采集的环境光强度，动态调整摄像头组件906的拍摄参数。

接近传感器916，也称距离传感器，通常设置在终端的前面板。接近传感器916用于采集用户与终端的正面之间的距离。在一个实施例中，当接近传感器916检测到用户与终端的正面之间的距离逐渐变小时，由处理器901控制显示屏905从亮屏状态切换为息屏状态；当接近传感器916检测到用户与终端的正面之间的距离逐渐变大时，由处理器901控制显示屏905从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图9中示出的结构并不构成对终端的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

图10是本申请实施例提供的一种服务器的结构示意图，该服务器可因配置或性能不同而产生比较大的差异，可以包括一个或多个处理器(Central Processing Units，CPU)1001和一个或多个存储器1002，其中，该一个或多个存储器1002中存储有至少一条计算机程序，该至少一条计算机程序由该一个或多个处理器1001加载并执行，以使该服务器实现上述各个方法实施例提供的机器人示教方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。

在示例性实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条计算机程序，该至少一条计算机程序由计算机设备的处理器加载并执行，以使计算机实现上述任一种机器人示教方法。

在一种可能实现方式中，上述计算机可读存储介质可以是只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、只读光盘(Compact DiscRead-Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供了一种计算机程序产品，该计算机程序产品包括计算机程序或计算机指令，该计算机程序或计算机指令由处理器加载并执行，以使计算机实现上述任一种机器人示教方法。

应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (14)

1.一种机器人示教方法，其特征在于，所述方法包括：

在控制实体机器人执行第一示教动作的过程中，响应于所述实体机器人与障碍物发生碰撞，提供触觉反馈，所述触觉反馈用于提示存在碰撞事件；

利用提供所述触觉反馈后获取的调整指令对所述第一示教动作进行调整，得到满足非碰撞条件的目标示教动作，基于所述目标示教动作完成对所述实体机器人的示教。

2.根据权利要求1所述的方法，其特征在于，所述提供触觉反馈，包括：

基于所述实体机器人与所述障碍物之间的碰撞力，确定目标电流；

为触觉反馈设备施加所述目标电流，以使所述触觉反馈设备在所述目标电流的作用下提供所述触觉反馈。

3.根据权利要求1所述的方法，其特征在于，所述在控制实体机器人执行第一示教动作的过程中，响应于所述实体机器人与障碍物发生碰撞，提供触觉反馈之前，所述方法还包括：

获取虚拟机器人对应的第二示教动作；

基于所述第二示教动作，获取所述第一示教动作。

4.根据权利要求3所述的方法，其特征在于，所述获取虚拟机器人对应的第二示教动作，包括：

获取示教信息，所述示教信息包括手势信息和语音信息中的至少一种；

基于所述示教信息，获取示教指令，所述示教指令用于指示子示教动作；

利用所述示教指令指示的子示教动作对所述虚拟机器人进行虚拟示教；

响应于虚拟示教过程满足第一条件，得到所述第二示教动作。

5.根据权利要求4所述的方法，其特征在于，所述示教信息包括手势信息和语音信息，所述基于所述示教信息，获取示教指令，包括：

基于所述手势信息和所述语音信息，获取融合文本；

调用分类模型对所述融合文本进行分类处理，得到各个候选指令的匹配概率，所述分类模型基于样本文本和所述样本文本对应的指令标签训练得到；

基于匹配概率满足选取条件的候选指令，获取所述示教指令。

6.根据权利要求3-5任一所述的方法，其特征在于，所述基于所述第二示教动作，获取所述第一示教动作，包括：

对所述第二示教动作进行校正，得到校正后的第二示教动作；

基于所述校正后的第二示教动作，获取所述第一示教动作。

7.根据权利要求3-5任一所述的方法，其特征在于，所述虚拟机器人由增强现实设备基于所述实体机器人构建得到。

8.根据权利要求4所述的方法，其特征在于，所述利用所述示教指令指示的子示教动作对所述虚拟机器人进行虚拟示教，包括：

将所述示教指令发送至增强现实设备，由所述增强现实设备控制所述虚拟机器人执行所述示教指令指示的子示教动作。

9.根据权利要求1-5、8任一所述的方法，其特征在于，所述实体机器人上安装有力传感器，所述响应于所述实体机器人与障碍物发生碰撞，提供触觉反馈之前，所述方法还包括：

响应于所述力传感器检测到的力满足碰撞检测条件，确定所述实体机器人与所述障碍物发生碰撞。

10.根据权利要求5所述的方法，其特征在于，所述分类模型为最大熵模型。

11.一种机器人示教装置，其特征在于，所述装置包括：

控制单元，用于在控制实体机器人执行第一示教动作的过程中，响应于所述实体机器人与障碍物发生碰撞，提供触觉反馈，所述触觉反馈用于提示存在碰撞事件；

调整单元，用于利用提供所述触觉反馈后获取的调整指令对所述第一示教动作进行调整，得到满足非碰撞条件的目标示教动作，基于所述目标示教动作完成对所述实体机器人的示教。

12.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行，以使所述计算机设备实现如权利要求1至10任一所述的机器人示教方法。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行，以使计算机实现如权利要求1至10任一所述的机器人示教方法。

14.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序或计算机指令，所述计算机程序或所述计算机指令由处理器加载并执行，以使计算机实现如权利要求1至10任一所述的机器人示教方法。

Images