CN115816441A - 基于任务描述的机器人控制方法、装置及可读介质 - Google Patents

Abstract

本发明提供了一种基于任务描述的机器人控制方法、装置及计算机可读介质。其中方法包括：识别需要加工的工件，根据工件的标识码触发对应的任务；从任务知识库中搜索任务的任务描述，任务描述包括任务的依赖项目、执行步骤和结果确认与收集；检查依赖项目是否满足，如果是，则检查执行步骤是否有子任务，如果是，则根据执行步骤和子任务的依赖关系推理生成控制命令序列；获取工件与依赖项目的位姿信息，根据位姿信息和控制指令序列控制机器人运动。本发明的基于任务推理的机器人控制方法通过任务描述进行明确逻辑推理，从而找到完成任务需要的依赖和动作，是完成任务的完备集合，无需进行尝试和学习，即可完成复杂的任务。

Description

基于任务描述的机器人控制方法、装置及可读介质

技术领域

本发明主要涉及机器人控制领域，尤其涉及一种基于任务描述的机器人控制方法、装置及计算机可读介质。

背景技术

现有的机器人控制方法都是向机器人发送一些通用指令(例如直线移动指令、关节移动指令等)，机器人根据通用指令在流水线或者各种工位上代替人工完成一些简单的工作。这些通用指令仅提取了运动作为共同点，因此对于加工对象的位置、特性均有很高的要求。而且随着时代的发展，各种装配、加工工艺越来越复杂，需要相关的经验和知识。现有的机器人控制方法无法让机器人像人一样进行思考，处理复杂的任务，越来越无法满足需求。

CN109816109A公开了一种任务推理模型学习及任务推理方法、机器人及存储装置。该任务推理模型学习方法包括获取示教数据，对示教数据进行学习以得到任务推理模型。该任务推理模型包括描述物体、动作和效应三种类型数据的节点，以及节点之间的连接关系和每个节点的概率分布。通过上述方式，能够使得利用该任务推理模型的机器人可以在遇到物体时根据概率推理出对应的动作。然而在实际场景中，任务必须按照一定的顺序执行而不能根据概率尝试执行，否则会导致任务失败，造成巨大损失。例如，按照实际加工顺序下一步应该进行钻孔，而根据模型的概率推理出下一步进行切割，如果尝试进行切割势必会导致加工工件报废。因此，基于概率推理的机器人控制方法在实际中难以应用。

发明内容

本发明要解决的技术问题是提供一种基于任务描述的机器人控制方法、装置及计算机可读介质，解决基于概率推理的机器人控制方法在实际中难以应用的问题。

为解决上述技术问题，本发明提供了一种基于任务描述的机器人控制方法，包括：识别需要加工的工件，根据工件的标识码触发对应的任务；从任务知识库中搜索所述任务的任务描述，所述任务描述包括任务的依赖项目、执行步骤和结果确认与收集；检查所述依赖项目是否满足，如果是，则检查所述执行步骤是否有子任务，如果是，则根据所述执行步骤和所述子任务的依赖关系推理生成控制命令序列；获取所述工件与所述依赖项目的位姿信息，根据所述位姿信息和所述控制指令序列控制机器人运动。

可选地，根据所述执行步骤和所述子任务的依赖关系推理生成控制命令序列包括：检查所述子任务中的依赖项目是否满足，如果是，则根据所述执行步骤和所述子任务的执行步骤的依赖关系推理生成控制命令序列。

可选地，识别需要加工的工件包括接收外部输入信号，根据所述输入信号识别所述工件的标识码。

可选地，识别需要加工的工件包括：接收视觉传感器发送的所述工件的第一图像，根据所述第一图像识别所述工件的标识码。

可选地，根据所述第一图像识别所述工件的标识码包括：将所述第一图像中的所述工件与视觉知识库中存储的多个特征向量进行匹配，判断最高匹配值是否超过第一阈值，如果是，将最高匹配值对应的特征向量的标识码作为所述工件的标识码。

可选地，根据所述第一图像识别所述工件的标识码还包括：如果所述最高匹配值不超过所述第一阈值，则控制机器人的机械手臂移动或旋转所述工件，然后获取所述工件的第二图像，根据所述第二图像识别所述工件的标识码。

可选地，检查所述依赖项目是否满足包括：接收视觉传感器发送的工作环境图像，根据所述工作环境图像判断所述依赖项目是否满足。

可选地，根据所述工作环境图像判断所述依赖项目是否满足包括：从视觉知识库中获取所述依赖项目对应的特征向量；将所述特征向量与所述工作环境图像中的所有物体进行匹配，如果最高匹配值高于第二阈值，则所述依赖项目满足，否则不满足。

可选地，所述依赖项目包括部件依赖项目和工具依赖项目。

可选地，获取所述工件与所述依赖项目的位姿信息包括：获取所述工件与所述依赖项目的第三图像，所述第三图像包括所述工件与所述依赖项目的特征点或特征线；从视觉知识库中获取所述工件与所述依赖项目的3D模型，通过所述3D模型和所述特征点或特征线确定所述工件与所述依赖项目的位姿信息。

可选地，方法还包括：在机器人运动过程中，接收视觉传感器发送的所述工件与所述依赖项目的位姿反馈信息，接收力觉传感器发送的所述工件与所述依赖项目的力矩反馈信息；根据所述位姿反馈信息和所述力矩反馈信息评估所述任务的执行结果。

为解决上述技术问题，本发明提供了一种基于任务描述的机器人控制装置，包括：视觉单元和视觉知识库，用于识别需要加工的工件，根据工件的标识码触发对应的任务，以及获取所述工件与依赖项目的位姿信息；任务知识库，用于提供多个任务的任务描述，所述任务描述包括任务的依赖项目、执行步骤和结果确认与收集；推理与控制单元，用于从所述任务知识库中搜索所述任务的任务描述，检查所述依赖项目是否满足，如果是，则检查所述执行步骤是否有子任务，如果是，则检查所述子任务中的依赖项目是否满足，如果是，则根据所述任务的执行步骤和所述子任务的执行步骤的依赖关系推理生成控制命令序列；机器人控制单元，用于根据所述位姿信息和所述控制指令序列控制机器人运动。

可选地，***还包括力觉单元，用于接收力觉传感器发送的所述工件与所述依赖项目的力矩反馈信息；其中，所述视觉单元和视觉知识库还用于接收视觉传感器发送的所述工件与所述依赖项目的位姿反馈信息；所述机器人控制单元还用于根据所述位姿反馈信息和所述力矩反馈信息评估所述任务的执行结果。

为解决上述技术问题，本发明提供了一种存储有计算机程序代码的计算机可读介质，所述计算机程序代码在由处理器执行时实现如上所述的方法。

与现有技术相比，本发明具有以下优点：

本发明的基于任务描述的机器人控制方法通过任务描述进行明确逻辑推理，从而找到完成任务需要的依赖和动作。该依赖和动作是完成任务的完备集合，无需进行尝试和学习，即可完成复杂的任务或者工序。这样能真正赋予机器人在特定场景识别与思考的能力，成为智能的机器人。

附图说明

包括附图是为提供对本申请进一步的理解，它们被收录并构成本申请的一部分，附图示出了本申请的实施例，并与本说明书一起起到解释本发明原理的作用。附图中：

图1是本发明一实施例的基于任务描述的机器人控制***的***框图。

图2是本发明一实施例的任务描述的示意图。

图3是本发明一实施例的基于任务描述的机器人控制方法的流程图。

具体实施方式

为了更清楚地说明本申请的实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

此外，需要说明的是，使用“第一”、“第二”等词语来限定零部件，仅仅是为了便于对相应零部件进行区别，如没有另行声明，上述词语并没有特殊含义，因此不能理解为对本申请保护范围的限制。此外，尽管本申请中所使用的术语是从公知公用的术语中选择的，但是本申请说明书中所提及的一些术语可能是申请人按他或她的判断来选择的，其详细含义在本文的描述的相关部分中说明。此外，要求不仅仅通过所使用的实际术语，而是还要通过每个术语所蕴含的意义来理解本申请。

本申请中使用了流程图用来说明根据本申请的实施例的***所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各种步骤。同时，或将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

图1是本发明一实施例的基于任务描述的机器人控制***的***框图。如图1所示，基于任务描述的机器人控制***100包括：带有机械手臂的机器人11、视觉传感器12和基于任务描述的机器人控制装置13。其中，机器人11包括力觉传感器111。机器人11用于执行各种动作和任务。具体地，可以在机器人11的机械手臂上更换各种工具进行作业。视觉传感器12可以安装在机器人11之外，即构成眼在手外。视觉传感器12也可以安装在机器人11的机械手臂上，构成眼在手上。

控制装置13为整个***的核心部分。控制装置13包括视觉单元131、视觉知识库132、任务知识库133、推理与控制单元134、机器人控制单元135。视觉单元131用于接收视觉传感器12采集并发送的图像。视觉知识库132描述了物体的特征向量和3D模型。视觉知识库132描述的物体包括两类：一类是需要精确定位的物体，例如工件、工具等；另一类是不需要精确定位的物体，例如标志标线等。对于前者，视觉知识库132包含需要精确定位的物体的具体的3D模型和特征向量等。对于后者，视觉知识库132包含不需要精确定位的物体的特征向量，不一定包含3D模型。视觉单元131和视觉知识库132结合起来用于视觉识别和定位相应的物体。任务知识库133为一系列的任务描述。任务描述包括任务的依赖项目、执行步骤和结果确认与收集。在一些实施例中，依赖项目包括部件依赖项目和工具依赖项目。部件依赖项目是指完成任务需要依赖的零部件，例如螺丝、螺母、胶带等耗材。零部件会安装在待加工的工件上随工件一起作为产品输出。工具依赖项目是指完成任务需要依赖的工具，例如螺丝刀，打磨头等。执行步骤是指完成任务执行的具体步骤。结果确认与收集是指完成任务后进行评价、检查与记录。其中执行步骤中，可以包含执行一个子任务，子任务依然可以包含子任务，形成一个任务树。

图2是本发明一实施例的任务描述的示意图。如图2所示，任务描述200是关于任务20的描述，任务20包括部件依赖项列表21、工具依赖项列表22、执行步骤23和结果确认与收集24。执行步骤23包括步骤231、步骤232、子任务233、子任务234和步骤235。子任务233包括部件依赖项列表2331、工具依赖项列表2332、执行步骤2333和结果确认与收集2334。子任务234包括部件依赖项列表2341、工具依赖项列表2342、执行步骤2343和结果确认与收集2344。任务与任务树的形式可以支持很复杂的任务。一些具有基础功能的子任务可以预先定义好，这样描述机器人任务时可以直接调用子任务，从而使得描述机器人的工作变得很简单。本发明提取具有基础功能的子任务作为共同点，让机器人完成任务，而不是运动到点位，使机器人更符合人类处理任务的习惯。

当触发一个任务时，推理与控制单元134可以通过视觉单元131和视觉知识库132检查任务描述中的所有的依赖项目是否满足。如果出现依赖项目不足时，会报错。如果一切正常，将根据任务和子任务的描述，生成控制命令序列。

机器人控制单元135用于根据待加工工件的位姿信息、依赖项目的位姿信息和控制指令序列进行路径规划、速度规划，力量规划，控制机器人11运动。

在一些实施例中，控制装置13还包括力觉单元136，力觉单元136用于接收力觉传感器111发送的工件与依赖项目的力矩反馈信息。视觉单元131和视觉知识库132还用于接收视觉传感器12发送的工件与依赖项目的位姿反馈信息；机器人控制单元135还用于根据位姿反馈信息和力矩反馈信息评估任务的执行结果。

图3是本发明一实施例的基于任务描述的机器人控制方法300(以下简称控制方法300)的流程图。控制方法300可以由图1中的控制装置13执行，也可以由其他控制装置执行，本申请对此不作限制。如图3所示，控制方法300包括如下步骤：

步骤S31：识别需要加工的工件，根据工件的标识码触发对应的任务。

识别需要加工的工件包括识别需要加工的工件的种类，工件的种类通过标识码表示。可以通过视觉识别工件的标识码。具体地，通过视觉单元131接收视觉传感器12发送的工件的第一图像，将第一图像中的工件与视觉知识库132中存储的多个特征向量进行匹配，判断最高匹配值是否超过第一阈值，如果是，将最高匹配值对应的特征向量的标识码作为工件的标识码。

在实际工业场景中，只需要识别与当前工作相关的有限种类的工件、部件和工具。换而言之，可以在视觉知识库132中存储与工作相关的工件、部件和工具的特征向量和3D模型。当需要识别工件的种类时，将第一图像中的工件与视觉知识库132中存储的多个工件的特征向量进行匹配，对匹配值进行排序，判断最高匹配值是否超过第一阈值，如果是，将最高匹配值对应的特征向量的标识码作为工件的标识码。与其他基于机器视觉的识别方法相比，本发明通过视觉知识库可以实时识别有限种类的工件，无需进行复杂计算，极大降低了对于机器视觉的要求。

如果最高匹配值不超过第一阈值，表示工件处在当前角度或位置时拍摄的第一图像没有包括工件明显的特征，则控制机器人的机械手臂移动或旋转工件，然后获取工件的第二图像，根据第二图像识别工件的标识码。本发明通过特有多角度或者机械臂拿起来观察能够降低对于视觉算法的复杂度，提高响应速度。

在一些实施例中，在通过视觉识别工件的标识码的同时，识别工件的位姿信息。例如，根据第一图像中的工件的像素坐标和坐标转换矩阵获的工件的位姿信息。坐标转换矩阵是像素坐标系与实际物理空间坐标系之间的转换矩阵。通过工件的像素坐标识别出来的位姿信息精度可能不够高，在一些实施例中，还包括再次精确定位，获取更精确的位姿信息。具体地，从第一图像中获取工件的特征点或特征线，从视觉知识库132中获取工件的3D模型，通过3D模型的2D投影，根据2D投影和特征点或特征线位置确定工件的位姿信息。

在传统的流水线或者工位上，可能不包括视觉传感器，为了使本发明适用于传统的流水线或者工位，在一些实施例中，识别需要加工的工件包括接收外部输入信号，根据输入信号识别工件的标识码。具体地，每条流水线上仅放置一种需要加工的工件，当检测到流水线上有工件时，流水线触发对应的输入信号。或者，流水线上可以设置有按钮，当流水线上放置有需要加工的工件时，根据工件的种类按下按钮触发对应的输入信号。

步骤S12：从任务知识库中搜索任务的任务描述，任务描述包括任务的依赖项目、执行步骤和结果确认与收集。

任务知识库132由一系列的任务描述组成，可以随时增加新的任务描述来扩大任务知识库。任务描述描述了具体的动作和依赖，仅仅需要定义一次即可。可以通过如下机器人编程语言来表示任务描述。

以下是本发明一实施例的任务定义和任务调用：

任务定义

TASK_DEFINE任务名称

DEPEND PARTS依赖部件名称

DEPEND TOOLS依赖工具名称

DEPEND IO依赖条件名称

TASK_PROCEDURE(执行步骤)：

MOVL(直线移动)xxxx

END_TASK_PROCEDURE

TASK_POST_CHECK(结果确认与收集)

Xxxxx

END_TASK_POST_CHECK

END_TASK_DEFINE

任务调用

CALL_TASK任务名称

在实际应用中，对于一个工位上的机器人来讲，任务知识库是极其有限。因此，在一定工作范围内，例如一个工厂，采取一个知识库服务器来进行相关的存储和查询服务，在特定场景工作的控制装置仅需要使用自己特定的知识即可。当控制装置收到对应的指令，执行任务时，发现本地没有足够的知识解决问题，可以到服务器上搜索对应的知识补充到本地，不需要的知识则不下载。这样可以使得本地知识库处于能完成任务的最小完备集合，提供最佳的性能。这样可以在一个工厂完成知识的积累与传播。

在全球，机器人厂家提供一个服务全球的知识库服务，所有用户、供应商也可以自己定义相关的知识上传知识库，给大家共享；同时也可以下载自己需要的知识，形成一个生态。让机器人的使用更简单有效，完成世界级的知识积累与传播。

步骤S13：检查依赖项目是否满足，如果是，则检查执行步骤是否有子任务，如果是，则根据执行步骤和子任务的依赖关系推理生成控制命令序列。

检查依赖项目是否满足，如果是，则检查执行步骤是否有子任务，如果是，则检查子任务中的依赖项目是否满足，如果是，则根据任务的执行步骤和子任务的执行步骤的依赖关系推理生成控制命令序列。依赖项目一般包括部件依赖项目和工具依赖项目。可以通过机器视觉自主检查依赖项目是否满足。具体地，接收视觉传感器12发送的工作环境图像，从视觉知识库132中获取依赖项目对应的特征向量，将特征向量与工作环境图像中的所有物体进行匹配，如果最高匹配值高于第二阈值，则依赖项目满足，否则不满足。

在一些实施例中，为了提高判断依赖项目是否满足的效率，将工作环境分为输入区、输出区、配件区、工具区和工作区。其中输入区是指待加工的工件输入区域；输出区是指工件完成任务后的输出区域；配件区是指放置常规零部件的区域；工具区是指执行任务所需的工具放置的区域；工作区是指执行工作的地方，可能含有特定的夹具或设备，如安装夹具，铣床等。在判断依赖项目是否满足时，仅在依赖项目对应的区域检查，可以避免整个工作环境都要检查，这样可以节约时间，提高效率。以工具依赖项目为螺丝刀为例，判断螺丝刀是否满足包括：接收视觉传感器12发送的工具区图像，从视觉知识库132中获取螺丝刀的特征向量，将螺丝刀的特征向量与工具区图像中的所有物体(例如螺丝刀、打磨头等)进行匹配，判断最高匹配值是否高于第二阈值，如果是，则认为工具区存在螺丝刀，依赖项目满足。其中第二阈值是按需设置的，例如可以设置为0.8，最高匹配值高于0.8则表示工具区存在螺丝刀，低于0.8表示工具区不存在螺丝刀。

如图2所示，在任务描述的执行步骤23中，可以包含执行子任务233和子任务234。子任务233包括部件依赖项列表2331、工具依赖项列表2332。子任务234包括部件依赖项列表2341、工具依赖项列表2342。在任务20的部件依赖项列表21、工具依赖项列表22满足后，还需要检查子任务233的部件依赖项列表2331、工具依赖项列表2332是否满足，以及子任务234的部件依赖项列表2341、工具依赖项列表2342是否满足。子任务的依赖项目是否满足的详细说明可以参考任务的依赖项目是否满足，在此不再赘述。如果任一个依赖项目不满足，则不执行任务，防止任务执行失败导致损失。直到所有依赖项目满足，则任务的执行步骤和子任务的执行步骤的依赖关系推理生成控制命令序列。

在一些实施例中，在依赖项目满足时，获取依赖项目的位姿信息。具体地，从工作环境图像中获取依赖项目特征点或特征线，从视觉知识库132中获取依赖项目的3D模型，通过3D模型的2D投影，根据2D投影和特征点或特征线位置确定依赖项目的位姿信息。

步骤S14：获取工件与依赖项目的位姿信息，根据位姿信息和控制指令序列控制机器人运动。

在本实施中，可以在步骤S11-S13中不获取工件的位姿信息和依赖项目的位姿信息。只有在满足所有依赖项目时，再分别获取工件的位姿信息和依赖项目的位姿信息。例如，获取工件与依赖项目的第三图像，第三图像包括工件与依赖项目的特征点或特征线；从视觉知识库132中获取工件与依赖项目的3D模型，通过3D模型和特征点或特征线确定工件与依赖项目的位姿信息。

根据位姿信息和控制指令序列进行路径规划、速度规划，力量规划，控制机器人运动。

在一些实施例中，控制方法还包括在机器人运动过程中，接收视觉传感器12发送的工件与依赖项目的位姿反馈信息，接收力觉传感器111发送的工件与依赖项目的力矩反馈信息；根据位姿反馈信息和力矩反馈信息评估任务的执行结果。位姿反馈信息和力矩反馈信息是相辅相成的。通过位姿反馈信息可以保证工件与依赖项目相对位姿是准确的，但是对于柔性工件，工件与依赖项目相对位姿是准确的并不能保证任务执行成功，通过力矩反馈信息的辅助，根据工件与依赖项目之间的力矩，可以判断任务是否执行成功。

本发明的基于任务描述的机器人控制方法通过任务描述进行明确逻辑推理，从而找到完成任务需要的依赖和动作，是完成任务的完备集合，无需进行尝试和学习，即可完成复杂的任务或者工序，这样能真正赋予机器人在特定场景识别与思考的能力，成为智能的机器人。

本申请还包括一种存储有计算机程序代码的计算机可读介质，该计算机程序代码在由处理器执行时实现前文的基于任务描述的机器人控制方法。

基于任务描述的机器人控制方法实施为计算机程序时，也可以存储在计算机可读存储介质中作为制品。例如，计算机可读存储介质可以包括但不限于磁存储设备(例如，硬盘、软盘、磁条)、光盘(例如，压缩盘(CD)、数字多功能盘(DVD))、智能卡和闪存设备(例如，电可擦除可编程只读存储器(EPROM)、卡、棒、键驱动)。此外，本文描述的各种存储介质能代表用于存储信息的一个或多个设备和/或其它机器可读介质。术语“机器可读介质”可以包括但不限于能存储、包含和/或承载代码和/或指令和/或数据的无线信道和各种其它介质(和/或存储介质)。

应该理解，上文所描述的实施例仅是示意。本文描述的实施例可在硬件、软件、固件、中间件、微码或者其任意组合中实现。对于硬件实现，处理器可以在一个或者多个特定用途集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器和/或设计为执行本文功能的其它电子单元或者其结合内实现。

本申请的一些方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“***”。处理器可以是一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DAPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器或者其组合。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。例如，计算机可读介质可包括，但不限于，磁性存储设备(例如，硬盘、软盘、磁带……)、光盘(例如，压缩盘CD、数字多功能盘DVD……)、智能卡以及闪存设备(例如，卡、棒、键驱动器……)。

计算机可读介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等等、或合适的组合形式。计算机可读介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行***、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机可读介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、射频信号、或类似介质、或任何上述介质的组合。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述申请披露仅仅作为示例，而并不构成对本申请的限定。虽然此处并没有明确说明，本领域技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。

Claims (15)

1.一种基于任务描述的机器人控制方法，其特征在于，包括：

识别需要加工的工件，根据工件的标识码触发对应的任务；

从任务知识库中搜索所述任务的任务描述，所述任务描述包括任务的依赖项目、执行步骤和结果确认与收集；

检查所述依赖项目是否满足，如果是，则检查所述执行步骤是否有子任务，如果是，则根据所述执行步骤和所述子任务的依赖关系推理生成控制命令序列；

获取所述工件与所述依赖项目的位姿信息，根据所述位姿信息和所述控制指令序列控制机器人运动。

2.如权利要求1所述的方法，其特征在于，根据所述执行步骤和所述子任务的依赖关系推理生成控制命令序列包括：

检查所述子任务的依赖项目是否满足，如果是，则根据所述执行步骤和所述子任务的执行步骤的依赖关系推理生成控制命令序列。

3.如权利要求1所述的方法，其特征在于，识别需要加工的工件包括接收外部输入信号，根据所述输入信号识别所述工件的标识码。

4.如权利要求1所述的方法，其特征在于，识别需要加工的工件包括：

接收视觉传感器发送的所述工件的第一图像，根据所述第一图像识别所述工件的标识码。

5.如权利要求4所述的方法，其特征在于，根据所述第一图像识别所述工件的标识码包括：

将所述第一图像中的所述工件与视觉知识库中存储的多个特征向量进行匹配，判断最高匹配值是否超过第一阈值，如果是，将最高匹配值对应的特征向量的标识码作为所述工件的标识码。

6.如权利要求5所述的方法，其特征在于，根据所述第一图像识别所述工件的标识码还包括：

如果所述最高匹配值不超过所述第一阈值，则控制机器人的机械手臂移动或旋转所述工件，然后获取所述工件的第二图像，根据所述第二图像识别所述工件的标识码。

7.如权利要求1所述的方法，其特征在于，检查所述依赖项目是否满足包括：接收视觉传感器发送的工作环境图像，根据所述工作环境图像判断所述依赖项目是否满足。

8.如权利要求7所述的方法，其特征在于，根据所述工作环境图像判断所述依赖项目是否满足包括：

从视觉知识库中获取所述依赖项目对应的特征向量；

将所述特征向量与所述工作环境图像中的所有物体进行匹配，如果最高匹配值高于第二阈值，则所述依赖项目满足，否则不满足。

9.如权利要求1所述的方法，其特征在于，所述依赖项目包括部件依赖项目和工具依赖项目。

10.如权利要求1所述的方法，其特征在于，获取所述工件与所述依赖项目的位姿信息包括：

获取所述工件与所述依赖项目的第三图像，所述第三图像包括所述工件与所述依赖项目的特征点或特征线；

从视觉知识库中获取所述工件与所述依赖项目的3D模型，通过所述3D模型和所述特征点或特征线确定所述工件与所述依赖项目的位姿信息。

11.如权利要求1所述的方法，其特征在于，还包括：

在机器人运动过程中，接收视觉传感器发送的所述工件与所述依赖项目的位姿反馈信息，接收力觉传感器发送的所述工件与所述依赖项目的力矩反馈信息；

根据所述位姿反馈信息和所述力矩反馈信息评估所述任务的执行结果。

12.一种基于任务描述的机器人控制装置，其特征在于，包括：

视觉单元和视觉知识库，用于识别需要加工的工件，根据工件的标识码触发对应的任务，以及获取所述工件与依赖项目的位姿信息；

任务知识库，用于提供多个任务的任务描述，所述任务描述包括任务的依赖项目、执行步骤和结果确认与收集；

推理与控制单元，用于从所述任务知识库中搜索所述任务的任务描述，检查所述依赖项目是否满足，如果是，则检查所述执行步骤是否有子任务，如果是，则根据所述执行步骤和所述子任务的依赖关系推理生成控制命令序列；

机器人控制单元，用于根据所述位姿信息和所述控制指令序列控制机器人运动。

13.如权利要求12所述的装置，其特征在于，所述推理与控制单元还用于检查所述子任务中的依赖项目是否满足，如果是，则根据所述执行步骤和所述子任务的执行步骤的依赖关系推理生成控制命令序列。

14.如权利要求12所述的装置，其特征在于，还包括力觉单元，用于接收力觉传感器发送的所述工件与所述依赖项目的力矩反馈信息；

其中，所述视觉单元和视觉知识库还用于接收视觉传感器发送的所述工件与所述依赖项目的位姿反馈信息，所述机器人控制单元还用于根据所述位姿反馈信息和所述力矩反馈信息评估所述任务的执行结果。

15.一种存储有计算机程序代码的计算机可读介质，所述计算机程序代码在由处理器执行时实现如权利要求1-11任一项所述的方法。

Images