CN113858214A - 一种用于机器人作业的定位方法与控制*** - Google Patents

Abstract

本发明提供一种用于机器人作业的定位方法与控制***，该方法的一个具体实施方式包括：控制所述机器人的作业端的相机对图像标识进行拍摄，获得包括所述图像标识的照片，所述图像标识设置于固定位置；分析所述照片，获得所述图像标识在机器人基底坐标系中的位姿；根据所述图像标识在所述机器人基底坐标系中的位姿构建用户坐标系；以及根据所述用户坐标系对机器人作业进行定位。该方法使得操作人员在控制机器人移动作业时，能够使用基于图像标识构建的用户坐标系进行定位和控制机器人移动，降低了使用相机进行精确定位的机器人的作业操控难度。

Description

一种用于机器人作业的定位方法与控制***

技术领域

本发明涉及机器人控制领域，具体而言，涉及一种用于机器人作业的定位方法与控制***。

背景技术

包括机械臂与可移动的底盘的机器人经常被用于机床作业，例如用于材料搬运以及大范围的物体抓取等。

机器人作业过程中需要对需要抓取的物体进行定位，目前常用方式为利用固定在机器人上的相机进行辅助定位。利用相机辅助定位具体应用的是机器人的基底坐标系，由于机器人基底坐标系会跟随机器人一同移动，因而，以此坐标系对机器人移动位点进行定位需要机器人的操作者在实际作业过程中进行多次坐标系转换，并且这些坐标系的转换不直观、难度较大，不利于操作者进行操作。

对于操作者来说，需要进行各种坐标系的转换才能对机器人进行相应的控制，这个过程不仅耗时费力还容易出错，体现在整个作业流程上，这会拖慢工作进度，降低整体工作效率。

发明内容

本发明实施例的目的在于提供一种用于机器人作业的定位方法与控制***，用以降低使用相机辅助进行机器人的精确定位的作业操控难度。

第一方面，本发明实施例提供了一种用于机器人作业的定位方法，所述方法包括：控制所述机器人的作业端的相机对图像标识进行拍摄，获得包括所述图像标识的照片，所述图像标识设置于固定位置；分析所述照片，获得所述图像标识在机器人基底坐标系中的位姿；根据所述图像标识在所述机器人基底坐标系中的位姿构建用户坐标系；以及根据所述用户坐标系对机器人作业进行定位。

本实施例提供的技术方案中，控制相机对图像标识进行拍照，通过分析图像标识照片得到图像标识在机器人基底坐标系中的位姿，进而将机器人的用户坐标系设置在图像标识处，并根据图像标识构建用户坐标系，使得操作人员在控制机器人移动作业时，能够使用基于图像标识构建的用户坐标系进行定位和控制机器人移动。

在此，用户坐标系可以理解为在机器人实际需要进行操作界面上所构建的坐标系。在该用户坐标系中，用于构建用户坐标系的图像标识在该用户坐标系中具有明确的坐标；并且，机器人要进行获取或操作的目标工件也在该操作界面上，其在该用户坐标系中也具有明确的坐标，这两个坐标之间仅仅是一个简单的水平以及竖直方向上的平移关系。因此，在上述通过图像标识构建用户坐标系之后，对于操作人员来说，图像标识在用户坐标系中是固定并且直观的，机器人要进行操作或获取的目标工件在用户坐标系中也是固定并且直观的，而且两者均在同一坐标系中标识，因此，在操作人员处，操作机器人进行对目标工件的获取不涉及对坐标系的转换，这样的设计极大地降低了操作人员控制机器人作业的操控难度。

进一步的，在控制所述机器人的作业端的相机对图像标识进行拍摄之前，所述方法还包括：控制所述机器人将所述相机移动到预设位置；其中，所述预设位置位于所述图像标识上方的一定距离处。相机的焦距一般存在一定的变化范围，但是可以在使用时根据需要将焦距设置为一个固定值，这样就会有一个固定的清晰成像物距，确定一个将相机移动到与图像标识之间的距离为该物距的预设位置，通过控制机器人直接将相机移动到预设位置，在这个预设位置进行拍照，可以保证拍摄得到的照片是清晰可用的，便于后续的分析。

进一步的，在所述方法中，所述图像标识包括非旋转对称的标志，所述固定位置包括机器人需要作业的工作台表面。通过设计特定的非旋转对称的便于分析的图案，可以降低分析难度；将图像标识设置于工作台表面，便于机器人的操控人员能方便的以图像标识作为参照进行机器人的定位以及操控机器人完成相关作业。

进一步的，在分析所述照片之后，所述方法还包括：判断所述相机是否处于预设位置；若所述相机处于预设位置，则获取并记录所述机器人当前的关节位姿作为拍照姿态。通过对图像标识的照片进行分析，根据分析结果，可以得到相机与图像标识之间的相对位置是否符合预设条件，若通过分析得到相机与图像标识之间的相对位置符合预设条件，那么相机就处于预设位置，获取并记录这时机器人的关节位姿作为拍照姿态，便于以后有需要再次操控机器人对图像标识重新进行拍摄时，可以直接利用记录的关节位姿，控制机器人运动到拍照姿态，简化了拍照的控制步骤。

进一步的，在所述方法中，所述分析所述照片包括：判断所述照片中是否包括所述图像标识，得到第一判定结果；判断所述照片中的所述图像标识的所述非旋转对称的标志是否发生变形，得到第二判定结果；以及分析所述照片中的所述图像标识的对应像素点，得到第三判定结果；所述判断所述相机是否处于预设位置包括：根据所述第一判定结果判断所述相机是否拍摄到所述图像标识；根据所述第二判定结果判断所述相机的前端面与所述图像标识是否平行；以及根据所述第三判定结果判断所述相机的前端面与所述图像标识之间的距离是否为预设值。若根据所述第一判定结果判断得到所述相机拍摄到所述图像标识，根据所述第二判定结果判断得到所述相机的前端面与所述图像标识平行，根据所述第三判定结果判断得到所述相机前端面与所述图像标识之间的距离为预设值，则判断所述相机处于预设位置。通过分析照片对相机是否处于预设位置进行判断，进一步确定了相机与图像标识之间的相对位置是否符合预设条件。

进一步的，在所述方法中，所述获得所述图像标识在机器人基底坐标系中的位姿，包括：获取所述相机在机器人基底坐标系中的位姿以及所述图像标识在相机坐标系中的位姿；根据所述相机在所述机器人基底坐标系中的位姿以及所述图像标识在相机坐标系中的位姿，得到所述图像标识在所述机器人基底坐标系中的位姿。通过分析照片可以得到图像标识在相机坐标系中的位姿，而相机在机器人基底坐标系中的位姿属于已知量，得知了相机在所述机器人基底坐标系中的位姿以及图像标识在相机坐标系中的位姿之后，通过换算可以得到图像标识在机器人基底坐标系中的位姿，从而实现将用户坐标系设置于图像标识处。

进一步的，在所述方法中，所述根据所述用户坐标系对机器人作业进行定位，包括：根据所述用户坐标系对所述机器人进行点位示教，得到工作位点；存储所述工作位点；控制所述机器人移动到所述工作位点进行作业。在根据图像标识设置的用户坐标系下进行点位示教，得到工作位点，并对这些工作位点进行存储，这样的设置使得工作人员在后续操作机器人进行工作时，可以直接使用这些根据图像标识设置的工作位点进行控制，降低了操作难度，提高了工作效率。

第二方面，本发明实施例提供了一种用于机器人作业定位的外部控制***，所述外部控制***包括：图像处理模块以及通信模块。所述图像处理模块用于获取包括图像标识的照片，并对所述照片进行分析，判断相机是否位于预设位置，若所述相机位于预设位置，则获取并记录所述机器人当前的关节位姿作为拍照姿态。

其中，在一个优选的实施例中，所述照片进行分析包括：判断所述照片中是否包括所述图像标识，得到第一判定结果；判断所述照片中的所述图像标识的所述非旋转对称的标志是否发生变形，得到第二判定结果；以及分析所述照片中的所述图像标识的对应像素点，得到第三判定结果。所述判断相机是否位于预设位置包括：根据所述第一判定结果判断所述相机是否拍摄到所述图像标识；根据所述第二判定结果判断所述相机的前端面与所述图像标识是否平行；以及根据所述第三判定结果判断所述相机前端面与所述图像标识之间的距离是否为预设值。

用于机器人作业定位的外部控制***还包括通信模块，通信模块用于与机器人控制***进行通信，所述通信模块将控制所述机器人运动到所述拍照姿态的第一控制指令发送给所述机器人，所述第一控制指令控制所述机器人移动所述关节位姿至所述拍照姿态；其中，所述通信模块还用于将控制所述机器人设置用户坐标系的第二控制指令发送给所述机器人，所述第二控制指令控制所述机器人根据所述图像标识设置用户坐标系。

该外部控制***负责处理包括图像标识的照片，判断相机否处于预设位置，对拍照姿态进行记录，同时该外部控制***具有通信模块，能够通过发送控制指令给机器人的控制系来控制机器人移动到拍摄姿态以及根据图像标识设置用户坐标系。通过外部控制的方式对机器人进行控制，配合机器人完成将用户坐标系设置于图像标识处的工作，简化了工作人员的工作，减小了控制机器人对图像标识进行拍照以及设置用户坐标系于图像标识处的难度。同时，这样的设置无需改变原有的机器人控制***，使得本发明的技术方案的能够广泛适用于各种机器人。

进一步的，在一个优选的实施例中，所述外部控制***还包括坐标系构建模块，所述坐标系构建模块用于根据所述图像标识在所述机器人基底坐标系中的位姿构建用户坐标系。所述坐标系构建模块先获取所述相机在机器人基底坐标系中的位姿以及所述图像标识在相机坐标系中的位姿，再根据所述相机在所述机器人基底坐标系中的位姿以及所述图像标识在相机坐标系中的位姿，得到所述图像标识在所述机器人基底坐标系中的位姿，最后根据得到的所述图像标识在所述机器人基底坐标系中的位姿，完成对用户坐标系的构建。

进一步的，在一个优选的实施例中，所述外部控制***还包括定位单元，所述定位单元根据所述用户坐标系对机器人作业进行定位，包括：根据所述用户坐标系对所述机器人进行点位示教，得到工作位点；通过将工作位点发送给机器人控制***，控制所述机器人移动到所述工作位点进行作业。

进一步的，在一个优选的实施例中，所述外部控制***还包括存储模块，所述存储模块用于存储所述工作位点与拍照姿态。便于后续定位单元调用点位及位姿数据对机器人作业的移动进行控制。

上述外部控制***的所有模块之间具有数据连接线，相互之间能实现数据通信。

第三方面，本发明实施例提供了一种机器人控制***，所述机器人控制***包括：外部通信模块、指令执行模块以及存储模块。所述外部通信模块配置为与外部控制***进行通信，并接收来自所述外部控制***的指令，所述指令包括第一、第二控制指令以及工作位点数据和控制机器人移动到工作位点的指令的第三控制指令。

所述指令接收模块配置为执行控制指令，所述控制指令包括外部通信模块接收到的指令，所述指令包括所述第一、第二控制指令与第三控制指令，所述第一控制指令控制所述机器人运动到拍照姿态，所述第二控制指令控制所述机器人设置用户坐标系。

所述存储模块配置为对根据所述用户坐标系对所述机器人进行点位示教得到的工作位点以及所述外部通信模块收到的工作位点数据进行存储。该机器人控制***具有通信模块能够接收外部控制***的指令，具有执行模块能执行来自外部控制***的相关指令，同时具有存储模块，能对根据用户坐标系进行示教得到的工作位点进行存储。这样的设置，使得在实际应用中，能够在机器人的作业过程中应用本发明的方法。

进一步的，在一个优选的实施例中，所述机器人控制***还包括坐标系设置模块，所述坐标系设置模块用于设置用户坐标系，具体的，所述坐标系设置模块用于将用户坐标系设置于图像标识处。所述坐标系设置模块获取到图像标识在机器人基底坐标系中的位姿之后，可以根据图像坐标系的位姿进行用户坐标系的设置。

进一步的，在一个优选的实施例中，所述机器人控制***还包括位姿获取模块，所述位姿获取模块用于获取相机、机器人各个关节与工具在机器人基底坐标系中的位姿，所述各个位姿可以通过所述外部通信模块发送给所述外部控制***。

上述机器人控制***的所有模块之间具有数据连接线，相互之间能实现数据通信。

第四方面，本发明实施例提供了一种用于机器人定位的定位模块，所述定位模块包括相机、外部控制***、第一控制按钮，第二控制按钮以及指示灯；所述定位模块安装于所述机器人的作业端；所述相机配置为对图像标识进行拍摄，并得到包括所述图像标识的照片；其中，所述外部控制***为上述第二方面中所述的外部控制***；所述第一控制按钮配置为根据对其的操作控制所述相机进行拍摄，并触发设置用户坐标系指令；所述第二控制按钮配置为据对其的操作记录所述机器人的拍照位姿；所述指示灯配置为对是否成功根据所述图像标识设置用户坐标系进行指示。该定位模块实现了机器人***与用户之间的交互，这样的设置使得工作人员能够通过简单地操作控制机器人将用户坐标系设置于图像标识处，操作简单，提高了工作效率。

第五方面，本发明实施例提供一种电子设备，所述电子设备可以为机器人或是服务器等设备，该设备包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述第一方面提供的所述方法中的步骤。

第六方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。

本发明实施例通过控制机器人的作业端的相机对图像标识进行拍摄，获得包括图像标识的照片，分析照片，获得图像标识在机器人基底坐标系中的位姿根据所述图像标识在机器人基底坐标系中的位姿构建用户坐标系；使得控制机器人的操作人员能直观的根据图像标识，以及设置在图像标识处的用户坐标系对机器人作业进行定位。而且，本发明实施例还通过合理的设置，使得控制机器人进行作业的工作人员，仅经过简单的操作就能将用户坐标系成功设置于图像标识处。降低了对机器人进行操作的作业难度，提高了操作者的工作效率。

本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的一种机器人作业场景的示意图；

图2为本发明实施例提供的一种用于机器人作业的定位方法的第一种流程图；

图3a为本发明实施例提供的第一种图像标识示意图；

图3b为本发明实施例提供的第二种图像标识示意图；

图3c为本发明实施例提供的第三种图像标识示意图；

图4为本发明实施例提供的一种用于机器人作业的定位方法的第二种流程图；

图5为本发明实施例提供的一种用于机器人作业定位的外部控制***的结构示意图；

图6为本发明实施例提供的一种机器人控制***的结构示意图；

图7为本发明实施例提供的一种用于机器人定位的定位模块的结构示意图；

图8为本申请实施例提供的一种用于执行机器人作业的定位方法的电子设备的结构示意图。

图标：10-外部控制***，12-图像处理模块，14-通信模块；

20-机器人控制***，21-外部通信模块，23-指令执行模块，25-存储模块；

30-定位模块，31-指示灯，33-相机，35-第一控制按钮，37-第二控制按钮；

300-应用场景，301-机器人底座，303-机械臂，305-末端执行器，311-相机，313-相机前端面，315-一定距离，321-工作台，323-目标工件；

400-图像标识，401-图像标志；

410-图像标识，411-图像标志；

420-图像标识，421-图像标志；

500-电子设备，501-处理器，502-通信接口，503-存储器，504-通信总线。

具体实施方式

下面将结合本发明实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

应当说明的是，在不冲突的情况下，本申请中的实施例或者实施例中的技术特征可以进行结合。

相关技术中，对于使用相机进行精确定位的复合机器人，在实际操作过程中，需要操作人员对相机坐标系、机器人基底坐标系、机器人的工作坐标系等坐标系之间，进行各种转换才能进行相应的控制，这是非常耗时，也非常容易出错的事情。同时，对于机器人操作人员的要求也较高，不仅需要操作人员懂得机械操作，还需要操作人员懂得程序编辑与设置，以及视觉应用，这样的要求使得懂得机器人操作的人才稀缺，人工成本较高。

如上所述，相关技术中存在机器人控制过程中，坐标系转换难度大，操作耗时，容易出错等问题。为了解决该问题，本发明提供一种用于机器人作业的定位方法与控制***，通过设置图像标识，将设置机器人的工作坐标系也就是用户坐标系的设置过程程序化，使得机器人操作人员只需要最基本的机械相关知识就能完成用户坐标系的设置这一视觉调试工作。

在一些应用场景中，上述用于机器人作业定位的方法可以应用于机器人外部的处理器/服务器/上位机，也可以直接应用于设置在机器人内部的处理器等，该处理器/服务器/上位机或者内部的处理器上可以安装应用程序，该应用程序用于对机器进行控制，应用程序可以根据用户的相关指令请求该理器/服务器/上位机或者内部的处理器实现对应的功能。示例性的，本发明以应用于外部服务器为例行文。

以上相关技术中的方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本发明实施例针对上述问题所提出的解决方案，都应该是发明人在本发明过程中对本发明做出的贡献。

请参考图1，其示出了本发明实施例提供的一种本发明方法应用于机器人作业的场景。如图1所示，本发明方法的应用场景300中包括：机器人底座301、机械臂303、末端执行器305、相机311、工作台321、工件323以及图像标识400。其中，相机311设置在机器人的作业端，也就是机械臂303的末端执行器305的旁边，可以通过支架或是其他方式(图中未示出)使相机311相对于机器人末端执行器305的位置固定，使得相机311安装在机器人末端时，相机前端面313和光轴的中心(图中未示出)相对于机器人末端执行器305的位置是已知的固定值；在一个优选的实施例中，相机可具有自带的补光光源，在拍摄时保证拍摄的图像清晰度。图像标识400设置于固定位置，图像标识400上方应具有用于识别的图形或图案。

第一方面，本发明实施例提供了一种用于机器人作业的定位方法。

图2为本发明实施例提供的一种用于机器人作业的定位方法的第一种流程图，如图2所示，该方法包括步骤S101至步骤S107。

步骤S101：控制所述机器人的作业端的相机对图像标识进行拍摄，获得包括所述图像标识的照片，所述图像标识设置于固定位置。

在控制机器人的作业端的相机对图像标识进行拍摄之前，需将相机安装于机器人的作业端，并设置一个图像标识于一个固定位置。在接收到控制指令后，则执行步骤S101控制安装于机器人的作业端的相机对该图像标识进行拍摄，并获得包括该图像标识的照片。该控制指令可以由按钮触发，也可以通过鼠标点击等方式由操作人员发出。

步骤S103：分析所述照片，获得所述图像标识在机器人基底坐标系中的位姿。

外部服务器获得包括图像标识的照片之后，对该照片进行分析，经过分析得到图像标识在机器人基底坐标系中的位姿。其中，位姿代表位置和姿态，任何一个刚体在空间坐标系(OXYZ)中可以用位置和姿态来精确、唯一表示其位置状态。机器人的位姿描述与坐标变换是进行工业机器人运动学和动力学分析的基础。理论上，六轴机器人有6个自由度，即X、Y、Z、Yaw(俯仰角)、Pitch(偏航角)、Roll(翻滚角)；前***位置，也就是空间三维的坐标，而后***的是姿态，也就是在当前姿态下绕X Y Z轴的旋转角度。所以，在执行步骤S103后，得到了图像标识在机器人基底坐标系中的位置和姿态，通过这个姿态，能对图像标识在机器人基底坐标系下进行准确定位。

步骤S105：根据所述图像标识在所述机器人基底坐标系中的位姿构建用户坐标系。

外部服务器在获得了图像标识在机器人基底坐标系中的位姿之后，就能继续执行步骤S105，在该步骤中，外部服务器根据图像标识在机器人基底坐标系中的位姿构建用户坐标系，如上文中所述用户坐标系是机器人的工作坐标系，也就是操作人员在实际操作机器人进行作业中所用到的坐标系。由于用户坐标系是基于图像标识在机器人基底坐标系中的位姿构建的，所以对于机器人来说，用户坐标系下的点位通过转换可以成为基底坐标系下的点位。

步骤S107：根据所述用户坐标系对机器人作业进行定位。

外部服务器在成功将用户坐标系设置于图像标识处后，就具备了执行步骤S107的条件，可以根据该用户坐标系对机器人作业进行定位。将用户坐标系设置于图像标识处，由于图像标识的位置为固定位置，机器人就能根据图像标识处的用户坐标系得到用户坐标系下的位点，从而对各个位点进行准确定位。在此，用户坐标系可以理解为在机器人实际需要进行操作界面上所构建的坐标系。在该用户坐标系中，用于构建用户坐标系的图像标识在该用户坐标系中具有明确的坐标；并且，机器人要进行获取或操作的目标工件也在该操作界面上，其在该用户坐标系中也具有明确的坐标，这两个坐标直接仅仅是一个简单的水平以及竖直方向上的平移关系。因此，在上述通过图像标识构建用户坐标系之后，对于操作人员来说，图像标识在用户坐标系中是固定并且直观的，机器人要进行操作或获取的目标工件在用户坐标系中也是固定并且直观的，而且两者均在同一坐标系中标识，因此，在操作人员处，操作机器人进行对目标工件的获取不涉及对坐标系的转换，这样的设计极大地降低了操作人员控制机器人作业的操控难度。

如上所述的本申请第一方面所提供的用于机器人作业的定位方法可示例性地由前文中所提及的外部服务器进行执行，也可以有本领域中的其他执行主体或电子设备，例如处理器、个人计算机等进行执行。本领域技术人员应当理解，上文中利用外部服务器进行相关说明旨在清楚地表明相关的技术方案，而不是限制性的。

相比于传统的用机器人基底坐标系进行直接定位，运用设置于图像标识处的用户坐标系进行定位，克服了机器人在作业过程中因为运动而使得机器人基底坐标系也处于运动状态，而难以实现快速准确的定位的问题，使用位置固定的设置于图像标识处的用户坐标系进行机器人作业过程中的定位，对于操作人员来说可以将图像标识作为移动参照，这样的定位方法既简单又直观，减小了机器人的操作难度，提高了机器人作业的效率。

请继续参考图2，在一些可选的实现方式中，在步骤S101之前，还包括步骤S100：控制机器人将相机移动到预设位置。

其中，所述预设位置位于图像标识上方的一定距离处。参见图1，相机前端面313与图像标识400之间具有一定距离315，也就是预设位置距离图像标识的垂直距离。在移动相机311，使得相机前端面313距离图像标识400上方的为一定距离315时，可选的，可以借助线长固定的吊坠或是卷尺等测量工具，或是其他测距设备进行辅助。相机具有可调节的光学镜头，可以对镜头焦距进行调节，进而可以对相机的视野角度进行调节，在确定好相机的视野角度之后，能观察到的范围与物距之间成正比关系。例如，在某一焦距的清晰成像物距包括40cm时，将该一定距离的距离值设置为40cm，此时，也就是在相机能清晰成像时，相机视野的窄边长约为10cm，如果AGV的定位精度为+-2cm，已知的图像标识的边长为2cm，那么还预留了3cm的余量在保证机器人底座运动到位后，相机一定能拍摄到图像标识的基础上，能进行定位精度最高的视野配置。

请参考图1和3a、3b、3c，在一些可选的实现方式中，所述图像标识包括非旋转对称的标志，所述固定位置包括机器人需要作业的工作台表面。

在一些应用场景中，使图像标识包括非旋转对称的标志，可以便于图像识别。在设置好图像标识之后，可以确定图像标识的尺寸以及图像标识中相应标志的具体尺寸。图3a、3b、3c中示出了三种图像标识的示意图，图3a表示的图像标识400，包括标志401，标志401为两条相互垂直的线段形成的直角形状。图3b表示的图像标识410，包括标志411，标志411为两条相互垂直的线段形成的十字形状，具有四个直角，其中，两条相互垂直的线段长度不同。图3c表示的图像标识420，包括标志421，标志421为两条相互垂直的线段形成的直角形状，每条线段上具有刻度。这里的三种图像标识仅作示例，可选的，该图像标识的上的标志还可为其他图案或形状，例如多条平行线、方框等。参见图1，图像标识400可以固定于工作台321表面，图1中仅示出一种图像标识400的固定位置，可选的，其中该固定位置还可为各种墙面、其他地方的表面。可选的，该图像标识400可以为易于机加工的金属片，可通过螺丝等容易固定于各种表面，还可以通过激光打标机、贴纸等形式布置于各种表面。

在一些可选的实现方式中，在分析所述照片之后，所述方法还包括：判断所述相机是否处于预设位置；若所述相机处于预设位置，则获取并记录所述机器人当前的关节位姿作为拍照姿态。

图4为本发明实施例提供的一种用于机器人作业的定位方法的第二种流程图，如图4所示，该方法包括步骤S201至步骤S207：

步骤S201：控制所述机器人的作业端的相机对图像标识进行拍摄，获得包括所述图像标识的照片，所述图像标识设置于固定位置。

步骤S202：分析所述照片，判断所述相机是否处于预设位置。

若相机没有处于预设位置，则返回步骤S201；若相机处于预设位置，则继续进行以下步骤S203至步骤S207。

步骤S203：获取并记录所述机器人当前的关节位姿作为拍照姿态。

步骤S204：获得所述图像标识在机器人基底坐标系中的位姿。

步骤S205根据所述图像标识在所述机器人基底坐标系中的位姿构建用户坐标系。

步骤S207：根据所述用户坐标系对机器人作业进行定位。

在一些应用场景中，外部服务器会根据照片的分析结果来判断相机是否处于预设位置，若判断结果为相机不处于预设位置，则重新控制相机对图像标识进行拍照，再一次执行步骤S201与S202，直到判断结果为相机处于预设位置。若相机处于预设位置，则继续执行步骤S203，获取并记录所述机器人当前的关节位姿作为拍照姿态。这时的机器人关节位姿可以仅包括机器人末端关节的位姿，也就是控制相机的关节的位姿，由于相机相对于关节是固定的，当控制相机的关节处于拍照姿态时，相机能正好处于距离图像标识上方一定距离处，能清晰的拍摄到图像标识；这时，机器人的其他关节位姿可以根据能使得控制相机的关节运动到拍照姿态进行自行调整，不做具体要求，只要能达成相机处于预设位置就能实现拍照。可选的，这时的关节位姿可以包括机器人所有关节的位姿，也就是获取并记录当前机器人的整个状态，因为在这个这状态下，机器人可以确定能控制相机处于预设位置进行拍摄。

在一些应用场景中，在记录下拍照位姿之后，可以根据关节位姿直接控制机器人运动到拍照姿态，也就是控制相机到运动到预设位置，这样就不存在相机无法拍摄到或是清晰的拍摄到图像标识，而需要机器人的控制人员重新调整机器人的各个关机位姿来进行重新拍照的情况，这时可以省略上述步骤S202中的判断过程以及S203的重新记录关节位姿作为拍照姿态的步骤。当然，如果保留上述S202以及S203两个步骤，可以将步骤S202判断过程作为一次确认，确认相机确定处于预设位置，而没有因为操作失误或是其他原因导致相机没有处于预设位置而对接下来的步骤造成影响，将步骤S203作为一次修正，若拍摄得到的图片品质更高，则重新记录现在的关节位姿作为拍照姿态。

在一些可选的实现方式中，其中，所述分析所述照片包括：判断所述照片中是否包括所述图像标识，得到第一判定结果；判断所述照片中的所述图像标识的所述非旋转对称的标志是否发生变形，得到第二判定结果；以及分析所述照片中的所述图像标识的对应像素点，得到第三判定结果；

所述判断所述相机是否处于预设位置包括：根据所述第一判定结果判断所述相机是否拍摄到所述图像标识；根据所述第二判定结果判断所述相机的前端面与所述图像标识是否平行；以及根据所述第三判定结果判断所述相机的前端面与所述图像标识之间的距离是否为预设值。若根据所述第一判定结果判断得到所述相机拍摄到所述图像标识，根据所述第二判定结果判断得到所述相机的前端面与所述图像标识平行，根据所述第三判定结果判断得到所述相机前端面与所述图像标识之间的距离为预设值，则判断所述相机处于预设位置。。

在一些应用场景中，外部服务器在分析照片时，需要对照片中是否包括图像标识，图像标识中的非旋转对称的标志在照片中是否以及对照片中图像标识的对应像素点分别进行分析和判断，并分别得到第一判定结果、第二判定结果与第三判定结果。其中，外部服务器根据第一判定结果可以判断相机是否能拍摄到该图像标识，可以对相机的位置有一个大概的判定。根据第二额判定结果可以判断相机的前端面是否与该图像标识平行，根据成像原理，只有在相机成像面与拍摄物相互平行时，才能保证拍摄得到的拍摄物不会发生变形。例如，如果识别到照片中图像标识的标志包括相互垂直的线条，该相互垂直的线条在照片中仍然垂直相交，那么就能判定相机前端面与图像标识之间相互平行；可选的，若图像标识中不包括直角，则根据图像标识上的图形内容进行分析内容的调整，通过其他分析方法来对相机前端面是否与图像标识之间平行进行判断。根据第三判定结果可以判断相机前端面与图像标识之间的距离是否为预设值，通过判断照片中图案的大小，也就是非旋转对称的标志的尺寸，就能根据相机的焦距、成像面到镜头的距离等已知的固定值，得知相机前端面与图像标识之间的实际具体距离，从而判断该实际距离与预设距离是否一致，从而判定相机是否处于相对于图像标识的预设位置。根据上述三个判断标准判断相机是否处于预设位置，若对照片的分析结果进行判断后，上述三个判断标准都满足，则判断得到相机处于预设位置。

在一些可选的实现方式中，若在判断照片中是否包含图像标识时，得到的第一判定结果为不包括图像标识，或者，在判断照片中的图像标识的非旋转对称的标志是否发生变形时，得到的第二判断结果为发生变形，或者，在分析照片中的图像标识的对应像素点，得到的第三判定结果中，相机前端面与图像标识之间的距离不符合预设值，则不再继续接下来的判断，而返回到步骤S201来重新进行拍照。

在一些可选的实现方式中，在根据分析得到的第一判定结果、第二判定结果与第三判定结果判断出相机没在预设位置拍照时，根据分析结果调整相机的位置，使得相机处于预设位置重新进行拍照。若拍摄到图像标识，但图像标识中的标志不垂直，则仅需将相机的前端面调节到与图像标识平行就能进行重新拍照。若拍摄到图像标识，且图像标识与相机前端面相互平行，但是根据分析，图像标识与相机前端面的距离不是预设值，根据比预设值大或是比预设值小，对相机进行平行的远离或是靠近图像标识方向对应移动相应的距离，就能进行重新拍照。

在一些可选的实现方式中，所述获得所述图像标识在机器人基底坐标系中的位姿，包括：获取所述相机在机器人基底坐标系中的位姿以及所述图像标识在相机坐标系中的位姿；根据所述相机在所述机器人基底坐标系中的位姿以及所述图像标识在相机坐标系中的位姿，得到所述图像标识在所述机器人基底坐标系中的位姿。

在一些应用场景中，外部服务器获得图像标识在机器人基底坐标系中的位姿的方法为，先获取相机在机器人基底坐标系中的位姿以及所述图像标识在相机坐标系中的位姿，再根据相机在所述机器人基底坐标系中的位姿以及所述图像标识在相机坐标系中的位姿，得到所述图像标识在所述机器人基底坐标系中的位姿。这是一个坐标换算的问题，在本实施例中，获得图像标识在基底坐标系中的位姿需要上述的相机在机器人基底坐标系中的位姿以及所述图像标识在相机坐标系中的位姿两个位姿，通过分析照片或是根据相机与图像标识之间的预设位置得到图像标识在相机坐标系中的位姿，由于相机在机器人基底坐标系中的位姿是已知值，通过换算可以得到图像标识在机器人基底坐标系中的位姿。

在一些可选的实现方式中，所述根据所述用户坐标系对机器人作业进行定位，包括：根据所述用户坐标系对所述机器人进行点位示教，得到在所述用户坐标系下的工作位点；存储所述工作位点；控制所述机器人移动到所述工作位点进行作业。

在一些应用场景中，外部控制***根据用户坐标系对机器人作业进行定位包括在设置于图像标识处的用户坐标系下进行工作点位的示教，并对得到的工作点位进行存储，这样在实际作业时就能根据存储的工作点位操作机器人运动到示教点位进行工作，无需操作人员重新进行定位，提高了工作效率。

第二方面，本发明实施例提供了一种用于机器人作业定位的外部控制***。

图5为本发明实施例提供的一种用于机器人作业定位的外部控制***的结构示意图，如图5所示，该外部控制***10包括图像处理模块12与通信模块14。该外部控制***可以是电子设备上的模块、程序段或代码。应理解，该外部控制***10与上述图2与图4方法实施例对应，能够执行图2与图4方法实施例涉及的各个步骤，该外部控制***10具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。

可选的，图像处理模块12用于获取包括图像标识的照片，并对该照片进行分析，判断相机是否位于预设位置，若相机位于预设位置，则获取并记录所述机器人当前的关节位姿作为拍照姿态。其中，所述照片进行分析包括：判断所述照片中是否包括所述图像标识，得到第一判定结果；判断所述照片中的所述图像标识的所述非旋转对称的标志是否发生变形，得到第二判定结果；以及分析所述照片中的所述图像标识的对应像素点，得到第三判定结果。所述判断相机是否位于预设位置包括：根据所述第一判定结果判断所述相机是否拍摄到所述图像标识；根据所述第二判定结果判断所述相机的前端面与所述图像标识是否平行；以及根据所述第三判定结果判断所述相机前端面与所述图像标识之间的距离是否为预设值，根据上述的判断标准判断相机是否处于预设位置，得到最终判断结果。

通信模块14用于与机器人控制***进行通信，通信模块14将控制机器人运动到拍照姿态的第一控制指令发送给所述机器人，第一控制指令控制机器人移动所述关节位姿至所述拍照姿态，除此之外，通信模块14还用于将控制机器人设置用户坐标系的第二控制指令发送给机器人，第二控制指令控制机器人根据图像标识设置用户坐标系。

可选的，该外部控制***10还包括存储模块(图中未示出)，该存储模块用于存储拍照姿态及示教得到的工作点位。

可选的，该外部控制***10还包括坐标系构建模块(图中未示出)，坐标系构建模块用于根据图像标识在所述机器人基底坐标系中的位姿构建用户坐标系。坐标系构建模块先获取相机在机器人基底坐标系中的位姿以及图像标识在相机坐标系中的位姿，再根据相机在所述机器人基底坐标系中的位姿以及图像标识在相机坐标系中的位姿，得到图像标识在所述机器人基底坐标系中的位姿，最后根据得到的图像标识在所述机器人基底坐标系中的位姿，完成对用户坐标系的构建。

可选的，该外部控制***10还包括定位单元(图中未示出)，该定位单元根据用户坐标系对机器人作业进行定位，包括：根据用户坐标系对机器人进行点位示教，得到工作位点；通过将工作位点发送给机器人控制***，控制机器人移动到工作位点进行作业。

上述外部***的所有模块之间具有数据连接线，相互之间能实现数据通信。

第三方面，本发明实施例提供了一种机器人控制***。

图6为本发明实施例提供的一种机器人控制***的结构示意图，如图6所示，该机器人控制***20包括外部通信模块21、指令执行模块23以及存储模块25。该机器人控制***20可以是电子设备上的模块、程序段或代码，该电子设备包括机器人。应理解，该机器人控制***20与上述外部控制***10的功能上相互对应，能配合外部控制***10完成图2与图4的方法实施例，并配合外部控制***10执行图2与图4方法实施例涉及的各个步骤，该机器人控制***20具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。

可选的，其中，外部通信模块21配置为与外部控制***进行通信，并接收来自上述外部控制***10的指令，该指令包括第一、第二控制指令以及工作位点数据和控制机器人移动到工作位点的指令的第三控制指令。

所述指令接收模块配置为执行控制指令，该控制指令包括外部通信模块21接收到的指令，其中，接收到的指令包括上述的第一、第二控制指令与第三控制指令，第一控制指令控制所述机器人运动到拍照姿态，第二控制指令控制所述机器人设置用户坐标系。

存储模块25配置为对根据所述用户坐标系对所述机器人进行点位示教得到的工作位点以及所述外部通信模块21收到的工作位点数据进行存储。

可选的，机器人控制***20还包括坐标系设置模块(图中未示出)，该坐标系设置模块用于设置用户坐标系，具体的，该坐标系设置模块用于将用户坐标系设置于图像标识处。坐标系设置模块获取到图像标识在机器人基底坐标系中的位姿之后，可以根据图像坐标系的位姿进行用户坐标系的设置。

可选的，所述机器人控制***20还包括位姿获取模块(图中未示出)，所述位姿获取模块用于获取相机、机器人各个关节与工具在机器人基底坐标系中的位姿，所述各个位姿可以通过所述外部通信模块发送给所述外部控制***。

第四方面，本发明实施例提供了一种用于机器人定位的定位模块。

图7为本发明实施例提供的一种用于机器人定位的定位模块的结构示意图；如图7所示，该定位模块30包括指示灯31、相机33、外部控制***10、第一控制按钮35以及第二控制按钮37。该定位模块30属于机器人控制***的一部分，用于机器人定位。应理解，该定位模块30与上述图2与图4方法实施例对应，能够执行图2与图4方法实施例涉及的各个步骤，该定位模块30具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。

可选的，定位模块30安装于所述机器人的作业端。相机33配置为对图像标识进行拍摄，并得到包括所述图像标识的照片；其中，外部控制***10为图6对应实施例中所示的外部控制***；第一控制按钮35配置为根据对其的操作控制所述相机进行拍摄，并触发设置用户坐标系指令；第二控制按钮37配置为根据对其的操作记录所述机器人的拍照位姿；指示灯31配置为对是否成功根据图像标识设置用户坐标系进行指示。可选的，所述指示包括：若所述设置成功，则指示灯闪烁一次绿色；若所述设置失败，则指示灯闪烁一次红色。

第五方面，本申请实施例提供一种电子设备。请参照图8，图8为本申请实施例提供的一种用于执行机器人作业的定位方法的电子设备的结构示意图，所述电子设备500可以包括：至少一个处理器501，例如CPU，至少一个通信接口502，至少一个存储器503和至少一个通信总线504。其中，通信总线504用于实现这些组件直接的连接通信。其中，本申请实施例中设备的通信接口502用于与其他节点设备进行信令或数据的通信。存储器503可以是高速RAM存储器，也可以是非易失性的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器503可选的还可以是至少一个位于远离前述处理器的存储装置。存储器503中存储有计算机可读取指令，当所述计算机可读取指令由所述处理器501执行时，电子设备可以执行上述图2与图4示方法过程。

可以理解，图8所示的结构仅为示意，所述电子设备还可包括比图8中所示更多或者更少的组件，或者具有与图8所示不同的配置。图8中所示的各组件可以采用硬件、软件或其组合实现。

第六方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，可以执行如本申请第一方面所提供的用于机器人作业的定位方法，和/或图2与图4示方法实施例中电子设备所执行的方法过程。

第七方面，本申请实施例提供一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如，该方法可以包括：控制所述机器人的作业端的相机对图像标识进行拍摄，获得包括所述图像标识的照片，所述图像标识设置于固定位置；分析所述照片，获得所述图像标识在机器人基底坐标系中的位姿；根据所述图像标识在所述机器人基底坐标系中的位姿构建用户坐标系；以及根据所述用户坐标系对机器人作业进行定位。

在本发明所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

需要说明的是，功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述仅为本发明的实施例而已，并不用于限制本发明的保护范围，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种用于机器人作业的定位方法，其特征在于，所述方法包括：

控制所述机器人的作业端的相机对图像标识进行拍摄，获得包括所述图像标识的照片，所述图像标识设置于固定位置；

分析所述照片，获得所述图像标识在机器人基底坐标系中的位姿；

根据所述图像标识在所述机器人基底坐标系中的位姿构建用户坐标系；以及

根据所述用户坐标系对机器人作业进行定位。

2.根据权利要求1所述的定位方法，其特征在于，在所述控制所述机器人的作业端的相机对图像标识进行拍摄之前，所述方法还包括：

控制所述机器人将所述相机移动到预设位置；

其中，所述预设位置位于所述图像标识上方的一定距离处。

3.根据权利要求1所述的定位方法，其特征在于，其中，所述图像标识包括非旋转对称的标志，所述固定位置包括机器人需要作业的工作台表面。

4.根据权利要求3所述的定位方法，其特征在于，在所述分析所述照片之后，所述方法还包括：判断所述相机是否处于预设位置；

若所述相机处于预设位置，则获取并记录所述机器人当前的关节位姿作为拍照姿态。

5.根据权利要求4所述的定位方法，其特征在于，

其中，所述分析所述照片包括：

判断所述照片中是否包括所述图像标识，得到第一判定结果；

判断所述照片中的所述图像标识的所述非旋转对称的标志是否发生变形，得到第二判定结果；以及

分析所述照片中的所述图像标识的对应像素点，得到第三判定结果；

所述判断所述相机是否处于预设位置包括：

根据所述第一判定结果判断所述相机是否拍摄到所述图像标识；

根据所述第二判定结果判断所述相机的前端面与所述图像标识是否平行；以及

根据所述第三判定结果判断所述相机的前端面与所述图像标识之间的距离是否为预设值；

若根据所述第一判定结果判断得到所述相机拍摄到所述图像标识，根据所述第二判定结果判断得到所述相机的前端面与所述图像标识平行，根据所述第三判定结果判断得到所述相机前端面与所述图像标识之间的距离为预设值，则判断所述相机处于预设位置。

6.根据权利要求1所述的定位方法，其特征在于，其中，所述获得所述图像标识在机器人基底坐标系中的位姿，包括：

获取所述相机在机器人基底坐标系中的位姿以及所述图像标识在相机坐标系中的位姿；以及

根据所述相机在所述机器人基底坐标系中的位姿以及所述图像标识在相机坐标系中的位姿，得到所述图像标识在所述机器人基底坐标系中的位姿。

7.根据权利要求1所述的定位方法，其特征在于，其中，所述根据所述用户坐标系对机器人作业进行定位，包括：

根据所述用户坐标系对所述机器人进行点位示教，得到在所述用户坐标系下的工作位点；

存储所述工作位点；

控制所述机器人移动到所述工作位点进行作业。

8.一种用于机器人作业定位的外部控制***，其特征在于，所述外部控制***包括：

图像处理模块，所述图像处理模块用于获取包括图像标识的照片，并对所述照片进行分析，判断相机是否位于预设位置，若所述相机位于预设位置，则获取并记录所述机器人当前的关节位姿作为拍照姿态；以及

通信模块，所述通信模块用于与机器人控制***进行通信，所述通信模块将控制所述机器人运动到所述拍照姿态的第一控制指令发送给所述机器人，所述第一控制指令控制所述机器人移动所述关节位姿至所述拍照姿态；

其中，所述通信模块还用于将控制所述机器人设置用户坐标系的第二控制指令发送给所述机器人，所述第二控制指令控制所述机器人根据所述图像标识设置用户坐标系。

9.一种机器人控制***，其特征在于，所述机器人控制***包括：

外部通信模块，所述外部通信模块配置为与外部控制***进行通信，并接收来自所述外部控制***的第一、第二控制指令；

指令执行模块，所述指令接收模块配置为执行所述第一、第二控制指令，所述第一控制指令控制所述机器人运动到拍照姿态，所述第二控制指令控制所述机器人设置用户坐标系；以及

存储模块，所述存储模块配置为对根据所述用户坐标系对所述机器人进行点位示教得到的工作位点进行存储。

10.一种用于机器人定位的定位模块，其特征在于，所述定位模块包括相机、外部控制***、第一控制按钮，第二控制按钮以及指示灯；所述定位模块安装于所述机器人的作业端；

所述相机配置为对图像标识进行拍摄，并得到包括所述图像标识的照片；

其中，所述外部控制***为权利要求8所述的外部控制***；

所述第一控制按钮配置为根据对其的操作控制所述相机进行拍摄，并触发设置用户坐标系指令；

所述第二控制按钮配置为根据对其的操作记录所述机器人的拍照位姿；

所述指示灯配置为对是否成功根据所述图像标识设置用户坐标系进行指示。

Images