CN117532585A - 手眼标定方法、装置、设备及存储介质 - Google Patents

Abstract

本申请提供一种手眼标定方法、装置、设备及存储介质，涉及机器人视觉技术领域，该方法包括：通过控制机械臂进行示教，获取标定图片和拍摄标定图片时对应的机械臂位姿；如果拍摄的相机安装在机械臂之外，标定板固定在机械臂末端；如果拍摄的相机安装在机械臂末端，标定板固定在机械臂之外；基于标定图片和机械臂位姿，在相机坐标系下计算标定板的中心正对相机的初始位姿；基于初始位姿，在标定板和相机相对旋转运动的预设空间位置区间生成多个拍摄位姿；若判定多个拍摄位姿满足预设标定精度数量，则基于多个拍摄位姿进行手眼标定。该半自动化手眼标定能够在更短的时间内完成标定任务，标定结果具有更好的稳定性和一致性，提高了手眼标定的成功率。

Description

手眼标定方法、装置、设备及存储介质

技术领域

本申请涉及机器人视觉技术领域，具体而言，涉及一种手眼标定方法、装置、设备及存储介质。

背景技术

机器人可以将传感器(例如相机)安装在固定位置，具有固定的位置(eye-to-hand)，这种方式被称为眼在手外，也可以将传感器安装在机器人的手上(即eye-in-hand)，这种方式被称为眼在手上。为了使机器人能够准确估计零件相对于其自身底座的三维位置和方向，需要知道机器手臂和其自身底座、相机和手臂以及相机与工件的相对位置和方向。这三项任务需要标定机器人、传感器和机器手臂对传感器(手眼)。标定传感器，对于搭载的传感器为相机而言，就是获取相机内参数、标定物(标定板)相对于相机坐标系的转换矩阵。

目前，一方面完全手动人工的手眼标定方法，需要一定的知识基础或者背景，同时人工操作需要同时操作相机采图、机械臂运动容易造成失误影响效率，也可能引入人工误差导致标定精度不够。另一方面全自动化手眼标定方法往往用在设备安装或者出厂后，由专业人员提前设置机械臂和相机的位置，而用户同样缺乏相应知识。综上两种，现有的标定方法主要适用人群是专业人员或者具有相关知识背景的用户，而当应用场景中出现需要非专业用户进行手眼标定时则会显得非常困难。

发明内容

有鉴于此，本申请实施例的目的在于提供一种手眼标定方法、装置、设备及存储介质，通过拖拽示教操作得到标定图片和机械臂位姿，在相机坐标系下计算一个标定板中心正对相机的初始位姿，以初始位姿为起始拍摄位姿，根据预设空间位置区间生成一定数量的拍摄姿态，当固定数量的拍摄姿态不足以满足标定需求时，可随机生成一定数量的补拍姿态，根据这些数据进行手眼标定，相较于工程师进行人工手眼标定，只需要简单的拖动示教操作便可以进行手眼标定，该半自动化手眼标定能够在更短的时间内完成标定任务，标定结果具有更好的稳定性和一致性，从而解决上述技术问题。

第一方面，本申请实施例提供一种手眼标定方法，所述方法包括：通过拖拽机械臂进行示教，获取标定图片和拍摄所述标定图片时对应的机械臂位姿；如果拍摄的相机安装在所述机械臂之外，标定板固定在所述机械臂末端；如果拍摄的相机安装在所述机械臂末端，标定板固定在所述机械臂之外；基于所述标定图片和所述机械臂位姿，在相机坐标系下计算所述标定板的中心正对所述相机的初始位姿；基于所述初始位姿，在标定板和相机相对旋转运动的预设空间位置区间生成多个拍摄位姿；若判定所述多个拍摄位姿满足预设标定精度数量，则基于所述多个拍摄位姿进行手眼标定。

在上述实现过程中，通过利用示教拍摄的标定图片和对应的机械臂位姿计算初始位姿，进一步生成一定数量的拍摄位姿进行手眼标定，相较于工程师进行人工手眼标定，只需要简单的拖动示教操作便可以进行手眼标定，该半自动化手眼标定能够在更短的时间内完成标定任务，标定结果具有更好的稳定性和一致性，提高了手眼标定的成功率。

可选地，所述通过用户拖拽机械臂进行示教，获取标定图片和拍摄所述标定图片时对应的机械臂位姿，包括：通过图形化界面引导用户拖拽机械臂进行示教，并拍摄对应机械臂位姿下的标定图片；采用目标检测算法检测所述标定图片中的标定对象图像区域；判断所述标定对象图像区域是否位于所述标定图片中的指定位置；若所述标定对象区域位于所述标定图片中的指定位置，则保存所述标定图片和对应的机械臂位姿。

在上述实现过程中，通过目标检测算法检测标定图片是否有效可用，并对应保存机械臂位姿和对应的标定图片，提高了标定的效率和准确率。

可选地，所述基于所述标定图片和所述机械臂位姿，在相机坐标系下计算所述标定板中心正对所述相机的初始位姿，包括：基于所述标定图片和所述机械臂位姿，在相机坐标系下计算标定板的平均姿态；基于所述标定图片和所述机械臂位姿，在相机坐标系下计算标定板的中心点位置，并构建标定板相对相机的移动平面；将相机原点投影到所述标定板移动平面，获得标定板正对相机的初始位置；基于所述初始位置和所述平均姿态，确定所述标定板中心正对所述相机的初始位姿。

在上述实现过程中，通过分别计算相机坐标系下标定板的平均姿态、中心点位置构建标定板相对相机的移动平面，确定标定板正对相机的初始位置、初始位姿，提高了标定效率和准确率。

可选地，所述基于所述标定图片和所述机械臂位姿，在相机坐标系下计算标定板的平均姿态，包括：基于所述标定图片和所述机械臂位姿中的多组数据，求解初步标定结果；其中，如果相机安装在机械臂之外，所述初步标定结果为：机械臂基座坐标系到相机坐标系的转换矩阵；如果相机安装在机械臂末端，所述初步标定结果为：机械臂末端坐标系到相机坐标系的转换矩阵；基于所述初步标定结果，计算标定板与机械臂的转换关系；其中，如果相机安装在机械臂之外，所述标定板与机械臂的转换关系为：标定板到机械臂末端法兰的转换关系；如果相机安装在机械臂末端，所述标定板与机械臂的转换关系为：标定板到机械臂基座的转换关系；在所述相机坐标系下，基于所述多组数据和相机内参计算多组标定板和相机的转换关系；基于所述多组标定板和相机的转换关系，计算标定板在相机坐标系下的平均姿态；基于所述标定板与机械臂的转换关系和所述平均姿态，计算标定板在相机下的目标位姿；其中，所述目标位姿为：所述标定板根据机械臂运动在预设空间对应发生运动产生的位姿。

在上述实现过程中，通过在相机坐标系下利用多组标定图片和机械臂位姿计算标定板的平均姿态，便于后续确定标定板中心正对相机的位姿，还可根据平均姿态计算想要的标定板在相机下的任意目标位姿，提高了标定的准确率和灵活性。

可选地，所述基于所述标定图片和所述机械臂位姿，在相机坐标系下计算标定板的中心点位置，并构建标定板相对相机的移动平面，包括：基于所述标定图片和所述机械臂位姿，计算每个所述机械臂位姿下标定板角点的均值，并将所述均值作为标定板中心点；基于所述多组标定板和相机的转换关系，计算多个所述标定板中心点在相机坐标系下的中心点位置；根据所述中心点位置、所述相机坐标系的X轴和Y轴，构建标定板相对相机的移动平面。

在上述实现过程中，通过在相机坐标系下利用多组标定图片和机械臂位姿计算标定板的中心点位置，便于后续确定标定板中心正对相机的位姿，提高了标定的准确率。

可选地，在所述基于所述初始位姿，在标定板和相机相对旋转运动的预设空间位置区间生成多个拍摄位姿之后，所述方法还包括：若所述多个拍摄位姿不满足预设标定精度数量，则基于所述初始位姿，在标定板和相机相对旋转运动的随机空间位置区间生成多个补拍位姿；判断所述多个拍摄位姿和所述多个补拍位姿的总数量是否满足预设标定精度数量；若所述总数量满足预设标定精度数量，则基于所述多个拍摄位姿和所述多个补拍位姿进行手眼标定。

在上述实现过程中，通过随机生成补拍位姿的方式，弥补了固定区间生成拍摄位姿数量、精度上的不足，由于采样的存在可以减少固定区间生成拍摄位姿中区间范围变大、间隔变小的效率底下问题，提高了标定的成功率和精度要求。

可选地，所述基于所述初始位姿，在标定板和相机相对旋转运动的随机空间位置区间生成多个补拍位姿之后，还包括：判断所述多个补拍位姿是否受限于机械臂的硬件约束无法执行；若所述多个补拍位姿受限，则丢弃对应补拍位姿；若所述多个补拍位姿不受限，则保存对应补拍位姿。

在上述实现过程中，通过在随机生成补拍位姿的过程中判断机械臂是否受限于机械臂的硬件约束不能执行，进而决定是否丢弃或者保存对应补拍位姿，提高了补拍位姿获取的有效性、标定的准确率。

第二方面，本申请实施例提供了一种手眼标定装置，所述装置包括：示教模块，用于通过拖拽机械臂进行示教，获取标定图片和拍摄所述标定图片时对应的机械臂位姿；其中，如果拍摄的相机安装在所述机械臂之外，标定板固定在所述机械臂末端，如果拍摄的相机安装在所述机械臂末端，标定板固定在所述机械臂之外；初始位姿计算模块，用于基于所述标定图片和所述机械臂位姿，在相机坐标系下计算所述标定板的中心正对所述相机的初始位姿；拍摄位姿生成模块，用于基于所述初始位姿，在标定板和相机相对旋转运动的预设空间位置区间生成多个拍摄位姿；手眼标定模块，用于若判定所述多个拍摄位姿满足预设标定精度数量，则基于所述多个拍摄位姿进行手眼标定。

第三方面，本申请实施例还提供一种电子设备，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述机器可读指令被所述处理器执行时执行上述的方法的步骤。

第四方面，本申请实施例提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的方法的步骤。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种手眼标定方法的流程图；

图2为本申请实施例提供的一种手眼标定方法的示教流程；

图3为本申请实施例提供的一种手眼标定方法的初始位姿计算流程；

图4为本申请实施例提供的手眼标定装置的功能模块示意图；

图5为本申请实施例提供手眼标定装置的电子设备的方框示意图。

图标：210-示教模块；220-初始位姿计算模块；230-拍摄位姿生成模块；240-手眼标定模块；300-电子设备；311-存储器；312-存储控制器；313-处理器；314-外设接口；315-输入输出单元；316-显示单元。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在介绍本申请实施例前，首先对涉及的几个技术概念作简要介绍。

机器人标定：机器人可以将传感器(相机)安装在固定位置，具有固定的位置(eye-to-hand)，这种方式被称为眼在手外，也可以将传感器安装在机器人的手上(eye-to-hand)，这种方式被称为眼在手上。为了使机器人能够准确估计零件相对于其自身底座的三维位置和方向，需要知道机器手臂和其自身底座、相机和手臂以及相机与工件的相对位置和方向。这三项任务需要校准机器人、传感器和机器手臂对传感器(手眼)。校准机器人主要是对机器人运动学参数进行标定，基于机器人误差模型获取机器人运动学参数误差，将误差补偿到原有名义参数上达到机器人标定的目的。校准传感器对于搭载的传感器为相机而言就是获取相机内参数、标定物(标定板)相对于相机坐标系的转换矩阵。校准机器手臂与传感器即我们所谓的手眼关系标定，主要是确定机器人末端和传感器之间的关系。

本申请发明人注意到，一方面完全手动人工的手眼标定方法，需要一定的知识基础或者背景，同时人工操作需要操作相机采图、机械臂运动，容易造成失误影响效率，也可能引入人工误差导致标定精度不够。另一方面自动化手眼标定方法往往用在设备安装或者出厂后，由专业人员提前设置机械臂和相机的位置，而用户同样缺乏相应知识。综上两种，现有的标定方法主要适用人群是专业人员或者具有相关知识背景的用户，而当应用场景中出现需要非专业用户进行手眼标定时，则会显得非常困难。应用场景中当用户会自由地移动机械臂与相机的位置，则手眼标定需要由用户完成。因此，有鉴于此，需要有一套由用户能简单操作的手眼标定方法。基于此目标需要解决的问题：(1)易于用户操作、避免给非专业用户使用造成负担；(2)保证标定过程机械臂的位置尽可能地可以到达且能拍摄到标定板；(3)保证标定结果是可靠的。具体地，本申请实施例提供了一种如下介绍的一种手眼标定方法、装置、设备及存储介质。

请参阅图1，图1为本申请实施例提供的一种手眼标定方法的流程图。下面对本申请实施例作详细介绍。该方法包括：步骤100、步骤120、步骤140和步骤160。

步骤100：通过控制机械臂进行示教，获取标定图片和拍摄标定图片时对应的机械臂位姿；其中，如果拍摄的相机安装在机械臂之外，标定板固定在机械臂末端；如果拍摄的相机安装在机械臂末端，标定板固定在机械臂之外；

步骤120：基于标定图片和机械臂位姿，在相机坐标系下计算标定板的中心正对相机的初始位姿；

步骤140：基于初始位姿，在标定板和相机相对旋转运动的预设空间位置区间生成多个拍摄位姿；

步骤160：若判定多个拍摄位姿满足预设标定精度数量，则基于多个拍摄位姿进行手眼标定。

示例性地，标定图片可以是：将相机固定安装在距离机器人机械臂一定距离的位置，标定板固定在机械臂末端，通过改变相机摄像头的视角来获取标定图像(即eye-to-hand)或者，相机可以安装在机械臂末端，标定板固定在距离机器人机械臂一定距离的位置，通过移动机械臂采集不同的标定板图像(eye-in-hand)。具体使用相机拍摄不同机械臂姿态下的包含标定板在内的标定图片n张，n一般大于3；也即适用场景除了可以是“眼在手外”的方式：标定板固定在机械臂末端，拍摄的相机安装在机械臂之外；还可以是“眼在手上”的方式：标定板安装在机械臂之外，拍摄的相机固定在机械臂末端。初始位姿可以是：通过使用相机拍摄不同机械臂姿态下的标定图片和对应的机械臂位姿，可以利用手眼标定方程AX＝XB。式中，A表示相机与标定板的关系，B表示机械臂末端与基座的关系；眼在手外方式中，X表示相机与机械臂基座的相对关系；眼在手上方式中，X表示相机与机械臂末端的相对关系。

可选地，利用YOLO目标检测模型和软件解析界面导引用户进行拖拽示教操作并进行标定图片的拍摄，得到标定图片和机械臂位姿，同时，还可以使用“人工预设位姿、人工手动牵引、人工通过控制器引导”等多种方式控制机械臂进行示教；不同姿态下拍摄图片时，机械臂位置和姿态会有一个输出，这个位置和姿态输出是以矩阵的形式表示的。其具体可以是以机械臂的各个连杆和关节变量(角度)的行程，按照求机器人运动学正解得出。本申请实施例使用的手眼标定方式包括眼在手外和眼在手上的方式。

对于眼在手外的方式：相机固定在机械臂以外的地方，主要标定相机和基底坐标系的转换矩阵。对每张标定图片可知，相机和基底坐标系的转换矩阵可表示为：

其中，为相机到标定板的转换矩阵，可通过拍摄的标定图片直接求解，为机械臂末端到基底的转换矩阵，可由机械臂末端位姿参数求得，/>为标定板到机械臂末端的转换矩阵，未知量，每组标定图片，该转换矩阵都相同。

对于眼在手上的方式：相机固定在机械臂末端，主要标定相机和机械臂末端坐标系的转换矩阵。对每张标定图片可知，相机和机械臂末端的转换矩阵可表示为：

其中，为相机到标定板的转换矩阵，可通过拍摄的标定图片直接求解，为机械臂末端到基底的转换矩阵，可由机械臂末端位姿参数求得，/>为标定板到机械臂基座的转换矩阵，未知量，每组标定图片，该转换矩阵都相同。

基于上述原理，为了获得标定结果，需要拍摄多组不同位姿的标定图片。在相机坐标系下计算一个标定板中心正对相机的初始位姿，以初始位姿为起始拍摄位姿，根据预设空间位置区间生成一定数量的拍摄姿态，根据这些不同姿态得到的标定图片进行手眼标定。其中，根据预设空间位置区间生成一定数量拍摄姿态的具体方式可以是：在正对初始位姿的基础上，按照一定的区间生成Δx,Δy,Δz,Δrx,Δry,Δrz，从而生成一定数量的拍摄位姿，其中，Δx,Δy,Δz是针对标定板中心点的中心(x,y,z)的偏移量(或者称为位移量)，Δrx,Δry,Δrz,是针对标定板中心点的中心(x,y,z)的旋转偏移角度。例如：给定X的范围-2mm～2mm，间隔为1mm确定预设空间位置区间，则可获得Δx∈[-2,-1,0,1,2]；Δy,Δz,Δrx,Δry,Δrz可以由相同的方法获得。遍历所有Δx,Δy,Δz,Δrx,Δry,Δrz即可获得一个空间内的所有拍摄位姿，常规情况下，手眼标定需要约20～100组位姿数据以产生稳定准确的结果。上述拍摄策略由于标定板相对相机的旋转运动在预定的空间内，标定板在拍摄的图片画面内一定清晰可见，可以生成可控数量的拍摄位姿。

通过利用示教拍摄的标定图片和对应的机械臂位姿计算初始位姿，进一步生成一定数量的拍摄位姿进行手眼标定，相较于工程师进行人工手眼标定，只需要简单的拖动示教操作便可以进行手眼标定，该半自动化手眼标定能够在更短的时间内完成标定任务，标定结果具有更好的稳定性和一致性，提高了手眼标定的成功率。

在一个实施例中，步骤100可以包括：步骤101、步骤102、步骤103和步骤104。

步骤101：通过图形化界面引导用户拖拽机械臂进行示教，并拍摄对应机械臂位姿下的标定图片；

步骤102：采用目标检测算法检测标定图片中的标定对象图像区域；

步骤103：判断标定对象图像区域是否位于标定图片中的指定位置；

步骤104：若标定对象区域位于标定图片中的指定位置，则保存标定图片和对应的机械臂位姿。

示例性地，标定对象图像区域可以是：用于标定的标定物或标定板中的目标对象，对象可以具体是标定物或标定板中的玻璃圆点、棋盘格、二维码等。可选地，如图2所示，标定板以棋盘格为例，可由图形化界面引导用户拖拽机械臂进行示教操作，可通过YOLO对象检测模型计算标定板在画面中的位置，例如可通过cv::findChessboardCorners的目标检测算法检测标定图片中的棋盘格是否可以用于标定，保证采集图片的有效性，引导用户往指定的区域移动，该findChessboardCorners的目标检测算法会直接输出一个true或者false的结果，true输出及代表标定图片可用，如果没有检测到有效的目标(棋盘格)，则回到上一步重新进行示教。

具体地，使用目标检测算法检测标定图片的过程可以是：findChessboardCorners，此函数试图确定输入图片是否有棋盘图案，并定位棋盘板上的内角点，如果没有棋盘格图案，回到第一步重新进行示教。如果棋盘格所有的角点被找到且以一定的顺序排列(一行接一行，从一行的左边到右边)，则表示在指定位置，该函数会返回一个非零值(true)；另外，如果该函数没有找到所有的角点或者重新排列他们，则表示不在指定位置，该函数会返回0(false)，并回到第一步重新示教。findChessboardCorners目标检测算法涉及的参数包括：image表示输入原始的棋盘板图像，该图像必须是一张8位的灰度图或色彩图；patternSize:(w,h)表示棋盘上每一排和每一列的内角数，w＝棋盘板一行上黑白块的数量-1，h＝棋盘板一列上黑白块的数量-1。例如：10×6的棋盘板，则(w,h)＝(9,5)；corners:array，表示检测到的角点的输出数组；flags:int,不同的操作标记，可为0或者下述值的组合：CALIB_CB_ADAPTIVE_THRESH表示使用自适应阈值法把图像转换为黑白图，而不是使用一个固定的阈值；CALIB_CB_NORMALIZE_IMAGE表示在利用固定阈值或自适应阈值法二值化图像之前，利用直方图均衡化图像；CALIB_CB_FILTER_QUADS使用额外的标准(如轮廓面积，周长，正方形形状)过滤在轮廓检索阶段提取的假四边形；CALIB_CB_FAST_CHECK表示对图像运行一个快速检查机制以查找棋盘板的角点，如果没有找到角点则返回一个快捷提醒。当没有观察到棋盘格时，可以极大地加快在退化条件下的调用。

通过目标检测算法检测标定图片是否有效可用，并对应保存机械臂位姿和对应的标定图片，提高了标定的效率和准确率。

在一个实施例中，步骤120可以包括：步骤121、步骤122、步骤123和步骤124。

步骤121：基于标定图片和机械臂位姿，在相机坐标系下计算标定板的平均姿态；

步骤122：基于标定图片和机械臂位姿，在相机坐标系下计算标定板的中心点位置，并构建标定板相对相机的移动平面；

步骤123：将相机原点投影到标定板移动平面，获得标定板正对相机的初始位置；

步骤124：基于初始位置和平均姿态，确定标定板中心正对相机的初始位姿。

示例性地，如图3所示，示出了一种初始位置计算示例流程，用户进行拖拽示教操作并进行标定图片的拍摄，得到多张标定图片和机械臂位姿；在不同的拍摄位姿下，标定图片机械臂位置和姿态均会有一个输出，并以矩阵的形式表示这个输出的位置和姿态；通过这些位置和姿态，可利用solvePnP算法基于相机和基底坐标系的转换矩阵关系计算出标定板的平均姿态、中心点位置坐标，进一步构建标定板相对相机的移动平面。具体地，solvePnP里有三种解法：P3P，EPnP，迭代法(默认)。一般，solvePnP需要至少3组位姿数据：P3P只使用4组位姿，3组求出多个解，第四组确定最优解；EPnP则需要使用大于等于3组位姿；迭代法调用cvFindExtrinsicCameraParams2，进而使用SVD分解并调用cvFindHomography，而cvFindHomography需要至少4组位姿。计算出标定板位姿后，可以利用中心点位置和相机的X轴、Y轴共同构建一个二维平面，将相机原点投影到该二维平面上，获得标定板相对相机的移动平面，将相机原点投影到标定板移动平面，进而获取到标定板正对相机时的位置；同时，可根据相机坐标系的Z轴分量和平均姿态的X轴、Y轴构建一个旋转较小的姿态；以上述位置和平均姿态作为标定板中心正对相机时的初始位姿。通过分别计算相机坐标系下标定板的平均姿态、中心点位置构建标定板相对相机的移动平面，确定标定板正对相机的初始位置、初始位姿，提高了标定效率和准确率。

在一个实施例中，步骤121可以包括：步骤1211、步骤1212、步骤1213和步骤1214。

步骤1211：基于标定图片和机械臂位姿中的多组数据，求解初步标定结果；其中，如果相机安装在机械臂之外，初步标定结果为：机械臂基座坐标系到相机坐标系的转换矩阵；如果相机安装在机械臂末端，初步标定结果为：机械臂末端坐标系到相机坐标系的转换矩阵；

步骤1212：基于初步标定结果，计算标定板与机械臂的转换关系；其中，如果相机安装在机械臂之外，所述标定板与机械臂的转换关系为：计算标定板到机械臂末端法兰的转换关系；如果相机安装在机械臂末端，所述标定板与机械臂的转换关系为：计算标定板到机械臂基座的转换关系；步骤1213：在相机坐标系下，基于多组数据和相机内参计算多组标定板和相机的转换关系；

步骤1214：基于多组标定板和相机的转换关系，计算标定板在相机坐标系下的平均姿态。

示例性地，相机内参可以包括：相机之间的位置关系、相机内参、相机畸变等；其中相机内参可包含有相机中心点的实际标定位置以及像素点的长款比例值以及其他参数；相机之间的位置关系可包括本质矩阵和基础矩阵，基础矩阵可表示双目相机中一相机中的像素点P由于深度信息的缺失只能对应到另一相机的一条直线上的约束，本质矩阵可表示带有相机内参的基础矩阵。

可选地，如图3所示，基于这些位置和姿态，可利用solvePnP算法基于相机和基底坐标系的转换矩阵关系计算出标定板的平均姿态。可拍摄四张可以看到标定板的图片并记录下对应的机械臂笛卡尔位姿，根据标定图片和机械臂位姿，利用OpenCV中calibrateHandEye计算一个粗略的初步手眼标定结果。手眼标定的准确度的会随着数据量的提高而提高，为了不给用户造成负担，四个位置可得出一个粗略的初步标定结果。利用粗略的初步标定结果，根据不同的手眼标定方式计算标定板与机械臂的转换关系。

如果采用眼在手外方式，则计算标定板和机械臂末端的转换关系： 表示法兰和底座的转换矩阵，/>表示相机和底座的手眼标定转换矩阵，/>表示相机到标定板的转换矩阵；同时，在相机坐标系下，根据相机的内参计算出相机坐标系下四个标定板和相机的转换关系：计算标定板在相机坐标系下的平均姿态为：

如果采用眼在手上方式，则计算标定板和机械臂基座的转换关系： 表示法兰和底座的转换矩阵，/>表示相机和机械臂基座的手眼标定转换矩阵，/>表示相机到标定板的转换矩阵；同时，在相机坐标系下，根据相机的内参计算出相机坐标系下四个标定板和相机的转换关系：计算标定板在相机坐标系下的平均姿态为：

在计算完标定板在相机下的平均姿态后，得到的其实是下面式子中的然后可以进一步计算标定板在相机下任意想要的位姿。如果希望标定板在预设空间发生运动，那么机械臂应该怎么运动，可根据下面的/>确定。

如果采用眼在手外的方式：先确定标定板和末端法兰的关系(标定板到机械臂末端法兰的转换关系)：假设标定板的运动表示为：T_{board_move}，那么新的法兰与底座的关系可表示为：基座根据/>进行运动，调整法兰，可以得到想要的标定板在相机下的目标位姿。

如果采用眼在手上的方式：先确定标定板和机械臂基座的关系(标定板到机械臂基座的转换关系)：假设标定板的运动表示为：T_{board_move}，那么新的法兰与底座的关系可表示为：基座根据/>进行运动，调整法兰，可以得到想要的标定板在相机下的目标位姿。

通过在相机坐标系下利用多组标定图片和机械臂位姿计算标定板的平均姿态，便于后续确定标定板中心正对相机的位姿，还可根据平均姿态计算想要的标定板在相机下的任意目标位姿，提高了标定的准确率和灵活性。

在一个实施例中，步骤122可以包括：步骤1221、步骤1222和步骤1223。

步骤1221：基于标定图片和机械臂位姿，计算每个机械臂位姿下标定板的均值，并将均值作为标定板中心点；

步骤1222：基于多组标定板和相机的转换关系，计算多个标定板中心点在相机坐标系下的中心点位置；

步骤1223：根据中心点位置、相机坐标系的X轴和Y轴，构建标定板相对相机的移动平面。

示例性地，如图3所示，基于这些位置和姿态，可利用solvePnP算法基于相机和基底坐标系的转换矩阵关系计算出标定板的中心点位置。可选地，在相机坐标系下，根据相机的内参，计算出相机坐标系下四个标定板和相机的转换关系：根据标定板角点的理论坐标位置，以每个位姿下所有标定板角点理论坐标位置的均值作为标定板的中心点，计算四个标定板中心点在相机坐标系下的位置，并计算四个中心点的中心(x,y,z)，作为最终的中心点位置，以该中心点位置和相机X轴、Y轴构建一个二维平面，获得标定板相对相机的移动平面。

通过在相机坐标系下利用多组标定图片和机械臂位姿计算标定板的中心点位置，便于后续确定标定板中心正对相机的位姿，提高了标定的准确率。

在一个实施例中，步骤140之后，还包括：步骤141、步骤142和步骤143。

步骤141：若多个拍摄位姿不满足预设标定精度数量，则基于初始位姿，在标定板和相机相对旋转运动的随机空间位置区间生成多个补拍位姿；

步骤142：判断多个拍摄位姿和多个补拍位姿的总数量是否满足预设标定精度数量；

步骤143：若总数量满足预设标定精度数量，则基于多个拍摄位姿和多个补拍位姿进行手眼标定。

示例性地，常规情况下，手眼标定需要约20～100组位姿数据以产生稳定准确的结果，若多个拍摄位姿不满足预设标定精度数量，在正对初始位姿的基础上，可按照一定的区间(随机空间位置区间)随机生成Δx,Δy,Δz,Δrx,Δry,Δrz等随机位姿。采用生成拍摄位姿相同的方式生成Δx,Δy,Δz,Δrx,Δry,Δrz的数组，不同的是区间范围、间隔都是随机而不固定的，从而随机地采样出一个Δx,Δy,Δz,Δrx,Δry,Δrz位姿数据，当多个拍摄位姿和多个补拍位姿的总数量到达指定数量后便可进行标定。因此，可先给定指定数量的拍摄目标，采用小范围区间和间隔的预设空间位置区间进行拍照(正常拍摄姿态)，不足的数量由随机生成的补拍姿态补足，使得在理想情况下可以通过正常拍摄的方式获取到所有需要的数据，如果不足则通过随机生成的方式获取一定数量的随机数据，保证***的整体运行的稳定性和精度要求。固定的拍摄位姿能够满足较高水准的手眼标定，补拍位姿的策略满足了在极端条件下，标定流程的稳定运行，两种策略的结合可以提高手眼标定的成功率和精度要求。

通过随机生成补拍位姿的方式，弥补了固定区间生成拍摄位姿数量、精度上的不足，由于采样的存在可以减少固定区间生成拍摄位姿中区间范围变大、间隔变小的效率底下问题，提高了标定的成功率和精度要求。

在一个实施例中，步骤141之后还可以包括：步骤1411、步骤1412和步骤1413。

步骤1411：判断多个补拍位姿是否受限于机械臂的硬件约束无法执行；

步骤1412：若多个补拍位姿受限，则丢弃对应补拍位姿；

步骤1413：若多个补拍位姿不受限，则保存对应补拍位姿。

示例性地，由于采用固定区间生成拍摄位姿的方式可以生成可控数量的拍摄位姿，但受限于机械臂的硬件约束有部分的空间位置可能无法到达，从而用于标定的数据数量实际可能无法满足，而如果放大范围、减小间隔则使得拍照数量会出现剧增，影响标定效率。若多个拍摄位姿不满足预设标定精度数量，在标定板和相机相对旋转运动生成初始位姿的基础上，可按照一定的区间随机生成Δx,Δy,Δz,Δrx,Δry,Δrz等随机位姿，由机械臂判断该位姿是否可以执行，如受限于机械臂的硬件约束不能执行再依照该方法生成新的姿态，可执行就可以保存对应的补拍姿态和标定图片作为标定数据。

通过在随机生成补拍位姿的过程中判断机械臂是否受限于机械臂的硬件约束不能执行，进而决定是否丢弃或者保存对应补拍位姿，提高了补拍位姿获取的有效性、标定的准确率。

请参阅图4，图4为本申请实施例提供的一种手眼标定装置的功能模块示意图。该装置包括：示教模块210、初始位姿计算模块220、拍摄位姿生成模块230和手眼标定模块240。

示教模块210，用于通过拖拽机械臂进行示教，获取标定图片和拍摄所述标定图片时对应的机械臂位姿；其中，标定板固定在所述机械臂末端，拍摄的相机安装在所述机械臂之外；

初始位姿计算模块220，用于基于所述标定图片和所述机械臂位姿，在相机坐标系下计算所述标定板的中心正对所述相机的初始位姿；

拍摄位姿生成模块230，用于基于所述初始位姿，在标定板和相机相对旋转运动的预设空间位置区间生成多个拍摄位姿；

手眼标定模块240，用于若判定所述多个拍摄位姿满足预设标定精度数量，则基于所述多个拍摄位姿进行手眼标定。

可选地，示教模块210可以用于：

通过图形化界面引导用户拖拽机械臂进行示教，并拍摄对应机械臂位姿下的标定图片；

采用目标检测算法检测所述标定图片中的标定对象图像区域；

判断所述标定对象图像区域是否位于所述标定图片中的指定位置；

若所述标定对象区域位于所述标定图片中的指定位置，则保存所述标定图片和对应的机械臂位姿。

可选地，初始位姿计算模块220可以用于：

基于所述标定图片和所述机械臂位姿，在相机坐标系下计算标定板的平均姿态；

基于所述标定图片和所述机械臂位姿，在相机坐标系下计算标定板的中心点位置，并构建标定板相对相机的移动平面；

将相机原点投影到所述标定板移动平面，获得标定板正对相机的初始位置；

基于所述初始位置和所述平均姿态，确定所述标定板中心正对所述相机的初始位姿。

可选地，初始位姿计算模块220可以用于：

基于所述标定图片和所述机械臂位姿中的多组数据，求解初步标定结果；其中，如果相机安装在机械臂之外，所述初步标定结果为：机械臂基座坐标系到相机坐标系的转换矩阵；如果相机安装在机械臂末端，所述初步标定结果为：机械臂末端坐标系到相机坐标系的转换矩阵；

基于所述初步标定结果，计算标定板与机械臂的转换关系；其中，如果相机安装在机械臂之外，所述标定板与机械臂的转换关系为：标定板到机械臂末端法兰的转换关系；如果相机安装在机械臂末端，所述标定板与机械臂的转换关系为：标定板到机械臂基座的转换关系；

在所述相机坐标系下，基于所述多组数据和相机内参计算多组标定板和相机的转换关系；

基于所述多组标定板和相机的转换关系，计算标定板在相机坐标系下的平均姿态；

基于所述标定板与机械臂的转换关系和所述平均姿态，计算标定板在相机下的目标位姿；其中，所述目标位姿为：所述标定板根据机械臂运动在预设空间对应发生运动产生的位姿。

可选地，初始位姿计算模块220可以用于：

基于所述标定图片和所述机械臂位姿，计算每个所述机械臂位姿下标定板角点的均值，并将所述均值作为标定板中心点；

基于所述多组标定板和相机的转换关系，计算多个所述标定板中心点在相机坐标系下的中心点位置；

根据所述中心点位置、所述相机坐标系的X轴和Y轴，构建标定板相对相机的移动平面。

可选地，拍摄位姿生成模块230可以用于：

若所述多个拍摄位姿不满足预设标定精度数量，则基于所述初始位姿，在标定板相对相机旋转运动的随机空间位置区间生成多个补拍位姿；

判断所述多个拍摄位姿和所述多个补拍位姿的总数量是否满足预设标定精度数量；

若所述总数量满足预设标定精度数量，则基于所述多个拍摄位姿和所述多个补拍位姿进行手眼标定。

可选地，拍摄位姿生成模块230可以用于：

判断所述多个补拍位姿是否受限于机械臂的硬件约束无法执行；

若所述多个补拍位姿受限，则丢弃对应补拍位姿；

若所述多个补拍位姿不受限，则保存对应补拍位姿。

请参阅图4，图4是电子设备的方框示意图。电子设备300可以包括存储器311、存储控制器312、处理器313、外设接口314、输入输出单元315、显示单元316。本领域普通技术人员可以理解，图4所示的结构仅为示意，其并不对电子设备300的结构造成限定。例如，电子设备300还可包括比图4中所示更多或者更少的组件，或者具有与图4所示不同的配置。

上述的存储器311、存储控制器312、处理器313、外设接口314、输入输出单元315、显示单元316各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。上述的处理器313用于执行存储器中存储的可执行模块。

其中，存储器311可以是，但不限于，随机存取存储器(Random Access Memory，简称RAM)，只读存储器(Read Only Memory，简称ROM)，可编程只读存储器(ProgrammableRead-Only Memory，简称PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，简称EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory，简称EEPROM)等。其中，存储器311用于存储程序，所述处理器313在接收到执行指令后，执行所述程序，本申请实施例任一实施例揭示的过程定义的电子设备300所执行的方法可以应用于处理器313中，或者由处理器313实现。

上述的处理器313可能是一种集成电路芯片，具有信号的处理能力。上述的处理器313可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(digital signalprocessor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

上述的外设接口314将各种输入/输出装置耦合至处理器313以及存储器311。在一些实施例中，外设接口314，处理器313以及存储控制器312可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。

上述的输入输出单元315用于提供给用户输入数据。所述输入输出单元315可以是，但不限于，鼠标和键盘等。

上述的显示单元316在电子设备300与用户之间提供一个交互界面(例如用户操作界面)给用户参考。在本实施例中，所述显示单元316可以是液晶显示器或触控显示器。液晶显示器或触控显示器可以对处理器执行所述程序的过程进行显示。

本实施例中的电子设备300可以用于执行本申请实施例提供的各个方法中的各个步骤。

此外，本申请实施例还提供一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中的步骤。

本申请实施例所提供的上述方法的计算机程序产品，包括存储了程序代码的存储介质，所述程序代码包括的指令可用于执行上述方法实施例中的步骤，具体可参见上述方法实施例，在此不再赘述。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。在本申请实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

需要说明的是，功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种手眼标定方法，其特征在于，所述方法包括：

通过控制机械臂进行示教，获取标定图片和拍摄所述标定图片时对应的机械臂位姿；其中，如果拍摄的相机安装在所述机械臂之外，标定板固定在所述机械臂末端；如果拍摄的相机安装在所述机械臂末端，标定板固定在所述机械臂之外；

基于所述标定图片和所述机械臂位姿，在相机坐标系下计算所述标定板的中心正对所述相机的初始位姿；

基于所述初始位姿，在所述标定板和相机相对旋转运动的预设空间位置区间生成多个拍摄位姿；

若判定所述多个拍摄位姿满足预设标定精度数量，则基于所述多个拍摄位姿进行手眼标定。

2.根据权利要求1所述的方法，其特征在于，所述通过用户拖拽机械臂进行示教，获取标定图片和拍摄所述标定图片时对应的机械臂位姿，包括：

通过图形化界面引导用户拖拽机械臂进行示教，并拍摄对应机械臂位姿下的标定图片；

采用目标检测算法检测所述标定图片中的标定对象区域；

判断所述标定对象图像区域是否位于所述标定图片中的指定位置；

若所述标定对象区域位于所述标定图片中的指定位置，则保存所述标定图片和对应的机械臂位姿。

3.根据权利要求1所述的方法，其特征在于，所述基于所述标定图片和所述机械臂位姿，在相机坐标系下计算所述标定板的中心正对所述相机的初始位姿，包括：

基于所述标定图片和所述机械臂位姿，在相机坐标系下计算标定板的平均姿态；

基于所述标定图片和所述机械臂位姿，在相机坐标系下计算标定板的中心点位置，并构建标定板相对相机的移动平面；

将相机原点投影到所述标定板移动平面，获得标定板正对相机的初始位置；

基于所述初始位置和所述平均姿态，确定所述标定板中心正对所述相机的初始位姿。

4.根据权利要求3所述的方法，其特征在于，所述基于所述标定图片和所述机械臂位姿，在相机坐标系下计算标定板的平均姿态，包括：

基于所述标定图片和所述机械臂位姿中的多组数据，求解初步标定结果；其中，如果相机安装在机械臂之外，所述初步标定结果为：机械臂基座坐标系到相机坐标系的转换矩阵；如果相机安装在机械臂末端，所述初步标定结果为：机械臂末端坐标系到相机坐标系的转换矩阵；

基于所述初步标定结果，计算标定板与机械臂的转换关系；其中，如果相机安装在机械臂之外，所述标定板与机械臂的转换关系为：标定板到机械臂末端法兰的转换关系；如果相机安装在机械臂末端，所述标定板与机械臂的转换关系为：标定板到机械臂基座的转换关系；

在所述相机坐标系下，基于所述标定图片和所述机械臂位姿中的多组数据和相机内参计算多组标定板和相机的转换关系；

基于所述多组标定板和相机的转换关系，计算标定板在相机坐标系下的平均姿态；

基于所述标定板与机械臂的转换关系和所述平均姿态，计算标定板在相机下的目标位姿；其中，所述目标位姿为：所述标定板根据机械臂运动在预设空间对应发生运动产生的位姿。

5.根据权利要求4所述的方法，其特征在于，所述基于所述标定图片和所述机械臂位姿，在相机坐标系下计算标定板的中心点位置，并构建标定板相对相机的移动平面，包括：

基于所述标定图片和所述机械臂位姿，计算每个所述机械臂位姿下标定板角点的均值，并将所述均值作为标定板中心点；

基于所述多组标定板和相机的转换关系，计算多个所述标定板中心点在相机坐标系下的中心点位置；

根据所述中心点位置、所述相机坐标系的X轴和Y轴，构建标定板相对相机的移动平面。

6.根据权利要求1所述的方法，其特征在于，在所述基于所述初始位姿，在标定板和相机相对旋转运动的预设空间位置区间生成多个拍摄位姿之后，所述方法还包括：

若所述多个拍摄位姿不满足预设标定精度数量，则基于所述初始位姿，在标定板和相机相对旋转运动的随机空间位置区间生成多个补拍位姿；

判断所述多个拍摄位姿和所述多个补拍位姿的总数量是否满足预设标定精度数量；

若所述总数量满足预设标定精度数量，则基于所述多个拍摄位姿和所述多个补拍位姿进行手眼标定。

7.根据权利要求6所述的方法，其特征在于，所述基于所述初始位姿，在标定板和相机相对旋转运动的随机空间位置区间生成多个补拍位姿之后，还包括：

判断所述多个补拍位姿是否受限于机械臂的硬件约束无法执行；

若所述多个补拍位姿受限，则丢弃对应补拍位姿；

若所述多个补拍位姿不受限，则保存对应补拍位姿。

8.一种手眼标定装置，其特征在于，所述装置包括：

示教模块，用于通过拖拽机械臂进行示教，获取标定图片和拍摄所述标定图片时对应的机械臂位姿；其中，如果拍摄的相机安装在所述机械臂之外，标定板固定在所述机械臂末端；如果拍摄的相机安装在所述机械臂末端，标定板固定在所述机械臂之外；

初始位姿计算模块，用于基于所述标定图片和所述机械臂位姿，在相机坐标系下计算所述标定板的中心正对所述相机的初始位姿；

拍摄位姿生成模块，用于基于所述初始位姿，在标定板和相机相对旋转运动的预设空间位置区间生成多个拍摄位姿；

手眼标定模块，用于若判定所述多个拍摄位姿满足预设标定精度数量，则基于所述多个拍摄位姿进行手眼标定。

9.一种电子设备，其特征在于，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的方法的步骤。

10.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至7任一所述的方法的步骤。