CN110555889B - 一种基于CALTag和点云信息的深度相机手眼标定方法 - Google Patents

Abstract

一种基于CALTag和点云信息的深度相机手眼标定方法，首先建立手眼标定的数学模型，得出手眼标定方程AX＝XB；然后利用CALTag标定板代替传统的棋盘格标定板，提高标定板位姿的识别精度，同时也计算出了手眼标定方程中的矩阵A；再结合得到的矩阵A和机械臂的正运动学求解出了矩阵B，基于李群理论求解了手眼标定方程A·X＝X·B；最后利用获取的点云深度信息，基于信赖域反射优化迭代算法获得了更适用于三维视觉场景的标定矩阵；本发明能精准确定点云坐标系与机器人坐标系的坐标变换，抓取精度高，适用于三维视觉中机械臂抓取物体的应用场景。

Description

一种基于CALTag和点云信息的深度相机手眼标定方法

技术领域

本发明涉及机器视觉技术领域，具体涉及一种基于CALTag和点云信息的深度相机手眼标定方法。

背景技术

在工业机器人的应用中，目标物体的识别和抓取是工业机器人在生产中最常用的应用方法。基于机器视觉的机器人***包括视觉部分、机械臂部分及工作环境三个部分，而机器人***的标定问题就是求解视觉部分和机械臂部分之间的坐标转换关系的问题，学术上将这类求解机器人基座坐标系与相机坐标系两者之间转换关系的问题称之为手眼标定问题。机器人需要根据相机得到目标物体的位姿来确定机器人抓取位姿，由于这一位姿是在相机坐标系下的，必须转换到机器人工具坐标系下才能用于进一步确定机器人末端执行器的抓取位姿，手眼标定是完成这一转换、实现手眼协调的前提。此外，手眼标定精度还会直接影响最终机器人抓取的精度。

目前手眼标定的方法有很多，大部分都是针对机械臂加单目工业相机的机器人***，也有针对机械臂加深度相机的机器人***。由于深度相机的点云坐标系与二维图像坐标系并不绝对重合，所以直接将传统的单目工业相机手眼标定方法应用在深度相机上会有一定的偏差。而在抓取任意姿态物体的场景中，需要机械臂能够精确定位到工作空间的任意位置，而现有的手眼标定方法由于不能精准确定点云坐标系与机器人坐标系的坐标变换导致抓取精度不高，所以并不能满足抓取的要求。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种基于CALTag和点云信息的深度相机手眼标定方法，能精准确定点云坐标系与机器人坐标系的坐标变换，抓取精度高，适用于三维视觉中机械臂抓取物体的应用场景。

为了实现上述目的，本发明采取的技术方案是：

一种基于CALTag和点云信息的深度相机手眼标定方法，包括以下步骤：

步骤1)、建立手眼标定***的数学模型：

手眼标定***中，根据摄像机与机器人的相互方位关系的不同，手眼关系分为Eye-in-Hand和Eye-to-Hand两种模型；Eye-in-Hand模型是将摄像机安装在机器人末端，在机器人工作过程中相机随末端一起运动；Eye-to-Hand模型中的相机则是固定安装的，在机器人移动过程中相机相对目标保持静止；对于Eye-to-Hand模型，通过在机械臂的末端安装一块标定板，利用通过相机估计出标定板的位姿，实现手眼的自动标定；

Eye-to-Hand模型中包含四个坐标系：机器人原点坐标系Δbase、机器人末关节坐标系Δtool、标定板原点坐标系Δcal、深度相机原点坐标系Δcam，

坐标系之间的变化定义如下：

T_baseHtool(i)：在第i次实验中从Δbase到Δtool的坐标变换；

T_toolHcal：从Δtool到Δcal的坐标变换；

T_camHcal(i)：在第i次实验中从Δcam到Δcal的坐标变换；

T_camHbase：从Δcam到Δbase的坐标变换，

在手眼标定中，通过变换机械臂的位置，然后通过相机拍摄机械臂上标定板的图像，并记录此时机械臂各个关节的位置值，标定次数大于12次；根据各个坐标系之间的关系，得到在第i次标定中坐标变换关系式如下：

然后联立第i+1次标定中坐标变换关系式，消去T_toolHcal得到公式如下：

记

记求解目标T_camHbase为X，得到公式：

A·X＝X·B

矩阵A的物理含义是机械臂在移动前后，标定板在相机坐标系下这次移动下产生的坐标变换矩阵；矩阵B的物理含义是机械臂在移动前后，机器人末关节坐标系Δtool在机器人坐标系下这次移动下产生的坐标变换矩阵；在计算出矩阵A和矩阵B之后，手眼标定问题就转换成了求解经典方程A·X＝X·B的问题；

步骤2)、识别CALTag标定板的位姿：

求解经典方程A·X＝X·B中的矩阵A，矩阵A是通过确定标定板在相机坐标系下的位姿得到的，识别CALTag标定板位姿方法，包括以下步骤：

2.1)计算连通区域：将原始图像转成灰度图像，之后Sobel滤波器检测其边缘，并用形态学去掉非边缘像素点，接着对图像进行自适应阈值化，最后计算图像中的连通区域；

2.2)去除无效的连通区域：步骤2.1)生成的连通区域中包含的背景中连通区域需要过滤掉，过滤的准则有两个：一是面积小于256 个像素和大于输入图像1/8之一大小的连通区域；二是欧拉数小于0 和大于3的连通区域，欧拉数的定义为图像中物体的总数减去他们中内孔的数量；

2.3)四边形拟合：对步骤2.2)去除无效的连通区域后边缘上的每个像素点计算梯度，使用Lloyd的K-Means聚类算法得到四个主要的边缘方向，再使用最小二乘法得到边界线，并确定边界线之间的平行关系，最后由找到的两对平行线拟合出四边形；

2.4)角点检测：对于步骤2.3)拟合出的四边形，记角点x邻域内的像素点为p，角点与其邻域内的像素点在边缘方向梯度的乘积为 0，即

。因为

是一个线性***，能够迭代的计算出角度的精确位置，其中初始值为步骤2.3)中得到的四边形顶点值；

2.5)标记验证：根据步骤2.4)得到的角点位置，确定每个正方格中心的二进制码的位置，然后对二进制码进行校验，仅保留二进制码校验正确的标记；

2.6)定位缺失的角点：找到在输入图像中可见但在检测期间遗漏的角点，如果正确识别了至少一个二进制码，由于预先知道它在棋盘图案中的位置，所以能够推断出其他角点在图像中的理论位置；

2.7)角点验证：对步骤2.6)确定的角点的真实性进行验证，角点必须通过两个测试才能被认定为是真实的角点：第一个测试判断角点局部邻域的像素强度是否符合β分布；第二个测试角点的周围的小圆上是否符合黑白相交的特征；

步骤3)、基于李群理论求解标定矩阵：

由手眼标定的数学方程A·X＝X·B所知，求解标定矩阵X之前，必须确定矩阵A和矩阵B，其中矩阵A已经在步骤2)中得到了；矩阵B通过获取机械臂在每个位置的关节值，并利用机械臂的正向运动学分析得到；通过多次变换机械臂的位置，得到多组观测值{(A₁,B₁), (A₂,B₂)…(A_k,B_k)}，将公式A·X＝X·B的求解转化为最小化问题，数学描述如下所示：

其中d表示在欧式群上的距离测度；

对于公式A·X＝X·B，展开成以下矩阵形式

化简得到如下所示：

R_AR_x＝R_xR_B

R_At_x+t_A＝R_xt_B+t_x

记logR_A＝[α]，logR_B＝[β]，利用李群理论得到

α＝βR_x

当有两组以上观测值时，其解为

R_x＝(M^TM)^-0.5M^T

t_x＝(R_A-I)^-1(R_xt_B-t_A)

其中：

步骤4)、利用点云深度信息对步骤3)中得到的标定矩阵进行优化：通过引入一个在机械臂末端执行器上的标记点，分别获取其在机器人坐标系和相机坐标系的坐标值，在步骤3)得到计算结果的邻域内，通过多次迭代优化标定矩阵，从而最小化计算值与测量值之前的误差；

记机械臂在i位置时，标记点在相机坐标系的坐标为p_cam(i)，在机器人坐标系的坐标为P_base(i)，得到公式如下。

求解公式中的

时，通过信赖域反射(Trustregion reflective) 算法求解出

的六个参数，即欧拉角R、P、Y以及位移X、Y、 Z；

信赖域反射算法对初值设置非常敏感，将步骤3)中计算得到的结果作为初值，通过多次迭代，最后计算得到相机与机械臂坐标系之间的标定矩阵。

对于求解P_base(i)，先通过四点法计算出标记点在机械臂末端执行器上的精确位置，然后通过机械臂的手持示教板上读取P_base(i)。

对于求解P_cam(i)，将机械臂移动到相机下，采集机械臂末端执行器的点云，然后对采集的点云进行可视化，接着再通过人工在点云的可视化界面中选取标记点的位置，记录此时的坐标值，即得到P_cam(i)。

本发明的有益效果为：

1.利用CALTag标定代替传统的棋盘格标定板，提高了识别标定板姿态的精度。

2.利用获取的点云深度信息，基于信赖域反射优化迭代算法获得了更适用于三维视觉场景的标定矩阵。

3.基于CALTag和点云信息的深度相机手眼标定技术可以成功运用于通过深度相机引导机械臂抓取机器人***的手眼标定。

附图说明

图1为本发明方法的流程图。

图2为实施例Eye-to-Hand手眼标定模型图。

图3为实施例残差模随迭代次数变化图。

具体实施方式

下面结合附图和实施例对本发明作详细描述。

参照图1，一种基于CALTag和点云信息的深度相机手眼标定方法，包括以下步骤：

步骤1)、建立手眼标定***的数学模型：

手眼标定***中，根据摄像机与机器人的相互方位关系的不同，手眼关系可分为Eye-in-Hand和Eye-to-Hand两种模型。Eye-in-Hand 模型是将摄像机安装在机器人末端，因此在机器人工作过程中相机随末端一起运动。Eye-to-Hand模型中的相机则是固定安装的，在机器人移动过程中相机相对目标保持静止。

对于“眼”外部固定的手眼***，也即Eye-to-Hand模型中，可以通过在机械臂的末端安装一块标定板，利用通过相机估计出标定板的位姿，从而实现手眼的自动标定。如图2所示，Eye-to-Hand模型中包含四个坐标系：机器人原点坐标系Δbase、机器人末关节(六关节) 坐标系Δtool、标定板原点坐标系Δcal、深度相机原点坐标系Δcam。

坐标系之间的变化定义如下：

T_baseHtool(i)：在第i次实验中从Δbase到Δtool的坐标变换；

T_toolHcal：从Δtool到Δcal的坐标变换；

T_camHcal(i)：在第i次实验中从Δcam到Δcal的坐标变换；

T_camHbase：从Δcam到Δbase的坐标变换。

在手眼标定的实验中，通过变换机械臂的位置，然后通过相机拍摄机械臂上标定板的图像，并记录此时机械臂各个关节的位置值。为保证计算结果获取足够高的精度，一般实验次数大于12次。根据各个坐标系之间的关系，可以得到在第i次实验中坐标变换关系式如下。

然后联立第i+1次实验中坐标变换关系式，消去T_toolHcal得到公式如下。

记

记求解目标T_camHbase为X，得到公式：

A·X＝X·B

从矩阵A和矩阵B的定义上来看，矩阵A的物理含义是机械臂在移动前后，标定板在相机坐标系下这次移动下产生的坐标变换矩阵；矩阵B的物理含义是机械臂在移动前后，机器人末关节坐标系Δtool在机器人坐标系下这次移动下产生的坐标变换矩阵。在计算出矩阵A和矩阵B之后，手眼标定问题就转换成了求解经典方程 A·X＝X·B的问题；

步骤2、识别CALTag标定板的位姿：

在求解标定矩阵之前，其中一个关键的步骤就是求解经典方程 A·X＝X·B中的矩阵A，而矩阵A又是通过确定标定板在相机坐标系下的位姿得到的，因此本节主要解决的是标定板的位姿识别问题。

CALTag(CALibration Tag)是一种平面自识别标记，可用于自动相机标定。相比传统的棋盘格标定板，CALTag在每个方格中增加了一个标识，通过重定位可以得到更高的精度；该方法甚至可以在 CALTag标定板部分被遮挡的情况下被成功识别出来，极大降低了对实验样本质量的要求；而且不需要手动选取图像中的角点和设置复杂的参量，因此基于CALTag标定板的标定技术可以用于自动标定。

识别CALTag标定板位姿方法，包括以下步骤：

2.1)计算连通区域：将原始图像转成灰度图像，之后Sobel滤波器检测其边缘，并用形态学去掉非边缘像素点，接着对图像进行自适应阈值化，最后计算图像中的连通区域；

2.2)去除无效的连通区域：步骤2.1)生成的连通区域中包含的背景中连通区域是需要过滤掉的，过滤的准则有两个：一是面积小于 256个像素和大于输入图像1/8之一大小的连通区域；二是欧拉数小于0和大于3的连通区域，欧拉数的定义为图像中物体的总数减去他们中内孔的数量，基于欧拉数的滤波优势在于它们与分辨率无关，无需参数调整；

2.3)四边形拟合：对步骤2.2)去除无效的连通区域后边缘上的每个像素点计算梯度，使用Lloyd的K-Means聚类算法得到四个主要的边缘方向，再使用最小二乘法得到边界线，并确定边界线之间的平行关系，最后由找到的两对平行线拟合出四边形；

2.4)角点检测：对于步骤2.3)拟合出的四边形，记角点x邻域内的像素点为p，由于除角点外像素点在图像边缘方向的梯度均不为零，因此角点与其邻域内的像素点在边缘方向梯度的乘积为0，即

。因为

是一个线性***，可以迭代的计算出角度的精确位置，其中初始值为步骤2.3)中得到的四边形顶点值；

2.5)标记验证：根据步骤2.4)得到的角点位置，确定每个正方格中心的二进制码的位置，然后对二进制码进行校验，仅保留二进制码校验正确的标记；

2.6)定位缺失的角点：尝试找到在输入图像中可见但在检测期间遗漏的角点。如果正确识别了至少一个二进制码，由于预先知道它在棋盘图案中的位置，所以可以推断出其他角点在图像中的理论位置；

2.7)角点验证：遮挡和反光等条件有可能会产生角点的误报，因此必须对对步骤2.6)确定的角点的真实性进行验证。角点必须通过两个测试才能被认定为是真实的角点：第一个测试判断角点局部邻域的像素强度是否符合β分布；第二个测试角点的周围的小圆上是否符合黑白相交的特征；

在手眼标定的实验中CALTag标定板固定在机械臂的末端执行器上，Kinect相机固定在毛坯台上。Kinect是微软公司于2010年发布的XBOX360体感周边外设，它是一种主动式的3D测量设备，由于其成本低、速度快、可靠性高的特点，如今广泛的被应用于物体识别、三维重建、室内三维测量等领域。Kinect相机集成了红外相机、彩色相机和深度相机，可实现彩色图像、深度图像以及音频信号的同步采集。其中红外相机的最高分辨率为1280*1024像素，其视场大小为 57*45度；彩色相机的最高分辨率为1280*1024像素，其视场大小为 63*50度；采集的深度图像分辨率为640*480像素，可实现640*480 像素的深度图像和彩色图像的同步输出，深度测量范围为0.5m-4m，其测量精度以及深度分辨率会随着测量距离的增大而降低。

通过多次变换机械臂的位置，同时Kinect采集在不同位置机械臂末端执行器上标定板的图片。实验中，相机的采样分辨率为640*480。 CALTag标定板规格是8行4列的方格，每个方格的边长为25.4mm，对应的角点数量为45个。计算角点的迭代次数设置为100次，输入的图片样本量为15张。

为了衡量识别标定的识别精度，采用残差模的大小来反应识别的效果，如图3所示，图3展示了残差模随迭代次数的变化。残差是指实际观察值与估计值之间的差，而残差模指的是把每个残差的平方根，它表示随机误差的效应。从图3可以看出，当迭代次数达到20 次左右的时候，残差模的数值开始收敛，最终维持0.000657附近，此时角点的平均像素误差为0.1254像素。

步骤3、基于李群理论求解标定矩阵：

由手眼标定的数学方程A·X＝X·B所知，求解标定矩阵X之前，必须确定矩阵A和矩阵B，其中矩阵A已经在步骤二中得到了；矩阵 B可以通过获取机械臂在每个位置的关节值，并利用机械臂的正向运动学分析得到。通过多次变换机械臂的位置，可以得到多组观测值 {(A₁,B₁),(A₂,B₂)…(A_k,B_k)}，将公式A·X＝X·B的求解转化为最小化问题，数学描述如下所示。

其中d表示在欧式群上的距离测度；

对于公式A·X＝X·B，展开成以下矩阵形式

化简得到如下所示：

R_AR_x＝R_xR_B

R_At_x+t_A＝R_xt_B+t_x

记logR_A＝[α]，logR_B＝[β]，利用李群理论得到

α＝βR_x

当有两组以上观测值时，其解为

R_x＝(M^TM)^-0.5M^T

t_x＝(R_A-I)^-1(R_xt_B-t_A)

其中：

步骤4、利用点云深度信息对步骤3)中得到的标定矩阵进行优化：

针对标定结果不能精准确定点云坐标系与机器人坐标系的坐标变换导致抓取精度不高的问题，需对步骤三中得到的标定矩阵结果进行优化。算法的主要思想是通过引入一个在机械臂末端执行器上的标记点，分别获取其在机器人坐标系和相机坐标系的坐标值，在步骤三中得到计算结果的邻域内，通过多次迭代优化标定矩阵，从而最小化计算值与测量值之前的误差。

记机械臂在i位置时，标记点在相机坐标系的坐标为p_cam(i)，在机器人坐标系的坐标为P_base(i)，可以得到公式如下。

对于求解P_base(i)，先通过四点法计算出标记点在机械臂末端执行器上的精确位置，然后通过机械臂的手持示教板上读取P_base(i)。

对于求解P_cam(i)，将机械臂移动到Kinect相机下，采集机械臂末端执行器的点云，然后对采集的点云进行可视化，接着再通过人工在点云的可视化界面中选取标记点的位置，记录此时的坐标值，即得到 P_cam(i)。

最后求解

时，通过信赖域反射(Trustregion reflective)算法求解出

的六个参数(欧拉角RPY，位移XYZ)。信赖域算法是一种求解非线性优化问题的数值方法。信赖域算法是一种迭代算法，即从给定的初始解出发，通过逐步迭代，不断改进，直到获得满意的近似最优解为止。其基本思想是把最优化问题转化为一系列简单的局部寻优问题。信赖域反射算法对初值设置非常敏感，因此初值必须处于最优解的邻域内，而步骤3.2)中计算得到的结果本身就是次优的结果，符合这个条件，因此将其作为初值，通过多次迭代，最后计算得到相机与机械臂坐标系之间的标定矩阵。

Claims (3)

1.一种基于CALTag和点云信息的深度相机手眼标定方法，其特征在于，包括以下步骤：

步骤1)、建立手眼标定***的数学模型：

手眼标定***中，根据摄像机与机器人的相互方位关系的不同，手眼关系分为Eye-in-Hand和Eye-to-Hand两种模型；Eye-in-Hand模型是将摄像机安装在机器人末端，在机器人工作过程中相机随末端一起运动；Eye-to-Hand模型中的相机则是固定安装的，在机器人移动过程中相机相对目标保持静止；对于Eye-to-Hand模型，通过在机械臂的末端安装一块标定板，利用通过相机估计出标定板的位姿，实现手眼的自动标定；

Eye-to-Hand模型中包含四个坐标系：机器人原点坐标系Δbase、机器人末关节坐标系Δtool、标定板原点坐标系Δcal、深度相机原点坐标系Δcam，

坐标系之间的变化定义如下：

T_baseHtool(i)：在第i次实验中从Δbase到Δtool的坐标变换；

T_toolHcal：从Δtool到Δcal的坐标变换；

T_camHcal(i)：在第i次实验中从Δcam到Δcal的坐标变换；

T_camHbase：从Δcam到Δbase的坐标变换，

在手眼标定中，通过变换机械臂的位置，然后通过相机拍摄机械臂上标定板的图像，并记录此时机械臂各个关节的位置值，标定次数大于12次；根据各个坐标系之间的关系，得到在第i次标定中坐标变换关系式如下：

然后联立第i+1次标定中坐标变换关系式，消去T_toolHcal得到公式如下：

记

记求解目标T_camHbase为X，得到公式：

A·X＝X·B

矩阵A的物理含义是机械臂在移动前后，标定板在相机坐标系下这次移动下产生的坐标变换矩阵；矩阵B的物理含义是机械臂在移动前后，机器人末关节坐标系Δtool在机器人坐标系下这次移动下产生的坐标变换矩阵；在计算出矩阵A和矩阵B之后，手眼标定问题就转换成了求解经典方程A·X＝X·B的问题；

步骤2)、识别CALTag标定板的位姿：

求解经典方程A·X＝X·B中的矩阵A，矩阵A是通过确定标定板在相机坐标系下的位姿得到的，识别CALTag标定板位姿方法，包括以下步骤：

2.1)计算连通区域：将原始图像转成灰度图像，之后Sobel滤波器检测其边缘，并用形态学去掉非边缘像素点，接着对图像进行自适应阈值化，最后计算图像中的连通区域；

2.2)去除无效的连通区域：步骤2.1)生成的连通区域中包含的背景中连通区域需要过滤掉，过滤的准则有两个：一是面积小于256个像素和大于输入图像1/8之一大小的连通区域；二是欧拉数小于0和大于3的连通区域，欧拉数的定义为图像中物体的总数减去他们中内孔的数量；

2.3)四边形拟合：对步骤2.2)去除无效的连通区域后边缘上的每个像素点计算梯度，使用Lloyd的K-Means聚类算法得到四个主要的边缘方向，再使用最小二乘法得到边界线，并确定边界线之间的平行关系，最后由找到的两对平行线拟合出四边形；

2.4)角点检测：对于步骤2.3)拟合出的四边形，记角点x邻域内的像素点为p，角点与其邻域内的像素点在边缘方向梯度的乘积为0，即▽I(p)(x-p)＝0，因为▽I(p)(x-p)＝0是一个线性***，能够迭代的计算出角度的精确位置，其中初始值为步骤2.3)中得到的四边形顶点值；

2.5)标记验证：根据步骤2.4)得到的角点位置，确定每个正方格中心的二进制码的位置，然后对二进制码进行校验，仅保留二进制码校验正确的标记；

2.6)定位缺失的角点：找到在输入图像中可见但在检测期间遗漏的角点，如果正确识别了至少一个二进制码，由于预先知道它在棋盘图案中的位置，所以能够推断出其他角点在图像中的理论位置；

2.7)角点验证：对步骤2.6)确定的角点的真实性进行验证，角点必须通过两个测试才能被认定为是真实的角点：第一个测试判断角点局部邻域的像素强度是否符合β分布；第二个测试角点的周围的小圆上是否符合黑白相交的特征；

步骤3)、基于李群理论求解标定矩阵：

由手眼标定的数学方程A·X＝X·B所知，求解标定矩阵X之前，必须确定矩阵A和矩阵B，其中矩阵A已经在步骤2)中得到了；矩阵B通过获取机械臂在每个位置的关节值，并利用机械臂的正向运动学分析得到；通过多次变换机械臂的位置，得到多组观测值{(A₁,B₁),(A₂,B₂)…(A_k,B_k)}，将公式A·X＝X·B的求解转化为最小化问题，数学描述如下所示：

其中d表示在欧式群上的距离测度；

对于公式A·X＝X·B，展开成以下矩阵形式

化简得到如下所示：

R_AR_x＝R_xR_B

R_At_x+t_A＝R_xt_B+t_x

记logR_A＝[α]，logR_B＝[β]，利用李群理论得到

α＝βR_x

当有两组以上观测值时，其解为

R_x＝(M^TM)^-0.5M^T

t_x＝(R_A-I)^-1(R_xt_B-t_A)

其中：

步骤4)、利用点云深度信息对步骤3)中得到的标定矩阵进行优化：通过引入一个在机械臂末端执行器上的标记点，分别获取其在机器人坐标系和相机坐标系的坐标值，在步骤3)得到计算结果的邻域内，通过多次迭代优化标定矩阵，从而最小化计算值与测量值之前的误差；

记机械臂在i位置时，标记点在相机坐标系的坐标为p_cam(i)，在机器人坐标系的坐标为P_base(i)，得到公式如下；

求解公式中的

时，通过信赖域反射(Trust region reflective)算法求解出

的六个参数，即欧拉角R、P、Y以及位移X、Y、Z；

信赖域反射算法对初值设置非常敏感，将步骤3)中计算得到的结果作为初值，通过多次迭代，最后计算得到相机与机械臂坐标系之间的标定矩阵。

2.根据权利要求1所述的一种基于CALTag和点云信息的深度相机手眼标定方法，其特征在于：对于求解P_base(i)，先通过四点法计算出标记点在机械臂末端执行器上的精确位置，然后通过机械臂的手持示教板上读取P_base(i)。

3.根据权利要求1所述的一种基于CALTag和点云信息的深度相机手眼标定方法，其特征在于：对于求解P_cam(i)，将机械臂移动到相机下，采集机械臂末端执行器的点云，然后对采集的点云进行可视化，接着再通过人工在点云的可视化界面中选取标记点的位置，记录此时的坐标值，即得到P_cam(i)。

Images