CN113808201A - 一种目标物体检测方法及引导抓取方法 - Google Patents

Abstract

本发明公开了一种目标物体检测方法及引导抓取方法，目标物体检测方法包括：步骤(1)：对相机和激光传感器进行联合标定，对机器人进行手眼标定；步骤(2)：机器人分别采集目标物体的图像和激光点云，通过图像分割模型分割图像得到目标物体，并结合步骤(1)从激光点云中筛选得到目标物体在空间中的对应点云模型；步骤(3)：采用模板匹配算法计算得到步骤(2)得到的点云模型的轮廓、位姿及其中心，即检测得到目标物体。本发明运用了深度相机***对目标物体进行高精度建模，实现了对非规则目标进行精确识别并进行引导抓取，使带电作业机器人在作业流程中可以准确识别并抓取目标物体。

Description

一种目标物体检测方法及引导抓取方法

技术领域

本发明涉及工业自动化领域，特别是在复杂场景下目标物体检测方法以及***标定、位姿估计和机械臂抓取方法。

背景技术

在带电作业领域里，电力工人需要对避雷器、瓷瓶、螺母、电力线等物体更换，工人会面临10kV高压电威胁，容易出现事故。目前市面上没有复杂场景下的小目标的视觉引导抓取的方案，本发明针对这样的场景，通过对机器人进行手眼标定，充分发挥了图像在物体检测、识别和分割方面的优势以及ToF激光雷达在三维空间中的精确测距能力，使带电作业机器人在作业流程中可以准确识别并抓取目标物体，在硬件成本较低的情况下，能够实现较为精准的下目标自动化提取，以机器人代替人工，可在危险环境下保护电力工人安全，改善劳动条件。另外此法明也可以应用于其它行业，如分拣，装配，上料，焊接等工业自动化领域，尤其是需要危险复杂场景小目标识别领域，以提高现有工作的准确度和安全性。

目前市面上没有复杂场景下的小目标的视觉引导抓取的方案。

发明内容

发明目的：本发明针对上述场景，提出了一种目标物体检测方法及引导抓取方法，以机器人代替人工，可在危险环境下保护电力工人安全，改善劳动条件。

技术方案：

一种目标物体检测方法，包括：

步骤(1)：对相机和激光传感器进行联合标定，对机器人进行手眼标定；

步骤(2)：机器人分别采集目标物体的图像和激光点云，通过图像分割模型分割图像得到目标物体，并结合步骤(1)从激光点云中筛选得到目标物体在空间中的对应点云模型；

步骤(3)：采用模板匹配算法计算得到步骤(2)得到的点云模型的轮廓、位姿及其中心，即检测得到目标物体。

所述步骤(1)中，对机器人进行手眼标定具体如下：

1)根据相机安装参数获取得到相机与机械臂末端的旋转平移关系；

2)固定机械臂位置末端并获取其位姿，通过激光雷达采集标定工装的激光点云；

3)提取标定工装的标定点进行标定，通过解决一个PnP问题，获取激光雷达坐标系与标定工装之间的旋转及平移关系，并记录此时机械臂末端位姿；

4)重复步骤2)～步骤3)，获取多组激光雷达坐标系与标定工装之间的旋转平移关系以及对应的机械臂末端位姿，使用Tsai-Lanz论文经典两步法求解得到机械臂末端位姿与激光雷达位姿之间的转换关系。

所述标定工装为移动安装在机械臂末端处的标定板。

在所述标定板上开设有若干圆孔作为标定点。

在所述标定板上设置有网格或棋盘格，其对应的标定点为网格斑点或棋盘格角。

所述步骤(2)中，从激光点云中筛选得到目标物体在空间中的对应点云模型具体为：

1)根据步骤(1)将激光点云中的点变换至图像坐标系中，并判断其是否为目标物体上一点；其中，通过判断该点是否位于图像分割所获得的图像掩膜中，若处于掩膜区域中，那么说明该点是目标物体上一点；

2)将激光点云中的所有位于目标物体上的点存入新的点集，得到目标物体的点云模型。

所述步骤(3)中，采用模板匹配算法计算得到步骤(2)得到的点云模型的轮廓、位姿及其中心具体为：

1)建立标准点云模板库：扫描实际各物体得到相应的激光点云并进行拼接得到点云模板及其对应的尺寸和轮廓的特征，并将相应的点云模板与其对应的特征存储，形成标准点云模板库；

2)将采集得到的目标物体的激光点云的强度值投影在3D空间的三个正交视图上，得到三幅目标灰度图像；同时从标准点云模板库中获取得到对应物体的点云模块，并将其强度值分别投影在3D空间的三个正交视图上，得到三幅标准灰度图像；

3)在三幅目标灰度图像和三幅标准灰度图像中分别生成BRIEF关键点描述子特征点对，并变换至目标物体的激光点云上，得到三组目标点云与标准点云模板的点对映射；

4)使用RANSAC算法进行匹配，得到目标物体的轮廓和位姿。

还包括精确匹配步骤：以得到的目标物体的轮廓和姿态作为初始值，使用 ICP算法优化匹配结果，生成最后精确匹配的目标物体的轮廓、位姿及其中心。

所述RANSAC算法具体为：

41)随机选取目标点云上的四对特征点对构建最小包络球，记为模型M其中最小包络球内包含所有三幅标准灰度图像变换的特征点对；求取最小包络球的质心，并计算该质心至该包络球内特征点的平均距离作为匹配误差阈值；

42)计算目标点云中所有点与模型M之间的投影误差，若某一点与模型M 之间的投影误差小于匹配误差阈值，则将该点加入该包络球得到内点集；

43)如果当前内点集中的内点数量大于之前最优内点集的内点数量，则将当前内点集更新为最优内点集，同时更新迭代次数；

44)重复41)、42)和43)，若迭代次数大于K，则停止迭代，得到最优内点集，进而得到目标点云的匹配特征。

一种引导抓取方法，包括步骤：

(1)采用前述目标物体检测方法获取得到目标物体的轮廓、位姿及其中心；

(2)根据步骤(1)的手眼标定得到的机械臂末端位姿与激光雷达位姿之间的转换关系，将目标物体的轮廓和位姿转换到机械臂坐标系下；

(3)通过目标物体的轮廓计算得到机械臂末端的夹持器开口大小，通过目标物体的中心点控制机械臂末端的夹持器中心运动到最佳位置，并通过目标物体的位姿计算得到机械臂末端的夹持器开口朝向；

(4)根据步骤(3)进行运动规划并控制机械臂运动至目标位姿，实现抓取工作。

有益效果：本发明通过对机器人进行手眼标定，充分发挥了图像在物体检测、识别和分割方面的优势以及激光雷达在三维空间中的精确测距能力，在该***中运用了深度相机***对目标物体进行高精度建模，从而实现了对非规则目标小目标进行精确的3D视觉引导抓取，使带电作业机器人在作业流程中可以准确识别并抓取目标物体，在硬件成本较低的情况下，能够实现较为精准的下目标自动化提取，以机器人代替人工，可在危险环境下保护电力工人安全，改善劳动条件。另外此法明也可以应用于其它行业，如分拣，装配，上料，焊接等工业自动化领域，尤其是需要危险复杂场景小目标识别领域，以提高现有工作的准确度和安全性。

附图说明

图1为本发明的目标物体检测方法流程图。

图2为本发明相机与激光传感器联合标定的流程图。

图3为本发明的手眼标定工装示意图。

图4为本发明的点云处理流程图。

图5为本发明的机械臂运动规划流程图。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明。

图1为本发明的目标物体检测方法流程图。如图1所示，本发明的目标物体检测方法包括步骤：

(1)对相机和激光传感器进行联合标定；

图2为本发明对相机与激光传感器联合标定的流程图，如图2所示，本发明对相机与激光传感器联合标定具体如下：

(11)标定前确保相机和激光雷达的位置固定，标定过程中，检查外设连接无故障之后，在机械臂末端固定安装固定规格的标定板，再分别通过相机和激光雷达采集图像与激光点云，并将图像转为固定像素值范围的灰度图，激光点云的强度信息转为固定像素值范围的灰度图；

(12)提取标定板上的网格斑点或棋盘格角点进行标定，获取相机坐标系与激光雷达坐标系之间的旋转及平移关系；

(13)将激光点云中的点根据步骤(12)得到的相机坐标系与激光雷达坐标系之间的变换关系及相机的成像原理变换到图像坐标系下，并根据激光点云中的点变换到图像坐标系下的坐标与图像坐标系下对应点的坐标之间的误差，检查差值范围的合理性；其中误差定义为激光点云中的点变换到图像坐标系下的坐标与图像坐标系下对应点的之间在x方向上或y方向上的像素差，若二者在x方向上或y方向上的像素差均不大于1像素，则认为，该标定在误差范围内；否则需重新标定；

标定结果中，以齐次坐标的形式保存了相机和激光雷达的联合标定结果，并保存在指定路径下，供后续其他模块使用；

(2)对机器人进行手眼标定；本发明的对机器人进行手眼标定具体如下：

(21)标定前确保相机和激光雷达的位置固定，根据相机安装参数获取得到相机与机械臂末端的旋转平移关系；

(22)标定过程中，检查外设连接无故障之后，先固定机械臂位置末端，读取各个机械臂关节坐标信息，待机械臂停止稳定后，再通过激光雷达采集标定工装的激光点云，并将激光点云的深度信息转为固定像素值范围的灰度图；

(23)提取标定工装的标定点进行标定，解决一个PnP问题，获取激光雷达坐标系与标定工装之间的旋转及平移关系，并记录此时机械臂末端位姿；

(24)重复步骤(22)～步骤(23)，获取多组激光雷达坐标系与标定工装之间的旋转平移关系以及对应的机械臂末端位姿，使用Tsai-Lanz论文经典两步法求解得到机械臂末端位姿与激光雷达位姿之间的转换关系；

标定结果以旋转平移向量的形式表示机械臂与激光雷达合***的外参，标定结束后，将标定结果保存在指定路径下文件中或者运行时环境中，供后续其他模块使用。

如图3所示，本发明的标定工装为移动安装在机械臂末端处的标定板，在其上开设有若干圆孔、或者设置了网格或棋盘格，对应的标定点为圆孔、网格斑点或棋盘格角。

(3)在工作场景中，机器人分别通过相机和激光雷达采集得到图像和激光点云，根据预设的图像分割模型分割图像得到目标物体，并结合步骤(1)得到分割得到的目标物体在空间中的对应点云模型；

(31)当机器人到达作业区域后，机器人分别通过相机和激光雷达采集得到图像和激光点云，并从指定的路径下导入经过训练的、可用于进行图像分割的深度神经网络模型作为图像分割模型对图像进行分割得到目标物体掩膜，将分割出的目标物体掩膜，保存在***指定路径下；

(32)根据步骤(1)将激光点云中的点变换至图像坐标系中，并判断其是否为目标物体上一点；具体通过判断该点是否位于图像分割所获得的图像掩膜中，若处于掩膜区域中，那么说明该点是目标物体上一点；

(33)将激光点云中的所有位于目标物体上的点存入新的点集，得到目标物体的点云模型。

(4)根据步骤(3)得到的目标物体所对应的点云模型，计算该点云模型的轮廓大小、物体中心和位姿；

为了加快匹配速度，同时考虑到工业对目标抓取的可靠性、稳定性要求，采用2D图像与3D点云相结合的方案进行模板匹配方法：

(41)建立标准点云模板库过程如下，首先利用激光雷达对实际物体(比如瓷瓶、避雷器，螺母等)进行扫描，然后将扫描后的激光点云进行去噪处理，再将去噪处理后的激光点云进行拼接，并计算拼接后的点云模板的尺寸、轮廓及旋转轴的特征，最后将点云模板与其对应的特征一起存储在点云库中，形成标准点云模板库；

(42)将步骤(3)采集得到的激光点云去噪，并将激光点云的强度值投影在3D空间的三个正交视图上，得到三幅目标灰度图像；同时从标准点云模板库中获取对应物体的点云模板，并将其强度值分别投影在3D空间的三个正交视图上，得到三幅标准灰度图像；

(43)通过特征点检测算法得到步骤(42)得到的三幅目标灰度图像的特征点，并据此在三幅目标灰度图像中生成BRIEF关键点描述子特征点对；同理，在三幅标准灰度图像中生成BRIEF关键点描述子特征点对；

(44)根据步骤(1)和(2)将三幅目标灰度图像和三幅标准灰度图像的特征点对变换至步骤(3)采集得到的激光点云上，构建2D-3D的映射关系，得到三幅目标灰度图像变换的特征点对分别与其对应的标准灰度图像变换的特征点对之间的映射关系，即三组目标点云与标准点云模板的点对映射；

(45)根据步骤(44)得到的三组目标点云与标准点云模板的点对映射，使用RANSAC算法进行粗匹配，得到目标点云上的三对特征点作为点云特征，得到目标物体粗匹配的轮廓和位姿；其中，迭代次数K为特征点对的数量；

其中，使用RANSAC算法进行粗匹配具体为：

1)随机选取目标点云上的四对特征点构建最小包络球，记为模型M；其中最小包络球内包含所有三幅标准灰度图像变换的特征点对；

2)求取最小包络球的质心，并计算该质心至该包络球内特征点的平均距离作为匹配误差阈值；计算目标点云中所有点与模型M之间的投影误差，若某一点与模型M之间的投影误差小于匹配误差阈值，则将该点加入该包络球得到内点集；

3)如果当前内点集中的内点数量大于之前最优内点集的内点数量，则将当前内点集更新为最优内点集，同时更新迭代次数；

4)重复1)、2)、3)，若迭代次数大于K，则停止迭代，得到最优内点集，进而得到目标点云的匹配特征；

(46)粗匹配完成后，以步骤(45)得到的目标物体的轮廓和姿态作为初始值，使用ICP算法进一步优化匹配结果，生成最后精确匹配的目标物体的轮廓、位姿、旋转轴及其中心点；

计算结束后以旋转平移向量的形式表示旋转轴和点云位姿，以包络体形式表示物体轮廓，将上述结果保存在指定路径下文件中或者运行时环境中，供后续其他模块使用。

本发明还提供了一种引导抓取方法，机器人根据前述方法获取得到目标物体的轮廓和位姿及其旋转轴，并根据步骤(2)的手眼标定得到的机械臂末端位姿与激光雷达位姿之间的转换关系，将目标物体的轮廓和位姿转换到机械臂坐标系下，并通过目标物体的轮廓信息计算得到机械臂末端的夹持器开口大小，通过目标物体的中心点信息控制机械臂末端的夹持器中心运动到最佳位置，通过目标物体的位姿信息计算得到机械臂末端的夹持器开口朝向；并据此进行运动规划控制机械臂运动至目标位姿，实现抓取工作。

本发明的所使用硬件***构成为工控机，工业级千兆交机、机械臂、彩色相机，ToF激光雷达。本发明***通过TCP/IP网络通信经过工业级千兆交换机连接彩色相机、ToF激光雷达的Giga E传输接口，完成彩色相机、ToF激光雷达、工控机、之间的数据传输。

以上详细描述了本发明的优选实施方式，但是本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换(如数量、形状、位置等)，这些等同变换均属于本发明的保护范围。

Claims (10)

1.一种目标物体检测方法，其特征在于：包括：

步骤(1)：对相机和激光传感器进行联合标定，对机器人进行手眼标定；

步骤(2)：机器人分别采集目标物体的图像和激光点云，通过图像分割模型分割图像得到目标物体，并结合步骤(1)从激光点云中筛选得到目标物体在空间中的对应点云模型；

步骤(3)：采用模板匹配算法计算得到步骤(2)得到的点云模型的轮廓、位姿及其中心，即检测得到目标物体。

2.根据权利要求1所述的目标物体检测方法，其特征在于：所述步骤(1)中，对机器人进行手眼标定具体如下：

1)根据相机安装参数获取得到相机与机械臂末端的旋转平移关系；

2)固定机械臂位置末端并获取其位姿，通过激光雷达采集标定工装的激光点云；

3)提取标定工装的标定点进行标定，通过解决一个PnP问题，获取激光雷达坐标系与标定工装之间的旋转及平移关系，并记录此时机械臂末端位姿；

4)重复步骤2)～步骤3)，获取多组激光雷达坐标系与标定工装之间的旋转平移关系以及对应的机械臂末端位姿，使用Tsai-Lanz论文经典两步法求解得到机械臂末端位姿与激光雷达位姿之间的转换关系。

3.根据权利要求2所述的目标物体检测方法，其特征在于：所述标定工装为移动安装在机械臂末端处的标定板。

4.根据权利要求3所述的目标物体检测方法，其特征在于：在所述标定板上开设有若干圆孔作为标定点。

5.根据权利要求3所述的目标物体检测方法，其特征在于：在所述标定板上设置有网格或棋盘格，其对应的标定点为网格斑点或棋盘格角。

6.根据权利要求1所述的目标物体检测方法，其特征在于：所述步骤(2)中，从激光点云中筛选得到目标物体在空间中的对应点云模型具体为：

1)根据步骤(1)将激光点云中的点变换至图像坐标系中，并判断其是否为目标物体上一点；其中，通过判断该点是否位于图像分割所获得的图像掩膜中，若处于掩膜区域中，那么说明该点是目标物体上一点；

2)将激光点云中的所有位于目标物体上的点存入新的点集，得到目标物体的点云模型。

7.根据权利要求1所述的目标物体检测方法，其特征在于：所述步骤(3)中，采用模板匹配算法计算得到步骤(2)得到的点云模型的轮廓、位姿及其中心具体为：

1)建立标准点云模板库：扫描实际各物体得到相应的激光点云并进行拼接得到点云模板及其对应的尺寸和轮廓的特征，并将相应的点云模板与其对应的特征存储，形成标准点云模板库；

2)将采集得到的目标物体的激光点云的强度值投影在3D空间的三个正交视图上，得到三幅目标灰度图像；同时从标准点云模板库中获取得到对应物体的点云模板，并将其强度值分别投影在3D空间的三个正交视图上，得到三幅标准灰度图像；

3)在三幅目标灰度图像和三幅标准灰度图像中分别生成BRIEF关键点描述子特征点对，并变换至目标物体的激光点云上，得到三组目标点云与标准点云模板的点对映射；

4)使用RANSAC算法进行匹配，得到目标物体的轮廓和位姿。

8.根据权利要求7所述的目标物体检测方法，其特征在于：还包括精确匹配步骤：以得到的目标物体的轮廓和姿态作为初始值，使用ICP算法优化匹配结果，生成最后精确匹配的目标物体的轮廓、位姿及其中心。

9.根据权利要求7所述的目标物体检测方法，其特征在于：所述RANSAC算法具体为：

41)随机选取目标点云上的四对特征点对构建最小包络球，记为模型M其中最小包络球内包含所有三幅标准灰度图像变换的特征点对；求取最小包络球的质心，并计算该质心至该包络球内特征点的平均距离作为匹配误差阈值；

42)计算目标点云中所有点与模型M之间的投影误差，若某一点与模型M之间的投影误差小于匹配误差阈值，则将该点加入该包络球得到内点集；

43)如果当前内点集中的内点数量大于之前最优内点集的内点数量，则将当前内点集更新为最优内点集，同时更新迭代次数；

44)重复41)、42)和43)，若迭代次数大于K，则停止迭代，得到最优内点集，进而得到目标点云的匹配特征。

10.一种应用权利要求1～9任一所述的目标物体检测方法的引导抓取方法，其特征在于：包括步骤：

(1)采用权利要求1～9任一所述的目标物体检测方法获取得到目标物体的轮廓、位姿及其中心；

(2)根据步骤(1)的手眼标定得到的机械臂末端位姿与激光雷达位姿之间的转换关系，将目标物体的轮廓和位姿转换到机械臂坐标系下；

(3)通过目标物体的轮廓计算得到机械臂末端的夹持器开口大小，通过目标物体的中心点控制机械臂末端的夹持器中心运动到最佳位置，并通过目标物体的位姿计算得到机械臂末端的夹持器开口朝向；

(4)根据步骤(3)进行运动规划并控制机械臂运动至目标位姿，实现抓取工作。

Images