CN103925879A

CN103925879A - 基于3d图像传感器的室内机器人视觉手眼关系标定方法

Info

Publication number: CN103925879A
Application number: CN201410166077.6A
Authority: CN
Inventors: 孔令成; 赵江海; 张志华; 张强
Original assignee: Hefei Institutes of Physical Science of CAS; Institute of Advanced Manufacturing Technology
Current assignee: Hefei Institutes of Physical Science of CAS; Institute of Advanced Manufacturing Technology
Priority date: 2014-04-24
Filing date: 2014-04-24
Publication date: 2014-07-16

Abstract

本发明提供一种基于3D图像传感器的室内机器人视觉手眼关系标定方法，包括步骤：S1、在机器人的手抓末端关节标记多个标记点，通过该机器人的3D视觉传感器采集该手抓面末端关节的点云图像信息，获取相对于视觉传感器坐标系多组三维坐标值；S2、外部三维测量设备采集世界坐标系下的该手抓末端关节的多个标记点的三维坐标值，该值是相对于该机器人的手臂基坐标系采集的；S3、通过步骤S1、S2获取的坐标值，得出手眼关系标定矩阵。该方法有效简化了标定过程，且测量精度较高，能有效满足室内机器人手眼标定的需要。

Description

基于3D图像传感器的室内机器人视觉手眼关系标定方法

技术领域

本发明涉及一种机器人视觉方法，尤其涉及基于3D图像传感器的室内机器人视觉手眼关系标定方法。

背景技术

随着3D传感器的应用与发展，越来越多的机器人采用3D传感器作为机器人视觉***，与传统的双目视觉***同，3D传感器采集的是当前场景的点云图像信息，其图像信息是大量三维坐标值，能直观的反应出深度和图像信息。传统的双目视觉***采用的是两个工业相机，采集的是当前场景的平面图像，其图像信息是像素值，通过两个图像的视差来计算深度信息，这不可避免地会带来计算误差，导致精度降低。在机器人手眼标定***中，采用3D传感器返回标记点的三维坐标值，应用三维动态测量仪测量标记点相对于手臂基坐标系的三维坐标值，求出转换矩阵即可得手眼关系标定矩阵，点云图像获取简便快捷，标定操作简单，标定精度较高；现有的机器人手眼关系标定方法，如文献“手眼立体视觉的算法与实现”(熊春山，黄心汉，王敏。《机器人》，2001，23(2)，pp.113～117)基于直接将图像坐标映射到机器人参考坐标的“黑箱”思想，简化了标定过程，但计算相对复杂。本文提出的基于3D传感器的室内机器人手眼标定的新方法，应用了“黑箱”思想，标定过程简单，且计算量小，精度较高，能有效满足机器手眼标定的需求。

发明内容

本发明的特征和优点在下文的描述中部分地陈述，或者可从该描述显而易见，或者可通过实践本发明而学习。

为克服现有技术的问题，本发明提供一种基于3D图像传感器的室内机器人视觉手眼关系标定方法，包括步骤S1、在机器人的手抓末端关节标记多个标记点，通过该机器人的3D视觉传感器采集该手抓面末端关节的点云图像信息，获取相对于视觉传感器坐标系多组三维坐标值；S2、外部三维测量设备采集世界坐标系下的该手抓末端关节的多个标记点的三维坐标值，该值是相对于该机器人的手臂基坐标系采集的；S3、通过步骤S1、S2获取的坐标值，得出手眼关系标定矩阵。

根据本发明的一个实施例，该手抓末端关节上标有四个标记点，其中三个位于手指末端，另一个位于手心，且在测量时其相互关系为任意三点不共线四点不共面。

根据本发明的一个实施例，在该步骤S1中，该3D视觉传感器通过点云库PCL内鼠标键盘触发事件算法得到该手抓末端关节的点云图像信息。

根据本发明的一个实施例，该外部三维测量设备在采集该手抓末端关节的标记点的三维坐标时，以该机器人手臂基坐标系为参考坐标系。

根据本发明的一个实施例，在该步骤S3中，通过改变该手抓末端多个标记点的相互位置，多次记录数值并计算转移矩阵，求得最优矩阵，将该最优该矩阵作为该手眼关系标定矩阵。

本发明提供的基于3D传感器的室内机器人视觉手眼关系标定的方法，具有方法简单、测量精度较高、易推广等特点，能有效满足室内机器人手眼标定的需要，且有效简化了标定过程，不需要标定摄像机内外参数，计算量小，且具有较高的手眼标定精度。

通过阅读说明书，本领域普通技术人员将更好地了解这些技术方案的特征和内容。

附图说明

下面通过参考附图并结合实例具体地描述本发明，本发明的优点和实现方式将会更加明显，其中附图所示内容仅用于对本发明的解释说明，而不构成对本发明的任何意义上的限制，在附图中：

图1为本发明实施例的机器人与外部三维测量设备的结构示意图。

图2为本发明实施例的基于3D图像传感器的室内机器人视觉手眼关系标定方法的流程示意图。

图3为本发明实施例的基于3D图像传感器的室内机器人视觉手眼关系标定方法的具体流程示意图。

具体实施方式

请参照图1，图1为本发明实施例的机器人与外部三维测量设备的结构示意图，室内移动机器人4上设有3D传感器Kinect，机器人手抓末端关节5标记了四个黑点2，作为标记点，分别位于左右手抓末端关节的三个手指末端和手心内，在该室内移动机器人的旁边竖着NDI三维动态测量仪3。在测量时，令机器人给手臂及手抓末端各关节使能，使得手抓末端在机器人前方合适位置，确保在Kinect的视场范围内，并使手指末端的四个标记点相互关系为三点不共线四点不共面。机器人终端运行Kinect采集点云图像的程序，主要函数为点云库PCL(Point Cloud Library)中的鼠标键盘触发事件函数，该函数功能为点击点云图像中一点可返回该点的三维坐标值。

如图2所示，本发明提供一种基于3D图像传感器的室内机器人视觉手眼关系标定方法，包括步骤S1、在机器人4的手抓末端关节5标记多个标记点2，通过该机器人的3D视觉传感器1采集该手抓面末端关节的点云图像信息，获取相对于视觉传感器坐标系多组三维坐标值；S2、外部三维测量设备3采集世界坐标系下的该手抓末端关节5的多个标记点2的三维坐标值，该值是相对于该机器人的手臂基坐标系采集的；S3、通过步骤S1、S2获取的坐标值，得出手眼关系标定矩阵。

本实施例中，在步骤S1中，该3D视觉传感器通过点云库PCL内鼠标键盘触发事件算法得到该手抓末端关节的点云图像信息；在步骤S2中，该外部三维测量设备在采集该手抓末端关节的标记点的三维坐标时，以该机器人手臂基坐标系为参考坐标系；在步骤S3中，通过改变该手抓末端多个标记点的相互位置，多次记录数值并计算转移矩阵，求得最优矩阵，将该最优该矩阵作为该手眼关系标定矩阵。

请再参照图3，在具体实施时，首先对机器人手抓末端关节标记四个特征点，并对机器人手臂使能，使得手抓末端关节在3D传感器和三维动态测量仪的视场范围里面。终端启动Kinect并运行图像采集程序，显示出包含手抓末端的实时点云图像流，依次点击图像中四个标记点，触发鼠标键盘函数，返回四个标记点的三维坐标值；在NDI三维动态测量仪的测量空间中，以机器人手臂基坐标系为源点坐标系，测得手抓末端关节四个标记点的三维坐标值。通过这两组三维坐标值，即可求得手眼关系矩阵。

具体来说，可以以{x，y，z}为世界坐标系，{x_k，y_k，z_k}坐标系为3D传感器Kinect采集的点云图像坐标系，{x_n，y_n，z_n}坐标系为NDI三维动态测量空间中，机器人手臂的基坐标系，(x₀，y₀，z₀)为Kinect相对于{x_n，y_n，z_n}坐标系的平移向量。依次点击当前采集的点云图像中四个标记点，记录下返回的四个三维坐标值，记为{x_k ⁱ，y_k ⁱ，z_k ⁱ}，i＝1，2，3，4。同时在NDI三维动态测量仪的测量空间中，以机器人手臂基坐标系为源点坐标系，记录当前手抓末端四个标记点的三维坐标值，记为{x_n ⁱ，y_n ⁱ，z_n ⁱ}，i＝1，2，3，4。

由公式：

[\begin{matrix} x_{n}^{1} & x_{n}^{2} & x_{n}^{3} & x_{n}^{4} \\ y_{n}^{1} & y_{n}^{2} & y_{n}^{3} & y_{n}^{4} \\ z_{n}^{1} & z_{n}^{2} & z_{n}^{3} & z_{n}^{4} \\ 1 & 1 & 1 & 1 \end{matrix}] = [\begin{matrix} x_{1} & x_{2} & x_{3} & x_{0} \\ y_{1} & y_{2} & y_{3} & y_{0} \\ z_{1} & z_{2} & z_{3} & z_{0} \\ 0 & 0 & 0 & 1 \end{matrix}] * [\begin{matrix} x_{k}^{1} & x_{k}^{2} & x_{k}^{3} & x_{k}^{4} \\ y_{k}^{1} & y_{k}^{2} & y_{k}^{3} & y_{k}^{4} \\ z_{k}^{1} & z_{k}^{2} & z_{k}^{3} & z_{k}^{4} \\ 1 & 1 & 1 & 1 \end{matrix}]

推出转移矩阵为

[\begin{matrix} x_{1} & x_{2} & x_{3} & x_{0} \\ y_{1} & y_{2} & y_{3} & y_{0} \\ z_{1} & z_{2} & z_{3} & z_{0} \\ 0 & 0 & 0 & 1 \end{matrix}] = [\begin{matrix} x_{n}^{1} & x_{n}^{2} & x_{n}^{3} & x_{n}^{4} \\ y_{n}^{1} & y_{n}^{2} & y_{n}^{3} & y_{n}^{4} \\ z_{n}^{1} & z_{n}^{2} & z_{n}^{3} & z_{n}^{4} \\ 1 & 1 & 1 & 1 \end{matrix}] * {[\begin{matrix} x_{k}^{1} & x_{k}^{2} & x_{k}^{3} & x_{k}^{4} \\ y_{k}^{1} & y_{k}^{2} & y_{k}^{3} & y_{k}^{4} \\ z_{k}^{1} & z_{k}^{2} & z_{k}^{3} & z_{k}^{4} \\ 1 & 1 & 1 & 1 \end{matrix}]}^{- 1}

通过改变手抓末端四个标记点的相互位置，多次记录数值并计算转移矩阵，求得最优矩阵。该矩阵即为所求的手眼关系标定转移矩阵。

以上参照附图说明了本发明的优选实施例，本领域技术人员不脱离本发明的范围和实质，可以有多种变型方案实现本发明。举例而言，作为一个实施例的部分示出或描述的特征可用于另一实施例以得到又一实施例。以上仅为本发明较佳可行的实施例而已，并非因此局限本发明的权利范围，凡运用本发明说明书及附图内容所作的等效变化，均包含于本发明的权利范围之内。

Claims

1.一种基于3D图像传感器的室内机器人视觉手眼关系标定方法，其特征在于，包括步骤：

S1、在机器人的手抓末端关节标记多个标记点，通过所述机器人的3D视觉传感器采集所述手抓面末端关节的点云图像信息，获取相对于视觉传感器坐标系多组三维坐标值；

S2、外部三维测量设备采集世界坐标系下的所述手抓末端关节的多个标记点的三维坐标值，该值是相对于所述机器人的手臂基坐标系采集的；

S3、通过步骤S1、S2获取的坐标值，得出手眼关系标定矩阵。

2.如权利要求1所述的基于3D图像传感器的室内机器人视觉手眼关系标定方法，其特征在于，所述手抓末端关节上标有四个标记点，其中三个位于手指末端，另一个位于手心，且在测量时其相互关系为任意三点不共线四点不共面。

3.如权利要求1所述的基于3D图像传感器的室内机器人视觉手眼关系标定方法，其特征在于，在所述步骤S1中，所述3D视觉传感器通过点云库PCL内鼠标键盘触发事件算法得到所述手抓末端关节的点云图像信息。

4.如权利要求1所述的基于3D图像传感器的室内机器人视觉手眼关系标定方法，其特征在于，所述外部三维测量设备在采集所述手抓末端关节的标记点的三维坐标时，以所述机器人手臂基坐标系为参考坐标系。

5.如权利要求1所述的基于3D图像传感器的室内机器人视觉手眼关系标定方法，其特征在于，在所述步骤S3中，通过改变所述手抓末端多个标记点的相互位置，多次记录数值并计算转移矩阵，求得最优矩阵，将所述最优该矩阵作为所述手眼关系标定矩阵。