CN110405730A - 一种基于rgb-d图像的人机物交互机械臂示教*** - Google Patents

Abstract

本发明属于机器人技术与应用领域，涉及一种基于RGB‑D图像的人机物交互机械臂示教***。该示教***基于RGB‑D图像进行物体识别，通过ROS***中的tf树和Kinect V2点云信息，将物体和机械臂统一到相同坐标下实现物体定位。根据人类行为习惯，基于MoveIt！进行了机械臂高层动作规划。示教过程中，通过在操作界面中选择物体，可以获取物体的类别和位姿，然后从高层动作集中选择一个动作，控制机械臂在实际空间中操作对应的物体，多步交互就构成了示教轨迹。本发明的示教***可以实现面向任务级的人机物智能交互，替代实际机器人***进行示教学习，具有效率高、便捷、安全等特点。

Description

一种基于RGB-D图像的人机物交互机械臂示教***

技术领域

本发明属于机器人技术与应用领域，涉及一种基于RGB-D图像的人机物交互机械臂示教***。

背景技术

在机器学习过程中人-机交互通常是一种有效的方式，在机器人获取技能上与交互相关的工作主要有虚拟现实(Virtual Reality，VR)示教和离线编程。上述两种方法都需要提前建立三维场景模型，实时感知和适应变化环境的性能较差。RGB-D摄像头可以很好的解决这个问题，它能够直接获取三维空间的深度信息，并以点云的形式呈现，常被用于观察和捕捉示教者的行为序列，然后通过学习适配到机器人关节，是机器人获取环境信息的主要途径。

已有的示教方法面向关节动作示教，智能层次较低，适用于工业生产线上特定的、简单的任务。当示教日常生活技能时，工作量较大。且关节动作数据维度较高，学***台的研究还较少。基于RGB-D图像交互的示教***立足于摄像头视角，通过观察示教者用光标在图像中与物体交互，控制机器人操作实际环境中的物体，学习特定的状态-动作序列，实现一种简单、直观的机器人示教方法。

发明内容

针对现有技术存在的问题，本发明提出一种基于RGB-D图像的人机物交互机械臂示教***。本发明的目的是将RGB-D图像作为示教平台构建一种基于RGB-D图像的人机物交互的机械臂示教***(RGB-D image interaction demonstration，RGBD-ID)。通过对动作设置使用分层思想，纬度较高的低层关节动作通过组合构建出数量更少的机器人动作，通过观察示教者在RGB图像中与物体交互，控制机器人在实际环境中运动，学习特定的状态-动作序列，实现一种简单、直观的机器人示教方法。

为了达到上述目的，本发明采用的技术方案为：

通过Kinect摄像头采集视觉图像信息进行物体识别。通过坐标转换关系和KinectV2图像信息，将物体和机械臂统一到同一坐标系下实现物体定位。通过对人类行为习惯研究，进行机械臂高层动作规划。将RGB-D图像空间作为机器人示教空间，在高层动作集中选择一个动作，控制机械臂在实际空间中操作对应的物体，多步交互构成示教轨迹。

一种面向任务、方便的基于RGB-D图像的人机物交互机械臂示教***，该***首先通过RGB-D摄像头和动作分层思想搭建机器人示教平台，再以RGB-D图像空间作为机器人示教空间，实现一种面向任务、方便的机械臂示教，包括两部分，具体为：

所述的构建机器人示教平台步骤如下：

步骤(1)：将Kinect V2获取的点云图像和原始的RGB-D图像进行配准，消除两个图像坐标系的偏移，具体为：获取摄像头图像数据，根据RGB图像和点云图像进行RGB摄像头、深度摄像头和两者相对位姿的标定，消除两个图像坐标系的偏移，使彩色图像像素坐标系下每个点的三维坐标值通过点云数据确定。

步骤(2)：采用图像识别方法进行物体识别，提取出目标物区域，确定物体的空间位置。具体方法包括有基于颜色识别，sift算法，orb算法，深度学习(或卷积神经网络)。

所述的基于颜色进行物体识别具体步骤：首先将RGB图像转化为HSV图像，根据颜色设置H、S、V三个通道阈值，然后对三个通道符合要求的像素点做运算，得到符合颜色要求的区域，根据物体区域确定中心。

步骤(3)：对示教物体进行定位。

构建与实际机器人具有相同属性(杆件几何参数、运动学参数、坐标转换关系、碰撞关系)的机器人模型，利用获取的物体在RGB图像中的坐标值以及机器人模型的坐标转换关系将机器人和物体统一到相同世界坐标系下，实现物体的定位。坐标变换如附图1所示。

首先，根据机器人模型，计算得到世界坐标系到机械臂基座标系，再到机械臂末端执行器坐标系的齐次变换矩阵通过手眼参数标定得到机器人末端执行器到KinectV2相机坐标系的转换矩阵 为Kinect V2相机坐标系到成世界坐标系的变换矩阵：

R是旋转矩阵，T是平移矩阵。

其次，假定物体A在RGB图像的像素坐标值为根据点云数据可以确定物体A在相机坐标系下的三维坐标值为两者之间的映射关系为 为物体A在世界坐标系下的三维坐标值：

最后，将实际机器人和物体A统一到相同的世界坐标系下，我们在RGB图像中选择物体，机器人就能够直接去操作三维空间中的目标物。

采用传统的方法进行手眼标定确定摄像头到世界坐标系的变换矩阵，具体方法包括Eye-in-Hand和Eye-to-Hand，然后结合点云数据确定物体在世界坐标系下的位姿。

步骤(4)：基于MoveIt！进行动作分层规划，对机器人动作进行分层抽象，将低层次的关节运动组合成更高层的动作单元，将动作单元按照一定顺序组合，构建任务单元；规划内容分为三部分：分别为底层的路径规划，即关节空间的轨迹规划，中间层的动作规划，即通过路径组合实现类人动作，更高层的任务规划，即针对任务进行动作组合。

底层的路径规划具体为：

结合urdf文件为机器人创建用于运动规划的功能包。给定机械臂末端起点位姿给定机械臂末端起点位姿A和终点位姿F，使用KDL库进行点与点之间的轨迹插值，得到一系列的路径点。MoveIt！将路径点作为末端执行器轨迹的约束，对其它关节值进行运动规划，从而控制机械臂从一个位置运动到另一个位置。

中间层的动作规划具体为：

在底层路径规划的基础上进行中间层高阶动作规划。对于一些常用动作，根据动作路径的关键点位姿点，将其简化为由多条折线连接而成的路径，进而得到中间层高阶动作规划。

更高层的任务规划具体为：

基本动作可以完成一些常规任务，通过动作的组合或者重新设计可以组成更加高级的动作。

所述的RGB-D图像交互示教方法步骤如下：

综合RGB-D图像和动作分层规划思想，本发明提出的RGB-D图像交互示教方法将RGB-D图像空间作为机器人示教空间，控制机器人在实际三维空间中操作物体。每一步操作者在RGB图像中选择一个物体告诉机器人我们需要操作的对象，通过物体识别和定位计算出物体姿态信息，告诉机器人要操作的物体在哪里，然后选择一个动作去控制机器人，告诉机器人怎么样去操作物体，一系列的操作就组成一项技能的示教轨迹。

步骤(1)：用物体集合{obj₁，obj₂，obj₃…obj_n}表示示教任务中的N个物体，在RGB图像中选择了物体obj_i，其像素坐标为(x_i，y_i)。然后从高层动作集合{a₁，a₂，a₃…a_n}中选择动作a后，记录物体obj_i的状态。

步骤(2)：用D表示示教轨迹的样本集合，一个任务的示教轨迹为d～D。每个时间步选择一个物体obj_t，然后选择一个动作a_t，单步的示教可以描述为d(t)＝((s_objt，s_r)，a_t)，其中s_objt是物体obj_t的状态，为物***姿，由像素坐标(x_i，y_i)通过坐标变换得到，s_r是机械臂状态，为末端执行器位姿和手爪开闭状态，由调用move_group接口函数得到。对于任务k一段完整的示教轨迹可以表示为：

d＝{((s_obj1，s_r1)，a₁)，((s_obj2，s_r2)，a₂)，…((s_objt，s_rt)，a_t)，…，((s_objT，s_rT)，a_T)} (3)

如日常生活中一步一步口语化描述一个任务，一个动词后面跟着一个名词，表示用一个动作操作一个物体。

本发明的有益效果：

根据RGB-D图像能够映射三维空间信息的属性，提出了一种与RGB-D图像交互的机械臂示教方法，该方法结合智能交互思想并面向任务级示教，是一种面向任务、高层的、简单的示教方法。在RGB-D图像中选择一个物体和动作之后，即可控制机械臂在实际工作空间操作对应的物体，每一步与物体和动作交互过程即为一个标记过程，省去了额外手动标记关键特征的步骤。动作设置时使用了分层思想，示教过程中忽略每个关节的具体数值，抽象了高阶动作，有效避免了维数灾难，可以根据任务需求扩展增加新的动作。可实现远程操作，即RGB-D图像的示教空间和机械臂的工作空间可分离，打破了距离限制。

附图说明

图1为本发明所采用的坐标变换图；图中整个坐标系***可以随时间跟踪和维护多个参考系的坐标变换关系，可以在任意时间，将点的坐标在两个坐标系中完成坐标变换。

图2为本发明构建的示教流程图。

图3为实施例中所设计的基本动作路径。

图4为实施例中进行的RGB-D图像交互示教

图5为实施例中为方便开展示教工作设计的用户操作界面。

具体实施方式

本方法提出的基于RGB-D图像的人机物交互机械臂示教***与方法，与传统的示教方法相比，是一种面向任务、高层的、简单的示教方法，忽略每个关节的具体数值，直接输出抽象的高层动作，在RGB图像空间与物体交互并选择动作，控制机械臂在实际空间操作物体，可在仿真环境下进行示教，效率较高、安全低损耗并且可以实现数据共享。

实施例中，采用以下实施方式：

所述的机器人示教平台构建步骤如下：

步骤(1)：调用libfreenect2驱动获取摄像头图象数据，订阅其中像素为960×540的RGB图像和点云图像，根据两者进行RGB摄像头、深度摄像头和两者相对位姿的标定，消除两个图像坐标系的偏移，使彩色图像像素坐标系下每个点的三维坐标值通过点云数据确定，图像配准后图像彩色区域和深度区域可以有效的重合。

步骤(2)：基于颜色进行物体识别。

首先将RGB图像转化为HSV图像，根据颜色设置H、S、V三个通道阈值，然后对三个通道符合要求的像素点做运算，得到符合颜色要求的区域，根据物体区域确定中心。

步骤(3)：对示教物体进行定位。

构建与实际机器人具有相同属性(杆件几何参数、运动学参数、坐标转换关系、碰撞模型)的机器人模型，利用获取的物体在RGB图像中的坐标值以及机器人的坐标转换关系将机器人和物体统一到相同的世界坐标系下，实现物体的定位。

首先，根据构建的机器人模型，首先，根据机器人模型，计算得到世界坐标系到机械臂基座标系，再到机械臂末端执行器坐标系的齐次变换矩阵通过手眼参数标定得到机器人末端执行器到Kinect V2相机坐标系的转换矩阵 为Kinect V2相机坐标系到成世界坐标系的变换矩阵：

R是旋转矩阵，T是平移矩阵。

其次，假定物体A在RGB图像的像素坐标值为根据点云数据可以确定物体A在相机坐标系下的三维坐标值为两者之间的映射关系兆 为物体A在世界坐标系下的三维坐标值：

最后，将实际机器人和物体A统一到相同的世界坐标系下，在RGB图像中选择物体，机器人就能够直接去操作三维空间的目标物。

步骤(4)：基于MoveIt！进行动作分层规划，对机器人动作进行分层抽象，将低层次的关节运动组合成更高层的动作单元，将动作单元按照一定顺序组合，构建任务单元；规划内容分为三部分，分别为底层的路径规划，即关节空间的轨迹规划，中间层的动作规划，即通过路径组合实现类人动作，更高层的任务规划，即针对任务进行动作组合。

本发明通过设计末端执行器的动作路径来模仿人类的高阶技能，机械臂关节值由运动规划算法计算得到，忽略示教过程中每个关节的具体数值，学习模型直接输出抽象的高级动作。

底层的路径规划具体为：

结合urdf文件为机器人创建用于运动规划的功能包，给定机械臂末端起点位姿给定机械臂末端起点位姿A和终点位姿F，使用KDL库进行点与点之间的轨迹插值，得到一系列的路径点。MoveIt！将路径点作为末端执行器轨迹的约束，对其他关节值进行运动规划，从而控制机械臂从一个位置运动到另一个位置。

中间层的动作规划具体为：

在底层路径规划的基础上进行中间层高阶动作规划。对于一些常用动作，根据动作路径的关键点位姿点，将其简化为由多条折线连接而成的路径。针对日常任务，共设计了四个常见的动作，为{位姿初始化，移动动作，抓取动作，放置动作}，这四个基本动作可以完成一些常规任务，通过动作的组合或者重新设计可以组成更加高级的动作。每个动作的路径如附图2所示。

所述的RGB-D图像交互示教步骤如下：

本发明提出的RGB-D图像交互示教方法考虑将RGB-D图像空间作为机器人示教空间，控制机器人在实际三维空间中操作物体。每一步操作者在RGB图像中选择一个物体告诉机器人我们需要操作的对象，通过物体识别和定位计算出物体姿态信息，告诉机器人要操作的物体在哪里，然后选择一个动作去控制机器人，告诉机器人怎么样去操作物体。操作过程如附图3所示。一系列的操作就组成一项技能的示教轨迹。

步骤(1)：用物体集合{obj₁，obj₂，obj₃…obj_n}表示示教任务中的N个物体，在RGB图像中选择了物体obj_i，其像素坐标为(x_i，y_i).然后从高层动作集合{a₁，a₂，a₃…a_n}中选择动作a后，记录物体obj_i的状态。

步骤(2)：用D表示示教轨迹的样本集合，一个任务的示教轨迹为d～D。每个时间步选择一个物体obj_t然后选择一个动作a_t，单步的示教可以描述为d(t)＝((s_objt，s_r)，a_t)，其中s_objt是物体obj_t的状态，为物***姿，由像素坐标(x_i，y_i)通过坐标变换得到，s_r是机械臂状态，为末端执行器位姿和手爪开闭状态，由调用move_group接口函数得到。对于任务k一段完整的示教轨迹可以表示为

d＝{((s_obj1，s_r1)，a₁)，((s_obj2，s_r2)，a₂)，…((s_objt，s_rt)，a_t)，…，(s_objT，s_rT)，a_T)}

如日常生活中一步一步口语化描述一个任务，一个动词后面跟着一个名词，表示用一个动作操作一个物体。

实施例中通过RGBD-ID方法示教了机械臂堆叠积木任务，在仿真环境和实际机器人环境同时使用了4个不同颜色(红、黄、蓝、白)的木质积木作为任务对象，任务设置为将蓝、红、黄三种颜色积木从下到上的顺序堆叠。在交互图像中选择红色积木，物体的ID和位姿会被记录。然后从动作集中选择抓取动作来抓取红色积木，动作的ID会被记录。在机械臂实际工作空间中，手抓将移动到红色积木上方，然后选择位姿初始化动作，将机械臂移动到初始位姿，避免机械臂遮挡摄像头视角，影响信息获取，再选择蓝色积木并选择放置动作，机械臂回吧红色积木放置在蓝色积木上方，最后再选择位姿初始化动作，完成把红色积木放置到蓝色积木上方任务。将黄色积木放置到红色积木上方任务流程类似，只是选择操作的物体发生变换。堆叠积木示教过程如附图4

同时使用MatlabGUI设计了用户操作界面，如附图5所示。界面包括RGB图像交互窗口、选择按钮、动作集列表、数据可视化区域，在之后的工作中会陆续添加其他功能模块。

对于设置的堆叠积木任务，示教步数总共为8步，每次实验积木在环境中的初始位姿都是随机放置，在示教过程中采集了原始示教数据，用于之后模仿学习模型训练。在实际和仿真环境中不管是操作还是数据结构示教体验是相同的，因此模仿学习和强化学习等后续机器人学习工作可在仿真环境下进行，是一种高效、安全低损耗和数据共享的方法。

Claims (4)

1.一种基于RGB-D图像的人机物交互机械臂示教***，其特征在于，该示教***首先通过RGB-D摄像头和动作分层思想搭建机器人示教平台，通过对人类行为***台和RGB-D图像交互示教两部分，具体为：

所述的构建机器人示教平台步骤如下：

步骤(1):将Kinect V2获取的点云图像和原始的RGB-D图像进行配准，消除两个图像坐标系的偏移；

步骤(2):采用图像识别方法进行物体识别，提取出目标物区域，确定物体的空间位置；基于颜色进行物体识别具体为：首先将RGB图像转化为HSV图像，根据颜色设置H、S、V三个通道阈值，然后对三个通道符合要求的像素点做运算，得到符合颜色要求的区域，根据物体区域确定中心；

步骤(3):对示教物体进行定位；

构建与实际机器人具有相同属性的机器人模型，利用获取的物体在RGB图像中的坐标值以及机器人模型的坐标转换关系将机器人和物体统一到相同世界坐标系下，实现物体的定位；所述的属性包括杆件几何参数、运动学参数、坐标转换关系、碰撞关系；

首先，根据机器人模型，计算得到世界坐标系到机械臂基座标系，再到机械臂末端执行器坐标系的齐次变换矩阵通过传统的手眼参数标定法进行手眼标定确定摄像头到世界坐标系的变换矩阵，即得到机器人末端执行器到Kinect V2相机坐标系的转换矩阵 为Kinect V2相机坐标系到成世界坐标系的变换矩阵：

R是旋转矩阵，T是平移矩阵；

其次，假定物体A在RGB图像的像素坐标值为根据点云数据可以确定物体A在相机坐标系下的三维坐标值为两者之间的映射关系为 为物体A在世界坐标系下的三维坐标值：

最后，将实际机器人和物体A统一到相同的世界坐标系下，我们在RGB图像中选择物体，机器人就能够直接去操作三维空间中的目标物；

步骤(4):基于MoveIt！进行动作分层规划，对机器人动作进行分层抽象，将低层次的关节运动组合成更高层的动作单元，将动作单元按照一定顺序组合，构建任务单元；规划内容分为三部分：分别为底层的路径规划，即关节空间的轨迹规划；中间层的动作规划，即通过路径组合实现类人动作；更高层的任务规划，即针对任务进行动作组合；

所述的RGB-D图像交互示教方法步骤如下：

综合RGB-D图像和动作分层规划，将RGB-D图像空间作为机器人示教空间，控制机器人在实际三维空间中操作物体，具体为：

步骤(1):采用物体集合{obj₁，obj₂，obj₃…obj_n}表示示教任务中的N个物体，在RGB图像中选择物体obj_i，其像素坐标为(x_i，y_i)；从高层动作集合{a₁，a₂，a₃…a_n}中选择动作a后，记录物体obj_i的状态；

步骤(2):采用D表示示教轨迹的样本集合，一个任务的示教轨迹为d～D；每个时间步选择一个物体obj_t；选择一个动作a_t，单步的示教可以描述为d(t)＝((s_objt，s_r)，a_t),其中s_objt是物体obj_t的状态，为物***姿，由像素坐标(x_i，y_i)通过坐标变换得到，S_r是机械臂状态，为末端执行器位姿和手爪开闭状态；对于任务k一段完整的示教轨迹表示为：

d＝{((s_obj1，s_r1)，α₁)，((s_obj2，s_r2)，α₂)，…((s_objt，s_rt)，α_t)，…，((s_objT，s_rT)，α_T)} (3)。

2.根据权利要求1所述的一种基于RGB-D图像的人机物交互机械臂示教***，其特征在于，所述的构建机器人示教平台中步骤(2)所述的图像识别方法包括基于颜色识别，有SIFT算法，ORB算法，深度学习。

3.根据权利要求1所述的一种基于RGB-D图像的人机物交互机械臂示教***，其特征在于，所述的构建机器人示教平台中步骤(3)所述的传统的手眼参数标定法包括Eye-in-Hand和Eye-to-Hand，然后结合点云数据确定物体在世界坐标系下的位姿。

4.根据权利要求1所述的一种基于RGB-D图像的人机物交互机械臂示教***，其特征在于，所述的构建机器人示教平台中步骤(4)中：

所述的底层的路径规划为：为机器人创建用于运动规划的功能包；给定机械臂末端起点位姿给定机械臂末端起点位姿A和终点位姿F，使用KDL库进行点与点之间的轨迹插值，得到一系列的路径点；MoveIt！将路径点作为末端执行器轨迹的约束，对其它关节值进行运动规划，从而控制机械臂从一个位置运动到另一个位置；

所述的中间层的动作规划为：在底层路径规划的基础上进行中间层高阶动作规划；根据动作路径的关键点位姿点，将常用动作简化为由多条折线连接而成的路径，得到中间层高阶动作规划。