CN109483517A - 一种基于手姿追踪的协作机器人示教方法 - Google Patents

Abstract

本发明公开了一种基于手姿追踪的协作机器人示教方法，包括以下步骤：第一步，设置机器人运动的速度上限值，同时启动传感器、计算机程序以及机器人控制器；第二步，手姿数据的接收、处理和传输。首先获取数据，然后进行高通滤波，并进行平均值处理，最后实现数据通讯。第三步，建立手姿与机器人末端的映射，由手掌实时的速度和转动角速度转换得到机器人末端运动的速度和角速度；第四步，机器人控制器接收处理后的手势数据并控制机器人运动，实现机器人和操作员手部的同步协调运动；第五步，机器人运动复现。本发明可实现机器人沿X轴的平动，Y轴的平动，Z轴的平动，绕X轴的转动，绕Y轴的转动以及绕Z轴的转动。

Description

一种基于手姿追踪的协作机器人示教方法

技术领域

本发明涉及到机器人控制领域，尤其涉及人机协作时基于手姿追踪传感器手势识别的机器人示教技术。

背景技术

随着机器人技术的发展，人机协作、人机交互成为机器人控制技术领域的新课题。

在工业机器人领域，机器人示教技术多是采用手动编程示教，就是操作人员通过示教器，手动控制机器人运动到预定的位置，同时将该位置进行记录，并传递到机器人控制器中，之后根据指令自动重复该任务。这种示教方法适用于对机器人灵活性要求较低的工作，同时示教效率不高。若是遇到像服装喷涂这种对机械臂灵活性要求较高的工作，手动编程示教显然难以满足要求。服装喷涂过程中，虽然机器人末端精度要求不高，但是灵活性要求非常高。而且要求操作人员多次实验才能选取最合适的喷涂动作，而手动编程示教在效率上难以满足要求。

发明内容

本发明的目的在于克服已有技术的缺点，提出一种实现更好的人机协作和人机互动的基于手姿追踪传感器的协作机器人示教方法。

本发明通过以下技术步骤实现：

一种基于手姿追踪的协作机器人示教方法，包括以下步骤：

步骤一、示教准备：

将手姿追踪传感器水平放置于试验台，使得手姿追踪传感器的坐标系的X₁Y₁Z₁轴和机器人的基座标系的Y₀Z₀X₀轴分别平行；

设置机器人运动的速度上限值，同时启动手姿追踪传感器1、计算机以及机器人控制器；手姿追踪传感器以及机器人控制器分别通过数据线与计算机相连；

将示教器连接在机器人控制器上，在示教器上将机器人控制调为手动控制模式，通过示教器将控制信号依次传递给机器人控制器、机器人伺服驱动器以将机器人的机械臂调至运动的起始位置，在示教器中记录机器人的初始位姿并输入机器人回到初始位姿的程序，在示教器上将机器人运动的参考坐标系调为世界坐标系；

步骤二、采集操作员手部运动过程中的平动速度和转动角速度，具体步骤为：

(a)通过手姿追踪传感器采集操作员手部的位置和姿态数据，然后将采集的手部的数据传输给计算机，对手部的位置和姿态求微分，得到三自由度的平动速度和三自由度的转动角速度；

(b)用高通滤波的方法对微分后的三自由度的平动速度和三自由度的转动角速度进行滤波，当运动速度低于阈值时，计算机给机器人传送的速度值为0，机器人保持静止状态，从而形成六组滤波后数据数列；

(c)数据处理：

第一步，首先判断每组滤波后数据数列中当前帧的数据相对于前一帧的数据变化是否超过20％时，未超过则当前帧数据可用，若超过则舍去这一组数据，依旧采用前一帧的数据，作为当前帧可用数据；

第二步，将当前帧可用的平动速度和转动角速度数据和相邻前四帧的平动速度和转动角速度数据分别求平均值作为最终的手掌可用数据输出；

(d)坐标变换：通过手姿与机器人末端的映射，将手掌坐标系下的手掌可用数据经过坐标变换计算得到在机器人的基座标系下的机器人末端运动的速度和角速度；

步骤三、数据传输：

(a)确定使手掌运动的速度和角速度和机器人末端运动的速度和角速度合理地实现一一对应的比例系数，将手掌运动的速度和角速度进行放大，然后将放大后的速度和角速度数据作为最终应用的数据存入计算机；

(b)数据通讯：利用计算机的TCP/IP协议将计算机中放大后的速度和角速度数据传递给机器人控制器，实现计算机和机器人控制器的通讯；

步骤四、机器人控制：

(a)机器人控制器接收已经放大后的手势运动数据并传输给机器人伺服控制器控制机器人运动，实现人机同步运动；

(b)机器人复位过程：运动结束后，运行机器人控制器复位程序，使得机器人迅速回到起始位置点；

步骤五、机器人运动复现：从计算机中调取步骤三存入的一系列运动速度值，将其再次传给机器人控制器，重复步骤三和步骤四，实现机器人的重复运动。

本发明的有益效果是：本发明的基于手势识别的协作机器人示教方法通过体感传感器接收操作人员的手部运动，来引导机器人在世界坐标系下以相应的速度和相应的方向上移动，并可以实现动作复现。本发明提供的示教方法操作简单、工作效率高，不需要操作人员太多的专业知识，容易上手。本发明适用于大多数关节机器人，同时采用的体感传感器价格便宜，具有普遍的适用性。而且在本发明中，操作人员可以远程控制机器人，可以在一些机器人工作环境比较恶劣的情况下使用。

附图说明

图1现有的手姿追踪传感器结构示意图；

图2为本发明方法采用的坐标系转换图；

图3本发明方法信号控制传递示意图；

图4为本发明方法的控制流程图；

图5为本发明的数据处理流程图。

具体实施方式

下面结合附图和实施方式对本发明进行详细阐述。

如附图所示的本发明的一种基于手姿追踪的协作机器人示教方法，包括以下步骤：

步骤一、示教准备：

将手姿追踪传感器水平放置于试验台(本发明采用现有的串联机器人平台即可，如UR机器人)，使得手姿追踪传感器的坐标系的X₁Y₁Z₁轴和机器人的基座标系的Y₀Z₀X₀轴分别平行。

设置机器人运动的速度上限值，同时启动手姿追踪传感器1、计算机以及机器人控制器；手姿追踪传感器以及机器人控制器分别通过数据线与计算机相连。

将示教器连接在机器人控制器上，在示教器上将机器人控制调为手动控制模式，通过示教器将控制信号依次传递给机器人控制器、机器人伺服驱动器以将机器人的机械臂调至运动的起始位置，在示教器中记录机器人的初始位姿并输入机器人回到初始位姿的程序(示教器固有程序语言)。为实现人手和机器人同步运动，在示教器上将机器人运动的参考坐标系调为世界坐标系。

步骤二、由于机器人在运动和工作时涉及到机器人的机械臂末端的平动和绕轴转动，因而采集操作员手部运动过程中的平动速度和转动角速度，具体步骤为：

(a)通过手姿追踪传感器采集操作员手部的位置和姿态数据，然后将采集的手部的数据传输给计算机。对手部的位置和姿态求微分，得到三自由度的平动速度和三自由度的转动角速度。

(b)用高通滤波的方法对微分后的三自由度的平动速度和三自由度的转动角速度进行滤波，当运动速度低于阈值时，计算机给机器人传送的速度值为0。机器人保持静止状态，从而形成六组滤波后数据数列。由于操纵者的手部会存在一定的轻微抖动，未经处理数据对于机器人显然是不可用的。采用高通滤波是为了对于一些低于设定值的运动数据，进行过滤，实现机器人的平稳运动去掉操纵者的手部存在一定的轻微抖动的影响。

经过多次试验，优选的将三自由度的平动速度阈值设定为2mm/s和三自由度的转动角速度阈值设定为2rad/s。

(c)数据处理：

第一步，首先判断每组滤波后数据数列中当前帧的数据相对于前一帧的数据变化是否超过20％时，未超过则当前帧数据可用，若超过则舍去这一组数据，依旧采用前一帧的数据，作为当前帧可用数据。

第二步，将当前帧可用数据和相邻前四帧可用的平动速度和转动角速度数据分别求平均值作为最终的手掌可用数据输出。进行数据处理是为了是为了当操作人员手部运动过快时，消除手姿追踪仪存在的一些测量误差。

(d)坐标变换：通过手姿与机器人末端的映射，将手掌坐标系下的手掌可用数据经过坐标变换计算得到在机器人的基座标系下的机器人末端运动的速度和角速度；

如说明书附图2所示，手掌坐标系为X₂Y₂Z₂、手姿追踪传感器坐标系为X₁Y₁Z₁，机器人基坐标系为X₀Y₀Z₀。

手掌映射到机器人末端运动的参考坐标系的转换矩阵为：

其中r_XX表示手掌的X₂坐标轴和传感器X₁坐标轴夹角的余弦值，r_XY表示手掌的X₂坐标轴和传感器Y₂坐标轴夹角的余弦值，r_XZ表示手掌的X₂坐标轴和传感器Z₁坐标轴夹角的余弦值，r_YX表示手掌的Y₂坐标轴和传感器X₁坐标轴夹角的余弦值，r_YY表示手掌的Y₂坐标轴和传感器Y₁坐标轴夹角的余弦值，r_YZ表示手掌的Y₂坐标轴和传感器Z₁坐标轴夹角的余弦值，r_ZX表示手掌的Z₂坐标轴和传感器X₁坐标轴夹角的余弦值，r_ZY表示手掌的Z₂坐标轴和传感器Y₁坐标轴夹角的余弦值，r_ZZ表示手掌的Z₂坐标轴和传感器Z₁坐标轴夹角的余弦值。p_X1、p_Y1、p_Z1表示手掌中心在传感器坐标系下的坐标。p_X0、p_Y0、p_Z0表示传感器坐标系原点在机器人末端运动参考坐标系的坐标。

上式的推导过程如下：

第一步，手掌坐标系映射到传感器坐标系的变换矩阵为：

第二步，传感器坐标系相对于机器人末端运动的参考坐标系的转换矩阵为：

第三步，手掌映射到机器人末端运动的参考坐标系的转换矩阵为：

这样手掌的位姿即可映射到机器人的运动参考坐标系中，从而机器人末端就可以完全按照操作员的手掌动作进行运动。

步骤三、数据传输：

(a)由于人手的运动范围远小于机器人的工作范围，所以需要确定使得手掌运动的速度和角速度和机器人末端运动的速度和角速度合理地实现一一对应的比例系数。作为本发明的一种实施方式，本实例中设定的系数k＝5，即人手运动10mm，机器人运动50mm。将手掌运动的速度和角速度进行放大，然后将放大后的速度和角速度数据作为最终应用的数据存入计算机。

(b)数据通讯：利用计算机的TCP/IP协议将计算机中放大后的速度和角速度数据传递给机器人控制器，实现计算机和机器人控制器的通讯。将六项手部运动数据发送给机器人控制器。

步骤四、机器人控制：

(a)机器人控制器接收已经放大后的手势运动数据并传输给机器人伺服控制器控制机器人运动，实现人机同步运动。

(b)机器人复位过程。运动结束后，运行机器人控制器复位程序，使得机器人迅速回到起始位置点。

步骤五、机器人运动复现。从计算机中调取步骤三存入的一系列运动速度值，将其再次传给机器人控制器，重复步骤三和步骤四，实现机器人的重复运动。

通过以上过程就实现了完整的基于手姿追踪的机器人示教过程。

本发明实现的机器人末端的运动可分解为六种运动，分别是：机器人运动参考坐标系X₀轴的平动，Y₀轴的平动，Z₀轴的平动，绕X₀轴的转动，绕Y₀轴的转动以及绕Z₀轴的转动。这六种运动基本上涵盖了机器人的主要运动方式，它们的结合可以实现机器人运动到工作范围内(除奇异点)的任意位置。

尽管上面结合附图对本发明的优选实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，并不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可以做出很多形式，这些均属于本发明的保护范围之内。

Claims (3)

1.一种基于手姿追踪的协作机器人示教方法，其特征在于包括以下步骤：

步骤一、示教准备：

将手姿追踪传感器水平放置于试验台，使得手姿追踪传感器的坐标系的X₁Y₁Z₁轴和机器人的基座标系的Y₀Z₀X₀轴分别平行；

设置机器人运动的速度上限值，同时启动手姿追踪传感器1、计算机以及机器人控制器；手姿追踪传感器以及机器人控制器分别通过数据线与计算机相连；

将示教器连接在机器人控制器上，在示教器上将机器人控制调为手动控制模式，通过示教器将控制信号依次传递给机器人控制器、机器人伺服驱动器以将机器人的机械臂调至运动的起始位置，在示教器中记录机器人的初始位姿并输入机器人回到初始位姿的程序，在示教器上将机器人运动的参考坐标系调为世界坐标系；

步骤二、采集操作员手部运动过程中的平动速度和转动角速度，具体步骤为：

(a)通过手姿追踪传感器采集操作员手部的位置和姿态数据，然后将采集的手部的数据传输给计算机，对手部的位置和姿态求微分，得到三自由度的平动速度和三自由度的转动角速度；

(b)用高通滤波的方法对微分后的三自由度的平动速度和三自由度的转动角速度进行滤波，当运动速度低于阈值时，计算机给机器人传送的速度值为0，机器人保持静止状态，从而形成六组滤波后数据数列；

(c)数据处理：

第一步，首先判断每组滤波后数据数列中当前帧的数据相对于前一帧的数据变化是否超过20％时，未超过则当前帧数据可用，若超过则舍去这一组数据，依旧采用前一帧的数据，作为当前帧可用数据；

第二步，将当前帧可用的平动速度和转动角速度数据和相邻前四帧的平动速度和转动角速度数据分别求平均值作为最终的手掌可用数据输出；

(d)坐标变换：通过手姿与机器人末端的映射，将手掌坐标系下的手掌可用数据经过坐标变换计算得到在机器人的基座标系下的机器人末端运动的速度和角速度；

步骤三、数据传输：

(a)确定使手掌运动的速度和角速度和机器人末端运动的速度和角速度合理地实现一一对应的比例系数，将手掌运动的速度和角速度进行放大，然后将放大后的速度和角速度数据作为最终应用的数据存入计算机；

(b)数据通讯：利用计算机的TCP/IP协议将计算机中放大后的速度和角速度数据传递给机器人控制器，实现计算机和机器人控制器的通讯；

步骤四、机器人控制：

(a)机器人控制器接收已经放大后的手势运动数据并传输给机器人伺服控制器控制机器人运动，实现人机同步运动；

(b)机器人复位过程：运动结束后，运行机器人控制器复位程序，使得机器人迅速回到起始位置点；

步骤五、机器人运动复现：从计算机中调取步骤三存入的一系列运动速度值，将其再次传给机器人控制器，重复步骤三和步骤四，实现机器人的重复运动。

2.根据权利要求1所述的基于手姿追踪的协作机器人示教方法，其特征在于：三自由度的平动速度阈值设定为2mm/s，三自由度的转动角速度阈值设定为2rad/s。

3.根据权利要求1或者2所述的基于手姿追踪的协作机器人示教方法，其特征在于：所述的系数为5。