CN108983980A - 一种移动机器人基本运动手势控制方法 - Google Patents

Abstract

一种移动机器人基本运动手势控制方法，以图像处理为基础，通过颜色空间转换、肤色提取、二值化和形态学处理对手势图像进行预处理，经过手势轮廓提取和手势识别识别不同的手势，进而通过ROS将识别结果转换为控制指令，能够有效、快速、准确的利用手势控制移动机器人运动。该手势控制方法简单方便，采用先进的移动机器人和稳定可靠的机器人操作***，能够对五种常用的静态手势进行识别，并转换成相应的运动指令，进而控制移动机器人的前进、后退、左转、右转、停止，该算法鲁棒性好，识别准确率可达90%以上；方便人们对移动机器人进行操纵，具有极大的应用前景，并获得可观的经济效益和社会效益。

Description

一种移动机器人基本运动手势控制方法

技术领域

本发明涉及信息科学与技术领域，具体的说是一种移动机器人基本运动手势控制方法。

背景技术

手势是一种除了语言和表情外常见的表达方式，是目前智能识别领域的重要研究对象之一。在人机交互领域中，基于视觉的手势识别研究是一个热点课题，这种技术使得人机交互不再局限于简单的键盘和鼠标，而是直接通过用户所做的动作来控制交互过程。这样的方式更加灵活，且符合用户习惯。然而，由于手势、肤色、环境的不同，加之手势本身具有多义性以及背景环境的复杂性，使得手势识别成为一个极具挑战性的研究课题。通过将手势识别后的信息与移动机器人的运动控制结合起来，是现在人机交互领域一个十分重要的研究方向。

目前关于移动机器人进行手势控制的研究主要集中在以下几个方面：(1)利用BT神经网络的方法，通过判断手指指示方向进而实现移动机器人不同方向的运动，该方法中间层神经元数量多，组合系数范围过宽，实际使用中需要机器进行学习时间较长，其应用较为复杂；(2)通过凸包凹陷的检测方法，根据检测出来的凹凸点几何数量关系来确定手指数目。通过构建凸点与手心点间的向量、测量凸点的曲率来去除错误的指尖点，从而完成算法检测。根据不同手指个数对应的不同控制指令控制机器人运动，但该方法对于不同手势的识别率相差较大，前后控制的准确度要高于转向控制；(3)采用动态识别算法识别动态手势，例如将手部前推动作设置为向前运动，将下拉动作设置为向后运动，将手画圈设置为转向运动等。该方法需要实时处理很多帧图像，相比静态手势识别来说对处理器要求更高，准确率较低，抗干扰能力差。

此外大部分的研究人员采用自主开发的移动机器人，一定程度上存在着软硬件设计不合理问题，测试和调试可能达不到专业机器人平台的要求，在应用上还有很长的路要走。在保证手势识别准确率的同时，采用更为简单的识别方式和更符合用户***台，都是移动机器人运动手势控制领域的关键所在。

发明内容

本发明提供了一种移动机器人基本运动手势控制方法，以图像处理为基础，通过颜色空间转换、肤色提取、二值化和形态学处理对手势图像进行预处理，经过手势轮廓提取和手势识别识别不同的手势，进而通过ROS将识别结果转换为控制指令，能够有效、快速、准确的利用手势控制移动机器人运动。

为了实现上述目的，本发明采用的具体方案为：一种移动机器人基本运动手势控制方法，以图像处理为基础，通过颜色空间转换、肤色提取、二值化和形态学处理对手势图像进行预处理，经过手势轮廓提取和手势识别识别不同的手势，进而通过ROS将识别结果转换为控制指令，控制移动机器人运动；所述手势轮廓提取采用八邻域搜索法，通过获取手势图像所在的矩形区域提取手势轮廓。

如上所述的一种移动机器人基本运动手势控制方法，具体包括如下步骤：

步骤1、图像预处理：对手势图像依次进行颜色空间转换、肤色提取、二值化和形态学处理，得手势二值图；

步骤2、手势轮廓提取：对图像预处理后，获取手势图像所在的矩形区域，之后进行边缘检测，然后采用八邻域搜索法提取手势轮廓，手势轮廓提取具体包括如下步骤：

S1、计算手势图像所在的矩形区域，具体方法如下：

S11、从左到右，从上至下扫描手势二值图的每一行像素，当扫描到第i行第j列时，若(i，j)处的像素值为1，则确定矩形手势区域的顶部横坐标top；

S12、从左到右，从下至上扫描手势二值图的每一行像素，按照步骤S1方法确定矩形手势区域的底部横坐标bottom；

S13、按照步骤S11和S12的方法确定矩形手势区域的左右边界，以此截取矩形手势区域，且截取时左右两边分别预留5个像素宽度；

S2、计算手势区域中心坐标，具体方法如下：

S21、对步骤S1截取的矩形手势区域的各个像素进行遍历，判断该像素是否属于手势中的像素点，如果是则叠加该像素点的坐标值，并记录手势区域的像素点个数；否则不记录；由此得到手势区域各个像素点的总横坐标和总纵坐标；

S22、利用步骤S21得到的手势区域各个像素点的总横坐标和总纵坐标除以总像素点个数，得到手势区域中心坐标；

步骤3、手势识别：通过计算手指个数，识别规定的5个静态手势分别为手势1-5；将手势识别结果存储为result.mat文件；

步骤4、手势控制：手势控制具体包括如下步骤：

步骤41、在ROS环境下，利用scipy.io中的loadmat函数读取步骤3中result.mat文件的手势识别结果；

步骤42、编写发布器节点Talker，在移动机器人运动控制主题chatter上，以每秒10次的频率发布识别结果的消息；

步骤43、通过订阅器节点Listener订阅移动机器人运动控制主题chatter的消息，并进入自循环，等待消息到达；

步骤44、接收到消息后，识别结果映射得到控制指令发布相应的Twist消息，从而控制移动机器人的移动。

作为一种优选方案，步骤1所述图像预处理具体如下：

步骤11、采用下列公式，将图像由RGB空间转换到HSV空间：

V＝max(R，G，B)；

S＝1-min(R，G，B)/V；

其中，R、G和B分别为图像中每一像素点处RGB颜色空间对应分量的值；

步骤12、人类的肤色颜色空间HSV范围为：H(2,28)，S(50,200)；且肤色的特征色调在RGB空间中，其RGB值符合R>G>B，结合该特征提取肤色信息；

步骤13、根据步骤12提取的肤色信息，对采集到的手势图像进行二值化处理，得到肤色区域，并根据原图像(x,y)处的H、S值和R、G、B值判断二值图(x，y)处的像素值如下：

其中，H和S分别是原图中(x，y)处像素的HSV颜色空间对应分量的值，R、G、B分别为图像中每一像素点处RGB颜色空间对应分量的值；

步骤14、通过膨胀和闭运算组合对步骤13二值化处理后的图像进行形态学处理，得预处理后的手势图像。

作为一种优选方案，步骤13中，采用循环嵌套遍历图像的方式，判断原图中(x，y)处像素的对应分量是否满足条件，如果符合条件则零矩阵(x，y)处像素等于1；反之，则等于0。

作为一种优选方案，步骤3手势识别的具体方法如下：

步骤31、步骤S1获取矩形手势区域后，根据手指边缘处像素的变化来计算手指个数；

步骤32、5个静态手势中，手势1-4的识别方法为，手势的像素变化为手指个数的两倍；

步骤33、手势5结合矩形手势区域中心坐标和手势中心之间的距离大小进行识别，判断矩形手势区域中心和手势中心之间的距离是否小于16，如果距离小于16，则将结果判定为手势5，反之，不对初始识别结果做出任何更改；

步骤34、识别手势时仅检测矩形手势区域上的7/24部分；之后将手势识别结果存储为result.mat文件。

有益效果：(1)本发明提供了一种移动机器人基本运动手势控制方法，以图像处理为基础，通过颜色空间转换、肤色提取、二值化和形态学处理对手势图像进行预处理，经过手势轮廓提取和手势识别识别不同的手势，进而通过ROS将识别结果转换为控制指令，能够有效、快速、准确的利用手势控制移动机器人运动。方便人们对移动机器人进行操纵，具有极大的应用前景，并获得可观的经济效益和社会效益；

(2)本发明提供了一种移动机器人基本运动手势控制方法，该手势控制方法简单方便，采用先进的移动机器人和稳定可靠的机器人操作***，能够对五种常用的静态手势进行识别，并转换成相应的运动指令，进而控制移动机器人的前进、后退、左转、右转、停止。该算法鲁棒性好，识别准确率可达90％以上；

(3)本发明提供了一种移动机器人基本运动手势控制方法，应用领域广泛，可应用于医疗行业，如智能康复轮椅，辅助残疾人士进行操作，只需做出简单的手势，便可控制轮椅进行相应的运动；也可应用于物流仓储机器人，如在仓储物流中心，货物分拣员通过手势控制移动机器人运输货物到指定位置；在超市挑选商品时，用智能购物机器人取代手推车携带物品，用户想要放置物品时可以通过手势控制机器人向前方便放置物品等等；另外在VR游戏开发中也可以得到广泛应用，使用户获得更好的体验感；对于聋哑人士来说，语音识别的交互技术不能满足他们的需求，利用手势进行交互是极为方便的。

附图说明

图1为图像预处理流程图；

图2为RGB空间手势图；

图3为HSV空间手势图；

图4为肤色提取后的手势图像；

图5为形态学处理后的手势图像；

图6为获取矩形手势区域示意图；

图7为获取的矩形手势区域图；

图8为提取的手势轮廓示意图；

图9为预定义手势1-5示意图；

图10为手势与控制指令间的映射图；

图11为移动机器人运动控制的流程图。

具体实施方式

下面结合附图对本发明的实施例作详细说明，本实施例以本发明技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

一种移动机器人基本运动手势控制方法，以图像处理为基础，利用RGBD等相机采集手势图像，通过颜色空间转换、肤色提取、二值化和形态学处理对手势图像进行预处理，经过手势轮廓提取和手势识别识别不同的手势，进而通过ROS将识别结果转换为控制指令，控制移动机器人运动；所述手势轮廓提取采用八邻域搜索法，通过获取手势图像所在的矩形区域提取手势轮廓。

如上所述的一种移动机器人基本运动手势控制方法，具体包括如下步骤：

一、图像预处理

在手势识别过程中，为了准确识别手势，改善手势图像的质量，对手势图像进行预处理尤为重要。当获取的手势信息转换成数字图像时，由于噪声的干扰，手势图像会出现畸变。因此，需要图像预处理，采用滤波滤掉不同的噪声，同时，增强图像的有用信息，抛弃无用信息。所述图像预处理包括对手势图像依次进行颜色空间转换、肤色提取、二值化和形态学处理，图像预处理流程如图1所示，具体如下：

(1)颜色空间转换

如果色彩空间去除亮度因素，肤色的分布将呈现聚类性。肤色在HSV空间的聚类效果较好，有利于手势图像分割，因此，先将手势图像由RGB空间转换到HSV空间；如图2和图3所示，由图2可知，肤色的RGB值符合R>G>B；由图3可知，肤色在H空间和S空间的聚类效果更好；

(2)肤色提取

基于肤色的分割方法通过肤色在颜色空间中的聚类特征，从图像中分割出肤色区域，用肤色特征信息来实现手势分割。这种分割方法直观、高效且准确。本发明采用了RGB颜色空间的阈值分割，再结合HSV空间上肤色分布的聚类性，两者之间做与运算，实现了肤色区域的提取；采用下列公式，将手势图像由RGB空间转换到HSV空间：

V＝max(R，G，B)；

S＝1-min(R，G，B)/V；

其中，R、G和B分别为图像中每一像素点处RGB颜色空间对应分量的值；经过实验得出，人类的肤色颜色空间HSV范围为：H(2,28)，S(50,200)；由此判断手势，使得肤色的提取能以更简单的方法进行，有利于增强***的实时性。且肤色的特征色调在RGB空间中，其RGB值符合R>G>B，因此在肤色提取中结合该特征提取肤色信息；

根据提取的肤色信息，对采集到的手势图像进行二值化处理，得到肤色区域，并根据原图像(x,y)处的H、S值和R、G、B值判断二值图(x，y)处的像素值如下：

其中，H和S分别是原图中(x，y)处像素的HSV颜色空间对应分量的值，R、G、B分别为图像中每一像素点处RGB颜色空间对应分量的值；采用循环嵌套遍历图像的方式，判断原图中(x，y)处像素的对应分量是否满足条件，如果符合条件则零矩阵(x，y)处像素等于1；反之，则等于0。手势图像肤色提取结果如图4所示。

(3)形态学处理

在图像二值化过程中，由于肤色的判断标准是根据实验获得的统计信息。因此，按照上面步骤中的条件不能完全准确地判断每个像素的性质。手的边缘受光照影响，但也受噪声影响，导致R、G、B、H、S值不稳定。二值化图像无可避免地存在噪声、孔洞和粗糙边缘。为了解决这个问题，本发明通过膨胀和闭运算组合来对图4中的结果进行形态学处理，处理结果如图5所示。

二、手势轮廓提取

对图像预处理后，为便于后续的识别，获取手势图像所在的矩形区域，之后进行边缘检测，然后采用八邻域搜索法提取手势轮廓，获取手势轮廓示意图如图6-8所示，其中，图6为获取矩形手势区域示意图；图7为获取的矩形手势区域图，图7中，1处为矩形手势区域中心，2处为手势中心；图8为提取的手势轮廓示意图；手势轮廓提取具体包括如下步骤：

S1、计算手势图像所在的矩形区域，具体方法如下：

S11、从左到右，从上至下扫描手势二值图的每一行像素，当扫描到第i行第j列时，若(i，j)处的像素值为1，则确定矩形手势区域的顶部横坐标top；

S12、从左到右，从下至上扫描手势二值图的每一行像素，按照步骤S1方法确定矩形手势区域的底部横坐标bottom；

S13、按照步骤S11和S12的方法确定矩形手势区域的左右边界，以此截取矩形手势区域，且截取时左右两边分别预留5个像素宽度；

S2、计算手势区域中心坐标，具体方法如下：

S21、对步骤S1截取的矩形手势区域的各个像素进行遍历，判断该像素是否属于手势中的像素点，如果是则叠加该像素点的坐标值，并记录手势区域的像素点个数；否则不记录；由此得到手势区域各个像素点的总横坐标和总纵坐标；

S22、利用步骤S21得到的手势区域各个像素点的总横坐标和总纵坐标除以总像素点个数，得到手势区域中心坐标；

三、手势识别

手指个数是手势最明显的特征，本发明通过计算手指个数，识别规定的5个静态手势分别为手势1-5，如图9所示；将手势识别结果存储为result.mat文件；手势识别的具体方法如下：

步骤31、获取矩形手势区域后，根据手指边缘处像素的变化来计算手指个数；

步骤32、5个静态手势中，手势1-4的识别方法为，手势的像素变化为手指个数的两倍；

步骤33、手势5结合矩形手势区域中心坐标和手势中心之间的距离大小进行识别，判断矩形手势区域中心和手势中心之间的距离是否小于16，如果距离小于16，则将结果判定为手势5，反之，不对初始识别结果做出任何更改；

步骤34、识别手势时仅检测矩形手势区域上的7/24部分；之后将手势识别结果存储为result.mat文件。

四、手势控制

对移动机器人的控制实现可以解释为消息的传递与映射，具体的映射关系如图10所示，由图可知，预定义手势1识别结果为1，控制指令为forward；预定义手势2识别结果为2，控制指令为backward；预定义手势3识别结果为3，控制指令为turn left；预定义手势4识别结果为4，控制指令为turn right；预定义手势5识别结果为5，控制指令为stop。运动控制的实现流程如图11所示，手势控制具体包括如下步骤：

步骤41、在ROS环境下，利用scipy.io中的loadmat函数读取步骤3中result.mat文件的手势识别结果；

步骤42、编写发布器节点Talker，在移动机器人运动控制主题chatter上，以每秒10次的频率发布识别结果的消息；

步骤43、通过订阅器节点Listener订阅移动机器人运动控制主题chatter的消息，并进入自循环，等待消息到达；

步骤44、接收到消息后，识别结果映射得到控制指令发布相应的Twist消息，从而控制移动机器人的移动。

本发明提出了一种移动机器人基本运动手势控制方法，利用手势中手指个数的不同，通过Kinect等RGBD相机采集手势图像，通过颜色空间转换、肤色提取、二值化和形态学处理对手势图像进行预处理，再通过识别算法提取手势矩形区域，根据该区域的像素值变化进行手势识别。并在ROS(机器人操作***)环境下将手势识别结果转换为运动控制指令，进而控制移动机器人实现基本运动控制。具有极大的应用前景，并获得可观的经济效益和社会效益。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例描述如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述所述技术内容作出的些许更动或修饰均为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (5)

1.一种移动机器人基本运动手势控制方法，其特征在于：以图像处理为基础，通过颜色空间转换、肤色提取、二值化和形态学处理对手势图像进行预处理，经过手势轮廓提取和手势识别识别不同的手势，进而通过ROS将识别结果转换为控制指令，控制移动机器人运动；所述手势轮廓提取采用八邻域搜索法，通过获取手势图像所在的矩形区域提取手势轮廓。

2.如权利要求1所述的一种移动机器人基本运动手势控制方法，其特征在于：包括如下步骤：

步骤1、图像预处理：对手势图像依次进行颜色空间转换、肤色提取、二值化和形态学处理，得手势二值图；

步骤2、手势轮廓提取：对图像预处理后，获取手势图像所在的矩形区域，之后进行边缘检测，然后采用八邻域搜索法提取手势轮廓，手势轮廓提取具体包括如下步骤：

S1、计算手势图像所在的矩形区域，具体方法如下：

S11、从左到右，从上至下扫描手势二值图的每一行像素，当扫描到第i行第j列时，若(i，j)处的像素值为1，则确定矩形手势区域的顶部横坐标top；

S12、从左到右，从下至上扫描手势二值图的每一行像素，按照步骤S1方法确定矩形手势区域的底部横坐标bottom；

S13、按照步骤S11和S12的方法确定矩形手势区域的左右边界，以此截取矩形手势区域，且截取时左右两边分别预留5个像素宽度；

S2、计算手势区域中心坐标，具体方法如下：

S21、对步骤S1截取的矩形手势区域的各个像素进行遍历，判断该像素是否属于手势中的像素点，如果是则叠加该像素点的坐标值，并记录手势区域的像素点个数；否则不记录；由此得到手势区域各个像素点的总横坐标和总纵坐标；

S22、利用步骤S21得到的手势区域各个像素点的总横坐标和总纵坐标除以总像素点个数，得到手势区域中心坐标；

步骤3、手势识别：通过计算手指个数，识别规定的5个静态手势分别为手势1-5；将手势识别结果存储为result.mat文件；

步骤4、手势控制：手势控制具体包括如下步骤：

步骤41、在ROS环境下，利用scipy.io中的loadmat函数读取步骤3中result.mat文件的手势识别结果；

步骤42、编写发布器节点Talker，在移动机器人运动控制主题chatter上，以每秒10次的频率发布识别结果的消息；

步骤43、通过订阅器节点Listener订阅移动机器人运动控制主题chatter的消息，并进入自循环，等待消息到达；

步骤44、接收到消息后，识别结果映射得到控制指令发布相应的Twist消息，从而控制移动机器人的移动。

3.如权利要求2所述的一种移动机器人基本运动手势控制方法，其特征在于：步骤1所述图像预处理具体如下：

步骤11、采用下列公式，将图像由RGB空间转换到HSV空间：

V＝max(R，G，B)；

S＝1-min(R，G，B)/V；

其中，R、G和B分别为图像中每一像素点处RGB颜色空间对应分量的值；

步骤12、人类的肤色颜色空间HSV范围为：H(2,28)，S(50,200)；且肤色的特征色调在RGB空间中，其RGB值符合R>G>B，结合该特征提取肤色信息；

步骤13、根据步骤12提取的肤色信息，对采集到的手势图像进行二值化处理，得到肤色区域，并根据原图像(x,y)处的H、S值和R、G、B值判断二值图(x，y)处的像素值如下：

其中，H和S分别是原图中(x，y)处像素的HSV颜色空间对应分量的值，R、G、B分别为图像中每一像素点处RGB颜色空间对应分量的值；

步骤14、通过膨胀和闭运算组合对步骤13二值化处理后的图像进行形态学处理，得预处理后的手势图像。

4.如权利要求3所述的一种移动机器人基本运动手势控制方法，其特征在于：步骤13中，采用循环嵌套遍历图像的方式，判断原图中(x，y)处像素的对应分量是否满足条件，如果符合条件则零矩阵(x，y)处像素等于1；反之，则等于0。

5.如权利要求2所述的一种移动机器人基本运动手势控制方法，其特征在于：步骤3手势识别的具体方法如下：

步骤31、步骤S1获取矩形手势区域后，根据手指边缘处像素的变化来计算手指个数；

步骤32、5个静态手势中，手势1-4的识别方法为，手势的像素变化为手指个数的两倍；

步骤33、手势5结合矩形手势区域中心坐标和手势中心之间的距离大小进行识别，判断矩形手势区域中心和手势中心之间的距离是否小于16，如果距离小于16，则将结果判定为手势5，反之，不对初始识别结果做出任何更改；

步骤34、识别手势时仅检测矩形手势区域上的7/24部分；之后将手势识别结果存储为result.mat文件。