CN103530616B - 一种移动终端的手势识别方法和装置 - Google Patents

Abstract

本发明公开了一种移动终端的手势识别方法和装置，所述方法通过在移动终端摄像头获取的图像数据中设置一矩形区域，并在所述矩形区域的每条边上对应设置一边界区域；检测移动终端摄像头获取的图像数据中用户手势进入的边界区域和退出的边界区域，根据进入的边界区域和退出的边界区域识别为相应的手势；使得用户可以根据用户的手势进出矩形区域的四个边界区域，从而对应识别出用户的手势，使得手势识别方法运算量小，识别速度快，识别精度高，非常适合在低端配置的移动终端中使用，给用户带来了大大的方便。

Description

一种移动终端的手势识别方法和装置

技术领域

本发明涉及移动终端手势识别领域，尤其涉及的是一种移动终端的手势识别方法和装置。

背景技术

目前，在现有技术中，摄像头已经成为移动终端的标准配件，基于摄像头的手势识别研究也发展的如火如荼，移动终端譬如手机或平板电脑等都具有手势识别功能，但现有的手势识别算法非常复杂，依赖于具备较强图像处理能和运算能力的中央处理器。目前已有的基于摄像头的手势识别虽能识别各种复杂的手势，但识别算法都非常复杂，需要移动终端的中央处理器具备较强的图像处理能和运算能力，致使一般的低端配置的移动终端不具备使用条件。

因此，现有技术还有待于改进和发展。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种移动终端的手势识别方法和装置，旨在解决现有的移动终端手势识别计算方式复杂且运算量大不适合应用于低端配置移动终端的问题。

本发明解决技术问题所采用的技术方案如下：

一种移动终端的手势识别方法，其中，包括以下步骤：

A、在移动终端摄像头获取的图像数据中设置一矩形区域，并在所述矩形区域的每条边上对应设置一边界区域；

B、检测移动终端摄像头获取的图像数据中用户手势进入的边界区域和退出的边界区域，根据进入的边界区域和退出的边界区域识别为相应的手势。

所述的移动终端的手势识别方法，其中，所述边界区域包括上边界区域、下边界区域、左边界区域和右边界区域。

所述的移动终端的手势识别方法，其中，所述步骤B具体包括：

B1、获取移动终端摄像头获取的图像数据帧；

B2、判断该帧图像数据中是有满足人体肤色条件的像素, 如果有，则将在该帧图像数据中有人体肤色条件的像素的边界区域，识别为手势进入的边界区域；

B3、继续获取移动终端摄像头感应到的图像数据帧，当该帧图像数据中没有满足人体肤色条件的像素时，将前一帧图像数据中有人体肤色条件的像素的边界区域，识别为手势退出的边界区域；

B4、根据手势进入的边界区域和退出的边界区域识别为相应的手势。

所述的移动终端的手势识别方法，其中，所述摄像头获取的图像数据的格式为YCrCb格式；

若一个像素的YCrCb值满足133≤Cr≤173且77≤Cb≤127，则认为该像素为人体肤色像素，否则认为该像素不是人体肤色像素。

所述的移动终端的手势识别方法，其中，在一帧图像数据中计算该帧图像数据的四个边界区域中人体肤色像素的个数，将人体肤色像素个数最多的边界区域定义为手势进入边界区域或退出边界区域。

一种移动终端的手势识别装置，其中，包括：

手势识别区域设置模块，用于在移动终端摄像头获取的图像数据中设置一矩形区域，并在所述矩形区域的每条边上对应设置一边界区域；

手势识别模块，用于检测移动终端摄像头获取的图像数据中用户手势进入的边界区域和退出的边界区域，根据进入的边界区域和退出的边界区域识别为相应的手势。

所述的移动终端的手势识别装置，其中，所述边界区域包括上边界区域、下边界区域、左边界区域和右边界区域。

所述的移动终端的手势识别装置，其中，所述手势识别模块包括：

图像获取单元，用于获取移动终端摄像头获取的图像数据帧；

人体肤色像素识别单元，用于判断该帧图像数据中是有满足人体肤色条件的像素；

手势起始边界区域识别单元，用于将在该帧图像数据中有人体肤色条件的像素的边界区域，识别为手势进入的边界区域；

手势结尾边界区域识别单元，用于当该帧图像数据中没有满足人体肤色条件的像素时，将前一帧图像数据中有人体肤色条件的像素的边界区域，识别为手势退出的边界区域；

手势识别单元，用于根据手势进入的边界区域和退出的边界区域识别为相应的手势。

所述的移动终端的手势识别装置，其中，所述摄像头获取的图像数据的格式为YCrCb格式。

所述的移动终端的手势识别装置，其中，在一帧图像数据中计算该帧图像数据的四个边界区域中人体肤色像素的个数，将人体肤色像素个数最多的边界区域定义为手势进入边界区域或退出边界区域。

本发明所提供的一种移动终端的手势识别方法和装置，有效地解决了现有的移动终端手势识别计算方式复杂运算量大不适合应用于低端配置的移动终端的问题，其方法通过在移动终端摄像头获取的图像数据中设置一矩形区域，并在所述矩形区域的每条边上对应设置一边界区域；检测移动终端摄像头获取的图像数据中用户手势进入的边界区域和退出的边界区域，根据进入的边界区域和退出的边界区域识别为相应的手势；使得用户可以根据用户的手势进出矩形区域的四个边界区域，从而对应识别出用户的手势，手势识别方法运算量小，识别速度快，识别精度高，非常适合在低端配置的移动终端中使用，给用户带来了大大的方便，其实现方法简单，通过软件实现，成本较低。

附图说明

图1为本发明提供的移动终端的手势识别方法较佳实施例的流程图。

图2为本发明提供的移动终端的手势识别方法较佳实施例中划分区域的示意图。

图3a-图3l为本发明提供的移动终端的手势识别方法较佳实施例中识别手势的示意图。

图4为本发明提供的移动终端的手势识别方法应用实施例中划分区域的示意图。

图5为本发明提供的移动终端的手势识别方法应用实施例中划分区域较佳的示意图。

图6为本发明提供的移动终端的手势识别方法应用实施例中划分区域的坐标示意图。

图7为本发明提供的移动终端的手势识别方法应用实施例的流程图。

图8为本发明提供的移动终端的手势识别装置较佳实施例的结构框图。

具体实施方式

本发明提供一种移动终端的手势识别方法和装置，为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参阅图1，图1为本发明提供的移动终端的手势识别方法较佳实施例的流程图，所述手势识别方法，包括以下步骤：

步骤S100、在移动终端摄像头获取的图像数据中设置一矩形区域，并在所述矩形区域的每条边上对应设置一边界区域；

步骤S200、检测移动终端摄像头获取的图像数据中用户手势进入的边界区域和退出的边界区域，根据进入的边界区域和退出的边界区域识别为相应的手势。

以下结合具体的实施例对上述步骤进行详细的描述。

在步骤S100中，在移动终端摄像头获取的图像数据中设置一矩形区域，并在所述矩形区域的每条边上对应设置一边界区域。具体来说，移动终端的摄像头获取的图像数据的大小是确定的，本发明可以通过前置摄像头来获取，也可以通过后置摄像头来获取手势，此处不做限制。然后在在获取的移动终端摄像头的图像数据中，截取一矩形区域，如图2所示，并在该矩形区域上设置四个边界区域，如图2中“上”、“下”、“左”、“右”四个边界区域。具体来说，所述边界区域包括上边界区域、下边界区域、左边界区域和右边界区域。也就是根据矩形区域来设置的4个边对应的区域，在实际应用时，图2所示的边界区域是按照矩形区域的4个边以及对角线划分形成的4个区域作为边界区域的。此处只是一个示意，具体的分法可根据实际需要进行设置。通过矩形边以及两条对角线可将摄像头感应到的图像数据中除矩形区域外的其它区域划分成4个边界区域，所述边界区域的大小可根据需要进行设定，此处不做详述。

然后在步骤S200中，检测移动终端摄像头获取的图像数据中用户手势进入的起始边界区域和退出的结尾边界区域，根据所述起始边界区域和结尾边界区域识别为相应的手势。具体来说，就是获取前置摄像头感应到的图像数据，当检测某边界区域中有用户的手进入时，则将该边界区域作为用户手势的起始边界区域；当检测某边界区域中有用户的手退出时，则将该边界区域作为用户手势的结尾边界区域。然后根据进入和退出的边界区域，从而识别为相应的手势。在实际应用时，可通过红外感应来检测用户的手势所在的位置，也就是从哪个边界区域进入，又从哪个边界区域退出。也可以通过检测图像数据中的像素点的YUV值或者RGB值来判定是否为人皮肤像素，从而进行判定哪个边界区域进入，哪个边界区域退出。

请一并参阅图2和图3a-图3l，如图2所示，在移动终端的摄像头的图像数据中设置一矩形区域，并在矩形区域的四周相应设置边界区域，分别为上边界区域、下边界区域、左边界区域和右边界区域。请参阅图3a，如图所示，检测移动终端摄像头获取的图像数据中用户手势进入的起始边界区域为左边界区域，结尾边界区域为右边界区域，然后根据所述起始边界区域和结尾边界区域识别为相应的手势，即用户的手势为左—>右。请参阅图3b，如图所示，用户手势进入的起始边界区域为右边界区域，结尾边界区域为左边界区域，此时识别出来的用户的手势为右—>左。请参阅图3c，如图所示，用户手势进入的起始边界区域为上边界区域，结尾边界区域为下边界区域，此时识别出来的用户的手势为上—>下。请参阅图3d，如图所示，用户手势进入的起始边界区域为下边界区域，结尾边界区域为上边界区域，此时识别出来的用户的手势为下—>上。请参阅图3e，如图所示，用户手势进入的起始边界区域为左边界区域，结尾边界区域为上边界区域，此时识别出来的用户的手势为左—>上。请参阅图3f，如图所示，用户手势进入的起始边界区域为上边界区域，结尾边界区域为左边界区域，此时识别出来的用户的手势为上—>左。请参阅图3g，如图所示，用户手势进入的起始边界区域为右边界区域，结尾边界区域为上边界区域，此时识别出来的用户的手势为右—>上。请参阅图3h，如图所示，用户手势进入的起始边界区域为上边界区域，结尾边界区域为右边界区域，此时识别出来的用户的手势为上—>右。请参阅图3i，如图所示，用户手势进入的起始边界区域为左边界区域，结尾边界区域为下边界区域，此时识别出来的用户的手势为左—>下。请参阅图3j，如图所示，用户手势进入的起始边界区域为下边界区域，结尾边界区域为左边界区域，此时识别出来的用户的手势为下—>左。请参阅图3k，如图所示，用户手势进入的起始边界区域为右边界区域，结尾边界区域为下边界区域，此时识别出来的用户的手势为右—>下。请参阅图3l，如图所示，用户手势进入的起始边界区域为下边界区域，结尾边界区域为右边界区域，此时识别出来的用户的手势为下—>右。综上所述，通过设置矩形区域和4个边界区域可对应识别为相应的手势，根据用户手指首次进入摄像头感应到的图像区域和离开的区域进行确定手势动作，因此一共能识别12种手势动作，该手势识别方法运算量小，识别速度快，识别精度高，非常适合在低端配置的移动终端中使用。

进一步地，所述步骤S200具体包括：

S210、获取移动终端摄像头获取的图像数据帧；

S220、判断该帧图像数据中是有满足人体肤色条件的像素, 如果有，则将在该帧图像数据中有人体肤色条件的像素的边界区域，识别为手势进入的边界区域；

S230、继续获取移动终端摄像头感应到的图像数据帧，当该帧图像数据中没有满足人体肤色条件的像素时，将前一帧图像数据中有人体肤色条件的像素的边界区域，识别为手势退出的边界区域；

S240、根据手势进入的边界区域和退出的边界区域识别为相应的手势。

具体来说，本发明采用检测图像数据中是否有满足人体肤色条件的像素，来判定用户的手进入边界区域和退出边界区域。具体流程如下：步骤N1、获取前置摄像头所感应到的图像数据帧，之后执行步骤N2；步骤N2、判断该帧图像数据中是有满足人体肤色条件的像素，如果有则执行步骤N3，否则执行步骤N1；步骤N3、在该帧图像数据中，识别手势起始边界区域，之后执行步骤N4；步骤N4、获取前置摄像头所感应到的图像数据帧，之后执行步骤N5；步骤N5、判断该帧图像数据中是有满足人体肤色条件的像素，如果有则执行步骤N4，否则执行步骤N6；步骤N6、在该帧之前一帧图像数据中，识别手势结尾边界区域，之后执行步骤N7；步骤N7、根据步骤N3获取的手势起始边界区域及步骤N6获取的手势结尾边界区域，从而得到最终的手势结果。根据手势起始边界区域和手势结尾边界区域所确定的手势为图3a~ 图3l中的某一种。

进一步地，所述步骤N1和步骤N4中，通过前置摄像头所获取的图像数据的格式这YCrCb格式；所述步骤N2和步骤N5中，判断图像数据中满足人体肤色条件的像素的条件是：若一个像素的YCrCb值满足133≤Cr≤173且77≤Cb≤127，则认为该像素为人体肤色像素，否则认为该像素不是人体肤色像素。

进一步地，所述步骤N3和步骤N6中，在一帧图像数据中计算该帧图像数据的四个边界区域中人体肤色像素的个数，将人体肤色像素个数最多的边界区域定义为手势进入边界区域或退出边界区域。也就是说，在一帧图像数据中识别该帧图像数据的起始/结尾边界区域的方法为，计算四个边界区域中人体肤色像素的个数，将人体肤色像素个数最多的边界区域定义起始/结尾边界区域。

在实际应用时，本发明还提供了上述移动终端的手势识别方法的一个具体应用实施例。请参阅图4，图4为本发明提供的移动终端的手势识别方法应用实施例中划分区域的示意图。以移动终端的前置摄像头为例进行说明。如图4所示，首先在前置摄像头所获取的图像数据600中，取其中一个较小的手势识别区域610作为手势动作识别，这样，本发明提供的手势识别方法只对手势识别区域610内图像数据进行处理，为便于分析与处理，在图像数据600中定义了一个坐标系，具体如图4所示。其中，所述图像数据600为其中一个帧的图像数据。

请参阅图5，然后将所述手势识别区域610划分为多个5个区域，也就是对应上述较佳实施例中的矩形区域，以及矩形区域边界上的上边界区域、下边界区域、左边界区域和右边界区域。如图所示，第一区域611为表示“上”的区域，即上边界区域；第二区域612为表示“右”的区域，即右边界区域；第三区域613为表示“下”的区域，即下边界区域；第四区域614为表示“左”的区域，即左边界区域；将第五区域615~第九区域619的图像数据丢弃。具体来说所述第五区域615为上述较佳实施例中的矩形区域。本发明就是在前置摄像头的图像数据中设置4个相互连接的边界区域来形成一口字形的区域，从而将用户的手势简单识别为四个方向上移动。

请参阅图6，如图6所示，将图5所划分的手势识别区域用坐标表示，在图6所示的直角坐标系中：

集合{(x,y) | X1<x<X2且0<y<Y1}表示第一区域611；

集合{(x,y) | X2<x<X3且Y1<y<Y2}表示第二区域612；

集合{(x,y) | X1<x<X2且Y2<y<Y3}表示第三区域613；

集合{(x,y) | 0<x<X1且Y1<y<Y2}表示第四区域614。

请参阅图7，图7为本发明提供的移动终端的手势识别方法应用实施例的流程图。在步骤S1中，由摄像头获取手势识别区域610的图像数据，之后执行步骤S2；其中，所述图像数据的格式为YCrCb。步骤S2、对步骤S1中所获取的图像数据中的每个像素进行人体肤色识别，判断其中是否包含有人体肤色像素，如果是则执行步骤S3，否则执行步骤S1；其中，一个像素是否为人体肤色像素只需判断该像素是否满足133≤Cr≤173且77≤Cb≤127，如果是则说明该像素为人体肤色像素，否则说明该像素不是人体肤色像素。步骤S3、依次获取第一区域611~第四区域614的图像数据中人体肤色像素的个数，将人体肤色像素最多的区域定为起始边界区域；获取一个区域中人体肤色像素个数可由调用下述函数CaculateHumanComplexionPix可以实现；该函数需要输入需要计算人体肤色像素区域的边界，其将返回该区域内人体肤色像素的个数，计算第一区域611~第四区域614的图像数据中人体肤色像素的个数调用方法如下：

第一区域611中人体肤色像素个数：CaculateHumanComplexionPix（X1,X2,0,Y1）；

第二区域612中人体肤色像素个数：CaculateHumanComplexionPix（X2,X3,Y1,Y2）；

第三区域613中人体肤色像素个数：CaculateHumanComplexionPix（X1,X2,Y2,Y3）；

第四区域612中人体肤色像素个数：CaculateHumanComplexionPix（0,X1,Y1,Y2）；

然后，取上述四个值中的最大值所在区域作为起始边界区域，并进入步骤S4。

其算法如下：

int CaculateHumanComplexionPix (int Xmin, int Xmax, int Ymin, intYmax)

{

int counter = 0;

int i, j;

for(i=Ymin;i<Ymax;i=i+1)

{

for(j=Xmin;j<Xmax;j=j+1)

{

if( 133≤Cr[i][j]≤173 且 77≤Cb[i][j]≤127 )

counter = counter + 1;

}

}

return counter;

}

在步骤S4中，继续通过摄像头获取手势识别区域610的图像数据并保存，进入步骤S5。步骤S5、对步骤S4中所获取的图像数据中的每个像素进行人体肤色识别，判断其中是否包含有人体肤色像素，如果是则执行步骤S4，否则执行步骤S6；其中，一个像素是否为人体肤色像素只需判断该像素是否满足133≤Cr≤173且77≤Cb≤127，如果是则说明该像素为人体肤色像素，否则说明该像素不是人体肤色像素。步骤S6、依次获取前一帧图像数据中区域611~区域614的图像数据中人体肤色像素的个数，将人体肤色像素最多的区域定为结尾边界区域；本步骤和步骤S3类似，在此不在赘述。也就是说，此时在某帧图像数据中没有人皮肤时，则表明人已经退出摄像头的感应范围，也就是说上一帧图像数据包含人体肤色像素，将其提取出来并进行同样的识别，可识别出结尾边界区域。

步骤S7、根据起始边界区域—>结尾边界区域获取手势动作；根据起始边界区域—>结尾边界区域的结合图3a ~图3l所定义的十二种手势动作进行识别。

基于上述移动终端的手势识别方法，本发明还提供了一种移动终端的手势识别装置，请参阅图8，图8为本发明提供的移动终端的手势识别装置较佳实施例的结构框图，如图8所示，所述手势识别装置包括：

手势识别区域设置模块10，用于在移动终端摄像头获取的图像数据中设置一矩形区域，并在所述矩形区域的每条边上对应设置一边界区域；；具体如步骤S100所述；

手势识别模块20，用于检测移动终端摄像头获取的图像数据中用户手势进入的边界区域和退出的边界区域，根据进入的边界区域和退出的边界区域识别为相应的手势；具体如步骤S200所述。

进一步地，所述的移动终端的手势识别装置，其中，所述边界区域包括上边界区域、下边界区域、左边界区域和右边界区域。

进一步地，所述手势识别模块20包括：图像获取单元，用于获取移动终端摄像头获取的图像数据帧；

人体肤色像素识别单元，用于判断该帧图像数据中是有满足人体肤色条件的像素；

手势起始边界区域识别单元，用于将在该帧图像数据中有人体肤色条件的像素的边界区域，识别为手势进入的边界区域；

手势结尾边界区域识别单元，用于当该帧图像数据中没有满足人体肤色条件的像素时，将前一帧图像数据中有人体肤色条件的像素的边界区域，识别为手势退出的边界区域；

手势识别单元，用于根据手势进入的边界区域和退出的边界区域识别为相应的手势。

进一步地，所述摄像头获取的图像数据的格式为YCrCb格式。同理，也可以为RGB格式，只需要简单换算即可，此处不再详述。

进一步地，在一帧图像数据中计算该帧图像数据的四个边界区域中人体肤色像素的个数，将人体肤色像素个数最多的边界区域定义为手势进入边界区域或退出边界区域。

综上所述，本发明提供的一种移动终端的手势识别方法和装置，所述方法通过在移动终端摄像头获取的图像数据中设置一矩形区域，并在所述矩形区域的每条边上对应设置一边界区域；检测移动终端摄像头获取的图像数据中用户手势进入的边界区域和退出的边界区域，根据进入的边界区域和退出的边界区域识别为相应的手势；使得用户可以根据用户的手势进出矩形区域的四个边界区域，从而对应识别出用户的手势，手势识别方法运算量小，识别速度快，识别精度高，非常适合在低端配置的移动终端中使用，给用户带来了大大的方便，其实现方法简单，通过软件实现，成本较低。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (8)

1.一种移动终端的手势识别方法，其特征在于，包括以下步骤：

A、在移动终端摄像头获取的图像数据中设置一矩形区域，并在所述矩形区域的每条边上对应设置一边界区域；

B、检测移动终端摄像头获取的图像数据中用户手势进入的边界区域和退出的边界区域，根据进入的边界区域和退出的边界区域识别为相应的手势；

所述步骤B具体包括：

B1、获取移动终端摄像头获取的图像数据帧；

B2、判断该帧图像数据中是有满足人体肤色条件的像素, 如果有，则将在该帧图像数据中有人体肤色条件的像素的边界区域，识别为手势进入的边界区域；

B3、继续获取移动终端摄像头感应到的图像数据帧，当该帧图像数据中没有满足人体肤色条件的像素时，将前一帧图像数据中有人体肤色条件的像素的边界区域，识别为手势退出的边界区域；

B4、根据手势进入的边界区域和退出的边界区域识别为相应的手势。

2.根据权利要求1所述的移动终端的手势识别方法，其特征在于，所述边界区域包括上边界区域、下边界区域、左边界区域和右边界区域。

3.根据权利要求1所述的移动终端的手势识别方法，其特征在于，所述摄像头获取的图像数据的格式为YCrCb格式；

若一个像素的YCrCb值满足133≤Cr≤173且77≤Cb≤127，则认为该像素为人体肤色像素，否则认为该像素不是人体肤色像素。

4.根据权利要求1所述的移动终端的手势识别方法，其特征在于，在一帧图像数据中计算该帧图像数据的四个边界区域中人体肤色像素的个数，将人体肤色像素个数最多的边界区域定义为手势进入边界区域或退出边界区域。

5.一种移动终端的手势识别装置，其特征在于，包括：

手势识别区域设置模块，用于在移动终端摄像头获取的图像数据中设置一矩形区域，并在所述矩形区域的每条边上对应设置一边界区域；

手势识别模块，用于检测移动终端摄像头获取的图像数据中用户手势进入的边界区域和退出的边界区域，根据进入的边界区域和退出的边界区域识别为相应的手势；

所述手势识别模块包括：

图像获取单元，用于获取移动终端摄像头获取的图像数据帧；

人体肤色像素识别单元，用于判断该帧图像数据中是有满足人体肤色条件的像素；

手势起始边界区域识别单元，用于将在该帧图像数据中有人体肤色条件的像素的边界区域，识别为手势进入的边界区域；

手势结尾边界区域识别单元，用于当该帧图像数据中没有满足人体肤色条件的像素时，将前一帧图像数据中有人体肤色条件的像素的边界区域，识别为手势退出的边界区域；

手势识别单元，用于根据手势进入的边界区域和退出的边界区域识别为相应的手势。

6.根据权利要求5所述的移动终端的手势识别装置，其特征在于，所述边界区域包括上边界区域、下边界区域、左边界区域和右边界区域。

7.根据权利要求5所述的移动终端的手势识别装置，其特征在于，所述摄像头获取的图像数据的格式为YCrCb格式。

8.根据权利要求5所述的移动终端的手势识别装置，其特征在于，在一帧图像数据中计算该帧图像数据的四个边界区域中人体肤色像素的个数，将人体肤色像素个数最多的边界区域定义为手势进入边界区域或退出边界区域。