CN103544472A - 一种基于手势图像的处理方法及处理装置 - Google Patents

Abstract

本发明公开了一种基于手势图像的处理方法及处理装置，处理方法包括：A、获取手势图像，并对手势图像进行二值化处理得到手部二值图像；B、对手部二值图像进行去噪处理以及连通域判别处理，提取手部边界图像、并在手部边界线上识别出手指的指尖点；C、在手部边界线上提取与当前指尖点前、后均相隔预设点数的前参考点和后参考点，基于所述前参考点、后参考点及当前指尖点计算手指的方向；本发明实现简单，避免了手指形状变化导致的误判断，能快速有效地提取手指的指向信息，为后续的手势识别提供了有用的数据，提高了准确性。

Description

一种基于手势图像的处理方法及处理装置

技术领域

本发明涉及数字图像处理、机器视觉技术领域，特别涉及一种基于手势图像的处理方法及处理装置。 

背景技术

目前用手来实现人机交互比键盘、鼠标等媒介更自然流畅、更方便；其原理为机器对手的解析，如手的形状、手在空间的位置，手的姿态等。在基于图像处理技术执行一些手势跟踪识别任务时，常常需要将图像中的手指部分分割出来，并提取出各个手指的方向信息。

现有的手势识别先将采集的彩色图像转换成二值图像并去噪；再依据曲率变化的特性来识别手指指尖。但是在实际操作时，由于手指的灵活变化产生多种手势，弯曲或握拳时凸出的指关节会被误判为指尖，使识别结果容易出错且能识别的手势有限，导致手指分割出错；同时也导致在检测时难以估计出每根手指的准确方向。 

因而现有技术还有待改进和提高。 

发明内容

鉴于上述现有技术的不足之处，本发明的目的在于提供一种基于手势图像的处理方法及处理装置，以解决现有技术手指方向估计不够准确的问题。

为了达到上述目的，本发明采取了以下技术方案：

一种基于手势图像的处理方法，其包括：

A、获取手势图像，并对手势图像进行二值化处理得到手部二值图像；

B、对所述手部二值图像进行去噪处理以及连通域判别处理，提取手部边界图像、并在手部边界线上识别出手指的指尖点；

C、在手部边界线上提取与当前指尖点前、后均相隔预设点数的前参考点和后参考点，基于所述前参考点、后参考点及当前指尖点计算手指的方向。

所述的基于手势图像的处理方法中，所述步骤B还包括：在所述手部边界线上识别出手指间连接处的指间凹点；

在所述步骤C之后还包括：

D、提取与当前指尖点最近的指间凹点，由该指间凹点发射出与所述指尖点对应的方向线垂直相交的分割线，由该分割线在手部边界图像上分割出单根手指。

所述的基于手势图像的处理方法中，所述步骤A具体包括：

A1、在红外光源的照射下由红外摄像头拍摄用户的手部、获取红外手势图像；

A2、判断所述红外手势图像上当前像素点的灰度是否大于预设灰度阈值：若大于，则标识该像素点为前景物体像素点；否则，标识该像素点为背景像素点；

A3、重复步骤A2判断所述红外手势图像上的所有像素点后，获得手部二值图像。

所述的基于手势图像的处理方法中，在所述步骤B中，对所述手部二值图像进行去噪处理，提取手部边界图像具体包括：

B1、对所述手部二值图像进行形态学开运算和闭运算去噪；

B2、对去噪后的手部二值图像进行连通域判别，保留手部区域； 

B3、对仅含手部区域的手部二值图像进行形态学腐蚀，并将腐蚀前的图像与腐蚀后的图像相减，获得手部边界图像。

所述的基于手势图像的处理方法中，在所述步骤B中，在手部边界线上识别出手指的指尖点和手指间连接处的指间凹点具体包括：

B11、提取与当前像素点前、后均相隔预设点的前参考点和后参考点，从前参考点到当前像素点的向量为第一向量，从当前像素点到后参考点的向量为第二向量；

B12、计算第一向量与第二向量的夹角的余弦值，判断该余弦值是否满足预设阈值条件：若是，则记录该余弦值及其对应的像素点位置；否则忽略；返回所述步骤B11对下一个像素点进行计算，直至所有像素点计算完成； 

B13、对于已记录的每个像素点，判断其所对应的上述余弦值在从其前参考点到后参考点的所有像素中是否为局部极小值，若是，且其前参考点与后参考点的连线的中点处于所述手部区域内，则当前像素点为指尖点；若所述中点处于所述手部区域外时，当前像素点为指间凹点。

所述的基于手势图像的处理方法中，所述步骤C具体包括：

C1、在手部边界线上提取与当前指尖点前、后均相隔预设点数的前参考点和后参考点，并提取前、后参考点的连线上的中点；

C2、连接指尖点与中点形成方向线，由两点公式计算出方向线；

C3、根据方向线的斜率获得该当前指尖点对应的手指的方向。

所述的基于手势图像的处理方法中，所述步骤D具体包括：

D1、提取与当前指尖点距离最近的指间凹点，由该指间凹点发射出与所述指尖点对应的方向线垂直相交的分割线；

D2、提取分割线与手部边界线相交的分割点；

D3、所述分割点、指间凹点之间的所有手部边界点即为当前指尖点对应的单根手指的边界点。

所述的基于手势图像的处理方法中，第一向量与第二向量的夹角余弦值计算公式为：

其中，P_i为当前像素点，P_i-K为前参考点，P_i+K为后参考点，K为预设的步长，为第一向量，

为第二向量，A_i为第一向量与第二向量的夹角的余弦值。

所述的基于手势图像的处理方法中，所述方向线的计算公式为：

其中，（x_m , y_m）为指尖点的坐标，(x_m′ , y_m′)为中点的坐标。

一种基于手势图像的处理装置，其包括：

图像获取模块，用于获取手势图像；

图像处理模块，用于对手势图像进行二值化处理得到手部二值图像，对所述手部二值图像进行去噪处理以及连通域判别处理，提取手部边界图像，并在手部边界线上识别出手指的指尖点；

手指处理模块，用于在手部边界线上提取与当前指尖点前、后均相隔预设像素点个数的前参考点和后参考点，基于所述前参考点、后参考点及当前指尖点计算手指的方向。

相较于现有技术，本发明提供的基于手势图像的处理方法及处理装置，通过提取手部边界图像，识别出手指的指尖点，并提取出与当前指尖点前、后均相隔预设点数的前参考点和后参考点，基于所述前参考点、后参考点及当前指尖点计算手指的方向，其实现方法简单，避免了手指形状变化导致的误判断，能快速有效地提取手指的指向信息，为后续的手势识别提供了有用的数据。

附图说明

图1为本发明提供的基于手势图像的处理方法流程图。

图2为本发明提供的基于手势图像的处理方法的实施例中红外手势图像的示意图。

图3为本发明提供的基于手势图像的处理方法的实施例中手部二值图像的示意图。

图4为本发明提供的基于手势图像的处理方法的实施例中手部边界图像的示意图。

图5为本发明提供的基于手势图像的处理方法的实施例中指尖点和指间凹点的示意图。

图6为本发明提供的基于手势图像的处理方法的实施例中手指方向和分割的示意图。

图7为本发明提供的基于手势图像的处理装置的结构框图。

具体实施方式

本发明提供一种基于手势图像的处理方法及处理装置，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明提供的手指处理主要是手指方向识别和手指分割，请参阅图1，其为本发明提供的基于手势图像的处理方法流程图；所述处理方法包括：

S100、获取手势图像，并对手势图像进行二值化处理得到手部二值图像；

S200、对所述手部二值图像进行去噪处理以及连通域判别处理，提取手部边界图像、并在手部边界线上识别出手指的指尖点；

S300、在手部边界线上提取与当前指尖点前、后均相隔预设点数的前参考点和后参考点，基于所述前参考点、后参考点及当前指尖点计算手指的方向。

本发明主要是对红外图像进行处理，所述步骤S100具体包括：

步骤1、在红外光源的照射下由红外摄像头拍摄用户的手部、获取红外手势图像。

在红外照明光源的照射下，使用红外摄像头拍摄用户的手部得到红外手势图像，如图2所示。所述红外照明光源可发出某个波段的红外光用于照明，而红外摄像头的镜头表面或后面覆有与红外照明光源的发光波段相对应的带通滤光片，只允许与红外照明光源处于相同波段的红外光通过摄像头成像，其余波段的光被截止。

步骤2、判断所述红外手势图像上当前像素点的灰度是否大于预设灰度阈值：若大于，则标识该像素点为前景物体像素点；否则，标识该像素点为背景像素点。

步骤3、重复步骤A2判断所述红外手势图像上的所有像素点后，获得手部二值图像。

二值化处理的公式为：

，

其中，f(x,y)为红外手势图像f在(x,y)坐标处的像素值，fb(x,y)为二值化处理后的图像fb在(x,y)坐标处的像素值， T1为预设灰度阈值。设置像素值为1的像素点为前景物体像素点，像素值为0的像素点为背景像素点。对所有的像素点进行二值化后得到的手部二值图像如图3所示，图3中的白色表示像素值为1，黑色表示像素值为0。其中，T1的取值可以手动设置，也可以采用自适应阈值。

在具体实施时手部二值图像会存在一些杂散的小噪声点，或者一些较小的背景干扰物体。在提取手部边界图前，需要对这些噪声点或背景干扰物体进行滤除。所述步骤S200中，对所述手部二值图像进行去噪处理，提取手部边界图像具体包括：

步骤21、对所述手部二值图像进行形态学开运算和闭运算去噪。

本实施例中，去除噪声点采用形态学去噪，形态学开运算和闭运算去噪计算公式为：，

其中，fm为去噪后的手部二值图像，fb为手部二值图像，E为结构元素；

和

分别为开运算符号和闭运算符号。其中，结构元素E的形状和尺寸可以根据图像的分辨率、图像中噪声点的大小来设定，例如当手部二值图像的分辨率为320×240时，可选择3×3的方形结构元素。

步骤22、对去噪后的手部二值图像进行连通域判别，保留手部区域。

去噪后的手部二值图像中可能存在一些较大的非手部的前景物体，因此需要进行连通域判别。在所有连通域中只保留最大的连通区域（一般手部二值图像中不会存在比手的部分更大的连通区域）就是手部区域。连通域判别为数字图像处理领域公知技术，此处不再赘述。

步骤23、对仅含手部区域的手部二值图像进行形态学腐蚀，并将腐蚀前的图像与腐蚀后的图像相减，获得手部边界图像。

本实施例中对只剩下手部区域的二值图像以3×3的方形结构元素进行形态学腐蚀，形态学腐蚀计算公式为：

。手部边界图像计算公式为：

，其中，fEdge为手部边界图像，fErode为腐蚀后的图像，fHand为手部区域，E′为结构元素。

表示逐像素点相减。其中，E′为3×3的方形结构元素。得到的手部边界图像如图4所示，手部边界图像中显示了一条勾勒了手指、手掌和部分手腕的手部轮廓线、也叫手部边界线。

在得到手部边界图像后，即可沿着手部边界线按序识别出各个手指的指尖点。根据所述指尖点、前参考点、后参考点可计算出手部边界图像中手指的方向；还可以从手部边界图像中识别出手指与手指连接处的指间凹点，根据指间凹点和指尖点来实现单根手指的分割；则所述S200还包括：在所述手部边界线上识别出手指间连接处的指间凹点。在所述步骤S300之后还包括：S400、提取与当前指尖点最近的指间凹点，由该指间凹点发射出与所述指尖点对应的方向线垂直相交的分割线，由该分割线在手部边界图像上分割出单根手指。下面将具体阐述本实施例中计算手指方向和分割单根手指的方法。

请参阅图5，本实施例中定义图5的左上角为坐标系原点，水平向右为X轴的正方向，垂直向下为Y轴的正方向。以逆时针方向按序提取手部边界线上的各个像素点的位置坐标。则在手部边界线上识别出手指的指尖点和手指间连接处的指间凹点具体包括：

步骤211、提取与当前像素点前、后均相隔预设点的前参考点和后参考点，从前参考点到当前像素点的向量为第一向量，从当前像素点到后参考点的向量为第二向量。

本实施例中，以坐标方式来识别指尖点和指间凹点。假设第i个像素点为当前像素点，以P_i（i是不为0的正整数）表示。设置预设的步长为K，则在P_i前面第K个像素点为P_i-K，也叫前参考点；在P_i后面第K个像素点为P_i+K，也叫后参考点。如图5所示，则

为第一向量，

为第二向量。

步骤212、计算第一向量与第二向量的夹角的余弦值，判断该余弦值是否满足预设阈值条件,其中，所述预设预置可根据需要而设，此处对此不作限制：若是，则记录该余弦值及其对应的像素点位置；否则忽略；返回所述步骤211对下一个像素点进行计算，直至所有像素点计算完成。

所述第一向量

与第二向量

的夹角余弦值计算公式为：

其中，P_i为当前像素点，P_i-K为前参考点，P_i+K为后参考点，K为预设的步长，

为第一向量，

为第二向量，A_i为第一向量与第二向量的夹角的余弦值。判断第一向量与第二向量

的夹角的余弦值是否小于预设阈值，即判断A_i的值是否小于预定阈值T2，-1<T2<1。预设的步长K的取值由图像分辨率、手部区域的大小决定，分辨率越高、手部区域越大，则K值越大。而K值又影响了预定阈值T2的取值，通常K值越大，T2的取值越小。

步骤213、对于已记录的每个像素点，判断其所对应的余弦值在从其前参考点到后参考点的所有像素点中是否为局部极小值，即判断其对应的余弦值是否比其前参考点到其后参考点之间的所有像素点对应的余弦值都小，若是，且其前参考点与后参考点的连线的中点处于所述手部区域内，则当前像素点为指尖点；若所述中点处于所述手部区域外时，当前像素点为指间凹点。。

本实施例中，P_i为指间凹点，P_i′为P_i对应的前参考点与后参考点的连线的中点。假设按逆时针方向方向沿着手部边界线数第3000个点为大拇指的指尖点P3000，当K为50时，其前参考点为P2950，后参考点为P3050。P2950与P3050连线的中点为P3000^/，如图5所示。

从图5中可以看出，在手部边界线上，指尖点和指间凹点的曲率都比较大，其曲率为局部极大值，即所述指尖点所对应的曲率比其前参考点到其后参考点之间的所有像素点所对应的曲率都要大；同样地，所述指间凹点所对应的曲率比其前参考点到其后参考点之间的所有像素点所对应的曲率都要大。因此在指尖点处和指间凹点处的第一向量与第二向量的夹角的余弦值都为局部极小值。在判断一个满足阈值条件和局部极值条件的点是指尖点还是指间凹点时，可利用其前参考点和后考点的连线的中点来进行区分，基于人手的结构特性，当该中点位于手部区域以内时，当前像素点为指尖点；而当该中点位于手部区域以外时，当前像素点为指间凹点。

计算出指尖点和指间凹点后，可计算单根手指的方向。如图6所示，图6中的坐标系设置与图5相同。所述步骤S300具体包括：

步骤301、在手部边界线上提取与当前指尖点前、后均相隔预设点数的前参考点和后参考点，并提取前、后参考点的连线上的中点；

步骤302、连接指尖点与中点形成方向线，由两点公式计算出方向线；

步骤303、根据方向线的斜率获得该当前指尖点对应的手指的方向。

本实施例以方向线的斜率来表示手指的方向。假设计算大拇指的方向，则提取出大拇指的指尖点Pm的位置坐标（x_m , y_m）。预设的步长为K，定位前参考点Pm-K和后参考点Pm+K，获得中点Pm′，中点Pm′的位置坐标为(x_m′ , y_m′)，连接指尖点Pm和中点Pm′得到方向线L1。方向线L1的公式为

，方向线L1的斜率即可指示大拇指的方向。

应当理解的是，当

或

时，无法用两点式求方向线L1的方程，此时的方向线L1为特殊的方向，无需公式求解。即

表示方向线L1为经过Pm的垂直线，

表示方向线L1为经过Pm的水平线。

请继续参阅图6，需要分割手指时，所述步骤S400具体包括：

步骤401、提取与当前指尖点距离最近的指间凹点，由该指间凹点发射出与所述指尖点对应的方向线垂直相交的分割线；

步骤402、提取分割线与手部边界线相交的分割点；

步骤403、所述分割点、指间凹点之间的所有手部边界像素点即为当前指尖点对应的单根手指的边界点。

同样以图6中的大拇指为例，先参照上述方法得到方向线L1，再提取与大拇指的指尖点Pm距离最近的指间凹点Po，由该指间凹点Po发射出与所述指尖点Pm对应的方向线L1垂直相交的分割线L2；提取分割线L2与手部边界线相交的分割点Po1，方向线L1与分割线L2的垂直交点为Po2。则所述分割点Po1、指间凹点Po之间的手部边界像素点就组成了大拇指的边界，通过分割线L2即可将大拇指与手部分割。由于指尖点和指间凹点已确定，在分割点、指间凹点之间的所有像素点就能组合成一根手指的轮廓线。

应当理解的是，本发明除了可以对红外手势图像进行手指方向确认和手指分割外，还可以对普通的摄像头拍摄的彩色图像进行手指处理。则在步骤S100中，使用基于肤色模型的方法来提取出手部区域，将彩色图像转换成含有手部区域的二值图像即可。

基于上述的基于手势图像的处理方法，本发明还相应提供一种基于手势图像的处理装置，其包括图像获取模块101、图像处理模块102和手指处理模块103，所述图像获取模块101、图像处理模块102、手指处理模块103依次连接。其中，所述图像获取模块101用于获取手势图像；图像处理模块102对手势图像进行二值化处理得到手部二值图像，对所述手部二值图像进行去噪处理以及连通域判别处理，提取手部边界图像。手指处理模块103在手部边界线上提取指尖点及其前、后均相隔预设像素点个数的前参考点和后参考点，提取前、后参考点的连线上的中点，由中点和指尖点连接形成的方向线得出手部边界图像中手指的方向。所述手指处理模块103还能提取与当前指尖点最近的指间凹点，由该指间凹点发射出与所述指尖点对应的方向线垂直相交的分割线，由该分割线在手部边界图像上分割出单根手指。

本实施例中图像获取模块101获取的是红外手势图像，图像处理模块102和手指处理模块103均是在红外手势图像的基础上进行相应的处理。

本实施例中的图像处理装置的实现原理过程与上述实施例的图像处理方法的一致，此处不再赘述。

综上所述，本发明对获取的红外手势图像进行处理后得到勾勒手部的手部边界图像，在识别指尖点和指间凹点时，设置了特定的前、后参考点得到第一向量和第二向量，通过计算判断第一向量和第二向量的夹角的余弦值、以及结合手指形状的结构特性来判断，避免了对指尖点和指间凹点的误判断；用方向线的斜率表示手指的方向，以及对各个手指的分割，为手势在人机交互中的应用提供了更多可利用的信息。

可以理解的是，对本领域普通技术人员来说，可根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种基于手势图像的处理方法，其特征在于，包括：

A、获取手势图像，并对手势图像进行二值化处理得到手部二值图像；

B、对所述手部二值图像进行去噪处理以及连通域判别处理，提取手部边界图像、并在手部边界线上识别出手指的指尖点；

C、在手部边界线上提取与当前指尖点前、后均相隔预设点数的前参考点和后参考点，基于所述前参考点、后参考点及当前指尖点计算手指的方向。

2.根据权利要求1所述的基于手势图像的处理方法，其特征在于，所述步骤B还包括：在所述手部边界线上识别出手指间连接处的指间凹点；

在所述步骤C之后还包括：

D、提取与当前指尖点最近的指间凹点，由该指间凹点发射出与所述指尖点对应的方向线垂直相交的分割线，由该分割线在手部边界图像上分割出单根手指。

3.根据权利要求1所述的基于手势图像的处理方法，其特征在于，所述步骤A具体包括：

A1、在红外光源的照射下由红外摄像头拍摄用户的手部、获取红外手势图像；

A2、判断所述红外手势图像上当前像素点的灰度是否大于预设灰度阈值：若大于，则标识该像素点为前景物体像素点；否则，标识该像素点为背景像素点；

A3、重复步骤A2判断所述红外手势图像上的所有像素点后，获得手部二值图像。

4.根据权利要求2所述的基于手势图像的处理方法，其特征在于，在所述步骤B中，对所述手部二值图像进行去噪处理，提取手部边界图像具体包括：

B1、对所述手部二值图像进行形态学开运算和闭运算去噪；

B2、对去噪后的手部二值图像进行连通域判别，保留手部区域； 

B3、对仅含手部区域的手部二值图像进行形态学腐蚀，并将腐蚀前的图像与腐蚀后的图像相减，获得手部边界图像。

5.根据权利要求4所述的基于手势图像的处理方法，其特征在于，在所述步骤B中，在手部边界线上识别出手指的指尖点和手指间连接处的指间凹点具体包括：

B11、提取与当前像素点前、后均相隔预设点的前参考点和后参考点，从前参考点到当前像素点的向量为第一向量，从当前像素点到后参考点的向量为第二向量；

B12、计算第一向量与第二向量的夹角的余弦值，判断该余弦值是否满足预设阈值条件：若是，则记录该余弦值及其对应的像素点位置；否则忽略；返回所述步骤B11对下一个像素点进行计算，直至所有像素点计算完成； 

B13、对于已记录的每个像素点，判断其所对应的余弦值在从其前参考点到后参考点的所有像素点中是否为局部极小值，若是，且其前参考点与后参考点的连线的中点处于所述手部区域内，则当前像素点为指尖点；若所述中点处于所述手部区域外时，当前像素点为指间凹点。

6.根据权利要求2所述的基于手势图像的处理方法，其特征在于，所述步骤C具体包括：

C1、在手部边界线上提取与当前指尖点前、后均相隔预设点数的前参考点和后参考点，并提取前、后参考点的连线上的中点；

C2、连接指尖点与中点形成方向线，由两点公式计算出方向线；

C3、根据方向线的斜率获得该当前指尖点对应的手指的方向。

7.根据权利要求6所述的基于手势图像的处理方法，其特征在于，所述步骤D具体包括：

D1、提取与当前指尖点距离最近的指间凹点，由该指间凹点发射出与所述指尖点对应的方向线垂直相交的分割线；

D2、提取分割线与手部边界线相交的分割点；

D3、所述分割点、指间凹点之间的所有手部边界点即为当前指尖点对应的单根手指的边界点。

8.根据权利要求5所述的基于手势图像的处理方法，其特征在于，第一向量与第二向量的夹角余弦值计算公式为：

其中，P_i为当前像素点，P_i-K为前参考点，P_i+K为后参考点，K为预设的步长，

为第一向量，

为第二向量，A_i为第一向量与第二向量的夹角的余弦值。

9.根据权利要求6所述的基于手势图像的处理方法，其特征在于，所述方向线的计算公式为：

其中，（x_m , y_m）为指尖点的坐标，(x_m′ , y_m′)为中点的坐标。

10.一种基于手势图像的处理装置，其特征在于，包括：

图像获取模块，用于获取手势图像；

图像处理模块，用于对手势图像进行二值化处理得到手部二值图像，对所述手部二值图像进行去噪处理以及连通域判别处理，提取手部边界图像，并在手部边界线上识别出手指的指尖点；

手指处理模块，用于在手部边界线上提取与当前指尖点前、后均相隔预设像素点个数的前参考点和后参考点，基于所述前参考点、后参考点及当前指尖点计算手指的方向。

Images