CN103399634A

CN103399634A - 手势识别***及识别方法

Info

Publication number: CN103399634A
Application number: CN2013103098280A
Authority: CN
Inventors: 唐琪; 冯声振
Original assignee: ACC Acoustic Technologies Shenzhen Co Ltd
Current assignee: ACC Acoustic Technologies Shenzhen Co Ltd; AAC Technologies Holdings Nanjing Co Ltd
Priority date: 2013-07-22
Filing date: 2013-07-22
Publication date: 2013-11-20
Anticipated expiration: 2033-07-22
Also published as: CN103399634B

Abstract

本发明涉及了一种手势识别***，该***包括：视频分析模块、音频分析模块和综合判断模块，所述综合判断模块接收所述视频分析模块和音频分析模块分别输出的人手手势和手势可信度，并根据手势可信度来选则采用视频分析模块或音频分析模块的人手手势，并将选定的人手手势输出给所述应用程序。本发明提供了一种手势识别***及识别方法，其通过综合判断模块来根据周围环境的恶劣情况来控制视频分析模块和音频分析模块的工作，并接收视频分析模块和音频分析模块输出的人手手势和手势可信度，通过比较手势可信度来确定选择人手手势，这样不但提高了人手手势的可信度，而且大大提高了手势识别在不同环境中的应用。

Description

手势识别***及识别方法

【技术领域】

本发明涉及手势识别领域，尤其涉及一种手势识别***及识别方法。

【背景技术】

随着个人电子产品的不断发展，人与电子设备交互的方式也在不断变化，从一开始的键盘输入，到触摸输入，现在又出现了新的非接触式的手势识别人际交互模式。

目前流行的手势识别的方式要么基于视频的手势识别，要么基于音频的手势识别。基于视频的手势识别对环境中的光亮程度要求高，比如，手势运动的背景是肉色的，导致人手和背景难以区分，或者背景有强光照射摄像头，导致成像不清楚，或者背景光照条件很恶劣，这些时候光学环境的恶劣程度大大降低了基于视频的手势识别的可信度。而基于音频的手势识别对环境中的声干扰要求高，比如，当环境中存在对超声手势识别所用音频段的干扰时，比如附近有一个宽频噪声源，这时候就根据噪声信号的强度和***的超声信号的强度比相应的降低了超声手势识别的可信度。

因此，针对上述技术问题，有必要提供一种新型的手势识别***及识别方法。

【发明内容】

本发明的目的在于提供一种手势识别***及识别方法，其解决了单独基于视频的手势识别在光学环境恶劣时或单独基于音频的手势识别在声学环境恶劣时，大大降低了手势识别的可信度的技术问题。

为了解决上述技术问题，本发明提供了一种手势识别***，该***包括：视频分析模块，其用于从一摄像装置中获取该摄像装置所摄取的一电子装置前面的人手的图像和运动轨迹，然后将摄取到的人手的图像和运动轨迹分别与预设的人手图像特征库和运动轨迹特征库进行比较得出人手的图像特征值和运动轨迹特征值，之后将图像特征值和运动轨迹特征值与预设的模板特征值库比较得出人手手势和手势可信度；音频分析模块，其包括用于发出声音的发声模块和用于接收声音的声音采集模块，所述发声模块发出声音，该声音经过人手的反射之后被声音采集模块接收，从而计算得出人手的运动轨迹特征值，然后将所述运动轨迹特征值与预设的模板特征值库比较得出人手手势和手势可信度；综合判断模块，其用于根据应用所述手势识别***的应用程序的控制信号来控制由视频分析模块单独工作或音频分析模块单独工作或视频分析模块和音频分析模块同时工作，并接收所述视频分析模块和音频分析模块分别输出的人手手势和手势可信度，预先定义一个手势可信度规则，所述综合判断模块依据该手势可信度规则来选则采用视频分析模块或音频分析模块的人手手势，并将选定的人手手势输出给所述应用程序。

一种手势识别方法，该方法包括如下步骤：S1，综合判断模块接收应用所述手势识别***的应用程序输出的控制信号，并根据该控制信号来控制由视频分析模块单独工作或音频分析模块单独工作或视频分析模块和音频分析模块同时工作；S2，所述综合判断模块控制由视频分析模块单独工作，具体步骤如下：S21，所述视频分析模块从一摄像装置中获取该摄像装置所摄取的一电子装置前面的人手的图像和运动轨迹，然后将摄取到的人手的图像和运动轨迹分别与预设的人手图像特征库和运动轨迹特征库进行比较得出人手的图像特征值和运动轨迹特征值，之后将图像特征值和运动轨迹特征值与预设的模板特征值库比较得出人手手势和手势可信度；S22，综合判断模块接收所述视频分析模块输出的人手手势和手势可信度，预先定义一个手势可信度规则，所述综合判断模块依据该手势可信度规则来选择采用视频分析模块的人手手势，并将选定的人手手势输出给所述应用程序；S3，所述综合判断模块控制由音频分析模块单独工作，具体步骤如下：S31，音频分析模块，其包括用于发出声音的发声模块和用于接收声音的声音采集模块，所述发声模块发出声音，该声音经过人手的反射之后被声音采集模块接收，从而计算得出人手的运动轨迹特征值，然后将所述运动轨迹特征值与预设的模板特征值库比较得出人手手势和手势可信度；S32，综合判断模块接收所述音频分析模块输出的人手手势和手势可信度，预先定义一个手势可信度规则，所述综合判断模块依据该手势可信度规则来选择采用音频分析模块的人手手势，并将选定的人手手势输出给所述应用程序；S4，所述综合判断模块控制由视频分析模块和音频分析模块同时工作，具体步骤如下：S41，所述视频分析模块从一摄像装置中获取该摄像装置所摄取的一电子装置前面的人手的图像和运动轨迹，然后将摄取到的人手的图像和运动轨迹分别与预设的人手图像特征库和运动轨迹特征库进行比较得出人手的图像特征值和运动轨迹特征值，之后将图像特征值和运动轨迹特征值与预设的模板特征值库比较得出人手手势和手势可信度；S42，音频分析模块，其包括用于发出声音的发声模块和用于接收声音的声音采集模块，所述发声模块发出声音，该声音经过人手的反射之后被声音采集模块接收，从而计算得出人手的运动轨迹特征值，然后将所述运动轨迹特征值与预设的模板特征值库比较得出人手手势和手势可信度；S43，所述综合判断模块接收所述视频分析模块和音频分析模块分别输出的人手手势和手势可信度，预先定义一个手势可信度规则，所述综合判断模块依据该手势可信度规则来选则采用视频分析模块或音频分析模块的人手手势，并将选定的人手手势输出给所述应用程序。

本发明的有益效果在于:本发明提供了一种手势识别***及识别方法，其通过综合判断模块来根据周围环境的恶劣情况来控制视频分析模块和音频分析模块的工作，并接收视频分析模块和音频分析模块输出的人手手势和手势可信度，通过比较手势可信度来确定选择人手手势，这样不但提高了人手手势的可信度，而且大大提高了手势识别在不同环境中的应用。

【附图说明】

图1是本发明手势识别***的框架图；

图2是本发明手势识别***中的综合处理模块、视频分析模块、音频分析模块及应用程序之间的工作流程图。

【具体实施方式】

下面结合附图和实施方式对本发明作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

如图1和图2所示，本发明提供了一种手势识别***1，该***包括：视频分析模块10、音频分析模块11、以及用于接收所述视频分析模块10和音频分析模块11输出信号的综合判断模块12。

所述视频分析模块10，其用于从一摄像装置100中获取该摄像装置100所摄取的一电子装置101前面的人手的图像和运动轨迹，然后将摄取到的人手的图像和运动轨迹分别与预设的人手图像特征库和运动轨迹特征库进行比较得出人手的图像特征值和运动轨迹特征值，该人手图像特征库和运动轨迹特征库都是现有的，并且用现有的处理方法来进行比较得出人手图像特征值和运动轨迹特征值，之后将图像特征值和运动轨迹特征值与预设的模板特征值库比较得出人手手势和手势可信度。

所述视频分析模块10的手势识别方案与传统的基于视频的手势识别无异，但是在本发明中，相较于传统的视频手势识别来说，本发明需要进行人手的手势可信度计算，手势可信度的计算有很多种方法，下面将举众多计算方法中的一种方法的实施例来进行说明，具体如下：

视频分析模块10实际上是利用光学来进行手势识别，光学是通过区分近端运动物体颜色和背景的颜色来区分人手的，近端物体和背景的色差越大，识别的可信度越高，我们假设：

背景区域的平均RGB色彩为(r_i g_i b_i；

运动物体的平均RGB色彩为（r_m g_m b_m）；

上述r表示红色，g表示绿色,b表示蓝色；其中，r_i g_i b_i分别表示背景区域内的所有像素点的红色通道的平均值，背景区域内的所有像素点的绿色通道的平均值，背景区域内的所有像素点的蓝色通道的平均值，各自的取值范围均为0-255；r_m g_m b_m分别表示运动物体轮廓内所有像素点的的红色通道的平均值，运动物体轮廓内所有像素点的绿色通道的平均值，运动物体轮廓内所有像素点的蓝色通道的平均值，各自的取值范围均为0-255。

那么RGB色差度量公式为：

D = \sqrt{{(r_{i} - r_{m})}^{2} + {(g_{i} - g_{m})}^{2} + {(b_{i} - b_{m})}^{2}}

那么光学人手形状识别的可信度可以近似表述为：

X 3 = \frac{D}{255 * \sqrt{3}} * c

C为一常数系数，其是根据实验统计得到的一个经验值，取值范围为0.1-10，主要是考虑不同的硬件环境（例如镜头性能，CCD性能，软件性能等）对光学人手手势识别的可信度有一定影响，其中有一些复杂的公式，但是考虑到固定的硬件环境对光学人手形状识别的可信度的影响也是固定的，因此我们用一个常数系数来替代这些公式，这个常数一般根据大量测量的结果用统计方法分析得出。

音频分析模块11，其包括用于发出声音的发声模块110和用于接收声音的声音采集模块111，所述发声模块110发出声音，该声音经过人手的反射之后被声音采集模块111接收，从而计算得出人手的运动轨迹特征值，该运动轨迹特征值是通过现有音频手势识别的计算方法计算得来的，然后将所述运动轨迹特征值与预设的模板特征值库比较得出人手手势和手势可信度。

音频手势识别有很多种识别方法，但是优选的，本发明的音频手势识别采用连续波多普勒效应法。所谓连续波多普勒效应法是通过检测人手运动所导致的连续波的频移来检测人手所在位置或运动轨迹。具体又分为连续波多普勒状态法和连续波多普勒模式识别法两种实现方法。

所谓连续波多普勒状态法是指通过对连续波反射信号的特征值直观分析，通过时域与能量比较，求其运动模式，特征值为相应基频附近的较低频谱的能量和与较高频段的能量和。

所谓连续波多普勒模式识别法是通过提取不同信号的特征值矩阵和模板特征值矩阵进行比较，吻合的即为对应的动作类型，特征值矩阵的提取方法为：以每个麦克风的基频周围的频段能量为行向量时间轴为列向量构成一个矩阵，先对每类已知动作提取一个平均的特征值矩阵，作为模板，然后对每个未知动作再提取一个特征值矩阵，与每一个已知动作的模板相比较，欧氏距离最小的手势动作类型即有可能是该动作的实际手势。

为了详细说明本发明的音频分析模块，本发明优选的采用连续波多普勒模式识别法作为具体实施例来进行说明。

在连续波多普勒模式识别法中，人手手势可信度可以由如下方法得到：

首先对同一类已知手势动作重复多次，统计类内的平均欧氏距离，设为a1；

对已经判定为该类的待测动作，计算它与平均模板的欧氏距离，设为b1，理论上b越小，该动作识别的可信度越高；

可以由下面的近似公式表达声学模块的可信度。

可信度

,这里的n为动作的总类别数，n的取值根据实际需要识别的动作类型的种数来确定，一般n取1-20种左右。例如，我们现在一共定义了11中动作类型：从左到右，从右到左，从上到下，从下到上，单击，顺时针画圈，逆时针画圈，从中间到左边，从中间到右边，从右边到中间，从左边到中间。所以此时的n就是11。

综合判断模块12，其用于根据应用所述手势识别***的应用程序的控制信号来控制由视频分析模块10单独工作或音频分析模块11单独工作或视频分析模块10和音频分析模块11同时工作，并接收所述视频分析模块10和音频分析模块11分别输出的人手手势和手势可信度，预先定义一个手势可信度规则，该规则包括视频分析模块10或音频分析模块11的可信度同时较高或者同时较低时或者一个较高一个较低时，将如何选择其中的一个手势输出，具体的判断标准并不限制，只需要定义出一个规则可以实现综合判断模块12能够选择出可信度相对较高的那个手势。所述综合判断模块12依据该手势可信度规则来选则采用视频分析模块10或音频分析模块11的人手手势，并将选定的人手手势输出给所述应用程序。

本发明还提供了一种手势识别方法，该方法包括如下步骤：

S1，综合判断模块12接收应用所述手势识别***的应用程序输出的控制信号，并根据该控制信号来控制由视频分析模块10单独工作或音频分析模块11单独工作或视频分析模块10和音频分析模块11同时工作；

S2，所述综合判断模块12控制由视频分析模块10单独工作，具体步骤如下：

S21，所述视频分析模块10从一摄像装置100中获取该摄像装置100所摄取的一电子装置101前面的人手的图像和运动轨迹，然后将摄取到的人手的图像和运动轨迹分别与预设的人手图像特征库和运动轨迹特征库进行比较得出人手的图像特征值和运动轨迹特征值，之后将图像特征值和运动轨迹特征值与预设的模板特征值库比较得出人手手势和手势可信度；

S22，综合判断模块12接收所述视频分析模块10输出的人手手势和手势可信度，预先定义一个手势可信度规则，所述综合判断模块12依据该手势可信度规则来选择采用视频分析模块10的人手手势，并将选定的人手手势输出给所述应用程序；

S3，所述综合判断模块12控制由音频分析模块11单独工作，具体步骤如下：

S31，音频分析模块11，其包括用于发出声音的发声模块110和用于接收声音的声音采集模块111，所述发声模块110发出声音，该声音经过人手的反射之后被声音采集模块111接收，从而计算得出人手的运动轨迹特征值，然后将所述运动轨迹特征值与预设的模板特征值库比较得出人手手势和手势可信度；

S32，综合判断模块12接收所述音频分析模块11输出的人手手势和手势可信度，预先定义一个手势可信度规则，所述综合判断模块12依据该手势可信度规则来选择采用音频分析模块11的人手手势，并将选定的人手手势输出给所述应用程序；

S4，所述综合判断模块12控制由视频分析模块10和音频分析模块11同时工作，具体步骤如下：

S41，所述视频分析模块10从一摄像装置100中获取该摄像装置100所摄取的一电子装置101前面的人手的图像和运动轨迹，然后将摄取到的人手的图像和运动轨迹分别与预设的人手图像特征库和运动轨迹特征库进行比较得出人手的图像特征值和运动轨迹特征值，之后将图像特征值和运动轨迹特征值与预设的模板特征值库比较得出人手手势和手势可信度；

S42，音频分析模块11，其包括用于发出声音的发声模块110和用于接收声音的声音采集模块111，所述发声模块110发出声音，该声音经过人手的反射之后被声音采集模块111接收，从而计算得出人手的运动轨迹特征值，然后将所述运动轨迹特征值与预设的模板特征值库比较得出人手手势和手势可信度；

S43，所述综合判断模块12接收所述视频分析模块10和音频分析模块11分别输出的人手手势和手势可信度，预先定义一个手势可信度规则，所述综合判断模块12依据该手势可信度规则来选则采用视频分析模块10或音频分析模块11的人手手势，并将选定的人手手势输出给所述应用程序。

本发明提供的手势识别***及识别方法，其通过综合判断模块12来根据周围环境的恶劣情况来控制视频分析模块10和音频分析模块11的工作，并接收视频分析模块10和音频分析模块11输出的人手手势和手势可信度，进而比较手势可信度来确定选择人手手势，这样不但提高了人手手势的可信度，而且大大提高了手势识别在不同环境中的应用。

以上所述的仅是本发明的较佳实施方式，在此应当指出，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出改进，但这些均属于本发明的保护范围。

Claims

1.一种手势识别***，其特征在于，该***包括：

视频分析模块，其用于从一摄像装置中获取该摄像装置所摄取的一电子装置前面的人手的图像和运动轨迹，然后将摄取到的人手的图像和运动轨迹分别与预设的人手图像特征库和运动轨迹特征库进行比较得出人手的图像特征值和运动轨迹特征值，之后将图像特征值和运动轨迹特征值与预设的模板特征值库比较得出人手手势和手势可信度；

音频分析模块，其包括用于发出声音的发声模块和用于接收声音的声音采集模块，所述发声模块发出声音，该声音经过人手的反射之后被声音采集模块接收，从而计算得出人手的运动轨迹特征值，然后将所述运动轨迹特征值与预设的模板特征值库比较得出人手手势和手势可信度；

综合判断模块，其用于根据应用所述手势识别***的应用程序的控制信号来控制由视频分析模块单独工作或音频分析模块单独工作或视频分析模块和音频分析模块同时工作，并接收所述视频分析模块和音频分析模块分别输出的人手手势和手势可信度，预先定义一个手势可信度规则，所述综合判断模块依据该手势可信度规则来选则采用视频分析模块或音频分析模块的人手手势，并将选定的人手手势输出给所述应用程序。

2.一种手势识别方法，其特征在于，该方法包括如下步骤：

S1，综合判断模块接收应用所述手势识别***的应用程序输出的控制信号，并根据该控制信号来控制由视频分析模块单独工作或音频分析模块单独工作或视频分析模块和音频分析模块同时工作；

S2，所述综合判断模块控制由视频分析模块单独工作，具体步骤如下：

S21，所述视频分析模块从一摄像装置中获取该摄像装置所摄取的一电子装置前面的人手的图像和运动轨迹，然后将摄取到的人手的图像和运动轨迹分别与预设的人手图像特征库和运动轨迹特征库进行比较得出人手的图像特征值和运动轨迹特征值，之后将图像特征值和运动轨迹特征值与预设的模板特征值库比较得出人手手势和手势可信度；

S22，综合判断模块接收所述视频分析模块输出的人手手势和手势可信度，预先定义一个手势可信度规则，所述综合判断模块依据该手势可信度规则来选择采用视频分析模块的人手手势，并将选定的人手手势输出给所述应用程序；

S3，所述综合判断模块控制由音频分析模块单独工作，具体步骤如下：

S31，音频分析模块，其包括用于发出声音的发声模块和用于接收声音的声音采集模块，所述发声模块发出声音，该声音经过人手的反射之后被声音采集模块接收，从而计算得出人手的运动轨迹特征值，然后将所述运动轨迹特征值与预设的模板特征值库比较得出人手手势和手势可信度；

S32，综合判断模块接收所述音频分析模块输出的人手手势和手势可信度，预先定义一个手势可信度规则，所述综合判断模块依据该手势可信度规则来选择采用音频分析模块的人手手势，并将选定的人手手势输出给所述应用程序；

S4，所述综合判断模块控制由视频分析模块和音频分析模块同时工作，具体步骤如下：

S41，所述视频分析模块从一摄像装置中获取该摄像装置所摄取的一电子装置前面的人手的图像和运动轨迹，然后将摄取到的人手的图像和运动轨迹分别与预设的人手图像特征库和运动轨迹特征库进行比较得出人手的图像特征值和运动轨迹特征值，之后将图像特征值和运动轨迹特征值与预设的模板特征值库比较得出人手手势和手势可信度；

S42，音频分析模块，其包括用于发出声音的发声模块和用于接收声音的声音采集模块，所述发声模块发出声音，该声音经过人手的反射之后被声音采集模块接收，从而计算得出人手的运动轨迹特征值，然后将所述运动轨迹特征值与预设的模板特征值库比较得出人手手势和手势可信度；

S43，所述综合判断模块接收所述视频分析模块和音频分析模块分别输出的人手手势和手势可信度，预先定义一个手势可信度规则，所述综合判断模块依据该手势可信度规则来选则采用视频分析模块或音频分析模块的人手手势，并将选定的人手手势输出给所述应用程序。