CN110110674A - 一种基于加速度微机电***和基础笔画的手势识别方法 - Google Patents
一种基于加速度微机电***和基础笔画的手势识别方法 Download PDFInfo
- Publication number
- CN110110674A CN110110674A CN201910391987.7A CN201910391987A CN110110674A CN 110110674 A CN110110674 A CN 110110674A CN 201910391987 A CN201910391987 A CN 201910391987A CN 110110674 A CN110110674 A CN 110110674A
- Authority
- CN
- China
- Prior art keywords
- gesture
- code
- moment
- information
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000001133 acceleration Effects 0.000 title claims abstract description 40
- 238000007514 turning Methods 0.000 claims abstract description 59
- 230000033001 locomotion Effects 0.000 claims abstract description 14
- 230000011218 segmentation Effects 0.000 claims abstract description 10
- 230000003068 static effect Effects 0.000 claims description 20
- 238000011156 evaluation Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 13
- 230000009467 reduction Effects 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 239000012634 fragment Substances 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 7
- 238000013519 translation Methods 0.000 description 6
- 238000011088 calibration curve Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/30—Writer recognition; Reading and verifying signatures
- G06V40/37—Writer recognition; Reading and verifying signatures based only on signature signals such as velocity or pressure, e.g. dynamic signature recognition
- G06V40/382—Preprocessing; Feature extraction
- G06V40/388—Sampling; Contour coding; Stroke extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/30—Writer recognition; Reading and verifying signatures
- G06V40/37—Writer recognition; Reading and verifying signatures based only on signature signals such as velocity or pressure, e.g. dynamic signature recognition
- G06V40/394—Matching; Classification
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Health & Medical Sciences (AREA)
- Character Discrimination (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于加速度微机电***和基础笔画的手势识别方法，包括以下步骤：根据手势的运动轨迹，将手势转化为用标签组成的序列，建立基于码特征的编码识别模型；设定标准的目标手势及其对应的元码；采集手势信号，将手势信号送入编码识别模型中，得到标签序列，利用多时决策算法，得到手势的基础笔画；对手势的含义进行预分类，得到手势与拥有相同拐角码特征数目的元码之间的相似度，取拥有最大相似度的元码对应的手势作为手势识别的结果。本发明描述了手势的笔画、元码以及码特征等概念之间的关系，并形成了一整套完整的、基于码特征的手势识别方法，通过拐角码特征，实现了手势识别过程中手势的自动分段，算法简单，识别精度高。
Description
技术领域
本发明涉及一种手势识别方法，特别涉及一种基于加速度微机电***和基础笔画的手势识别方法。
背景技术
手势识别是对人体手势进行识别的过程，在医疗监控、网络教学、电子设备等领域具有广泛的应用前景。不仅如此，手势作为一种自然、直观、方便的人机交互方式，也极大简化了人机交互过程，同时，人机交互方式的多样化，也促进了手势信息采集器的发展。目前，用于手势识别研究的手势信息采集器主要分为：1)摄像设备；基于摄像设备的手势识别***，对手部及周围环境进行图像采集，识别出其中包含的手势。2)穿戴设备，它通过内置或者集成的方式，将采集器贴合、固定在手部，采集手部的运动或者生物信息，完成手势的识别。3)新型信息采集方式，该类采集的信息包括WIFI、雷达等，是目前最新型的手势识别方法。
手势识别的应用背景直接决定手势采集器的选择。比如，摄像设备的安放会严重的影响用户体验，同时也难以满足实时跟踪的要求；而基于新型信息采集方式的手势识别方法尚未成熟，识别的手势还普遍简单；在进行单一物体跟踪手势识别时，他们都无法满足要求。
发明内容
为了解决上述技术问题，本发明提供一种算法简单、识别精度高的基于加速度微机电***和基础笔画的手势识别方法。
本发明解决上述问题的技术方案是：一种基于加速度微机电***和基础笔画的手势识别方法，包括以下步骤：
步骤一：训练标准码的识别模型，实现手势轨迹与标准码的一一对应；并将手势转化为标准码序列；
步骤二：确定样本手势及其对应的元码；
步骤三：利用多时决策算法，得到手势的基础笔画；
步骤四：首先，依据基础笔画数目对手势含义进行预分类；然后，计算待测手势与拥有相同基础笔画数目的样本元码之间的相似度，取拥有最大相似度的元码对应的样本手势作为手势识别的结果。
上述基于加速度微机电***和基础笔画的手势识别方法，所述步骤一具体步骤为：
1-1)根据手势的实际轨迹，将手势分为4类并标签为：拐角、静态、弧、直线；拐角表示手势轨迹转变期，理论持续时间为0，记为4，体现了对于手势的分割和手势的开始与结束；静态表示手势处于静止状态，对应手势前、后的手部处于不动的时间段，记为3，便于手势识别***识别手势的开始与结束；弧表示手势轨迹为弧状的时间段，记为2，是手势识别***分辨手势的依据；直线表示手势轨迹为直线状的时间段，记为1，是手势识别***分辨手势的依据；在每个时刻手势均分为以上四类标签，则采集的每个手势，转化为用以上四类标签组成的序列；理论上，手势在不同的时刻的标签，根据运动轨迹得到，从而完成从手势序列到标签序列的变换，这种方式像编码一样是一一对应的，因此将分类标签记为标准码，相应的，将每个时刻的手势信息进行分类并标签的过程，记为标准码识别；
1-2)将每个时刻的原始信息叫做时刻信息，将每个时刻的对应的标准码信息叫做标准码信息；在标准码识别过程中，为了得到标准码信息，借鉴速度与运动曲线的对应关系，将每个时刻与后面N个时刻的时刻信息进行多种转换，得到了转换信息，转换信息包括角度(Angle)和方差(Var)，其中：
式中，表示时刻t与间隔kT的时刻之间的角度信息，k取值为整数；T为信息采集的周期，T＝0.02s；At是t时刻的加速度；At+kT是t+kT时刻的加速度；π为常数；
Anglet表示时刻t的角度信息的集合，其中的元素表示时刻t与间隔kT(k＝1,2…N)的时刻之间的角度信息；
式中，表示时刻t与间隔kT的时刻之间的方差信息；
Vart表示时刻t的方差信息的集合，其中的元素表示时刻t与间隔kT(k＝1,2…N)的时刻之间的方差信息；
当某时刻处于标准的静止状态时，没有速度与加速度，因此，角度和方差信息的值均稳定在0附近，当处于标准的拐角状态时，速度的变化很大，因此加速度信息变化很明显，所以对于角度和方差信息的均值与方差值很大；在这个理论上，通过设置阈值，识别出静止和拐角两类码特征；
在时刻t，考虑N个时间间隔，得到关于特征F的信息集合对于特征F，集合的均值和方差衡量在时刻t的加速度及速度变化，考虑在不同的特征、L、N、阈值的情况下，L为拐角范围，选择具有最高评价值的特征、L、N及阈值构建滤波函数：
“拐角”标准码的滤波函数为:
VAR(Ft)/E(Ft)≥ε+λv
式中，E(Ft)为集合(Ft)的均值，VAR(Ft)为集合(Ft)的方差，ε为常数；λ为速度敏感系数；v为手势速度；
“静态”标准码的滤波函数为:
式中，α,β为常数；
为了利用滤波函数识别出“拐角”、“直线”标准码，选用及作为评价参数，选择具有最高评价值的特征、L、N、阈值；
为手势起始时刻的评价参数，计算结果越接近1，表示算法的可靠性越好；其中t1′为算法识别出的手势笔画的起始时刻；t1为手势笔画的理论起始时刻；t0为手势起始时刻；
为手势笔画长度的评价参数，计算结果越接近1，表示算法的可靠性越好；其中leni为手势第i个笔画的长度，Leni′为Leni中识别正确的时刻长度，i为手势笔画序号；
对于不能利用角度和方差进行识别的时刻信息，利用多SVM进行二分类，得到直线或者弧码特征的隶属度；
利用SVM进行二分类时，关键在于将样本进行映射，通过统计学***面B完成对数据的二分类，在训练最优超平面时，约束条件及目标函数如式：
式中，w为超平面法向量；b为超平面位移项；C为控制边缘分类错误的惩罚因子，C越大则误分类的样本点数越少，δj为非负的松弛变量，Nu为待分类的数据点的数目；当利用SVM进行标准码识别时，xj表示第j个点的时间，yi的值表示第j个点的标准码，取值为n，n＝1,2；
利用SVM进行二分类时，具有相同标准码n的元素的集合表示为Ln；SVM分类器分类得到的标准码为n的元素集合为Sn，利用SVM进行分类，分类结果为标准码n的可靠度δn:
δn用于衡量SVM分类的可靠性，它表示对于分类的标准码结果为“n”的时刻，存在δn的概率标准码为n，同时有1-δn的概率为3-n。
上述基于加速度微机电***和基础笔画的手势识别方法，所述步骤二中，标准的目标手势为数字从0到9，对应的元码为：0对应的元码为(3、4、1、4、1、4、1、4、1、4、3)，1对应的元码为(3、4、1、4、3)，2对应的元码为(3、4、2、4、1、4、1、4、3)，3对应的元码为(3、4、2、4、2、4、3)，4对应的元码为(3、4、1、4、1、4、1、4、3)，5对应的元码为(3、4、1、4、1、4、2、4、3)，6对应的元码为(3、4、2、4、2、4、3)，7对应的元码为(3、4、1、4、1、4、3)，8对应的元码为(3、4、2、4、1、4、2、4、1、4、3)，9对应的元码为(3、4、2、4、1、4、3)。
上述基于加速度微机电***和基础笔画的手势识别方法，所述步骤三中，手势的基础笔画的识别包括以下步骤：
Ⅰ)删除标签序列中，所***特征为静态的时刻；
Ⅱ)将拐角码特征两侧l个时刻的码特征，赋值为拐角，防止单一拐角时间段被识别为多个分段的拐角；
Ⅲ)拐角码特征约简，将所有连续的拐角用一个拐角替代，得到约简序列；
Ⅳ)对相邻拐角码特征之间的序列，进行多时决策：参考模板表示为Re表示的是两个拐角码特征及其中间长度M标准码序列片段，其中，表示由码特征识别时，利用SVM得到时刻t属于直线的隶属度，同时时刻t属于弧的隶属度为通过多时决策，得到该时间段的笔画类别为直线的隶属度：
式中，i表示笔画在手势序列中的序号，表示手势第i个笔画属于直线的隶属度，表示时刻t刻属于直线的隶属度，t的取值为1-M。
上述基于加速度微机电***和基础笔画的手势识别方法，所述步骤四中，在多时决策之后，手势序列中的数据由拐角和直线隶属度组成，其中，直线隶属度越高，该时间段属于直线笔画的可能性越高，否则，弧笔画的可能性越高；在这种情形下，利用拐角码特征的数目进行决策，来对手势的含义进行预分类，为手势序列的约简，其中，表示第i1个笔画属于“直线”码特征的隶属度；表示样本手势元码，其中，表示第i2个笔画的标准码，它的取值包括：1(直线)、2(弧)；i1、i2为手势中笔画的数目，如果满足等式i1＝i2，则两序列之间的相似度如下：
式中，表示手势R与元码G之间的相似度，表示第i个笔画属于直线的隶属度；考虑数个样本手势元码，形成集合如果样本g满足等式：
则，样本g对应的手势为待测手势的手势识别结果。
本发明的有益效果在于：本发明首先根据手势的运动轨迹，将手势转化为用标签组成的序列，建立基于码特征的编码识别模型；然后设定标准的目标手势及其对应的元码；再采集手势信号，将手势信号送入步骤一的编码识别模型中，得到标签序列，利用多时决策算法，得到手势的基础笔画；最后对手势的含义进行预分类，得到手势与拥有相同拐角码特征数目的元码之间的相似度，取拥有最大相似度的元码对应的手势作为手势识别的结果。整个方法描述了手势的笔画、元码以及码特征等概念之间的关系，并形成了一整套完整的、基于码特征的手势识别方法，通过拐角码特征，实现了手势识别过程中手势的自动分段，具有算法简单、识别精度高的优点。
附图说明
图1为本发明的流程图。
图2为本发明的编码识别模型中码特征识别的流程图。
图3为本发明的SVM分类的流程图。
图4为本发明的利用拐角码特征的数目的决策图。
图5为本发明实施例中手势采集***的结构框图。
图6为本发明实施例中手势轨迹图。
图7为本发明实施例中原始加速度波形图。
图8为本发明实施例中归一化的加速度波形图。
图9为本发明实施例中码特征波形图。
具体实施方式
下面结合附图和实施例对本发明作进一步的说明。
如图1所示，一种基于加速度微机电***和基础笔画的手势识别方法，包括以下步骤：
步骤一：根据手势的运动轨迹，将手势转化为用标签组成的序列，建立基于码特征的编码识别模型。具体步骤为：
1-1)无穷小量，是微积分中的概念，即以数0为极限且无限接近于0的变量。在微积分过程中，为了得到曲线的面积，通常都是将面积进行分段求和，最后分段长度趋近无穷小时的结果就是曲线的面积。但在微积分计算过程中，其实只要变量的分段长度值小到一定程度，积分得到的结果便有很高的精度。借鉴这种思想，速度是加速度曲线与时间轴构成的曲线面积，在手势识别过程中，确保信息采集频率足够高，就可以利用任意时刻的加速度直接反应该时刻速度信息。当然，单一时刻的速度信息并不能进行手势的识别，只有结合该时刻与后面n(n>1)时刻的速度信息，就能将该时刻的手势进行分类，得到该时刻手势的类别。
因此，根据手势的实际轨迹，将手势分为4类并标签为：拐角、静态、弧、直线；拐角表示手势轨迹转变期，理论持续时间为0，记为4，体现了对于手势的分割和手势的开始与结束；静态表示手势处于静止状态，对应手势前、后的手部处于不动的时间段，记为3，便于手势识别***识别手势的开始与结束；弧表示手势轨迹为弧状的时间段，记为2，是手势识别***分辨手势的依据；直线表示手势轨迹为直线状的时间段，记为1，是手势识别***分辨手势的依据；在每个时刻手势均分为以上四类标签，则采集的每个手势，转化为用以上四类标签组成的序列；理论上，手势在不同的时刻的标签，根据运动轨迹得到，从而完成从手势序列到标签序列的变换，这种方式像编码一样是一一对应的，因此将分类标签记为码特征，相应的，将每个时刻的手势信息进行分类并标签的过程，记为码特征识别；
表1
1-2)时刻是时间轴上的一点，是指某一瞬间，既没有大小，又没有方向。码特征识别的目的，就是获得每个时刻对应的码特征。在码特征识别过程中，为了描述的方便，将每个时刻的原始信息叫做时刻信息，将每个时刻的对应的码特征信息叫做码特征信息。如图2所示，在码特征识别过程中，为了得到码特征信息，借鉴速度与运动曲线的对应关系，将每个时刻与后面N个时刻的时刻信息进行多种转换，得到了转换信息，转换信息包括角度(Angle)和方差(Var)，其中：
式中，表示时刻t与间隔kT的时刻之间的角度信息，k取值为整数；T为信息采集的周期，T＝0.02s；At是t时刻的加速度；At+kT是t+kT时刻的加速度；π为常数；
Anglet表示时刻t的角度信息的集合，其中的元素表示时刻t与间隔kT(k＝1,2…N)的时刻之间的角度信息；
式中，表示时刻t与间隔kT的时刻之间的方差信息；
Vart表示时刻t的方差信息的集合，其中的元素表示时刻t与间隔kT(k＝1,2…N)的时刻之间的方差信息。
理论上讲，当某时刻处于标准的静止状态时，没有速度与加速度，因此，角度和方差信息的值均稳定在0附近，当处于标准的拐角状态时，速度的变化很大，因此加速度信息变化很明显，所以对于角度和方差信息的均值与方差值很大；在这个理论上，通过设置阈值，识别出静止和拐角两类码特征。
在时刻t，考虑N个时间间隔，得到关于特征F的信息集合对于特征F，集合的均值和方差衡量在时刻t的加速度及速度变化，考虑在不同的特征、L、N、阈值的情况下，L为拐角范围，选择具有最高评价值的特征、L、N及阈值构建滤波函数：
“拐角”标准码的滤波函数为:
VAR(Ft)/E(Ft)≥ε+λv
式中，E(Ft)为集合(Ft)的均值，VAR(Ft)为集合(Ft)的方差，ε为常数；λ为速度敏感系数；v为手势速度；
“静态”标准码的滤波函数为:
式中，α,β为常数。
为了利用滤波函数识别出“拐角”、“直线”标准码，选用及作为评价参数，选择具有最高评价值的特征、L、N、阈值；
为手势起始时刻的评价参数，计算结果越接近1，表示算法的可靠性越好；其中t1′为算法识别出的手势笔画的起始时刻；t1为手势笔画的理论起始时刻；t0为手势起始时刻；
为手势笔画长度的评价参数，计算结果越接近1，表示算法的可靠性越好；其中leni为手势第i个笔画的长度，Leni′为Leni中识别正确的时刻长度，i为手势笔画序号。
对于不能利用角度和方差进行识别的时刻信息，利用多SVM进行二分类，如图3所示，得到直线或者弧码特征的隶属度；
利用SVM进行二分类时，关键在于将样本进行映射，通过统计学***面B完成对数据的二分类，在训练最优超平面时，约束条件及目标函数如式：
式中，w为超平面法向量；b为超平面位移项；C为控制边缘分类错误的惩罚因子，C越大则误分类的样本点数越少，δj为非负的松弛变量，Nu为待分类的数据点的数目；当利用SVM进行标准码识别时，xj表示第j个点的时间，yi的值表示第j个点的标准码，取值为n，n＝1,2；
利用SVM进行二分类时，具有相同标准码n的元素的集合表示为Ln；SVM分类器分类得到的标准码为n的元素集合为Sn，利用SVM进行分类，分类结果为标准码n的可靠度δn:
δn用于衡量SVM分类的可靠性，它表示对于分类的标准码结果为“n”的时刻，存在δn的概率标准码为n，同时有1-δn的概率为3-n。
步骤二：设定标准的目标手势及其对应的元码。
手势的元码，是指根据手势的标准轨迹在每个时刻的轨迹曲线的类别，得到的长度最小、最简化的码特征序列。很显然，手势的元码，也符合人们对于“笔画”这个概念的认知。所以，手势的元码，也可以说是标准手势的基础笔画，它不会跟随书写者的个人习惯而变化。通过手势的标准轨迹得到手势元码，包含翻译和约简两个过程。
手势元码的翻译是指，依据手势在每个时刻手势的类别，将标准的手势轨迹翻译为码特征序列的过程。手势元码的翻译与常规的码特征识别相似。但是，手势元码的翻译不需要具体的算法或者程序来对序列进行识别，它是依据人们对于标准手势轨迹的认知得到的。
手势元码的约简的目的，是剔除手势书写长度的影响，关注手势的曲线类别的变化。比如，一个标准轨迹为直线的手势，无论它的长度无论多长，翻译后得到的码特征为“直线”的时刻有多少个，它的手势元码都是一个“直线”。理论上，对于相同的手势，在书写者的不同书写***移以及缩放等操作后，并不会影响手势元码的结果。因此，基于元码特征的手势识别方法，可以有效的避免个人书写习惯对手势识别的影响。
如表2所示，设定标准的目标手势为数字从0到9，对应的元码为：0对应的元码为(3、4、1、4、1、4、1、4、1、4、3)，1对应的元码为(3、4、1、4、3)，2对应的元码为(3、4、2、4、1、4、1、4、3)，3对应的元码为(3、4、2、4、2、4、3)，4对应的元码为(3、4、1、4、1、4、1、4、3)，5对应的元码为(3、4、1、4、1、4、2、4、3)，6对应的元码为(3、4、2、4、2、4、3)，7对应的元码为(3、4、1、4、1、4、3)，8对应的元码为(3、4、2、4、1、4、2、4、1、4、3)，9对应的元码为(3、4、2、4、1、4、3)。不同手势可能具有相同的元码，比如手势3和6；此时，额外考虑元码持续时间进行分别，比如手势3和6都具有两个“弧”标准码，手势3的两段弧持续时间近似相等，手势6的前一个弧的持续时间较后一个弧长。
表2
| 0 | P、C、L、C、L、C、L、C、L、C、P |
| 1 | P、C、L、C、P |
| 2 | P、C、A、C、L、C、L、C、P |
| 3 | P、C、A、C、A、C、P |
| 4 | P、C、L、C、L、C、L、C、P |
| 5 | P、C、L、C、L、C、A、C、P |
| 6 | P、C、A、C、A、C、P |
| 7 | P、C、L、C、L、C、P |
| 8 | P、C、A、C、L、C、A、C、L、C、P |
| 9 | P、C、A、C、L、C、P |
步骤三：采集手势信号，将手势信号送入步骤一的编码识别模型中，得到标签序列，利用多时决策算法，得到手势的基础笔画。
手势的含义，可以在一定背景条件下，依据手势的笔画，得到基础笔画的识别包括以下步骤：
I)删除标签序列中，所***特征为静态的时刻；在手势识别过程中，静态时刻段对应着手势无用信息段，对于手势的识别没有实际意义；但是，通过静态码特征可以检测手势的开始和结束时刻。
II)将拐角码特征两侧1个时刻的码特征，赋值为拐角，防止单一拐角时间段被识别为多个分段的拐角；拐角码特征，对应着当前时刻，手势类别正发生变化或者手势有用段的开始与结束；体现了对手势的分割，手势序列被分割为不同的前后两类。L的取值，会影响整体码特征识别精度、“拐角”识别率。
III)拐角码特征约简，将所有连续的拐角用一个拐角替代，得到约简序列；
IV)对相邻拐角码特征之间的序列，进行多时决策：参考模板序列表示为F表示的是两个拐角码特征及其中间长度M标准码序列片段，其中，表示由码特征识别时，利用SVM得到时刻t属于直线的隶属度，同时时刻t属于弧的隶属度为通过多时决策，得到该时间段的笔画类别为直线的隶属度：
式中，i为该笔画在手势序列中的序号，表示第i个笔画属于直线的隶属度，表示时刻t刻属于直线的隶属度，t的取值为1-M。
步骤四：对手势的含义进行预分类，得到手势与拥有相同拐角码特征数目的元码之间的相似度，取拥有最大相似度的元码对应的手势作为手势识别的结果。
在多时决策之后，手势序列中的数据由拐角和直线隶属度组成，其中，直线隶属度越高，该时间段属于直线笔画的可能性越高，否则，弧笔画的可能性越高；在这种情形下，利用拐角码特征的数目进行决策，来对手势的含义进行预分类，决策图如图4所示。为手势序列的约简，其中，表示第i1个笔画属于“直线”码特征的隶属度；表示样本手势元码，其中，表示第i2个笔画的标准码，它的取值包括：1(直线)、2(弧)；i1、i2为手势中笔画的数目，如果满足等式i1＝i2，则两序列之间的相似度如下：
式中，表示手势R与元码G之间的相似度，表示第i个笔画属于直线的隶属度；考虑数个样本手势元码，形成集合如果样本g满足等式：
则，样本g对应的手势为待测手势的手势识别结果。
实施例
本发明使用的信息采集***，分为有线和无线信息采集两类，他们都充分的满足对便携性的要求，他们的硬件连接如图5所示。在实验过程中，本文选用有线信息采集***验证手势识别方法的正确率。
本发明使用的传感器是深圳维特智能科技有限公司研究开发的九轴陀螺仪姿态传感器模块JY901。在手势采集时，传感器与戒指状固定物组成一体，佩戴在手指上。它的尺寸为15.24mm X 15.24mm X 2mm，这有效的保证用户体验。JY901提供四种不同量程加速度±2g、±4g、±8g和±16g，工作电压为3.3V-5V，加速度稳定性为0.01g，姿态测量稳定性为0.01°。输出频率调节范围为0.1hz～200Hz，串口速率课选择2400,4800,9600,19200,38400,57600,115200,230400,460800,921600HZ。
在本发明中，将采集的三维加速度数据输出传递给电脑。输出频率选择50HZ，也就是采集周期为0.02s。根据我们运动测得的加速度最值，确定了加速度量测为±2g。
手势的含义及标签，是传统手势识别方法研究的重点。本发明提出的手势识别方法，不仅能得到手势的含义及标签，还能得到手势不同时刻的手势曲线信息。为了同时验证手势曲线信息识别的正确率及手势含义，手势轨迹运动由机器人执行。并且，对每种手势的运动轨迹及长度进行规定，方便得到手势曲线信息的参考值。在机器执行手势运动时，运动速度为8m/min，并且将手势的轨迹全部简化为最常见的直线和弧，相应的手势的轨迹和轨迹的参数如图6所示。
在手势数据采集过程中，每次手势的采集的开始及停止，都由传感器附带软件上的开关控制。每个手势与如下要求：1)在手势采集的过程中，采集器打开后到执行有用手势前以及有用手势执行后到关闭采集器之间，手部信息都保持静止状态，且时间在4秒以上，确保算法识别手势的开始及结束时刻。2)采集的每段手势数据中，只存在一个有用手势。
在本实验中，数据集包含10种手势(0-9)以及两个中文汉字手势，每种手势由机器人按照固定的轨迹执行50次，一共600个手势样本。本方法在上述数据集上的部分实验结果如图7-9所示.图7为原始加速度波形图，每个时间段内的标准码由人为标定。图8为原始加速度进过归一化后的波形图，图中可以看出不同标准码之间具有一定的可分性。图9为码特征波形图，其中标准码值κ＝4的时刻，对应标准码为“拐角”；κ＝3对应标准码为“静态”的时刻；标准码值κ＜1的时刻，表示该时刻“直线”的隶属度为κ，相应的“弧”的隶属度为1-κ。。其中表3是手势识别正确率的混淆矩阵。
表3
| Matrix | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 |
| 0 | ||||||||||
| 1 | ||||||||||
| 2 | ||||||||||
| 3 | ||||||||||
| 4 | ||||||||||
| 5 | ||||||||||
| 6 | ||||||||||
| 7 | ||||||||||
| 8 | ||||||||||
| 9 |
为了验证利用本文方法进行手势识别时，得到的手势曲线信息的可靠性，本发明提出以下数据来进行评价。理论的手势总持续时间Theoretically Total Duration(TTD)、计算的总手势持续时间Calculated Total Duration(CTD)、计算的码特征持续时间Calculated Duration for X,X为四类码特征(CDX,X可以为L、A、C、P)、轨迹中不同的曲线的持续时间Theoretically Duration for X(TDX)。其中，CTD/TTD的值越接近1，说明该方法得到的总手势持续时间与理论的手势持续时间越接近，方法越可靠。对于直线和弧线曲线，CDL/TDL和CDA/TDA越接近1，说明该方法越可靠。对于拐角特征，CDC越接近0，说明该方法越可靠。对于静态码特征，由于它实际上代表着手势处于静止，由于手势要求的规定，静止码特征理论上都处于手势的无用段，因此没有对它进行评价。
Claims (5)
1.一种基于加速度微机电***和基础笔画的手势识别方法，包括以下步骤：
步骤一：训练标准码的识别模型，实现手势轨迹与标准码的一一对应；并将手势转化为标准码序列；
步骤二：确定样本手势及其对应的元码；
步骤三：利用多时决策算法，得到手势的基础笔画；
步骤四：首先，依据基础笔画数目对手势含义进行预分类；然后，计算待测手势与拥有相同基础笔画数目的样本元码之间的相似度，取拥有最大相似度的元码对应的样本手势作为手势识别的结果。
2.根据权利要求1所述的基于加速度微机电***和基础笔画的手势识别方法，其特征在于，所述步骤一具体步骤为：
1-1)根据手势的实际轨迹，将手势分为4类并标签为：拐角、静态、弧、直线；拐角表示手势轨迹转变期，理论持续时间为0，记为4，体现了对于手势的分割和手势的开始与结束；静态表示手势处于静止状态，对应手势前、后的手部处于不动的时间段，记为3，便于手势识别***识别手势的开始与结束；弧表示手势轨迹为弧状的时间段，记为2，是手势识别***分辨手势的依据；直线表示手势轨迹为直线状的时间段，记为1，是手势识别***分辨手势的依据；在每个时刻手势均分为以上四类标签，则采集的每个手势，转化为用以上四类标签组成的序列；理论上，手势在不同的时刻的标签，根据运动轨迹得到，从而完成从手势序列到标签序列的变换，这种方式像编码一样是一一对应的，因此将分类标签记为标准码，相应的，将每个时刻的手势信息进行分类并标签的过程，记为标准码识别；
1-2)将每个时刻的原始信息叫做时刻信息，将每个时刻的对应的标准码信息叫做标准码信息；在标准码识别过程中，为了得到标准码信息，借鉴速度与运动曲线的对应关系，将每个时刻与后面N个时刻的时刻信息进行多种转换，得到了转换信息，转换信息包括角度(Angle)和方差(Var)，其中：
式中，表示时刻t与间隔kT的时刻之间的角度信息，k取值为整数；T为信息采集的周期，T＝0.02s；At是t时刻的加速度；At+kT是t+kT时刻的加速度；π为常数；
Anglet表示时刻t的角度信息的集合，其中的元素表示时刻t与间隔kT(k＝1,2…N)的时刻之间的角度信息；
式中，表示时刻t与间隔kT的时刻之间的方差信息；
Vart表示时刻t的方差信息的集合，其中的元素表示时刻t与间隔kT(k＝1,2…N)的时刻之间的方差信息；
当某时刻处于标准的静止状态时，没有速度与加速度，因此，角度和方差信息的值均稳定在0附近，当处于标准的拐角状态时，速度的变化很大，因此加速度信息变化很明显，所以对于角度和方差信息的均值与方差值很大；在这个理论上，通过设置阈值，识别出静止和拐角两类码特征；
在时刻t，考虑N个时间间隔，得到关于特征F的信息集合Ft＝(Ft 1，Ft 2，…，Ft N)，对于特征F，集合的均值和方差衡量在时刻t的加速度及速度变化，考虑在不同的特征、L、N、阈值的情况下，L为拐角范围，选择具有最高评价值的特征、L、N及阈值构建滤波函数：
“拐角”标准码的滤波函数为:
VAR(Ft)/E(Ft)≥ε+λv
式中，E(Ft)为集合(Ft)的均值，VAR(Ft)为集合(Ft)的方差，ε为常数；λ为速度敏感系数；v为手势速度；
“静态”标准码的滤波函数为:
式中，α,β为常数；
为了利用滤波函数识别出“拐角”、“直线”标准码，选用及作为评价参数，选择具有最高评价值的特征、L、N、阈值；
为手势起始时刻的评价参数，计算结果越接近1，表示算法的可靠性越好；其中t1′为算法识别出的手势笔画的起始时刻；t1为手势笔画的理论起始时刻；t0为手势起始时刻；
为手势笔画长度的评价参数，计算结果越接近1，表示算法的可靠性越好；其中leni为手势第i个笔画的长度，Leni′为Leni中识别正确的时刻长度，i为手势笔画序号；
对于不能利用角度和方差进行识别的时刻信息，利用多SVM进行二分类，得到直线或者弧码特征的隶属度；
利用SVM进行二分类时，关键在于将样本进行映射，通过统计学***面B完成对数据的二分类，在训练最优超平面时，约束条件及目标函数如式：
式中，w为超平面法向量；b为超平面位移项；C为控制边缘分类错误的惩罚因子，C越大则误分类的样本点数越少，δj为非负的松弛变量，Nu为待分类的数据点的数目；当利用SVM进行标准码识别时，xj表示第j个点的时间，yi的值表示第j个点的标准码，取值为n，n＝1,2；
利用SVM进行二分类时，具有相同标准码n的元素的集合表示为Ln；SVM分类器分类得到的标准码为n的元素集合为Sn，利用SVM进行分类，分类结果为标准码n的可靠度δn:
δn用于衡量SVM分类的可靠性，它表示对于分类的标准码结果为“n”的时刻，存在δn的概率标准码为n，同时有1-δn的概率为3-n。
3.根据权利要求2所述的基于加速度微机电***和基础笔画的手势识别方法，其特征在于，所述步骤二中，标准的目标手势为数字从0到9，对应的元码为：0对应的元码为(3、4、1、4、1、4、1、4、1、4、3)，1对应的元码为(3、4、1、4、3)，2对应的元码为(3、4、2、4、1、4、1、4、3)，3对应的元码为(3、4、2、4、2、4、3)，4对应的元码为(3、4、1、4、1、4、1、4、3)，5对应的元码为(3、4、1、4、1、4、2、4、3)，6对应的元码为(3、4、2、4、2、4、3)，7对应的元码为(3、4、1、4、1、4、3)，8对应的元码为(3、4、2、4、1、4、2、4、1、4、3)，9对应的元码为(3、4、2、4、1、4、3)。
4.根据权利要求3所述的基于加速度微机电***和基础笔画的手势识别方法，其特征在于，所述步骤三中，手势的基础笔画的识别包括以下步骤：
Ⅰ)删除标签序列中，所***特征为静态的时刻；
Ⅱ)将拐角码特征两侧l个时刻的码特征，赋值为拐角，防止单一拐角时间段被识别为多个分段的拐角；
Ⅲ)拐角码特征约简，将所有连续的拐角用一个拐角替代，得到约简序列；
Ⅳ)对相邻拐角码特征之间的序列，进行多时决策：参考模板表示为Re表示的是两个拐角码特征及其中间长度M标准码序列片段，其中，表示由码特征识别时，利用SVM得到时刻t属于直线的隶属度，同时时刻t属于弧的隶属度为通过多时决策，得到该时间段的笔画类别为直线的隶属度：
式中，i表示笔画在手势序列中的序号，表示手势第i个笔画属于直线的隶属度，表示时刻t刻属于直线的隶属度，t的取值为1-M。
5.根据权利要求3所述的基于加速度微机电***和基础笔画的手势识别方法，其特征在于，所述步骤四中，在多时决策之后，手势序列中的数据由拐角和直线隶属度组成，其中，直线隶属度越高，该时间段属于直线笔画的可能性越高，否则，弧笔画的可能性越高；在这种情形下，利用拐角码特征的数目进行决策，来对手势的含义进行预分类，为手势序列的约简，其中，表示第i1个笔画属于“直线”码特征的隶属度；表示样本手势元码，其中，表示第i2个笔画的标准码，它的取值包括：1(直线)、2(弧)；i1、i2为手势中笔画的数目，如果满足等式i1＝i2，则两序列之间的相似度如下：
式中，表示手势R与元码G之间的相似度，表示第i个笔画属于直线的隶属度；考虑数个样本手势元码，形成集合如果样本g满足等式：
则，样本g对应的手势为待测手势的手势识别结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910391987.7A CN110110674B (zh) | 2019-05-13 | 2019-05-13 | 一种基于加速度微机电***和基础笔画的手势识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910391987.7A CN110110674B (zh) | 2019-05-13 | 2019-05-13 | 一种基于加速度微机电***和基础笔画的手势识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110110674A true CN110110674A (zh) | 2019-08-09 |
| CN110110674B CN110110674B (zh) | 2022-12-13 |
Family
ID=67489581
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910391987.7A Active CN110110674B (zh) | 2019-05-13 | 2019-05-13 | 一种基于加速度微机电***和基础笔画的手势识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110110674B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103257711A (zh) * | 2013-05-24 | 2013-08-21 | 河南科技大学 | 空间手势输入方法 |
| CN103679213A (zh) * | 2013-12-13 | 2014-03-26 | 电子科技大学 | 一种3d手势识别方法 |
| US20190087654A1 (en) * | 2017-09-15 | 2019-03-21 | Huazhong University Of Science And Technology | Method and system for csi-based fine-grained gesture recognition |
-
2019
- 2019-05-13 CN CN201910391987.7A patent/CN110110674B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103257711A (zh) * | 2013-05-24 | 2013-08-21 | 河南科技大学 | 空间手势输入方法 |
| CN103679213A (zh) * | 2013-12-13 | 2014-03-26 | 电子科技大学 | 一种3d手势识别方法 |
| US20190087654A1 (en) * | 2017-09-15 | 2019-03-21 | Huazhong University Of Science And Technology | Method and system for csi-based fine-grained gesture recognition |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110110674B (zh) | 2022-12-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Frolova et al. | Most probable longest common subsequence for recognition of gesture character input | |
| Pisharady et al. | Recent methods and databases in vision-based hand gesture recognition: A review | |
| Davis et al. | Recognizing hand gestures | |
| Várkonyi-Kóczy et al. | Human–computer interaction for smart environment applications using fuzzy hand posture and gesture models | |
| US7095401B2 (en) | System and method for gesture interface | |
| Wilson et al. | Learning visual behavior for gesture analysis | |
| Nickel et al. | Visual recognition of pointing gestures for human–robot interaction | |
| CN106354252B (zh) | 一种基于stdw的连续字符手势轨迹识别方法 | |
| Xia et al. | Vision-based hand gesture recognition for human-robot collaboration: a survey | |
| Zhang et al. | Single object tracking with fuzzy least squares support vector machine | |
| US20070124703A1 (en) | Command input method using motion recognition device | |
| Yin et al. | Real-time continuous gesture recognition for natural human-computer interaction | |
| CN104616028A (zh) | 基于空间分割学习的人体肢体姿势动作识别方法 | |
| CN105335711A (zh) | 一种复杂环境下指尖检测方法 | |
| CN111368762A (zh) | 基于改进的K-means聚类算法的机器人手势识别方法 | |
| CN105426882A (zh) | 一种人脸图像中快速定位人眼的方法 | |
| Zhi et al. | Teaching a robot sign language using vision-based hand gesture recognition | |
| CN110717385A (zh) | 一种动态手势识别方法 | |
| Zhang et al. | Robotic control of dynamic and static gesture recognition | |
| Choudhury et al. | A CNN-LSTM based ensemble framework for in-air handwritten Assamese character recognition | |
| Schumacher et al. | Active learning of ensemble classifiers for gesture recognition | |
| KR20120089948A (ko) | Ｍｈｉ의 형태 정보를 이용한 실시간 동작 인식시스템 및 실시간 동작 인식 방법 | |
| Li et al. | A new fingertip detection and tracking algorithm and its application on writing-in-the-air system | |
| CN110110674A (zh) | 一种基于加速度微机电***和基础笔画的手势识别方法 | |
| CN113724838B (zh) | 基于大数据的情绪鉴定*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20190809 Assignee: SUZHOU MEDCOIL HEALTHCARE Co.,Ltd. Assignor: XIANGTAN University Contract record no.: X2024980006092 Denomination of invention: A gesture recognition method based on acceleration microelectromechanical system and basic strokes Granted publication date: 20221213 License type: Common License Record date: 20240523 |