CN110472506B - 一种基于支持向量机和神经网络优化的手势识别方法 - Google Patents

Abstract

本发明涉及智能穿戴式设备识别技术领域，更具体地，涉及一种基于支持向量机和神经网络优化的手势识别方法。包括以下步骤：首先进行手势数据的采集；接着对获取的手势数据预处理；然后进行手势的特征提取；经过多模态融合，确定理想的特征结构，生成多模态融合特征向量用于预测模型；最后采用支持向量机(SVM)和优化的神经网络作为预测算法进行手势模型的判断。本发明通过多模态融合和神经网络预测模型的数据手套预测***，有效提高了识别速度，加快训练效果，减少了时间成本；本发明能有效提高了预测的有效性和可靠性。

Description

一种基于支持向量机和神经网络优化的手势识别方法

技术领域

本发明涉及智能穿戴式设备识别技术领域，更具体地，涉及一种基于支持向量机和神经网络优化的手势识别方法。

背景技术

目前，目前的手势识别技术分为基于数据手套和基于计算机视觉两大类。手势识别主要有两大问题需要解决：首先是手势特征的选取，基于数据手套的手势识别技术从一开始就依赖于各种各样的人工神经网络，Beale和Edwards在1990年就利用人工神经网络识别了与美国手势语言(ASL)相关的5个静态手势。特征提取技术也被用来提高手势识别的准确率，Fels和Hinton在1993年就利用人工神经网络提取手势特征，另一个研究案列是SLATI***的研制，该***由Vamplew和Adams在1996年设计出来，并用于识别澳大利亚手势语言的手势，***由4个用于提取特征向量的人工神经网络构成。最近的基于特征提取的手势识别技术研究是Oz和Leu在2011年设计的***，该***用CyberGlove数据手套、跟踪***和一个前馈神经网络实现了对ASL的手势识别；其次是分类器的选择，手势识别算法研究一般有模板匹配法，神经网络法，支持向量机法等。但是，目前的手势识别方法，算法识别效率较低，影响了设备的使用。

发明内容

本发明为克服上述现有技术中识别效率低的缺陷，提供一种基于支持向量机和神经网络优化的手势识别方法，能够有效提高识别速度，加快训练效果。

为解决上述技术问题，本发明采用的技术方案是：一种基于支持向量机和神经网络优化的手势识别方法，包括以下步骤：

S1.手势数据采集，利用可穿戴式设备--数据手套对手套操控者的手势运动进行数据采集，并且在做每个静态动作时稍微的移动以产生噪声；

S2.数据预处理，为了保证神经网络的输入输出值，将数据手套各个传感器采集到的样本数据[X₀,Y₀]进归一化处理，将数据映射到[0,1]区间，得到网络的训练样本[X,Y]；然后进行数据滤波处理，为了去掉噪声和提高识别算法精度，将归一化后的数据进行滤波处理；

S3.进行手势特征提取，提取每一种手势的手型特征并表示出来，结合特征点集确定出适合做静态手势的手势模板，为后面手势识别判断手势做准备工作；

S4.构建多模态融合，计算手指和手掌的位置空间特征、速度和加速度的时间特征、手指相邻耦合特征，将这三种不同特征通道的组合形成多模态融合；

S5.通过多模态融合，确定理想的特征结构；

S6.构建多层感知器神经网络(MLP)和多类支持向量机(SVM)相结合，形成预测算法；

S7.将待识别的手势数据输入到多模态融合和神经网络预测模型的数据手套预测***，预测手势模型。

进一步的，所述的S2步骤中采用巴斯沃滤波器对数据进行滤波处理；所述的步骤S2中进行归一化处理的具体公式为：

通过上述公式得到网络的训练样本[X,Y]，式中x_0i,min,x_0i,max分别表示随机代表样本数据中x_0i的最小值和最大值，同理，式中y_0i,min,y_0i,max也是分别表示随机代表样本数据中y_0i的最小值和最大值。

进一步地，所述的S3步骤进行手势特征提取具体包括：数据手套采集手指运动和手掌弯曲的实时位置信息，为了从实测数据中提取更多的手势信息，计算数据随时间变化的关系特征、每个手指的速度和加速度；为了使***更加稳定，使用移动平均法来平滑速度；采用高斯白噪声进行数据扩充，扩大数据集。

进一步地，所述的计算每个手指的速度和加速度，具体包括：提取每根手指的速度和加速度计算，为了避免异常值，保证稳定性，每6个采样数据计算一个力矩的速度，而加速度是4个速度采样数据，即：

式中，P为数据手套中传感器采集到的位置数据，下标t表示不同时刻，l表示传感器的具体数量。

进一步地，所述的S4步骤构建多模态融合，具体包括以下步骤：

S41.结合数据手套传感器数据及其速度，使每一个时间点对应一个多模态向量，并对矢量进行缩放:

S42.为了更好地描述相邻手指之间的相互作用，计算双指特征:

式中，M是手指位置的范围，除以M将绝对弯曲指尖距离标准化到区间[0,1]；相邻手指距离特征区分了相邻手指之间不同类型的相互作用；每个手指和手掌的位置反映空间特征，结合上述速度和加速度时间特征，通过计算手指相邻耦合特征；这三种不同特征通道的组合形成了多模态融合。

进一步地，所述的S5步骤中确定特征结构具体包括：每个采样时间都经过单独的预处理，这里的预处理即指以上S2步骤所述的预处理操作，对每个时间点单独操作，作为特征提取的输入；每个采样时间都有各自独立的特征提取；经过多模态融合，确定理想的特征结构；当手势发生改变时，将数据手套采集的原始数据作为特征提取算法的输入，生成多模态融合特征向量用于预测模型；为了避免异常值，速度、加速度、手指位置、手掌位置、手指相邻指尖之间的绝对弯曲距离，这五个特性中的每一个都组成一个组；采用一种增强方法，得到一个中间预测手势作为每个特征组的输出；其中，增强方法是指：输入中间预测手势，对每个中间预测手势判断原始手势是不是等于预测手势，若相等则清空所有中间预测手势，否则，返回预测手势。

进一步地，所述的多层感知器(MLP)为一个包含n层隐含层的多层感知器，第一隐含层包含输入向量x＝[1,x₁,x₂,x₃,...,x_m]和权值W＝[ω₀,ω₁,ω₂,ω₃,...,ω_n]，其中m是输入向量的大小，n是隐含层的神经元个数，ω₀是偏置值；输出向量表示为：

f(x)＝G(s_n(W⁽ⁿ⁾...(s₂(W⁽²⁾(s₁(W⁽¹⁾))))))

G作为softmax函数实现多类分类，表示为：

其中，输出的编码方法为one-hot，在对参数进行训练时，采用交叉熵代价函数，y为理想输出，a为实际输出：

进一步地，所述的S6步骤中支持向量机(SVM)的目标函数为：

max(1/||ω||)

s.t.,y_i(w^Tx_i+b)≥1,i＝1,...,n

使用拉格朗日乘子α转化为双变量优化问题，将约束条件合并到目标函数中，其表示为：

其中w和b分别为权重和偏差；为了解决非线性问题，简化计算，采用核函数法：

s.t.,α_i≥0,i＝1,...,n

式中，k(x_i,x_j)代表不同的核函数核函数，αi、αj表拉格朗日系数，满足两面两个式子，这是高数和最优化核函数法的公式。

与现有技术相比，有益效果是：本发明通过多模态融合和神经网络预测模型的数据手套预测***，有效提高了识别速度，加快训练效果，减少了时间成本；能有效提高预测的有效性和可靠性；有效地对简单和复杂的静态手势进行识别。

附图说明

图1是本发明的方法流程图。

图2是本发明预测算法框架图。

图3是本发明MLP和SVM融合算法结构图。

图4是本发明多层感知器(MLP)网络结构图。

具体实施方式

附图仅用于示例性说明，不能理解为对本发明的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本发明的限制。

如图1所示，一种基于支持向量机和神经网络优化的手势识别方法，包括以下步骤：

S1.手势数据采集，利用可穿戴式设备--数据手套对手套操控者的手势运动进行数据采集，并且在做每个静态动作时稍微的移动以产生噪声；

S2.数据预处理，为了保证神经网络的输入输出值，将数据手套各个传感器采集到的样本数据[X₀,Y₀]进归一化处理，将数据映射到[0,1]区间，得到网络的训练样本[X,Y]；然后进行数据滤波处理，为了去掉噪声和提高识别算法精度，将归一化后的数据进行滤波处理；

S3.进行手势特征提取，提取每一种手势的手型特征并表示出来，结合特征点集确定出适合做静态手势的手势模板，为后面手势识别判断手势做准备工作；

S4.构建多模态融合，计算手指和手掌的位置空间特征、速度和加速度的时间特征、手指相邻耦合特征，将这三种不同特征通道的组合形成多模态融合；

S5.通过多模态融合，确定理想的特征结构；

S6.如图3所示，构建多层感知器神经网络(MLP)和多类支持向量机(SVM)相结合，形成预测算法；

S7.将待识别的手势数据输入到多模态融合和神经网络预测模型的数据手套预测***，预测手势模型。

其中，S2步骤中采用巴斯沃滤波器对数据进行滤波处理；步骤S2中进行归一化处理的具体公式为：

通过上述公式得到网络的训练样本[X,Y]，式中x_0i,min,x_0i,max分别表示随机代表样本数据中x_0i的最小值和最大值，同理，式中y_0i,min,y_0i,max也是分别表示随机代表样本数据中y_0i的最小值和最大值。

具体的，S3步骤进行手势特征提取具体包括：数据手套采集手指运动和手掌弯曲的实时位置信息，为了从实测数据中提取更多的手势信息，计算数据随时间变化的关系特征、每个手指的速度和加速度；为了使***更加稳定，使用移动平均法来平滑速度；采用高斯白噪声进行数据扩充，扩大数据集。

其中，计算每个手指的速度和加速度，具体包括：提取每根手指的速度和加速度计算，为了避免异常值，保证稳定性，每6个采样数据计算一个力矩的速度，而加速度是4个速度采样数据，即：

式中，P为数据手套中传感器采集到的位置数据，下标t表示不同时刻，l表示传感器的具体数量。

另外，S4步骤构建多模态融合，具体包括以下步骤：

S41.结合数据手套传感器数据及其速度，使每一个时间点对应一个多模态向量，并对矢量进行缩放:

其中，Feature代表的是每一个时间点对应的多模态向量，这个公式是基于归一化公式的思想，对这个矢量进行缩放；

S42.为了更好地描述相邻手指之间的相互作用，计算双指特征:

式中，M是手指位置的范围，除以M将绝对弯曲指尖距离标准化到区间[0,1]；相邻手指距离特征区分了相邻手指之间不同类型的相互作用；每个手指和手掌的位置反映空间特征，结合上述速度和加速度时间特征，通过计算手指相邻耦合特征；这三种不同特征通道的组合形成了多模态融合。

如图2所示，S5步骤中确定特征结构具体包括：每个采样时间都经过单独的预处理，作为特征提取的输入；每个采样时间都有各自独立的特征提取；经过多模态融合，确定理想的特征结构；当手势发生改变时，将数据手套采集的原始数据作为特征提取算法的输入，生成多模态融合特征向量用于预测模型；为了避免异常值，速度、加速度、手指位置、手掌位置、手指相邻指尖之间的绝对弯曲距离，这五个特性中的每一个都组成一个组；采用一种增强方法，得到一个中间预测手势作为每个特征组的输出；其中，增强方法是指：输入中间预测手势，对每个中间预测手势判断原始手势是不是等于预测手势，若相等则清空所有中间预测手势，否则，返回预测手势。

如图4所示，多层感知器(MLP)为一个包含n层隐含层的多层感知器，第一隐含层包含输入向量x＝[1,x₁,x₂,x₃,...,x_m]和权值W＝[ω₀,ω₁,ω₂,ω₃,...,ω_n]，其中m是输入向量的大小，n是隐含层的神经元个数，ω₀是偏置值；输出向量表示为：

f(x)＝G(s_n(W⁽ⁿ⁾...(s₂(W⁽²⁾(s₁(W⁽¹⁾))))))

G作为softmax函数实现多类分类，表示为：

其中，输出的编码方法为one-hot，在对参数进行训练时，采用交叉熵代价函数，y为理想输出，a为实际输出，交叉熵代价函数为：

另外，S6步骤中支持向量机(SVM)的目标函数为：

max(1/||ω||)

s.t.,y_i(w^Tx_i+b)≥1,i＝1,...,n

使用拉格朗日乘子α转化为双变量优化问题，将约束条件合并到目标函数中，其表示为：

其中w和b分别为权重和偏差；为了解决非线性问题，简化计算，采用核函数法：

s.t.,α_i≥0,i＝1,...,n

式中，k(x_i,x_j)代表不同的核函数核函数。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (2)

1.一种基于支持向量机和神经网络优化的手势识别方法，其特征在于，包括以下步骤：

S1.手势数据采集，利用可穿戴式数据手套对手套操控者的手势运动进行数据采集，并且在做每个静态动作时稍微的移动以产生噪声；

S2.数据预处理，为了保证神经网络的输入输出值，将数据手套各个传感器采集到的样本数据[X₀,Y₀]进归一化处理，将数据映射到[0,1]区间，得到网络的训练样本[X,Y]；然后进行数据滤波处理，为了去掉噪声和提高识别算法精度，将归一化后的数据进行滤波处理；

S3.进行手势特征提取，提取每一种手势的手型特征并表示出来，结合特征点集确定出适合做静态手势的手势模板，为后面手势识别判断手势做准备工作；手势特征提取具体包括：数据手套采集手指运动和手掌弯曲的实时位置信息，计算数据随时间变化的关系特征、每个手指的速度和加速度；使用移动平均法来平滑速度；采用高斯白噪声进行数据扩充，扩大数据集；所述的计算每个手指的速度和加速度，具体包括：提取每根手指的速度和加速度计算，为了避免异常值，保证稳定性，每6个采样数据计算一个速度

而加速度/>

是4个速度采样数据，即：

式中，P为数据手套中传感器采集到的位置数据，下标t表示不同时刻，l表示传感器的具体数量；

S4.构建多模态融合，计算手指和手掌的位置空间特征、速度和加速度的时间特征、手指相邻耦合特征，将这三种不同特征通道的组合形成多模态融合；具体包括以下步骤：

S41.结合数据手套传感器数据及其速度，使每一个时间点对应一个多模态向量，并对矢量进行缩放：

S42.为了更好地描述相邻手指之间的相互作用，计算双指特征:

式中，M是手指位置的范围，除以M将绝对弯曲指尖距离标准化到区间[0,1]；相邻手指距离特征区分了相邻手指之间不同类型的相互作用；每个手指和手掌的位置反映空间特征，结合上述速度和加速度时间特征，通过计算手指相邻耦合特征；这三种不同特征通道的组合形成了多模态融合；

S5.通过多模态融合，确定理想的特征结构；所述的S5步骤中确定特征结构具体包括：每个采样时间都经过单独的预处理，作为特征提取的输入；每个采样时间都有各自独立的特征提取；经过多模态融合，确定理想的特征结构；当手势发生改变时，将数据手套采集的原始数据作为特征提取算法的输入，生成多模态融合特征向量用于预测模型；为了避免异常值，速度、加速度、手指位置、手掌位置、手指相邻指尖之间的绝对弯曲距离，这五个特性中的每一个都组成一个组；采用一种增强方法，得到一个中间预测手势作为每个特征组的输出；其中，所述增强方法是指：输入中间预测手势，对每个中间预测手势判断原始手势是不是等于预测手势，若相等则清空所有中间预测手势，否则，返回预测手势；

S6.构建多层感知器神经网络和多类支持向量机相结合，形成预测算法；其中，多层感知器为一个包含n层隐含层的多层感知器，第一隐含层包含输入向量x＝[1,x₁,x₂,x₃,...,x_m]和权值W＝[ω₀,ω₁,ω₂,ω₃,...,ω_n]，其中m是输入向量的大小，n是隐含层的神经元个数，ω₀是偏置值；输出向量表示为：

f(x)＝G(s_n(W⁽ⁿ⁾...(s₂(W⁽²⁾(s₁(W⁽¹⁾))))))

G作为softmax函数实现多类分类，表示为：

其中，输出的编码方法为one-hot，在对参数进行训练时，采用交叉熵代价函数，y为理想输出，a为实际输出，交叉熵代价函数为：

支持向量机的目标函数为：

max(1/||W||)

s.t.,y_i(w^Tx_i+b)≥1,i＝1,...,n

使用拉格朗日乘子α转化为双变量优化问题，将约束条件合并到目标函数中，其表示为：

其中W和b分别为权重和偏差，T是转置；为了解决非线性问题，简化计算，采用核函数法：

s.t.,α_i≥0,i＝1,...,n

式中，k(x_i,x_j)代表不同的核函数；

S7.将待识别的手势数据输入到多模态融合和神经网络预测模型的数据手套预测***，预测手势模型。

2.根据权利要求1所述的基于支持向量机和神经网络优化的手势识别方法，其特征在于，所述的S2步骤中采用巴斯沃滤波器对数据进行滤波处理；所述的步骤S2中进行归一化处理的具体公式为：

通过上述公式得到网络的训练样本[X,Y]，式中x_0i,min,x_0i,max分别表示随机代表样本数据中x_0i的最小值和最大值，同理，式中y_0i,min,y_0i,max也是分别表示随机代表样本数据中y_0i的最小值和最大值。

Images