CN105205475A - 一种动态手势识别方法 - Google Patents

Abstract

本发明公开了一种动态手势识别方法，其能够提高动态手势识别的准确率。该方法包括步骤：(1)对动态手势数据进行预处理，基于间隔取样方法扩展动态手势数据，基于canny边缘检测算子计算扩展后扩展动态手势数据的RGB三个通道的边缘，生成彩色边缘图像；(2)基于卷积神经网络模型提取手势特征序列；(3)通过步骤(2)提取的手势特征序列和手部方向特征，进行隐马尔科夫模型HMM训练，得到最接近手势样本的HMM。

Description

一种动态手势识别方法

技术领域

本发明属于计算机视觉与机器学习的技术领域，具体地涉及一种动态手势识别方法。

背景技术

手势识别是计算机视觉领域的一个重要研究方向。手势识别研究涉及计算机视觉、模式识别、图像处理、机器学习等多学科领域，是一个具有挑战性的课题。基于视觉的手势识别因其自然性在聋哑人教育教学、机器人操控、虚拟现实、人机交互、智能家居等领域有重要应用。基于视觉的手势识别的两个关键研究内容是特征表示和分类方法。常用的特征表示方法有SIFT(Scale-InvariantFeatureTransform，尺度不变特征转换)，SURF(Speed-UpRobustFeature，加速尺度不变特征)，HOG(HistogramofGradient，方向梯度直方图)，傅立叶描述子等手形特征描述和基于光流、运动跟踪方法的手势运动信息描述；常用的分类分类方法包括模板匹配，ANN(ArtificialNeuroNetwork，人工神经网络)，HMM(HiddenMarkovModel，隐马尔科夫模型)等，特别地，由于HMM对动态时序序列的优越的建模能力，在语音识别和手语手势识别中应用最广。传统的特征表示方法通常是人工预定义的特征，人工选取特征的方法有很大的局限性，通常需要图像去噪、手势分割等预处理，并且需要先验知识、经验和大量的手工调整。

发明内容

本发明的技术解决问题是：克服现有技术的不足，提供一种动态手势识别方法，其能够提高动态手势识别的准确率。

本发明的技术解决方案是：这种动态手势识别方法，该方法包括以下步骤：

(1)对动态手势数据进行预处理，基于间隔取样方法扩展动态手势数据，基于canny边缘检测算子计算扩展后扩展动态手势数据的RGB三个通道的边缘，生成彩色边缘图像；

(2)基于卷积神经网络模型提取手势特征序列；

(3)通过步骤(2)提取的手势特征序列和手部方向特征，进行隐马尔科夫模型HMM训练，得到最接近手势样本的HMM。

本发明基于卷积神经网络模型提取手势特征序列，然后进行隐马尔科夫模型HMM训练，得到最接近手势样本的HMM，因此能够提高动态手势识别的准确率。

附图说明

图1是根据本发明的动态手势识别方法的一个具体实施例的流程图。

具体实施方式

这种动态手势识别方法，该方法包括以下步骤：

(1)对动态手势数据进行预处理，基于间隔取样方法扩展动态手势数据，基于canny边缘检测算子计算扩展后扩展动态手势数据的RGB三个通道的边缘，生成彩色边缘图像；

(2)基于卷积神经网络模型提取手势特征序列；

(3)通过步骤(2)提取的手势特征序列和手部方向特征，进行隐马尔科夫模型HMM训练，得到最接近手势样本的HMM。

本发明基于卷积神经网络模型提取手势特征序列，然后进行隐马尔科夫模型HMM训练，得到最接近手势样本的HMM，因此能够提高动态手势识别的准确率。

优选地，所述步骤(1)中间隔取样方法为：设动态手势数据序列的源帧数为n帧；表达动态手势数据序列的关键帧的帧数为x帧；这样一个手势视频序列扩展成n/x＝k个视频序列，K为向下取整的整数。

优选地，在所述步骤(2)中的卷积神经网络模型由五层卷积层、三层最大池化层、两层全连接层和最后一层分类层组成，在此基础上对卷积神经网络模型每层的卷积核大小和步长做优化处理，经过卷积神经网络模型对按手形分类的数据进行反复学习与训练，将参数调到最优，使手形分类识别率达到最优。

优选地，在所述步骤(2)中第一层到第二层是将220*220*3的彩色图像进行卷积核为11*11，步长4的卷积运算，接着进行池化窗口3*3，步长为1的最大池化运算；第二层到第三层进行卷积核为5*5，步长1的卷积运算，接着进行池化窗口3*3，步长为2的最大池化运算；第三、第四、第五、第六层之间均为卷积核大小为3*3，滑动步长为1的卷积操作；之后两层为全连接层，其中，第一层全连接层节点为2048个，第二层全连接层是要提取的特征层，初始节点设置为2048个，第二层全连接层输出特征维度为64维；第八层到第九层之间为分类层，此层用softmax分类器。

优选地，在所述步骤(2)中，在方向特征上应用简化的HOG特征，将其修改成统计图像每个像素在九个方向上的个数，从而提取到9维的方向特征，并将其串联融合在从第二层全连接层提取的64维的特征向量上，生成73维的手势序列单帧特征，并作为隐马尔科夫模型的观察序列进行训练分类。

优选地，在所述步骤(3)中，对每类动态手势训练出一个HMM模型，在实验阶段针对剑桥的动态手势库中动作的类别，共训练出了九个HMM模型，然后进行测试识别；HMM模型的训练过程是给定训练样本的观察序列，对模型参数不断重估的过程，通过迭代运算对HMM模型的参数λ(A,B,π)不断调整，根据公式(1)使得观察序列O出现的概率P(O│λ)达到最大，训练一个最适合样本集的模型，

$\begin{array}{cc}P\left(O\right|\mathrm{\λ})=\underset{i=1}{\overset{N}{\Σ}}\underset{j=1}{\overset{N}{\Σ}}{\mathrm{\α}}_i\left(i\right)a_{ij}{b}_j\left(O_{t+1}\right){\mathrm{\β}}_{t+1}\left(j\right),& 1\≤t\≤T-1\end{array}---\left(1\right);$

再根据Baulm-Welch算法更新来求P(O|λ)最大时的参数λ，其中a_t(i)表示给定模型λ，并且截止到t时刻产生观察概率o₁o₂…o_t时，t时刻状态为s_i的概率，a_ij表示为状态s_i到s_j的状态转移概率，b_j(o_t+1)表示t+1时刻状态为s_i条件下出现观察值o_t+1的概率，β_t+1(j)表示在已知模型λ且t+1时刻到T时刻产生观察序列o_t+2o_t+3…o_T的概率。

优选地，求P(O|λ)最大时的参数λ包括以下步骤：

a)初始化HMM的参数λ(A,B,π)；

b)根据观察序列O和模型参数λ估算新模型参数根据公式(2)

-(5)分别重新估计得到新的模型参数

$\stackrel{\‾}{{\mathrm{\π}}_i}={\mathrm{\γ}}_t\left(i\right)=\underset{j=1}{\overset{N}{\Σ}}{\mathrm{\ξ}}_t(i,j)---\left(2\right)$

$\stackrel{\‾}{{\mathrm{\α}}_{ij}}=\underset{t=1}{\overset{T-1}{\Σ}}{\mathrm{\ξ}}_t(i,j)/\underset{t=1}{\overset{T-1}{\Σ}}{\mathrm{\γ}}_t\left(i\right)---\left(3\right)$

$\stackrel{\‾}{b_j\left(k\right)}=\underset{t=1,o_t=v_k}{\overset{T-1}{\Σ}}{\mathrm{\γ}}_t\left(i\right)/\underset{t=1}{\overset{T-1}{\Σ}}{\mathrm{\γ}}_t\left(j\right)---\left(4\right)$

其中，

$\begin{array}{c}{\mathrm{\ξ}}_t(i,j)=p(q_t=s_i,q_{t+1}=s_j|O,\mathrm{\λ})=p(q_t=s_i,q_{t+1}=s_j,O|\mathrm{\λ})/p\left(O\right|\mathrm{\λ})\\ ={\mathrm{\α}}_t\left(i\right)a_{ij}{b}_j\left(o_{t+1}\right){\mathrm{\β}}_{t+1}\left(j\right)/\underset{i=1}{\overset{N}{\Σ}}\underset{j=1}{\overset{N}{\Σ}}{\mathrm{\α}}_t\left(i\right)a_{ij}{b}_j\left(o_{t+1}\right){\mathrm{\β}}_{t+1}\left(j\right)\end{array}---\left(5\right);$

γ_t(i)表示在给定观察序列O和HMM模型参数λ的条件下，在t时刻处于状态s_i的概率，满足ξ_t(i,j)表示在给定观察序列O和HMM模型参数λ的条件下，在t时刻处于状态s_i并且t+1时刻处于s_j的概率。

c)使用前向-后向算法计算观察序列O在模型λ下的概率P(O|λ)以及在下的概率并计算若满足 $|\log P\left(O\right|\stackrel{\&OverBar;}{\mathrm{\&lambda;}})-\log P\left(O\right|\mathrm{\&lambda;})|<\mathrm{\&epsiv;},$ ε为设定的收敛门限值，则收敛，此时的为训练得到的最接近手势样本的HMM；否则令继续执行步骤b)，直至收敛。

现在给出一个本发明的详细实施例。

本发明的训练流程如图1，主要步骤如下：

1、手势数据预处理

动态手势数据的预处理主要包括面向学习方法的数据扩充以及边缘检测两个方面。由于动态手势数据的相邻帧之间变化比较小，所以基于间隔取样方法扩展动态手势视频数据量，以更好地学习与训练。间隔取样方法具体为：设手势视频序列的源帧数为n帧；表达手势视频序列的关键帧，即采样帧数为x帧；这样一个手势视频序列可以扩展成n/x＝k(K向下取整)个视频序列。

为去除不同光照对图像质量的影响，基于canny边缘检测算子计算原始图像的RGB三个通道的边缘，生成彩色边缘图像。

2、手势序列单帧手势特征表示

2.1卷积神经网络模型

本发明采用的卷积神经网络模型结构类似于2012年ImageNet比赛上Hinton团队所用的卷积神经网络模型，主要由五层卷积层、三层最大池化层、两层全连接层和最后一层分类层(softmax层)组成。在此基础上对卷积神经网络模型每层的卷积核大小和步长做一些经验性的优化处理。第一层到第二层是将220*220*3的彩色图像进行卷积核为11*11，步长4的卷积运算，接着进行池化窗口3*3，步长为1的最大池化运算。同样，第二层到第三层进行卷积核为5*5，步长1的卷积运算，接着进行池化窗口3*3，步长为2的最大池化运算。第三、第四、第五、第六层之间均为卷积核大小为3*3，滑动步长为1的卷积操作。之后两层为全连接层，其中，第一层全连接层节点为2048个，第二层全连接层是我们要提取的特征层，初始节点设置为2048个，这一特征向量具有高度稀疏的特点，因此要降低特征维度。本发明通过实验验证64维可以有效表达手势特征，提取特征的准确率在95％左右，所以第二层全连接层的节点设置为64个。第八层到第九层之间为分类层，此层用softmax分类器。

经过卷积神经网络模型对按手形分类的数据的反复学习与训练，最终将参数调到最优，使手形分类识别率达到最优，从而更好的提出代表性的手势特征。

2.2融合CNN和手部方向的手势序列单帧特征表示

提取出最后一层全连接层(fc8层)所学到的特征，得到64维的特征向量。经过对卷积神经网络的特点分析，由于它具有一定的旋转不变性，因此在手势序列单帧特征阶段融合手势的方向特征。本方法在方向特征上应用简化的HOG特征，将其修改成统计图像每个像素在九个方向上的个数，从而提取到9维的方向特征，并将其串联融合在之前学习得到的64维特征上，生成73维的手势序列单帧特征，并作为隐马尔科夫模型的观察序列进行训练分类。

3、基于隐马尔科夫模型的动态手势识别

隐马尔科夫模型的关键过程是HMM模型的训练问题，本方法对每类动态手势训练出一个HMM模型，在实验阶段针对剑桥的动态手势库中动作的类别，共训练出了九个HMM模型，然后进行测试识别。HMM模型的训练过程是给定训练样本的观察序列，对模型参数不断重估的过程，通过迭代运算对HMM模型的参数λ(A,B,π)不断调整，使得观察序列O出现的概率P(O│λ)达到最大，训练一个最适合样本集的模型。根据前向变量α_t(i)和后向变量β_t(i)可以得出：

$\begin{array}{cc}p\left(o\right|x)=\underset{i=1}{\overset{N}{\&Sigma;}}\underset{j=1}{\overset{N}{\&Sigma;}}{\mathrm{\&alpha;}}_i\left(i\right)a_{ij}{b}_j\left(O_{t+1}\right){\mathrm{\&beta;}}_{t+1}\left(j\right),& 1\&le;t\&le;T-1\end{array}---\left(1\right)$

接下来的问题就是求P(O|λ)最大是的参数λ。目前还没有一种能够由训练样本得到模型全局最优解的算法，本发明使用效果较好的Baulm-Welch算法，该算法使用迭代计算来更新新模型参数，最后是参数逐渐趋向最优值，是一种极大似然估计过程。具体的参数估计公式如下：

$\stackrel{\&OverBar;}{{\mathrm{\&pi;}}_i}={\mathrm{\&gamma;}}_t\left(i\right)=\underset{j=1}{\overset{N}{\&Sigma;}}{\mathrm{\&xi;}}_t(i,j)---\left(2\right)$

$\stackrel{\&OverBar;}{{\mathrm{\&alpha;}}_{ij}}=\underset{t=1}{\overset{T-1}{\&Sigma;}}{\mathrm{\&xi;}}_t(i,j)/\underset{t=1}{\overset{T-1}{\&Sigma;}}{\mathrm{\&gamma;}}_t\left(i\right)---\left(3\right)$

$\stackrel{\&OverBar;}{b_j\left(k\right)}=\underset{t=1,o_t=v_k}{\overset{T-1}{\&Sigma;}}{\mathrm{\&gamma;}}_t\left(i\right)/\underset{t=1}{\overset{T-1}{\&Sigma;}}{\mathrm{\&gamma;}}_t\left(j\right)---\left(4\right)$

其中，

$\begin{array}{c}{\mathrm{\&xi;}}_t(i,j)=p(q_t=s_i,q_{t+1}=s_j|O,\mathrm{\&lambda;})=p(q_t=s_i,q_{t+1}=s_j,O|\mathrm{\&lambda;})/p\left(O\right|\mathrm{\&lambda;})\\ ={\mathrm{\&alpha;}}_t\left(i\right)a_{ij}{b}_j\left(o_{t+1}\right){\mathrm{\&beta;}}_{t+1}\left(j\right)/\underset{i=1}{\overset{N}{\&Sigma;}}\underset{j=1}{\overset{N}{\&Sigma;}}{\mathrm{\&alpha;}}_t\left(i\right)a_{ij}{b}_j\left(o_{t+1}\right){\mathrm{\&beta;}}_{t+1}\left(j\right)\end{array}---\left(5\right)$

求取HMM的最优参数的具体步骤如下：

a)初始化HMM的参数λ(A,B,π)；

b)根据观察序列O和模型参数λ估算新模型参数根据上面的重估公式分别重新估计得到新的模型参数

c)使用前向-后向算法计算观察序列O在模型λ下的概率P(O|λ)以及在下的概率并计算若满足 (ε为设定的收敛门限值)，则收敛，此时的即为训练得到的最接近手势样本的HMM。否则令继续执行步骤b)，直至收敛。

对上述方法进行了实验验证，并取得了明显的效果。实验数据集选择了剑桥的手势数据集(Kim和Cipolla2009,Cambridgehand-gesture)，该数据集具有变光照、非特定人的特点。数据集包含5组不同光照下的数据集(Set1,…,Set5),每个Set下有20个不同的人完成9个手势动作(20×9)。用Set5的数据作为训练集，其他四个数据集作为测试集来测试评估。首先我们对原始数据进行数据扩充，使每个Set中每个手势动作有200个样本，然后对这些样本进行Canny边缘强化处理。

表1为在剑桥动态手势数据集上本方法与其他方法的实验结果对比，可见本方法的识别率比其他方法高。

表1

以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims (7)

1.一种动态手势识别方法，其特征在于，该方法包括以下步骤：

(1)对动态手势数据进行预处理，基于间隔取样方法扩展动态手势数据，基于canny边缘检测算子计算扩展后扩展动态手势数据的RGB三个通道的边缘，生成彩色边缘图像；

(2)基于卷积神经网络模型提取手势特征序列；

(3)通过步骤(2)提取的手势特征序列和手部方向特征，进行隐马尔科夫模型HMM训练，得到最接近手势样本的HMM。

2.根据权利要求1所述的动态手势识别方法，其特征在于，所述步骤(1)中间隔取样方法为：设动态手势数据序列的源帧数为n帧；表达动态手势数据序列的关键帧的帧数为x帧；这样一个手势视频序列扩展成n/x＝k个视频序列，K为向下取整的整数。

3.根据权利要求2所述的动态手势识别方法，其特征在于，在所述步骤(2)中的卷积神经网络模型由五层卷积层、三层最大池化层、两层全连接层和最后一层分类层组成，在此基础上对卷积神经网络模型每层的卷积核大小和步长做优化处理，经过卷积神经网络模型对按手形分类的数据进行反复学习与训练，将参数调到最优，使手形分类识别率达到最优。

4.根据权利要求3所述的动态手势识别方法，其特征在于，在所述步骤(2)中第一层到第二层是将220*220*3的彩色图像进行卷积核为11*11，步长4的卷积运算，接着进行池化窗口3*3，步长为1的最大池化运算；第二层到第三层进行卷积核为5*5，步长1的卷积运算，接着进行池化窗口3*3，步长为2的最大池化运算；第三、第四、第五、第六层之间均为卷积核大小为3*3，滑动步长为1的卷积操作；之后两层为全连接层，其中，第一层全连接层节点为2048个，第二层全连接层节点设置为64；第八层到第九层之间为分类层，此层用softmax分类器。

5.根据权利要求4所述的动态手势识别方法，其特征在于，在所述步骤(2)中，在方向特征上应用简化的HOG特征，将其修改成统计图像每个像素在九个方向上的个数，从而提取到9维的方向特征，并将其串联融合在从第二层全连接层提取的64维的特征向量上，生成73维的手势单帧特征，手势特征帧序列作为隐马尔科夫模型的观察序列进行训练分类。

6.根据权利要求5所述的动态手势识别方法，其特征在于，在所述步骤(3)中，对每类动态手势训练出一个HMM模型，在实验阶段针对剑桥的动态手势库中动作的类别，共训练出了九个HMM模型，然后进行测试识别；HMM模型的训练过程是给定训练样本的观察序列，对模型参数不断重估的过程，通过迭代运算对HMM模型的参数λ(A,B,π)不断调整，根据公式(1)使得观察序列O出现的概率P(O│λ)达到最大，训练一个最适合样本集的模型，

再根据Baulm-Welch算法更新来求P(O|λ)最大时的参数λ。其中a_t(i)表示给定模型λ，并且截止到t时刻产生观察概率o₁o₂…o_t时，t时刻状态为s_i的概率，a_ij表示为状态s_i到s_j的状态转移概率，b_j(o_t+1)表示t+1时刻状态为s_i条件下出现观察值o_t+1的概率，β_t+1(j)表示在已知模型λ且t+1时刻到T时刻产生观察序列o_t+2o_t+3…o_T的概率。

7.根据权利要求6所述的动态手势识别方法，其特征在于，求P(O|λ)最大时的参数λ包括以下步骤：

a)初始化HMM的参数λ(A,B,π)；

b)根据观察序列O和模型参数λ估算新模型参数根据公式(2)-(5)分别重新估计得到新的模型参数

$\stackrel{\&OverBar;}{{\mathrm{\&pi;}}_i}={\mathrm{\&gamma;}}_t\left(i\right)=\underset{j=1}{\overset{N}{\&Sigma;}}{\mathrm{\&xi;}}_t(i,j)---\left(2\right)$

$\stackrel{\&OverBar;}{{\mathrm{\&alpha;}}_{ij}}=\underset{t=1}{\overset{T-1}{\&Sigma;}}{\mathrm{\&xi;}}_t(i,j)/\underset{t=1}{\overset{T-1}{\&Sigma;}}{\mathrm{\&gamma;}}_t\left(i\right)---\left(3\right)$

$\stackrel{\&OverBar;}{b_j\left(k\right)}=\underset{t=1,o_t=v_k}{\overset{T-1}{\&Sigma;}}{\mathrm{\&gamma;}}_t\left(i\right)/\underset{t=1}{\overset{T-1}{\&Sigma;}}{\mathrm{\&gamma;}}_t\left(j\right)---\left(4\right)$

其中，

$\begin{array}{c}{\mathrm{\&xi;}}_t(i,j)=p(q_t=s_i,q_{t+1}=s_j|O,\mathrm{\&lambda;})=p(q_t=s_i,q_{t+1}=s_j,O|\mathrm{\&lambda;})/p\left(O\right|\mathrm{\&lambda;})\\ ={\mathrm{\&alpha;}}_t\left(i\right)a_{ij}{b}_j\left(o_{t+1}\right){\mathrm{\&beta;}}_{t+1}\left(j\right)/\underset{i=1}{\overset{N}{\&Sigma;}}\underset{j=1}{\overset{N}{\&Sigma;}}{\mathrm{\&alpha;}}_t\left(i\right)a_{ij}{b}_j\left(o_{t+1}\right){\mathrm{\&beta;}}_{t+1}\left(j\right)\end{array}---\left(5\right);$

γ_t(i)表示在给定观察序列O和HMM模型参数λ的条件下，在t时刻处于状态s_i的概率，满足ξ_t(i,j)表示在给定观察序列O和HMM模型参数λ的条件下，在t时刻处于状态s_i并且t+1时刻处于s_j的概率。

c)使用前向-后向算法计算观察序列O在模型λ下的概率P(O|λ)以及在下的概率P(O|λ)，并计算|logP(O|λ)-logP(O|λ)|，若满足|logP(O|λ)-logP(O|λ)|，ε为设定的收敛门限值，则收敛，此时的为训练得到的最接近手势样本的HMM；否则令继续执行步骤b)，直至收敛。