CN106991386A - 一种基于深度残差网络的手势识别方法 - Google Patents

Abstract

本发明公开了一种基于深度残差网络的手势识别方法。本发明步骤包括：步骤1.获取手势的原始数据信息，并将其进行N点标记得到2N维的原始标签数据；步骤2.对原始数据信息及2N维的标签数据进行预处理；步骤3、将预处理后的原始数据信息与转化为hdf5格式的2N维的原始标签数据作为原始训练数据，输入到深度残差网络中训练网络参数，得到手势识别模型；步骤4、将待识别手势数据做与步骤1相同的N点标记得到2N维的待识别标签数据；步骤5、对待识别手势数据及2N维的标签数据进行预处理，并将预处理后的手势数据与转化为hdf5格式的2N维的待识别标签数据，输入到上述手势识别模型中进行识别，得到识别结果。本发明有效解决梯度弥散和网络精度问题。

Description

一种基于深度残差网络的手势识别方法

技术领域

本发明涉及图像处理、物体检索领域，尤其涉及一种基于深度残差网 络的手势识别方法。

背景技术

目前，基于视觉的手势交互已经被国内外广泛的研究，但由于手势本 身所具有的多义性、时空差异性以及手的高纬度、多自由度及视觉问题本 身的不适应性，基于手势识别的人工交互平台一直是一个固有挑战性的研 究课题。该课题主要解决的核心点在于对手的形状的识别和对手势的跟踪。 在传统方法上主要有两个方向：(1)基于隐马尔可夫链的方法：GRobel 从带颜色手套的饰演者的记录视频中提取特征，采用隐马尔夫模型(Hidden Markov Model,HMM)识别了261个鼓励测绘，其正确率达到了91.3％；(2) 基于几何特征的手势识别。但这两种方法和之后所衍生出来的一些其他算 法都极大程度上依赖于计算机的处理能力，而且在数据的拟合上存在很大 的问题，同时很难达到对于大数据的信息源进行处理。

由于手具有高度时空性，以及手势变换种类十分复杂，因此在训练过 程中网络结构的好坏在很大程度上决定了训练出来的网络模型对于手势的 识别精度。在人工智能迅速发展的今天，大部分人都采用深度学习中的CNN 或者RCNN来对手势识别进行改进，在一定程度上提升了准确率。但随着 CNN网络的发展，尤其是VGG网络的提出，在网络层数增加到一个临界 点后梯度消失或弥散问题随之而来，与此同时网络精度达到饱和后迅速下降。

发明内容

本发明的目的是提供一种基于深度残差网络的手势识别方法，该方法 能有效解决梯度弥散和网络精度问题，同时对于精度下降的问题有效的进 行了遏制，降低了深度网络的训练难度，极大的提升了手势识别的精度， 为之后手势识别甚至图像检测、物体识别领域提供了一种新的解决方法； 同时该方法通过输入多维数据，以保证手势识别的精确度，而且对于输入 数据以及数据格式的普适性更加强大，有效解决了输入的手势数据只能为1 维的局限。

为达上述目的，本发明所采用的技术方案为：

一种基于深度残差网络的手势识别方法，其步骤包括：

步骤1.获取手势的原始数据信息，并将其进行N点标记得到2N维的 原始标签数据；其中N≥1；

步骤2.对上述原始数据信息及2N维的标签数据进行预处理；

步骤3、将上述预处理后的原始数据信息与转化为hdf5格式的2N维的 的原始标签数据作为原始训练数据，输入到深度残差网络中训练网络参数， 得到手势识别模型；

步骤4、将待识别手势数据做与步骤1)相同的N点标记得到2N维的 待识别标签数据；

步骤5、对上述待识别手势数据及2N维的标签数据进行预处理，并将 预处理后的手势数据与转化为hdf5格式的2N维的待识别标签数据，输入 到上述手势识别模型中进行识别，得到识别结果。

进一步地，所述手势的原始数据信息与所述待识别手势数据是指收集 的各类手势图片。

进一步地，所述原始数据信息、2N维的原始标签数据、待识别手势数 据和2N维的待识别标签数据进行预处理，包括图像正则化、先验条件约束、 数据格式及对应图像转换操作。

进一步地，所述的预处理是指利用matlab将手势图片的大小进行归一 化。

进一步地，步骤3)中所述的构建的深度残差网络具体如下：

所述的深度残差网络训练时采用自下上升的监督学习方式，具体包括 一输入层、一初始卷积层、多个残差模块、一全连接层和一输出层；

所述初始卷积层用于对输入的原始训练数据进行卷积；

所述多个残差模块用于提取上述卷积后的数据的卷积特征；

所述全连接层包括多个节点，用于将上述卷积特征进行分类。

更进一步地，所述每个残差模块在一开始分为一条主径和一条捷径， 并在结束时重新叠加整合。

更进一步地，在第一个残差模块前存在一个max-pooling(最大池化) 操作，用于压缩维度，减小卷积层数误差造成估计均值的偏移，更多的保 留纹理信息，提高模型的泛化能力；

在所述全连接层之后存在一mean-Pooling(平均池化)操作，以降低邻 域大小受限造成的估计值方差增大所造成的的影响。

更进一步地，在每个残差模块中的每个卷积层和池化层之后存在BatchNormaliztion(批归一化)操作，以使提取后的特征均值为0，方差为1。

与现有技术相比，本发明具有以下特点：

第一，本发明采用的是普通手势的RGB手势图片，在适用上具有很强 的广泛性。

第二，传统的手势识别是基于隐马尔可夫链和基于几何特征的手势识 别，数据运算十分复杂，而且准确率难以达到要求，而对于机器学习尤其 是深度学习来说，通过卷积、池化、正则化等操作，将原本在源空间的特 征变换到新的空间，实现高维到低维的降维效果，自动地学习得到层次化 的特征表示，从而更加有利于智能化的检测和分类。同时手势识别在处理 数据方面由于信息源众多，数据量巨大，人工方法早已不能满足需求。在 人工智能飞速发展的今天，深度学习无疑是解决这类问题的一把利剑。

第三，一般来说，随着网络层数的增加，所得到的识别模型的精确度 也越高，但随着网络层数的增加，梯度消失或者弥散的问题也随着而来， 这导致训练难以熟练。同时，随着网络深度的增加，网络精度达到饱和之 后，会产生迅速下滑的现象，然而这并不是过拟合所导致的。除此之外， 目前的网络训练都采用反馈的训练方法即反向传播的概念，通过对比输出 和标签之前的误差，将误差逐层向上反馈调整整个网络的参数权重。而残 差有逐层递减的特点，在网络层数足够大时，会发生权值无法调整，使网 络深度失去意义的现象。本发明在每个残差模块都增加了一条捷径，并在 捷径中加了卷积等处理，而不是简单的一层卷积层，一层简单的卷积层虽 然在一定程度上有助于残差的向上传播，但对于高精度作业来说可能精度 还是有所欠缺。而通过在捷径中加入这些处理一方面有利于网络对于手势 特征的提取，另一方面对于残差在反向传播时优化能够更加的明显。因此， 该捷径使整个网络的权值都能够得以调整，达到整个深度残差网络达到全 局最优解，同时整个网络泛化能力提升，得到精度更高效果更好的网络模 型。

第四，普通手势数据输入为1维数据，而且由于leveldb和lmdb只能 使用1维数据作为输入，这样经过网络获得的信息不准确，得到的结果也 过于单一，而本发明采用的深度残差网络在数据处理上使用hdf5格式的数 据，其能够支持多维数据输入，且并不像现有技术使用分类的手势图片， 这在手势识别上还是首例，对于整个网络以及之后网络模型的应用存在很 强的普适性。同时，本发明可使用多达152层的网络结构，使得loss function(损失函数)降到很小，使得精度能够得到满足。

附图说明

图1是本发明基于深度残差网络的手势识别方法的流程图。

图2是本发明手势图片标记的具体示意图。

图3是本发明深度残差网络的总体结构图。

其中卷积层和残差模块括号内三个数字分别表示输入维数，卷积核大 小，步长；Max-pooling和Mean-pooling括号内数字为卷积核大小和步长。

图4是本发明一实施例的残差模块内部结构示意图。

具体实施方式

为使本发明的上述特征和优点能更明显易懂，下文特举实施例，并配 合所附图作详细说明如下。

本发明提供一种基于深度残差网络的手势识别方法，如图1所示，该 方法包括训练阶段和识别阶段；所述训练阶段包括如下步骤：

第一步，获取手势的原始数据信息，其中本发明获取了5000张作为手 势识别的初期数据库；且在初期收集各类手势图片后，对每张手势图片进 行N点标记得到2N维的标签数据，并将手势图片保存为JPG格式，其中 N≥1，且N的取值主要由标记人员来确定；本发明手势图片标记的具体示 意图如图2所示，该图中取21个节点(即N＝21)一方面是由于手具有21 个主要关节节点，另一方面是取上述节点能够在手势不明确的情况下(比 如拳头或者手背物体遮挡)提升手势识别的精度，提高手势识别的泛化能 力。

第二步，对上述原始数据信息及42维的标签数据进行预处理操作，包 括图像正则化、先验条件约束、数据格式及对应图像转换等操作，以提升 之后深度残差网络的拟合精度；进一步说明需要对手势图片进行预处理， 即利用matlab将手势图片的大小归一化为256*256，以减小图片不一致所 带来的误差；同时42维标签数据转换成hdf5格式，从而使之能够作为输入 而输入到深度残差网络中训练；

第三步，将5000张手势图片预处理后的数据及转化为hdf5格式的42 维的标签数据作为原始的训练数据；

第四步，将上述训练数据输入深度残差网络中训练网络参数。所述深 度残差网络主要是利用了y＝F(x，{Wi})+x，其中x表示经过捷径的输出， Wi表示本层的权重，F(x，{Wi})为经过主径所得到的输出，y即为主径 和捷径得到的输出之和。所述深度残差网络结构如图3所示，整个网络有 152层，图3画出的只是其中的一部分。在初始卷积层之后，分为50个残 差模块。每个残差模块在一开始分为一条主径和一条捷径，其中主径上分 为3个小模块，前两个模块包含Convolution、Batch Normalization、Scale 和ReLu 4层结构，而在最后模块中只存在Convolution、Batch Normalization 和Scale 3层结构，且3个模块用于提取手势的各类深层特征同时归类；捷 径上只存在一个模块(只包含Convolution、BatchNormalization和Scale3 层结构)或者可以不存在模块，以方便训练时残差向上传播。其中Convolution实现高维到低维的降维功能；Batch Normalization使提取后的特 征均值为0，方差为1；Scale为处理偏置项和缩放因子；ReLu提取样本特 征。主径和捷径得到的特征在每个残差模块结束时重新经过Eltwise和ReLu 叠加整合，进入下一个阶段。最后部分是1000的节点，将之前的卷积特征 进行分类，以loss function的形式得出输出结果。

请参考图4，该图为本发明一实施例的残差模块内部结构示意图。在输 入特征层数为a，特征长度为b的情况下，首先经过步长为2的max-pooling 层，得到特征层数为a，特征长度为b/2的输入层。之后残差模块分为两条 路径，其中主径为3层卷积层，且卷积核大小分别为1*1、3*3、1*1，之后 得到的特征层数为4a，特征长度为b/2；捷径为1层卷积层，卷积核大小为 1*1，之后得到的特征层数为4a，特征长度为b/2。将主径得到的结果和捷 径得到的结果经过融合层，得到的特征层数为4a，特征长度为b/2。

在第一个残差模块前存在一个max-pooling的操作，用于压缩维度，减 小卷积层数误差造成估计均值的偏移，更多的保留纹理信息，提高模型的 泛化能力；在全连接层之后存在一mean-Pooling操作，以降低邻域大小受 限造成的估计值方差增大所造成的的影响。

在每个残差模块中的每个卷积层和池化层之后存在Batch Normaliztion，使得提取后的特征均值为0，方差为1，用于加速训练和优化 结果。

训练深度残差网络时采用自下上升的监督学习方式，即先用预处理的 图片和数据作为输入训练第一隐含层(即将其输入到初始卷积层)，训练 时先学习第一隐含层的参数；进一步，由于网络的限制、稀疏性约束以及 先验条件的约束，使网络结构得到比数据本身更有表征能力的特征；在学 习得到第n-1层后，将n-1层的输出作为第n层的输入，训练第n层，由此 分别得到各层的参数；对于本实施例采用152层隐含层的深度残差网络， 即将学习得到的前一隐含层的输出作为下一隐含层的输入，依次完成152 层训练，以分别得到各隐含层的相应参数。

第五步，保存调整后的参数，得到手势识别模型。

请继续参考图3，所述识别阶段包括如下步骤：

第一步，将待识别手势数据或者测试数据(1000张手势图片)作为来测试上述训练阶段得到的手势识别模型的准确率，对上述手势图 片进行21点标记得到共42维的标签数据并将手势图片保存为JPG格式；

第二步，对上述待识别手势数据或者测试数据及42维的标签数据进行 预处理操作，包括图像正则化、先验条件约束、数据格式及对应图像转换 等操作，以提升之后的深度残差网络的拟合精度；进一步说明需要对手势 图片进行预处理，即利用matlab将图片的大小归一化为256*256，同时42 维标签数据转换成hdf5格式，从而使之能够作为输入而输入到上述手势识 别模型中进行识别；

第三步，将上述预处理后的手势数据或者测试数据及转化为hdf5格式 的42维的标签数据输入到上述得到的手势识别模型中进行识别，得到识别 结果。

以上实施仅用以说明本发明的技术方案而非对其进行限制，本领域的 普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离 本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。

Claims (9)

1.一种基于深度残差网络的手势识别方法，其特征在于包括如下步骤：

步骤1.获取手势的原始数据信息，并将其进行N点标记得到2N维的原始标签数据；其中N≥1；

步骤2.对上述原始数据信息及2N维的标签数据进行预处理；

步骤3、将上述预处理后的原始数据信息与转化为hdf5格式的2N维的的原始标签数据作为原始训练数据，输入到深度残差网络中训练网络参数，得到手势识别模型；

步骤4、将待识别手势数据做与步骤1相同的N点标记得到2N维的待识别标签数据；

步骤5、对上述待识别手势数据及2N维的标签数据进行预处理，并将预处理后的手势数据与转化为hdf5格式的2N维的待识别标签数据，输入到上述手势识别模型中进行识别，得到识别结果。

2.如权利要求1所述的一种基于深度残差网络的手势识别方法，其特征在于所述手势的原始数据信息与所述待识别手势数据是指收集的各类手势图片。

3.如权利要求1所述的一种基于深度残差网络的手势识别方法，其特征在于所述原始数据信息、2N维的标签数据、待识别手势数据进行预处理包括图像正则化、先验条件约束、数据格式及对应图像转换操作。

4.如权利要求2所述的一种基于深度残差网络的手势识别方法，其特征在于对手势图片进行预处理是指利用matlab将手势图片的大小进行归一化。

5.如权利要求1所述的一种基于深度残差网络的手势识别方法，其特征在于步骤3中所述深度残差网络训练时采用自下上升的监督学习方式。

6.如权利要求1所述的一种基于深度残差网络的手势识别方法，其特征在于步骤3中所述的构建的深度残差网络具体如下：

所述深度残差网络包括一输入层、一初始卷积层、多个残差模块、一全连接层和一输出层；

所述初始卷积层用于对输入的原始训练数据进行卷积；

所述多个残差模块用于提取上述卷积后的数据的卷积特征；

所述全连接层包括多个节点，用于将上述卷积特征进行分类。

7.如权利要求6所述的一种基于深度残差网络的手势识别方法，其特征在于所述每个残差模块在一开始分为一条主径和一条捷径，并在结束时重新叠加整合。

8.如权利要求6所述的一种基于深度残差网络的手势识别方法，其特征在于：在第一个残差模块前存在一个max-pooling操作，用于压缩维度，减小卷积层数误差造成估计均值的偏移，更多的保留纹理信息；在所述全连接层之后存在一mean-Pooling操作，以降低邻域大小受限造成的估计值方差增大所造成的的影响。

9.如权利要求6所述的一种基于深度残差网络的手势识别方法，其特征在于：在每个残差模块中的每个卷积层和池化层之后存在BatchNormaliztion操作，以使提取后的特征均值为0，方差为1。