CN107316025B - 一种手部姿态识别方法及识别*** - Google Patents

Abstract

本发明的手部姿态识别方法，用于解决由于识别方法鲁棒性低，受深度图像数据质量影响无法形成高准确性的手部姿态的技术问题。该方法包括：提取初步深度图像中的深度局部梯度特征数据形成手部初步姿态特征数据；手部初步姿态特征数据通过手部姿态分类器形成手部当前姿态数据；通过存储索引确定与手部当前姿态数据接近的手部标准姿态数据并对比确定与手部当前姿态对应的手部标准姿态。本发明克服了受深度图像中的深度数据空洞和噪声影响使得分类器预测结果误差较大的缺陷。通过存储索引使得挑选的若干手部标准姿态分布在预测出的手部姿态附近，进一步提高了识别过程的鲁棒性。本发明还包括手部姿态识别***。

Description

一种手部姿态识别方法及识别***

技术领域

本发明涉及现实对象的计算机识别方法及识别***，特别涉及一种手部姿态识别方法及识别***。

背景技术

随着深度传感器的普及和人机交互领域的需求，近年来基于深度数据的手部姿态识别的研究正在兴起。与传统基于RGB(即红绿蓝基色)图像的手部姿态识别相比，深度数据提供了手部的三维信息，提高了手部姿态识别的鲁棒性和准确性。

但是利用深度数据进行手部姿态识别对深度图像的图像质量要求较高，现有深度传感器受物理参数限制，动态形成的深度图像的图像质量较差，不能完全满足分类器的数据输入要求，使得分类器处理获得的手部图像中包含大量的噪声甚至出现“空洞”，严重地降低分类器的预测准确性。

发明内容

有鉴于此，本发明实施例提供了手部姿态识别方法及识别***，用于解决由于识别方法鲁棒性低，受深度图像数据质量影响无法形成高准确性的手部姿态的技术问题。

本发明的手部姿态识别方法，包括：

提取初步深度图像中的深度局部梯度特征数据形成手部初步姿态特征数据；

手部初步姿态特征数据通过手部姿态分类器形成手部当前姿态数据；

通过存储索引确定与手部当前姿态数据接近的手部标准姿态数据并对比确定与手部当前姿态对应的手部标准姿态。

本发明的手部姿态识别***，包括以下功能模块：

初步深度图像生成装置，用于通过深度传感器获取手部当前姿态的初步深度图像；

手部初步姿态特征数据生成装置，用于提取初步深度图像中的深度局部梯度特征数据形成手部初步姿态特征数据；

手部当前姿态数据生成装置，用于手部初步姿态特征数据通过手部姿态分类器形成手部当前姿态数据；

姿态比对装置，用于通过存储索引确定与手部当前姿态数据接近的手部标准姿态数据并对比确定与手部当前姿态对应的手部标准姿态。

本发明的手部姿态识别***，包括处理器，处理器中部署的程序模块包括：

初步深度图像生成装置，用于通过深度传感器获取手部当前姿态的初步深度图像；

手部初步姿态特征数据生成装置，用于提取初步深度图像中的深度局部梯度特征数据形成手部初步姿态特征数据；

手部当前姿态数据生成装置，用于手部初步姿态特征数据通过手部姿态分类器形成手部当前姿态数据；

姿态比对装置，用于通过存储索引确定与手部当前姿态数据接近的手部标准姿态数据并对比确定与手部当前姿态对应的手部标准姿态。

本发明的手部姿态识别方法及识别***避免了直接采用具有噪声缺陷和数据缺陷的手部初步姿态特征数据进行手部姿态识别，克服了受深度图像中的深度数据空洞和噪声影响使得分类器预测结果误差较大的缺陷。采用本手部姿态识别方法即使手部运动过快导致深度传感器采集的原始数据质量较低，也不会明显降低最终的预测准确性。本手部姿态识别方法利用把高维度数据映射到低维空间后高维数据点之间的相似性也应该在低维空间的数据点上体现出来的特点，通过存储索引使得挑选的若干手部标准姿态分布在预测出的手部姿态附近，进一步提高了识别过程的鲁棒性。

附图说明

图1为本发明实施例手部姿态识别方法的流程图。

图2为本发明实施例手部姿态识别方法的标准深度图像的形成流程图。

图3为本发明实施例手部姿态识别方法的标准深度图像的深度特征的形成流程图。

图4为本发明实施例手部姿态识别方法的手部标准姿态的形成流程图。

图5为本发明实施例手部姿态识别方法的初步深度图像的形成流程图。

图6为本发明实施例手部姿态识别方法的手部当前姿态的形成流程图。

图7为本发明实施例手部姿态识别方法的手部姿态比较替换的流程图。

图8为利用本发明实施例手部姿态识别方法过程中建立的手部模拟姿态。

图9为利用本发明实施例手部姿态识别方法过程中手部模拟姿态的标准深度图像。

图10为利用本发明实施例手部姿态识别方法过程中降维的二维手部标准姿态特征数据的可视化结果。

图11为利用本发明实施例手部姿态识别方法过程中通过手部姿态分类器对手部ROI的二维手部标准姿态特征数据预测结果的可视化结果。

图12为本发明实施例手部姿态识别方法过程中获取的手部ROI。

图13为本发明实施例手部姿态识别方法过程中手部ROI的预测结果和选取的最近的手部ROI姿态对应的深度数据。

图14为本发明实施例手部姿态识别方法过程中度量相似程度后选取的最相似的结果。

图15为本发明实施例手部姿态识别***或程序模块的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

附图中的步骤编号仅用于作为该步骤的附图标记，不表示执行顺序。

图1为本发明实施例手部姿态识别方法的流程图。如图1所示方法步骤包括：

步骤100：建立手部模拟姿态，生成与手部模拟姿态对应的标准深度图像。

步骤200：提取标准深度图像中的深度局部梯度特征数据形成手部标准姿态特征数据。

步骤300：通过手部标准姿态特征数据对分类器进行训练形成手部姿态分类器，并通过手部姿态分类器建立手部标准姿态数据和手部标准姿态数据的存储索引。

步骤400：通过深度传感器获取手部当前姿态的初步深度图像。

步骤500：提取初步深度图像中的深度局部梯度特征数据形成手部初步姿态特征数据。

步骤600：手部初步姿态特征数据通过手部姿态分类器形成手部当前姿态数据。

步骤700：通过存储索引确定与手部当前姿态数据接近的手部标准姿态数据并对比确定与手部当前姿态对应的手部标准姿态。

本发明实施例的手部姿态识别方法，在离线状态下为各种手部标准姿态建立了具有准确深度信息的的标准深度图像，并形成了可以索引的手部标准姿态数据(必要时手部标准姿态数据可以以手部标准姿态的直观图像显示)，确保了手部姿态的标准化。在在线状态下将深度传感器获取的低质量深度图像形成手部初步姿态特征数据(必要时手部初步姿态数据可以以手部初步姿态的直观图像显示)，并与部分手部标准姿态的手部标准姿态数据直接进行匹配，比对选出最合适的手部标准姿态数据进而确定对应的手部标准姿态。本发明实施例的手部姿态识别方法避免了直接采用具有噪声缺陷和数据缺陷的手部初步姿态特征数据进行手部姿态识别，克服了受深度图像中的深度数据空洞和噪声影响使得分类器预测结果误差较大的缺陷。采用本手部姿态识别方法即使手部运动过导致快深度传感器采集的原始数据质量较低，也不会明显降低最终的预测准确性。本手部姿态识别方法利用把高维度数据映射到低维空间后高维数据点之间的相似性也应该在低维空间的数据点上体现出来的特点，通过存储索引使得挑选的若干手部标准姿态分布在预测出的手部姿态附近，进一步提高了识别过程的鲁棒性。

图2为本发明实施例手部姿态识别方法的标准深度图像的形成流程图。如图2所示步骤100包括：

步骤110：建立手部模型。

建立手部标准姿态采用计算机图形技术的骨骼动画技术。骨骼动画技术采用生物的骨骼特征作为三维生物对象的基本模型，根据三维生物对象的个体特征对基本模型进行填充和贴图形成具有个体特征的三维生物对象。可以采用手部的三维骨骼基本模型通过肌肉对象的填充、皮肤纹理对象的贴图形成手部模型。

步骤120：确定手部模型基准点和欧氏距离坐标系。

计算机图形学在三维坐标空间中可以建立由点、线、面组成的二维对象或三维对象，并根据欧氏距离变换等算法获得每一个对象如骨骼的具体三维坐标。

步骤130：逐一调整手部骨骼各关节的运动角度形成各手部模拟姿态。

通过对具体对象的三维坐标施加适当的偏移量或移动规则就可以形成对象在三维坐标空间中沿六自由度的位置变化以及整体对象形状的变化。三维骨骼基本模型中各关节对象的运动角度受限于具体关节对象对应的生理关节的运动角度。通过调整手部模型中各骨骼的具体方位，就可以形成不同的手部姿态。单手手部包括27块骨骼，大于15个关节，确定可以形成的手部标准姿态(含典型的过渡姿态)至少1000种。

步骤140：对每一次调整关节后的手部模型以欧氏距离作为参数进行渲染获得每一个手部模拟姿态的标准深度图像。

通过计算机动画技术的模型渲染技术，可以将肌肉、皮肤等对象的物理特征数据化，并将肌肉、皮肤等对象在三维骨骼基本模型的固定点与物理特征数据形成映射关系。通过改变三维骨骼基本模型的形态，获得渲染后对应的手部姿态图像。

手部标准姿态上各坐标点与基准点的欧氏距离与灰度等级形成映射，通过每一个手部模拟姿态的标准深度图像的灰度变化就可以反映深度信息。

在形成所有手部标准姿态的标准深度图像的同时，为了反映任一关节变化前后的手部标准姿态间的相似度，根据手部标准姿态间的相似度形成每个手部标准姿态间的相关度标签。相关度标签可以采用变化方向或变化角度的向量数据表示，进而作为标准深度图像的索引参数。

在本发明一实施例的手部姿态识别方法中，也可以在渲染过程中将光源与视角的坐标统一，根据手部各部分像素点亮度差异获得一固定视角内手部各点的距离深度信息。

图3为本发明实施例手部姿态识别方法的标准深度图像的深度特征的形成流程图。如图3所示步骤200包括：

步骤210：在每一个标准深度图像中利用像素携带的深度信息确定每个像素的深度值。

深度信息可以是每个像素的欧式坐标值或每个像素的亮度值。

步骤220：根据像素的深度值形成像素在不同方向和距离上的深度局部梯度值。

深度局部梯度值是指像素间量化深度信息形成的深度差值。通常一个中心像素和相邻像素或相同距离的若干间隔像素的深度差值形成一个中心像素在不同方向上、不同距离上的深度梯度值即不同方向维度和距离维度上的深度梯度值。

具体的，深度局部梯度特征获取方式如下：

其中u_i表示像素点i的深度局部梯度特征数据，z(u)表示该像素点的深度值，u是随机的偏移量。

步骤230：根据每个像素各个维度的深度局部梯度值形成每一个标准深度图像的高维度的手部标准姿态特征数据。

利用深度局部梯度特征数据多个维度的深度梯度值体现在不同方向和距离上各像素间的吸引或排斥关系，形成每个手部标准姿态在具体深度属性上的变化规律。

图4为本发明实施例手部姿态识别方法的手部标准姿态的形成流程图。如图4所示步骤300包括：

步骤310：将每一个标准深度图像的手部标准姿态特征数据归一化并进行降维处理，形成二维手部标准姿态特征数据。

数据归一化保证手部标准姿态特征数据的测量一致性完成数据标准化处理，实现数据指标之间的可比性。

形成二维手部标准姿态特征数据采用的降维算法例如t-sne算法(tstochasticneighbor embedding即t分布邻域嵌入算法)，以手部标准姿态特征数据作为输入通过t-sne算法进行降维处理，将高维度的手部标准姿态特征数据形成二维手部标准姿态特征数据。

步骤320：将每一个标准深度图像的二维手部标准姿态特征数据作为输入，对分类器进行训练，形成针对手部模型的手部姿态分类器。

分类器可以采用随机森林分类器或者深度卷积网络。例如采用随机森林分类器，以二维手部标准姿态特征数据作为随机森林分类器的输入，由于每一标准深度图像的像素的深度信息准确可靠，可以对算法的参数进行充分调节，使得算法形成的分类器基于手部姿态进行全面性数据测试，分类预测结果的可靠性得以充分验证，模拟测试结果可以满足高重复性。

步骤330：将每一个标准深度图像的二维手部标准姿态特征数据通过手部姿态分类器输出对应的手部标准姿态数据，并建立手部标准姿态数据间的向量标签，并通过向量标签建立手部标准姿态数据的存储索引。

通过手部标准姿态的相关度标签形成手部标准姿态数据的向量标签，以向量程度来表示手部标准姿态的相似性。同时利用合理的数据结构完成手部标准姿态数据的存储。例如采用kd-tree(k-dimensional tree即k维空间分割树数据结构)作为数据结构存储手部标准姿态数据并用向量标签进行索引，可以实现相似手部标准姿态的快速索引。

图5为本发明实施例手部姿态识别方法的初步深度图像的形成流程图。如图5所示步骤500包括：

步骤510：在初步深度图像中利用像素携带的深度信息确定每个像素在不同方向上的深度局部梯度值。

深度局部梯度值是指像素间量化深度信息形成的深度差值。通常一个像素和相邻相邻像素或相同距离的若干间隔像素的深度差值形成一个中心像素在不同方向上、不同距离上的梯度值即不同方向维度和距离维度上的深度梯度值。

具体的，深度局部梯度特征获取方式如下：

其中u_i表示像素点i的深度局部梯度特征数据，z(u)表示该像素点的深度值，u是随机的偏移量。

步骤520：根据像素间的多个维度的深度局部梯度数据形成初步深度图像的高维度的手部初步姿态特征数据。

利用多个维度的深度局部梯度特征数据体现在不同方向和距离上个像素间的吸引或排斥关系，形成每个手部标准姿态在具体深度属性上的变化规律。

图6为本发明实施例手部姿态识别方法的手部当前姿态的形成流程图。如图6所示步骤600包括:

步骤610：将初步深度图像中的手部初步姿态特征数据归一化并进行降维处理，形成二维手部初步姿态特征数据。

数据归一化保证手部标准姿态特征数据的测量一致性完成数据标准化处理，实现数据指标之间的可比性。

形成二维手部标准姿态特征数据采用的降维算法例如t-sne算法(tstochasticneighbor embedding即t分布邻域嵌入算法)，以手部标准姿态特征数据作为输入通过t-sne算法进行降维处理，将高维度的手部标准姿态特征数据形成二维手部标准姿态特征数据。

步骤620：将二维手部初步姿态特征数据通过手部姿态分类器输出对应的手部当前姿态数据并形成对应的向量标签。

分类器可以采用随机森林分类器或者深度卷积网络。例如采用随机森林分类器，以二维手部标准姿态特征数据作为随机森林分类器的输入，由于每一标准深度图像的像素的深度信息准确可靠，可以对算法的参数进行充分调节，使得算法形成的分类器基于手部姿态进行全面性数据测试，分类也测结果的可靠性得以充分验证，模拟测试结果可以满足高重复性。

图7为本发明实施例手部姿态识别方法的手部姿态比较替换的流程图。如图7所示步骤700包括：

步骤710：根据手部当前姿态数据的向量标签确定手部标准姿态数据的索引范围。

在经过手部姿态分类器输出手部当前姿态数据的同时，形成与手部标准姿态数据的存储索引相应的向量标签。

步骤720：从索引范围内获取若干手部标准姿态数据，利用手部标准姿态数据和手部当前姿态数据形成对应的测试深度图像集合。

利用手部当前姿态数据的向量标签作为在手部标准姿态数据的存储索引践行检索的范围参数，以获得例如k-1(k为手部标准姿态数据的存储维度)个手部标准姿态数据和手部当前姿态数据形成的k个姿态数据渲染形成的k个测试深度图像的集合。

步骤730：对比初步深度图像与测试深度图像集合中的深度信息，用最近似的深度图像的手部模拟姿态替换手部当前姿态。

初步深度图像与测试深度图像集合中的深度图像逐一对比的相似程度度量公式为：

其中Z表示从传感器获取的深度数据，R表示从渲染图像中获取的深度数据，z_i,j表示对于手部当前姿态数据的深度图像像素点的深度值，r_i,j表示对于手部标准姿态数据像素点的深度值，ρ为对应图像中的相应像素点的相对区别值(差值)。

在本发明另一实施例的手部姿态识别方法中，为了增加最后对比的精确度和降低对比的数据处理量，需要从标准深度图像中以及初步深度图像中提取手部ROI。

如图4所示，还包括步骤320前执行的步骤340：

步骤340：根据PCA算法(Principal Component Analysis即主成分分析算法)确定手部标准姿态特征数据中手部的中心和边界，根据边界形成手部ROI的二维手部标准姿态特征数据。

如图6所示，还包括步骤220前执行的步骤630：

步骤630：根据PCA算法确定手部初步姿态特征数据中手部的中心和朝向，设置包括手部点数据的同朝向的固定立方体空间，并向同朝向二维平面投影；在二维平面上根据边界形成手部ROI的二维手部初步姿态特征数据。

由以上步骤340和步骤630后续步骤形成的手部标准姿态数据是指手部ROI的手部标准姿态数据，手部当前姿态数据是指手部ROI的手部当前姿态数据。

因此如图7所示的步骤730中初步深度图像与测试深度图像集合中的深度图像逐一对比的相似程度度量公式为：

其中Z_roi表示从传感器获取的手部ROI深度数据，R_roi表示从渲染图像中获取的手部ROI深度数据，z_i,j表示对于手部当前姿态数据的深度图像像素点的深度值，r_i,j表示对于手部标准姿态数据像素点的深度值。

图8为利用本发明实施例手部姿态识别方法过程中建立的手部模拟姿态。图9为利用本发明实施例手部姿态识别方法过程中手部模拟姿态的标准深度图像。图10为利用本发明实施例手部姿态识别方法过程中降维的二维手部标准姿态特征数据的可视化结果。图11为利用本发明实施例手部姿态识别方法过程中通过手部姿态分类器对手部ROI的二维手部标准姿态特征数据预测结果的可视化结果。如图8至图11所示，表明了离线状态下建立手部ROI标准姿态数据的过程。本过程保证了通过传感器获取的手部ROI预测数据有一个高质量的比对标准的标准手部姿态深度图像的集合。

图12为本发明实施例手部姿态识别方法过程中获取的手部ROI。图13为本发明实施例手部姿态识别方法过程中手部ROI的预测结果和选取的最近的手部ROI姿态对应的深度数据。图14为本发明实施例手部姿态识别方法过程中度量相似程度后选取的最相似的结果。如图12至图14所示，表明了在线状态下采集手部ROI深度数据建立手部预测姿态数据的过程。通过手部ROI标准姿态数据与手部预测姿态数据的对比，排除了仅依靠低质量手部预测姿态数据预测准确度低，鲁棒性差的缺陷，比对选择结果的手部ROI姿态与传感器采集的手部ROI姿态一致。

图15为本发明实施例手部姿态识别***或程序模块的结构示意图。如图15所示包括以下装置：

标准深度图像生成装置10，用于建立手部模拟姿态，生成与手部模拟姿态对应的标准深度图像；

手部标准姿态特征数据生成装置20，用于提取标准深度图像中的深度局部梯度特征数据形成手部标准姿态特征数据；

手部标准姿态数据索引装置30，用于通过手部标准姿态特征数据对分类器进行训练形成手部姿态分类器，并通过手部姿态分类器建立手部标准姿态数据和手部标准姿态数据的存储索引；

初步深度图像生成装置40，用于通过深度传感器获取手部当前姿态的初步深度图像；

手部初步姿态特征数据生成装置50，用于提取初步深度图像中的深度局部梯度特征数据形成手部初步姿态特征数据；

手部当前姿态数据生成装置60，用于手部初步姿态特征数据通过手部姿态分类器形成手部当前姿态数据；

姿态比对装置70，用于通过存储索引确定与手部当前姿态数据接近的手部标准姿态数据并对比确定与手部当前姿态对应的手部标准姿态。

如图15所示本发明实施例的手部姿态识别***中的标准深度图像生成装置10包括：

模型建立模块11，用于建立手部模型；

距离建立模块12，用于确定手部模型基准点和欧氏距离坐标系；

姿态模拟模块13，用于逐一调整手部骨骼各关节的运动角度形成各手部模拟姿态；

标准深度图像生成模块14，用于对每一次调整关节后的手部模型以欧氏距离作为参数进行渲染获得每一个手部模拟姿态的标准深度图像；

如图15所示本发明实施例的手部姿态识别***中的手部标准姿态特征数据生成装置20包括：

第一像素深度生成模块21，用于在每一个标准深度图像中利用像素携带的深度信息确定每个像素的深度值；

第一深度梯度生成模块22，用于根据像素的深度值形成像素在不同方向和距离上的深度局部梯度值；

标准姿态特征数据生成模块23，用于根据每个像素各个维度的深度局部梯度值形成每一个标准深度图像的高维度的手部标准姿态特征数据；

如图15所示本发明实施例的手部姿态识别***中的手部标准姿态数据索引装置30包括：

二维标准姿态特征数据生成模块31，用于将每一个标准深度图像的手部标准姿态特征数据归一化并进行降维处理，形成二维手部标准姿态特征数据。

手部姿态分类器训练模块32，用于将每一个标准深度图像的二维手部标准姿态特征数据作为输入，对分类器进行训练，形成针对手部模型的手部姿态分类器。

存储索引生成模块33，用于将每一个标准深度图像的二维手部标准姿态特征数据通过手部姿态分类器输出对应的手部标准姿态数据，并建立手部标准姿态数据间的向量标签，并通过向量标签建立手部标准姿态数据的存储索引。

ROI二维标准姿态特征数据生成模块34，用于根据PCA算法确定手部标准姿态特征数据中手部的中心和边界，根据边界形成手部ROI的二维手部标准姿态特征数据。

如图15所示本发明实施例的手部姿态识别***中的手部初步姿态特征数据生成装置50包括：

第二像素深度生成模块51，用于在初步深度图像中利用像素携带的深度信息确定每个像素在不同方向上的深度局部梯度值。

第二深度梯度生成模块52，用于根据像素间的多个维度的深度局部梯度数据形成初步深度图像的高维度的手部初步姿态特征数据。

如图15所示本发明实施例的手部姿态识别***中的手部当前姿态数据生成装置60包括：

二维手部初步姿态特征数据生成模块61，用于将初步深度图像中的手部初步姿态特征数据归一化并进行降维处理，形成二维手部初步姿态特征数据。

手部当前姿态数据生成模块62，用于将二维手部初步姿态特征数据通过手部姿态分类器输出对应的手部当前姿态数据并形成对应的向量标签。

ROI二维标准姿态特征数据生成模块63，用于根据PCA算法确定手部初步姿态特征数据中手部的中心和朝向，设置包括手部点数据的同朝向的固定立方体空间，并向同朝向二维平面投影；在二维平面上根据边界形成手部ROI的二维手部初步姿态特征数据。

如图15所示本发明实施例的手部姿态识别***中的姿态比对装置70包括：

索引范围查询模块71，用于根据手部当前姿态数据的向量标签确定手部标准姿态数据的索引范围。

测试深度图像集合生成模块72，用于从索引范围内获取若干手部标准姿态数据，利用手部标准姿态数据和手部当前姿态数据形成对应的测试深度图像集合。

深度信息对比模块73，用于对比初步深度图像与测试深度图像集合中的深度信息，用最近似的深度图像的手部模拟姿态替换手部当前姿态。

本发明实施例中手部姿态识别***的具体实现和有益效果可参见手部姿态识别方法，在此不再赘述。

图15为本发明实施例手部姿态识别***或程序模块的结构示意图。如图15所示本发明实施例的手部姿态识别***包括处理器，处理器中部署的程序模块包括：

标准深度图像生成装置10，用于建立手部模拟姿态，生成与手部模拟姿态对应的标准深度图像。

手部标准姿态特征数据生成装置20，用于提取标准深度图像中的深度局部梯度特征数据形成手部标准姿态特征数据。

手部标准姿态数据索引装置30，用于通过手部标准姿态特征数据对分类器进行训练形成手部姿态分类器，并通过手部姿态分类器建立手部标准姿态数据和手部标准姿态数据的存储索引。

初步深度图像生成装置40，用于通过深度传感器获取手部当前姿态的初步深度图像。

手部初步姿态特征数据生成装置50，用于提取初步深度图像中的深度局部梯度特征数据形成手部初步姿态特征数据。

手部当前姿态数据生成装置60，用于手部初步姿态特征数据通过手部姿态分类器形成手部当前姿态数据。

姿态比对装置70，用于通过存储索引确定与手部当前姿态数据接近的手部标准姿态数据并对比确定与手部当前姿态对应的手部标准姿态。

标准深度图像生成装置10包括：

模型建立模块11，用于建立手部模型。

距离建立模块12，用于确定手部模型基准点和欧氏距离坐标系。

姿态模拟模块13，用于逐一调整手部骨骼各关节的运动角度形成各手部模拟姿态。

标准深度图像生成模块14，用于对每一次调整关节后的手部模型以欧氏距离作为参数进行渲染获得每一个手部模拟姿态的标准深度图像。

手部标准姿态特征数据生成装置20包括：

第一像素深度生成模块21，用于在每一个标准深度图像中利用像素携带的深度信息确定每个像素的深度值。

第一深度梯度生成模块22，用于根据像素的深度值形成像素在不同方向和距离上的深度局部梯度值。

标准姿态特征数据生成模块23，用于根据每个像素各个维度的深度局部梯度值形成每一个标准深度图像的高维度的手部标准姿态特征数据。

手部标准姿态数据索引装置30包括：

二维标准姿态特征数据生成模块31，用于将每一个标准深度图像的手部标准姿态特征数据归一化并进行降维处理，形成二维手部标准姿态特征数据。

手部姿态分类器训练模块32，用于将每一个标准深度图像的二维手部标准姿态特征数据作为输入，对分类器进行训练，形成针对手部模型的手部姿态分类器。

存储索引生成模块33，用于将每一个标准深度图像的二维手部标准姿态特征数据通过手部姿态分类器输出对应的手部标准姿态数据，并建立手部标准姿态数据间的向量标签，并通过向量标签建立手部标准姿态数据的存储索引。

ROI二维标准姿态特征数据生成模块34，用于根据PCA算法确定手部标准姿态特征数据中手部的中心和边界，根据边界形成手部ROI的二维手部标准姿态特征数据。

手部初步姿态特征数据生成装置50包括：

第二像素深度生成模块51，用于在初步深度图像中利用像素携带的深度信息确定每个像素在不同方向上的深度局部梯度值。

第二深度梯度生成模块52，用于根据像素间的多个维度的深度局部梯度数据形成初步深度图像的高维度的手部初步姿态特征数据。

手部当前姿态数据生成装置60包括：

二维手部初步姿态特征数据生成模块61，用于将初步深度图像中的手部初步姿态特征数据归一化并进行降维处理，形成二维手部初步姿态特征数据。

手部当前姿态数据生成模块62，用于将二维手部初步姿态特征数据通过手部姿态分类器输出对应的手部当前姿态数据并形成对应的向量标签。

ROI二维标准姿态特征数据生成模块63，用于根据PCA算法确定手部初步姿态特征数据中手部的中心和朝向，设置包括手部点数据的同朝向的固定立方体空间，并向同朝向二维平面投影；在二维平面上根据边界形成手部ROI的二维手部初步姿态特征数据。

姿态比对装置70包括：

索引范围查询模块71，用于根据手部当前姿态数据的向量标签确定手部标准姿态数据的索引范围。

测试深度图像集合生成模块72，用于从索引范围内获取若干手部标准姿态数据，利用手部标准姿态数据和手部当前姿态数据形成对应的测试深度图像集合。

深度信息对比模块73，用于对比初步深度图像与测试深度图像集合中的深度信息，用最近似的深度图像的手部模拟姿态替换手部当前姿态。

本发明实施例中手部姿态识别***的具体实现和有益效果可参见手部姿态识别方法，在此不再赘述。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种手部姿态识别方法，包括：

建立手部模拟姿态，生成与手部模拟姿态对应的标准深度图像；

提取标准深度图像中的深度局部梯度特征数据形成手部标准姿态特征数据；

通过手部标准姿态特征数据对分类器进行训练形成手部姿态分类器，并通过手部姿态分类器建立手部标准姿态数据和所述手部标准姿态数据的存储索引；

通过深度传感器获取手部当前姿态的初步深度图像；

提取初步深度图像中的深度局部梯度特征数据形成手部初步姿态特征数据；

通过手部姿态分类器对手部初步姿态特征数据进行分类形成手部当前姿态数据；

通过所述存储索引确定与手部当前姿态数据接近的手部标准姿态数据并对比确定与手部当前姿态对应的手部标准姿态，

其中所述建立手部模拟姿态，生成与手部模拟姿态对应的标准深度图像包括：

建立手部模型；

确定所述手部模型基准点和欧氏距离坐标系；

逐一调整所述手部模型的骨骼关节的运动角度形成手部模拟姿态；

以欧氏距离作为参数对所述手部模拟姿态进行渲染获得每一个所述手部模拟姿态的所述标准深度图像。

2.如权利要求1所述的手部姿态识别方法，其特征在于所述提取标准深度图像中的深度局部梯度特征数据形成手部标准姿态特征数据包括：

在每一个所述标准深度图像中利用像素携带的深度信息确定每个像素的深度值；

根据所述像素的深度值形成所述像素在不同方向和距离上的深度局部梯度值；

根据每个所述像素各个维度的所述深度局部梯度值形成每一个所述标准深度图像的高维度的所述手部标准姿态特征数据。

3.如权利要求1所述的手部姿态识别方法，其特征在于所述通过手部标准姿态特征数据对分类器进行训练形成手部姿态分类器，并通过手部姿态分类器建立所述手部标准姿态数据和所述手部标准姿态数据的所述存储索引包括：

将每一个所述标准深度图像的所述手部标准姿态特征数据归一化并进行降维处理，形成二维手部标准姿态特征数据；

将每一个所述标准深度图像的所述二维手部标准姿态特征数据作为输入，对分类器进行训练，形成针对手部模型的手部姿态分类器；

将每一个所述标准深度图像的所述二维手部标准姿态特征数据通过所述手部姿态分类器输出对应的所述手部标准姿态数据，并建立所述手部标准姿态数据间的向量标签，并通过所述向量标签建立手部标准姿态数据的所述存储索引。

4.如权利要求1所述的手部姿态识别方法，其特征在于所述提取初步深度图像中的深度局部梯度特征数据形成手部初步姿态特征数据包括：

在所述初步深度图像中利用像素携带的深度信息确定每个所述像素在不同方向上的深度局部梯度值；

根据所述像素间的多个维度的所述深度局部梯度值形成所述初步深度图像的高维度的所述手部初步姿态特征数据。

5.如权利要求1所述的手部姿态识别方法，其特征在于所述手部初步姿态特征数据通过手部姿态分类器形成手部当前姿态数据包括：

将初步深度图像中的所述手部初步姿态特征数据归一化并进行降维处理，形成二维手部初步姿态特征数据；

将所述二维手部初步姿态特征数据通过所述手部姿态分类器输出对应的所述手部当前姿态数据并形成对应的向量标签。

6.如权利要求1所述的手部姿态识别方法，其特征在于所述通过所述存储索引确定与手部当前姿态数据接近的手部标准姿态数据并对比确定与手部当前姿态对应的手部标准姿态包括：

根据所述手部当前姿态数据的向量标签确定所述手部标准姿态数据的索引范围；

从所述索引范围内获取若干所述手部标准姿态数据，利用所述手部标准姿态数据和所述手部当前姿态数据形成对应的测试深度图像集合；

对比所述初步深度图像与所述测试深度图像集合中的深度信息，用最近似的所述深度图像的所述手部模拟姿态替换所述手部当前姿态。

7.如权利要求1所述的手部姿态识别方法，其特征在于所述通过手部标准姿态特征数据对分类器进行训练形成手部姿态分类器，并通过手部姿态分类器建立所述手部标准姿态数据和所述手部标准姿态数据的所述存储索引包括：

根据PCA算法确定所述手部标准姿态特征数据中手部的中心和边界，根据所述边界形成手部ROI的二维手部标准姿态特征数据；

将每一个所述手部ROI的二维手部标准姿态特征数据作为输入，对分类器进行训练，形成针对手部模型的手部姿态分类器；

将每一个所述所述手部ROI二维手部标准姿态特征数据通过所述手部姿态分类器输出对应的所述手部标准姿态数据，并建立所述手部标准姿态数据间的向量标签，并通过所述向量标签建立手部标准姿态数据的所述存储索引。

8.如权利要求1所述的手部姿态识别方法，其特征在于所述手部初步姿态特征数据通过手部姿态分类器形成手部当前姿态数据包括：

根据PCA算法确定所述手部初步姿态特征数据中手部的中心和朝向，设置包括手部点数据的同朝向的固定立方体空间，并向同朝向二维平面投影；

在所述二维平面上根据边界形成手部ROI的二维手部初步姿态特征数据；

将所述手部ROI的二维手部初步姿态特征数据通过所述手部姿态分类器输出对应的所述手部当前姿态数据并形成对应的向量标签。

9.一种手部姿态识别***，包括：

标准深度图像生成装置，用于建立手部模拟姿态，生成与手部模拟姿态对应的标准深度图像；

手部标准姿态特征数据生成装置，用于提取标准深度图像中的深度局部梯度特征数据形成手部标准姿态特征数据；

手部标准姿态数据索引装置，用于通过手部标准姿态特征数据对分类器进行训练形成手部姿态分类器，并通过手部姿态分类器建立手部标准姿态数据和所述手部标准姿态数据的存储索引；

初步深度图像生成装置，用于通过深度传感器获取手部当前姿态的初步深度图像；

手部初步姿态特征数据生成装置，用于提取初步深度图像中的深度局部梯度特征数据形成手部初步姿态特征数据；

手部当前姿态数据生成装置，用于手部初步姿态特征数据通过手部姿态分类器形成手部当前姿态数据；

姿态比对装置，用于通过所述存储索引确定与手部当前姿态数据接近的手部标准姿态数据并对比确定与手部当前姿态对应的手部标准姿态，

其中所述建立手部模拟姿态，生成与手部模拟姿态对应的标准深度图像包括：

建立手部模型；

确定所述手部模型基准点和欧氏距离坐标系；

逐一调整所述手部模型的骨骼关节的运动角度形成手部模拟姿态；

以欧氏距离作为参数对所述手部模拟姿态进行渲染获得每一个所述手部模拟姿态的所述标准深度图像。

10.一种手部姿态识别***，包括处理器，处理器中部署的程序模块包括：

标准深度图像生成装置，用于建立手部模拟姿态，生成与手部模拟姿态对应的标准深度图像；

手部标准姿态特征数据生成装置，用于提取标准深度图像中的深度局部梯度特征数据形成手部标准姿态特征数据；

手部标准姿态数据索引装置，用于通过手部标准姿态特征数据对分类器进行训练形成手部姿态分类器，并通过手部姿态分类器建立手部标准姿态数据和所述手部标准姿态数据的存储索引；

初步深度图像生成装置，用于通过深度传感器获取手部当前姿态的初步深度图像；

手部初步姿态特征数据生成装置，用于提取初步深度图像中的深度局部梯度特征数据形成手部初步姿态特征数据；

手部当前姿态数据生成装置，用于手部初步姿态特征数据通过手部姿态分类器形成手部当前姿态数据；

姿态比对装置，用于通过所述存储索引确定与手部当前姿态数据接近的手部标准姿态数据并对比确定与手部当前姿态对应的手部标准姿态，

其中所述建立手部模拟姿态，生成与手部模拟姿态对应的标准深度图像包括：

建立手部模型；

确定所述手部模型基准点和欧氏距离坐标系；

逐一调整所述手部模型的骨骼关节的运动角度形成手部模拟姿态；

以欧氏距离作为参数对所述手部模拟姿态进行渲染获得每一个所述手部模拟姿态的所述标准深度图像。

Images