CN107463873B - 一种基于rgbd深度传感器的实时手势分析与评价方法与*** - Google Patents

Abstract

本发明公开了一种基于RGBD深度传感器的实时手势分析与评价的方法与***，包括火车驾驶员手掌的静态手势识别与评价***和火车驾驶员手臂的动态手势识别与评价***，火车驾驶员手掌的静态手势识别与评价***包括确定手掌掌心位置模块、提取手掌区域图像模块、去噪模块、手势识别及评价模块；火车驾驶员手臂的动态手势识别与评价***包括手臂骨骼节点运动序列提取模块、动态手势最优匹配模块、手臂动态手势评价模块。本发明对于环境背景、光照具有很强的鲁棒性，而且在手掌手势检测时采用基于掌心节点的手势像素搜索，提高了手掌手势的检测效果；实时监督驾驶员手势以确保火车行驶安全，还可以避免人为的对火车驾驶员手势监控，减轻人力资源消耗。

Description

一种基于RGBD深度传感器的实时手势分析与评价方法与***

技术领域

本发明属于图像处理技术领域，具体涉及一种基于RGBD深度传感器的实时手势分析与评价方法与***。

背景技术

手势识别技术作为未来人机交互***的关键技术之一不仅具有重要的研究价值，而且具有广泛的应用前景。目前，传统的手势识别方法通常是对输入的二维图像进行手势检测并加以识别，然而这类方法对于输入的图像比较敏感，当背景简单、环境光照影响较小时手势检测与识别效果较好，然而当背景复杂、光照变化较大时手势检测与识别效果急剧下降，应用范围受到限制。近几年，为了克服传统手势识别方法的缺陷，三维图像传感设备越来越受到人们的青睐，这类设备不仅可以获取到RGB图像，而且还可以获取到图像的深度数据，从而可以避免复杂的环境背景、光照变化等对手势识别的影响。

目前，手势在交通领域应用广泛，例如火车驾驶员在火车行驶前、行驶中、车内仪器检测情况等需要用手势演示出来，以确保火车的安全行驶，防止事故的发生，交警则通过一系列的手势来保障道路交通安全畅通等。然而，由于火车驾驶员、交警等人员工作环境较为复杂，光线变化极大，传统方法无法对驾驶员手势有效地进行识别与评价，而且驾驶员标准手势众多，不仅包含手臂上的动态手势，还包括手掌区域的手势，进一步加大了手势识别的难度。传统的手势识别方法主要包括两个步骤，首先在二维图像上检测出手掌与手臂，其次是对检测出来的手势进行识别。一般说来，手势检测的好坏直接影响着手势识别的效果，通常背景环境和光照会对手势检测有影响，而且，在二维图像上检测出手掌与手臂也是一大难点，传统做法是训练大量手势样本获得分类器，然而，人手是复杂的变形体，手势具有多样性、多义性、时间上的差异等特点，很难训练得到理想的手势分类器，从而传统手势识别方法无法应用于驾驶员等手势识别当中。

发明内容

本发明的目的是提供一种基于RGBD深度传感器的实时手势分析与评价***，解决了在复杂背景和光照条件下检测手掌与手臂的问题，并且能够对火车驾驶员、交警等工作人员的各种手势进行分析并评价，具有广阔的应用前景。

本发明所采用的技术方案是，

一种基于RGBD深度传感器的实时手掌手势分析与评价方法，包括以下步骤：

步骤1，利用RGBD传感器在一段时间内获取T帧初始图像，所述T帧初始图像中的每一帧初始图像均包括手掌节点、手腕节点和手肘节点，确定T帧初始图像的手掌节点坐标；

包括：

步骤11，从T帧初始图像中任选一帧初始图像作为当前帧初始图像,通过初始手掌 节点得到当前帧初始图像中手掌节点P的坐标

其中，M表示区域圆内白色像素点的个数，M为大于等于1的自然数，x_i表示第i个像素点的横坐标，y_i表示第i个像素点的纵坐标，z_i表示第i个像素点到RGBD传感器之间的距离；

所述区域圆为以初始手掌节点P₁为圆心，以初始手掌节点到手腕节点之间的距离为半径的圆；

所述手掌节点坐标P是在以RGBD传感器中心为原点，以水平方向为X轴，竖直方向为Y轴，传感器指向驾驶员方向为Z轴的坐标系下；

步骤12，重复步骤11，直至T帧初始图像中的每一帧初始图像都被作为当前帧初始图像，得到T帧初始图像的手掌节点坐标；

步骤2，根据T帧初始图像的手掌节点坐标，提取T帧初始图像的手掌区域图像，包括：

步骤21，从T帧初始图像中任选一帧初始图像作为当前初始图像，提取该当前初始图像的方法包括：

以当前初始图像的手掌节点为中心，在宽度为W，高度为H的矩形区域内进行手掌像素点搜索，将满足式(2)的手掌像素点放入手掌像素点集合S_k中，即得到当前手掌区域图像；

式(2)中，k＝1,2,...,W×H，k表示搜寻的次数，d_p表示当当前初始图像的手掌节点到RGBD传感器之间的距离，g_i表示第i个像素点，d_i表示矩形区域内第i个像素点到RGBD传感器之间的距离，abs(d_p-d_i,j)表示当前初始图像的手掌节点与矩形区域内第i个像素点到RGBD传感器之间的距离之差的绝对值，threshold表示阈值，25≤threshold≤35，S_k表示第k次搜索到的手势像素点集合，S_k-1表示第k-1次搜索到的手势像素点集合；

其中(x_w,y_w)和(x_e,y_e)分别表示当前初始图像的手掌节点中手腕节点以及手肘节点的坐标；

步骤22，重复步骤22，直至提取到T帧初始图像的手掌区域图像；

步骤3，对T帧初始图像的手掌区域图像中的每一帧手掌区域图像进行膨胀和腐蚀操作，得到T帧去噪后的手掌区域图像；

步骤4，通过神经网络识别T帧去噪后的手掌区域图像中的手掌区域的手势，并通过式(1)得到识别出的手掌区域的手势的分数P_palm：

式(1)中，

为将T帧去噪后的手掌区域图像输入到神经网络中后神经网络第t帧的输出结果，T为去噪后的手掌区域图像的总帧数，round(·)表示取整数。

一种基于RGBD深度传感器的实时手臂手势分析与评价方法，包括以下步骤：

步骤1，利用RGBD传感器在一段时间内获取T帧初始图像，从T帧初始图像中任选一帧初始图像作为第t帧初始图像,提取第t帧初始图像的手臂骨骼节点运动序列；

包括：

所述第t帧初始图像包括初始手掌节点P₁ ^t、手腕节点P₂ ^t、手肘节点P₃ ^t、肩节点P₄ ^t和肩中心节点P_s ^t，通过式(3)得到节点P_n ^t到肩中心节点P_s ^t的距离D_sn ^t：

式(3)中，n＝1,2,3,4，t＝1,2,...,T，D_sn ^t表示第t帧初始图像中节点P_n ^t到肩中心节点P_s ^t的距离，T为初始图像的总帧数，x_n ^t，y_n ^t，z_n ^t分别表示第t帧初始图像中手掌节点、手腕节点、手肘节点、肩节点的坐标值；x_s ^t，y_s ^t，z_s ^t表示第t帧初始图像中肩中心节点的坐标；

即可得到初始图像中手臂骨骼节点的运动序列D_sn＝(D_sn ¹,D_sn ²,...,D_sn ^t,...,D_sn ^T)，所述手臂骨骼节点包括手掌节点、手腕节点、手肘节点、肩节点；

步骤2，在驾驶员标准动态手势样本的运动序列库中找到与初始图像中手臂骨骼节点的运动序列之间的对应点距离之和最小的驾驶员标准动态手势样本的运动序列；

步骤3，通过式(4)得到手臂动态手势的得分P_arm：

式(4)中，α为标准手势序列样本之间的DTW距离平均值，

D_a，D_b表示驾驶员标准动态手势样本的运动序列库中的任一运动序列，a＝1,2,...,N，b＝1,2,...,N，a≠b，N为驾驶员标准动态手势样本的运动序列库中运动序列的总数。

一种基于RGBD深度传感器的实时手势分析与评价方法，包括权利要求1所述实时手掌手势分析与评价方法和权利要求2所述的实时手臂手势分析与评价方法。

一种基于RGBD深度传感器的实时手掌手势分析与评价***，包括：

确定手掌掌心位置模块，用于利用RGBD传感器在一段时间内获取T帧初始图像，所述T帧初始图像中的每一帧初始图像均包括手掌节点、手腕节点和手肘节点，确定T帧初始图像的手掌节点坐标；

包括：

步骤11，从T帧初始图像中任选一帧初始图像作为当前帧初始图像,通过初始手掌 节点得到当前帧初始图像中手掌节点P的坐标

其中，M表示区域圆内白色像素点的个数，M为大于等于1的自然数，x_i表示第i个像素点的横坐标，y_i表示第i个像素点的纵坐标，z_i表示第i个像素点到RGBD传感器之间的距离；

所述区域圆为以初始手掌节点P₁为圆心，以初始手掌节点到手腕节点之间的距离为半径的圆；

所述手掌节点坐标P是在以RGBD传感器中心为原点，以水平方向为X轴，竖直方向为Y轴，传感器指向驾驶员方向为Z轴的坐标系下；

步骤12，重复步骤11，直至T帧初始图像中的每一帧初始图像都被作为当前帧初始图像，得到T帧初始图像的手掌节点坐标；

提取手掌区域图像模块，用于根据T帧初始图像的手掌节点坐标，提取T帧初始图像的手掌区域图像：

包括：

步骤21，从T帧初始图像中任选一帧初始图像作为当前初始图像，提取该当前初始图像的方法包括：

以当前初始图像的手掌节点为中心，在宽度为W，高度为H的矩形区域内进行手掌像素点搜索，将满足式(2)的手掌像素点放入手掌像素点集合S_k中，即得到当前手掌区域图像；

式(2)中，k＝1,2,...,W×H，k表示搜寻的次数，d_p表示当当前初始图像的手掌节点到RGBD传感器之间的距离，g_i表示第i个像素点，d_i表示矩形区域内第i个像素点到RGBD传感器之间的距离，abs(d_p-d_i,j)表示当前初始图像的手掌节点与矩形区域内第i个像素点到RGBD传感器之间的距离之差的绝对值，threshold表示阈值，25≤threshold≤35，S_k表示第k次搜索到的手势像素点集合，S_k-1表示第k-1次搜索到的手势像素点集合；

其中(x_w,y_w)和(x_e,y_e)分别表示当前初始图像的手掌节点中手腕节点以及手肘节点的坐标；

步骤22，重复步骤22，直至提取到T帧初始图像的手掌区域图像；

去噪模块：用于对T帧初始图像的手掌区域图像中的每一帧手掌区域图像进行膨胀和腐蚀操作，得到T帧去噪后的手掌区域图像；

手势识别及评价模块：用于通过神经网络识别T帧去噪后的手掌区域图像中的手掌区域的手势，并通过式(1)得到识别出的手掌区域的手势的分数P_palm：

式(1)中，

为将T帧去噪后的手掌区域图像输入到神经网络中后神经网络第t帧的输出结果，T为去噪后的手掌区域图像的总帧数，round(·)表示取整数。

一种基于RGBD深度传感器的实时手臂手势分析与评价***，包括：

手臂骨骼节点运动序列提取模块，利用RGBD传感器在一段时间内获取T帧初始图像，从T帧初始图像中任选一帧初始图像作为第t帧初始图像,提取第t帧初始图像的手臂骨骼节点运动序列；

包括：

所述第t帧初始图像包括初始手掌节点P₁ ^t、手腕节点P₂ ^t、手肘节点P₃ ^t、肩节点P₄ ^t和肩中心节点P_s ^t，通过式(3)得到节点P_n ^t到肩中心节点P_s ^t的距离D_sn ^t：

式(3)中，n＝1,2,3,4，t＝1,2,...,T，D_sn ^t表示第t帧初始图像中节点P_n ^t到肩中心节点P_s ^t的距离，T为初始图像的总帧数，x_n ^t，y_n ^t，z_n ^t分别表示第t帧初始图像中手掌节点、手腕节点、手肘节点、肩节点的坐标值；x_s ^t，y_s ^t，z_s ^t表示第t帧初始图像中肩中心节点的坐标；

即可得到初始图像中手臂骨骼节点的运动序列D_sn＝(D_sn ¹,D_sn ²,...,D_sn ^t,...,D_sn ^T)，所述手臂骨骼节点包括手掌节点、手腕节点、手肘节点、肩节点；

动态手势最优匹配模块，用于在驾驶员标准动态手势样本的运动序列库中找到与初始图像中手臂骨骼节点的运动序列之间的对应点距离之和最小的驾驶员标准动态手势样本的运动序列；

手臂动态手势评价模块，用于通过式(4)得到手臂动态手势的得分P_arm：

式(4)中，α为标准手势序列样本之间的DTW距离平均值，

D_a，D_b表示驾驶员标准动态手势样本的运动序列库中的任一运动序列，a＝1,2,...,N，b＝1,2,...,N，a≠b，N为驾驶员标准动态手势样本的运动序列库中运动序列的总数。

一种基于RGBD深度传感器的实时手势分析与评价***，包括权利要求4所述实时手掌手势分析与评价***和权利要求5所述的实时手臂手势分析与评价***。

本发明的有益效果是

本发明采用RGBD深度传感器来获取二维图像的深度数据，通过相应算法能够很好的提取到手掌、手臂等关键数据，相比传统方法，本发明对于环境背景、光照具有很强的鲁棒性，而且在手掌手势检测时采用基于掌心节点的手势像素搜索，进一步提高了手掌手势的检测效果。其次，本发明能够同时识别驾驶员手掌手势与手臂动态手势，而且能够依据识别算法的输出结果对驾驶员手势进行规范性评价并给出手掌手势和手臂动态手势的得分，不仅可以实时监督驾驶员手势以确保火车行驶安全，还可以避免人为的对火车驾驶员手势监控，减轻人力资源消耗。

附图说明

图1是火车驾驶员手掌区域手势识别与评价流程图；

图2是火车驾驶员手掌与手臂各节点示意图；

图3是火车驾驶员手臂动态手势识别与评价流程图；

图4是本发明应用场景图。

具体实施方式

火车驾驶员手势通常包含手掌区域的手势以及手臂部分动态手势，下面分别对手掌区域手势和手臂动态手势识别过程分别进行详细介绍。

实施例1

一种基于RGBD深度传感器的实时手掌手势分析与评价方法，其特征在于，包括以下步骤：

步骤1，利用RGBD传感器在一段时间内获取T帧初始图像，所述T帧初始图像中的每一帧初始图像均包括手掌节点、手腕节点和手肘节点，确定T帧初始图像的手掌节点坐标；

包括：

步骤11，从T帧初始图像中任选一帧初始图像作为当前帧初始图像,通过初始手掌 节点得到当前帧初始图像中手掌节点P的坐标

其中，M表示区域圆内白色像素点的个数，M为大于等于1的自然数，x_i表示第i个像素点的横坐标，y_i表示第i个像素点的纵坐标，z_i表示第i个像素点到RGBD传感器之间的距离；

如图2，所述区域圆为以初始手掌节点P₁为圆心，以初始手掌节点到手腕节点之间的距离为半径的圆；

如图4，所述手掌节点坐标P是在以RGBD传感器中心为原点，以水平方向为X轴，竖直方向为Y轴，传感器指向驾驶员方向为Z轴的坐标系下；

由于RGBD传感器跟踪人体骨骼节点时容易发生节点漂移现象，导致手掌与传感器之间的距离存在偏差，为了减小偏差，需对初始手掌节点进行校正来得到手掌节点P的准确坐标：

步骤12，重复步骤11，直至T帧初始图像中的每一帧初始图像都被作为当前帧初始图像，得到T帧初始图像的手掌节点坐标；

步骤2，根据T帧初始图像的手掌节点坐标，提取T帧初始图像的手掌区域图像，包括：

步骤21，从T帧初始图像中任选一帧初始图像作为当前初始图像，提取该当前初始图像的方法包括：

以当前初始图像的手掌节点为中心，在宽度为W，高度为H的矩形区域内进行手掌像素点搜索，将满足式(2)的手掌像素点放入手掌像素点集合S_k中，即得到当前手掌区域图像；

式(2)中，k＝1,2,...,W×H，k表示搜寻的次数，d_p表示当当前初始图像的手掌节点到RGBD传感器之间的距离，g_i表示第i个像素点，d_i表示矩形区域内第i个像素点到RGBD传感器之间的距离，abs(d_p-d_i,j)表示当前初始图像的手掌节点与矩形区域内第i个像素点到RGBD传感器之间的距离之差的绝对值，threshold表示阈值，25≤threshold≤35，S_k表示第k次搜索到的手势像素点集合，S_k-1表示第k-1次搜索到的手势像素点集合；

由于矩形搜索区域的W和H不能设置的过小，防止手势区域大小的变化导致手势检测的不完全，矩形搜寻区域的高、宽为：

其中(x_w,y_w)和(x_e,y_e)分别表示当前初始图像的手掌节点中手腕节点以及手肘节点的坐标；

步骤22，重复步骤22，直至提取到T帧初始图像的手掌区域图像；

步骤3，对T帧初始图像的手掌区域图像中的每一帧手掌区域图像进行膨胀和腐蚀操作，得到T帧去噪后的手掌区域图像；

手掌区域图像通常包含一些噪声，这些噪声包括手势边缘的一些毛刺和图像内部的一些孔洞等，为了得到更加精确的手势图像，需要进行膨胀与腐蚀操作，膨胀可以去除二值手势图像边缘的一些毛刺以及分散的噪声点等，而腐蚀则可以填平图像内部的一些孔洞。

步骤4，通过神经网络识别T帧去噪后的手掌区域图像中的手掌区域的手势，并通过式(1)得到识别出的手掌区域的手势的分数P_palm：

式(1)中，为将T帧去噪后的手掌区域图像输入到神经网络中后神经网络第t帧的输出结果，T为去噪后的手掌区域图像的总帧数，round(·)表示取整数。

实施例2

一种基于RGBD深度传感器的实时手臂手势分析与评价方法，如图3，包括以下步骤：

步骤1，利用RGBD传感器在一段时间内获取T帧初始图像，从T帧初始图像中任选一帧初始图像作为第t帧初始图像,提取第t帧初始图像的手臂骨骼节点运动序列；

包括：

所述第t帧初始图像包括初始手掌节点P₁ ^t、手腕节点P₂ ^t、手肘节点P₃ ^t、肩节点P₄ ^t和肩中心节点P_s ^t，通过式(3)得到节点P_n ^t到肩中心节点P_s ^t的距离D_sn ^t：

式(3)中，n＝1,2,3,4，t＝1,2,...,T，D_sn ^t表示第t帧初始图像中节点P_n ^t到肩中心节点P_s ^t的距离，T为初始图像的总帧数，x_n ^t，y_n ^t，z_n ^t分别表示第t帧初始图像中手掌节点、手腕节点、手肘节点、肩节点的坐标值；x_s ^t，y_s ^t，z_s ^t表示第t帧初始图像中肩中心节点的坐标；

即可得到初始图像中手臂骨骼节点的运动序列D_sn＝(D_sn ¹,D_sn ²,...,D_sn ^t,...,D_sn ^T)，所述手臂骨骼节点包括手掌节点、手腕节点、手肘节点、肩节点；

步骤2，在驾驶员标准动态手势样本的运动序列库中找到与初始图像中手臂骨骼节点的运动序列之间的对应点距离之和最小的驾驶员标准动态手势样本的运动序列；

本实施例采用DTW算法来解决两条运动序列长度不同的问题，设驾驶员标准动态手势样本的运动序列D_a＝(D_a ¹,D_a ²,...,D_a ^T′)，初始图像中手臂骨骼节点的运动序列D_sn＝(D_sn ¹,D_sn ²,...,D_sn ^T),设两条序列之间的点对关系为φ(k)＝(φ_s(k),φ_a(k))，其中1≤φ_s(k)≤T，1≤φ_a(k)≤T′，max(T,T′)≤k≤T+T′，DTW算法目的是找出两条序列之间的最佳点对关系φ(k)，使得对应点之间距离之和DTW(D_a,D_sn)最小:

步骤3，通过式(4)得到手臂动态手势的得分P_arm：

式(4)中，α为标准手势序列样本之间的DTW距离平均值，

D_a，D_b表示驾驶员标准动态手势样本的运动序列库中的任一运动序列，a＝1,2,...,N，b＝1,2,...,N，a≠b，N为驾驶员标准动态手势样本的运动序列库中运动序列的总数。

实施例3

本实施例在实施例1、2的基础上，提供了一种基于RGBD深度传感器的实时手势分析与评价方法，包括实施例1所提供的实时手掌手势分析与评价方法和实施例2所提供的实时手臂手势分析与评价方法。该实施例能够同时识别驾驶员手掌手势与手臂动态手势，而且能够依据识别算法的输出结果对驾驶员手势进行规范性评价并给出手掌手势和手臂动态手势的得分，不仅可以实时监督驾驶员手势以确保火车行驶安全，还可以避免人为的对火车驾驶员手势监控，减轻人力资源消耗。

实施例4

本实施例提供了火车驾驶员手掌的静态手势识别与评价***，如图1所示，包括：

确定手掌掌心位置模块，用于利用RGBD传感器在一段时间内获取T帧初始图像，所述T帧初始图像中的每一帧初始图像均包括手掌节点、手腕节点和手肘节点，确定T帧初始图像的手掌节点坐标；

包括：

步骤11，从T帧初始图像中任选一帧初始图像作为当前帧初始图像,通过初始手掌 节点得到当前帧初始图像中手掌节点P的坐标

其中，M表示区域圆内白色像素点的个数，M为大于等于1的自然数，x_i表示第i个像素点的横坐标，y_i表示第i个像素点的纵坐标，z_i表示第i个像素点到RGBD传感器之间的距离；

如图2，所述区域圆为以初始手掌节点P₁为圆心，以初始手掌节点到手腕节点之间的距离为半径的圆；

如图4，所述手掌节点坐标P是在以RGBD传感器中心为原点，以水平方向为X轴，竖直方向为Y轴，传感器指向驾驶员方向为Z轴的坐标系下；

由于RGBD传感器跟踪人体骨骼节点时容易发生节点漂移现象，导致手掌与传感器之间的距离存在偏差，为了减小偏差，需对初始手掌节点进行校正来得到手掌节点P的准确坐标：

提取手掌区域图像模块，提取手掌区域图像模块，用于根据T帧初始图像的手掌节点坐标，提取T帧初始图像的手掌区域图像：

包括：

步骤21，从T帧初始图像中任选一帧初始图像作为当前初始图像，提取该当前初始图像的方法包括：

以当前初始图像的手掌节点为中心，在宽度为W，高度为H的矩形区域内进行手掌像素点搜索，将满足式(2)的手掌像素点放入手掌像素点集合S_k中，即得到当前手掌区域图像；

式(2)中，k＝1,2,...,W×H，k表示搜寻的次数，d_p表示当当前初始图像的手掌节点到RGBD传感器之间的距离，g_i表示第i个像素点，d_i表示矩形区域内第i个像素点到RGBD传感器之间的距离，abs(d_p-d_i,j)表示当前初始图像的手掌节点与矩形区域内第i个像素点到RGBD传感器之间的距离之差的绝对值，threshold表示阈值，25≤threshold≤35，S_k表示第k次搜索到的手势像素点集合，S_k-1表示第k-1次搜索到的手势像素点集合；

由于矩形搜索区域的W和H不能设置的过小，防止手势区域大小的变化导致手势检测的不完全，矩形搜寻区域的高、宽为：其中(x_w,y_w)和(x_e,y_e)分别表示当前初始图像的手掌节点中手腕节点以及手肘节点的坐标；

步骤22，重复步骤22，直至提取到T帧初始图像的手掌区域图像；

去噪模块：用于对T帧初始图像的手掌区域图像中的每一帧手掌区域图像进行膨胀和腐蚀操作，得到T帧去噪后的手掌区域图像；

手掌区域图像通常包含一些噪声，这些噪声包括手势边缘的一些毛刺和图像内部的一些孔洞等，为了得到更加精确的手势图像，需要进行膨胀与腐蚀操作，膨胀可以去除二值手势图像边缘的一些毛刺以及分散的噪声点等，而腐蚀则可以填平图像内部的一些孔洞。

手势识别及评价模块：用于通过神经网络识别T帧去噪后的手掌区域图像中的手掌区域的手势，并通过式(1)得到识别出的手掌区域的手势的分数P_palm：

式(1)中，

为将T帧去噪后的手掌区域图像输入到神经网络中后神经网络第t帧的输出结果，T为去噪后的手掌区域图像的总帧数，round(·)表示取整数。

实施例5

本实施例提供了火车驾驶员手臂的动态手势识别与评价***，如图3，包括：

手臂骨骼节点运动序列提取模块，利用RGBD传感器在一段时间内获取T帧初始图像，从T帧初始图像中任选一帧初始图像作为第t帧初始图像,提取第t帧初始图像的手臂骨骼节点运动序列；

包括：

所述第t帧初始图像包括初始手掌节点P₁ ^t、手腕节点P₂ ^t、手肘节点P₃ ^t、肩节点P₄ ^t和肩中心节点P_s ^t，通过式(3)得到节点P_n ^t到肩中心节点P_s ^t的距离D_sn ^t：

式(3)中，n＝1,2,3,4，t＝1,2,...,T，D_sn ^t表示第t帧初始图像中节点P_n ^t到肩中心节点P_s ^t的距离，T为初始图像的总帧数，x_n ^t，y_n ^t，z_n ^t分别表示第t帧初始图像中手掌节点、手腕节点、手肘节点、肩节点的坐标值；x_s ^t，y_s ^t，z_s ^t表示第t帧初始图像中肩中心节点的坐标；

即可得到初始图像中手臂骨骼节点的运动序列D_sn＝(D_sn ¹,D_sn ²,...,D_sn ^t,...,D_sn ^T)，所述手臂骨骼节点包括手掌节点、手腕节点、手肘节点、肩节点；

动态手势最优匹配模块，用于在驾驶员标准动态手势样本的运动序列库中找到与初始图像中手臂骨骼节点的运动序列之间的对应点距离之和最小的驾驶员标准动态手势样本的运动序列；

本实施例采用DTW算法来解决两条运动序列长度不同的问题，设驾驶员标准动态手势样本的运动序列D_a＝(D_a ¹,D_a ²,...,D_a ^T′)，初始图像中手臂骨骼节点的运动序列D_sn＝(D_sn ¹,D_sn ²,...,D_sn ^T),设两条序列之间的点对关系为φ(k)＝(φ_s(k),φ_a(k))，其中1≤φ_s(k)≤T，1≤φ_a(k)≤T′，max(T,T′)≤k≤T+T′，DTW算法目的是找出两条序列之间的最佳点对关系φ(k)，使得对应点之间距离之和DTW(D_a,D_sn)最小:

手臂动态手势评价模块，用于通过式(4)得到手臂动态手势的得分P_arm：

式(4)中，α为标准手势序列样本之间的DTW距离平均值，

D_a，D_b表示驾驶员标准动态手势样本的运动序列库中的任一运动序列，a＝1,2,...,N，b＝1,2,...,N，a≠b，N为驾驶员标准动态手势样本的运动序列库中运动序列的总数；D_sn＝(D_sn ¹,D_sn ²,...,D_sn ^t,...,D_sn ^T)，D_sn为初始图像中手臂骨骼节点的运动序列。

实施例6

本实施例在实施例4、5的基础上，提供了一种基于RGBD深度传感器的实时手势分析与评价***，包括实施例4所提供的实时手掌手势分析与评价***和实施例5所提供的实时手臂手势分析与评价***。该实施例能够同时识别驾驶员手掌手势与手臂动态手势，而且能够依据识别算法的输出结果对驾驶员手势进行规范性评价并给出手掌手势和手臂动态手势的得分，不仅可以实时监督驾驶员手势以确保火车行驶安全，还可以避免人为的对火车驾驶员手势监控，减轻人力资源消耗。

Claims (4)

1.一种基于RGBD深度传感器的实时手掌手势分析与评价方法，其特征在于，包括以下步骤：

步骤1，利用RGBD传感器在一段时间内获取T帧初始图像，所述T帧初始图像中的每一帧初始图像均包括手掌节点、手腕节点和手肘节点，确定T帧初始图像的手掌节点坐标；

包括：

步骤11，从T帧初始图像中任选一帧初始图像作为当前帧初始图像,通过初始手掌节点得到当前帧初始图像中手掌节点P的坐标

其中，M表示区域圆内白色像素点的个数，M为大于等于1的自然数，x_i表示第i个像素点的横坐标，y_i表示第i个像素点的纵坐标，z_i表示第i个像素点到RGBD传感器之间的距离；

所述区域圆为以初始手掌节点P₁为圆心，以初始手掌节点到手腕节点之间的距离为半径的圆；

所述手掌节点坐标P是在以RGBD传感器中心为原点，以水平方向为X轴，竖直方向为Y轴，传感器指向驾驶员方向为Z轴的坐标系下；

步骤12，重复步骤11，直至T帧初始图像中的每一帧初始图像都被作为当前帧初始图像，得到T帧初始图像的手掌节点坐标；

步骤2，根据T帧初始图像的手掌节点坐标，提取T帧初始图像的手掌区域图像，包括：

步骤21，从T帧初始图像中任选一帧初始图像作为当前初始图像，提取该当前初始图像的方法包括：

以当前初始图像的手掌节点为中心，在宽度为W，高度为H的矩形区域内进行手掌像素点搜索，将满足式(2)的手掌像素点放入手掌像素点集合S_k中，即得到当前手掌区域图像；

式(2)中，k＝1,2,...,W×H，k表示搜寻的次数，d_p表示当当前初始图像的手掌节点到RGBD传感器之间的距离，g_i表示第i个像素点，d_i表示矩形区域内第i个像素点到RGBD传感器之间的距离，abs(d_p-d_i)表示当前初始图像的手掌节点与矩形区域内第i个像素点到RGBD传感器之间的距离之差的绝对值，threshold表示阈值，25≤threshold≤35，S_k表示第k次搜索到的手势像素点集合，S_k-1表示第k-1次搜索到的手势像素点集合；

其中(x_w,y_w)和(x_e,y_e)分别表示当前初始图像的手掌节点中手腕节点以及手肘节点的坐标；

步骤22，重复步骤22，直至提取到T帧初始图像的手掌区域图像；

步骤3，对T帧初始图像的手掌区域图像中的每一帧手掌区域图像进行膨胀和腐蚀操作，得到T帧去噪后的手掌区域图像；

步骤4，通过神经网络识别T帧去噪后的手掌区域图像中的手掌区域的手势，并通过式(1)得到识别出的手掌区域的手势的分数P_palm：

式(1)中，

为将T帧去噪后的手掌区域图像输入到神经网络中后神经网络第t帧的输出结果，T为去噪后的手掌区域图像的总帧数，round(·)表示取整数。

2.一种基于RGBD深度传感器的实时手势分析与评价方法，其特征在于，包括权利要求1所述实时手掌手势分析与评价方法和实时手臂手势分析与评价方法；

所述的实时手臂手势分析与评价方法包括以下步骤：

步骤1，利用RGBD传感器在一段时间内获取T帧初始图像，从T帧初始图像中任选一帧初始图像作为第t帧初始图像,提取第t帧初始图像的手臂骨骼节点运动序列；

包括：

所述第t帧初始图像包括初始手掌节点P₁ ^t、手腕节点P₂ ^t、手肘节点P₃ ^t、肩节点P₄ ^t和肩中心节点P_s ^t，通过式(3)得到节点P_n ^t到肩中心节点P_s ^t的距离D_sn ^t：

式(3)中，n＝1,2,3,4，t＝1,2,...,T，D_sn ^t表示第t帧初始图像中节点P_n ^t到肩中心节点P_s ^t的距离，T为初始图像的总帧数，x_n ^t，y_n ^t，z_n ^t分别表示第t帧初始图像中手掌节点、手腕节点、手肘节点、肩节点的坐标值；x_s ^t，y_s ^t，z_s ^t表示第t帧初始图像中肩中心节点的坐标；

即可得到初始图像中手臂骨骼节点的运动序列D_sn＝(D_sn ¹,D_sn ²,...,D_sn ^t,...,D_sn ^T)，所述手臂骨骼节点包括手掌节点、手腕节点、手肘节点、肩节点；

步骤2，在驾驶员标准动态手势样本的运动序列库中找到与初始图像中手臂骨骼节点的运动序列之间的对应点距离之和最小的驾驶员标准动态手势样本的运动序列；

步骤3，通过式(4)得到手臂动态手势的得分P_arm：

式(4)中，α为标准手势序列样本之间的DTW距离平均值，

D_a，D_b表示驾驶员标准动态手势样本的运动序列库中的任一运动序列，a＝1,2,...,N，b＝1,2,...,N，a≠b，N为驾驶员标准动态手势样本的运动序列库中运动序列的总数。

3.一种基于RGBD深度传感器的实时手掌手势分析与评价***，其特征在于，包括：

确定手掌掌心位置模块，用于利用RGBD传感器在一段时间内获取T帧初始图像，所述T帧初始图像中的每一帧初始图像均包括手掌节点、手腕节点和手肘节点，确定T帧初始图像的手掌节点坐标；

包括：

步骤11，从T帧初始图像中任选一帧初始图像作为当前帧初始图像,通过初始手掌节点得到当前帧初始图像中手掌节点P的坐标

其中，M表示区域圆内白色像素点的个数，M为大于等于1的自然数，x_i表示第i个像素点的横坐标，y_i表示第i个像素点的纵坐标，z_i表示第i个像素点到RGBD传感器之间的距离；

所述区域圆为以初始手掌节点P₁为圆心，以初始手掌节点到手腕节点之间的距离为半径的圆；

所述手掌节点坐标P是在以RGBD传感器中心为原点，以水平方向为X轴，竖直方向为Y轴，传感器指向驾驶员方向为Z轴的坐标系下；

步骤12，重复步骤11，直至T帧初始图像中的每一帧初始图像都被作为当前帧初始图像，得到T帧初始图像的手掌节点坐标；

提取手掌区域图像模块，用于根据T帧初始图像的手掌节点坐标，提取T帧初始图像的手掌区域图像：

包括：

步骤21，从T帧初始图像中任选一帧初始图像作为当前初始图像，提取该当前初始图像的方法包括：

以当前初始图像的手掌节点为中心，在宽度为W，高度为H的矩形区域内进行手掌像素点搜索，将满足式(2)的手掌像素点放入手掌像素点集合S_k中，即得到当前手掌区域图像；

式(2)中，k＝1,2,...,W×H，k表示搜寻的次数，d_p表示当当前初始图像的手掌节点到RGBD传感器之间的距离，g_i表示第i个像素点，d_i表示矩形区域内第i个像素点到RGBD传感器之间的距离，abs(d_p-d_i)表示当前初始图像的手掌节点与矩形区域内第i个像素点到RGBD传感器之间的距离之差的绝对值，threshold表示阈值，25≤threshold≤35，S_k表示第k次搜索到的手势像素点集合，S_k-1表示第k-1次搜索到的手势像素点集合；

其中(x_w,y_w)和(x_e,y_e)分别表示当前初始图像的手掌节点中手腕节点以及手肘节点的坐标；

步骤22，重复步骤22，直至提取到T帧初始图像的手掌区域图像；

去噪模块：用于对T帧初始图像的手掌区域图像中的每一帧手掌区域图像进行膨胀和腐蚀操作，得到T帧去噪后的手掌区域图像；

手势识别及评价模块：用于通过神经网络识别T帧去噪后的手掌区域图像中的手掌区域的手势，并通过式(1)得到识别出的手掌区域的手势的分数P_palm：

式(1)中，

为将T帧去噪后的手掌区域图像输入到神经网络中后神经网络第t帧的输出结果，T为去噪后的手掌区域图像的总帧数，round(·)表示取整数。

4.一种基于RGBD深度传感器的实时手势分析与评价***，其特征在于，包括权利要求3所述实时手掌手势分析与评价***和实时手臂手势分析与评价***；

所述的实时手臂手势分析与评价***包括：

手臂骨骼节点运动序列提取模块，利用RGBD传感器在一段时间内获取T帧初始图像，从T帧初始图像中任选一帧初始图像作为第t帧初始图像,提取第t帧初始图像的手臂骨骼节点运动序列；

包括：

所述第t帧初始图像包括初始手掌节点P₁ ^t、手腕节点P₂ ^t、手肘节点P₃ ^t、肩节点P₄ ^t和肩中心节点P_s ^t，通过式(3)得到节点P_n ^t到肩中心节点P_s ^t的距离D_sn ^t：

式(3)中，n＝1,2,3,4，t＝1,2,...,T，D_sn ^t表示第t帧初始图像中节点P_n ^t到肩中心节点P_s ^t的距离，T为初始图像的总帧数，x_n ^t，y_n ^t，z_n ^t分别表示第t帧初始图像中手掌节点、手腕节点、手肘节点、肩节点的坐标值；x_s ^t，y_s ^t，z_s ^t表示第t帧初始图像中肩中心节点的坐标；

即可得到初始图像中手臂骨骼节点的运动序列D_sn＝(D_sn ¹,D_sn ²,...,D_sn ^t,...,D_sn ^T)，所述手臂骨骼节点包括手掌节点、手腕节点、手肘节点、肩节点；

动态手势最优匹配模块，用于在驾驶员标准动态手势样本的运动序列库中找到与初始图像中手臂骨骼节点的运动序列之间的对应点距离之和最小的驾驶员标准动态手势样本的运动序列；

手臂动态手势评价模块，用于通过式(4)得到手臂动态手势的得分P_arm：

式(4)中，α为标准手势序列样本之间的DTW距离平均值，

D_a，D_b表示驾驶员标准动态手势样本的运动序列库中的任一运动序列，a＝1,2,...,N，b＝1,2,...,N，a≠b，N为驾驶员标准动态手势样本的运动序列库中运动序列的总数。

Images