CN103390168A - 基于Kinect深度信息的智能轮椅动态手势识别方法 - Google Patents

Abstract

基于Kinect深度信息的智能轮椅动态手势识别方法，涉及智能轮椅领域，它采用基于Kinect深度图像信息动态手势识别的方法，具有较强的扩展性，且能解决复杂背景、大面积的肤色干扰等对手势检测造成影响的问题，能够准确有效的分割出手部。后续采用了融合Camshift和Kalman滤波的方法快速有效的跟踪手势，采用了融合的特征提取方法，提高了动态手势识别的准备率，用于基于动态手势识别的智能轮椅控制***中，可以达到快速、准确的识别动态手势命令，同时能够安全、稳定地控制智能轮椅，实现人与智能轮椅之间自然、直观的人机交互方式。

Description

基于Kinect深度信息的智能轮椅动态手势识别方法

技术领域

本发明涉及智能轮椅领域，特别是一种识别智能轮椅动态手势的方法。

背景技术

人类自然地与自然界沟通的认知习惯和形式是人机交互的发展方向。因此，研究者们也正在努力让未来的终端能听、能看、能说、能感觉。简单来说，人机交互就是人类与计算机交流互动。从键盘到鼠标控制，再从语音到触摸，再到多点触控，随着人机交互模式使用人群的扩大，并且不断向非专业人群渗透，人机交互方式也越来越回归“自然”。在科技技术的变革中，人机交互技术也有了质的进展，近年来人们对人机交互方式的需求也更加拟人化、自然化。根据人们的需求，研究者在人机交互领域做了更多的研究，因此，设计出来一种广泛的能够被大众接受的人机交互方式，会更好的提高人与机器之间的密切交流，同时也能够提高交互效率。

手势在人们日常交流中就常常使用，手势控制方式的人机交互更容易被大众接受和使用，因此手势控制使用广泛，也在人机交互领域的占了重要地位。手势交互是我们日常生活中广泛使用的人机交互技术，广泛应用于手语识别、电器控制、虚拟现实、机器人控制、智能家居等。

手势是指人手或手臂有目的或有意义的运动，人们可以通过手势用以表达思想或进行交流、传达命令等。手势在人们日常生活中得到最广泛使用的一种交流方式，同时手势识别的研究也受到了越来越广泛的关注。然而，人的手的变化是多种多样的，不同人甚至同一个人的手势在速度、时间、形状等都不尽相同，因此手势具有多样性、多义性，让计算机充分解释不同人的手势，这将是研究中需要解决的一个重要问题。在基于视觉的手势识别研究中，由于视觉研究技术本身的存在不确定性，这些不定因素都使手势识别成为一个融合了多学科的研究课题。

手势识别的分类可以从多个角度来分类，就从手势识别的对象而言，手势识别根据手部的不同特征可以分为动态手势识别和静态手势识别。静态手势可以看作是手形的变化，利用不同的手形表达不同的含义，对应于空间中的一个点，不包含手势运动的轨迹。动态手势是由一系列姿态组成，包含手形变化，对应于空间中的一条轨迹，动态手势就通过不同的空间轨迹来表达不同含义。静态手势识别根据其特性，不涉及图像的时空序列的研究，主要以手的姿势和形状作为识别对象，因此在应用上具有局限性，只能用于相对简单的场合。动态手势识别包含空间序列，是由一系列的手势动作组成，包含手形变化和手势轨迹变化，研究内容几乎涵盖了静态手势识别需要研究的所有领域。动态手势识别结合静态手势识别的结果并加以扩张实现更丰富的语义，因此动态手势识别技术在人机交互发展中非常有意义，研究动态手势识别基本上就是研究手语识别。

智能轮椅作为一种代步工具，主要是为老年人和残障人士提供服务。它融合了自主导航、避障和人机交互等技术。传统意义上的智能轮椅是通过手动操纵杆来完成对运动的控制，对于患有上肢无力或手容易颤抖的用户来说，操纵硬件来控制轮椅显得比较困难，而且该方式也不够自然自观，人机交互的速度也比较慢。不能满足人们对友好、方便、直观的人机交互方式的迫切需要。

发明内容

本发明的目的就是提供一种基于Kinect深度信息的智能轮椅动态手势识别方法，它可以识别人体的动态手势，从而操控智能轮椅。

本发明的目的是通过这样的技术方案实现的，具体步骤如下：

1）Kinect摄像头获取人手的手势视频信号；

2）提取步骤1）得到的手势视频信号，采用灰度直方图进行手势分割，定位手部位置；

3）采用动态手势跟踪算法获取手势轨迹；

4）根据步骤3）中得到的手势轨迹，采用轨迹提取方法，提取手势轨迹方向角作为局部特征，并提取三维质心距函数作为全局特征；

5）以步骤4）中得到的局部特征和全局特征作为输入，运用HMM模型进行动态手势的识别。

进一步，步骤2）中采用灰度直方图进行手势分割，定位手部位置的具体方法为：通过灰度直方图中灰度值由大到小变化，寻找像数点剧变较大的灰度值处作为手势区域分割的阈值。

进一步，步骤3）中所述动态手势跟踪算法为融合Camshift算法与Kalman滤波的动态手势跟踪算法，具体方法为：

3-1）计算当前帧图像搜索窗口的质心位置

设(x,y)为搜索窗中的像素位置，I(x,y)为投影图中(x,y)处的像素值，搜索窗口的零阶矩和一阶矩分别为：

$\begin{array}{c}{M}_{00}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}I(x,y)\\ M_{10}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{xI}(x,y)\\ M_{01}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{yI}(x,y)\end{array}$

其中，M₀₀为零阶矩，M₁₀，M₀₁分别为x和y的一阶矩，可以求得搜索窗口的质心位置为：

$\begin{array}{cc}{x}_c=\frac{M_{10}}{M_{00}}& y_c=\frac{M_{01}}{M_{00}}\end{array}$

3-2）重新设置搜索窗的大小s：

$s=2\sqrt{M_{00}/256}$

3-3）将搜索窗口的中心移动到质心，并判断移动距离是否大于预设固定阀值；

若移动距离大于预设固定阀值，则返回步骤3-1）；

若移动距离小于预设阀值，则进入下一帧图像目标搜索，并转入步骤3-1），直到所有帧图像完成目标搜索，获得手心位置；

在新的帧图像中，利用上一帧图像中最终得到的窗口质心位置和零阶矩来设置新的搜索窗口位置和尺寸。

进一步，步骤4）中轨迹提取的具体方法为：

4-1）根据手心位置计算手势运动轨迹

4-2）提取手势轨迹方向角作为局部特征；

设t和t-1时刻的手心坐标为

根据下式就可以计算出手势轨迹的方向角根据所得方向角度，对其进行12方向链码离散化

4-3）根据下式提取三维质心距函数作为全局特征；

$C\left[t\right]=\sqrt{{\left[x\right[t]-x_c]}^2+{\left[y\right[t]-y_c]}^2},t=\mathrm{0,1},...,N-1$

其中： $x_c=\frac{1}{N}\underset{t=0}{\overset{N-1}{\mathrm{\Σ}}}y\left[t\right],y_c=\frac{1}{N}\underset{t=0}{\overset{N-1}{\mathrm{\Σ}}}y\left[t\right]$

x_c,y_c表示N个节点的加权质心。

进一步，步骤5）中所述HMM模型采用Baum-Welch算法作为训练方法，具体方法为：保存前一次得出的输出概率结果P(O|λ)，再计算出本次迭代的输出概率结果比较两次的结果，如果有

产生，则得到训练模型；

具体步骤如下：

5-1-1）对HMM模型的参数λ={π,A,B}初始化；

5-1-2）输入样本特征序列；

5-1-3）利用Baum-Welch算法进行参数重估，得到新模型，并代替原有的模型；

5-1-4）若满足收敛条件，即两次比较结果的差值小于预设值，则转入步骤5-5），若不满足收敛条件，则返回步骤5-3）；

5-1-5）判断样本是否输入完毕，输入完毕则结束，反之，则返回步骤5-1），并将新的模型作为下一个样本的HMM模型初始化。

进一步，步骤5-1-3）中所述Baum-Welch算法为前后向递推算法，具体计算方法为：

前向递推算法：定义变量a_t(i)=P(o₁,o₂...o_T,q_t=i|λ)为前向变量。a_t(i)表示在给定模型λ的情况下，设在t时刻下的状态i，到t时刻为止的部分观察序列为o₁,o₂...o_T的概率，具体步骤为：

S1-1初始化

a_t(i)=π_ib_i(o₁)

b_i(o₁)表示状态i所产生观测序列o₁的概率值，π_i表示在状态i下的初始值；

S1-2递推

$a_{t+1}\left(j\right)=\left[\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{a}_t\left(i\right)a_{\mathrm{ij}}\right]b_j\left(o_{t+1}\right),t=1~T-1,j=1~N$

S1-3终止在t=T时刻

$P\left(O\right|\mathrm{\λ})=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{a}_T\left(j\right)$

后向递推算法：定义后向变量为β_t(i)=P(o_t+1,o_t+2...o_T,q_t=i|λ)，β_t(i)表示在给定模型λ的情况下，设在t时刻下的状态i，到t时刻为止的部分观察序列为o_t+1,o_t+2...o_T的概率，具体步骤为：

S2-1初始化

β_T(i)=1,i=1～N

S2-2递推

${\mathrm{\β}}_t\left(i\right)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{a}_{\mathrm{ij}}{b}_j\left(o_{t+1}\right){\mathrm{\β}}_{t+1}\left(i\right),i=1~N,t=T-1,T-2,...,1$

S2-3终止在t=T时刻

$P\left(O\right|\mathrm{\λ})=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\β}}_T\left(i\right)$

前向递推法结合后向递推法就是前后递推法，假设前半部分时间为0～t，后半部分为t～T，那么此时：

$P\left(O\right|\mathrm{\λ})=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{a}_t\left(i\right){\mathrm{\β}}_t\left(i\right).$

进一步，步骤5）中所述动态手势的识别的具体方法如下：

5-2-1）首先提取手势轨迹特征，转换成观测向量值；

5-2-2）采用前向后向算法或者Viterbi算法，计算出此动态手势轨迹的观察值向量序列与手势模型库中各个动态手势轨迹的HMM模型的概率P(O|λ)；

5-2-3）比较得到概率值最大手势模型，则这个分类为待识别动态手势轨迹的手势模型。

由于采用了上述技术方案，本发明具有如下的优点：

本发明通过Kinect摄像头实时采集图像，根据深度信息采用灰度直方图实现手势分割，之后运用融合Camshift与Kalman滤波的动态手势跟踪获取动态手势轨迹，使用HMM模型训练和识别动态手势。本发明采用基于Kinect深度图像信息动态手势识别的方法，具有较强的扩展性，且能解决复杂背景、大面积的肤色干扰等对手势检测造成影响的问题，能够准确有效的分割出手部。后续采用了融合Camshift和Kalman滤波的方法快速有效的跟踪手势，采用了融合的特征提取方法，提高了动态手势识别的准备率，用于基于动态手势识别的智能轮椅控制***中，可以达到快速、准确的识别动态手势命令，同时能够安全、稳定地控制智能轮椅，实现人与智能轮椅之间自然、直观的人机交互方式。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书和权利要求书来实现和获得。

附图说明

本发明的附图说明如下。

图1为基于Kinect深度信息动态手势识别流程图；

图2为融合Camshift算法和Kalman滤波的动态手势跟踪流程图；

图3为融合局部和全局特征的手势轨迹特征提取流程图；

图4为基于HMM模型的动态手势轨迹训练流程图；

图5为基于HMM模型的动态手势轨迹识别流程图；

图6为基于动态手势识别的智能轮椅控制控制流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

手势是非刚体性运动，手势的含义也多种多样，在时间和空间上也很多差异，表现方式也多样化，这样使动态手势识别任务更加艰巨。当手部运动时，人的习惯不同，做的动作时间也不同，因此做出的手势差别很大，即使是一个做重复性的动作也不尽相同。动态手势在空间和时间上都不尽相同，都存在着可变性。对于实际应用中不同的实验环境，智能轮椅运动环境不断变化，背景、光照、类肤色物体、遮挡等都使手势识别研究停留在理论研究或者简单背景下的应用。因此需要新的手势分割方法，以及有效的特征提取方法来提高动态手势识别的准确率。本发明采用动态手势识别方法可以解决肤色干扰、遮挡及背景变化的等因素造成的误检测，实现实时动态手势跟踪及识别的效果。

如图1所示，为本发明提出的动态手势识别***框图，Kinect摄像头获取包含人手的视频信号，利用深度信息，采用灰度直方图的方法对其进行手势分割，检测到手部以后采用了融合Camshift算法和Kalman滤波的动态手势跟踪算法获取手势轨迹。由于手势轨迹具有空间多变性，且具有三维信息，因此采用了全局和局部特征轨迹提取方法，提取轨迹特征，运用HMM模型进行动态手势的训练和识别。

如图2所示，为本发明中融合Camshift算法与Kalman滤波的手势跟踪流程图。图2中虚线标示的部分是CamShift算法的核心，以及在此基础上增加了Kalman滤波。Camshift算法的原理是设(x,y)为搜索窗中的像素位置，I(x,y)是投影图中(x,y)处的像素值。搜索窗口的零阶矩和一阶矩分别如下：

$M_{00}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}I(x,y)---\left(1\right)$

$M_{10}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{xI}(x,y)---\left(2\right)$

$M_{01}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{yI}(x,y)---\left(3\right)$

可以求得搜索窗口内的质心位置为：

$\begin{array}{cc}{x}_c=\frac{M_{10}}{M_{00}}& y_c=\frac{M_{01}}{M_{00}}---\left(4\right)\end{array}$

重新设置搜索窗的大小s：

$s=2\sqrt{M_{00}/256}---\left(5\right)$

将搜索窗口的中心移动到质心，如果移动距离大于预设的固定阀值，则重新计算调整后的窗口质心，进行新一轮的窗口位置和尺寸调整。直到窗口中心与质心间的移动距离小于预设的固定阀值，或者循环运算的次数达到某一最大值，认为收敛条件满足，进入下一帧图像进行新的目标搜索。在新的图像中，利用上一帧图像中最终得到的窗口质心位置和零阶矩来设置新的搜索窗口的位置和尺寸。在Camshift算法基础上利用Kalman滤波对搜索窗口进行运动预测。该算法快速准确可靠，并且较好地处理了跟踪过程中大面积肤色干扰问题，对复杂场景的检测与跟踪也取得了较好的效果。

如图3所示，为本发明中的手势轨迹特征提取示意图。从全局和局部角度来提取手势轨迹特征，同时也包含了手势轨迹的三维信息，对提取的两种特征进行提取特征向量，并且进行量化作为识别算法的输入。选择方向角作为居部手势轨迹特征，在基于HMM动态手势轨迹识别中被认为是很重要的特征。

获取手心位置后即可得到手势运动轨迹，设t和t-1时刻的手心坐标为

式（6）就可以计算出手势轨迹的方向角

根据所得方向角度，对其进行12方向链码离散化。

通常情况下人们的大脑都是从整体感知物体，当需要判断手势轨迹时，仍习惯上从整体轨迹的形状来判断手势轨迹代表的意义。并且手心轨迹大多数是三维空间内的，因此本发明采用了质心距离函数Centroid Distance Function，简称CDF作为全局特征，并且在此基础上对CDF算法做了改进。

手势轨迹特征可以映射为基于CDF观测不变量来表示，广泛应用于图像检索领域的方法。CDF是从全局的观测手势轨迹的形状，比绝对坐标更能代表手势轨迹。本质上，CDF表示的是轨迹点上每一个点到中心点的距离，取最接近整数的值作为HMM的观测向量。通过前几章所述的方法检测到手心位置，记录手心轨迹。CDF可以用公式表示为：

$C\left[t\right]=\sqrt{{\left[x\right[t]-x_c]}^2+{\left[y\right[t]-y_c]}^2},t=\mathrm{0,1},...,N-1---\left(7\right)$

其中： $x_c=\frac{1}{N}\underset{t=0}{\overset{N-1}{\mathrm{\Σ}}}y\left[t\right],y_c=\frac{1}{N}\underset{t=0}{\overset{N-1}{\mathrm{\Σ}}}y\left[t\right]$

目前，CDF提取的特征是在二维空间，实际上手势轨迹运动大部分是在三维空间。不同的轨迹经过投影可能具有相同的二维轨迹，相同的手势在同一个平面通过不同的角度投影得到不同的手势，传统的解决办法是增加轨迹分类，但是同时也增加了计算量，降低了识别速度。因此，本发明对CDF进行了改进，增加第三维信息，利用改进的CDF提取三维特征，使三维轨迹特征具有视角不变性，可用公式表示如下：

$C\left[t\right]=\sqrt{{\left[x\right[t]-x_c]}^2+{\left[y\right[t]-y_c]}^2+{\left[z\right[t]-z_c]}^2}---\left(8\right)$

t=0,1,...,N-1

其中： $x_c=\frac{1}{N}\underset{t=0}{\overset{N-1}{\mathrm{\Σ}}}y\left[t\right],y_c=\frac{1}{N}\underset{t=0}{\overset{N-1}{\mathrm{\Σ}}}y\left[t\right],z_c=\frac{1}{N}\underset{t=0}{\overset{N-1}{\mathrm{\Σ}}}z\left[t\right]$

实验表明本发明提出的动态手势轨迹特征提取方法具有旋转、平移、缩放三重不变性。

如图4所示，是基于HMM模型进行动态手势训练的示意图。训练就是动态手势的建模过程，即利用参数重估算法不断调整模型的参数，不断优化模型。在初始化模型参数后，采用Baum-Welch算法作为手势轨迹模型训练的算法。训练的原理就是根据Baum-Welch算法反复迭代特性，保存前一次得出的输出概率结果P(O|λ)，再计算出本次迭代的输出概率结果

比较两次的结果，如果有

产生，则得到训练模型。操作的具体步骤如下：

①按照上述矩阵形式对HMM的参数λ={π,A,B}初始化。

②输入样本特征序列。

③利用Baum-Welch算法进行参数重估，得到新模型，并代替原有的模型。

④如果满足收敛条件，进行下一步，否则重复估计步聚（3）～（4）。

⑤判断样本是否输入完毕，输入完毕执行下一步，否则进行的将新模型作为下一个样本的HMM模型的初始化，并且重复步聚（2）～（5）。

⑥训练结束。

图5所示的是动态手势识别的流程图。动态手势识别的过程就是将待动态识别的手势与己经建立好的动态手势HMM模型库进行匹配，通过计算从而搜索到最佳匹配的过程。动态手势轨迹识别是在训练好HMM模型后进行，主要利用前后向算法和Viterbi算法，通过与训练好的模型库匹配来计算相似度。识别的流程如下：

①首先提取手势轨迹特征，转换成观测向量值；

②然后采用前向后向算法或者Viterbi算法，计算出此动态手势轨迹的观察值向量序列与手势模型库中各个动态手势轨迹的HMM模型的概率P(O|λ)；

③比较得到概率值最大手势模型，则这个分类为待识别动态手势轨迹的手势模型。因Viterbi算法更具有实际应用性，因此本文采用Viterbi算法来进行动态手势轨迹识别。

基于动态手势识别的智能轮椅控制***框架如图6所示。首先由Kinect摄像头提取深度信息，通过分类识别算法得到动态手势识别的指令，通过Ad Hoc网络，采用无线网卡与智能轮椅和电脑之间进行无线通信，根据定义好的手势命令可以得到相应的控制命令。通过socket通信，上位机将控制命令发送给ARM控制器。智能轮椅的驱动由ARM9上位机、底层驱动模块和传感器模块完成。上位机***通过RS232串行总线与基于DSP的驱动模块和传感器模块通信，从而实现运动控制。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.基于Kinect深度信息的智能轮椅动态手势识别方法，其特征在于，具体步骤如下：

1）Kinect摄像头获取人手的手势视频信号；

2）提取步骤1）得到的手势视频信号，采用灰度直方图进行手势分割，定位手部位置；

3）采用动态手势跟踪算法获取手势轨迹；

4）根据步骤3）中得到的手势轨迹，采用轨迹提取方法，提取手势轨迹方向角作为局部特征，并提取三维质心距函数作为全局特征；

5）以步骤4）中得到的局部特征和全局特征作为输入，运用HMM模型进行动态手势的识别。

2.如权利要求1所述的基于Kinect深度信息的智能轮椅动态手势识别方法，其特征在于，步骤2）中采用灰度直方图进行手势分割，定位手部位置的具体方法为：通过灰度直方图中灰度值由大到小变化，寻找像数点剧变较大的灰度值处作为手势区域分割的阈值。

3.如权利要求1所述的基于Kinect深度信息的智能轮椅动态手势识别方法，其特征在于，步骤3）中所述动态手势跟踪算法为融合Camshift算法与Kalman滤波的动态手势跟踪算法，具体方法为：

3-1）计算当前帧图像搜索窗口的质心位置

设(x,y)为搜索窗中的像素位置，I(x,y)为投影图中(x,y)处的像素值，搜索窗口的零阶矩和一阶矩分别为：

$M_{00}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}I(x,y)$

$M_{10}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{xI}(x,y)$

$M_{01}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{yI}(x,y)$

其中，M₀₀为零阶矩，M₁₀，M₀₁分别为x和y的一阶矩，可以求得搜索窗口的质心位置为：

$x_c=\frac{M_{10}}{M_{00}},y_c=\frac{M_{01}}{M_{00}}$

3-2）重新设置搜索窗的大小s：

$s=2\sqrt{M_{00}/256}$

3-3）将搜索窗口的中心移动到质心，并判断移动距离是否大于预设固定阀值；

若移动距离大于预设固定阀值，则返回步骤3-1）；

若移动距离小于预设阀值，则进入下一帧图像目标搜索，并转入步骤3-1），直到所有帧图像完成目标搜索，获得手心位置；

在新的帧图像中，利用上一帧图像中最终得到的窗口质心位置和零阶矩来设置新的搜索窗口位置和尺寸。

4.如权利要求3所述的基于Kinect深度信息的智能轮椅动态手势识别方法，其特征在于，步骤4）中轨迹提取的具体方法为：

4-1）根据手心位置计算手势运动轨迹

4-2）提取手势轨迹方向角作为局部特征；

设t和t-1时刻的手心坐标为

根据下式就可以计算出手势轨迹的方向角

根据所得方向角度，对其进行12方向链码离散化

4-3）根据下式提取三维质心距函数作为全局特征；

$C\left[t\right]=\sqrt{\left[x\right[t]-x_c{]}^2+[y\left[t\right]-y_c{]}^2},t=\mathrm{0,1},...,N-1$

其中： $x_c=\frac{1}{N}\underset{t=0}{\overset{N-1}{\mathrm{\Σ}}}y\left[t\right],y_c=\frac{1}{N}\underset{t=0}{\overset{N-1}{\mathrm{\Σ}}}y\left[t\right]$

x_c,y_c表示N个节点的加权质心。

5.如权利要求1所述的基于Kinect深度信息的智能轮椅动态手势识别方法，其特征在于，步骤5）中所述HMM模型采用Baum-Welch算法作为训练方法，具体方法为：保存前一次得出的输出概率结果P(O|λ)，再计算出本次迭代的输出概率结果

比较两次的结果，如果有

产生，则得到训练模型；

具体步骤如下：

5-1-1）对HMM模型的参数λ={π,A,B}初始化；

5-1-2）输入样本特征序列；

5-1-3）利用Baum-Welch算法进行参数重估，得到新模型，并代替原有的模型；

5-1-4）若满足收敛条件，即两次比较结果的差值小于预设值，则转入步骤5-5），若不满足收敛条件，则返回步骤5-3）；

5-1-5）判断样本是否输入完毕，输入完毕则结束，反之，则返回步骤5-1），并将新的模型作为下一个样本的HMM模型初始化。

6.如权利要求5所述的基于Kinect深度信息的智能轮椅动态手势识别方法，其特征在于，步骤5-1-3）中所述Baum-Welch算法为前后向递推算法，具体计算方法为：

前向递推算法：定义变量a_t(i)=P(o₁,o₂...o_T,q_t=i|λ)为前向变量。a_t(i)表示在给定模型λ的情况下，设在t时刻下的状态i，到t时刻为止的部分观察序列为o₁,o₂...o_T的概率，具体步骤为：

S1-1初始化

a_t(i)=π_ib_i(o₁)

b_i(o₁)表示状态i所产生观测序列o₁的概率值，π_i表示在状态i下的初始值；

S1-2递推

$a_{t+1}\left(j\right)\left[\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{a}_i\left(t\right)a_{\mathrm{ij}}\right]b_j\left(o_{t+1}\right),t=1~T-1,j=1~N$

S1-3终止在t=T时刻

$P\left(O\right|\mathrm{\λ})=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{a}_T\left(j\right)$

后向递推算法：定义后向变量为β_t(i)=P(o_t+1,o_t+2...o_T,q_t=i|λ)，β_t(i)表示在给定模型λ的情况下，设在t时刻下的状态i，到t时刻为止的部分观察序列为o_t+1,o_t+2...o_T的概率，具体步骤为：

S2-1初始化

β_T(i)=1,i=1～N

S2-2递推

${\mathrm{\β}}_t\left(i\right)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{a}_{\mathrm{ij}}{b}_j\left(o_{t+1}\right){\mathrm{\β}}_{t+1}\left(i\right),i=1~N,t=T-1,T-2,...,1$

S2-3终止在t=T时刻

$P\left(O\right|\mathrm{\λ})=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\β}}_T\left(i\right)$

前向递推法结合后向递推法就是前后递推法，假设前半部分时间为0～t，后半部分为t～T，那么此时：

$P\left(O\right|\mathrm{\λ})=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{a}_t\left(i\right){\mathrm{\β}}_t\left(i\right).$

7.如权利要求5所述的基于Kinect深度信息的智能轮椅动态手势识别方法，其特征在于，步骤5）中所述动态手势的识别的具体方法如下：

5-2-1）首先提取手势轨迹特征，转换成观测向量值；

5-2-2）采用前向后向算法或者Viterbi算法，计算出此动态手势轨迹的观察值向量序列与手势模型库中各个动态手势轨迹的HMM模型的概率P(O|λ)；

5-2-3）比较得到概率值最大手势模型，则这个分类为待识别动态手势轨迹的手势模型。

Images