CN106445146B - 用于头盔显示器的手势交互方法与装置 - Google Patents

Abstract

一种用于头盔显示器的手势交互方法与装置，在头盔显示器上安装有两个型号相同的摄像头和一个激光发射器，激光发射器安装在头盔显示器的正中位置，摄像头位于激光发射器两边且左右对称，所述激光发射器用于给目标增加激光散射斑点，两个摄像头分别拍摄加了激光散射斑点的用户的手部的左视图和右视图，然后通过图像处理的方式进行手势识别。本发明通过给用户的手部增加激光散射斑点，使得本来纹理稀疏的手部区域变成丰富的纹理区域，并采用简单高效的算法计算手部的平面信息和深度信息，然后利用这些信息进行手势运动交互识别。本发明采用的装置简单，成本较低，算法复杂度小，能够识别27种手势运动类别，拥有很好的实用价值。

Description

用于头盔显示器的手势交互方法与装置

技术领域

本发明涉及增强现实以及计算机视觉处理技术领域，特别涉及一种用于头盔显示器的手势交互方法与装置。

背景技术

增强现实是近年来在虚拟现实的基础上发展起来的一个新兴的研究方向，具有虚实结合、实时交互等特点。头盔显示器作为虚拟现实和增强现实中最常用的显示设备，可单独与主机相连以接受来自主机的3DVR图形信号，将图像源等信号放大后显示在佩戴者的前方。随着头盔显示器在商业、娱乐和可视化等领域中的应用日益广泛，在佩戴头盔显示器时如何有效地实现人机交互成为当前一个热门的研究课题。

手势是人机交互过程中一个非常自然、直观的交互通道，手势能生动、形象、直观地表达人们的意愿，因此基于手势的人机交互***更易被用户接受和使用。

根据手势的采集设备，手势识别***可以分为基于数据手套的手势识别***和基于视觉的手势识别***。基于数据手套的方法是需要用户戴上数据手套，通过这个机械装置将手部的运动信息转化为计算机可理解的控制命令。虽然这类方法准确度较高，但这种方法需要用户佩戴复杂的设备，不适合一个自然的交互***，且数据手套的核心部件相当昂贵。基于视觉的方法是通过摄像头采集人的手势动作，通过视频图像处理和理解技术将其转化为计算机可理解的命令以达到实现人机互动效果。这类方法的优点是输入设备比较便宜，对用户限制少，人手处于自然状态。但是，仅靠视觉分析要完整地识别手势信息相对比较困难，因此这类方法能识别的手势集合较小且正确率不高。

发明内容

针对现有手势识别方法的不足，本发明提出一种用于头盔显示器的手势交互方法与装置。

本发明采用的技术方案是：

一种用于头盔显示器的手势交互装置，包括头盔显示器，在头盔显示器上安装有两个型号相同的摄像头和一个激光发射器，激光发射器安装在头盔显示器的正中位置，摄像头位于激光发射器两边且左右对称，所述激光发射器用于给目标增加激光散射斑点，两个摄像头分别拍摄加了激光散射斑点的目标的左视图和右视图，所述目标为待拍摄用户的手部。

一种用于头盔显示器的手势交互方法，其特征在于：包括以下步骤：

S1、训练一个人手检测器。

通过上述提供的用于头盔显示器的手势交互装置对不同人的左右手部进行拍摄，一共采集500幅手部图像作为正样本，其中包括350幅右手图像，150幅左手图像，且参与采集的人数不少于100人。

然后从网上或其他数据库收集各种不包括手部图像的200幅图像作为负样本。

将采集到的500幅手部图像归一化到大小为256*256的图像，选择经典的方向梯度直方图特征提取方法对正负样本进行特征提取，使用svm进行训练，得到一个人手检测器。

S2、人机交互时，对左视图和右视图分别进行手部检测。

在进行人机交互时，通过左右两个摄像机拍摄的待拍摄者的手部图像分别记为左视图P₁和右视图P₂；然后使用S1中训练好的人手检测器对左视图P₁和右视图P₂进行检测，检测过程采用滑动窗口(窗口大小为256*256)的方式进行，提取待检框中图像的方向梯度直方图特征，通过人手检测器进行分类，得到一个是否为人手的分数，若该得分大于0.7，则以此待检测框为候选框。当存在多个候选框时，选取其中得分最高的候选框中的图像为检测到的目标物结果；如果存在任一视图没有候选目标的情况，那么认为人机交互还没开始。

当人手检测器分别对左视图P₁和右视图P₂给出一个人手检测的窗口时，说明人机交互已经开始，使用左视图中手部检测窗口的中心位置坐标表示手部的位置信息，记为(X,Y)。

左视图P₁和右视图P₂两幅图像都检测到了手部区域，接下来需要计算手部的深度信息；令左视图P₁的人手检测窗外区域的所有像素等于0，记新图像为P₁′；同样对右视图P₂的人手检测窗外区域的所有像素等于0，得到新图像P₂′。

S3、对图像P₁′和P₂′进行特征点匹配。

分别对图像P₁′和P₂′进行fast特征点检测，得到左特征点集合D₁和右特征点集合D₂。

在图像P₁′上，以左特征点集合D₁的一个特征点(记为dot)为中心，半径为3的图像区域作为该特征点对应的图像区域，则该图像区域大小为7*7，用矩阵A表示，其中A(4,4)是矩阵A的中心点也即特征点dot。

任取矩阵A上一点A(x,y)，首先计算其到矩阵A中心点的距离dist＝|x-4|+|y-4|，然后通过中心距离计算该点的权重ω(x,y)：

ω_g(x,y)＝exp{-dist/6}

其中ω_g(x,y)表示归一化前的权重。

通过权重和特征点A(4,4)对矩阵A的每个点进行加权处理，

A′(x,y)＝ω(x,y)×A(x,y)/A(4,4)

然后将结果A′(x,y)的所有点按顺序排成一维向量

vect＝[A′(1,1),A′(1,2),…,A′(7,7)]

通过上述方法，每个特征点可以得到一个长度为49维的向量。

对于图像P₁′和P₂′的左特征点集合D₁和右特征点集合D₂，通过特征向量的最近邻距离比进行匹配，得到所有匹配上的特征点集对也即匹配集合{(d_1i,d_2i)|d_1i∈D₁,d_2i∈D₂}。

S4、计算手部的深度信息。

每个特征点对的深度信息计算方式如下：

其中f表示摄像头的焦距，T表示两个摄像头的距离，表示点d_1i在图像P₁′的横坐标，表示点d_2i在图像P₂′的横坐标。

每个特征点对有一个深度信息，将所有的特征点对的深度信息平均，就可以得到手部的深度信息Z。

S5、使用手部的平面信息和深度信息进行手势交互识别。

在人机交互过程中，待拍摄者的手部不断运动，左右两个摄像头不断的进行拍摄，会持续的得到新的左视图和右视图，按照S2至S4中的方法，每一次拍摄到的左视图和右视图，都能计算出手部的位置信息(X,Y)和深度信息Z，即得到一个三维向量(X,Y,Z)，这样整个人机交互过程，最后得到一组三维向量集合{(X_n,Y_n,Z_n)|n＝1,…,N}。

首先识别手部位置信息的变化，在人机交互过程中，以待拍摄者的手部的初始位置为中心，将左视图拍摄的图像空间划分成9个区域，每个区域的大小为30×30，并分别用O,A1,A2,…,A8表示每个区域的编号；在人机交互过程中，规定手部所处的区域的编号为对应手势的状态，那么手势的运动轨迹可以用状态之间的转移来表示。统计位置坐标{(X_n,Y_n)|n＝1,…,N}的所处的区域，得到一个长度为N的状态字符串，然后只保留其中代表状态转移的部分，则手部在左视图拍摄的图像平面的运动一共有9种情况：平面位置不动、平面左上、平面正上、平面右上、平面左下、平面正下、平面右下、平面正左以及平面正右。

然后对手部的深度信息进行判断，以待拍摄者的手部的初始深度信息Z₁，将深度空间划分成3个部分，第一部分为Z＜Z₁-10；第二部分为|Z-Z₁|＜10；第三部分为Z＞Z₁+10；统计深度信息所处的空间位置，开始时手部处于第二部分，当手部运动进入其他部分时，记录下来，最终手部运动在深度空间有3种情况：

始终处于第二部分，说明手部在深度空间没有运动；

从第二部分进入第一部分，说明手部在深度空间向前运动；

从第二部分进入第三部分，说明手部在深度空间向后运动。

根据上述方法，本发明一个可以识别9×3＝27种手势运动类别，足够满足现有的人机交互***。

本发明在头盔显示器的中间增加一个激光器装置，给用户的手部增加激光散射斑点，使得本来纹理稀疏的手部区域变成丰富的纹理区域，并采用简单高效的算法计算手部的平面信息和深度信息，然后利用这些信息进行手势运动交互识别。本发明采用的装置简单，成本较低，算法复杂度小，能够识别27种手势运动类别，拥有很好的实用价值。

附图说明

图1为用于头盔显示器的手势交互装置的示意图；

图2是本发明用于头盔显示器的手势交互方法的流程图；

图3是状态区域的示意图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步说明。

用户在进行人机交互时，由于手部的纹理很少，使用普通的摄像头拍摄的图像进行手势检测或识别的准确率较低。本发明提供一种用于头盔显示器的手势交互方法与装置。在头盔显示器上安装两个型号完全相同的摄像头和一个激光发射器，激光发射器安装在头盔显示器的正中位置，摄像头位于激光发射器两边且左右完全对称。其中激光发射器的作用是给待拍摄用户的手部增加激光散射斑点，便于后续图像处理。两个摄像头分别拍摄加了激光散射斑点的用户的手部的左视图和右视图，然后通过图像处理的方式进行手势识别。本装置对头盔显示器没有特定要求，现有市面上的头盔显示器都可以使用。该装置如图1所示。

参照图2，一种用于头盔显示器的手势交互方法，包括以下步骤：

1、训练一个人手检测器；

通过本发明提出的装置对不同人的左右手部进行拍摄，一共采集500幅手部图像作为正样本，其中350幅右手图像，150幅左手图像，参与采集的人数不少于100人。然后从网上收集各种不包括手部的200幅图像作为负样本。将采集到的500幅手部图像归一化到大小为256*256的图像，选择经典的方向梯度直方图(HOG)特征提取方法对正负样本进行特征提取，使用svm进行训练，得到一个人手检测器。

2、人机交互时，对左视图和右视图分别进行手部检测；

在进行人机交互时，通过左右两个视角拍摄的图像分别记为左视图P₁和右视图P₂。然后使用训练好的人手检测器对P₁和P₂进行检测，检测过程采用滑动窗口(窗口大小为256*256)的方式进行，提取待检框中图像的HOG特征，通过人手检测器进行分类，得到一个是否为人手的分数，若该得分大于0.7，则以此待检测框为候选框。当存在多个候选框时，选取其中得分最高的候选框中的图像为检测到的目标物结果。如果存在任一视图没有候选目标的情况，那么认为人机交互还没开始。

当人手检测器分别对P₁和P₂给出一个人手检测的窗口时，说明人机交互已经开始。使用左视图中手部检测窗口的中心位置坐标表示手部的位置信息，记为(X,Y)。P₁和P₂两幅图像都检测到了手部区域，接下来需要计算手部的深度信息。手部只处于摄像头拍摄的图像中的一部分区域，为了提高效率，不需要计算其他非手部区域。因此，令图像P₁的人手检测窗外区域的所有像素等于0，记新图像为P₁′。同样对图像P₂的人手检测窗外区域的所有像素等于0，得到新图像P₂′。

由于激光散射斑点给手部图像增加了很多纹理信息，因此接下来本发明采用特征点匹配的方式进行立体匹配。

3、对P₁′和P₂′进行特征点匹配；

分别对P₁′和P₂′进行fast特征点检测，可以得到左特征点集合D₁和右特征点集合D₂。

在图像P₁′上，以左特征点集合D₁的一个特征点(记为dot)为中心，半径为3的图像区域作为该特征点对应的图像区域，则该图像区域大小为7*7，用矩阵A表示。其中A(4,4)是矩阵A的中心点也即特征点dot，靠近中心的点比远离中心的点更重要，因此需要计算每个点的权重。矩阵A大小为7*7，A(4,4)是矩阵的中心点也即特征点dot。

任取矩阵A上一点A(x,y)，首先计算其到中心的距离dist＝|x-4|+|y-4|，然后通过中心距离计算该点的权重ω(x,y)：

ω_g(x,y)＝exp{-dist/6}

其中ω_g(x,y)表示归一化前的权重。

通过权重和特征点A(4,4)对矩阵A的每个点进行加权处理，

A′(x,y)＝ω(x,y)×A(x,y)/A(4,4)

然后将结果A′(x,y)的所有点按顺序排成一维向量

vect＝[A′(1,1),A′(1,2),…,A′(7,7)]

通过这种方法，每个特征点可以得到一个长度为49维的向量。

对于P₁′和P₂′的左特征点集合D₁和右特征点集合D₂，通过特征向量的最近邻距离比进行匹配，得到所有匹配上的特征点集对(也即匹配集合){(d_1i,d_2i)|d_1i∈D₁,d_2i∈D₂}。

4、计算手部的深度信息；

根据立体匹配的基本原理，可以得到每个特征点对的深度信息：

其中f表示摄像头的焦距，T表示两个摄像头的距离，表示点d_1i在图像P₁′的横坐标，表示点d_2i在图像P₂′的横坐标。

每个特征点对有一个深度信息，将所有的特征点对的深度信息平均，就可以得到手部的深度信息Z。

通过上述方法，从人机交互开始，每一对左视图和右视图可以计算出手部的位置信息(X,Y)和深度信息Z，也即一个三维向量(X,Y,Z)。

5、使用手部的平面信息和深度信息进行手势交互识别。

在人机交互过程中，待拍摄者的手部不断运动，左右两个摄像头不断的进行拍摄，会持续的得到新的左视图和右视图。按照上面的方法，每一次拍摄到的左视图和右视图，都会得到一个三维向量。这样整个人机交互过程，最后得到一组三维向量集合{(X_n,Y_n,Z_n)|n＝1,…,N}。

首先识别手部位置信息的变化，在人机交互过程中，以待拍摄者的手部的初始位置为中心，将左视图拍摄的图像空间划分成9个区域，每个区域的大小为30×30。如图3所示，并分别用O,A1,A2,…,A8表示每个区域的编号。在手势交互过程中，规定手部所处的区域的编号为对应手势的状态，例如，手部的初始位置在区域O，则此时手势的状态为O。

那么手势的运动轨迹可以用状态之间的转移来表示。统计位置坐标{(X_n,Y_n)|n＝1,…,N}的所处的区域，得到一个长度为N的状态字符串，然后只保留其中代表状态转移的部分。举例说明，如果一个状态字符串为OO,…,O,A1,A1,…,A1，那么经过简化后为OA1。

则手部在左视图拍摄的图像平面的运动一共有9种情况：

平面位置不动：当位置坐标始终在状态O，则说明手部的平面位置不动。

平面左上：当简化状态字符串为OA1，则说明手部向左上方运动。

同理还有平面正上(OA2)、平面右上(OA3)、平面左下(OA6)、平面正下(OA7)、平面右下(OA8)、平面正左(OA4)、平面正右(OA5)。

然后对手部的深度信息进行判断，手部的初始深度信息Z₁，将深度空间划分成3个部分，第一部分为Z＜Z₁-10；第二部分为|Z-Z₁|＜10；第三部分为Z＞Z₁+10。

统计深度信息所处的空间位置，开始时手部处于第二部分，当手部运动进入其他部分时，记录下来。最终手部运动在深度空间有3种情况：

始终处于第二部分，说明手部在深度空间没有运动。

从第二部分进入第一部分，说明手部在深度空间向前运动。

从第二部分进入第三部分，说明手部在深度空间向后运动。

根据上述方法，本发明一个可以识别9×3＝27种手势运动类别，足够满足现有的人机交互***。

Claims (2)

1.一种用于头盔显示器的手势交互方法，其特征在于：包括以下步骤：

S1、训练一个人手检测器；

首先搭建一种用于头盔显示器的手势交互装置，包括头盔显示器，在头盔显示器上安装有两个型号相同的摄像头和一个激光发射器，激光发射器安装在头盔显示器的正中位置，摄像头位于激光发射器两边且左右对称，所述激光发射器用于给目标增加激光散射斑点，两个摄像头分别拍摄加了激光散射斑点的目标的左视图和右视图，所述目标为待拍摄用户的手部；

通过上述一种用于头盔显示器的手势交互装置对不同人的左右手部进行拍摄，一共采集500幅手部图像作为正样本；

然后从网上或其他数据库收集各种不包括手部图像的200幅图像作为负样本；

将采集到的500幅手部图像归一化到大小为256*256的图像，选择经典的方向梯度直方图特征提取方法对正负样本进行特征提取，使用svm进行训练，得到一个人手检测器；

S2、人机交互时，对左视图和右视图分别进行手部检测；

在进行人机交互时，通过左右两个摄像机拍摄的待拍摄者的手部图像分别记为左视图P₁和右视图P₂；然后使用S1中训练好的人手检测器对左视图P₁和右视图P₂进行检测，检测过程采用滑动窗口的方式进行，提取待检框中图像的方向梯度直方图特征，通过人手检测器进行分类，得到一个是否为人手的分数，若得分大于0.7，则以此待检测框为候选框；当存在多个候选框时，选取其中得分最高的候选框中的图像为检测到的目标物结果；如果存在任一视图没有候选目标的情况，那么认为人机交互还没开始；

当人手检测器分别对左视图P₁和右视图P₂给出一个人手检测的窗口时，说明人机交互已经开始，使用左视图中手部检测窗口的中心位置坐标表示手部的位置信息，记为(X,Y)；

左视图P₁和右视图P₂两幅图像都检测到了手部区域，接下来需要计算手部的深度信息；令左视图P₁的人手检测窗外区域的所有像素等于0，记新图像为P₁′；同样对右视图P₂的人手检测窗外区域的所有像素等于0，得到新图像P₂′；

S3、对图像P₁′和P₂′进行特征点匹配；

分别对图像P₁′和P₂′进行fast特征点检测，得到左特征点集合D₁和右特征点集合D2；

在图像P₁′上，以左特征点集合D₁的一个特征点dot为中心，半径为3的图像区域作为该特征点对应的图像区域，则该图像区域大小为7*7，用矩阵A表示，其中A(4,4)是矩阵A的中心点也即特征点dot；

任取矩阵A上一点A(x,y)，首先计算其到矩阵A中心点的距离dist＝|x-4|+|y-4|，然后通过中心距离计算该点的权重ω(x,y)：

ω_g(x,y)＝exp{-dist/6}

其中ω_g(x,y)表示归一化前的权重；

通过权重和特征点A(4,4)对矩阵A的每个点进行加权处理，

A′(x,y)＝ω(x,y)×A(x,y)/A(4,4)

然后将结果A′(x,y)的所有点按顺序排成一维向量

vect＝[A′(1,1),A′(1,2),…,A′(7,7)]

通过上述方法，每个特征点可以得到一个长度为49维的向量；

对于图像P₁′和P₂′的左特征点集合D₁和右特征点集合D₂，通过特征向量的最近邻距离比进行匹配，得到所有匹配上的特征点集对也即匹配集合{(d_1i,d_2i)|d_1i∈D₁,d_2i∈D₂}；

S4、计算手部的深度信息；

每个特征点对的深度信息计算方式如下：

其中f表示摄像头的焦距，T表示两个摄像头的距离，表示点d_1i在图像P₁′的横坐标，表示点d_2i在图像P₂′的横坐标；

每个特征点对有一个深度信息，将所有的特征点对的深度信息平均，就可以得到手部的深度信息Z；

S5、使用手部的平面信息和深度信息进行手势交互识别；

在人机交互过程中，待拍摄者的手部不断运动，左右两个摄像头不断的进行拍摄，会持续的得到新的左视图和右视图，按照S2至S4中的方法，每一次拍摄到的左视图和右视图，都能计算出手部的位置信息(X,Y)和深度信息Z，即得到一个三维向量(X,Y,Z)，这样整个人机交互过程，最后得到一组三维向量集合{(X_n,Y_n,Z_n)|n＝1,…,N}；

首先识别手部位置信息的变化，在人机交互过程中，以待拍摄者的手部的初始位置为中心，将左视图拍摄的图像空间划分成9个区域，每个区域的大小为30×30，并分别用O,A1,A2,…,A8表示每个区域的编号；在人机交互过程中，规定手部所处的区域的编号为对应手势的状态，那么手势的运动轨迹用状态之间的转移来表示；统计位置坐标{(X_n,Y_n)|n＝1,…,N}的所处的区域，得到一个长度为N的状态字符串，然后只保留其中代表状态转移的部分，则手部在左视图拍摄的图像平面的运动一共有9种情况：平面位置不动、平面左上、平面正上、平面右上、平面左下、平面正下、平面右下、平面正左以及平面正右；

然后对手部的深度信息进行判断，以待拍摄者的手部的初始深度信息Z₁，将深度空间划分成3个部分，第一部分为Z＜Z₁-10；第二部分为|Z-Z₁|＜10；第三部分为Z＞Z₁+10；统计深度信息所处的空间位置，开始时手部处于第二部分，当手部运动进入其他部分时，记录下来，最终手部运动在深度空间有3种情况：

始终处于第二部分，说明手部在深度空间没有运动；

从第二部分进入第一部分，说明手部在深度空间向前运动；

从第二部分进入第三部分，说明手部在深度空间向后运动。

2.根据权利要求1所述的用于头盔显示器的手势交互方法，其特征在于：步骤S1中采集的500幅手部图像中包括350幅右手图像，150幅左手图像，且参与采集的人数不少于100人。