CN103713738B - 一种基于视觉跟踪和手势识别的人机交互方法 - Google Patents

Abstract

本发明公开了一种基于视觉跟踪和手势识别的人机交互方法,本发明包括一个可变焦的高清红外摄像头以及多个高清红外摄像头。本发明装置安装在屏幕的边框或边框上方。其中可变焦的高清红外摄像头采集视觉的信息，再通过视觉观察屏幕的位置和拍摄的图像进行标定，最后通过本发明装置的专用处理器实现瞳孔的识别，从而实现本发明方法的第一步视觉跟踪。本发明的第二步在视觉跟踪之后，多个高清红外摄像头在视觉观察屏幕的区域实现手势的识别，即完成人机交互。再通过摄像头对屏幕进行标定，对手势进行三维成像，并判断手势触摸点的位置和动作。本发明实现了具有视觉跟踪的手势识别人机交互***，提供了智能的非接触式的人机交互方式。

Description

一种基于视觉跟踪和手势识别的人机交互方法

技术领域

本发明属于计算机人工智能技术领域，更具体地，涉及一种基于视觉跟踪和手势识别的人机交互方法。

背景技术

技术的进步使人与计算机之间的交互越来越接近自然方式的交互，也就是人们大力倡导的“自然交互”。触摸技术这种轻松的人机交互方式已经被推向了众多的领域，除了应用在个人便携式数码产品之外，它还被广泛地应用在信息家电、公共信息、电子游戏、办公室自动化设备以及工业设备等领域。利用触摸技术，用户只需要用手势轻轻触碰屏幕上的文字或图标就能够实现与计算机的交互，使得人与机器之间的交互更加直观便捷。

而现有的触摸技术必须通过人手接触屏幕从而完成人机交互的过程。这种接触式的触摸技术当人远离屏幕时无法实现与屏幕的自然交互，必须通过遥控器等装置控制屏幕，不能提供良好的人机交互体验，因此上述触摸技术在人工智能应用中存在局限性。视觉跟踪技术利用视觉的变化代替人手在触摸屏上的运动，使人远离屏幕时仍可以定位屏幕上的任意区域。通过眼睛的运动使用触摸屏，减少了许多步骤，加速以人为中心的智能化人机交互的发展与实现。目前这种技术还仅限于眼动仪，人脸识别等方面的应用，还未应用在触摸技术领域。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于视觉跟踪和手势识别的人机交互方法，其目的在于，能够在任意具有屏幕特性的屏幕例如电脑液晶屏、普通液晶屏、投影仪屏幕、大型显示器上实现视觉跟踪，并实现非接触式控制屏幕的人机交互方式。

为实现上述目的，按照本发明的一个方面，提供了一种基于视觉跟踪和手势识别的人机交互方法，包括以下步骤：

(1)将红外光源、用于进行视觉跟踪的可变焦高清红外摄像头、以及多个用于进行手势识别的高清红外摄像头安装在屏幕边框处；

(2)可变焦高清红外摄像头采集人脸图像，并对采集的人脸图像进行人脸轮廓提取；

(3)计算步骤(2)获得的人脸轮廓中左、右瞳孔中心的像素坐标(u_eL,v_eL)和(u_eR,v_eR)；

(4)根据人脸轮廓中左右瞳孔中心的像素坐标以及屏幕四个角的坐标计算左右瞳孔的投影矩阵Mel和Mer；

(5)通过步骤(4)得到的左右瞳孔的投影矩阵Mel和Mer以及左右瞳孔的中心像素坐标值计算左、右瞳孔在屏幕上的物理坐标值，该物理坐标值所对应的区域为用户执行手势操作的区域：

$\left[\begin{array}{c}{u}_{eL}\\ v_{eL}\\ 1\end{array}\right]=Mel\left[\begin{array}{c}Xel\\ Yel\\ 1\end{array}\right]$

$\left[\begin{array}{c}{u}_{eR}\\ v_{eR}\\ 1\end{array}\right]=Mer\left[\begin{array}{c}Xer\\ Yer\\ 1\end{array}\right]$

其中(Xer，Yer)表示右瞳孔在屏幕上的物理坐标值，(Xel，Yel)表示左瞳孔在屏幕上的物理坐标值；

(6)根据双目视觉的原理对放置有高清红外摄像头的屏幕进行参数标定，以分别获得左、右高清红外摄像头的投影矩阵Ml和Mr；

(7)高清红外摄像头采集用户手势触摸屏幕的图像，对采集的图像进行预处理，以获取用户的手势在左高清红外摄像头上的成像坐标(u_1F,v_1F)以及在右高清红外摄像头上的成像坐标(u_2F,v_2F)；

(8)根据用户的手势操作在左高清红外摄像头上的成像坐标(u_1F,v_1F)以及在右高清红外摄像头上的成像坐标(u_2F,v_2F)、以及左高清红外摄像头的投影矩阵Ml和右高清红外摄像头的投影矩阵Mr，并通过以下等式获得用户的手势在屏幕上的三维空间坐标(x_f,y_f,z_f)，其中该手势操作是在上述步骤(5)中获得的物理坐标值对应的区域中：

$\left[\begin{array}{c}{u}_{1F}\\ v_{1F}\\ 1\end{array}\right]=Ml\left[\begin{array}{c}{x}_f\\ y_f\\ z_f\\ 1\end{array}\right],\left[\begin{array}{c}{u}_{2F}\\ v_{2F}\\ 1\end{array}\right]=Mr\left[\begin{array}{c}{x}_f\\ y_f\\ z_f\\ 1\end{array}\right]$

(9)判断步骤(8)获得的坐标z_f是否小于阀值γ，若z_f小于γ，可以判断用户手势发生点击动作，通过USB接口将指尖的三维空间坐标(x_f,y_f,z_f)输出，否则过程结束。

优选地，步骤(2)包括以下子步骤：

(2-1)利用可变焦高清红外摄像头采集人脸图像，并用掩膜法对采集的人脸图像去噪；

(2-2)利用Sobel算子对人脸图像上的像素点做梯度变换，以得到人脸轮廓。

优选地，步骤(3)具体为，在步骤(2)获得的人脸轮廓中使用Sobel算子得到左瞳孔的左右像素坐标值为u_LeL、u_HeL,左瞳孔的上下像素坐标值为v_LeL、v_HeL，左瞳孔的中心像素坐标值(u_eL,v_eL)为(u_LeL+u_HeL/2,v_LeL+v_HeL/2)，右瞳孔的中心像素坐标值(u_eR,v_eR)为(u_LeR+u_HeR/2,v_LeR+v_HeR/2)，其中u_LeR、u_HeR为右瞳孔的左右像素坐标值，v_LeR、v_HeR为右瞳孔的上下像素坐标值。

优选地，步骤(6)具体为，利用张正友标定对屏幕进行标定，以获得标定物在左右高清红外摄像头上的像素坐标，每个标定物在左右高清红外摄像头上的像素坐标(u_1m,v_1m)、(u_2m,v_2m)，其中m为标定点的个数，并利用以下等式分别获得左高清红外摄像头的投影矩阵Ml和右高清红外摄像头的投影矩阵Mr：

$\begin{array}{cc}\left[\begin{array}{c}{u}_{1m}\\ v_{1m}\\ 1\end{array}\right]=Ml\left[\begin{array}{c}{x}_m\\ y_m\\ z_m\\ 1\end{array}\right]& \left[\begin{array}{c}{u}_{2m}\\ v_{2m}\\ 1\end{array}\right]=Mr\left[\begin{array}{c}{x}_m\\ y_m\\ z_m\\ 1\end{array}\right]\end{array}$

其中(x_m,y_m,z_m)为圆圈标定点的物理坐标。

优选地，步骤(7)具体包括以下子步骤：

(7-1)左、右高清红外摄像头分别采集用户手势触摸屏幕的图像，并将采集到的图像与初始化帧的图像对应点上像素点相减，以组成新的图像；

(7-2)对步骤(7-1)获得的新的图像进行图像去噪；

(7-3)利用Sobel算子对图像上的像素点做梯度变换，以得到边缘检测图；

(7-4)根据步骤(7-3)获取的边缘检测图对左、右高清红外摄像头上的像素点进行K曲率判别，以获得用户的手势在左、右高清红外摄像头上的成像坐标(u_1F,v_1F)和(u_2F,v_2F)。

按照本发明的另一方面，提供了一种基于视觉跟踪和手势识别的人机交互方法，包括以下步骤：

(1)将红外光源、用于进行视觉跟踪的可变焦高清红外摄像头、以及多个用于进行手势识别的高清红外摄像头安装在屏幕边框处；

(2)可变焦高清红外摄像头采集人脸图像，并对采集的人脸图像进行人脸轮廓提取；

(3)计算步骤(2)获得的人脸轮廓中左、右瞳孔中心的像素坐标(u_eL,v_eL)和(u_eR,v_eR)；

(4)根据人脸轮廓中左右瞳孔中心的像素坐标以及屏幕四个角的坐标计算左右瞳孔的投影矩阵Mel和Mer；

(5)通过步骤(4)得到的左右瞳孔的投影矩阵Mel和Mer以及左右瞳孔的中心像素坐标值计算左、右瞳孔在屏幕上的物理坐标值，该物理坐标值所对应的区域为用户执行手势操作的区域：

$\left[\begin{array}{c}{u}_{eL}\\ v_{eL}\\ 1\end{array}\right]=Mel\left[\begin{array}{c}Xel\\ Yel\\ 1\end{array}\right]$

$\left[\begin{array}{c}{u}_{eR}\\ v_{eR}\\ 1\end{array}\right]=Mer\left[\begin{array}{c}Xer\\ Yer\\ 1\end{array}\right]$

其中(Xer，Yer)表示右瞳孔在屏幕上的物理坐标值，(Xel，Yel)表示左瞳孔在屏幕上的物理坐标值；

(6)根据双目视觉的原理对放置有高清红外摄像头的屏幕进行参数标定，以分别获得左、右高清红外摄像头的投影矩阵Ml和Mr；

(7)高清红外摄像头采集用户手势触摸屏幕的图像，对采集的图像进行预处理，以获取用户的手势在左高清红外摄像头上的成像坐标(u_1F,v_1F)以及在右高清红外摄像头上的成像坐标(u_2F,v_2F)；

(8)当用户滑动触摸屏幕时，根据用户的手势操作在左高清红外摄像头上的成像坐标(u_1F,v_1F)以及在右高清红外摄像头上的成像坐标(u_2F,v_2F)、以及左高清红外摄像头的投影矩阵Ml和右高清红外摄像头的投影矩阵Mr，并通过以下等式获得用户的手势在屏幕上第一帧指尖的三维空间坐标(x_f1,y_f1,z_f1)，其中该手势操作是在上述步骤(5)中获得的物理坐标值对应的区域中：

$\left[\begin{array}{c}{u}_{1F}\\ v_{1F}\\ 1\end{array}\right]=Ml\left[\begin{array}{c}{x}_{f1}\\ y_{f1}\\ z_{f1}\\ 1\end{array}\right],\left[\begin{array}{c}{u}_{2F}\\ v_{2F}\\ 1\end{array}\right]=Mr\left[\begin{array}{c}{x}_{f1}\\ y_{f1}\\ z_{f1}\\ 1\end{array}\right]$

(9)重复步骤(8)，以获得后续D-1帧指尖图像的三维空间坐标(x_f2,y_f2,z_f2)，…，(x_fD,y_fD,z_fD)，其中D表示用户滑动触摸屏幕时采集到的指尖图像的帧数，从而得到手势在屏幕上的滑动轨迹，将轨迹通过USB接口输出。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)本发明实现了任意屏幕上(包括液晶屏、投影仪屏幕或其他屏幕等)实现具有视觉跟踪定位以及非接触式触摸的功能；

(2)本发明使用简单，定位准确，便于安装。

附图说明

图1是本发明基于视觉跟踪和手势识别的人机交互方法的流程图。

图2是本发明人脸轮廓检测的示意图。

图3是本发明视觉跟踪的示意图。

图4是本发明手势识别所使用的装置的外形图。

图5是本发明的正视图。

图6是本发明屏幕的侧视图。

图7是本发明标定物示意图。

图8是本发明手势触摸点击示意图。

图9是本发明手势滑动示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，本发明一种基于视觉跟踪和手势识别的人机交互方法，包括以下步骤：

(1)将红外光源、用于进行视觉跟踪的可变焦高清红外摄像头、以及多个用于进行手势识别的高清红外摄像头安装在屏幕边框的任意位置；在本实施方式中，进行视觉跟踪的可变焦高清红外摄像头，其特性是10倍变焦，分辨率是720P，帧率是60帧/秒，镜头角度在110°；红外光源选择800nm-1200nm波长的红外光；进行手势识别的高清红外摄像头的帧率是60帧/秒、分辨率是720P，镜头角度在110°；屏幕为任意尺寸或形式的屏幕，包括液晶屏、投影仪屏幕、或其他屏幕)摄像头被安放在屏幕边框的左右任意位置，如图4至6所示，作为示例，选取屏幕上边框的中心位置安装红外光源、可变焦高清红外摄像头、以及高清红外摄像头，在本实施方式中，使用两个高清红外摄像头，以及一个可变焦高清红外摄像头，应该理解的是，本发明的摄像头数量绝不局限于此。本发明通过红外光源作为辅助光源。

(2)可变焦高清红外摄像头采集人脸图像，并对采集的人脸图像进行人脸轮廓提取；如图2所示，本步骤包括以下子步骤：

(2-1)利用可变焦高清红外摄像头采集人脸图像，并用掩膜法对采集的人脸图像去噪；具体而言，首先建立一个3*3的掩模 $W=\left[\begin{array}{ccc}{w}_1& w_2& w_3\\ w_4& w_5& w_6\\ w_7& w_8& w_9\end{array}\right],$ 假设采集的人脸图像上某一点的像素为a_j,k，其中j和k表示图像上点的位置；则有a_j,k＝a_j-1,k-1w₁+a_j-1,kw₂+…+a_j,kw₅+…+a_j+1,kw₈+a_j+1,k+1w₉，从而得到新的像素a_j,k，在本实施方式中， $W=\frac{1}{9}\left[\begin{array}{ccc}1& 1& 1\\ 1& 1& 1\\ 1& 1& 1\end{array}\right];$

(2-2)对去噪后的人脸图像进行边缘检测，即利用Sobel算子对人脸图像上的像素点做梯度变换，以得到人脸轮廓；具体而言，M设Sobel算子 $S_h=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]$ 为横向梯度算子， $S_v=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ 1& 0& 1\end{array}\right]$ 为纵向梯度算子，对人脸图像分别使用S_h和S_v来进行卷积运算，以获得该人脸图像在两个横向和纵向上的梯度图；

(3)计算步骤(2)获得的人脸轮廓中左右瞳孔中心的像素坐标；如图3所示，本步骤具体为，在步骤(2)获得的人脸轮廓中仍调用上述步骤(2-2)中的Sobel算子，得到左瞳孔的左右像素坐标值为u_LeL、u_HeL,左瞳孔的上下像素坐标值为v_LeL、v_HeL，因此左瞳孔的中心像素坐标值(u_eL,v_eL)为(u_LeL+u_HeL/2,v_LeL+v_HeL/2)。同理可得右瞳孔的中心像素坐标值(u_eR,v_eR)为(u_LeR+u_HeR/2,v_LeR+v_HeR/2)，其中u_LeR、u_HeR为右瞳孔的左右像素坐标值，v_LeR、v_HeR为右瞳孔的上下像素坐标值。

(4)根据人脸轮廓中左右瞳孔中心的像素坐标以及屏幕四个角的坐标计算左右瞳孔的投影矩阵Mel和Mer，如图4所示，本步骤具体为：首先，当人眼视觉注视屏幕左上角时(左上角坐标为(x_A,y_A,0)),可以通过步骤(3)求得左右瞳孔中心在高清红外摄像头上的像素坐标为(u_1eL,v_1eL)，(u_1eR,v_1eR)，同理求得注视屏幕右上角(右上角坐标为(x_B,y_B,0))时,左右瞳孔中心在高清红外摄像头的像素坐标分别为(u_2eL,v_2eL)，(u_2eR,v_2eR)；注视屏幕左下角(左下角坐标为(x_C,y_C,0))时,左右瞳孔中心在高清红外摄像头的像素坐标分别为(u_3eL,v_3eL)，(u_3eR,v_3eR)；注视屏幕右下角(右下角坐标为(x_D,y_D,0))时,左右瞳孔中心在高清红外摄像头的像素坐标分别为(u_4eL,v_4eL)，(u_4eR,v_4eR)；

然后，根据双目视觉的原理

$\left[\begin{array}{c}{u}_{eL}\\ v_{eL}\\ 1\end{array}\right]=Mel\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$

根据上述屏幕四个角的坐标即左上角坐标为(x_A,y_A),右上角坐标为(x_B,y_B),左下角坐标为(x_C,y_C),右下角坐标为(x_D,y_D)带入上述等式右边，屏幕四个角对应的左瞳孔的像素坐标为(u_1eL,v_1eL)，(u_2eL,v_2eL)，(u_3eL,v_3eL)，(u_4eL,v_4eL)带入上述等式左边，联立解方程

即可计算得到左瞳孔的投影矩阵为

$Mel=\left[\begin{array}{ccc}{\mathrm{mel}}_{11}& {\mathrm{mel}}_{12}& {\mathrm{mel}}_{13}\\ {\mathrm{mel}}_{21}& {\mathrm{mel}}_{22}& {\mathrm{mel}}_{23}\\ {\mathrm{mel}}_{31}& {\mathrm{mel}}_{32}& {\mathrm{mel}}_{33}\end{array}\right],$

同理可求得右瞳孔的投影矩阵为

$Mer=\left[\begin{array}{ccc}{\mathrm{mer}}_{11}& {\mathrm{mer}}_{12}& {\mathrm{mer}}_{13}\\ {\mathrm{mer}}_{21}& {\mathrm{mer}}_{22}& {\mathrm{mer}}_{23}\\ {\mathrm{mer}}_{31}& {\mathrm{mer}}_{32}& {\mathrm{mer}}_{33}\end{array}\right].$

(5)通过步骤(4)得到的左右瞳孔的投影矩阵Mel和Mer以及左右瞳孔的中心像素坐标值计算左、右瞳孔在屏幕上的物理坐标值，该物理坐标值所对应的区域为用户执行手势操作的区域；具体而言，通过以下双目视觉的原理

$\left[\begin{array}{c}{u}_{eL}\\ v_{eL}\\ 1\end{array}\right]=Mel\left[\begin{array}{c}Xel\\ Yel\\ 1\end{array}\right]$

$\left[\begin{array}{c}{u}_{eR}\\ v_{eR}\\ 1\end{array}\right]=Mer\left[\begin{array}{c}Xer\\ Yer\\ 1\end{array}\right]$

计算得到左、右瞳孔在屏幕上的物理坐标值，其中(Xer，Yer)表示右瞳孔在屏幕上的物理坐标值；(Xel，Yel)表示左瞳孔在屏幕上的物理坐标值。当视觉投向不同的屏幕区域，如图3所示在屏幕上显示虚线框，即可完成视觉的定位及跟踪，本步骤获得的物理坐标值对应的区域就是后续步骤(8)中用户手势的操作区域。

(6)根据双目视觉的原理对放置有高清红外摄像头的屏幕进行参数标定，以分别获得左、右高清红外摄像头的投影矩阵Ml和Mr；具体而言，通过如图(7)所示的标定物,利用张正友标定对屏幕进行标定，以获得标定物在左右高清红外摄像头上的像素坐标，每个标定物在左右高清红外摄像头上的像素坐标(u_1m,v_1m)、(u_2m,v_2m)，其中m为标定点的个数，如图(7)所示有9个，(x_m,y_m,z_m)为图(7)所示的圆圈标定点的物理坐标。并利用以下等式分别获得左高清红外摄像头的投影矩阵Ml和右高清红外摄像头的投影矩阵Mr：

$\begin{array}{cc}\left[\begin{array}{c}{u}_{1m}\\ v_{1m}\\ 1\end{array}\right]=Ml\left[\begin{array}{c}{x}_m\\ y_m\\ z_m\\ 1\end{array}\right]& \left[\begin{array}{c}{u}_{2m}\\ v_{2m}\\ 1\end{array}\right]=Mr\left[\begin{array}{c}{x}_m\\ y_m\\ z_m\\ 1\end{array}\right]\end{array}$

最终获得的投影矩阵分别为

$Ml=\left[\begin{array}{cccc}{\mathrm{ml}}_{11}& {\mathrm{ml}}_{12}& {\mathrm{ml}}_{13}& {\mathrm{ml}}_{14}\\ {\mathrm{ml}}_{21}& {\mathrm{ml}}_{22}& {\mathrm{ml}}_{23}& {\mathrm{ml}}_{24}\\ {\mathrm{ml}}_{31}& {\mathrm{ml}}_{32}& {\mathrm{ml}}_{33}& {\mathrm{ml}}_{34}\end{array}\right],Mr=\left[\begin{array}{cccc}{\mathrm{mr}}_{11}& {\mathrm{mr}}_{12}& {\mathrm{mr}}_{13}& {\mathrm{mr}}_{14}\\ {\mathrm{mr}}_{21}& {\mathrm{mr}}_{22}& {\mathrm{mr}}_{23}& {\mathrm{mr}}_{24}\\ {\mathrm{mr}}_{31}& {\mathrm{mr}}_{32}& {\mathrm{mr}}_{33}& {\mathrm{mr}}_{34}\end{array}\right]$

(7)高清红外摄像头采集用户手势触摸屏幕的图像，对采集的图像进行预处理，包括图像相减、图像去噪、边缘提取、基于K曲率判别的指尖或笔尖图像识别，以获取用户的手势在左高清红外摄像头上的成像坐标(u_1F,v_1F)以及在右高清红外摄像头上的成像坐标(u_2F,v_2F)；如图8所示，本步骤具体包括以下子步骤：

(7-1)左、右高清红外摄像头分别采集用户手势触摸屏幕的图像，并将采集到的图像与初始化帧的图像对应点上像素点相减，以组成新的图像；

(7-2)对步骤(7-1)获得的新的图像进行图像去噪，图像去噪的过程和上述步骤(2-1)相同，在此不再赘述；

(7-3)对去噪后的图像进行边缘检测，即利用Sobel算子对图像上的像素点做梯度变换，以得到边缘检测图；边缘检测的过程和上述步骤(2-2)相同，在此不再赘述；

(7-4)根据步骤(7-3)获取的边缘检测图对左、右高清红外摄像头上的像素点进行K曲率判别，以获得用户的手势在左、右高清红外摄像头上的成像坐标；具体而言，是根据(7-3)中得到的边缘检测图可以提取出手势的边缘图像，每一个边缘坐标点向量为以该点为起始点按边缘的顺时针方向数到的第K点设为按逆时针方向数到的第K点设为则的K向量计算公式为当上述计算α大于0并且大于设定阀值β(其取值范围为0.5至1之间)，则当前向量对应的像素坐标即为用户的手势在左高清红外摄像头上的成像坐标(u_1F,v_1F)；右摄像头的处理与上述相同,得到用户的手势在右高清红外摄像头的像素坐标为(u_2F,v_2F)；

(8)根据用户的手势操作在左高清红外摄像头上的成像坐标(u_1F,v_1F)以及在右高清红外摄像头上的成像坐标(u_2F,v_2F)、以及左高清红外摄像头的投影矩阵Ml和右高清红外摄像头的投影矩阵Mr，并通过以下等式获得用户的手势在屏幕上的三维空间坐标(x_f,y_f,z_f)，其中该手势操作是在上述步骤(5)中获得的物理坐标值对应的区域中：

$\left[\begin{array}{c}{u}_{1F}\\ v_{1F}\\ 1\end{array}\right]=Ml\left[\begin{array}{c}{x}_f\\ y_f\\ z_f\\ 1\end{array}\right],\left[\begin{array}{c}{u}_{2F}\\ v_{2F}\\ 1\end{array}\right]=Mr\left[\begin{array}{c}{x}_f\\ y_f\\ z_f\\ 1\end{array}\right]$

通过上述两个矩阵方程求解可以得到手势的三维空间坐标(x_f,y_f,z_f)，即完成用户的手势的三维成像及定位。

需要注意的是，在本步骤中，用户的手势操作是点击的方式触摸屏幕。

(9)判断步骤(8)获得的坐标z_f是否小于阀值γ，其中γ的取值范围和屏幕的长度成正比，若z_f小于γ，可以判断用户手势发生点击动作，通过USB接口将指尖的三维空间坐标(x_f,y_f,z_f)输出，否则过程结束；

如图9所示，当用户以滑动的方式触摸屏幕时，本发明基于视觉定位及跟踪的手势识别人机交互方法所包括的步骤基本与上述点击方式基本相同，唯一不同在于上述步骤(9)被替换为：

获得连续D帧指尖的三维空间坐标(x_f1,y_f1,z_f1)，(x_f2,y_f2,z_f2)，…，(x_fD,y_fD,z_fD)，其中D表示用户滑动触摸屏幕时采集到的指尖图像的帧数，且为正整数，从而得到手势在屏幕上的滑动轨迹，将轨迹通过USB接口输出，从而实现手势滑动的识别。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于视觉跟踪和手势识别的人机交互方法，其特征在于，包括以下步骤：

(1)将红外光源、用于进行视觉跟踪的可变焦高清红外摄像头、以及多个用于进行手势识别的高清红外摄像头安装在屏幕边框处；

(2)可变焦高清红外摄像头采集人脸图像，并对采集的人脸图像进行人脸轮廓提取；

(3)计算步骤(2)获得的人脸轮廓中左、右瞳孔中心的像素坐标(u_eL,v_eL)和(u_eR,v_eR)；

(4)根据人脸轮廓中左右瞳孔中心的像素坐标以及屏幕四个角的坐标计算左右瞳孔的投影矩阵Mel和Mer；

(5)通过步骤(4)得到的左右瞳孔的投影矩阵Mel和Mer以及左右瞳孔的中心像素坐标值计算左、右瞳孔在屏幕上的物理坐标值，该物理坐标值所对应的区域为用户执行手势操作的区域：

$\left[\begin{array}{c}{u}_{eL}\\ v_{eL}\\ 1\end{array}\right]=Mel\left[\begin{array}{c}Xel\\ Yel\\ 1\end{array}\right]$

$\left[\begin{array}{c}{u}_{eR}\\ v_{eR}\\ 1\end{array}\right]=Mer\left[\begin{array}{c}Xer\\ Yer\\ 1\end{array}\right]$

其中(Xer，Yer)表示右瞳孔在屏幕上的物理坐标值，(Xel，Yel)表示左瞳孔在屏幕上的物理坐标值；

(6)根据双目视觉的原理对放置有高清红外摄像头的屏幕进行参数标定，以分别获得左、右高清红外摄像头的投影矩阵Ml和Mr；

(7)高清红外摄像头采集用户手势触摸屏幕的图像，对采集的图像进行预处理，以获取用户的手势在左高清红外摄像头上的成像坐标(u_1F,v_1F)以及在右高清红外摄像头上的成像坐标(u_2F,v_2F)；

(8)根据用户的手势操作在左高清红外摄像头上的成像坐标(u_1F,v_1F)以及在右高清红外摄像头上的成像坐标(u_2F,v_2F)、以及左高清红外摄像头的投影矩阵Ml和右高清红外摄像头的投影矩阵Mr，并通过以下等式获得用户的手势在屏幕上的三维空间坐标(x_f,y_f,z_f)，其中该手势操作是在上述步骤(5)中获得的物理坐标值对应的区域中：

$\left[\begin{array}{c}{u}_{1F}\\ v_{1F}\\ 1\end{array}\right]=Ml\left[\begin{array}{c}{x}_f\\ y_f\\ z_f\\ 1\end{array}\right],\left[\begin{array}{c}{u}_{2F}\\ v_{2F}\\ 1\end{array}\right]=Mr\left[\begin{array}{c}{x}_f\\ y_f\\ z_f\\ 1\end{array}\right]$

(9)判断步骤(8)获得的坐标z_f是否小于阀值γ，若z_f小于γ，可以判断用户手势发生点击动作，通过USB接口将指尖的三维空间坐标(x_f,y_f,z_f)输出，否则过程结束。

2.根据权利要求1所述的人机交互方法，其特征在于，步骤(2)包括以下子步骤：

(2-1)利用可变焦高清红外摄像头采集人脸图像，并用掩膜法对采集的人脸图像去噪；

(2-2)利用Sobel算子对人脸图像上的像素点做梯度变换，以得到人脸轮廓。

3.根据权利要求2所述的人机交互方法，其特征在于，步骤(3)具体为，在步骤(2)获得的人脸轮廓中使用Sobel算子得到左瞳孔的左右像素坐标值为u_LeL、u_HeL,左瞳孔的上下像素坐标值为v_LeL、v_HeL，左瞳孔的中心像素坐标值(u_eL,v_eL)为(u_LeL+u_HeL/2,v_LeL+v_HeL/2)，右瞳孔的中心像素坐标值(u_eR,v_eR)为(u_LeR+u_HeR/2,v_LeR+v_HeR/2)，其中u_LeR、u_HeR为右瞳孔的左右像素坐标值，v_LeR、v_HeR为右瞳孔的上下像素坐标值。

4.根据权利要求1所述的人机交互方法，其特征在于，步骤(6)具体为，利用张正友标定对屏幕进行标定，以获得标定物在左右高清红外摄像头上的像素坐标，每个标定物在左右高清红外摄像头上的像素坐标(u_1m,v_1m)、(u_2m,v_2m)，其中m为标定点的个数，并利用以下等式分别获得左高清红外摄像头的投影矩阵Ml和右高清红外摄像头的投影矩阵Mr：

$\begin{array}{cc}\left[\begin{array}{c}{u}_{1m}\\ v_{1m}\\ 1\end{array}\right]=Ml\left[\begin{array}{c}{x}_m\\ y_m\\ z_m\\ 1\end{array}\right]& \left[\begin{array}{c}{u}_{2m}\\ v_{2m}\\ 1\end{array}\right]=Mr\left[\begin{array}{c}{x}_m\\ y_m\\ z_m\\ 1\end{array}\right]\end{array}$

其中(x_m,y_m,z_m)为圆圈标定点的物理坐标。

5.根据权利要求1所述的人机交互方法，其特征在于，步骤(7)具体包括以下子步骤：

(7-1)左、右高清红外摄像头分别采集用户手势触摸屏幕的图像，并将采集到的图像与初始化帧的图像对应点上像素点相减，以组成新的图像；

(7-2)对步骤(7-1)获得的新的图像进行图像去噪；

(7-3)利用Sobel算子对图像上的像素点做梯度变换，以得到边缘检测图；

(7-4)根据步骤(7-3)获取的边缘检测图对左、右高清红外摄像头上的像素点进行K曲率判别，以获得用户的手势在左、右高清红外摄像头上的成像坐标(u_1F,v_1F)和(u_2F,v_2F)。

6.一种基于视觉跟踪和手势识别的人机交互方法，其特征在于，包括以下步骤：

(1)将红外光源、用于进行视觉跟踪的可变焦高清红外摄像头、以及多个用于进行手势识别的高清红外摄像头安装在屏幕边框处；

(2)可变焦高清红外摄像头采集人脸图像，并对采集的人脸图像进行人脸轮廓提取；

(3)计算步骤(2)获得的人脸轮廓中左、右瞳孔中心的像素坐标(u_eL,v_eL)和(u_eR,v_eR)；

(4)根据人脸轮廓中左右瞳孔中心的像素坐标以及屏幕四个角的坐标计算左右瞳孔的投影矩阵Mel和Mer；

(5)通过步骤(4)得到的左右瞳孔的投影矩阵Mel和Mer以及左右瞳孔的中心像素坐标值计算左、右瞳孔在屏幕上的物理坐标值，该物理坐标值所对应的区域为用户执行手势操作的区域：

$\left[\begin{array}{c}{u}_{eL}\\ v_{eL}\\ 1\end{array}\right]=Mel\left[\begin{array}{c}Xel\\ Yel\\ 1\end{array}\right]$

$\left[\begin{array}{c}{u}_{eR}\\ v_{eR}\\ 1\end{array}\right]=Mer\left[\begin{array}{c}Xer\\ Yer\\ 1\end{array}\right]$

其中(Xer，Yer)表示右瞳孔在屏幕上的物理坐标值，(Xel，Yel)表示左瞳孔在屏幕上的物理坐标值；

(6)根据双目视觉的原理对放置有高清红外摄像头的屏幕进行参数标定，以分别获得左、右高清红外摄像头的投影矩阵Ml和Mr；

(7)高清红外摄像头采集用户手势触摸屏幕的图像，对采集的图像进行预处理，以获取用户的手势在左高清红外摄像头上的成像坐标(u_1F,v_1F)以及在右高清红外摄像头上的成像坐标(u_2F,v_2F)；

(8)当用户滑动触摸屏幕时，根据用户的手势操作在左高清红外摄像头上的成像坐标(u_1F,v_1F)以及在右高清红外摄像头上的成像坐标(u_2F,v_2F)、以及左高清红外摄像头的投影矩阵Ml和右高清红外摄像头的投影矩阵Mr，并通过以下等式获得用户的手势在屏幕上第一帧指尖的三维空间坐标(x_f1,y_f1,z_f1)，其中该手势操作是在上述步骤(5)中获得的物理坐标值对应的区域中：

$\left[\begin{array}{c}{u}_{1F}\\ v_{1F}\\ 1\end{array}\right]=Ml\left[\begin{array}{c}{x}_{f1}\\ y_{f1}\\ z_{f1}\\ 1\end{array}\right],\left[\begin{array}{c}{u}_{2F}\\ v_{2F}\\ 1\end{array}\right]=Mr\left[\begin{array}{c}{x}_{f1}\\ y_{f1}\\ z_{f1}\\ 1\end{array}\right]$

(9)重复步骤(8)，以获得后续D-1帧指尖图像的三维空间坐标(x_f2,y_f2,z_f2)，…，(x_fD,y_fD,z_fD)，其中D表示用户滑动触摸屏幕时采集到的指尖图像的帧数，从而得到手势在屏幕上的滑动轨迹，将轨迹通过USB接口输出。