CN103995586A

CN103995586A - 基于虚拟触摸屏的非穿戴指势人机交互方法

Info

Publication number: CN103995586A
Application number: CN201410196648.0A
Authority: CN
Inventors: 管业鹏; 潘静
Original assignee: University of Shanghai for Science and Technology
Current assignee: University of Shanghai for Science and Technology
Priority date: 2014-05-12
Filing date: 2014-05-12
Publication date: 2014-08-20
Anticipated expiration: 2034-05-12
Also published as: CN103995586B

Abstract

本发明涉及一种基于虚拟触摸屏的非穿戴指势人机交互方法。它是根据指势用户所指目标的手指屏可按照用户的人脸三维信息和手指尖的深度信息映射成手指尖可触及的虚拟触摸屏，通过手指尖在虚拟触摸屏的位置计算，自动确定用户所指空间目标。本发明方法不需要特定的硬件支持以及限定用户活动范围等约束，方法简便、灵活、易实现。

Description

基于虚拟触摸屏的非穿戴指势人机交互方法

技术领域

本发明涉及一种基于虚拟触摸屏的非穿戴指势人机交互方法，用于视频数字图像分析与理解，属于智能信息处理技术领域。

背景技术

随着计算机技术的迅猛发展，研究符合人类自然交流习惯的新颖人机交互技术异常活跃，且人机交互技术已从以计算机为中心逐步转移到以人为中心，为人们提供了更自然、更符合人类习惯的人机交互方式。在人体的所有姿势中，手势是一种自然、直观且易于学习的人机交互手段，已成为当前人机交互的研究热点，但手势不仅受骨胳肌肉驱动，且涉及人类思维活动，导致它具有多样性、多义性。相对于手势的多样性和多义性，指势易于解释，它是人们日常生活中用手指对空间感兴趣目标的反映，是人类语系发展和个体发生学的重要先驱，可揭示人类社会智力，是一种理想的自然人机交互模式；采用它进行人机交互，则可充分发挥人类的日常技能，摆脱目前常规输入设备(如键盘、鼠标器和触摸屏等)的束缚。

目前，基于指势的人机交互分为穿戴式和非穿戴式两类。前者基于数据头盔、数据手套和身体标记等，这类方法虽可获得较准确的用户位置和用户行动，但该类方法为侵入式，用户需专门训练，操作不便；后者基于非接触传感器（如摄像机），支持自然、灵活的人机交互。由于在人类的日常生活中，人类习惯并大量使用非精确的信息交流，允许使用模糊的表达手段避免不必要的认识负荷，以提高交互活动的自然性和高效性，因此，非穿戴的指势人机交互方法倍受青睐，其使用的***结构示意图如图1：利用摄像机捕获指势交互用户对象, 通过视频对象分割方法提取指势交互用户对象及其相关特征，确定指势交互用户对象所指空间目标，通过计算机发送触发命令，控制并显示和反馈所指目标结果。有效的非穿戴的指势人机交互在教育、影视、娱乐、制造、医学、商业、军事等领域均具有重要的实用意义和价值。

虽然人类在日常生活中频繁地使用指势进行信息交流，且极易识别所指目标，但对计算机而言却是一个难题。目前，已经提出了许多非穿戴指势人机交互方法。主要有基于立体匹配方法和基于特征分析方法。前者通过二个或以上摄像机获取图像，采用立体匹配方法进行指势人机交互，以确定所指目标。但由于立体匹配存在歧义性，且计算量大、运算复杂，需特定的硬件支持以实现实时处理。后者通过指势用户对象特征提取，进行指势视觉识别，并确定用户所指目标。但这类方法要求用户站立于事先指定的范围内，用户周围无遮挡或障碍物，且要求背景简单、单一，该类方法在很大程度上制约了用户活动的自由性，不符合人类自然交流习惯。

发明内容

本发明的目的在于针对现有非穿戴指势人机交互方法要求用户站立于事先指定的范围，其周围无遮挡或障碍物，背景简单、单一等假设信息，以及对不同身高、体型用户适用性差、实时交互效果不理想，提供一种基于虚拟触摸屏的非穿戴指势人机交互方法。它是根据指势用户所指目标的手指屏可按照用户的人脸三维信息和手指尖的深度信息映射成手指尖可触及的虚拟触摸屏，通过手指尖在虚拟触摸屏的位置计算，自动确定用户所指的实际空间目标。

根据上述发明构思，本发明采用下述技术方案：

一种基于虚拟触摸屏的非穿戴指势人机交互方法，其特征在于具体步骤如下：

1)启动非穿戴指势人机交互***，采集视频图像；

2)获取用户三维信息：标定Kinect，并由Kinect获取用户三维信息；

3)用户指势手部区域分割：根据步骤2)所提取的用户三维信息，获取用户手部深度方向的Z坐标，并将Z坐标值小的手部区域确定为指势手部区域；

4)指势手指尖提取：根据步骤3)所确定的用户指势手部区域，确定对应的指势手部区域外接矩形框；根据指势手指的Z坐标值小的特点，将具有最小Z坐标值且手指与外接矩形框的边缘相交点确定为指势手的手指尖点；

5)手指目标的行为确定；

6)虚拟触摸屏的构建；

7)手指目标的确定：根据手指尖在步骤6)所构建的虚拟触摸屏的位置计算，确定手指的目标。

所述步骤5)手指目标的行为判定的具体操作步骤如下：

(5-1)手指尖在相邻时刻的位移量计算：根据手指尖在t时刻和t-1时刻分别在水平X方向的三维坐标X _t、X _t-1，垂直Y方向的三维坐标Y _t、Y _t-1和深度Z方向的三维坐标Z _t、Z _t-1，计算手指尖在水平X方向、垂直Y方向和深度Z方向的位移量D _x、D _y、D _z: D _x = X _t- X _t-1，D _y = Y _t- Y _t-1，D _z = Z _t- Z _t-1，并由此确定手指尖在相邻时刻的位移量D: ；

(5-2)手指目标的行为确定：根据手指目标时，手指尖在相邻时刻的位移量D值小的特点，将满足手指尖位移量D在连续设定p帧内小于给定阈值T的行为判定为手指目标行为。

所述步骤6)虚拟触摸屏的构建的具体操作步骤如下：

(6-1)手指屏的模块划分：将手指屏分别在水平X方向划分为m个模块和垂直Y方向划分为n个模块，并由此分别确定手指屏在水平X方向的各个分界点坐标为X ₁ ，…，X _m+1，以及在垂直Y方向的各个分界点坐标为Y ₁ ，…，Y _n+1；

(6-2)虚拟触摸屏构建：根据步骤2)所获取的用户三维信息，确定人脸中心点的三维坐标X _head，Y _head，Z _head；同时，根据步骤4)所确定的手指尖，获取手指尖在深度Z方向的坐标值Z _fingertip，并根据步骤(6-1)所划分的手指屏的各个分界点坐标X _i(i=1，2，…，m+1)，Y _j (j = 1，2，…，n+1)，按下式计算手指屏各模块分界点在虚拟触摸屏上的对应点坐标X _i ^’，Y _j ^’,构建用户手指可触及的虚拟触摸屏：

本发明的原理如下：在本发明的技术方案中，根据指势用户所指目标的手指屏可按照用户的人脸三维信息和手指尖的深度信息映射成手指尖可触及的虚拟触摸屏，通过手指尖在虚拟触摸屏的位置计算，自动确定用户所指的实际空间目标。

基于Kinect由RGB彩色摄像机和红外摄像机组成，并可获取人体深度信息，但因Kinect由RGB彩色摄像机获取的彩色图和由红外摄像机获取的深度图无法完全吻合，从而不能将指势的手指尖特征点的像素坐标有效地转换为对应的三维空间坐标，因此，需对Kinect标定。

在Kinect标定中，其标定参数为Kinect的彩色摄像机、红外摄像机的内参数以及彩色摄像机与红外摄像机之间的平移和旋转矩阵。其中，Kinect彩色摄像机的内参数矩阵为：

其中，(f _uRGB, f _vRGB)分别为彩色摄像机的焦距，(u _0RGB, v _0RGB)分别为彩色摄像机的主点坐标。

Kinect红外摄像机的内参数矩阵为：

其中， (f _uIR, f _vIR)分别为红外摄像机的焦距，(f _0IR, f _0IR)分别为红外摄像机的主点坐标。

上述参数确定后，可由空间某点在红外摄像机的原始视差d，计算该点在红外摄像机坐标系下的坐标：

其中，b为红外投射机和接收机之间的距离，a、b为常系数。

由于红外摄像机和彩色摄像机的位置不同，因此，需对两者标定旋转矩阵和平移矩阵：

采用棋盘方格作为标定靶，分别使用10组以上不同视角拍摄的图像进行标定。

基于Kinect标定结果，确定手部和手肘的三维坐标并初步判断指势方向，根据指向和指势手的形状特征扫描手部外接矩形的边缘区域来检测指尖点，并获得手指尖点的三维坐标。

当用户抬手并用手指向目标时，手指尖将在相邻t时刻和t-1时刻分别在水平X方向、垂直Y方向和深度Z方向发生如下位移：

D _x = X _t- X _t-1

D _y = Y _t- Y _t-1

D _z = Z _t- Z _t-1

其中，D _x，D _y，D _z分别为手指尖在水平X方向、垂直Y方向和深度Z方向的位移量，（X _t，Y _t，Z _t，X _t-1，Y _t-1，Z _t-1）分别为手指尖在t时刻和t-1时刻在水平X方向的坐标，垂直Y方向和深度Z方向的三维坐标。

由此确定手指尖在相邻时刻的位移量：

当用户用手指向目标时，根据手指尖在相邻时刻的位移量D值小的特点，将满足手指尖位移量D在连续设定p帧内小于给定阈值T的行为判定手指目标行为

其中，p表示手指尖点处于手指目标状态的帧数。

若检测到用户用手指向目标，按下列方法构建虚拟触摸屏。将用户所指目标所处的实际手指屏划分成m′n个模块，其中，水平方向的分界点分别为X ₁ ,…, X _m+1, 垂直方向分界点分别为Y ₁ ,…,Y _n+1。

以Kinect的彩色摄像头为三维坐标原点（0，0，0），以用户的人脸中心点为汇点，连接实际手指屏上的(X _i，Y _j)点构建直线（如图2所示），其中，i=1，2，…，m+1；j=1，2，…，n+1。

得到空间直线方程如下：

其中，X _i ^’，Y _j ^’，Z ^’分别表示构建的虚拟触摸屏的三维坐标，X _head, Y _head, Z _head分别表示用户脸部中心点的三维坐标，Z _fingertip为手指尖在深度Z方向的坐标。

为构建灵活、可变的活动虚拟触摸屏，令Z ^’ =Z _fingertip，得到活动虚拟触摸屏的X _i ^’，Y _j ^’：

根据所构建的虚拟触摸屏的X _i ^’ ,Y _j ^’与真实的手指屏各点(X _i，Y _j)存在对应关系，通过手指尖在虚拟触摸屏的X _i ^’ ,Y _j ^’位置的计算，自动确定指势用户所指的实际空间目标。

本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点：本发明通过计算指势手部的深度信息，分割指势手部区域，并根据指势手指的深度坐标值小的特点，将具有最小深度坐标值且手指与外接矩形框的边缘相交点确定为指势手的手指尖点，基于手指目标时手指尖在相邻时刻的位移量小的特点，将满足手指尖位移量在连续设定帧内小于给定阈值的行为判定手指目标行为，并根据指势用户所指目标的手指屏可按照用户的人脸三维信息和手指尖的深度信息映射成手指尖可触及的虚拟触摸屏，通过手指尖在虚拟触摸屏的位置计算，自动确定用户所指的实际空间目标，运算简便、灵活，易实现，解决了非穿戴指势人机交互过程中要求背景简单、单一，需特定的硬件支持，以及要求用户站立于事先指定的范围内，用户周围无遮挡或障碍物的不足，适用于身高、体型各异的用户以其自然的指势习惯进行人机交互；提高了非穿戴指势人机交互的鲁棒性，可适应复杂背景条件下的非穿戴指势人机交互。

附图说明

图1是本发明方法的非穿戴指势人机交互***结构示意图。

图2是本发明方法的构建虚拟触摸屏示意图。

图3是本发明方法的操作程序框图。

图4是本发明一个实施例的视频当前帧图像。

图5是图4示例中分割出的手部区域图。

图6是图4示例中分割出的指尖区域图。

图7是本发明一个实施例的构建虚拟触摸屏结果图。

图8是本发明一个实施例的指势用户未指前方目标时的场景图像。图9是图8示例指势用户徒手指向前方一目标时（前方目标被点亮—方框）的场景图像。

具体实施方式

本发明的优选实施例结合附图详述如下：

实施例一：

参见图1～图3，本基于虚拟触摸屏的非穿戴指势人机交互方法的具体步骤如下：

1)启动非穿戴指势人机交互***，采集视频图像；

5)手指目标的行为确定；

6)虚拟触摸屏的构建；

实施例二：

本实施例与实施例一基本相同，特别之处如下：

所述步骤5)手指目标的行为判定的具体操作步骤如下：

(5-1)手指尖在相邻时刻的位移量计算：根据手指尖在t时刻和t-1时刻分别在水平X方向的三维坐标X _t、X _t-1，垂直Y方向的三维坐标Y _t、Y _t-1和深度Z方向的三维坐标Z _t、Z _t-1，计算手指尖在水平X方向、垂直Y方向和深度Z方向的位移量D _x、D _y、D _z: D _x = X _t- X _t-1，D _y = Y _t- Y _t-1，D _z = Z _t- Z _t-1，并由此确定手指尖在相邻时刻的位移量D:；

所述步骤6)虚拟触摸屏的构建的具体操作步骤如下：

实施例三：

参见图1～图9，本基于虚拟触摸屏的非穿戴指势人机交互方法的操作程序如图3所示；具体步骤如下：

1)启动非穿戴指势人机交互***，采集视频图像，如图4；

2)获取用户三维信息：标定Kinect，所得Kinect参数值分别为：

，，，，

，

并由Kinect获取用户三维信息；

3)用户指势手部区域分割：根据步骤2)所提取的用户三维信息，获取用户手部深度方向的Z坐标，并将Z坐标值小的手部区域确定为指势手部区域，如图5；

4)指势手指尖提取：根据步骤3)所确定的用户指势手部区域，确定对应的指势手部区域外接矩形框；根据指势手指的Z坐标值小的特点，将具有最小Z坐标值且手指与外接矩形框的边缘相交点确定为指势手的手指尖点，如图6；

5)手指目标的行为确定：具体操作步骤如下：

(1)手指尖在相邻时刻的位移量计算：根据手指尖在t时刻和t-1时刻分别在水平X方向的三维坐标X _t、X _t-1，垂直Y方向的三维坐标Y _t、Y _t-1和深度Z方向的三维坐标Z _t、Z _t-1，计算手指尖在水平X方向、垂直Y方向和深度Z方向的位移量D _x: D _x = X _t- X _t-1，D _y: D _y = Y _t- Y _t-1，D _z: D _z = Z _t- Z _t-1，并由此确定手指尖在相邻时刻的位移量D:；

(2)手指目标的行为确定：根据手指目标时，手指尖在相邻时刻的位移量D值小的特点，将满足手指尖位移量D在连续设定8帧内小于给定阈值5的行为判定手指目标行为；

6)虚拟触摸屏的构建：具体操作步骤如下：

(1)手指屏的模块划分：手指屏的实际宽高均为180cm，并将其划分为6′6个模块。为直观反映指势识别结果，在每个模块正中央装置一盏日光灯，并标上数字1～36的序号，即36个指势目标，如图7所示。Kinect设置在手指屏正下方，以其彩色摄像头为坐标原点建立三维空间坐标系，测量得到水平X方向上的分界点坐标(X ₁ ，…，X ₇)分别为(-90cm，…，90cm)，以及在垂直Y方向的分界点坐标(Y ₁ ，…，Y ₇)分别为(195cm， …，15cm)，由于手指屏和摄像头位于同一垂直平面上，因此分界点的Z坐标均为0。

(2)虚拟触摸屏构建：根据步骤4）可提取指势手的指尖点，再由Harr特征检测人脸并确定脸部中心点，按照步骤2)的标定方法获取用户三维信息，人脸中心点的三维坐标(X _head，Y _head，Z _head)分别为(-10.0cm, 35.0cm, 191.0cm)，手指尖点的三维坐标(X _fingertip，Y _fingertip，Z _fingertip)分别为(-12.2cm,50.4cm,155.0cm)。然后将手指屏上水平方向和垂直方向上的分界点坐标、人脸中心点的三维坐标，以及指尖点的Z坐标代入下式，可得到手指屏上分界点在虚拟触摸屏上对应的空间位置。

计算得虚拟屏上X方向的分界点坐标(X ₁ ^’ ，X ₂ ^’，X ₃ ^’, X ₄ ^’，X ₅ ^’ ，X ₆ ^’，X ₇ ^’)分别为(-25 cm, -19.4 cm, -13.7 cm, -8.1 cm, -2.4 cm, 3.1 cm, 8.8 cm)，Y方向的分界点坐标(Y ₁ ^’，Y ₂ ^’，Y ₃ ^’，Y ₄ ^’，Y ₅ ^’，Y ₆ ^’，Y ₇ ^’)分别为(31.2 cm, 36.8 cm, 42.5 cm, 48.1 cm, 53.8 cm, 59.5 cm, 65.1 cm)。

7)手指目标的确定：根据步骤6)所构建的虚拟触摸屏，可确定目标所在模块的指势范围。若判断得用户的手指尖停留在某一模块内，如下式：

X _i ^’ <X _fingertip < X _i+1 ^’且Y _j ^’ <Y _fingertip <Y _j+1 ^’ (i，j=1,2,…6)

则表示该用户正指向某一目标(灯)，同时相应的灯被点亮。由于X _fingertip=-12.2cm，Y_fingertip=50.4cm，因此得到：

X ₃ ^’(-13.7cm)<X _fingertip(-12.2)< X ₄ ^’(-8.1cm)且 Y ₄ ^’(48.1cm)<Y _fingertip(50.4cm)<Y ₅ ^’(53.8cm)

从而可知用户所指向的目标为第15号灯，开启第15号灯点亮，实际场景如图9方框部分所示。

Claims

1.一种基于虚拟触摸屏的非穿戴指势人机交互方法，其特征在于具体步骤如下：

1)启动非穿戴指势人机交互***，采集视频图像；

5)手指目标的行为确定；

6)虚拟触摸屏的构建；

2.根据权利要求1所述的基于虚拟触摸屏的非穿戴指势人机交互方法，其特征在于：所述步骤5)手指目标的行为判定的具体操作步骤如下：

3.根据权利要求1所述的基于虚拟触摸屏的非穿戴指势人机交互方法，其特征在于：所述步骤6)虚拟触摸屏的构建的具体操作步骤如下：

(6-2)虚拟触摸屏构建：根据步骤2)所获取的用户三维信息，确定人脸中心点的三维坐标X _head，Y _head，Z _head；同时，根据步骤4)所确定的手指尖，获取手指尖在深度Z方向的坐标值Z _fingertip，并根据步骤(6-1)所划分的手指屏的各个分界点坐标X _i(i=1，2，…，m+1)，Y _j (j = 1，2，…，n+1)，按下式计算手指屏各模块分界点在虚拟触摸屏上的对应点坐标X _i ^’，Y _j ^’,构建用户手指可触及的虚拟触摸屏。