CN102193631A - 可穿戴式三维手势交互***及其使用方法 - Google Patents

Abstract

本发明公开了一种可穿戴式三维手势交互***及其使用方法。本***由一个微型投影仪、一个普通摄像头和便携式电脑，一组简易标记组成。通过简易的计算机视觉计算，实现运用手势与三维图形界面进行人机交互的功能。本发明通过一种投影屏幕标记的三维图形界面方式和一种虚拟鼠标手势，使三维图形界面更加生动，交互方式更灵活。本发明设备简单、成本低，也能满足移动设备的要求。

Description

可穿戴式三维手势交互***及其使用方法

技术领域

本发明涉及的是一种可以穿戴的三维图形界面手势交互技术，具体地说是一种基于单目视觉与标记、使用手势进行人机交互的可穿戴式三维手势交互***及其使用方法。

背景技术

随着人们对自然交互的要求不断提高，通过手势进行人机交互已经成为主流趋势。为了达到随时随地都能进行虚拟数据的操作，可穿戴式计算机技术是解决此问题的一种可行的方法。随着微型投影仪的发展，微型投影仪成为移动设备标准配置已是不可逆的趋势。同时，人们也渐渐不满足于移动设备过小的显示屏幕。所以将界面投影到平面上来扩大屏幕大小成为研究热点。

对于可穿戴式计算机的研究，如；中国专利：其名称为“穿戴式计算机专用的微小型键盘”，申请号200410043913.8，此专利提供了一种穿戴式计算机专用的微小型键盘，体积小、结构简单，但是交互方式仍然是传统键盘式交互，不符合自然交互的要求。中国专利：其名称为“穿戴式输入装置”，申请号200920178274.4；中国专利：其名称为“一种手套式虚拟输入装置”，申请号200920204864.X。这些专利拜托传统鼠标键盘式的硬件束缚，实现设备虚拟化的目的，但是需要特制硬件的支持，不适合移动设备的要求。中国专利：其名称为“带有中文LINUX操作***的可穿戴式多媒体无线微型计算机”，申请号00107607.8，此专利使用人的自然语言进行人机交互，但是人们更加习惯使用手进行交互，故此专利不适合大规模商用推广。中国专利：其名称为“一种用于穿戴式计算机的人机交互头盔”，申请号200710023167.X，此专利提出一种具有视线跟踪功能，能通过配合语音实现对穿戴式计算机进行人机交互的头盔，能广泛应用于航空、航天、机械制造、电力、军事等不能彻底解放人的双手的应用领域，但是对硬件要求过高。

发明内容

鉴于以上所述现有技术存在的问题和不足，本发明的目的在于提供一种可穿戴式三维手势交互***及其使用方法，***结构简单，用户能通过手势对虚拟三维物体进行交互，三维界面生产具体。为达到上述目的，本发明的构思是：根据可穿戴式计算机技术要求，本发明包括便携式电脑（1）、摄像头（2）、微型投影仪（3）和彩色标记（4）。为了使摄像头拍摄的画面是用户看到的画面，故摄像头应靠近用户眼部，将摄像头戴在头上或者挂在胸前。为了使投影画面不被手所遮挡，微型投影仪应该戴在头部。并且为了使摄像头获得的画面与微型投影仪投出的实际画面，由于两者本身位置之间不同造成的几何失真不影响后面处理与降低程序的复杂性，应该使微型投影仪与摄像头尽量靠近，即两者到投影屏幕的距离与夹角尽量相同。微型投影仪与摄像头连接在一台便携式电脑上，此便携式电脑可以使用笔记本电脑，也可以使用智能手机。用户手指上需要带上彩色标记，在本发明中，左手的食指、拇指和小指和右手的食指、拇指需要带上不同的彩色标记。

微型投影仪与摄像头并无特别要求，目前市面上能够购得的均可。将摄像头与微型投影仪安置在帽子上，戴在头上，便携式电脑背在身后，这样便构成了穿戴式三维手势交互方法的硬件***。随着移动设备的发展，当微型投影仪也如同摄像头成为移动设备配置的时候，本***可以简化为单一的移动设备，做到一体化的要求。

根据上述发明构思，本发明采用下述技术方案：

一种可穿戴式三维手势交互***，包括便携式电脑（1）、摄像头（2）、微型投影仪（3）和彩色标记（4），其特征在于摄像头和微型投影仪安置在帽子上，使两者到投影屏幕的距离与夹角尽量相同，分别连接在一台便携式电脑上，并且在用户手指上需要带上彩色标记。

一种上述可穿戴式三维手势交互***的使用方法，其特征在于操作步骤为：

1）标记识别：通过摄像头（2）获得用户手指上彩色标记（4）的信息，通过图像分割获得其坐标信息；

2）动作识别：实时计算各个标记的运动向量以及各标记的位置关系，从而分析是何种动作指令；

3）响应输出：根据动作指令修改画面，并通过微型投影仪（3）投影到一个平面上，实现人机交互。

上述步骤1的标记识别，通过成熟的基于颜色的计算机图像处理技术，将摄像头拍摄到的实际图像进行分割，获得各个彩色标记的坐标信息。

上述步骤2的动作识别，本发明中的交互方式是手势交互，包括四类手势：多点触控手势、自由手势、混合手势和虚拟鼠标。多点触控手势就是如今最热门的多点触控的一系列手势，通过此类手势，可以自由缩放图像、移动图标等等。自由手势就是人们日常生活中的手势，例如左手做出一个“OK”手势，便能实现确认的操作；左手食指与右手食指交叉呈“X”形，就能实现取消的操作；两手撑平，左手在上，右手在下，左手拇指与右手食指相触，左手食指与右手拇指相触，摆出一个“取景”的手势，就可以将当前摄像头获得的画面保存起来，即拍照功能。混合手势就是通过左右手配合进行人机交互，左手控制三维变换，例如视角的选择等；右手控制平面变换，如画面的左右移动等。虚拟鼠标是本发明提出的一种手势。虚拟鼠标即将左手手掌作为鼠标使用。此手势是将左手撑开，手心面对摄像头，除拇指外的四个手指尽量弯曲，使得四个手指的手指甲在一直线上。此时左手食指与小指的彩色标记在一直线上，将食指上的标记作为左上角顶点，小指上的标记作为右上角顶点，向下做一正方形，在这正方形区域内即为控制区域，与图形界面上的坐标对应。并且此正方形区域在左手手掌之上，当右手食指在控制区域中移动时，可以接触手掌，即可看作为手掌心为控制区域。这样设计的优点是右手食指在进行移动的时候可以有借力的地方，能够使移动更稳，达到精确定位的效果。将在具体实施方式中，结合图进行具体说明。

上述步骤3的响应输出，将便携电脑中的图形界面通过微型投影仪投影到墙上、桌面等物理平面上。使用的图形界面不仅可以使用如今常规的二维图形界面，还可以使用三维图形界面。可以兼容如今商业三维界面，例如BumpTop和Real Desktop。本发明也提出一种利用投影屏幕标记实现三维界面的方法。投影屏幕标记即在原有的界面四个顶角上做绘制不同的标记再投射到投影屏幕上，这些标记就称为“投影屏幕标记”。由于人与投影平面法向量的夹角的不同，投影的画面会产生几何失真，然后再通过摄像头获得实际投影图像。根据四个标记和其视觉变换矩阵，计算出投影平面的方向向量，进而渲染出虚拟三维物体并投影到平面上；最后用户能通过手势对虚拟三维物体进行交互。这样随着用户的移动，即用户与投影平面法向量夹角的变化，将渲染不同的虚拟物体，但用户将产生虚拟物体犹如真实存在的感受。并且用户能通过手势对虚拟三维物体进行交互。将在具体实施方式中，结合图进行具体说明。

本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点：

本发明通过一种投影屏幕标记的三维图形界面方式和一种虚拟鼠标手势，使三维图形界面更加生动，交互方式更加灵活。本发明设备简单、成本低，能满足移动设备的要求。

附图说明

图1 本发明实施例的示意图；

图2 本发明实施例的流程示意图；

图3 虚拟鼠标示意图；

图4 投影屏幕标记示意图。

具体实施方式

以下结合附图对本发明的优选实施例作进一步的详细说明。

实施例一：如图1所示，可穿戴式三维手势交互***包括一台便携式电脑（1）、一个摄像头（2）、一台微型投影仪（3）和一些彩色标记（4）。本交互***对硬件要求低，微型投影仪和摄像头没有要求，故***成本低。为了使摄像头拍摄的画面是用户看到的画面，并且手部动作不影响投影效果，如图1所示，将微型投影仪和摄像头安置在帽子上。

实施例二：可穿戴式三维手势交互***的使用方法，如图2所示，其具体步骤如下：

①、标记识别；

②、动作识别；

③、响应输出。

上述步骤①所述的标记识别，是通过摄像头获得用户手指上彩色标记的信息，通过图像分割获得其坐标信息，其具体步骤如下：

(1)、获取关键帧画面。

(2)、对关键帧画面中的彩色标记进行图像分割，获得各个彩色标记的坐标，并计算各标记的相对位置作为手势。

上述步骤②所述的动作识别进行手势交互，其具体步骤如下：

(3)、是否是多点触控手势？是多点触控手势则转步骤（7），否则转步骤（4）。

(4)、是否是自由手势？是则转步骤（8），否则转步骤（5）。

(5)、是否是混合手势？是则转步骤（9），否则转步骤（6）。

(6)、是否是虚拟鼠标？是则转步骤（10），否则转步骤（1）。

步骤（6）中一种特殊的手势：虚拟鼠标，如图3所示，左手食指与小指的彩色标记在一直线上，将食指上的标记作为左上角顶点，小指上的标记作为右上角顶点，向下做一正方形，在这正方形区域内即为控制区域，即手掌心，与图形界面上的坐标对应。这样设计的优点是右手食指在进行移动的时候可以有借力的地方，能够使移动更稳，达到精确定位的效果。运用虚拟鼠标可以作为虚拟键盘输入文字，也可以在界面上精确地绘图。

上述步骤③所述的响应输出，根据动作指令修改画面，并通过微型投影仪投影到一个平面上，实现人机交互，其具体步骤如下：

(7)、根据彩色标记的不同手势，做出相应的多点触控操作，完成交互后转步骤（1）。

(8)、根据彩色标记的不同手势，做出相应的自由手势操作，完成交互后转步骤（1）。

(9)、根据彩色标记的不同手势，做出相应的混合手势操作，完成交互后转步骤（1）。

(10)、根据彩色标记的不同手势，做出相应的虚拟鼠标操作，完成交互后转步骤（1）。

本发明中可以使用普通二维图形界面，也可以使用三维图形界面。本实施例给出一种特殊的三维图形界面“投影屏幕标记”，如图4所示，在原有的界面四个顶角上绘制不同的标记再投射到投影屏幕上。由于人与投影平面法向量的夹角的不同，投影的画面将产生几何失真，然后再通过摄像头获得这些实际投影图像。根据四个标记和其视觉的变换矩阵：

；

其中，是世界坐标系(

,

,)到摄像头坐标系(,

,

)的变换矩阵。在

中

为选择矩阵，

为平移矩阵，

为透视变换矩阵。计算出投影平面的方向向量，进而渲染出虚拟三维物体并投影到平面上，最后用户能通过手势对虚拟三维物体进行交互。以往基于标记的增强现实***是摄像头位置固定，标记位置变动。而本发明中的投影屏幕标记是标记位置，即投影屏幕不动，摄像头移动。这样随着用户的移动，即用户与投影平面法向量夹角的变化，将渲染不同的虚拟物体，但用户将产生虚拟物体犹如真实存在的感受，比以往三维界面更加生动具体。并且用户能通过手势对虚拟三维物体进行交互。

Claims (5)

1.一种可穿戴式三维手势交互***，包括便携式电脑（1）、摄像头（2）、微型投影仪（3）和彩色标记（4），其特征在于摄像头和微型投影仪安置在帽子上，使两者到投影屏幕的距离与夹角尽量相同，分别连接在一台便携式电脑上，并且在用户手指上需要带上彩色标记。

2.一种根据权利要求1所述的可穿戴式三维手势交互***的使用方法，其特征在于操作步骤为：

①标记识别：通过摄像头（2）获得用户手指上彩色标记（4）的信息，通过图像分割获得其坐标信息；

②动作识别：实时计算各个标记的运动向量以及各标记的位置关系，从而分析是何种动作指令；

③响应输出：根据动作指令修改画面，并通过微型投影仪（3）投影到一个平面上，实现人机交互。

3.根据权利要求2所述的可穿戴式三维手势交互***的使用方法，其特征在于所述步骤①标记识别的具体操作步骤如下：

(1)、获取关键帧画面；

(2)、对关键帧画面中的彩色标记进行图像分割，获得各个彩色标记的坐标，并计算各标记的相对位置作为手势。

4.根据权利要求2所述的可穿戴式三维手势交互***的使用方法，其特征在于所述步骤②动作识别的具体操作步骤如下： 

(3)、是否是多点触控手势？是多点触控手势则转步骤（7），否则转步骤（4）；

(4)、是否是自由手势？是则转步骤（8），否则转步骤（5）；

(5)、是否是混合手势？是则转步骤（9），否则转步骤（6）；

(6)、是否是虚拟鼠标？是则转步骤（10），否则转步骤（1）；

步骤（6）中一种特殊的手势：虚拟鼠标，左手食指与小指的彩色标记在一直线上，将食指上的标记作为左上角顶点，小指上的标记作为右上角顶点，向下做一正方形，在这正方形区域内即为控制区域，即手掌心，与图形界面上的坐标对应；这样设计的优点是右手食指在进行移动的时候可以有借力的地方，能够使移动更稳，达到精确定位的效果；(3)、是否是多点触控手势？是多点触控手势则转步骤（7），否则转步骤（4）。

5.根据权利要求2所述的可穿戴式三维手势交互***的使用方法，其特征在于所述步骤③响应输出的具体操作步骤如下：

(7)、根据彩色标记的不同手势，做出相应的多点触控操作，完成交互后转步骤（1）；

(8)、根据彩色标记的不同手势，做出相应的自由手势操作，完成交互后转步骤（1）；

(9)、根据彩色标记的不同手势，做出相应的混合手势操作，完成交互后转步骤（1）；

(10)、根据彩色标记的不同手势，做出相应的虚拟鼠标操作，完成交互后转步骤（1）。

Images