CN104656890A - 虚拟现实智能投影手势互动一体机及互动实现方法 - Google Patents

Abstract

本发明公开了虚拟现实智能投影手势互动一体机，包括微型计算机、与微型计算机相连接的3D物体和人体动作探测装置、投影设备；3D物体和人体动作探测装置用于物体的感测，并进行三维物体和手势的识别，将识别信号输入至微型计算机，投影设备用于显示微型计算机需要显示的内容；一体机设置在墙壁上，具有感测手，手指，笔的三维动作; 感测手指和笔在平面（墙）上的2.5D运动，以及其他物体的三维感测；以及用投影实现虚拟和现实的融合，可以实现手和笔和显示出的2D界面的交互和3D虚拟物体的交互，在终端可以运行多种软件，该***解决了传统教学过程中电视和屏幕的显示设备伤眼睛以及沉迷于二维的显示中，没有人机之间的交互，影响大脑的发育的缺点。

Description

虚拟现实智能投影手势互动一体机及互动实现方法

技术领域

本发明公开了虚拟现实智能投影手势互动一体机及互动实现方法。

背景技术

当代家庭，物质生活很丰富。从刚生下来，到10来岁的孩子，家里都堆满了各种各样的玩具。儿童的教育和娱乐主要来自书籍和普通的玩具。很枯燥，占空间很大。淘汰和更新都比较麻烦。涂鸦是儿童的天性，但会损坏墙壁，浪费纸张。普通的玩具和书籍是死板的，无法帮助孩子开发想象和联想的能力。无法给孩子呈现一个生动地环境。孩子也很难自学。有条件的家庭，孩子都开始玩平板电脑，平板电脑以及上面的游戏教育软件给孩子一个比较现代的娱乐教育。但平板电脑孩子用起来很不方便。需要自己拿手捧着，或者趴在床上看。长时间近距离得看平板电脑的显示器也会损害儿童的视力。儿童用平板电脑等触摸的交互方式时只是虚拟的2维交互，和真实的三维交互非常不同，影响儿童手和大脑的发育。目前没有电子交互***可以让儿童能用超出2维触摸的方式进行交互基于显示屏的***(电视，平板电脑，显示屏+触摸框)有安全隐患：儿童近距离接触会击碎屏幕造成人身伤害，显示屏的辐射对健康不利，对视觉造成影响很多家长和幼教老师都在寻找新的教学方式。另外，目前的投影仪大都只是一种简单的投影显示设备。不是一种智能终端，没有操作***，也没有任何的人机交互方式。开始有智能投影仪出现，就只是先投影机上做出电视的功能。可以直接用投影仪看影视。

发明内容

针对上述技术缺陷，本发明提出虚拟现实智能投影手势互动一体机及互动实现方法，该装置用投影来做显示设备，把一面墙变成一个生动的世界；通过三维手势及物体识别相结合的智能***，使用者和电脑进行二维，二点五维和三维的互动，通过终端，可以利用现有的应用软件(比如安卓的现有软件)，也可以用为这个***专门开发的软件，本发明的装置解决了上面提到的所有问题， 提供全新的，现代化的娱乐，教育的平台。

为解决上述技术问题，本发明的技术方案如下：

虚拟现实智能投影手势互动一体机，包括微型计算机、与微型计算机相连接的3D物体和人体动作探测装置、投影设备；所述3D物体和人体动作探测装置用于物体的感测，并进行三维物体和手势的识别，将识别信号输入至微型计算机，投影设备用于显示微型计算机需要显示的内容；所述一体机设置在墙壁上。

进一步的，所述微型计算机在互动内容库中，根据识别信号对互动内容进行选择和执行，通过投影进行显示。

虚拟现实智能投影手势互动实现方法，包括如下步骤：

31)用户做标准动作，3D物体和人体动作探测装置进行三维手势识别，探测手和手指的三维信息；

32)3D物体和人体动作探测装置采集一段时间内的手和手指的运动信息，将其存储为模板；

33)用户做动作，3D物体和人体动作探测装置进行三维手势识别，探测手和手指的三维信息；

34)将步骤33)探测到的手和手指的三维信息和步骤32)中的模板进行比较，通过设定阈值来判断步骤33)中的动作与步骤31)的动作是否规范。

进一步的，当同一个标准动作记录了大量模板，用机器学习方法训练出运动模型，所述运动模型用于判断用户的手势动作是否规范。

进一步的，还包括建立三维渲染引擎和三维物理模拟引擎，从而建立虚拟三维世界，三维渲染引擎把虚拟三维世界转换为影像，利用微型计算机控制，通过投影设备进行显示，所述三维渲染引擎渲染包括手在内的虚拟现实世界中的所有物体；三维物理模拟引擎用来计算驱动虚拟三维世界中的物体的运动，模拟现实中的物体受力和运动；根据三维手势识别***探测出的手和手指的三维形态，在虚拟三维世界中建立三维的手部模型，通过三维物理模拟引擎计算手和虚拟物体的接触，改变虚拟三维物体的运动，实现手指与虚拟物体之间的互动。

进一步的，还包括识别物体的步骤，选择如下步骤的1种或者多种；

a)预先采集物体多个方向拍摄的二维图像，并在每张图像中都提取图像中的信息，将该信息保存于数据库，每种物体均同样采集多方向的图象，并保存于数据库中；采集用户物体的实时视频，视频是图片流，其中每一张图片用特征获取的方法转化为特征信息；在数据库中搜索最类似与用户物体的信息条，得到在t时刻最匹配的物体x_t，在之前,处理前n帧的时候得出了最匹配物体(x_t-n,x_t-n-1,…,x_t-1)，通过比较x_t和之前最匹配的序列，得到更稳定的匹配结果，物体y；当前图片的特征信息和数据库中物体y的各个不同方向的图片进行比较，找出最匹配的方向，并和前m帧得出的物体方向进行比较，得出更稳定的方向，

通过比较图中物体的大小和数据库中物体的大小得出物体的真实大小。

b)对于参考物体采集三维图像得到的是深度图，转化为三维空间点阵保存于数据库中，对于用户物体，同样采集深度图，与数据库中的物体进行匹配，找到最接近的物体和最接近的旋转角度。

c)将二维码图形贴在物体上，采用二维相机采集图像，通过识别二维码的序列号，得出物体的种类，分析二维码在图像中的位置和大小，旋转，变形来得出二维码在真实物理世界中的三维位置和三维方向，以此得出物体的三维位置和方向。

进一步的，三维手势识别包括墙面和地面自动检测方法，具体包括将实体标记物放置在3D物体和人体动作探测装置的识别区，3D物体和人体动作探测装置的成像传感器拍摄实体标记物的图像并识别标记，从而得到接触交互表面校准数据。

进一步的，3D物体和人体动作探测装置的三维交互方法包括使用面部识别和追踪算法来识别眼睛在感测装置的坐标系中的3D位置E(x,y,z)，识别手在感测装置的坐标系中的3D位置T(x,y,z)及手的动作，在校正阶段，3D物体和人体动作探测装置感测并记录投影后的屏幕在感测装置的坐标系中的3D信息，将眼睛的3D位置从感测装置的坐标系中转换到屏幕所使用的坐标系，以呈现虚拟3D对象，Es(x,y,z)，并将这些信息发送给微型计算机和3D交互应用，3D交互 式应用根据用户的眼睛的3D位置Es(x,y,z)呈现该虚拟3D对象，此外，3D物体和人体动作探测装置将手的3D位置从感测装置的坐标系转换到屏幕所使用的坐标系，以呈现虚拟3D对象Ts(x,y,z)，并将这些信息发送给微型计算机和3D交互应用，3D交互应用使用Ts(x,y,z)信息，以允许用户与虚拟3D对象进行交互。

本发明的有益效果在于：本发明的装置具有感测手，手指，笔的三维动作；感测手指和笔在平面(墙)上的2.5D运动，以及其他物体的三维感测，比如玩具；以及用投影实现虚拟和现实的融合，可以实现手和笔和显示出的2D界面的交互，和3D虚拟物体的交互，在终端可以运行多种软件，比如教育软件，娱乐软件管理教育，娱乐软件集，按年龄等分类的教育软件库，教育软件分发平台，教师和学生远程信息获取，内容更新和实时交互。该***解决了传统教学过程中电视和屏幕的显示设备伤眼睛以及沉迷于二维的显示中，没有人机之间的交互，会影响孩子的动手能力，影响大脑的发育的缺点。

附图说明

图1为本发明安装设置图；

图2为本发明结构以及原理框架图；

图3为本发明结构连接图；

图4为本发明安装设置及探测区域图；

图5为本发明探测流程图；

图6为基于深度图的识别方法流程图；

图7为多视角三维成像***的硬件设计；

图8为多视角三维成像***的硬件的另一种设计

图9为二维图像中提取手和手指的信息流程图；

图10为示意性示出了根据一示例性实施例的用于对于每一个成像传感器寻找前景对象和识别前景对象的二维结构的过程；

图11为是根据一示例性实施例的用于计算前景对象和前景对象的子部分的的三维信息的过程的高级流程图；

图12为显示了根据一示例性实施例的各个手指之间的关联；

图13为显示了关联两个骨架线的一个实施例；

图14为显示了根据一示例性实施例获得的3D骨架；

图15为显示了基于由两个不同的成像传感器拍到的两个2D图像中的手掌的2D边界所进行的对手掌的3D边界的计算；

图16为显示了手骨架计算的示例性输出；

图17为显示了一基于模型的架构；

图18为显示了根据一示例性实施例的通过检测标记来自动检测接触交互表面的过程的流程图；

图19为显示了根据一示例性实施例的用于自动检测和校准显示屏的过程的流程图；

图20为显示了根据一示例性实施例限定虚拟接触表面的过程的流程图；

图21为显示了根据一示例性实施例的用于将前景对象的3D信息转换成2.5D信息的过程的流程图；

图22为是用于确定前景对象和接触交互表面之间的距离d的过程的流程图；

图23为是根据一示例性实施例得到z’的过程的流程图；

图24为是根据一示例性实施例得到z’的过程的流程图；

图25为是根据一示例性实施例得到z’的过程的流程图；

图26为显示了使用接触交互表面的手写过程；

图27为显示了显示前景对象悬停的过程；

图28为示意性示出了用户与3D显示屏展现的3D内容进行交互的情形；

图29为记录和学习标准动作模板/模型的方法的流程图；

图30为采集用户动作，纠正用户动作方法的流程图；

图31为通过物理模拟，手直接和虚拟三维物体交互；

图32为增强现实的使用场景的示例图；

图33交互***数据库的建立的流程图；

图34为比较计算物体的种类，位置，方向，大小的方法流程图；

图35为增强现实的互动投影方法的流程图。

具体实施方式

下面将结合附图和具体实施例对本发明做进一步的说明。

如图1～图4所示，本方案包括有几个组成部分,即软件和硬件相结合

硬件部分是集成为一体的一个一体机盒子,其中包括:

垂直投影设备，凌指三维物体感测和动作输入设备，及小型电脑主板，有音响输出。一体机挂在墙的上方，向下投影。在下面的墙面和地面上成像或者放在墙角，向上投影，在上方的墙面上成像。

软件有以下几个部分

操作***(安卓)，三维手势识别算法软件(凌指***)，教育娱乐应用软件。

如图5所示，***能力：

–感测手，手指，笔的三维动作；感测手指和笔在平面(墙)上的2.5D运动。

–其他物体的三维感测，比如玩具；以及用投影实现虚拟和现实的融合。

–手和笔和显示出的2D界面的交互，和3D虚拟物体的交互

–可以运行多种软件，比如教育软件，娱乐软件

–管理教育，娱乐软件集，按年龄等分类的教育软件库，教育软件分发平台。

–教师和学生远程信息获取，内容更新，和实时交互。

三维物体和手势识别***方案包含特定的方法和图象采集硬件。

实现方法可以分为两类，

1.1一类是如图6所示，使用采集深度图(depth map)的硬件，比如基于结构光(structured light)的硬件，或者基于光子飞行时间(Time of Flight)的硬件，并使用处理深度图的算法来识别手和物体。

1.2另一类是使用多视角成像的硬件(multi-view camera,stereo camera)，并使用多视角成像的算法来识别手和物体。

1.2.1多视角三维成像***的硬件设计

感测装置可以包括多个成像传感器，如摄像头。成像传感器可以是可见 光成像传感器，其对可见光响应更灵敏，或红外(IR)成像传感器，其对红外光线更灵敏。感测装置还可以包括一个或多个照明源，根据成像传感器的类型提供各种波长的照明。照明源可以是，例如发光二极管(LED)或配置有散射器的激光器。在一些实施方式中，可以省略照明源并且成像传感器感测被对象反射的环境光或对象发出的光。

以下是几种实现方式：

如图7A和7B示意性示出了依据本公开具体实施方式的示例性感测装置300。感测装置300包括外壳302、多个成像传感器304、一个或多个照明源306。成像传感器304和一个或多个照明源306都形成于外壳302内或外壳302上。这样的设计在本公开中也称为一体化设计。

图7A中所示的感测装置300有一个照明源306，而图7B所示的感测设备300有六个照明源306。在图7A所示的示例中，照明源306被布置在成像传感器304之间，而在图7B所示的例子中，照明源306是均匀分布在外壳302上以提供更好的照明效果等，例如更广的覆盖范围或更均匀的照明。例如两个照明源306位于两个成像传感器304之间，两个照明源306位于外壳302的左半边，以及两个照明源306位于外壳302的右半边。

在本公开的附图中，照明源以LED为例来说明，正如上面所讨论的，也可以使用其他光源，如配置了散射器的激光器。

在一些实施方式中，需要红外光谱带宽内的照明。人裸眼可能看不到这种照明。在这些实施方式中，照明源306可以包括，例如发射红外光的LED。或者，照明源306可以包括发射包括可见光在内的更广频带的光的LED。在这样的情况下，每个照明源306可以例如在相应的照明源306前配置红外透射滤光器(图中未显示)。

在一些实施方式中，感测装置300可以还包括放置在成像传感器304前方的红外透射滤光器(图中未显示)，以过滤掉可见光。在一些实施方式中，感测装置300可以还包括放置在成像传感器304前面的镜头(图中未显示)，用来聚焦光。红外透射滤光器可放置在镜头前，或在镜头和成像传感器304之间。根据本公开的具体实施方式，感测装置300可以还包括控制电路(图中未显 示)。控制电路可以控制成像传感器304的操作参数，例如快门持续时间或增益。控制电路也可以控制两个或多个成像传感器304之间的同步。此外，控制电路可以控制照明源306的照明亮度，照明源306的开/关或照明持续时间，或照明源306和成像传感器304之间的同步。控制电路也可以执行其他功能，例如，电源管理、图像数据获取和处理、数据到其他设备(如计算机104)的输出，或来自其他设备(如计算机104)的命令的接收。

在一些实施方式中，感测装置300可以还包括配置为开/关或重置感测装置300或强制进行环境重校准的一个或多个按钮。例如一个按钮可以被配置为允许用户强行启动手动校准过程，以校准接触交互表面。

在一些实施方式中，感测装置300可以还包括显示感测装置300状态的一个或多个指示灯，例如显示出感测装置300是否打开或关闭，是否在执行环境校准，还是执行触交互表面校准。

在一些实施方式中，感测装置102可以具有多个分离单元，每个分离单元各有一个成像传感器。以下，这样的设计也称为分体设计。图8显示了根据本公开具体实施方式的示例性的具有分体设计的感测装置500。感测装置500包括两个感测单元502和504，每个感测单元具有一个成像传感器304和一个或多个照明源306。在图5所示的实施例中，感测单元502具有一个照明源304，而感测单元504具有两个照明源306。感测单元502和504可以都具有控制电路，用来控制相应的感测单元的操作。

1.2.2多视角三维成像***的算法设计

1.2.2.1从每个二维图像中提取手和手指的信息

图9示意性示出了根据本公开具体实施方式的用于每个成像传感器304的找到前景对象并识别前景对象的2D结构的过程。在图9中所示的实施例和相关图像中，讨论的是前景对象是用户的手的情形。获得输入图像之后，执行以下：1)找到前景对象(1606)，2)分析前景对象的子结构(1608和1610)，3)分析前景对象(1612和1614)的详细性质。如下描述该过程的细节。在1606，比较来自成像传感器304的新的输入图像与背景模型，以提取前景区域。如图10所示，在1608，在前景区域内，在每个像素位置(x,y)处计算：像素是 指尖一部分的概率P_tip(x,y)，像素是手指主体(finger trunk)一部分的概率P_finger(x,y)，以及像素是手掌一部分的概率P_palm(x,y)。

在一些实施方式中，概率P_tip(x,y)，P_finger(x,y)和P_palm(x,y)可以通过将在像素位置(x,y)周围的相邻区域内的亮度分布与一组预定义模板(如指尖模板、手指主体模板或手掌模板)进行比较来计算。像素是指尖、手指主体或手掌一部分的概率，即P_tip(x,y)、P_finger(x,y)或P_palm(x,y)，可以由相邻区域多大程度上适合各自的模板(即手指指尖模板、手指主体模板或手掌模板)来定义。在一些实施方式中，概率P_tip(x,y)、P_finger(x,y)和P_palm(x,y)可以通过在像素位置(x,y)的相邻区域执行函数/算子F来计算。函数/算子将相邻区域的亮度与手指或指尖的光反射模型进行拟合，如果分布接近手指主体的反射(柱形反射)或指尖的反射(半圆顶形反射)，将会返回高值。

在1610，概率P_tip(x,y)、P_finger(x,y)和P_palm(x,y)的计算用于划分前景对象，例如用户的手分为手指和手掌。图21显示了划分的结果。在图21中，阴影的区域是手指，而白色区域是手掌。概率P_tip(x,y)、P_finger(x,y)和P_palm(x,y)以及划分结果可以用来计算手的结构，包括手指骨架信息。如在本公开中所用，手指骨架是对手指结构的抽象。在一些实施方式中，手指骨架信息可以包括，例如手指的中心线(也称为骨架线)、指尖的位置和手指的边界。

在一些实施方式，用户的手被分成手指和手掌后，可以获得手的子部分(例如手指或手掌)的2D边界。在1612，手指的中心线通过寻找和连接横跨整个手指的扫描线上的中心位置来计算。正如在此使用的，扫描线指在执行寻找中心位置过程中顺沿的那条线。扫描线可以是例如水平线。在一些实施方式中，对于手指中的扫描线L(y)，使用概率P_finger(x,y)作为权重因子来计算水平线L(y)上的每个像素(x,y)的位置x的加权平均值。在扫描线L(y)上，所述位置x的加权平均值是中心位置，x_center＝C(y)，当手指上所有的扫描线被处理后，得到扫描线L(y)上一系列中心位置C(y)。连接这些中心位置提供了手指中心线，即手指骨架的中心线。图23示意性示出了手指的中心线。 同样在1612，计算指尖的位置(Tx,Ty)。指尖的位置可以限定为与指尖的形状和阴影相匹配的手指顶部区域的位置。在一些实施方式中，指尖的位置可以通过使用概率P_tip(x,y)作为权重因子来平均指尖中所有像素的位置来计算得到。例如

$\mathrm{Ty}=\frac{\underset{y}{\mathrm{\Σ}}\underset{x}{\mathrm{\Σ}}P\_\mathrm{tip}(x,y)*y}{\underset{y}{\mathrm{\Σ}}\underset{x}{\mathrm{\Σ}}P\_\mathrm{tip}(x,y)}$

在其他实施例中，指尖的位置可以通过使用的概率P_finger(x,y)作为权重因子来平均手指顶部区域的像素的位置来计算。在生成的指尖位置(Tx,Ty)中，Tx和Ty都是浮点数字，具有亚像素分辨率。

1.2.2.2融合多个视角/相机得到的二维信息来得到三维信息

如图11显示了根据本公开具体实施方式的计算前景对象和前景对象子部分的3D信息的过程的高阶流程图比较来自不同成像传感器304的2D子结构结果(如手指或手掌)，并且创建由不同的成像传感器304观测到的各前景对象的子部分之间的关联。例如，由成像传感器A观测到的手指A可与由成像传感器B观测到的手指C有关。在一些实施方式中，关联可以基于最小化所有手指对之间的总指尖距离做出，如图12所示。如图12所示的实施例，左半部分和右半部分分别显示被两个不同的成像传感器304拍摄到的手(即前景对象)的2D图像。再次参考图11，在2504，已关联子部分的特性(如2D指尖、2D骨架线和2D边界点)进一步关联，以分别获得指尖对、骨架线对和边界点对。图13示意性示出了将第一成像传感器304拍摄的在第一2D图像(左上图像)中的第一手指的2D骨架线以及第二成像传感器304拍摄的在第二2D图像(右上图像)中的第二手指的2D骨架线关联起来的实施例。关联的结果是得到了骨架线对的图像(底部图像)。再次参考图11，在2506、2508和2510中，计算3D骨架线、3D指尖和3D边界点(如手、手指或手掌的3D形状)，更多细节分别在下面详述。在2506，处理一指尖对T1(Tx1，Ty1)和T2(Tx2，Ty1)来获得3D信息，如相应指尖的3D位置T(Tx,Ty,Tz)。在一些实施方式中，3D再投影(reprojection)函数可用于计算3D指尖位置T(Tx,Ty,Tz)。3D再投影函数可使用指尖的2D位置(Tx1，Ty1)和(Tx2，Ty1)，以及成像传感器 304和透镜的信息，例如焦距、感测装置的间距(如每毫米像素数)、两个成像传感器304的距离(基线)。在一些实施方式中，算出间距d＝Tx1–Tx2作为3D再投影函数的输入来使用。3D再投影函数的输出是指尖的3D位置(Tx,Ty,Tz)。3D位置(Tx,Ty,Tz)可以有物理单位，从而也可以表示为(fx,fy,fz)。

在一些实施方式中，3D再投影函数可以使用在成像传感器校准过程中获得的4×4透视变换矩阵来表示。这个矩阵可是间距对深度(disparity-to-depth)的映射矩阵。在2508，使用如上所述获得的骨架线对，计算对应的手指的3D骨架线。在一些实施方式中，对于骨架线对，两个二维骨架线上的各像素根据其y方向匹配，以获得像素对。像素对可以类似上面描述的对指尖对的处理方式来处理，以获得对应像素对的点的3D位置，如图28所示。在处理完所有像素对后，由此产生的点连接起来以获取3D骨架线，如图14所示。回到图11，在2510，基于两个不同的成像传感器304拍摄的图像上的边界点的2D位置，计算例如手指或手掌的边界点的3D位置。在一些实施方式，边界点的3D位置的计算方式可以类似于指尖的3D位置的计算方式。在计算边界点的3D位置后，3D空间中的对应点可以连接起来以获得3D边界。

图15显示了基于由两个不同的成像传感器304拍摄的两个2D图像中的手掌的2D边界的手掌的3D边界的计算。

如上所述获得的信息可以组合，以生成输出，例如图16所示的示例性输出，它显示了手指的3D指尖(图30中的圆圈)、手指的3D骨架线(图30中的线)以及手的3D形状。

对于某些应用程序，如绘画和雕塑，用户可能需要使用手指或钢笔作为工具。在这样的情况下，手指或钢笔可能需要被抽象为圆柱形，而且可能需要计算它的方向和长度。再次参考图11，在2512，计算手指的方向和长度。

在一些实施方式中，将手指抽象为圆柱形，而且它的长度定义为圆柱形的长度，这也可以称为手指圆柱长度。手指圆柱长度可被限定为手指骨架线的顶端点或指尖位置P0(x,y,z)与停止点P1(x,y,z)之间的距离。在一些实施方式中，停止点P1是骨架线的终点或骨架线从直线偏离的位置处(例如骨架线与直线的差值大于阈值的位置处)的点。同样，手指的方向可被定义为连接两点P1和P0的线 的方向。

在2514，计算手掌的3D位置和取向。手掌的3D位置也可以被称为手掌的3D中心，这可通过例如平均化边界点(如图14所示)的3D位置来获得。图17示意性示出了计算出的手掌的3D中心。

手掌的尺寸和取向可以通过比较手掌3D的中心、手掌的边界点的3D位置、指尖的3D位置以及手指的方向获得。根据本公开的具体实施方式，基于模型的架构可以适用于任意数量的视图，无论是一个视图、两个视图或更多的视图。图16显示了两个视图的情形。如下对根据一些具体实施方式的基于模型的框架的细节进行描述。对于每个视图，执行2D手结构分析(在以前的架构中描述过)。2D手结构分析产生2D手结构(也称为新的2D手结构)，包括2D手骨架。类似于手指骨架，手骨架是指对手的结构的抽象。然后通过结合上次的2D手结构(在上一次更新获得的)和新的2D手结构(在如上所述的当前更新获得的)来实施追踪。追踪过程包括：1)对之前的结果应用过滤器，以“预测”预测的2D手结构；2)使用关联方法，以结合新的2D手结构与预测的2D手结构；3)使用结合得到的新结果，更新过滤器。这种跟踪过程可生成平滑的骨架位置，不会受视图中突然失去手指的影响，并可以提供一致的手指ID。正如本公开中所使用的，手指ID是指分配给感测到的手指的ID。手指一旦分配到手指ID，即使在更新后不可见，那只手指将仍携带相同的手指ID。例如在一次更新中，中指和食指被感测到。中指被分配到手指ID“手指#1”而食指被分配手指ID“手指#2”。在整个过程中，两者都带着分配到的手指ID，即使当其中一个或两个在之后的更新中不可见。

在一些实施方式中，对3D手模型执行过滤，产生平滑的3D的效果，包括3D手骨架，这会被重投射以在每个视图上创建投射的2D的手骨架。

然后，对于每个视图，新的2D手骨架和投射的2D骨架组合来获得各个手指ID之间的关联。

然后，两个视图的2D结果结合起来以计算手的新的3D位置和新的3D手指骨架。最终结果用作新的3D手模型，这可用于下次更新。

墙面和地面自动检测方法：

可以自动或者半自动的检测出墙面的三维位置方向，地面的三维位置方向。 检测地面和墙面的三维位置和方向信息之后，对下一步的投影显示有重要的作用，可以使投影效果更佳精确。对下一步的人机交互也起重要作用：可以得出物体，及用户的头和手相对于虚拟的三维场景中的位置；可以进行虚拟触摸操作。

如果***使用的成像硬件***是三维成像***(可以直接得出深度图的结构光***或者光子飞行时间***)，那么检测墙面和地面的方法是：

将深度图(depth map)转化为三维点云(3D point cloud)。

通过平面拟合算法，及随机抽样一致性算法(RANSAC)，来得到一致性最强的两个平面，这两个平面就是地面和墙面。

如果***是多视角成像***，有以下几种方法探测墙面和地面使用标注图。

一个方法是使用实体标记物，比如打印在纸上的棋盘格，或二维码，如图18显示了根据本公开具体实施方式用于通过检测标记自动检测接触交互表面的过程的流程图。使用本公开上面描述的方法创建标记。如图18所示，在3902，用户在环境中如在一张桌子上放置了带有这样标记的一张纸。在3904，交互式***100使用成像传感器304拍摄纸的图像并识别标记。在一些实施方式，交互式***100记录图像中标记的3D位置。在3906，交互式***100基于标记的3D位置计算纸的3D位置、取向、大小。计算结果保存为接触交互表面校准数据。另一种方式是使用显示装置，比如投影设备在地面和墙面上投射二维图形，比如棋盘格，或者二维码。

图19显示了根据本公开具体实施方式的用于自动检测和校准显示屏—例如显示器114—的屏幕并使用显示屏表面作为接触互动表面的过程的流程图。如图19所示，在4002，交互式***100在显示屏幕上显示2D代码，如校验板，如图20所示。在4004，交互式***100使用不同的成像传感器304拍摄图像。在4006，交互式***100识别2D代码中的标记，并记录在每一图像中的标记的2D位置。在4008，交互式***100计算标记的3D位置、取向和大小，并导出和记录显示屏的尺寸、3D位置和3D取向。在4010，交互式***100显示表面的位置、方向和大小。之后，交互式***100可以检测用户在显示屏上的接触交互。让用户帮助***探测墙面和地面的信息：

图20显示了根据本公开具体实施方式的定义虚拟接触表面的过程流程图。虚拟接触表面可限定为在键盘上方、并在用户和显示屏之间，并且用户可以在空中与虚拟的接触表面交互作用，以控制计算机104。如图20所示，在4202，交互式***100指示用户“接触”所限定的虚拟接触表面的四个角点，如示意图20所示。在4204，交互式***100检测到用户手的3D位置。在4206，交互式***100记录四个角点的位置。在一些实施例中，为了记录角点的位置，交互式***100可以指示用户使用交互设备，例如键盘或鼠标，在图形用户界面输入命令，同时保持他/她的手的3D位置。该命令例如可以通过敲击键盘上的按键或点击鼠标的按钮输入。

交互式***100记录四个角点的位置，在4208，交互式***100计算和记录虚拟接触表面的尺寸、3D位置和3D取向。然后交互式***100可以显示虚拟触摸表面的位置、方向和大小。

正如本领域的普通技术人员可以认识到的，三个点足以定义一个平面。因此，如果虚拟触摸表面是平面，只需要三个角点来定义该虚拟触摸表面。然而，这三个角点可以与第四角点一起使用来定义一个四边形作为交互区域。虚拟触摸表面和交互式区域被定义之后，交互式***100将只检测和响应于对象在该交互区域内部或上方的动作。

当手动定义第四角点时，用户有时未必容易“触摸”到由其它三个角点定义的平面内的点。在一些实施例中，用户的触摸点在平面上的垂直投影可以用作第四角点。在一些实施方式中，用户的手作为前景对象。交互式***100使用手的3D追踪信息(例如，指尖的3D位置和手指的3D圆柱方向和长度信息)和环境校准数据执行3D到2.5D的转换，以便获得2D信息，例如根据上面描述的方法限定的从指尖到接触交互表面的距离、以及手指垂直于接触交互表面的方向。

图21显示了根据本公开具体实施方式的用于将前景对象(如手或手指)的3D信息转换为2.5D信息的过程流程图，在4402，基于接触交互表面的位置和方向计算接触交互表面的3D信息。接触交互表面的3D信息可以包括，例如接触交互表面的中心及垂直于接触交互表面的方向。在4404，前景对象的3D位置 (x,y,z)投射到接触交互表面上，其中包括如从前景对象到接触交互表面的距离d以及接触交互表面上的投射点的2D位置的计算。接触交互表面上的投射点的2D位置可以使用定义在接触交互表面的2D坐标***上的x’和y’坐标表示。在4406，接触交互表面上的投影点的2D位置(x’,y’)和接触交互表面的尺寸，用于将接触交互表面上的投影点的2D位置(x’,y’)换算到定义在显示器114屏幕上的2D坐标系的2D位置(x”,y”)。由于上述过程，前景对象的3D位置(x,y,z)转换为在显示器114屏幕上的2D位置(x”,y”)以及前景对象和接触交互表面之间的距离d。图22显示了根据本公开具体实施方式的用于确定前景对象和接触交互表面之间的距离d的过程的流程图。如上所述，在环境校正阶段，环境校准数据被记录下来，包括用来定义接触交互表面的校准点的位置，即，P1(x1,y1,z1)，P2(x2,y2,z2)，等等。在4502，这种环境校准数据和前景对象的3D位置(x,y,z)被用来寻找在接触交互表面上最接近前景对象的位置为(x’,y’,z’)的点。然后将位置(x’,y’,z’)与位置(x,y,z)比较来确定距离d(4504)。

图23是根据本公开具体实施方式的用于寻找z’的过程的流程图。在图23所示的实施例中，接触交互表面可以使用多项式曲面拟合方程来估算:

a*x+b*y+c*z+d+e*x^2+f*y^2+…＝0

在4602，所有的校准点的位置代入以下误差函数来获取误差值:

err＝sum[sqr(a*x+b*y+c*z+d+e*x^2+f*y^2+…)]

在一些实施方式，用回归方法找到使误差值“err”最小化的最佳参数值a，b，c，d，e，f…。在4604，前景对象的x,y坐标(具有(x,y,z)的3D位置)代入到多项式曲面拟合方程，在给定的x和y的情况下，计算z’。

图24显示了根据本公开具体实施方式的用于获得z’的过程的流程图。图24所示的实施例中，使用高斯过程回归的机器学***面或不接***面，或者其环境测量数据不是很统一。

图25显示了根据本公开具体实施方式的用于寻找z’的过程的流程图。图25所示的实施例中，使用表面点云(surface point cloud)的方法。在4802，根据环境校准数据从点云重建3D接触交互表面。在4804，基于重建表面，计算在位置(x,y)处的表面z’值。根据本公开具体实施方式获得的2.5D信息，如前所述，可用于各种应用程序。

例如图26显示了使用接触交互表面进行手写的过程。在4902，指尖的3D位置被跟踪。在4904，获得的指尖的3D位置(x,y,z)被转换为2.5D信息x’，y’和d。在4906，确定d是否小于阈值距离。如果是，接触/拖动事件被记录(4908)。如果d不小于阈值距离，事件被释放(4910)。

图27显示了前景对象如用户的手指在键盘上的键的上方悬停的过程。在5002，键盘上的键被识别，并且每个键的3D位置被感测和记录。在5004，用户手指的3D位置与键的位置相比较，确定手指悬停在哪个键上方以及手指和那个键之间的距离。在5006，UI显示在显示器114的屏幕上，以表示手指悬停在那个键上方以及手指和那个键有多远的距离。

如上所述，交互式***100可以追踪用户手或手指的位置。在一些实施方式中，交互式***100还追踪用户眼睛的位置，并结合眼睛的位置信息及手或手指的位置信息，用于3D/2D输入。

三维交互算法：

1)把三维手的位置变换成显示中的三维场景中的位置。2)(可选功能)***也有识别用户头部三维位置和方向的能力，通过头部信息和手部信息的结合，可以更精确的计算出手在虚拟三维场景中的位置

3)实现和虚拟三维物体的交互。比如选取，移动，旋转，组装多个物体等。

图28示意性示出了用户与3D显示屏5402所呈现的3D内容(如虚拟3D对象5404)交互的情形。在一些实施方式中，交互式***100使用面部识别和追踪算法来识别眼睛在感测装置102的坐标系中的3D位置E(x,y,z)。手追踪方法，如上面描述的方法之一，用于识别手5104在感测装置102的坐标系中的3D位置T(x,y,z)及手5104的动作。

在校正阶段，交互式***100感测并记录屏幕5402在感测装置102的坐标系中 的3D信息。这些信息可以包括例如屏幕5402的3D位置和3D取向、屏幕5402的尺寸(如宽度和高度)。交互式***100将眼睛5204的3D位置从感测装置102的坐标系中转换到屏幕5402所使用的坐标系，以呈现虚拟3D对象5404，Es(x,y,z)，并将这些信息发送给操作***和3D交互应用。

3D交互式应用根据用户的眼睛5204的3D位置Es(x,y,z)呈现该虚拟3D对象5404。此外，交互式***100将手5104的3D位置从感测装置102的坐标系转换到屏幕5402所使用的坐标系，以呈现虚拟3D对象5404，Ts(x,y,z)，并将这些信息发送给操作***和3D交互应用。3D交互应用使用Ts(x,y,z)信息，以允许用户与虚拟3D对象5404进行交互。

把检测到的用户手的三维状态和模板进行比较：

比如教儿童握筷子的应用软件，通过比较用户的手型和正确的手型，来纠正用户的使用方式)。

比如教用户如何弹钢琴的算法：先让老师弹钢琴，用三维手势识别***记录弹琴过程中手和手指的三维运动过程。然后当学生弹钢琴的时候，用三维手势识别***识别学生的手和手指的三维运动过程。比较学生和老师的手运动方式的不同之处。然后纠正学生的弹琴方式，可以即时给予反馈，也可以以后再显示整个过程中的不同之处。

具体实现方法，如图29和图30：

标准动作的模板可以由用户比如教师手动设定：设定手和手指在三维空间中的运动时间序列。(在时间t1，手的位置x_t1,y_t1,z_t1，手指1的位置x1_t1,y1_t1,z1_t1，手指2的位置x2_t1,y2_t1,z2_t1,…；在时间t2，手的位置x_t2,y_t2,z_t2，手指1的位置x1_t2,y1_t2,z1_t2，手指2的位置x2_t2,y2_t2,z2_t2,…；在时间t3的时刻….)

标准动作的模板也可以首先让某个用户，比如教师，做标准动作，同时用三维手势识别***来探测规范的动作，并记录一段时间内手和手指三维动作的序列；存储下探测出的运动序列作为模板。

对于同一个动作可以只采集一个模板。也可以采集多个模板。

如果对同一个标准动作记录了大量模板，下一步用机器学习方法训练出运动模 型，用于判断用户的手势动作是否规范。

当用户做动作的过程中，用三维手势识别***识别和记录用户手和手指的三维动作过程。

然后比较用户的动作和标准动作模板，或者标准动作模型；以判断用户的动作是否规范。如果用户的动作与模板动作的不同小于预先设定的阈值，则判断用户的动作是规范的，反之则是不规范的。然后需要通过视频，图片，文字或者声音的方式提示用户改正。

如图31所示，把三维手的模型和三维虚拟物体都放入一个物理模拟引擎中，实现手和虚拟物体直接交互。优点是直观，直接的三维交互体验。

建立三维渲染引擎，和三维物理模拟引擎，建立虚拟三维世界。三维渲染引擎把虚拟三维世界转换为影像，显示在显示设备上，比如投影到墙上。三维物理模拟引擎用来驱动虚拟三维世界中的物体的运动，模拟现实中的物体受力和运动，比如物体受重力影响的运动，多个物体的碰撞等。

根据三维手势识别***探测出的手和手指的三维形态，在虚拟三维世界中建立三维的手部模型。

三维渲染引擎渲染包括手在内的虚拟现实世界中的所有物体。

三维物理模拟引擎计算手和虚拟物体的碰撞，通过碰撞点的位置，碰撞力的方向和大小，来改变虚拟三维物体的运动。

如图32所示，增强现实的交互

1)通过三维识别探测出物体的类型(比如放在地上的汽车玩具)，大小，三维位置和方向。

或者通过贴在物体上的二维码(可以是普通的人眼可见的二维码，也可以是人眼不可见，但是红外光波段可见的二维码)，来识别物体的种类，代号，大小，和方向。

2)通过物体类型，在墙壁和地面上投影出相关的场景。比如，如果是赛车玩具车，投影出赛道在地上。如果是救火车，在地上投影家庭小区的路面，在墙壁上投影出正在着火的房子。增加玩具的真实性，趣味性，和学习性。

3)通过检测物体的三维形态和用户的动作，改变输出程序状态和输出画面。 比如，如果用户拉起救火车的消防梯，就投影出喷出水柱，并减小火势。增加玩具的真实性，趣味性，和学习性。

4)投影在用户放进场景的物体上，来改变物体的样子。比如投影虚拟的消防员到消防车的云梯上，让用户看到消防员爬上云梯。比如在训练用户弹钢琴的时候，投影标准动作的手型到用户的手上。增加玩具的真实性，趣味性，和学习性。

探测物体的类型，三维大小，位置，和方向：

***有一套可识别物体的数据库。数据库中包含物体的二维或三维图象和结构信息。在用户使用时，***采集二维或三维图形。和数据库中的信息进行比较，找出匹配的物体，和还原出物体的三维位置和三维方向。可以有多种实现方案：

方案1：如图33～图34所示，二维的图象采集。预先采集物体多个方向拍摄的二维图像。并在每张图像中都提取图像中的信息：比如轮廓，边界线,SIFT feature等计算机视觉的特征信息。保存于数据库。每种物体都同样采集多方向的图象，保存与数据库。数据库中包含了多种物体，每种物体在不同角度的图象和特征信息。在使用过程中，采集的是用户物体的实时视频。视频是图片流，其中每一张图片用同样特征获取的方法转化为特征信息。比如现在正在处理的是视频中的第k振。在数据库中搜索最类似与用户物体的信息条。得到在t时刻最匹配的物体x_t.在之前,处理前n帧的时候得出了最匹配物体(x_t-n,x_t-n-1,…,x_t-1)。通过比较x_t和之前最匹配的序列，得到更稳定的匹配结果，物体y.比如用出现次数最多的物体类型。前图片的特征信息和数据库中物体y的各个不同方向的图片进行比较，找出最匹配的方向，并和前m帧得出的物体方向进行比较，得出更稳定的方向。比如用Kalman filter。1.5)通过比较图中物体的大小和数据库中物体的大小得出物体的真实大小。

方案2：对于参考物体采集三维图像(比如使用结构光图像采集***，或者光子飞行时间深度图采集***)，得到的是深度图。转化为三维空间点阵(3D Point Cloud)，存储与数据库中。

对于用户物体，同样采集深度图，与数据库中的物体进行匹配，找到最接近的 物体和最接近的旋转角度，然后计算出用户物体的位移。

方案3：将二维码图形贴在物体上。***采用1个二维相机采集图像。通过识别二维码的序列号，得出物体的种类。通过分析二维码在图像中的位置和大小，旋转，变形来得出二维码在真实物理世界中的三维位置，和三维方向。以此得出物体的三维位置和方向。

如图35所示，根据物体的类型，在墙面和地面上投影出相对应的场景：

1)对于每种物体，预先制作好相应的多媒体内容，比如图象，视频，三维场景模型，或者是一个可执行的程序，比如游戏，放于内容库中。

2)在步骤1)里已经识别出物体的类型，三维位置和方向。根据物体类型，从内容库中调出相应的内容，并显示相应的内容，比如投影到地面和墙面上。内容可以是动态的，比如是一个视频，一个可执行的程序，游戏等，把内容变为开始状态，开始执行其中的逻辑。

3)把物体的三维位置，三维方向，和用户手的三维动作等信息实时传递给内容中的逻辑/程序。内容中的逻辑/程序做出反应，更新程序状态，并更新显示在地面和墙面上的背景内容。

4)内容中的逻辑/程序根据用户肢***置，物体的三维位置，可以计算出它们在投影设备的视角上的二维形状。据此投影信息到用户的身体上和物体上。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明构思的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明保护范围内。

Claims (8)

1.虚拟现实智能投影手势互动一体机，其特征在于，包括微型计算机、与微型计算机相连接的3D物体和人体动作探测装置、投影设备；所述3D物体和人体动作探测装置用于物体的感测，并进行三维物体和手势的识别，将识别信号输入至微型计算机，投影设备用于显示微型计算机需要显示的内容；所述一体机设置在墙壁上。

2.根据权利要求1所述的虚拟现实智能投影手势互动一体机，其特征在于，所述微型计算机在互动内容库中，根据识别信号对互动内容进行选择和执行，通过投影进行显示。

3.虚拟现实智能投影手势互动实现方法，其特征在于，包括如下步骤：

31)用户做标准动作，3D物体和人体动作探测装置进行三维手势识别，探测手和手指的三维信息；

32)3D物体和人体动作探测装置采集一段时间内的手和手指的运动信息，将其存储为模板；

33)用户做动作，3D物体和人体动作探测装置进行三维手势识别，探测手和手指的三维信息；

34)将步骤33)探测到的手和手指的三维信息和步骤32)中的模板进行比较，通过设定阈值来判断步骤33)中的动作与步骤31)的动作是否规范。

4.根据权利要求3所述的虚拟现实智能投影手势互动实现方法，其特征在于，当同一个标准动作记录了大量模板，用机器学习方法训练出运动模型，所述运动模型用于判断用户的手势动作是否规范。

5.根据权利要求3或4所述的虚拟现实智能投影手势互动实现方法，其特征在于，还包括建立三维渲染引擎和三维物理模拟引擎，从而建立虚拟三维世界，三维渲染引擎把虚拟三维世界转换为影像，利用微型计算机控制，通过投影设备进行显示，所述三维渲染引擎渲染包括手在内的虚拟现实世界中的所有物体；三维物理模拟引擎用来计算驱动虚拟三维世界中的物体的运动，模拟现实中的物体受力和运动；根据三维手势识别***探测出的手和手指的三维形态，在虚拟三维世界中建立三维的手部模型，通过三维物理模拟引擎计算手和虚拟物体的接触，改变虚拟三维物体的运动，实现手指与虚拟物体之间的互动。

6.根据权利要求5所述的虚拟现实智能投影手势互动实现方法，其特征在于，还包括识别物体的步骤，选择如下步骤的1种或者多种；

a)预先采集物体多个方向拍摄的二维图像，并在每张图像中都提取图像中的信息，将该信息保存于数据库，每种物体均同样采集多方向的图象，并保存于数据库中；采集用户物体的实时视频，视频是图片流，其中每一张图片用特征获取的方法转化为特征信息；在数据库中搜索最类似与用户物体的信息条，得到在t时刻最匹配的物体x_t，在之前,处理前n帧的时候得出了最匹配物体(x_t-n,x_t-n-1,…,x_t-1)，通过比较x_t和之前最匹配的序列，得到更稳定的匹配结果，物体y；当前图片的特征信息和数据库中物体y的各个不同方向的图片进行比较，找出最匹配的方向，并和前m帧得出的物体方向进行比较，得出更稳定的方向，通过比较图中物体的大小和数据库中物体的大小得出物体的真实大小。

b)对于参考物体采集三维图像得到的是深度图，转化为三维空间点阵保存于数据库中，对于用户物体，同样采集深度图，与数据库中的物体进行匹配，找到最接近的物体和最接近的旋转角度。

c)将二维码图形贴在物体上，采用二维相机采集图像，通过识别二维码的序列号，得出物体的种类，分析二维码在图像中的位置和大小，旋转，变形来得出二维码在真实物理世界中的三维位置和三维方向，以此得出物体的三维位置和方向。

7.根据权利要求5所述的虚拟现实智能投影手势互动实现方法，其特征在于，三维手势识别包括墙面和地面自动检测方法，具体包括将实体标记物放置在3D物体和人体动作探测装置的识别区，3D物体和人体动作探测装置的成像传感器拍摄实体标记物的图像并识别标记，从而得到接触交互表面校准数据。

8.根据权利要求5所述的虚拟现实智能投影手势互动实现方法，其特征在于，3D物体和人体动作探测装置的三维交互方法包括使用面部识别和追踪算法来识别眼睛在感测装置的坐标系中的3D位置E(x,y,z)，识别手在感测装置的坐标系中的3D位置T(x,y,z)及手的动作，在校正阶段，3D物体和人体动作探测装置感测并记录投影后的屏幕在感测装置的坐标系中的3D信息，将眼睛的3D位置从感测装置的坐标系中转换到屏幕所使用的坐标系，以呈现虚拟3D对象，Es(x,y,z)，并将这些信息发送给微型计算机和3D交互应用，3D交互式应用根据用户的眼睛的3D位置Es(x,y,z)呈现该虚拟3D对象，此外，3D物体和人体动作探测装置将手的3D位置从感测装置的坐标系转换到屏幕所使用的坐标系，以呈现虚拟3D对象Ts(x,y,z)，并将这些信息发送给微型计算机和3D交互应用，3D交互应用使用Ts(x,y,z)信息，以允许用户与虚拟3D对象进行交互。