CN103955267A - 光透视增强现实***中双手人机交互方法 - Google Patents

Abstract

本发明涉及一种光透视增强现实***中双手人机交互方法。本方法的操作步骤为：1）初始化***环境，设置***参数，扫描和检查***设备；2）设计算法对磁力跟踪***进行误差校正；3）设计算法对数据手套进行自适应处理；4）测量并修正磁力跟踪传感器与用户眼睛之间的偏差；5）设计算法实时识别交互手势；6）根据用户操作生成反馈动画；7）将真实场景与虚拟模型无缝融合；8）用户使用光透视头盔显示器查看结果。本发明能让用户摆脱键盘、鼠标、触摸板等传统的人机交互方式，而直接使用双手进行人机交互操作，从而带给用户更为贴近日常习惯的交互体验。

Description

光透视增强现实***中双手人机交互方法

技术领域

本发明涉及的是一种光透视增强现实***中双手人机交互方法。 

背景技术

增强现实技术（Augmented Reality，AR）是多媒体技术在三维领域实现的重要新手段，是一种利用计算机***产生的三维信息来增强用户对现实世界感知的技术。与传统虚拟现实技术(Virtual Reality，VR)所要达到的完全沉浸于虚拟世界的效果不同，AR技术致力于将计算机生成的虚拟物体、场景或***提示信息等无缝叠加到真实场景中，从而创造一个虚实结合的世界，以此实现对现实世界的“增强”。该领域的权威学者Azuma对增强现实***及其所涉及的技术给出了一个较为详尽的综述并将AR***的主要特点归纳为：①跟踪注册；②虚实融合；③实时交互。 

近年来，国内外对于AR技术的研究出现了很浓厚的气氛，国内外相关研讨会的数目不断增加，学术期刊和国际会议为研究者提供了一个充分交流的空间。其研究重点从简单的***框架、硬件跟踪等技术，发展到目前的交互性能评价。每年有大量的有关AR技术研究的学术论文成果，还出现了一些AR技术的专题讨论。由此可见，目前AR技术发展迅速，它的研究与应用将有着深远的价值。目前从事AR技术研究的学术机构有美国北卡罗来纳大学、麻省理工学院、哥伦比亚大学、罗切斯特大学、波音公司、加拿大多伦大大学和索尼计算机科学实验室等；国内在这一方面的研究主要集中在配准技术以及***应用的方面，研究内容还比较有限。 

从AR技术的研究热点来看，从AR诞生至今的二十多年内，大多数研究者们的研究兴趣集中在三维注册和信息集成两个领域。近年来，随着跟踪、传感等技术的迅速发展，AR中的实时人机交互技术成为一个研究热点。由于在日常生活中，人们往往***稳自然的方式完成指定任务。如何将人的双手经验技能应用到虚拟环境的交互过程中去，成为AR***中的一个热点问题。 

本发明的目标是为在光透视AR***中实现自然的双手人机交互提供切实有效的实现方法，让用户能在真实的环境中与虚拟的物体进行更为友好的交互。尤其是，希望能让用户摆脱键盘、鼠标、触摸板等传统的人机交互方式，而直接使用双手进行人机交互操作，从而带给用户更为贴近日常习惯的交互体验。根据调研和查找资料，目前还未见有在AR***中实现双手人机交互的成熟解决方案，本发明尚属首例。 

发明内容

鉴于现有技术存在的问题和不足，本发明的目的在于提供一种光透视增强现实***中双手人机交互方法，让用户以更为贴近自然的方式进行人机交互操作，提高***的沉浸感。 

本发明采用的光透视增强现实***中双手人机交互***硬件结构如图1所示，在双手数据手套(5)和光透视头盔显示器(7)上安装有磁力跟踪传感器(6，8)，在操作台(3)上设置磁力跟踪发射器(4)，将磁力跟踪传感器(6，8)以及磁力跟踪发射器(4)与磁力跟踪控制盒(2)相连接，将磁力跟踪控制盒(2)、光透视头盔显示器(7)以及数据手套(5)与***主机(1)连接，用户穿戴光透视头盔显示器(7)及双手数据手套(5)。 

为达到上述目的，本发明采用的技术方案如下： 

一种光透视增强现实***中双手人机交互方法，其特征在于具体操作步骤如下：

1)：初始化***环境，设置***参数，扫描和检查***设备；

2)：设计算法对磁力跟踪传感器(6，8)的读数进行误差校正，并利用校正过的跟踪数据完成对用户头部、手部的实时方位跟踪以及虚拟模型的三维注册；

3)：设计算法对数据手套(5)的读数进行自适应处理，并利用处理后的数据实时获取用户手指的弯曲状态；

4)：测量磁力跟踪传感器(8)与用户眼睛之间的距离，修正视点的偏移量和可视角度；

5)：设计算法对手部的空间位置跟踪数据和手指弯曲状态进行分析处理，完成交互手势的实时识别；

6)：根据用户的输入操作进行虚拟场景实时建模，并根据其交互操作对场景模型进行实时变换和渲染,生成反馈动画；

7)：将真实场景与虚拟模型无缝融合；

8)：用户使用光透视头盔显示器(7)查看结果。

由于磁场强度随着距离的增加以几何级数递减，因此在磁力跟踪发射器(4)的附近与远处，磁场强度差别很大，导致磁力跟踪坐标与真实世界坐标不再成线性关系，如图2所示。所以需要对磁力跟踪传感器(6，8)的读数进行校正。前述步骤2) 磁力跟踪传感器(6，8)校正算法具体包括以下步骤： 

2)-1：空间网格划分：将工作空间S划分为n个独立小立方体C _i ，即 ；

2)-2：建立磁力跟踪坐标与真实世界坐标的对应表：将磁力跟踪传感器(6，8)读数坐标空间和真实世界坐标空间中的坐标点建立对应关系；

2)-3：定位待校正点：由于磁场强度衰减使得空间网格发生形变，为避免定位误差，从X轴，Y轴，Z轴三个方向缩减搜索空间；以X方向为例，X _i 表示磁力跟踪坐标系中处于同一平面上坐标点X轴坐标值的集合，则有X _i+1min >X _imin 且X _i+1max >X _imax ；设有待校正点P(x _p , y _p , z _p ) ，从X轴正方向最大值出发，沿X轴负方向遍历各，找到满足x _p <X _imin 最小的i，即为点P所处搜索空间X方向上的右边界；从X轴负方向最小值出发，沿X轴正方向遍历各X _jmax ，找到满足最大的，即为点P所处搜索空间X方向上的左边界，且j<i；同样，可以找到Y方向的上下边界Y _k 、Y _l (l<k)和Z方向的前后边界Z _m 、Z _n  (n<m)；由此将点P的搜索空间由全部顶点缩小到由平面X _i 、X _j 、Y _k 、Y _l 、Z _m 、Z _n 所界定的较小的空间中；然后，对此空间中所包含的顶点进行遍历，最终确定点P属于哪一个单位网格之中；

2)-4：反距离权重插值求解待校正点的真实世界坐标值。在已确定的搜索空间中，计算每个顶点与点P的距离，找出与点P距离最小的顶点Q；而点P必然处于以点Q为中心的六面体ABCD-A`B`C`D`中，如图3所示；因Q相对于其他顶点和P的相似度最大，所以赋予Q点更大的权重，点P真实世界坐标值可表示为：

；

其中，d ₀ 为点P于点Q之间的距离，t ₀ 为d ₀ 的权重，d _i 为点P与顶点i之间的距离，t _i 为d _i 的权重，n为不含点Q在内的顶点个数，w为定义的权重系数，实际使用中，令w=n。

由于人手有大有小，手指有长有短，以及各人在穿戴习惯方面的差异，数据手套(5)内置的弯曲度传感器的相对于用户手指的位置会因人而异，这样就必然会导致数据手套(5)的原始弯曲度读数存在很大的误差，故必须要进行数据手套(5)读数的归一化处理。所以，前述步骤3) 数据手套(5)读数自适应处理算法具体包括以下步骤： 

3)-1：操作人员戴上数据手套(5)；

3)-2：获取训练数据：以最自然的方式做握拳和平伸动作，重复10次，将每一次弯曲时的数据手套(5)读数记录到数组bendMax[10]中，将每一次伸直时的数据手套(5)读数记录到数组bendMin[10]中；

3)-3：归一化弯曲度数据：令bMax=max(bendMax[i],i∈[0,9])，bMin=min(bendMin[j], j∈[0,9]), bMax为数据手套(5)各个手指弯曲度的最大值，bMin为数据手套(5)各个手指弯曲度的最小值，bendCurrent为数据手套的实时原始数据，则归一化后的数据为bCurrent=(bendcurrent-bMin)/ (bMax-bMin)。

由于用户在佩戴光透视头盔显示器(7)时，眼睛与磁力跟踪传感器(8)之间的偏移不尽相同，因此需要测量两者之间的偏移量，对视点和可视角度进行修正。前述步骤4)具体包括以下步骤： 

4)-1：操作人员戴上光透视头盔显示器(7)：操作人员的视轴与光透视头盔显示器(7)的中心线重合；

4)-2：修正磁力跟踪传感器(8)与观测眼之间的偏移误差：令由磁力跟踪传感器(8)得到的3个欧拉角分别为A，E，R，其对应的单独旋转矩阵为M _R ，M _E ，M _A ，则总的旋转矩阵M=M _R M _E M _A ；

其中， ，，；

测量得到磁力跟踪传感器(8)与观测眼之间的偏移量T(x,y,z)，头部磁力跟踪传感器(8)校正后读数为P(x,y,z)，则观测眼的实际空间坐标为P`=P+TM；

4)-3：计算观测眼可视角。测量得到观测眼与光透视头盔显示器(7)之间的距离为D，光透视头盔显示器(7)的长为L，宽为W，则可视角θ=arctan(L/(W+2D))。

为让用户能在增强现实***中使用双手进行自然的交互，需要首先根据运动链模型定义双手交互规则，然后实时识别用户的手势操作。前述步骤5)具体包括以下步骤： 

5)-1：基于运动链模型定义交互手势；

5)-2：基于规则实时识别用户交互手势；

5)-3：基于有限状态机的手势语义映射。

所述步骤5)-1定义交互手势具体包括以下步骤： 

5)-1-1：双手交互特征分析：现实生活中人们完成各种任务时的手部动作可以分为：1)单手行为；2)双手对称行为；3)双手非对称行为。以右顺手为例，运动链模型的基本原则为：1)右手的运动以左手为参考，即左手能为右手的运动提供一个参考坐标；2)右手用于完成精确的小范围内操作，左手用于大范围内的粗略操作；3)左手的动作在时序上先于右手动作；

5)-1-2：定义交互手势操作规则：根据步骤5)-1-1所提出的原则，将用户手部的弯曲度，相对空间位置关系作为特征，构建特征向量，作为识别目标集合，建立手势规则集合G。

所述步骤5)-2实时识别用户交互手势具体包括以下步骤： 

5)-2-1：获取手部静态特征：根据所述步骤3)得到的用户手部每根手指（t为大拇指，i为食指，m为中指，r为无名指，l为小拇指）的弯曲度B(B _t , B _i , B _m , B _r , B _l ),设定对应的阈值T(T _t , T _i , T _m , T _r , T _l )，则当前手指状态S定义为：

；

其中，x=t,i,m,r,l；w为范围阈值；

5)-2-2：获取手部动态特征：根据所述步骤2)得到的用户手部的实时空间位置坐标，得到当前位置P与上一时刻位置P’间的运动向量V，从而求得手部运动的方向与速度；

5)-2-3：识别用户单手手势：根据所述步骤5)-2-1得到的手部静态特征S和所述步骤5)-2-2得到的手部运动向量V，从所述步骤5)-1-2中所定义的手势规则集合G中查找对应单手手势；

5)-2-4：识别用户双手手势：根据所述步骤5)-2-3得到的左右手单手手势，以右顺手为例，以左手手势为约束条件，结合右手手势，从所述步骤5)-1-2中所定义的手势规则集合G中查找对应双手手势。

所述步骤5)-3：手势语义映射具体包括以下步骤： 

5)-3-1：建立约束条件：根据所属步骤5)-1-1所列举原则，以右顺手为例，***以左手状态为前置约束，结合右手状态变化进行状态转移；

5)-3-2：建立有限状态机模型：根据所述步骤5)-1-2中所定义的手势规则集合G中所定义的手势之间的状态迁移，建立有限状态机模型，并对其进行最小化处理；

5)-3-3：手势语义映射：根据所述步骤5)-2-4中得到的操作者手势，对所述步骤5)-3-2中的有限状态机进行状态迁移，触发新状态所对应的***功能。

本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点： 

本发明实际上提出了一种在光透视增强现实***中实现双手人机交互操作的方法和解决方案，提供一种更为自然的人机交互界面，为类似***的实现提供了可参照的实施流程。本发明能让用户摆脱键盘、鼠标、触摸板等传统的人机交互方式，而直接使用双手进行人机交互操作，从而带给用户更为贴近日常习惯的交互体验。

附图说明

图1 光透视增强现实***中双手人机交互***结构示意图。 

图2 磁力跟踪坐标散点图。 

图3 定位待校正点P。 

图4 有限状态机示意图。 

图5 光透视增强现实***中双手交互***流程图。 

图6 双手交互手势表。 

具体实施方式

本发明的一个优选实施例说明如下： 

以在光透视增强现实***中实现基于双手交互的魔方操作为实例，操作着能用双手操作魔方模型任意面旋转，整体旋转，整体缩放。操作步骤如下：（参见图1～图5）

1)：初始化***环境，设置***参数，扫描和检查***设备；

2)：设计算法对磁力跟踪传感器(6，8)的读数进行误差校正，并利用校正过的跟踪数据完成对用户头部、手部的实时方位跟踪以及虚拟模型的三维注册；

3)：设计算法对数据手套(5)的读数进行自适应处理，并利用处理后的数据实时获取用户手指的弯曲状态；

4)：测量磁力跟踪传感器(8)与用户眼睛之间的距离，修正视点的偏移量和可视角度；

5)：设计算法对手部的空间位置跟踪数据和手指弯曲状态进行分析处理，完成交互手势的实时识别；

6)：根据用户的输入操作进行虚拟场景实时建模，并根据其交互操作对场景模型进行实时变换和渲染,生成反馈动画；

7)：将真实场景与虚拟模型无缝融合；

8)：用户使用光透视头盔显示器(7)查看结果。

由于磁场强度随着距离的增加以几何级数递减，因此在磁力跟踪发射器(4)的附近与远处，磁场强度差别很大，导致磁力跟踪坐标与真实世界坐标不再成线性关系，如图2所示。所以需要对磁力跟踪传感器(6，8)的读数进行校正。前述步骤2) 磁力跟踪传感器(6，8)校正算法具体包括以下步骤： 

2)-1：空间网格划分：将工作空间S划分为n个独立小立方体C _i ，即；

2)-2：建立磁力跟踪坐标与真实世界坐标的对应表：将磁力跟踪传感器(6，8)读数坐标空间和真实世界坐标空间中的坐标点建立对应关系；

2)-3：定位待校正点：由于磁场强度衰减使得空间网格发生形变，为避免定位误差，从X轴，Y轴，Z轴三个方向缩减搜索空间；以X方向为例，X _i 表示磁力跟踪坐标系中处于同一平面上坐标点X轴坐标值的集合，则有X _i+1min >X _imin 且X _i+1max >X _imax 。设有待校正点P(x _p , y _p , z _p ) ，从X轴正方向最大值出发，沿X轴负方向遍历各，找到满足x _p <X _imin 最小的i，即为点P所处搜索空间X方向上的右边界；从X轴负方向最小值出发，沿X轴正方向遍历各X _jmax ，找到满足最大的，即为点P所处搜索空间X方向上的左边界，且j<i。同样，可以找到Y方向的上下边界Y _k 、Y _l (l<k)和Z方向的前后边界Z _m 、Z _n  (n<m)；由此将点P的搜索空间由全部顶点缩小到由平面X _i 、X _j 、Y _k 、Y _l 、Z _m 、Z _n 所界定的较小的空间中；然后，对此空间中所包含的顶点进行遍历，最终确定点P属于哪一个单位网格之中；

2)-4：反距离权重插值求解待校正点的真实世界坐标值：在已确定的搜索空间中，计算每个顶点与点P的距离，找出与点P距离最小的顶点Q；而点P必然处于以点Q为中心的六面体ABCD-A`B`C`D`中，如图3所示。因Q相对于其他顶点和P的相似度最大，所以赋予Q点更大的权重，点P真实世界坐标值可表示为：

；

其中，d ₀ 为点P于点Q之间的距离，t ₀ 为d ₀ 的权重，d _i 为点P与顶点i之间的距离，t _i 为d _i 的权重，n为不含点Q在内的顶点个数，w为定义的权重系数，实际使用中，令w=n。

由于人手有大有小，手指有长有短，以及各人在穿戴习惯方面的差异，数据手套(5)内置的弯曲度传感器的相对于用户手指的位置会因人而异，这样就必然会导致数据手套(5)的原始弯曲度读数存在很大的误差，故必须要进行数据手套(5)读数的归一化处理。所以，前述步骤3) 数据手套(5)读数自适应处理算法具体包括以下步骤： 

3)-1：操作人员戴上数据手套(5)；

3)-2：获取训练数据：以最自然的方式做握拳和平伸动作，重复10次，将每一次弯曲时的数据手套(5)读数记录到数组bendMax[10]中，将每一次伸直时的数据手套(5)读数记录到数组bendMin[10]中；

3)-3：归一化弯曲度数据：令bMax=max(bendMax[i],i∈[0,9])，bMin=min(bendMin[j], j∈[0,9]), bMax为数据手套(5)各个手指弯曲度的最大值，bMin为数据手套(5)各个手指弯曲度的最小值，bendCurrent为数据手套的实时原始数据，则归一化后的数据为bCurrent=(bendcurrent-bMin)/ (bMax-bMin)。

由于用户在佩戴光透视头盔显示器(7)时，眼睛与磁力跟踪传感器(8)之间的偏移不尽相同，因此需要测量两者之间的偏移量，对视点和可视角度进行修正。前述步骤4)具体包括以下步骤： 

4)-1：操作人员戴上光透视头盔显示器(7)：操作人员的视轴与光透视头盔显示器(7)的中心线重合；

4)-2：修正磁力跟踪传感器(8)与观测眼之间的偏移误差：令由磁力跟踪传感器(8)得到的3个欧拉角分别为A，E，R，其对应的单独旋转矩阵为M _R ，M _E ，M _A ，则总的旋转矩阵M=M _R M _E M _A ；

其中， ，，；

测量得到磁力跟踪传感器(8)与观测眼之间的偏移量T(x,y,z)，头部磁力跟踪传感器(8)校正后读数为P(x,y,z)，则观测眼的实际空间坐标为P`=P+TM；

4)-3：计算观测眼可视角：测量得到观测眼与光透视头盔显示器(7)之间的距离为D，光透视头盔显示器(7)的长为L，宽为W，则可视角θ=arctan(L/(W+2D))；

为让用户能在增强现实***中使用双手进行自然的交互，需要首先根据运动链模型定义双手交互规则，然后实时识别用户的手势操作。前述步骤5)具体包括以下步骤：

5)-1：基于运动链模型定义交互手势；

5)-2：基于规则实时识别用户交互手势；

5)-3：基于有限状态机的手势语义映射。

所述步骤5)-1定义交互手势具体包括以下步骤： 

5)-1-1：双手交互特征分析：现实生活中人们完成各种任务时的手部动作可以分为：1)单手行为；2)双手对称行为；3)双手非对称行为。以右顺手为例，运动链模型的基本原则为：1)右手的运动以左手为参考，即左手能为右手的运动提供一个参考坐标；2)右手用于完成精确的小范围内操作，左手用于大范围内的粗略操作；3)左手的动作在时序上先于右手动作；

5)-1-2：定义交互手势操作规则：根据步骤5)-1-1所提出的原则，将用户手部的弯曲度，相对空间位置关系作为特征，构建特征向量，作为识别目标集合，建立手势规则集合G。

所述步骤5)-2实时识别用户交互手势具体包括以下步骤： 

5)-2-1：获取手部静态特征：根据所述步骤3)得到的用户手部每根手指（t为大拇指，i为食指，m为中指，r为无名指，l为小拇指）的弯曲度B(B _t , B _i , B _m , B _r , B _l ),设定对应的阈值T(T _t , T _i , T _m , T _r , T _l )，则当前手指状态S定义为：

；

其中，x=t,i,m,r,l；w为范围阈值；

5)-2-2：获取手部动态特征：根据所述步骤2)得到的用户手部的实时空间位置坐标，得到当前位置P与上一时刻位置P’间的运动向量V，从而求得手部运动的方向与速度；

5)-2-3：识别用户单手手势：根据所述步骤5)-2-1得到的手部静态特征S和所述步骤5)-2-2得到的手部运动向量V，从所述步骤5)-1-2中所定义的手势规则集合G中查找对应单手手势；

5)-2-4：识别用户双手手势：根据所述步骤5)-2-3得到的左右手单手手势，以右顺手为例，以左手手势为约束条件，结合右手手势，从所述步骤5)-1-2中所定义的手势规则集合G中查找对应双手手势。

所述步骤5)-3：手势语义映射具体包括以下步骤： 

5)-3-1：建立约束条件：根据所属步骤5)-1-1所列举原则，以右顺手为例，***以左手状态为前置约束，结合右手状态变化进行状态转移；

5)-3-2：建立有限状态机模型：根据所述步骤5)-1-2中所定义的手势规则集合G中所定义的手势之间的状态迁移，建立有限状态机模型，并对其进行最小化处理；

5)-3-3：手势语义映射：根据所述步骤5)-2-4中得到的操作者手势，对所述步骤5)-3-2中的有限状态机进行状态迁移，触发新状态所对应的***功能。

所述步骤6) 生成反馈动画具体包括以下步骤： 

6)-1：确定魔方模型状态：根据所述步骤5)-3-3 所触发的***功能，对魔方模型的指定侧面进行旋转或缩放；旋转的角度和缩放的比例因子由双手操作过程中的相对角度和相对距离得到；

6)-2：渲染魔方模型：根据所述步骤6)-1得到的魔方模型状态渲染虚拟魔方模型，根据所述步骤4)-2和步骤4)-3得到的虚拟相机参数，调整魔方模型姿态，使其无缝融合到真实场景中。

图1示出本实施例采用的光透视增强现实***中双手人机交互***的结构。 

图5示出本实施例光透视增强现实***中双手人机交互方法的程序框图。 

Claims (7)

1.一种光透视增强现实***中双手人机交互方法，其特征在于包括以下操作步骤：

1)：初始化***环境，设置***参数，扫描和检查***设备；

2)：设计算法对磁力跟踪传感器(6，8)的读数进行误差校正，并利用校正过的跟踪数据完成对用户头部、手部的实时方位跟踪以及虚拟模型的三维注册；

3)：设计算法对数据手套(5)的读数进行自适应处理，并利用处理后的数据实时获取用户手指的弯曲状态；

4)：测量磁力跟踪传感器(8)与用户眼睛之间的距离，修正视点的偏移量和可视角度；

5)：设计算法对手部的空间位置跟踪数据和手指弯曲状态进行分析处理，完成交互手势的实时识别；

6)：根据用户的输入操作进行虚拟场景实时建模，并根据其交互操作对场景模型进行实时变换和渲染,生成反馈动画；

7)：将真实场景与虚拟模型无缝融合；

8)：用户使用光透视头盔显示器(7)查看结果。

2.根据权利要求1所述的光透视增强现实***中双手人机交互方法，其特征在于所述步骤2）具体包括以下步骤：

2)-1：空间网格划分：将工作空间S划分为n个独立小立方体C _i ，即                                               ；

2)-2：建立磁力跟踪坐标与真实世界坐标的对应表：将磁力跟踪传感器(6，8)读数坐标空间和真实世界坐标空间中的坐标点建立对应关系；

2)-3：定位待校正点：由于磁场强度衰减使得空间网格发生形变，为避免定位误差，从X轴，Y轴，Z轴三个方向缩减搜索空间；以X方向为例，X _i 表示磁力跟踪坐标系中处于同一平面上坐标点X轴坐标值的集合，由于X _i+1min >X _imin 且X _i+1max >X _imax 。设有待校正点P(x _p , y _p , z _p ) ，从X轴正方向最大值出发，沿X轴负方向遍历各，找到满足x _p <X _imin 最小的i，即为点P所处搜索空间X方向上的右边界；从X轴负方向最小值出发，沿X轴正方向遍历各X _jmax ，找到满足最大的，即为点P所处搜索空间X方向上的左边界，且j<i；同样，可以找到Y方向的上下边界Y _k 、Y _l  (l<k)和Z方向的前后边界Z _m 、Z _n  (n<m)；由此将点P的搜索空间由全部顶点缩小到由平面X _i 、X _j 、Y _k 、Y _l 、Z _m 、Z _n 所界定的较小的空间中；然后，对此空间中所包含的顶点进行遍历，最终确定点P属于哪一个单位网格之中；

2)-4：反距离权重插值求解待校正点的真实世界坐标值：在已确定的搜索空间中，计算每个顶点与点P的距离，找出与点P距离最小的顶点Q；而点P必然处于以点Q为中心的六面体ABCD-A`B`C`D`中；因Q相对于其他顶点和P的相似度最大，所以赋予Q点更大的权重，点P真实世界坐标值可表示为：

；

其中，d ₀ 为点P于点Q之间的距离，t ₀ 为d ₀ 的权重，d _i 为点P与顶点i之间的距离，t _i 为d _i 的权重，n为不含点Q在内的顶点个数，w为定义的权重系数，实际使用中，令w=n。

3.根据权利要求1所述的光透视增强现实***中双手人机交互方法，其特征在于所述步骤4）具体包括以下步骤：

4)-1：操作人员戴上光透视头盔显示器(7)：操作人员的视轴与光透视头盔显示器(7)的中心线重合；

4)-2：修正磁力跟踪传感器(8)与观测眼之间的偏移误差：令由磁力跟踪传感器(8)得到的3个欧拉角分别为A，E，R，其对应的单独旋转矩阵为M _R ，M _E ，M _A ，则总的旋转矩阵M=M _R M _E M _A ；

其中， ，，；

测量得到磁力跟踪传感器(8)与观测眼之间的偏移量T(x,y,z)，磁力跟踪传感器(8)校正后读数为P(x,y,z)，则观测眼的实际空间坐标为P`=P+TM；

4)-3：计算观测眼可视角：测量得到观测眼与光透视头盔显示器(7)之间的距离为D，光透视头盔显示器(7)的长为L，宽为W，则可视角θ=arctan(L/(W+2D))，并将其作为虚拟世界坐标系中虚拟相机的属性。

4.根据权利要求1所述的光透视增强现实***中双手人机交互方法，其特征在于所述步骤5）具体包括以下步骤：

5)-1：基于运动链模型定义交互手势；

5)-2：基于规则实时识别用户交互手势；

5)-3：基于有限状态机的手势语义映射。

5.根据权利要求4所述的光透视增强现实***中双手人机交互方法，其特征在于所述步骤5)-1具体包括以下步骤：

5)-1-1：双手交互特征分析：现实生活中人们完成各种任务时的手部动作可以分为：1)单手行为；2）双手对称行为；3）双手非对称行为。以右顺手为例，运动链模型的基本原则为：1）右手的运动以左手为参考，即左手能为右手的运动提供一个参考坐标；2）右手用于完成精确的小范围内操作，左手用于大范围内的粗略操作；3）左手的动作在时序上先于右手动作；

5)-1-2：定义交互手势操作规则：根据步骤5)-1-1所提出的原则，将用户手部的弯曲度，相对空间位置关系作为特征，构建特征向量，作为识别目标集合，建立手势规则集合G。

6.根据权利要求4所述的光透视增强现实***中双手人机交互方法，其特征在于所述步骤5)-2具体包括以下步骤：

5)-2-1：获取手部静态特征：根据所述步骤3)得到的用户手部每根手指——t为大拇指，i为食指，m为中指，r为无名指，l为小拇指，的弯曲度B——B _t ，B _i ，B _m ，B _r ，B _l ，设定对应的阈值T——T _t ，T _i ，T _m ，T _r ，T _l ，则当前手指状态S定义为：

；

其中，x=t,i,m,r,l；w为范围阈值；

5)-2-2：获取手部动态特征：根据所述步骤2)得到的用户手部的实时空间位置坐标，得到当前位置P与上一时刻位置P’间的运动向量V，从而求得手部运动的方向与速度；

5)-2-3：识别用户单手手势：根据所述步骤5)-2-1得到的手部静态特征S和所述步骤5)-2-2得到的手部运动向量V，从所述步骤5)-1-2中所定义的手势规则集合G中查找对应单手手势；

5)-2-4：识别用户双手手势：根据所述步骤5)-2-3得到的左右手单手手势，以右顺手为例，以左手手势为约束条件，结合右手手势，从所述步骤5)-1-2中所定义的手势规则集合G中查找对应双手手势。

7.根据权利要求4所述的光透视增强现实***中双手人机交互方法，其特征在于所述步骤5)-3具体包括以下步骤：

5)-3-1：建立约束条件：根据所属步骤5)-1-1所列举原则，以右顺手为例，***以左手状态为前置约束，结合右手状态变化进行状态转移；

5)-3-2：建立有限状态机模型：根据所述步骤5)-1-2中所定义的手势规则集合G中所定义的手势之间的状态迁移，建立有限状态机模型，并对其进行最小化处理；

5)-3-3：手势语义映射：根据所述步骤5)-2-4中得到的操作者手势，对所述步骤5)-3-2中的有限状态机进行状态迁移，触发新状态所对应的***功能。