CN102495959A - 一种基于位置映射的增强现实平台***及应用方法 - Google Patents

Abstract

本发明提供了一种基于位置映射的增强现实平台***，其能解决现有主流游戏及模拟***不能满足处于不同物理空间的多用户交互的协同操作要求的问题。为此，本发明还提供了基于位置映射的增强现实平台***的应用方法。一种基于位置映射的增强现实平台***，其包括管理服务器和至少一套用户便携设备，所述用户便携设备包括控制模块、定位与辅助传感器模块、增强现实（AR）模块以及网络传输模块，控制模块通过网络传输模块与管理服务器进行Internet连接，定位与辅助传感器模块与控制模块之间通过无线网络进行数据的通信，增强现实（AR）模块与控制模块通过无线或有线连接。一种基于位置映射的增强现实平台***的应用方法，其包括以下步骤：（1）目标场景构建；（2）初始位置映射；（3）用户传感器数据采集；（4）用户状态更新；（5）目标场景更新；（6）交互计算；（7）增强现实反馈。

Description

一种基于位置映射的增强现实平台***及应用方法

技术领域

本发明涉及增强现实、定位及传感技术领域，具体为一种基于位置映射的增强现实平台***及应用方法。

背景技术

现今的主流游戏以及模拟***主要都是基于桌面虚拟现实。虽然随着图像技术的发展，桌面可以呈现更加逼真的画面，但是使用者仍然需要坐在电脑面前，并且仅限于用鼠标、键盘等设备与虚拟场景或者别的使用者进行有限的交互。这类***在用户体验上已不被使用者所满足。因此对一种完全沉浸的，拥有视觉、听觉、触觉等更多交互的游戏或模拟***的需求正越来越强烈。增强现实技术特别是协同式增强现实技术为这种***的实现提供了可能。

增强现实（Augmented Reality，简称AR），也被称之为混合现实，是近年来国外众多知名大学和研究机构的研究热点之一。它通过电脑技术，将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在实现了虚拟信息对真实世界信息的补充、叠加，其主要应用领域包括医疗研究与解剖训练、精密仪器制造和维修、军用飞机导航、工程设计和远程机器人控制等。增强现实主要用来增强使用者的视觉、听觉、触觉等感官方面的效果，是对实际环境真实信息的补充以及扩展。加拿大麦吉尔大学（McGill University）的研究人员开发出一种可模仿沙地、雪地、草地环境的地板砖***，该***由一系列传感器、投影、扬声器和可震动盘子组成，其中，传感器用于接收用户信息，投影、扬声器、可震动盘子则分别用于增强用户步入不同环境时在视觉、听觉、触觉方面的反馈。诸如上述的结合视觉、听觉、触觉的增强现实***可以给用户带来较丰富的体验，但是并不能满足协同工作和娱乐的要求。由于互联网的迅猛发展，增强现实与网络技术的结合已经成为可能，事实上，协同式增强现实就是其中一个典型代表。

协同式增强现实技术（Collaborative Augmented Reality，简称CAR）是增强现实技术和网络技术的结合，是增强现实技术的重要组成部分，它可以使多个用户同时感受到虚拟对象与真实环境融合为一体的增强现实场景，并能够在网络通信平台上进行各种交互操作和协同工作，共同完成预定任务。协同式增强现实技术目前已有日本增强现实***实验室Toshikazu Ohshima、Kiyohide Satoh等人研发的增强现实空气曲棍球***（AR2 Hockey）。该***采用基于用户的相对位置的无排斥交互动态注册方法，两个玩家可以通过共享的物理游戏场、槌棒和虚拟曲棍球来实现一场曲棍球比赛，然而，受限于简单的注册算法，其存在的缺陷是***的参与者需要在同一个真实环境中，且同时进行协同操作的用户不能多于两人。由此可见，协同式增强现实技术，特别是互动性较强的异地协同式增强现实技术对实时、准确的位置登记有较高要求。

因此，目前的协同式增强现实技术尚不能满足处于不同物理空间的多用户交互的协同操作要求，因而还不能解决现有主流游戏及模拟***存在的用户交互体验不能满足要求的问题。

发明内容

针对上述问题，本发明提供了一种基于位置映射的增强现实平台***，其能解决现有主流游戏及模拟***不能满足处于不同物理空间的多用户交互的协同操作要求的问题。为此，本发明还提供了基于位置映射的增强现实平台***的应用方法。

一种基于位置映射的增强现实平台***，其特征在于：其包括管理服务器和至少一套用户便携设备，所述用户便携设备包括控制模块、定位与辅助传感器模块、增强现实（AR）模块以及网络传输模块，所述控制模块通过所述网络传输模块与所述管理服务器进行Internet连接，所述定位与辅助传感器模块与所述控制模块之间通过无线网络进行数据的通信，所述增强现实（AR）模块与所述控制模块通过无线或有线连接。

其进一步特征在于：所述管理服务器包括前台数据交互服务器与数据计算存储服务器；所述前台数据交互服务器负责接收所述用户便携设备上报的用户位置等传感器感知的数据，并向用户便携设备提供控制数据；所述数据计算存储服务器负责存储和管理目标场景状态以及目标场景内的所有使用者的状态；所述控制模块为穿戴式计算机或其它满足处理能力的微型便携式电脑，如手表型电脑，高度智能化的手机，PDA等，其主要负责采集定位和辅助传感器模块数据，如用户位置和视线等、通过所述网络传输模块与管理服务器通信、控制所述增强现实模块数据输入；所述定位与辅助传感器模块包括三维定位设备、用户视线采集设备、语音采集设备；所述定位设备集成常用的定位芯片，包括在室外时使用的GPS定位芯片和在室内环境中使用的集成WiFi、RFID和惯性传感器的芯片；所述用户视线采集设备为用户头盔显示器内部的三维罗盘实现；所述语音采集设备为微型麦克风；所述增强现实模块包括带有视线跟踪功能的光学透视式立体头盔显示器、数据手套、小型音箱，所述头盔显示器用于向用户提供视觉反馈，所述数据手套用于向用户提供触觉反馈,所述小型音箱用于向用户提供听觉反馈；所述网络传输模块采用蜂窝网或无线局域网方式与控制服务器通信。

一种基于位置映射的增强现实平台***的应用方法，其特征在于：其包括以下步骤：

（1）目标场景构建：通过建模软件构建目标场景的三维模型，在数据计算存储服务器中生成目标场景三维模型的初始化数据；

（2）初始位置映射：用户采用手动输入的方式或者通过用户便携设备中的定位与辅助传感器模块获取用户所处现实物理空间的拓扑信息，该拓扑信息通过用户便携设备的无线通信模块、采用无线通信方式传输到前台数据交互服务器，数据计算存储服务器根据前台数据交互服务器传来的用户信息初始化用户状态数据，其中用户状态数据包括当前用户数量、用户在目标场景内的初始位置、目标场景中的用户人物模型，前台数据交互服务器根据初始化用户状态数据向用户便携设备提供控制数据，用户便携设备的头盔显示器呈现初始化目标场景；

（3）用户传感器数据采集：定位与辅助传感模块的三维定位设备计算出使用者在源场景内的相对位置变化，通过微型麦克风采集用户语音、用户头盔显示器内部的三维罗盘采集用户视线角度变化，并将上述位置变化数据、语音数据以及视线角度变化数据等用户状态数据传送给控制模块，由控制模块通过网络传输模块将上述用户状态数据上传给前台数据交互服务器；

（4）用户状态更新：数据计算存储服务器接收前台数据交互服务器上传的步骤（3）中的用户状态数据，并更新数据计算存储服务器中上述用户状态数据；

（5）目标场景更新：数据计算存储服务器根据步骤（4）中更新的用户状态数据，更新目标场景数据；

（6）交互计算：数据计算存储服务器根据更新后的目标场景，根据各用户之间的位置拓扑关系和用户视线数据，计算每个用户便携设备应提供给用户的增强现实反馈，如声音、用户所应看到的三维数据、用户触觉反馈数据；

（7）增强现实反馈：前台数据交互服务器将增强现实反馈控制数据通过每个目标用户便携设备的网络传输模块交付控制模块，控制模块根据反馈控制数据，控制便携设备中的增强现实模块如数据手套、音箱、头盔显示器，向用户提供触觉、声音、视觉上的增强现实反馈。

将本发明的基于位置映射的增强现实平台***应用于多交户的游戏或模拟***，其有益效果在于：其应用增强现实技术，根据位置关系将处于不同物理空间的使用者映射到同一目标场景内，能够给使用者提供完全沉浸的、拥有视觉、听觉、触觉的多交互的体验，从而满足用户的体验要求。

附图说明

图1为本发明的一种基于位置映射的增强现实平台***内各模块连接示意图；

图2为本发明的一种基于位置映射的增强现实平台***的***构成图；

图3为本发明的一种基于位置映射的增强现实平台***的运行流程图。

具体实施方式

见图1和图2，一种基于位置映射的增强现实平台***，其包括管理服务器1和至少一套用户便携设备，用户便携设备包括控制模块4、定位与辅助传感器模块5、增强现实（AR）模块3以及网络传输模块2，控制模块4通过网络传输模块2与管理服务器1进行Internet通信连接，定位与辅助传感器模块5与控制模块4之间通过无线网络进行数据的通信，增强现实（AR）模块3与控制模块4通过无线或有线连接。管理服务器1包括前台数据交互服务器与数据计算存储服务器；前台数据交互服务器负责接收用户便携设备上报的用户位置等传感器数据，并向用户便携设备提供控制数据；数据计算存储服务器负责存储和管理目标场景状态以及映射场景内的所有使用者的状态；控制模块4为穿戴式计算机或其它满足处理能力的微型便携式电脑，如手表型电脑，高度智能化的手机，PDA等，其主要负责采集定位与辅助传感器模块数据，如用户位置和视线等、通过网络传输模块与管理服务器通信、控制增强现实模块数据输入；定位与辅助传感器模块5包括三维定位设备、用户视线采集、语音采集设备；定位设备集成常用的定位芯片，包括在室外时使用的GPS定位芯片和在室内环境中使用的集成WiFi、RFID和惯性传感器的芯片；用户视线采集由用户头盔内部的三维罗盘实现；语音采集设备为微型麦克风；增强现实模块3包括带有视线跟踪功能的光学透视式立体头盔显示器、数据手套、小型音箱，头盔显示器用于向用户提供视觉反馈，数据手套用于向用户提供触觉反馈，小型音箱用于向用户提供听觉反馈；所述网络传输模块采用蜂窝网或无线局域网方式与管理服务器1通信。

本发明是一种基于位置映射的增强现实平台***的应用方法：其包括以下步骤，见图3：

（1）目标场景构建：通过建模软件构建目标场景的三维模型，在数据计算存储服务器中生成目标场景三维模型的初始化数据；

（2）初始位置映射：用户采用手动输入的方式或者通过用户便携设备中的定位与辅助传感器模块获取用户所处现实物理空间的拓扑信息，该拓扑信息通过用户便携设备的无线通信模块、采用无线通信方式传输到前台数据交互服务器，数据计算存储服务器根据前台数据交互服务器传来的用户信息初始化用户状态数据，其中用户状态数据包括当前用户数量、用户在目标场景内的初始位置、目标场景中的用户人物模型，前台数据交互服务器根据初始化用户状态数据向用户便携设备提供控制数据，用户便携设备的头盔显示器呈现初始化目标场景；

（3）用户传感器数据采集：定位与辅助传感器模块的三维定位设备计算出使用者在源场景内的相对位置变化，通过微型麦克风采集用户语音、用户头盔显示器内部的三维罗盘采集用户视线角度变化，并将上述位置变化数据、语音数据以及视线角度变化数据等用户状态数据传送给控制模块，由控制模块通过网络传输模块将上述用户状态数据上传给数据交互服务器；

（4）用户状态更新：数据计算存储服务器接收数据交互服务器上传的步骤（3）中的用户状态数据，并更新数据计算存储服务器中上述用户状态数据；

（5）目标场景更新：数据计算存储服务器根据步骤（4）中更新的用户状态数据，更新目标场景数据；

（6）交互计算：数据计算存储服务器根据更新后的目标场景，根据各用户之间的位置拓扑关系和用户视线数据，计算每个用户便携设备应提供给用户的增强现实反馈，如声音、用户所应看到的三维数据、用户触觉反馈数据；

（7）增强现实反馈：数据交互服务器将增强现实反馈控制数据通过每个目标用户便携设备的网络传输模块交付控制模块，控制模块根据反馈控制数据，控制便携设备中的增强现实模块如数据手套、音箱、头盔显示器，向用户提供触觉、声音、视觉上的增强现实反馈。

下面以构建虚拟迷宫游戏为例，对本发明进行具体描述：

虚拟迷宫游戏平台，其包括管理服务器和用户便捷设备，其中管理服务器包括前台数据交互服务器与数据计算存储服务器，用户便携设备包括控制模块、定位与辅助传感器模块、增强现实（AR）模块以及网络传输模块，其中控制模块为穿戴式电脑，定位与辅助传感器模块为集成了加速度传感器的移动定位设备、集成于头盔显示器的三维电子罗盘、以及麦克风，增强现实（AR）模块为头盔显示器、便携式小型音箱，网络传输模块为无线网卡，其集成于穿戴式电脑；

下面具体描述一下虚拟迷宫游戏平台的构建与运行过程：

（1）迷宫构建：通过3DMax构建虚拟三维迷宫地图，在数据计算存储服务器中生成虚拟三维迷宫地图的初始化数据，并将三维迷宫地图载入至各玩家的穿戴式电脑；

（2）初始位置映射：玩家选择一个大而空旷的房间，带上头盔显示器，开启***，输入房间的拓扑信息（如长，宽等），或手动选取初始映射位置，各个玩家的输入信息和通过定位与辅助传感器模块获取到的其所处现实世界的拓扑信息通过无线通信方式传输到前台数据交互服务器；数据计算存储服务器根据前台数据交互服务器传来的玩家信息初始化用户状态数据，其中用户状态数据包括玩家数量、玩家在目标空间的状态；前台数据交互服务器根据初始化用户状态数据向玩家的便携设备提供控制数据，头盔显示器将呈现迷宫地图与房间叠加的场景，犹如玩家真的在迷宫的相应位置；

（3）玩家传感器数据采集：每个玩家随身携带集成了加速度传感器的移动定位设备，当移动时，移动定位设备上的定位软件通过加速度传感器计算出相对位移，同时玩家所佩戴的头盔显示器集成的三维电子罗盘计算出玩家视线角度变化，相对位移数据、视线角度变化等用户状态数据通过无线通信方式传输到穿戴式电脑，并通过穿戴式电脑将相对位移、视角变化等用户状态数据传输给前台数据交互服务器；

（4）玩家状态更新：数据计算存储服务器接收并更新数据交互服务器上传的用户状态数据；

（5）三维迷宫更新：数据计算存储服务器根据已更新的用户状态数据更新三维迷宫数据；

（6）交互计算：数据计算存储服务器根据更新后的三维迷宫，根据各玩家之间的位置拓扑关系和玩家视线数据，计算每个用户便携设备应提供给玩家的增强现实反馈，包括玩家所应看到的三维迷宫地图和指定距离范围内的其他玩家的语音数据；

（7）增强现实反馈：数据交互服务器将增强现实反馈控制数据通过每个玩家的便携设备的网络传输模块交付控制模块，控制模块根据反馈控制数据，控制头盔显示器向玩家提供当前应呈现的三维迷宫地图，控制音箱向玩家提供指定距离范围内的其他玩家的语音。

Claims (7)

1.一种基于位置映射的增强现实平台***，其特征在于：其包括管理服务器和至少一套用户便携设备，所述用户便携设备包括控制模块、定位与辅助传感器模块、增强现实（AR）模块以及网络传输模块，所述控制模块通过所述网络传输模块与所述管理服务器进行Internet连接，所述定位与辅助传感器模块与所述控制模块之间通过无线网络进行数据的通信，所述增强现实（AR）模块与所述控制模块通过无线或有线连接。

2.根据权利要求1所述的一种基于位置映射的增强现实平台***，其特征在于：所述管理服务器包括前台数据交互服务器与数据计算存储服务器；所述前台数据交互服务器负责接收所述用户便携设备上报的用户位置等传感器感知的数据，并向用户便携设备提供控制数据；所述数据计算存储服务器负责存储和管理目标场景状态以及目标场景内的所有使用者的状态。

3.根据权利要求2所述的一种基于位置映射的增强现实平台***，其特征在于：所述控制模块为穿戴式计算机或其它满足处理能力的微型便携式电脑，其主要负责采集定位和辅助传感器模块数据。

4.根据权利要求3所述的一种基于位置映射的增强现实平台***，其特征在于：所述定位与辅助传感器模块包括三维定位设备、用户视线采集设备、语音采集设备；所述定位设备集成常用的定位芯片，包括在室外时使用的GPS定位芯片和在室内环境中使用的集成WiFi、RFID和惯性传感器的芯片；所述用户视线采集设备为用户头盔显示器内部的三维罗盘实现；所述语音采集设备为微型麦克风。

5.根据权利要求4所述的一种基于位置映射的增强现实平台***，其特征在于：所述增强现实模块包括带有视线跟踪功能的光学透视式立体头盔显示器、数据手套、小型音箱，所述头盔显示器用于向用户提供视觉反馈，所述数据手套用于向用户提供触觉反馈，所述小型音箱用于向用户提供听觉反馈。

6.根据权利要求5所述的一种基于位置映射的增强现实平台***，其特征在于：所述网络传输模块采用蜂窝网或无线局域网方式与控制服务器通信。

7.一种基于位置映射的增强现实平台***的应用方法，其特征在于：其包括以下步骤：

（1）目标场景构建：通过建模软件构建目标场景的三维模型，在数据计算存储服务器中生成目标场景三维模型的初始化数据；

（2）初始位置映射：用户采用手动输入的方式或者通过用户便携设备中的定位与辅助传感器模块获取用户所处现实物理空间的拓扑信息，该拓扑信息通过用户便携设备的无线通信模块、采用无线通信方式传输到前台数据交互服务器，数据计算存储服务器根据前台数据交互服务器传来的用户信息初始化用户状态数据，其中用户状态数据包括当前用户数量、用户在目标场景内的初始位置、目标场景中的用户人物模型，前台数据交互服务器根据初始化用户状态数据向用户便携设备提供控制数据，用户便携设备的头盔显示器呈现初始化目标场景；

（3）用户传感器数据采集：定位与辅助传感模块的三维定位设备计算出使用者在源场景内的相对位置变化，通过微型麦克风采集用户语音、用户头盔显示器内部的三维罗盘采集用户视线角度变化，并将上述位置变化数据、语音数据以及视线角度变化数据等用户状态数据传送给控制模块，由控制模块通过网络传输模块将上述用户状态数据上传给前台数据交互服务器；

（4）用户状态更新：数据计算存储服务器接收前台数据交互服务器上传的步骤（3）中的用户状态数据，并更新数据计算存储服务器中上述用户状态数据；

（5）目标场景更新：数据计算存储服务器根据步骤（4）中更新的用户状态数据，更新目标场景数据；

（6）交互计算：数据计算存储服务器根据更新后的目标场景，根据各用户之间的位置拓扑关系和用户视线数据，计算每个用户便携设备应提供给用户的增强现实反馈，如声音、用户所应看到的三维数据、用户触觉反馈数据；

（7）增强现实反馈：前台数据交互服务器将增强现实反馈控制数据通过每个目标用户便携设备的网络传输模块交付控制模块，控制模块根据反馈控制数据，控制便携设备中的增强现实模块如数据手套、音箱、头盔显示器，向用户提供触觉、声音、视觉上的增强现实反馈。