CN105045389A - 一种互动式沙盘***的演示方法 - Google Patents

Abstract

本发明公开了一种互动式沙盘***的演示方法，互动式沙盘***包括主机、投影仪、深度传感设备和沙盘，深度传感设备获得沙盘高度信息传递给主机，主机获得沙盘高度信息后经过处理后获得投影图像，并通过投影装置将图像投影到沙盘上，主机获得沙盘高度信息后进行处理的过程包括三维地形重建，三维地形重建形成的地形***由复数个三角形拼合的网格构成。本发明简化了三维重建数据处理。需要处理的数据量小，能够实现每秒至少20次处理，处理时间短，达到实时三维重建以及实时交互的目的。

Description

一种互动式沙盘***的演示方法

[技术领域]

本发明涉及增强现实技术，尤其涉及一种互动式沙盘***的演示方法。

[背景技术]

增强现实技术是通过计算机***提供的信息增加用户对现实世界感知的技术，将虚拟的信息应用到真实世界，并将计算机生成的虚拟物体、场景或***提示信息叠加到真实场景中，从而实现对现实的增强。

增强现实的关键技术包括：跟踪和定位技术、显示技术。跟踪和定位技术包括图形检测、光学传感、超声波、陀螺仪等；显示技术包括头盔显示器、手持显示器、投影显示器、普通显示器等。

增强现实技术一般包括以下四个基本步骤：(1)通过跟踪和定位技术获取真实场景信息；(2)对真实场景和虚拟场景信息进行分析并匹配；(3)对显示位置与虚拟相机进行分析并匹配；(4)生成虚拟画面，合并真实与虚拟画面，并通过显示技术显示最终画面。

申请号为CN201410407198.5的发明公开了一种互动式沙盘演示***及方法，该***包括体感装置、投影装置、立体显示模块和主机***。该方法包括：1、完成***连接，并使投影覆盖沙盘区域，使体感装置捕获设定沙盘区域内的动作信息及空间信息；2、启动相关设备，体感装置获得沙盘空间信息传递给主机***，主机***处理后，通过投影装置在沙盘上进行等高线绘制；3、当沙盘上空出现阻隔物时，获取阻隔物的动作信息及空间信息；4、判断阻隔物是否为沙盘空间信息变化，若不是，即进行云层模拟，包括云层覆盖范围、云层厚度，进而转化为不同雨量大小，并将雨量转化为积水量，并模拟积水量及积水流速；若是，则更新***内部沙盘空间信息。

互动式沙盘***的演示方法在在沙盘上进行等高线绘制之前，主机***需要进行三维地形重建，传统三维重建需要处理大量数据，处理时间长，难以满足***实时改变沙盘造型进行交互的需求。

[发明内容]

本发明要解决的技术问题是提供一种三维重建实现时间短，能够满足***实时交互需求的互动式沙盘***的演示方法。

为了解决上述技术问题，本发明采用的技术方案是，一种互动式沙盘***的演示方法，互动式沙盘***包括主机、投影仪、深度传感设备和沙盘，深度传感设备获得沙盘高度信息传递给主机，主机获得沙盘高度信息后经过处理后获得投影图像，并通过投影装置将图像投影到沙盘上，主机获得沙盘高度信息后进行处理的过程包括三维地形重建，三维地形重建形成的地形***由复数个三角形拼合的网格构成。

以上所述的演示方法，所有三角形的顶点在水平面的投影按矩阵排列。

以上所述的演示方法，主机获得沙盘高度信息后进行处理的过程包括等高线处理，等高线处理将沙盘高度信息按高度分成复数段，依据不同的高度段赋予不同的颜色，按高度段对所述的三角形进行着色。

以上所述的演示方法，主机获得沙盘高度信息后进行处理的过程包括场景模拟处理，场景模拟处理将沙盘高度信息按高度分成复数段，每一高度段对应至少一种地貌贴图，根据所述三角形的高度位置，分别对每个三角形进行地貌贴图。

以上所述的演示方法，主机获得沙盘高度信息后进行处理的过程包括场景模拟处理，场景模拟处理包括获取每个三角形的坡度，并将0°至90°分成复数个角度段，每一角度段对应至少一种地貌贴图，根据所述三角形的坡度，分别对每个三角形进行地貌贴图。

以上所述的演示方法，主机获得沙盘高度信息后进行处理的过程包括测量出投影与该限定真实沙盘场景的相对位置关系，在虚拟场景中利用游戏引擎的三维相机***添加三维相机用以模拟真实场景中的投影仪的视角，使其垂直照射至根据沙盘中沙子区域深度数据重建的三维模型，选择相机种类为正交投影模式；根据投影与该限定真实沙盘场景的高度差、水平位置差数据将相机放置于三维模型上方对应位置。调整相机裁剪平面尺寸及比例，让相机显示范围与需投射的范围相同。

以上所述的演示方法，在虚拟场景中，在需投影画面区域的四角放置四个标定虚拟光标，然后在沙盘中观察由投影仪投影出的画面，微调相机使虚拟光标处于真实场景中沙盘区域的四角。

以上所述的演示方法，在游戏中两个玩家分别扮演两个游戏角色，第一玩家在显示器上观看自己的角色并通过鼠标和键盘操纵角色的动作；第二玩家在沙盘处实时观察第一玩家的角色在场景中的位置和运动方向，并通过深度传感设备现有手势识别技术来用手势触发事件的发生，与第一玩家的角色发生互动。

本发明互动式沙盘***的演示方法简化了三维重建数据处理。需要处理的数据量小，能够实现每秒至少20次处理，处理时间短，达到实时三维重建以及实时交互的目的。

[附图说明]

下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1是本发明实施例互动式沙盘***的外形图。

图2是本发明实施例互动式沙盘***的演示方法的流程图。

[具体实施方式]

本发明实施例分为硬件实施、软件实施以及双屏联动三部分。

(一)硬件实施请参考图1。

设备主要构成：深度传感设备1、投影仪2、钢制支架3、沙盘4、计算机及键鼠5和显示器6。

硬件具体安装步骤如下：将沙盘4的移动沙盘摆放在平地，将钢制支架3使用螺丝固定在砂盒的侧面。在砂盒内填入沙子成为沙盘。在沙盘4上方将投影仪2及深度传感设备1固定在钢制支架3上。

在安装完硬件设备后，需要对硬件设备进行校准，具体步骤如下：调整深度传感设备1位置和角度，令其可视范围完全覆盖下方的沙面。调整投影仪2的位置和角度，令其投影范围涵盖下方沙盘4的沙面。使用投影仪2内置的调整选择功能进行画幅校准：包括梯形校准功能，比例选择功能，分辨率选项功能，通过使用投影仪内置的调整功能，令投影画面与沙盘4平面大小匹配、平面平行且投影画面四边与沙盒平面四边平行。使用计算机5显卡的设置功能进行校准：包括跨屏显示功能，分辨率选择功能，显示比例选择功能，通过计算机显卡的设置功能，令画面可以跨屏幕显示，分辨率大小匹配并完整准确覆盖沙盘4区域及1-6显示器。

(二)软件实施请参考图2，具体步骤如下：

捕获深度数据：

首先利用深度传感设备1获取沙盘4中沙子的深度信息。

去噪滤波：

深度数据本质代表着深度传感设备与外界世界的物理距离信息。在外界设定一个最远探测距离(如1m)和一个最近探测距离(如0.8m)，这样实际使用的深度距离范围是0.2m。忽略超出最远和最近探测距离的数据。用最远探测距离减去实际深度距离，再除以深度距离范围，得到的即是地形的高度比例值。

深度信息中可能包括不需要的噪声点，所以需要通过均值滤波、中值滤波等方法对深度信息进行处理，减弱噪声。处理后的深度信息就可以被应用到实时的三维地形***重建中。

三维地形重建：

将每一帧深度图像的每一个深度信息进行如上处理后，得到可以转换为游戏引擎现有的地形***的地形高度数据。游戏引擎的地形***，从本质上说是一系列顶点构成的三角面片，再由这些三角面片构成的网格组成的。地形的高度就是由这些构成网格的按矩阵排列的顶点决定。在某些游戏引擎中(如Unity3D)提供了直接给地形赋值高度的接口，将上文中地形高度比例数组赋值给地形后，游戏引擎中的地形***即根据深度信息对沙盘4的沙子进行实时三维重建。

传统三维重建方法由于大数据量处理问题，需要较长的时间进行解算才能形成三维模型，无法满足实时交互需求。本发明上述方法简化三维重建数据处理，能够实现每秒至少20次处理，从而达到实时三维重建以及实时交互目的。

用着色器(Shader)着色纹理贴图：

三维地形重建好后，可以通过为地形添加材质或纹理的方法使其颜色变化更加丰富，完成不同目标需求。一般来说，分为两种方式：第一种是通过编写Shader着色器为地形添加自定义材质。第二种则是通过纹理贴图的方式。在下文的等高线案例和真实场景模拟案例中，分别详细阐述了两种方式的实现方法。

1)等高线案例的实现：

在地理教学中等高线表示了地形海拔的变化。在此案例中，上述步骤实时构建的虚拟地形将被着色，着色的方式是按照由低到高依据海拔不同显示不同等分的颜色。以Unity引擎中为地形添加等高线为例，首先创建等高线材质球，然后使用ShaderLab互动式沙盘***的演示方法着色语言编写等高线用着色器(Shader)，并将其赋值给材质球，再在程序运行时将其动态添加到地形上。等高线用着色器(Shader)是通过一个变量获取地形的高度，然后将高度分成若干等分，着色器依据不同的高度赋予材质不同的颜色。而使用了这个材质的地形，颜色会随着地形的高低变化显示不同的颜色。通过着色，沙盘的影像更加丰富，以适应教育、军事等领域应用的高画面质量需求。

2)真实场景模拟案例的实现：

模拟真实场景的地形需要通过为地形添加纹理贴图来实现。以Unity引擎中为地形添加纹理贴图为例，首先在地形***中利用贴图功能项加载贴图，用以表现不同的地貌特征，即草地、石头、沙漠、雪地贴图各2张共8张，同类别2张贴图要有所区别，比如2张草地贴图，其中一张的贴图样式是茂密的草坪，另外一张石头中的杂草，可以在缓坡地形使用茂密的草坪贴图，在陡坡地形使用石头中的杂草贴图在地形***中利用贴图功能项指定贴图的尺寸，比如将草地贴图的大小设定为20个像素单位用以匹配贴图比例与地形比例。本发明通过ShaderLab互动式沙盘***的演示方法着色语言为地形编写着色器(Shader)，使之随地形的高度，坡度的不同而加载不同的贴图，用以模拟自然地貌变化。比如，将地形根据高度分成500米以下、500米至1000米、1000米以上三部分，对应草地、石头及雪地三种不同贴图，不同高度的地形位置读取对应贴图。通过计算地形三角面法线与其水平面投影方向夹角可以获取地形三角面近似坡度，将地形根据坡度分成15度以下、15度至60度，60度以上三部分，对应草地、沙漠、石头三种不同贴图，不同坡度的地形位置读取对应贴图。

虚拟场景与真实场景的匹配：

测量出投影与该限定真实沙盘场景的相对位置关系，如高度差，水平位置差，在虚拟场景中利用游戏引擎的三维相机***添加三维相机用以模拟真实场景中的投影仪2的视角，使其垂直照射至根据沙盘4中沙子区域深度数据重建的三维模型，选择相机种类为正交投影模式。根据投影与该限定真实沙盘场景的高度差、水平位置差数据将相机放置于三维模型上方对应位置。调整相机裁剪平面尺寸及比例，让相机显示范围与需投射的范围相同，从而实现为投影仪2提供虚拟画面。接着对局部进行微调：在虚拟场景中，在需投影画面区域的四角放置四个标定虚拟光标，然后在沙盘4中观察由投影仪2投影出的画面，不断微调相机使虚拟光标处于真实场景中沙盘4区域的四角，这样就完成了相机的局部校准工作，正确的保持了虚拟信息投射到准确的真实场景中的位置。

(三)双屏联动案例的实现：

双屏联动案例是在上文硬件、软件实施基础上构建的虚拟交互类游戏案例。本案例旨在基于深度传感设备1的深度检测功能和人机交互功能，以及计算机5本身的键盘和鼠标，实现一个双人对战模式的游戏平台。

在游戏中两个玩家分别扮演两个游戏角色。角色A的玩法与常规游戏相同：通过鼠标和键盘以第一或第三人称视角操作玩家角色(或汽车，飞机等)的动作，角色A在显示器6上面看自己的角色。而另外一个游戏玩家则扮演角色B，角色B将在沙盘4处实时观察角色A在场景中的当前位置和运动方向并就此通过深度传感设备1的现有手势识别技术来触发事件的发生并与角色A发生互动，干扰阻挡角色A的前进。比如，角色B通过握拳手势，触发沙尘暴事件，在角色A场景中位置产生沙尘暴，让角色A的视线被沙尘暴遮挡，无法看到周围环境以及运动路径，由此干扰角色A前进。

Claims (8)

1.一种互动式沙盘***的演示方法，互动式沙盘***包括主机、投影仪、深度传感设备和沙盘，深度传感设备获得沙盘高度信息传递给主机，主机获得沙盘高度信息后经过处理后获得投影图像，并通过投影装置将图像投影到沙盘上，其特征在于，主机获得沙盘高度信息后进行处理的过程包括三维地形重建，三维地形重建形成的地形***由复数个三角形拼合的网格构成。

2.根据权利要求1所述的演示方法，其特征在于，所有三角形的顶点在水平面的投影按矩阵排列。

3.根据权利要求1所述的演示方法，其特征在于，主机获得沙盘高度信息后进行处理的过程包括等高线处理，等高线处理将沙盘高度信息按高度分成复数段，依据不同的高度段赋予不同的颜色，按高度段对所述的三角形进行着色。

4.根据权利要求1所述的演示方法，其特征在于，主机获得沙盘高度信息后进行处理的过程包括场景模拟处理，场景模拟处理将沙盘高度信息按高度分成复数段，每一高度段对应至少一种地貌贴图，根据所述三角形的高度位置，分别对每个三角形进行地貌贴图。

5.根据权利要求1所述的演示方法，其特征在于，主机获得沙盘高度信息后进行处理的过程包括场景模拟处理，场景模拟处理包括获取每个三角形的坡度，并将0°至90°分成复数个角度段，每一角度段对应至少一种地貌贴图，根据所述三角形的坡度，分别对每个三角形进行地貌贴图。

6.根据权利要求1所述的演示方法，其特征在于，主机获得沙盘高度信息后进行处理的过程包括测量出投影与该限定真实沙盘场景的相对位置关系，在虚拟场景中利用游戏引擎的三维相机***添加三维相机用以模拟真实场景中的投影仪的视角，使其垂直照射至根据沙盘中沙子区域深度数据重建的三维模型，选择相机种类为正交投影模式；根据投影与该限定真实沙盘场景的高度差、水平位置差数据将相机放置于三维模型上方对应位置；调整相机裁剪平面尺寸及比例，让相机显示范围与需投射的范围相同。

7.根据权利要求6所述的演示方法，其特征在于，在虚拟场景中，在需投影画面区域的四角放置四个标定虚拟光标，然后在沙盘中观察由投影仪投影出的画面，微调相机使虚拟光标处于真实场景中沙盘区域的四角。

8.根据权利要求1所述的演示方法，其特征在于，在游戏中两个玩家分别扮演两个游戏角色，第一玩家在显示器上观看自己的角色并通过鼠标和键盘操纵角色的动作；第二玩家在沙盘处实时观察第一玩家的角色在场景中的位置和运动方向，并通过深度传感设备现有手势识别技术来用手势触发事件的发生，与第一玩家的角色发生互动。