CN108830939B - 一种基于混合现实的场景漫游体验方法及体验*** - Google Patents

Abstract

本发明公开了一种基于混合现实的场景漫游体验方法，利用具有环境感知和运动跟踪技术的移动终端和带有半透明显示屏的AR显示设备；该方法包括：移动终端对接收的虚拟场景数据与实时采集的真实场景数据进行匹配；移动终端根据获取的实时运动数据更新第一视点和第二视点，并实时将接收的虚拟场景数据以第一视点和第二视点渲染成第一虚拟场景和第二虚拟场景并双目分屏显示；将显示结果投影到AR显示设备的半透明显示屏上；用户左右眼分别接收的第一真实场景和第二真实场景，分别与半透明显示屏呈现的第一虚拟场景与第二虚拟场景交互，实现场景的漫游体验。还公开了一种基于混合现实的场景漫游体验***，能够为用户带来沉浸式场景体验效果。

Description

一种基于混合现实的场景漫游体验方法及体验***

技术领域

本发明属于图像处理领域，具体涉及一种基于混合现实的场景漫游体验方法和体验***。

背景技术

在设计场景(如建筑室内空间设计方案)被预览时，一般设计场景会以二维渲染图的形式呈现给用户，渲染图虽然清晰、精美，但是没有立体效果，用户不能切身体会设计场景带来的真实效果，因此，不能满足用户的需求。

随着VR(Virtual Reality，虚拟现实)技术的发展，人们利用VR头戴式显示设备(包括VR眼镜、VR眼罩、VR头盔等)观看呈现的设计场景，虽然能够看到设计场景的立体效果，但是会存在以下问题：当VR眼镜的刷新率、闪烁、陀螺仪等引起的高延迟问题时，会造成视觉晕动症。当用户视觉上观察到的状态和身体的真实状态之间的不一致，会造成模拟晕动症。这两种晕动症均会使用户会感觉到强烈的眩晕感，疲劳，眼花，恶心等不适症状，给用户带来不良的体验。此外，由于VR头戴式显示设备价格昂贵，限制了体验用户的范围。

随着AR(Augmented Reality，增强现实)技术的发展，人们利用AR技术将设计场景的3D模型呈现到真实环境中，借助AR显示设备(包括AR眼镜、AR眼罩、AR头盔等)将虚拟对象与真实环境融为一体，并呈现给用户一个感官效果真实的新环境，以供用户体验。AR技术虽然能够呈现给用户设计场景的立体效果，但其仅是显示设计场景，并没有与实体的户型联系起来，无法为用户提供一种沉浸式体验效果，仍然不能满足用户的需求。

申请公布号CN107909654A的专利申请公开了一种基于AR技术的家居设计体验***，包括：印刷有家居装修需要的实体装修材料的图像信息的样板单元、采集样板单元上所有的图像信息的获取单元、接收所述获取单元传送的数据信息对室内的各个摆件与地板或壁纸相结合进行室内装修设计的设计单元和AR呈现单元。本***通过对扫描到的沙发图像、茶几图像、地板图像等等集中整合到一个应用场景中进行装修格局的设置和规划然后通过AR呈现单元进行增强现实的展示，使用户可以全面的观看到未来的装修效果，并且可以了解到每个家居用品的详细信息。该技术内容虽然以增强现实的手段为用户展示了未来的装修效果，也仅是对构建的装修格局3D模型进行显示，用户在室内走动时，不能体会到走到哪就能观看该区域的装修格局，即不能体会到沉浸式的体验效果。

发明内容

本发明的目的是提供一种基于混合现实的场景漫游体验方法及体验***。该场景漫游体验方法及体验***能够为用户提供一种沉浸式漫游体验。

为实现上述发明目的，本发明提供以下技术方案：

本发明的第一实施方式提供一种基于混合现实的场景漫游体验方法，该场景漫游体验方法利用移动终端和AR显示设备，移动终端具有环境感知和运动跟踪技术，AR显示设备具有半透明显示屏，可有效减少晕动症的诱发；

所述场景漫游体验方法包括以下步骤：

移动终端接收虚拟场景数据，实时采集真实场景数据，将虚拟场景数据与实时采集的真实场景数据进行匹配，以使虚拟场景与真实场景对应；

移动终端根据获取的实时运动数据更新第一视点和第二视点，并实时将接收的虚拟场景数据以第一视点和第二视点渲染成第一虚拟场景和第二虚拟场景，并显示于移动终端显示屏的左半边和右半边，实现双目分屏效果；

将移动终端显示屏的第一虚拟场景与第二虚拟场景投影到AR显示设备的半透明显示屏上；

用户左右眼分别接收的第一真实场景和第二真实场景，分别与半透明显示屏呈现的第一虚拟场景与第二虚拟场景交互，实现场景的漫游体验。

本发明的第二实施方式提供一种一种基于混合现实的场景漫游体验***，包括服务器、与服务器通信连接的移动终端、AR显示设备，移动终端具有环境感知和运动跟踪技术，AR显示设备具有半透明显示屏，

所述服务器对构建的虚拟场景的3D模型进行简化并存储，根据虚拟场景中空间位置关系，对虚拟场景的3D模型进行遮挡剔除烘焙处理，并存储该处理结果；

所述服务器在接收移动终端发送的请求命令后，对请求命令中的虚拟场景对应的简化3D模型及其遮挡剔除烘焙处理结果进行封装打包形成场景资源包，以供移动终端下载；

所述移动终端从服务器下载场景资源包后，结合AR显示设备，利用上述场景漫游体验方法中的步骤，实现场景的漫游体验。

本发明的第三实施方式提供一种基于混合现实的场景漫游体验方法，包括以下步骤：

接收虚拟场景数据，实时采集真实场景数据，将虚拟场景数据与实时采集的真实场景数据进行匹配，以使虚拟场景与真实场景尺寸相等；

实时获取用户的运动数据，根据获取的运动数据更新第一视点和第二视点，并实时将接收的虚拟场景数据以第一视点和第二视点渲染成第一虚拟场景和第二虚拟场景，所述第一视点与第二视点之间的欧式距离与用户的瞳距相近；

用户左右眼分别接收的第一真实场景和第二真实场景，分别与第一虚拟场景和第二虚拟场景交互，实现场景的漫游体验。

与现有技术相比，本发明具有以下有益效果：

本发明提供的场景漫游体验方法和场景漫游体验***，将实时获得真实场景，并根据实时的运行信息实时渲染虚拟场景，真实场景与虚拟场景相结合，在有效避免晕动症的同时，给用户提供一种沉浸式漫游体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1是本发明一实施例提供的基于混合现实的场景漫游体验方法的流程图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

本发明的目的就是基于混合现实，将构建的虚拟场景投放到真实场景中去，用户通过AR现实设备观看虚拟场景和真实场景，在避免晕动症的同时，感受到沉浸式的漫游体验效果。真实场景是具有一定的边界的，肉眼能够看到的现实场景，虚拟场景是对构建的3D模型渲染获得的场景，该场景需要通过一定的显示设备才能看到。以漫游建筑室内空间设计方案为例，虚拟场景即为室内空间设计，真实场景即为现实中待设计的户型(如毛坯房等)。

下面结合具体实施例详细阐述本发明提供的基于混合现实的场景漫游体验方法及场景漫游体验***。

本发明一实施例提供的基于混合现实的场景漫游体验***包括：服务器、与服务器通信连接的移动终端、AR显示设备。

移动终端可以是手机、笔记本、平板电脑等，具有环境感知和运动跟踪技术，能够实现真实场景的实时感知和运动追踪，此外，还具有通信功能，能够与服务器进行通信，AR显示设备可以是AR眼镜、AR眼罩、AR头盔等，具有半透明显示屏。具体地，AR显示设备可以带有一个支架，能够支撑手机、平板电脑等移动终端。

服务器对构建的虚拟场景的3D模型进行简化并存储，根据虚拟场景中空间位置关系，对虚拟场景的3D模型进行遮挡剔除烘焙处理，并存储该处理结果。

构建的3D模型包含的面片数会很大，这样会造成移动终端对3D模型进行渲染时，计算消耗很大，由于渲染帧率的下降导致渲染画面出现卡顿，影响用户体验。为了提高移动终端的渲染效率，在服务器端，会对构建3D模型进行预处理，具体包括对3D模型的简化、构建层次细节模型和遮挡剔除烘焙处理。

针对3D模型的简化和构建层次细节模型，可以采用LOD(Level OfDetail)技术对原始的3D模型简化为不同精细度的多个档次，从而实现在几乎不影响画面效果的情况下，降低模型总面片数。在渲染时，根据需求档次，对该需求档次的3D简化模型进行渲染，以满足显示需求的基础上，提高渲染效率，增强用户体验效果。

对于一些虚拟场景，由于空间具有遮挡关系，若对每个空间均渲染，计算消耗很大，影响渲染画质，因此，需要对3D模型进行遮挡剔除烘焙处理，具体地，将虚拟场景的空间均匀划分多个相连的立方体，并预先计算好各个立方体间的视点与物体的遮挡关系，在渲染时对于相机观察不到的模型，不进行对其的渲染，从而降低当前渲染的面片数，通过提高帧率来实时渲染优质画面。

由于服务器预先对虚拟场景的3D模型进行了简化和遮挡剔除烘焙处理，这样在接收到调用请求时，能够在很短时间内自动构建移动终端可用的场景资源包，有效地降低了成本。

服务器在接收移动终端发送的请求命令后，对请求命令中的虚拟场景对应的简化3D模型及其遮挡剔除烘焙处理结果进行封装打包形成场景资源包，以供移动终端下载。

具体地，可以采用Unity3d作为移动终端渲染引擎与服务器自动场景构建应用。移动终端可以通过向服务器发送http请求，申请将指定设计方案构建打包，并通过url下载打包好的场景资源包进行混合现实渲染。服务器在收到http请求后，通过命令行执行Unity3d批处理模式，对指定设计方案自动构建打包，并提供url链接供移动终端下载。

移动终端从服务器下载场景资源包后，结合AR显示设备，利用如图1所示的场景漫游体验方法中的步骤，实现场景的漫游体验。

如图1所示，实施例提供的场景漫游体验方法包括以下步骤：

S101，移动终端接收虚拟场景数据，实时采集真实场景数据，将虚拟场景数据与实时采集的真实场景数据进行匹配，以使虚拟场景与真实场景对应。

虚拟场景数据即为构建的3D模型数据，真实场景数据即为移动终端的摄像机拍摄的现实场景数据。在漫游前，先将虚拟场景调整到真实场景的尺寸，以为用户提供更真实的体验效果。

具体地，所述将虚拟场景数据与实时采集的真实场景数据进行匹配包括：

(a)在所述虚拟场景数据中确任意个虚拟标记点。

虚拟标记点的个数不受限制，一般情况下，选择虚拟场景中比较突出的位置作为虚拟标记点，方便后续作为基点实现虚拟场景和真实场景的匹配。

(b)准备一张标识图片，将该标识图片放在于真实场景中，使得该标识图片的角与虚拟标记点在虚拟场景中的位置对应。

标识图片可以是纹理信息较复杂的图片，该图片的形状根据虚拟标记点而设置，尽量保证标识图片的角与虚拟标记点在虚拟场景中的位置对应，这样方便根据该标识图片确定真实标记点。

(c)利用移动终端的摄像机采集包含有标识图片的图像，并从该摄像机向与虚拟标记点所在位置对应的标识图片的角发射射线，射线与移动终端的环境感知和运动跟踪技术识别的地面的交点为真实标记点，真实标记点的个数与虚拟标记点个数相等。

由于环境感知和运动跟踪技术能够实时获得摄像机的角度、空间坐标等摄像机参数信息，同时也能够实时识别平面的空间位置，即可以获得标识图片的空间位置，因此，根据摄像机参数和标识图片的空间位置，可以获得摄像机与标识图片的空间位置关系，即可以从摄像机向与虚拟标记点所在位置对应的标识图片的角发射射线，以获得射线与环境感知和运动跟踪技术识别的真实地面的交点，该交点即为真实标记点。本发明利用环境感知和运动跟踪技术和参照物标识图片，巧妙准确地获得真实标记点，为虚拟场景和真实场景匹配提可靠的数据基础。

(d)计算所有虚拟标记点的虚拟重心和所有真实标记点的真实重心。

(e)根据真实重心与虚拟重心的空间坐标差，对虚拟空间和虚拟标记点做变换，以使虚拟重心与真实重心重合。

具体地，首先，计算真实重心与虚拟重心的空间坐标差；然后，将虚拟标记点和虚拟场景数据均加上空间坐标差，以使虚拟重心与真实重心重合，完成虚拟场景与真实场景的初始匹配。

(f)根据虚拟标记点、真实重心以及与虚拟标记点对应的真实标记点构成的夹角，对虚拟空间和虚拟标记点以真实重心为基准做旋转，完成虚拟场景数据与实时采集的真实场景数据的匹配。

完成虚拟场景与真实场景的初始匹配后，仅是将虚拟场景移到了真实场景对应的位置上，但是方向上会有一些偏差，此时还需要对虚拟场景进行旋转，以使虚拟场景与真实场景一一对应，实现虚拟场景与真实场景的完全匹配。具体地，首先，根据虚拟标记点、真实重心以及与虚拟标记点对应的真实标记点获得夹角angle(i)，若有多个虚拟标记点，此处，还需要获得夹角angle(i)，i＝1,2,……,n的平均值rotation；然后，将虚拟空间和虚拟标记点围绕真实重心旋转夹角angle(i)或平均值rotation，完成虚拟场景数据与真实场景数据的匹配。

S102，移动终端根据获取的实时运动数据更新第一视点和第二视点，并实时将接收的虚拟场景数据以第一视点和第二视点渲染成第一虚拟场景和第二虚拟场景，并显示于移动终端显示屏的左半边和右半边，实现双目分屏效果。

为了使用户在漫游时能够获得沉浸式的体验效果，渲染的虚拟场景要与所到之处相对应，即根据所到之处渲染相应的虚拟场景。移动终端的环境感知和运动跟踪技术能够实时获得摄像机的运动数据，根据该运动数据更新渲染视点(第一视点和第二视点)，即根据摄像机所在的空间位置更新渲染视点。第一视点与第二视点即渲染相机所在的空间位置，该第一视点和第二视点模拟用户的双瞳，因此，第一视点与第二视点之间具有一定的间距。具体地，可以将第一视点与第二视点分居在移动终端的摄像机所在空间位置的两侧，且保持一定的距离(该距离模拟用户的瞳距，可以为6cm)，以获得第一视点和第二视点所在空间位置。

第一视点和第二视点更新后，将虚拟场景数据以第一视点和第二视点渲染成第一虚拟场景和第二虚拟场景，由于第一虚拟场景和第二虚拟场景分屏显示于移动终端的显示屏上，会造成虚拟场景沿屏幕的长度方向受到挤压，若虚拟场景正常显示的尺寸为9*16，则分屏显示后，第一虚拟场景和第二虚拟场景被压缩到了9*8，显然虚拟场景被挤压了，会直接影响漫游体验效果，为此需要对第一虚拟场景和第二虚拟场景进行调整。具体地，所述将接收的虚拟场景数据以第一视点和第二视点渲染成第一虚拟场景和第二虚拟场景包括：

将接收的虚拟场景数据以第一视点和第二视点进行渲染后，修改虚拟场景的相机透视投影场景矩阵，以使显示于移动终端显示屏左半边的第一虚拟场景与显示于移动终端显示屏右半边的第二虚拟场景均缩放正常且视点中心不偏移。

通过虚拟场景的相机透视投影场景矩阵，截取正常显示时，显示屏中心一半区域的虚拟场景作为第一虚拟场景和第二虚拟场景，使得显示于移动终端显示屏左半边的第一虚拟场景与显示于移动终端显示屏右半边的第二虚拟场景均缩放正常且视点中心不偏移。

相应比3D模型的面片数，渲染材质对渲染图的视觉效果影响更大。因此，所述移动终端采用PBR(Physically Based Rendering)材质体系对接收的虚拟场景的3D模型进行渲染，在渲染后，对渲染获得第一虚拟场景和第二虚拟场景进行抗锯齿、环境遮罩、全屏泛光以及色调映射处理。

PBR材质体系是一种基于物理规律模拟的渲染技术，利用该材质渲染能够大大提高渲染效果。在利用PBR材质体系进行渲染时，对于一些特殊材质，还需要进行特殊处理，具体包括：

对于透明材质，由于半透明材质需要同时渲染当前物体与背后物体，因此，在渲染时，将深度测试关闭，以实现对背后物体的渲染，此外，还需要设置透明度，以控制前后两种材质的渲染比例；

对于自发光材质，自发光材质主要应用于灯泡、灯管等，其受其他光照影响小，颜色均匀，并且还可以作为一种光源对环境造成影响。为了减小计算资源消耗，在渲染时，将关闭自发光材质作为光源的属性，并将其光照强度调为一个较大的值。

灯光的数量和种类，对于计算资源消耗的影响十分大。为此，采用简化的灯光***，通过少量平行光、点光源与梯度环境光共同构建室内光照***。

为了降低渲染计算量，在渲染时，材质体系和灯光***均采用了上述的特殊处理方式，这样会降低渲染画质，因此，为了以较低的成本较大程度低提升渲染画质，需要对渲染画质进行优化。具体地，对渲染获得第一虚拟场景和第二虚拟场景进行抗锯齿、环境遮罩、全屏泛光以及色调映射处理，弥补光照***简化后所丢失的细节，进而提升渲染画质。

当移动终端搭配AR/VR头戴外设使用时，画面细节会被放大，因此有必要进行抗锯齿处理，平滑边缘，避免影响用户体验。本发明采用快速近似抗锯齿算法(FXAA)，对边缘与纹理进行平滑操作，FXAA的计算量较低，适用于在移动终端渲染。

上述的简化光照***会造成是光影细节的丢失，给用户一种十分平的感觉，为解决该问题，对渲染图进行环境遮罩处理。

全屏泛光(Bloom)是指在高动态范围渲染中，对高亮区域进行加强与延伸，主要应用于灯光、室外光透过窗户的效果。对渲染图进行全屏泛光处理能够补足自发光材质的真实感，以提高渲染画质。

经过抗锯齿、环境遮罩以及全屏泛光处理后的渲染图会出现色调失真现象，直接影响渲染画质。为了将渲染图的色调调回正常，对渲染图进行色调映射处理。具体地，主要对渲染图的高亮区域进行色调映射处理。

此外，服务器预先对3D模型进行了简化和遮挡剔除烘焙处理处理，因此，为了减小渲染计算开销，提高渲染帧率，在对虚拟场景对应的简化3D模型进行渲染时，按照遮挡剔除烘焙处理结果对简化3D模型进行渲染。即根据虚拟场景的空间遮挡关系，只渲染相机能够观察到的场景。

S103，将移动终端显示屏的第一虚拟场景与第二虚拟场景投影到AR显示设备的半透明显示屏上。

S104，用户左右眼分别接收的第一真实场景和第二真实场景，分别与半透明显示屏呈现的第一虚拟场景与第二虚拟场景交互，实现场景的漫游体验。

由于AR显示设备具有半透明显示屏，用户在漫游时，左右眼接收的真实场景为用户自己亲眼看到的现实场景。所述第一真实场景和第二真实场景分别来自于用户左眼直接看到的现实场景和用户右眼直接看到的现实场景。

由于移动终端具有摄像功能，用户漫游时，左右眼接收的真实场景还可以是移动终端的摄像机采集的真实场景。具体地，所述场景漫游体验方法包括：

移动终端将采集的真实场景分别显示于移动终端显示屏的左半边和右半边，显示于左半边的真实场景为第一真实场景，显示于右半边的真实场景为第二真实场景，实现双目分屏效果；

将移动终端显示屏的第一真实场景与第二真实场景投影到AR显示设备的半透明显示屏上；

用户左眼接收的第一真实场景来自于半透明显示屏上呈现的第一真实场景与用户左眼透过半透明显示屏看到的真实场景的叠加；

用户右眼接收的第二真实场景来自于半透明显示屏上呈现的第二真实场景与用户右眼透过半透明显示屏看到的真实场景的叠加。

将摄像机采集的真实场景分屏显示时，也会出现真实场景沿屏幕的长度方向呈现挤压现象，需要对分屏幕显示的第一真实场景和第二真实场景进行调整。具体地，所述将采集的真实场景分别显示于移动终端显示屏的左半边和右半边包括：

若移动终端的操作***为iOS，采用修改相机背景变换矩阵的方式，使显示于移动终端显示屏左半边的第一虚拟场景与显示于移动终端显示屏右半边的第二虚拟场景均缩放正常且视点中心不偏移；

若移动终端的操作***为Android，采用修改相机背景的缩放和偏移量的方式，使显示于移动终端显示屏左半边的第一虚拟场景与显示于移动终端显示屏右半边的第二虚拟场景均缩放正常且视点中心不偏移。

用户在利用上述基于混合现实的场景漫游体验***和方法进行漫游时，虚拟场景和真实场景相对应，在看到虚拟场景的同时，也能透过半透明显示屏看到现实场景，这样能够有效地避免晕动症，且能感受到一种沉浸式漫游体验。

下面以漫游毛坯房为例，阐述上述基于混合现实的场景漫游体验***。

在体验时，用户头戴AR显示设备(如昊日幻镜)，带有环境感知和运动跟踪技术的手机直接放在AR显示设备的支架上。

首先，手机会发送下载针对该毛坯房的室内装修设计方案的请求，也就是虚拟场景的3D模型及相关数据，远程服务器在接到请求后，会自动对虚拟场景对应的简化3D模型及其遮挡剔除烘焙处理结果封装成场景资源包供手机下载；

然后，手机下载该资源包后，将接收的虚拟房间与采集的真实房间进行匹配对应，完成漫游前的初始化程序；

接下来，手机根据获取的实时运动数据更新第一视点和第二视点，并实时将接收的3D模型以第一视点和第二视点渲染成第一虚拟房间和第二虚拟房间，并分屏显示于手机屏幕上，同时，手机采集的第一真实房间和第二真实房间也分屏显示于手机屏幕上；

最后，手机屏幕上的虚拟渲染图和真实图像均投影到AR显示设备的半透明显示屏上，用户通过同时观察半透明显示屏上的真实房间和虚拟房间，享受虚拟房间的漫游。

用户在看到虚拟房间的同时，也能透过半透明显示屏看到现实房间，因此，没有晕动症感觉，且能感受到一种沉浸式漫游体验。

本发明的另一个实施例提供了一种基于混合现实的场景漫游体验方法，包括以下步骤：

接收虚拟场景数据，实时采集真实场景数据，将虚拟场景数据与实时采集的真实场景数据进行匹配，以使虚拟场景与真实场景尺寸相等；

实时获取用户的运动数据，根据获取的运动数据更新第一视点和第二视点，并实时将接收的虚拟场景数据以第一视点和第二视点渲染成第一虚拟场景和第二虚拟场景，所述第一视点与第二视点之间的欧式距离与用户的瞳距相近；

用户左右眼分别接收的第一真实场景和第二真实场景，分别与第一虚拟场景和第二虚拟场景交互，实现场景的漫游体验。

该方法将实时获得真实场景，并根据实时的运行信息实时渲染虚拟场景，真实场景与虚拟场景相结合，在有效避免晕动症的同时，给用户提供一种沉浸式漫游体验。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于混合现实的场景漫游体验方法，该场景漫游体验方法利用移动终端和AR显示设备，移动终端具有环境感知和运动跟踪技术，AR显示设备具有半透明显示屏；

所述场景漫游体验方法包括以下步骤：

移动终端接收虚拟场景数据，实时采集真实场景数据，将虚拟场景数据与实时采集的真实场景数据进行匹配，以使虚拟场景与真实场景对应；

移动终端根据获取的实时运动数据更新第一视点和第二视点，并实时将接收的虚拟场景数据以第一视点和第二视点渲染成第一虚拟场景和第二虚拟场景，并显示于移动终端显示屏的左半边和右半边，实现双目分屏效果；

将移动终端显示屏的第一虚拟场景与第二虚拟场景投影到AR显示设备的半透明显示屏上；

用户左右眼分别接收的第一真实场景和第二真实场景，分别与半透明显示屏呈现的第一虚拟场景与第二虚拟场景交互，实现场景的漫游体验；

所述将虚拟场景数据与实时采集的真实场景数据进行匹配包括：

在所述虚拟场景数据中确任意个虚拟标记点；

准备一张标识图片，将该标识图片放在于真实场景中，使得该标识图片的角与虚拟标记点在虚拟场景中的位置对应；

利用移动终端的摄像机采集包含有标识图片的图像，并从该摄像机向与虚拟标记点所在位置对应的标识图片的角发射射线，射线与移动终端的环境感知和运动跟踪技术识别的地面的交点为真实标记点，真实标记点的个数与虚拟标记点个数相等；

计算所有虚拟标记点的虚拟重心和所有真实标记点的真实重心；

根据真实重心与虚拟重心的坐标差，对虚拟空间和虚拟标记点做变换，以使虚拟重心与真实重心重合；

根据虚拟标记点、真实重心以及与虚拟标记点对应的真实标记点构成的夹角，对虚拟空间和虚拟标记点以真实重心为基准做旋转，完成虚拟场景数据与实时采集的真实场景数据的匹配。

2.如权利要求1所述的基于混合现实的场景漫游体验方法，其特征在于，所述将接收的虚拟场景数据以第一视点和第二视点渲染成第一虚拟场景和第二虚拟场景包括：

将接收的虚拟场景数据以第一视点和第二视点进行渲染后，修改虚拟场景的相机透视投影场景矩阵，以使显示于移动终端显示屏左半边的第一虚拟场景与显示于移动终端显示屏右半边的第二虚拟场景均缩放正常且视点中心不偏移。

3.如权利要求1或2所述的基于混合现实的场景漫游体验方法，其特征在于，所述移动终端采用PBR材质体系对接收的虚拟场景的3D模型进行渲染，在渲染后，对渲染获得第一虚拟场景和第二虚拟场景进行抗锯齿、环境遮罩、全屏泛光以及色调映射处理。

4.如权利要求1所述的基于混合现实的场景漫游体验方法，其特征在于，所述第一真实场景和第二真实场景分别来自于用户左眼直接看到的真实场景和用户右眼直接看到的真实场景。

5.如权利要求1所述的基于混合现实的场景漫游体验方法，其特征在于，所述场景漫游体验方法包括：

移动终端将采集的真实场景分别显示于移动终端显示屏的左半边和右半边，显示于左半边的真实场景为第一真实场景，显示于右半边的真实场景为第二真实场景，实现双目分屏效果；

将移动终端显示屏的第一真实场景与第二真实场景投影到AR显示设备的半透明显示屏上；

用户左眼接收的第一真实场景来自于半透明显示屏上呈现的第一真实场景与用户左眼透过半透明显示屏看到的真实场景的叠加；

用户右眼接收的第二真实场景来自于半透明显示屏上呈现的第二真实场景与用户右眼透过半透明显示屏看到的真实场景的叠加。

6.如权利要求5所述的基于混合现实的场景漫游体验方法，其特征在于，所述将采集的真实场景分别显示于移动终端显示屏的左半边和右半边包括：

若移动终端的操作***为iOS，采用修改相机背景变换矩阵的方式，使显示于移动终端显示屏左半边的第一虚拟场景与显示于移动终端显示屏右半边的第二虚拟场景均缩放正常且视点中心不偏移；

若移动终端的操作***为Android，采用修改相机背景的缩放和偏移量的方式，使显示于移动终端显示屏左半边的第一虚拟场景与显示于移动终端显示屏右半边的第二虚拟场景均缩放正常且视点中心不偏移。

7.一种基于混合现实的场景漫游体验***，包括服务器、与服务器通信连接的移动终端、AR显示设备，移动终端具有环境感知和运动跟踪技术，AR显示设备具有半透明显示屏，其特征在于，

所述服务器对构建的虚拟场景的3D模型进行简化并存储，根据虚拟场景中空间位置关系，对虚拟场景的3D模型进行遮挡剔除烘焙处理，并存储该处理结果；

所述服务器在接收移动终端发送的请求命令后，对请求命令中的虚拟场景对应的简化3D模型及其遮挡剔除烘焙处理结果进行封装打包形成场景资源包，以供移动终端下载；

所述移动终端从服务器下载场景资源包后，结合AR显示设备，利用权利要求1～6所述的场景漫游体验方法中的步骤，实现场景的漫游体验。

8.如权利要求7所述的基于混合现实的场景漫游体验***，其特征在于，在对虚拟场景对应的简化3D模型进行渲染时，按照遮挡剔除烘焙处理结果对简化3D模型进行渲染。

9.一种基于混合现实的场景漫游体验方法，包括以下步骤：

接收虚拟场景数据，实时采集真实场景数据，将虚拟场景数据与实时采集的真实场景数据进行匹配，以使虚拟场景与真实场景尺寸相等；

实时获取用户的运动数据，根据获取的运动数据更新第一视点和第二视点，并实时将接收的虚拟场景数据以第一视点和第二视点渲染成第一虚拟场景和第二虚拟场景，所述第一视点与第二视点之间的欧式距离与用户的瞳距相近；

用户左右眼分别接收的第一真实场景和第二真实场景，分别与第一虚拟场景和第二虚拟场景交互，实现场景的漫游体验；

所述将虚拟场景数据与实时采集的真实场景数据进行匹配包括：

在所述虚拟场景数据中确任意个虚拟标记点；

准备一张标识图片，将该标识图片放在于真实场景中，使得该标识图片的角与虚拟标记点在虚拟场景中的位置对应；

利用移动终端的摄像机采集包含有标识图片的图像，并从该摄像机向与虚拟标记点所在位置对应的标识图片的角发射射线，射线与移动终端的环境感知和运动跟踪技术识别的地面的交点为真实标记点，真实标记点的个数与虚拟标记点个数相等；

计算所有虚拟标记点的虚拟重心和所有真实标记点的真实重心；

根据真实重心与虚拟重心的坐标差，对虚拟空间和虚拟标记点做变换，以使虚拟重心与真实重心重合；

根据虚拟标记点、真实重心以及与虚拟标记点对应的真实标记点构成的夹角，对虚拟空间和虚拟标记点以真实重心为基准做旋转，完成虚拟场景数据与实时采集的真实场景数据的匹配。

Images