CN109727318B - 在ar设备中实现传送门效果并呈现vr全景视频画面的方法 - Google Patents

Abstract

本发明涉及虚拟显示与增强显示开发技术领域，其目的在于提供一种在AR设备中实现传送门效果并呈现VR全景视频画面的方法。本发明首先根据载入指令载入预存储的虚拟物体模型；并根据场景构建指令对虚拟物体模型进行构建操作；再根据构建完成后的虚拟场景生成初始工程文件，并将初始工程文件适配为AR工程文件；接着根据场景构建指令配置场景运行前状态；随后编写一个不绘制颜色通道的着色器，然后将该着色器赋予外墙模型，只保留虚拟门的模型画面和外部摄影机回传的实体场景画面；最后运行场景并将最终工程文件封装打包并输出。本发明可融合现实场景、AR场景与VR全景视频画面，令用户产生时空穿越、身临其境的观感，极大的提高了用户体验度。

Description

在AR设备中实现传送门效果并呈现VR全景视频画面的方法

技术领域

本发明涉及虚拟显示与增强显示开发技术领域，具体涉及一种在AR设备中实现传送门效果并呈现VR全景视频画面的方法。

背景技术

VR是一种用于实现虚拟世界的计算机仿真***，侧重的是使用户完全沉浸到虚拟中环境中；AR是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，侧重的是现实世界与虚拟事物之间的交互。

全景视频是一种用3D摄像机进行全方位360度进行拍摄的视频，VR全景视频作为一种新型的视频方式，是指用专业的VR摄影功能将现场环境真实地记录下来，再通过计算机进行后期处理，所形成的可以实现三维的空间展示功能的视频。

目前，VR和AR两者在各自的生态***里独立发展，是两种不同的虚拟技术，尚未有将两者结合，让VR全景视频在AR设备中呈现，并实现AR技术中虚拟事物与现实环境的交互；同时，当前VR全景视频技术并不具备捕捉现实世界以及使虚拟事物与现实世界交互的技术能力。

综上所述，现有技术缺少成熟的将VR全景视频、AR虚拟事物及现实世界的交互进行紧密结合的技术方案。

发明内容

为了解决现有技术存在的上述问题，本发明提供了一种在AR设备中实现传送门效果并呈现VR全景视频画面的方法。

本发明采用的技术方案是：

一种在AR设备中实现传送门效果并呈现VR全景视频画面的方法，包括以下步骤：

S1.接收来自人机界面的载入指令，根据载入指令载入预存储的虚拟物体模型；

S2.接收来自人机界面的场景构建指令，根据场景构建指令对虚拟物体模型进行构建操作，构建场景中的虚拟门、窗户、外墙和天空盒子的模型结构；

S3.根据构建完成后的虚拟场景生成初始工程文件，并将初始工程文件适配为AR工程文件；

S4.根据场景构建指令配置场景运行前状态，将VR全景视频附着到天空盒子上，关闭对除了虚拟门、窗户和外墙之外所有物体的渲染；

S5.编写一个不绘制颜色通道的着色器，然后将该着色器赋予外墙模型，只保留虚拟门的模型画面和外部摄影机回传的实体场景画面；

S6.接收来自人机界面的场景运行指令，运行场景，场景中出现虚拟门及实体场景画面；

S7.接收来自人机界面的虚拟门打开指令，虚拟门内物体开启渲染，场景中出现打开的虚拟门、虚拟门内的VR全景视频画面和虚拟门外的实体场景画面；

S8.将最终工程文件封装打包并输出。

作为优选，所述的步骤S1-S8均在Unity3D游戏引擎中完成。

作为优选，所述的步骤S2和S4中，构建操作用于创建虚拟物体；所述的虚拟物体包括模型、灯光、贴图及材质。

作为优选，所述的步骤S3中，将初始工程文件适配为AR工程文件之前，首先载入AR技术框架；所述的AR技术框架为ARKit框架和/或ARcore框架。

作为优选，所述的步骤2中，构建场景中的虚拟门为虚拟场景与现实场景的交换入口；构建场景中的窗户为AR场景与VR场景的交换窗口；构建场景中的外墙为隔离虚拟场景与现实场景的介质；构建场景中的天空盒子为一个具有球形UV映射的、方形的多边形模型。

作为优选，在步骤S4中，将VR全景视频附着到天空盒子上时，具体步骤如下：

S41.接收来自人机界面的载入指令，载入预存储的具有球形UV映射的、方形的多边形模型；

S42.接收来自人机界面的赋予指令，将使用自身照明并且能够接受UV贴图映射的材质赋予S41中载入的多边形模型；

S43.将VR全景图像映射到多边形模型之上，呈现出最终的全景画面。

作为优选，所述的步骤S5的具体步骤如下：

S51.使用GPU编程语言，编写一个不绘制颜色通道的着色器；

S52.接收人机界面的属性指令，将着色器赋予外墙模型，使外墙模型成为一个透明遮罩，且从外墙正法向观看外墙内部模型时，内部模型将被隐藏，从外墙负法向观看外墙内部模型时，内部模型正常显示；

S53.外墙遮罩区域不覆盖虚拟门，虚拟门在场景中正常渲染并显示。

作为优选，所述的步骤S8中，将最终AR工程文件封装打包后，输出至人机界面及VR显示设备。

本发明的有益效果是：

本发明在外部摄影机拍摄的现实场景中，构建出一个虚拟的传送门，作为现实与虚拟的枢纽，由此可将众多科幻影视、科幻文学等艺术作品中的传送门以AR的形式展现出来，使用户能够切身体会到此种不可思议的空间变换。与此同时，本实施同时结合VR全景视频技术，在AR虚拟的三维场景外部加入拍摄好的真实场景的VR全景视频，高度融合了虚拟场景与现实场景、AR场景与VR全景，令用户产生时空穿越、身临其境的观感，且避免了VR全景不具备捕捉现实世界的能力以及使虚拟事物与现实世界交互造成的不便，实用性更高，极大的提高了用户体验度，适于推广使用。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是实施例的流程框图。

具体实施方式

下面结合附图及具体实施例对本发明做进一步阐释。

在进行具体实施例陈述之前，需要解释一些专用名词：

Unity3D：Unity是由Unity Technologies开发的一个让玩家轻松创建诸如三维视频游戏、建筑可视化、实时三维动画等类型互动内容的多平台的综合型游戏开发工具，是一个全面整合的专业游戏引擎。

VR：全称Virtual Reality，中文为虚拟现实，是一种可以创建和体验虚拟世界的计算机仿真***，其利用计算机生成一种模拟环境，是一种多源信息融合的、交互式的三维动态视景及一种实体行为的***仿真，使用户沉浸到上述模拟环境中。

AR：全称Augmented Reality，中文为增强现实，是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频及3D模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。

全景视频：是一种用3D摄像机进行全方位360度进行拍摄的视频。

VR全景视频：是指用专业的VR摄影功能将现场环境真实地记录下来，再通过计算机进行后期处理，所形成的可以实现三维的空间展示功能的视频。

实施例1：

一种在AR设备中实现传送门效果并呈现VR全景视频画面的方法，包括以下步骤：

S1.接收来自人机界面的载入指令，根据载入指令载入预存储的虚拟物体模型。

S2.接收来自人机界面的场景构建指令，根据场景构建指令对虚拟物体模型进行构建操作，构建场景中的虚拟门、窗户、外墙和天空盒子的模型结构；本实施例中，构建场景中的虚拟门、窗户、外墙和天空盒子的模型结构，可呈现出多层次的互相关联的模型结构，且场景根据真实世界尺寸构建，形成具有足够受众漫游活动的虚拟空间。

S3.根据构建完成后的虚拟场景生成初始工程文件，并将初始工程文件适配为AR工程文件；采用AR工程文件可实现增强现实技术相关的各项功能和体验。

本实施例中，步骤S3中，将初始工程文件适配为AR工程文件之前，首先载入AR技术框架；所述的AR技术框架为ARKit框架和/或ARcore框架。

S4.根据场景构建指令配置场景运行前状态，将VR全景视频附着到方形的天空盒子上，关闭对除了虚拟门、窗户和外墙之外所有物体的渲染。

本实施例中，步骤S2和S4中，构建操作用于创建虚拟物体；所述的虚拟物体包括模型、灯光、贴图及材质。

本实施例中，在步骤S4中，在场景运行前，通过调用CPU的控制指令，关闭对除了虚拟门、窗户和外墙以外所有虚拟物体的渲染。

S5.编写一个不绘制颜色通道的着色器，然后将该着色器赋予外墙模型，只保留虚拟门的模型画面和外部摄影机回传的实体场景画面。应当理解的是，外部摄影机可以但不仅限于采用AR设备实现，此时用户只能在画面中看见一扇门竖立在现实场景中。

S6.接收来自人机界面的场景运行指令，运行场景，场景中出现虚拟门及实体场景画面，需要说明的是，运行场景时，用户能够环绕虚拟门的四周，只能看见虚拟门以及实体场景画面，而看不见其他虚拟场景。

本实施例中，步骤S6中，通过调用CPU的控制指令，关闭对除了虚拟门以外所有虚拟物体的渲染；此时AR设备中仅显示虚拟门及外部摄影机传回的实体场景画面，呈现出传送门的效果。

S7.接收来自人机界面的虚拟门打开指令，虚拟门内物体受到程序脚本控制开启渲染，场景中出现打开的虚拟门、虚拟门内的VR全景视频画面和虚拟门外的实体场景画面。需要说明的是，此时用户能够通过虚拟门步入虚拟空间，并能够到达空间中的如窗户等开放区域，通过该虚拟窗口观看VR全景。

需要说明的是，步骤S7中，用户可通过人机界面触碰启动虚拟门打开的动画，以发送虚拟门打开指令，场景运行的内部机制如下：

CPU接收虚拟门打开指令，发送指令到模型控制组件，启动预加载的开门动画和对模型的渲染操作；此时外墙的透明遮罩仍然发挥作用，AR设备中仅显示虚拟门、虚拟门内的虚拟空间以及外部摄影机传回的实体场景画面。

在步骤S7中，用户通过虚拟门步入虚拟空间时，场景运行的内部机制如下：

S71.作为VR全景视频载体的多边形模型，完全包裹包括虚拟门、窗户、外墙在内的几乎所有虚拟模型，以实现VR的沉浸式体验；

S72.此时外墙的透明遮罩仍然发挥作用，且在虚拟门前的用户活动范围外包裹有正法向的外墙，以阻挡VR全景暴露在传送门效果外；

S73.空间中的开放区域，即诸如窗户、阳台等区域，无外墙遮罩，保持对VR全景的正常观看效果。

S8.将最终工程文件封装打包并输出。

本实施例中，步骤S8中，将最终AR工程文件封装打包后，输出至人机界面及VR显示设备。

本实施例中，步骤S1-S8均在Unity3D游戏引擎中完成。

实施例2：

一种在AR设备中实现传送门效果并呈现VR全景视频画面的方法，包括以下步骤：

S1.接收来自人机界面的载入指令，根据载入指令载入预存储的虚拟物体模型。

S2.接收来自人机界面的场景构建指令，根据场景构建指令对虚拟物体模型进行构建操作，构建场景中的虚拟门、窗户、外墙和天空盒子的模型结构；本实施例中，构建场景中的虚拟门、窗户、外墙和天空盒子的模型结构，可呈现出多层次的互相关联的模型结构，且场景根据真实世界尺寸构建，形成具有足够受众漫游活动的虚拟空间。

本实施例中，步骤S2中，可通过接收来自人机界面的载入指令载入预存储的虚拟物体模型或根据场景构建指令构建场景内的物体模型，其中构建场景中的虚拟门为虚拟场景与现实场景的交换入口，其不局限为包括日常普通的门在内的各种形态；构建场景中的窗户为AR场景与VR场景的交换窗口，其不局限为包括日常普通窗户在内的各种形态；构建场景中的外墙为隔离虚拟场景与现实场景的介质，其不局限为日常普通外墙的各种形态；构建场景中的天空盒子为一个具有球形UV映射的、方形的多边形模型，在进行天空盒子的构建时，通过接收来自人机界面的载入指令，载入预存储的具有球形UV映射的、方形的多边形模型。

S3.根据构建完成后的虚拟场景生成初始工程文件，并将初始工程文件适配为AR工程文件；采用AR工程文件可实现增强现实技术相关的各项功能和体验。

本实施例中，步骤S3中，将初始工程文件适配为AR工程文件之前，首先载入AR技术框架；所述的AR技术框架为ARKit框架和/或ARcore框架。

S4.根据场景构建指令配置场景运行前状态，将VR全景视频附着到方形的天空盒子上，关闭对除了虚拟门、窗户和外墙之外所有物体的渲染。

本实施例中，步骤S2和S4中，构建操作用于创建虚拟物体；所述的虚拟物体包括模型、灯光、贴图及材质。

本实施例中，在步骤S4中，将VR全景视频附着到天空盒子上时，具体步骤如下：

S41.接收来自人机界面的载入指令，载入预存储的具有球形UV映射的、方形的多边形模型；

S42.接收来自人机界面的赋予指令，将使用自身照明并且能够接受UV贴图映射的材质赋予S41中载入的多边形模型；

S43.将VR全景图像映射到多边形模型之上，呈现出最终的全景画面，最终的全景画面为完好、正确的全景画面。

本实施例中，在步骤S4中，在场景运行前，通过调用CPU的控制指令，关闭对除了虚拟门、窗户和外墙以外所有虚拟物体的渲染。

S5.编写一个不绘制颜色通道的着色器，然后将该着色器赋予外墙模型，只保留虚拟门的模型画面和外部摄影机回传的实体场景画面。应当理解的是，外部摄影机可以但不仅限于采用AR设备实现，此时用户只能在画面中看见一扇门竖立在现实场景中。

本实施例中，步骤S5的具体步骤如下：

S51.使用GPU编程语言，编写一个不绘制颜色通道的着色器；

S52.接收人机界面的属性指令，将着色器赋予外墙模型，使外墙模型成为一个透明遮罩，且从外墙正法向观看外墙内部模型时，内部模型将被隐藏，从外墙负法向观看外墙内部模型时，内部模型正常显示；

S53.外墙遮罩区域不覆盖虚拟门，虚拟门在场景中正常渲染并显示。

S6.接收来自人机界面的场景运行指令，运行场景，场景中出现虚拟门及实体场景画面，需要说明的是，运行场景时，用户能够环绕虚拟门的四周，只能看见虚拟门以及实体场景画面，而看不见其他虚拟场景。

本实施例中，步骤S6中，通过调用CPU的控制指令，关闭对除了虚拟门以外所有虚拟物体的渲染；此时AR设备中仅显示虚拟门及外部摄影机传回的实体场景画面，呈现出传送门的效果。

S7.接收来自人机界面的虚拟门打开指令，虚拟门内物体受到程序脚本控制开启渲染，场景中出现打开的虚拟门、虚拟门内的VR全景视频画面和虚拟门外的实体场景画面。需要说明的是，此时用户能够通过虚拟门步入虚拟空间，并能够到达空间中的如窗户等开放区域，通过该虚拟窗口观看VR全景。

需要说明的是，步骤S7中，用户可通过人机界面触碰启动虚拟门打开的动画，以发送虚拟门打开指令，场景运行的内部机制如下：

CPU接收虚拟门打开指令，发送指令到模型控制组件，启动预加载的开门动画和对模型的渲染操作；此时外墙的透明遮罩仍然发挥作用，AR设备中仅显示虚拟门、虚拟门内的虚拟空间以及外部摄影机传回的实体场景画面。

在步骤S7中，用户通过虚拟门步入虚拟空间时，场景运行的内部机制如下：

S71.作为VR全景视频载体的多边形模型，完全包裹包括虚拟门、窗户、外墙在内的几乎所有虚拟模型，以实现VR的沉浸式体验；

S72.此时外墙的透明遮罩仍然发挥作用，且在虚拟门前的用户活动范围外包裹有正法向的外墙，以阻挡VR全景暴露在传送门效果外；

S73.空间中的开放区域，即诸如窗户、阳台等区域，无外墙遮罩，保持对VR全景的正常观看效果。

S8.将最终工程文件封装打包并输出。

本实施例中，步骤S8中，将最终AR工程文件封装打包后，输出至人机界面及VR显示设备。

本实施例中，步骤S1-S8均在Unity3D游戏引擎中完成。

本实施例在外部摄影机拍摄的现实场景中，构建出一个虚拟的传送门，作为现实与虚拟的枢纽，由此可将众多科幻影视、科幻文学等艺术作品中的传送门以AR的形式展现出来，使用户能够切身体会到此种不可思议的空间变换。与此同时，本实施同时结合VR全景视频技术，在AR虚拟的三维场景外部加入拍摄好的真实场景的VR全景视频，在用户穿过传送门进入AR场景后仍意犹未尽时，窗外VR全景视频可再次将用户带入另外一个世界中。

本实施例在使用过程中，可使用户在观感上经历两次不同的空间转换，真假虚实互相穿插，高度融合了虚拟场景与现实场景、AR场景与VR全景，令用户产生时空穿越、身临其境的观感，且避免了VR全景不具备捕捉现实世界的能力以及使虚拟事物与现实世界交互造成的不便，实用性更高，极大的提高了用户体验度，适于推广使用。

本发明特别但不限制的在房地产开发样板房、室内装潢效果展示等行业应用上，具有极大的实际作用。对于上述行业，本发明提供的技术方法在展示效果和展示技术上都能够产生影响力，对于社会生产力的提高也能发挥极大的作用。

本实施例中，步骤S51中，使用GPU编程语言，编写一个不绘制颜色通道的着色器时，其采用的程序代码可以但不仅限于如下：

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (5)

1.一种在AR设备中实现传送门效果并呈现VR全景视频画面的方法，其特征在于：包括以下步骤：

S1.接收来自人机界面的载入指令，根据载入指令载入预存储的虚拟物体模型；

S2.接收来自人机界面的场景构建指令，根据场景构建指令对虚拟物体模型进行构建操作，构建场景中的门、窗户、外墙和天空盒子的模型结构；

S3.根据构建完成后的虚拟场景生成初始工程文件，并将初始工程文件适配为AR工程文件；

S4.根据场景构建指令配置场景运行前状态，将VR全景视频附着到天空盒子上，关闭对除了门、窗和外墙之外所有物体的渲染；

S5.编写一个不绘制颜色通道的着色器，然后将该着色器赋予外墙模型，只保留虚拟门的模型画面和外部摄影机回传的实体场景画面；

S6.接收来自人机界面的场景运行指令，运行场景，场景中出现虚拟门及实体场景画面；

S7.接收来自人机界面的虚拟门打开指令，虚拟门内物体开启渲染，场景中出现打开的虚拟门、虚拟门内的VR全景视频画面和虚拟门外的实体场景画面；

S8.将最终工程文件封装打包并输出；

所述的步骤S2中，构建场景中的门为虚拟场景与现实场景的交换入口；构建场景中的窗户为AR场景与VR场景的交换窗口；构建场景中的外墙为隔离虚拟场景与现实场景的介质；构建场景中的天空盒子为一个具有球形UV映射的、方形的多边形模型；

在步骤S4中，将VR全景视频附着到天空盒子上时，具体步骤如下：

S41.接收来自人机界面的载入指令，载入预存储的具有球形UV映射的、方形的多边形模型；

S42.接收来自人机界面的赋予指令，将使用自身照明并且能够接受UV贴图映射的材质赋予S41中载入的多边形模型；

S43.将VR全景图像映射到多边形模型之上，呈现出最终的全景画面；

所述的步骤S5的具体步骤如下：

S51.使用GPU编程语言，编写一个不绘制颜色通道的着色器；

S52.接收人机界面的属性指令，将着色器赋予外墙模型，使外墙模型成为一个透明遮罩，且从外墙正法向观看外墙内部模型时，内部模型将被隐藏，从外墙负法向观看外墙内部模型时，内部模型正常显示；

S53.外墙遮罩区域不覆盖虚拟门，虚拟门在场景中正常渲染并显示；

步骤S7中，接收来自人机界面的虚拟门打开指令后，场景运行的内部机制如下：

CPU接收虚拟门打开指令，发送指令到模型控制组件，启动预加载的开门动画和对模型的渲染操作；

在步骤S7中，用户通过虚拟门步入虚拟空间时，场景运行的内部机制如下：

S71.作为VR全景视频载体的多边形模型，完全包裹包括门、窗、外墙在内的几乎所有虚拟模型；

S72.在虚拟门前的用户活动范围外包裹有正法向的外墙，以阻挡VR全景暴露在传送门效果外；

S73.空间中的开放区域无外墙遮罩，保持对VR全景的观看效果。

2.根据权利要求1所述的在AR设备中实现传送门效果并呈现VR全景视频画面的方法，其特征在于：所述的步骤S1-S8均在Unity3D游戏引擎中完成。

3.根据权利要求1或2所述的在AR设备中实现传送门效果并呈现VR全景视频画面的方法，其特征在于：所述的步骤S2中，构建操作用于创建虚拟物体；所述的虚拟物体包括模型、灯光、贴图及材质。

4.根据权利要求1或2所述的在AR设备中实现传送门效果并呈现VR全景视频画面的方法，其特征在于：所述的步骤S3中，将初始工程文件适配为AR工程文件之前，首先载入AR技术框架；所述的AR技术框架为ARKit框架和/或ARcore框架。

5.根据权利要求1所述的在AR设备中实现传送门效果并呈现VR全景视频画面的方法，其特征在于：所述的步骤S8中，将最终AR工程文件封装打包后，输出至人机界面及VR显示设备。

Images