CN213461894U - 一种xr-扩展现实*** - Google Patents

Abstract

本实用新型涉及一种XR‑扩展现实***包括：摄像机与摄像机追踪***连接；同步锁相***与所述摄像机追踪***、所述摄像机和服务器连接；所述摄像机、所述摄像机追踪***和实时渲染引擎均与所述服务器连接；通过服务器将摄像机实时捕捉的影像和实时渲染引擎输出的渲染内容合成输出，实现原有现实场景的扩大，提高用户的视觉感受。

Description

一种XR-扩展现实***

技术领域

本实用新型涉及扩展现实技术领域，特别是涉及一种XR-扩展现实***。

背景技术

目前市场上的影像播出技术主要是：

1、常规拍摄用于直播和录像(与现场实际效果一致)。

2、常规拍摄+后期剪辑合成用于录制节目、录像(在实际效果上做一定的包装处理使效果更完美，但后期需要时间和成本、且无法包装运动镜头的效果)。

3、AR合成技术、在摄像直播画面前，叠加虚拟画面并实时合成输出画面。

4、蓝屏或绿屏的抠像技术(画面需要后期合成，参与者没有环境的体验感，在拍摄时人物、道具均不能有蓝色或绿色，光影效果都需要后期完成，对后期制作要求较高)。

实用新型内容

基于此，本实用新型的目的是提供一种XR-扩展现实***，实现原有现实场景的扩大，提高用户的视觉感受。

为实现上述目的，本实用新型提供了如下方案：

一种XR-扩展现实***，包括：

服务器，用于将影像和渲染内容合成输出；

摄像机，与所述服务器连接，用于将实时捕捉的所述影像发送到所述服务器；

摄像机追踪***，与所述服务器连接，并绑定所述摄像机，所述摄像机追踪***用于获取所述摄像机的姿态数据，并将所述摄像机的空间位置数据发送到所述服务器；

同步锁相***，分别与所述摄像机追踪***、所述摄像机和服务器连接，用于向所述摄像机追踪***、所述摄像机和所述服务器发送同步信号；

实时渲染引擎，与所述服务器连接，用于所述服务器发送所述渲染内容。

可选地，所述***还包括显示载体，所述显示载体用于显示所述服务器合成的影像。

可选地，所述显示载体包括LED屏、投影仪、电视机和移动终端。

可选地，所述服务器为媒体服务器。

可选地，所述媒体服务器型号包括disguise 2x4、disguise 4x4pro、disguisegx1、disguise gx2、disguise gx2c或disguise vx4。

根据本实用新型提供的具体实施例，本实用新型公开了以下技术效果：

本实用新型公开的一种XR-扩展现实***包括：摄像机与摄像机追踪***连接；同步锁相***与所述摄像机追踪***、所述摄像机和服务器连接；所述摄像机、所述摄像机追踪***和实时渲染引擎均与所述服务器连接；通过服务器将摄像机实时捕捉的影像和实时渲染引擎输出的渲染内容合成输出，实现原有现实场景的扩大，提高用户的视觉感受。

附图说明

为了更清楚地说明本实用新型实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本实用新型的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本实用新型实施例一种XR-扩展现实***结构示意图。

具体实施方式

下面将结合本实用新型实施例中的附图，对本实用新型实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本实用新型一部分实施例，而不是全部的实施例。基于本实用新型中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本实用新型保护的范围。

本实用新型的目的是提供一种XR-扩展现实***，实现原有现实场景的扩大，提高用户的视觉感受。

为使本实用新型的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本实用新型作进一步详细的说明。

本实施例中涉及的专业术语的解释说明如下：

虚拟现实(Virtual Reality VR)指完全虚拟的个人体验。

增强现实(Augmented Reality AR)指在现实的基础上完全被动叠加虚拟画面。

混合现实(Mixed Reality MR)指在现实的基础上可主动交互的虚拟画面，个人体验。

XR-扩展现实，是一个全新的技术概念集合。其中的X既代表了拓展(Xtended)，又代表了未知变量(X)，R表示现实。XR-扩展现实包含了虚拟现实(VR)、增强现实(AR)以及混合现实(MR)等概念，并将它们共同应用于不同的场景或行业，将虚拟世界和现实世界以多种组合方式进行融汇，从而为创作实现更多可能。在视频领域，我们同时使用AR和MR技术，通过对摄像机运动和镜头的追踪，用虚拟环境的画面填充覆盖部分真实的环境，起到补充和扩大场景的效果，即，在现实空间里叠加虚拟空间，让有限的空间实现无限延展，让虚拟画面与现实画面的完美结合。

XR-扩展现实技术为现实空间与虚拟空间的结合。

抠像技术：“KEY”抠像技术利用后期软件软件对其现场拍摄的画面中的特定区域，或者画面中特定的一种颜色(蓝或绿)或者亮度，将该区域颜色亮度从画面中抠除掉，使该区域成为透明的区域形成“alpha透明通道”再对其进行与数字CG背景或其他画面素材最终的合成叠加模式，以致最终结合出想要的画面”。

实时渲染(渲染引擎)：实时渲染指的是根据图形学算法，将三维数据绘制到二维位图之中，并将这些位图实时显示。它的本质就是对图像数据的实时计算和输出，要求在短时间内渲染出画面并显示出来，同时渲染并显示下一个画面。这种技术仅仅依靠CPU是没办法完成的，还需要依靠显卡实现。

摄像机追踪：摄像机追踪***(stype，mosys，ncam)主要负责摄像机的空间定位，并实时将摄像机的姿态信息实时发送给中枢服务器。其主要目的在于将这些现实摄像机的三维空间数据实时与虚拟摄像机同步，再由实时渲染引擎将虚拟环境做即时的渲染。

图1为本实用新型一种XR-扩展现实***结构示意图。如图1所示，本实用新型一种XR-扩展现实***包括：摄像机(Camera)101、摄像机追踪***(CameraTracking)102、同步锁相***(GenLock)103、实时渲染引擎(Real-Time Rendering Engine)104和服务器105。

摄像机101以广播级和影视级摄像机为主；摄像机追踪***102有stype，mosys和ncam的摄像机追踪***；实时渲染引擎104有Unreal、Notch和Unity的实时渲染引擎。

摄像机101，用于将实时捕捉的影像发送到所述服务器105。

摄像机追踪***102，所述摄像机追踪***102绑定所述摄像机101，所述摄像机追踪***102用于获取所述摄像机101的姿态数据，并将所述摄像机101的空间位置数据发送到所述服务器105。

同步锁相***103，用于向所述摄像机追踪***102、所述摄像机101和所述服务器105发送同步信号。

实时渲染引擎104，用于所述服务器105发送渲染内容。

服务器105用于将所述影像和所述渲染内容合成输出。

***还包括显示载体106，所述显示载体106用于显示所述服务器105合成的影像。

显示载体106包括第一显示载体(Display Screen)和第二显示载体(CombineDisplay)，第一显示载体为真实世界的内容显示体，第二显示载体为扩展现实效果显示体。

显示载体106具体包括LED屏、投影仪、电视机和移动终端。

服务器105为媒体服务器(Media Server)105。

媒体服务器105型号包括disguise 2x4、disguise 4x4pro、disguise gx1、disguise gx2、disguise gx2c或disguise vx4。

本实施例中一种XR-扩展现实***的工作流程为：

摄像机101作为***中的最前端设备，主要负责影像的实时捕获；基于红外发光或反光识别、图形图像识别、机械数据传感等算法的摄像机追踪***102，绑定真实摄像机101并实时向媒体服务器105发送传感器的空间位置数据；经过媒体服务器105的处理，让摄像机追踪***102、实时渲染引擎104、以及现实空间坐标形成统一，使真实世界与虚拟世界完全重合；同步锁相***103发送同步信号，让***中的各部分频率保持一致；此时真实摄像机101与虚拟世界摄像机匹配，且处于实时渲染引擎104所构建的虚拟内容里，同时摄像机101又能实时捕捉真实世界的画面，通过媒体服务器105的合成处理，虚拟与真实并存，将画面输出至合成显示载体106后，便可呈现出扩展现实虚拟效果。

其中，虚拟世界的摄像机是指在与现实世界对应的虚拟场景和虚拟空间里手动添加的摄像机，在用来模拟真实摄像机的功能和实时位移姿态。在XR-扩展现实***里，虚拟摄像机有两个，一个是在媒体服务器105里手动添加的虚拟摄像机，另一个是在实时渲染服务器里手动添加的虚拟摄像机。

本实用新型公开的一种XR-扩展现实***，以LED屏或投影仪等显示屏幕为基础显示介质，通过计算机视觉算法，结合摄像机位置追踪***和实施渲染引擎***，在该显示介质以外的部分实时填充虚拟内容，覆盖显示屏幕以外的真实环境，让有限的真实空间实现无限延展。在电影电视拍摄方面，解决了因场地空间限制营造大场景的难题，解决了传统蓝/绿屏抠像时参与者的观感问题，减少了电影/电视后期制作工作量，同时降低了拍摄和制作成本。

另外，本实用新型公开的一种XR-扩展现实***与抠像技术的比较：

1、不需要抠像，减少后期工作，所见即所得。

2、现场灯光、影子、反射光线等光效都是真实的。

3、现场对服装、道具颜色没有要求。(绿棚里服装道具不能是绿/蓝色)

4、演员可以看到场景及交互的物体、避免演员凭空想象、领导会有现场感。

5、因所见即所得，导演现场可以调整，避免抠像合成后效果不尽人意而导致重新拍摄。

因此XR-扩展现实的工作流提出了所见即所得的概念，即在拍摄的同时实时加入扩展现实，大量减少了后期的工作，导演与观众可以直接看到最终的效果，把原先行业中的很多不可能变成了可能。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

本文中应用了具体个例对本实用新型的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本实用新型的核心思想；同时，对于本领域的一般技术人员，依据本实用新型的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本实用新型的限制。

Claims (5)

1.一种XR-扩展现实***，其特征在于，所述***包括：

服务器，用于将影像和渲染内容合成输出；

摄像机，与所述服务器连接，用于将实时捕捉的所述影像发送到所述服务器；

摄像机追踪***，与所述服务器连接，并绑定所述摄像机，所述摄像机追踪***用于获取所述摄像机的姿态数据，并将所述摄像机的空间位置数据发送到所述服务器；

同步锁相***，分别与所述摄像机追踪***、所述摄像机和服务器连接，用于向所述摄像机追踪***、所述摄像机和所述服务器发送同步信号；

实时渲染引擎，与所述服务器连接，用于所述服务器发送所述渲染内容。

2.根据权利要求1所述的XR-扩展现实***，其特征在于，所述***还包括显示载体，所述显示载体用于显示所述服务器合成的影像。

3.根据权利要求2所述的XR-扩展现实***，其特征在于，所述显示载体包括LED屏、投影仪、电视机和移动终端。

4.根据权利要求1所述的XR-扩展现实***，其特征在于，所述服务器为媒体服务器。

5.根据权利要求4所述的XR-扩展现实***，其特征在于，所述媒体服务器型号包括disguise 2x4、disguise 4x4pro、disguise gx1、disguise gx2、disguise gx2c或disguise vx4。

Images