CN206863693U - Ar/vr多屏互动*** - Google Patents

Abstract

本实用新型公开的AR/VR多屏互动***，属于人机交互技术领域，包括公网服务器、自组网模块、至少两个前端设备；所述自组网模块包括域网自动组网模块、跨网自动代理模块；所述前端设备包含通讯模块、处理模块、操作模块、呈现模块，所述通讯模块、操作模块、呈现模块与处理模块连接；所述通讯模块与公网服务器连接，通讯模块与域网自动组网模块和/或跨网自动代理模块连接；所述前端设备之间通过自组网模块相互连接。通过本实用新型能够实现内容展现方式多种多样，包含单一模型展示、基于场景的多模型展示、全息内容共享、数据全息化展示等。

Description

AR/VR多屏互动***

技术领域

本实用新型涉及人机交互技术领域，特别涉及一种AR/VR多屏互动***。

背景技术

随着社会的发展、科技的进步，增强现实AR技术和虚拟现实VR技术逐渐成为大型设备企业营销展示、职业技能培训、远程工作辅助等活动的重要手段之一。但目前技术实现远不能满足上述场景的使用，存在以下问题：

不能开箱即用，***往往需要耗费大量时间提前部署，才能满足上述场景的使用。

对于全息内容的操控不方便。在手机或平板上可通过手势进行操作、PC端可通过鼠标进行操作，但不方便向受众展示；在AR眼镜、VR眼镜上可通过手势进行操作，但对手势种类比较有限，只能在限定的区域进行手势识别，而且对手势的标准姿势要求非常高。

内容呈现方式单一。当前大多以独立模型，配合简单动画的方式进行展示。这样能够通过增强现实的方式进行展示的内容比较有限，呈现方式也不够生动。

实用新型内容

本实用新型旨在提供一种AR/VR多屏互动***，公网服务器一直监控前端设备的在线状态；当任意前端设备上线即通过自组网模块开始自组网流程；当两个及其以上的前端设备完成多端组网后，使用者就可以通过任意一端控制其它端的内容展示，在营销展示场景下主要使用方式为通过手机、平板、电脑端控制大屏端、AR眼镜端、VR眼镜端的内容展示；在技能培训场景下主要方式为多端相互调用分享；在远程工作辅助场景下主要使用方式为前端AR眼镜、VR眼镜、手机、平板，后端手机、平板、电脑、AR眼镜、VR眼镜的前后端远程互动。通过本实用新型能够实现内容展现方式多种多样，包含单一模型展示、基于场景的多模型展示、全息内容共享、数据全息化展示等。

为达到上述目的，本实用新型采用的技术方案如下：

本实用新型公开的AR/VR多屏互动***，包括公网服务器、自组网模块、至少两个前端设备；所述自组网模块包括域网自动组网模块、跨网自动代理模块；

所述前端设备包含通讯模块、处理模块、操作模块、呈现模块，所述通讯模块、操作模块、呈现模块与处理模块连接；

所述通讯模块与公网服务器连接，通讯模块与域网自动组网模块和/或跨网自动代理模块连接；

所述前端设备之间通过自组网模块相互连接。

本实用新型的运行方式分为四步：

1)前端设备启动时，首先向公网服务器获取节点下的前端设备集合信息；

2)域网自动组网模块通过mDNS协议在域网中查询可通信的前端设备，如果查询到则直接建立通信连接；

3)在域网中没有发现通讯对象时，则使用从公网服务器获取到的前端设备信息以P2P的方式向前端设备发起连接，如果可直接建立连接则保持该连接；

4)如果通过P2P方式无法建立连接，前端设备(请求端)则通过跨网自动代理模块向公网服务器发起通信代理申请，公网服务器收到通信代理申请后，首先分配一个消息通道，然后将该消息通道信息推送到其他前端设备(通讯对象)和回复给请求端。请求端和通讯对象收到消息通道信息后均主动连接到该消息通道进行通信。

优选的，所述呈现模块包括显示屏、投影屏。

优选的，所述前端设备包括包含通讯模块、处理模块、操作模块、呈现模块的手机、平板、电脑、AR眼镜、VR眼镜。

进一步的，所述操作模块包括鼠标、触摸屏、手势识别模块。

进一步的，所述通讯模块以HTTPAPI接口的形式与公网服务器连接。

HTTPAPI接口为本实用新型依据HTTP协议规范自定义的一套私有协议。

本实用新型具有以下有益效果：

1.本实用新型通过自组网模块(域网自动组网模块、跨网自动代理模块)，支持多个前端设备在有网情况下启动即自动完成组网连接，实现多个前端设备互动功能，***不用提前部署，做到开箱即用。

2.本实用新型通过端端互动(手机、平板、电脑、AR眼镜、VR眼镜组合使用)的方式，取长补短实现对全息内容的操控，利用手机、平板、电脑对手势和鼠标的支持，以及其操作的便利性，将其操作映射到AR眼镜、VR眼镜或者演示大屏中，向受众展示全息内容。

3.本实用新型能够引入场景模式，丰富全息内容的展示方式。场景中可呈现多个模型，使用者可与场景中单个模型或整体进行互动。同时支持多个使用者之间的全息内容共享以及文本数据到全息图表的自动化生成和展示。

附图说明

图1为本实用新型的结构示意图；

图2为前端设备之间进行全息共享的操作示意图。

具体实施方式

为了使本实用新型的目的、技术方案及优点更加清楚明白，以下结合附图，对本实用新型进行进一步详细说明。

如图1所示，本实用新型公开的AR/VR多屏互动***，包括公网服务器、自组网模块、至少两个前端设备；所述自组网模块包括域网自动组网模块、跨网自动代理模块；

所述前端设备包括但不局限于包含通讯模块、处理模块、操作模块、呈现模块的手机、平板、电脑、AR眼镜、VR眼镜，所述通讯模块、操作模块、呈现模块与处理模块连接；操作模块包括但不局限于鼠标、触摸屏、手势识别模块；呈现模块可以为显示屏、投影屏等；

所述通讯模块以HTTPAPI接口的形式与公网服务器连接，通讯模块与域网自动组网模块和/或跨网自动代理模块连接；

所述前端设备之间通过自组网模块相互连接。

本实用新型的运行方式分为四步：

1)前端设备启动时，首先向公网服务器获取节点下的前端设备集合信息；

2)域网自动组网模块通过mDNS协议在域网中查询可通信的前端设备，如果查询到则直接建立通信连接；

3)在域网中没有发现通讯对象时，则使用从公网服务器获取到的前端设备信息以P2P的方式向前端设备发起连接，如果可直接建立连接则保持该连接；

4)如果通过P2P方式无法建立连接，前端设备(请求端)则通过跨网自动代理模块向公网服务器发起通信代理申请，公网服务器收到通信代理申请后，首先分配一个消息通道，然后将该消息通道信息推送到其他前端设备(通讯对象)和回复给请求端。请求端和通讯对象收到消息通道信息后均主动连接到该消息通道进行通信。

通过以上四个步骤可实现分布在任意网络环境下的多个前端设备之间的自组网，组网完成后会形成一个互通连接。

如图2所示，在场景模式下，用户之间可进行全息共享，即前端设备A可将自己看到的虚拟场景共享给前端设备B，实现同步查看、同步操作。该功能包含三个步骤：

a)前端设备B向前端设备A请求进入全息共享模式；

b)前端设备A向前端设备B发送当前场景的模型信息以及模型状态信息；

c)前端设备A与前端设备B实时地同步手势操作数据。

当然，本实用新型还可有其它多种实施例，在不背离本实用新型精神及其实质的情况下，熟悉本领域的技术人员可根据本实用新型作出各种相应的改变和变形，但这些相应的改变和变形都应属于本实用新型所附的权利要求的保护范围。

Claims (5)

1.AR/VR多屏互动***，其特征在于：包括公网服务器、自组网模块、至少两个前端设备；所述自组网模块包括域网自动组网模块、跨网自动代理模块；

所述前端设备包含通讯模块、处理模块、操作模块、呈现模块，所述通讯模块、操作模块、呈现模块与处理模块连接；

所述通讯模块与公网服务器连接，通讯模块与域网自动组网模块和/或跨网自动代理模块连接；

所述前端设备之间通过自组网模块相互连接。

2.根据权利要求1所述的AR/VR多屏互动***，其特征在于：所述呈现模块包括显示屏、投影屏。

3.根据权利要求1所述的AR/VR多屏互动***，其特征在于：所述前端设备包括包含通讯模块、处理模块、操作模块、呈现模块的手机、平板、电脑、AR眼镜、VR眼镜。

4.根据权利要求1所述的AR/VR多屏互动***，其特征在于：所述操作模块包括鼠标、触摸屏、手势识别模块。

5.根据权利要求1所述的AR/VR多屏互动***，其特征在于：所述通讯模块以HTTPAPI接口的形式与公网服务器连接。