CN115494963A - 一种混合多种放映装置的互动式模型展示装置与方法 - Google Patents

Abstract

本申请涉及智能放映装置领域，揭示了一种混合多种放映装置的互动式模型展示装置与方法，其中互动式模型展示装置包括终端穿戴模块，信息交互模块，初次水雾投影模块，虚拟图像展示模块，指示棒移动模块，图像解析模块，交互操作模块，交互操作指令接收模块，虚拟3D影像展示模块，持续执行模块，实现了混合多种放映装置的互动式模型展示，能够提高互动式3D影像展示效果，能够避免穿模现象的出现。

Description

一种混合多种放映装置的互动式模型展示装置与方法

技术领域

本申请涉及到智能放映装置领域，特别是涉及到一种混合多种放映装置的互动式模型展示装置与方法。

背景技术

传统的3D放映装置，例如水雾投影装置、VR放映装置等，不存在交互功能（或者交互效果很差），其中一个很大原因在于，难以进行精确定位。对于水雾投影装置，其主要用于在现场放映预先制作而成的3D模型，一般不会存在交互功能（最多仅存在放映、暂停等常用的播放选项，不视为具有交互功能）；对于VR放映装置，由于传统方案中难以确定使用者意图确定的准确位置，因此使用者想要进行的精细地基于准确位置的模型拆分、旋转、放大等交互操作难以实现（例如在交互时容易导致穿模等现象的出现）。

反映在具体应用场景中，例如在科技馆进行3D模型的展示场景中，若采用水雾投影装置进行展示，则缺少交互功能；若让所有参观人员具戴上例如VR眼镜类型的VR放映装置，则交互功能较差，因此传统方案的互动式3d影像展示效果有待提高。

发明内容

本申请提出一种混合多种放映装置的互动式模型展示装置，多种放映装置包括一个AR终端、多个VR终端和水雾投影设备，所述互动式模型展示装置包括：

终端穿戴模块10，用于指示在第一时间阶段，第一使用者戴上AR终端，第二使用者至第n使用者分别戴上对应的VR终端；

信息交互模块20，用于指示AR终端与多个VR终端之间通过预设的服务器进行信息交互，从而AR终端和多个VR终端均获取预设的初始虚拟3D模型影像和其他终端的使用者对应的虚拟图像；

初次水雾投影模块30，用于指示AR终端控制预设的水雾投影设备，根据初始虚拟3D模型影像，在真实空间中投影出初始3D水雾影像，并向第一使用者展示其他VR终端对应的使用者的虚拟图像；

虚拟图像展示模块40，用于指示多个VR终端分别向对应的使用者展示一个初始虚拟3D模型影像和多个除己端对应的虚拟图像之外的其他虚拟图像；

指示棒移动模块50，用于指示在第二时间阶段，第一使用者手持预设的指示棒，伸入初始3D水雾影像中，直至指示棒的棒头到达第一使用者意图指示位置；其中，指示棒由直接连接的棒头和棒身构成，棒头由亲水材料制成，棒身由疏水材料制成；

图像解析模块60，用于指示AR终端采用预设的双目摄像头，对初始3D水雾影像所处空间进行图像采集处理，以得到两幅空间图像，再根据预设的图像解析方法对两幅空间图像进行解析，以得到指示棒的棒头相对于初始3D水雾影像的相对位置；

交互操作模块70，用于指示AR终端获取第一使用者通过指示棒输入的交互操作指令，以所述相对位置为基准，根据所述交互操作指令，控制预设的水雾投影设备对初始3D水雾影像进行交互操作，从而投影出交互后3D水雾影像；

交互操作指令接收模块80，用于指示AR终端与多个VR终端之间通过服务器进行信息交互，从而多个VR终端均获取AR终端发送的所述相对位置和所述交互操作指令；

虚拟3D影像展示模块90，用于指示多个VR终端，根据所述相对位置和所述交互操作指令，对初始虚拟3D模型影像进行交互操作以形成交互后虚拟3D影像，并分别向对应的使用者展示交互后虚拟3D影像；

持续执行模块100，用于指示在第三时间阶段及之后的其他时间阶段，持续进行指示位置的步骤、相对位置解析的步骤、投影交互后3D水雾影像操作的步骤、相对位置和交互操作指令的信息交互操作的步骤以及展示交互后虚拟3D影像的步骤，直至完成整个互动式模型展示流程。

进一步地，所述水雾投影设备包括水雾生成器和投影仪，所述水雾生成器用于生成水雾屏幕，所述投影仪用于将3D水雾影像投影在水雾屏幕上；

AR终端与多个VR终端之间通过服务器形成通信连接；

AR终端与水雾投影设备之间形成通信连接。

进一步地，所述AR终端采用预设的双目摄像头，对初始3D水雾影像所处空间进行图像采集处理，以得到两幅空间图像，再根据预设的图像解析方法对两幅空间图像进行解析，以得到指示棒的棒头相对于初始3D水雾影像的相对位置，包括：

AR终端采用预设的双目摄像头，对初始3D水雾影像所处空间进行图像采集处理，以得到两幅空间图像；

指示AR终端构建空间坐标系，并根据视差定位原理，对两幅空间图像中的指示棒的棒头进行第一步定位处理，以得到指示棒的棒头在空间坐标系中的第一绝对空间坐标；其中，指示棒的棒头由于亲水特性而覆盖有水膜；

AR终端根据视差定位原理，对两幅空间图像中的初始3D水雾影像进行第二步定位处理，以得到初始3D水雾影像中心在空间坐标系中的第二绝对空间坐标；

AR终端基于所述第一绝对空间坐标和所述第二绝对空间坐标，生成指示棒的棒头相对于初始3D水雾影像中心的相对位置。

进一步地，指示棒的棒头和棒身均是透明的。

进一步地，所述指示棒还包括手柄，所述手柄内置有震动发生器，所述在第三时间阶段及之后的其他时间阶段，持续进行指示位置的步骤、相对位置解析的步骤、投影交互后3D水雾影像操作的步骤、相对位置和交互操作指令的信息交互操作的步骤以及展示交互后虚拟3D影像的步骤，直至完成整个互动式模型展示流程之前，包括：

在第三时间阶段，第一使用者将指示棒从水雾区域抽出，并挥舞指示棒；

AR终端采用预设的摄像头，对指示棒进行图像采集处理，以得到指示棒图像，并根据指示棒图像，判断指示棒的棒头和棒身是否被水膜覆盖；

若指示棒的棒头和棒身均未被水膜覆盖，则控制手柄内置的震动发生器发生震动，以指示第一使用者将指示棒再次伸入交互后3D水雾影像，直至指示棒的棒头再次到达第一使用者意图指示位置。

进一步地，所述AR终端获取第一使用者通过指示棒输入的交互操作指令，以所述相对位置为基准，根据所述交互操作指令，控制预设的水雾投影设备对初始3D水雾影像进行交互操作，从而投影出交互后3D水雾影像中的交互操作指令包括模型拆分指令、旋转指令、放大指令或者***图展示指令。

进一步地，所述在第三时间阶段及之后的其他时间阶段，持续进行指示位置的步骤、相对位置解析的步骤、投影交互后3D水雾影像操作的步骤、相对位置和交互操作指令的信息交互操作的步骤以及展示交互后虚拟3D影像的步骤，直至完成整个互动式模型展示流程之后，包括：

多个VR终端中的一个VR终端，通过服务器向AR终端发送交互权限申请；

AR终端，将发送交互权限申请记为指定VR终端，并将允许交互的信号通过服务器发送至指定VR终端，以赋予指定VR终端对虚拟3D影像进行交互的权限；

指定VR终端对应的使用者，通过预设的VR交互方法，对虚拟3D影像进行交互处理，并将交互处理后的结果通过服务器发送至其他VR终端和AR终端；

除指定VR终端之外的其他VR终端，根据接收到的交互处理后的结果，对虚拟3D影像进行调整；

AR终端，根据接收到的交互处理后的结果，对3D水雾影像进行调整。

本申请提供一种混合多种放映装置的互动式模型展示方法，多种放映装置包括一个AR终端、多个VR终端和水雾投影设备，所述方法包括：

S1、在第一时间阶段，第一使用者戴上AR终端，第二使用者至第n使用者分别戴上对应的VR终端；

S2、AR终端与多个VR终端之间通过预设的服务器进行信息交互，从而AR终端和多个VR终端均获取预设的初始虚拟3D模型影像和其他终端的使用者对应的虚拟图像；

S3、AR终端控制预设的水雾投影设备，根据初始虚拟3D模型影像，在真实空间中投影出初始3D水雾影像，并向第一使用者展示其他VR终端对应的使用者的虚拟图像；

S4、多个VR终端分别向对应的使用者展示一个初始虚拟3D模型影像和多个除己端对应的虚拟图像之外的其他虚拟图像；

S5、在第二时间阶段，第一使用者手持预设的指示棒，伸入初始3D水雾影像中，直至指示棒的棒头到达第一使用者意图指示位置；其中，指示棒由直接连接的棒头和棒身构成，棒头由亲水材料制成，棒身由疏水材料制成；

S6、AR终端采用预设的双目摄像头，对初始3D水雾影像所处空间进行图像采集处理，以得到两幅空间图像，再根据预设的图像解析方法对两幅空间图像进行解析，以得到指示棒的棒头相对于初始3D水雾影像的相对位置；

S7、AR终端获取第一使用者通过指示棒输入的交互操作指令，以所述相对位置为基准，根据所述交互操作指令，控制预设的水雾投影设备对初始3D水雾影像进行交互操作，从而投影出交互后3D水雾影像；

S8、AR终端与多个VR终端之间通过服务器进行信息交互，从而多个VR终端均获取AR终端发送的所述相对位置和所述交互操作指令；

S9、多个VR终端，根据所述相对位置和所述交互操作指令，对初始虚拟3D模型影像进行交互操作以形成交互后虚拟3D影像，并分别向对应的使用者展示交互后虚拟3D影像；

S10、在第三时间阶段及之后的其他时间阶段，持续进行指示位置的步骤、相对位置解析的步骤、投影交互后3D水雾影像操作的步骤、相对位置和交互操作指令的信息交互操作的步骤以及展示交互后虚拟3D影像的步骤，直至完成整个互动式模型展示流程。

本申请提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。

本申请提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。

本申请的混合多种放映装置的互动式模型展示装置、方法、计算机设备和存储介质，其中互动式模型展示装置包括终端穿戴模块，信息交互模块，初次水雾投影模块，虚拟图像展示模块，指示棒移动模块，图像解析模块，交互操作模块，交互操作指令接收模块，虚拟3D影像展示模块，持续执行模块，实现了基于准确位置的混合多种放映装置的互动式模型展示，能够提高互动式3D影像展示效果，能够避免穿模现象的出现。

本申请的优点在于：

使得3D模型的展示不仅局限于现场，还能够同时对远程观看的人群进行展示，这尤其适合控制科技馆进入人数时，对科技馆中的模型进行展示的场景；

现场展示人员可以穿戴上AR终端（例如AR眼镜），实现对3D影像的精准交互，有利于提高模型展示效果，尤其适合科技馆中模型展示（例如慧星模型）、远程教学中的模型展示、骨骼模型展示、远程互动等场景。

需要特别提及的是，本申请可应用于科技馆中的模型展示场景，尤其是线上线下同时展示的场景。在该场景中，AR终端由导引的工作人员穿戴，VR终端由不在现场的参观人员穿戴，而在现场的参观人员无需穿戴任体设备，只需要观看水雾投影设备生成的3D水雾影像即可。此时，其中穿戴AR终端的工作人员可以看到线下的参观人员、线上的参观人员对应的虚拟图像、3D水雾影像；现场的参观人员可以看到3D水雾影像和穿戴AR终端的工作人员；穿戴VR终端的线上参观人员可以看到对应于AR终端的虚拟图像、对应于其他VR终端的虚拟图像、对应于3D水雾影像的虚拟3D影像。

附图说明

图1为本申请一实施例的混合多种放映装置的互动式模型展示装置的结构示意框图；

图2为本申请一实施例的混合多种放映装置的互动式模型展示方法的流程示意图；

图3为本申请一实施例的计算机设备的结构示意框图。

本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

参照图1，本申请实施例提供一种混合多种放映装置的互动式模型展示装置，多种放映装置包括一个AR终端、多个VR终端和水雾投影设备，互动式模型展示装置包括：

终端穿戴模块10，用于指示在第一时间阶段，第一使用者戴上AR终端，第二使用者至第n使用者分别戴上对应的VR终端；

信息交互模块20，用于指示AR终端与多个VR终端之间通过预设的服务器进行信息交互，从而AR终端和多个VR终端均获取预设的初始虚拟3D模型影像和其他终端的使用者对应的虚拟图像；

初次水雾投影模块30，用于指示AR终端控制预设的水雾投影设备，根据初始虚拟3D模型影像，在真实空间中投影出初始3D水雾影像，并向第一使用者展示其他VR终端对应的使用者的虚拟图像；

虚拟图像展示模块40，用于指示多个VR终端分别向对应的使用者展示一个初始虚拟3D模型影像和多个除己端对应的虚拟图像之外的其他虚拟图像；

指示棒移动模块50，用于指示在第二时间阶段，第一使用者手持预设的指示棒，伸入初始3D水雾影像中，直至指示棒的棒头到达第一使用者意图指示位置；其中，指示棒由直接连接的棒头和棒身构成，棒头由亲水材料制成，棒身由疏水材料制成；

图像解析模块60，用于指示AR终端采用预设的双目摄像头，对初始3D水雾影像所处空间进行图像采集处理，以得到两幅空间图像，再根据预设的图像解析方法对两幅空间图像进行解析，以得到指示棒的棒头相对于初始3D水雾影像的相对位置；

交互操作模块70，用于指示AR终端获取第一使用者通过指示棒输入的交互操作指令，以所述相对位置为基准，根据所述交互操作指令，控制预设的水雾投影设备对初始3D水雾影像进行交互操作，从而投影出交互后3D水雾影像；

交互操作指令接收模块80，用于指示AR终端与多个VR终端之间通过服务器进行信息交互，从而多个VR终端均获取AR终端发送的所述相对位置和所述交互操作指令；

虚拟3D影像展示模块90，用于指示多个VR终端，根据所述相对位置和所述交互操作指令，对初始虚拟3D模型影像进行交互操作以形成交互后虚拟3D影像，并分别向对应的使用者展示交互后虚拟3D影像；

持续执行模块100，用于指示在第三时间阶段及之后的其他时间阶段，持续进行指示位置的步骤、相对位置解析的步骤、投影交互后3D水雾影像操作的步骤、相对位置和交互操作指令的信息交互操作的步骤以及展示交互后虚拟3D影像的步骤，直至完成整个互动式模型展示流程。

本申请的混合多种放映装置的互动式模型展示方案是由多个终端协作的条件下实施下，其中，互动式有多重含义；其一，AR终端的使用者能够与3D水雾影像进行互动；其二，AR与VR之间的使用者能够互动；其三，在AR终端的使用者授权后，被授权的VR终端才能对虚拟3D影像进行互动（因为在默认状态下，只有AR终端才能够借由3D水雾影像与虚拟3D影像进行互动）。

AR终端的表现形式例如为AR头盔、AR眼镜等，本申请对此不作限制；VR终端的表现形式例如为VR头盔、VR眼镜等，本申请对此不作限制。另外，本申请还提及AR终端能够控制例如预设的水雾投影设备、预设的双目摄像头、以及可能的指示棒上的传感器等，这是表明AR终端与这些设备或传感器之间存在信号连接，并且这些设备或传感器可以内置于AR终端，也可预先布设在房间内（即预先布设在第一使用者所处空间）。

本申请得以实施，其依据的原理及特点包括：

本申请以3D水雾影像作为中间媒介，实现了使用者与3D影像（包括3D水雾影像与虚拟3D影像）之间的交互，而采用这种相对而言具有空间实体的中间媒介，使得本申请的基于准确位置的混合多种放映装置的互动式模型展示的目的得以实现，而不会出现传统方案中用户与3D影像之间的交互出现穿模等现象。

本申请采用特别的方式对3D水雾影像进行精确定位，其是利用了特制的指示棒。这个特制的指示棒由直接连接的棒头和棒身构成，棒头由亲水材料制成，棒身由疏水材料制成，从而能够达到特定的效果：

无需将指示棒涂成特制颜色（即本申请的指示棒可以为透明的），这会提高用户体验（因为若涂成特制图案虽然有利于采用计算机视觉技术对棒头位置的定位，但会在用户视野中出现不必要的颜色），因为第一使用者通过AR终端看到的影像被指示棒的影响降到了最低；

在前一点的前提下，不会影响获取指示棒的棒头相对于初始3D水雾影像的相对位置的精度（这是因为由于棒头由亲水材料制成，棒身由疏水材料制成，因此棒头在水雾区域内一定时间后容易被完全或者不完全的水膜覆盖，而棒身则不然，这有利于采用计算机视觉技术对棒头位置的定位）；

更重要的一点，这种利用指示棒进行定位的方式，可以重复使用，只需要在一次定位后，从水雾区域抽出，再甩一甩以去除指示棒上的水膜（主要是棒头上的水膜），即可再次使用。

如上述模块10-40所述，终端穿戴模块10，用于指示在第一时间阶段，第一使用者戴上AR终端，第二使用者至第n使用者分别戴上对应的VR终端；信息交互模块20，用于指示AR终端与多个VR终端之间通过预设的服务器进行信息交互，从而AR终端和多个VR终端均获取预设的初始虚拟3D模型影像和其他终端的使用者对应的虚拟图像；初次水雾投影模块30，用于指示AR终端控制预设的水雾投影设备，根据初始虚拟3D模型影像，在真实空间中投影出初始3D水雾影像，并向第一使用者展示其他VR终端对应的使用者的虚拟图像；虚拟图像展示模块40，用于指示多个VR终端分别向对应的使用者展示一个初始虚拟3D模型影像和多个除己端对应的虚拟图像之外的其他虚拟图像。

本申请的实施是以时间阶段来划分的，并且多个终端、服务器之间的数据采集、数据处理与信号传输也是以时间阶段来划分的，从而3D影像的数据更新也是以时间阶段来划分的。其中，第一时间阶段是起始阶段，而第二时间阶段及第二时间阶段之后的其他时间阶段是对第二时间阶段的重复。

其中，在第一时间阶段，第一使用者戴上AR终端，第二使用者至第n使用者分别戴上对应的VR终端。这种情况下，采用传统的虚拟现实通信技术，即可实现第一使用者、第二使用者至第n使用者之间的虚拟现实通信，当然，由于第一使用者采用的是AR终端，因此其还能观测到一部分现实场景，而这也是本申请的特别设置，因为需要第一使用者还能够观测到3D水雾影像。其中，n为大于2的整数；

进而，AR终端与多个VR终端之间通过预设的服务器进行信息交互，从而AR终端和多个VR终端均获取预设的初始虚拟3D模型影像和其他终端的使用者对应的虚拟图像。在此基础上，就能够使得每个终端（包括AR终端和VR终端）均能够向对应的使用者展示其他终端的使用者对应的虚拟图像，而展示方法可为现有的虚拟图像展示方法，例如采用基于光波导技术实现的虚拟图像展示方法，在此不再赘述。此时，已经能够展示多个虚拟图像了，并且初始虚拟3D模型影像是未经交互过的3D影像，因此每个VR终端也能够展示初始虚拟3D模型影像了。

AR终端控制预设的水雾投影设备，根据初始虚拟3D模型影像，在真实空间中投影出初始3D水雾影像，并向第一使用者展示其他VR终端对应的使用者的虚拟图像，从而第一使用者能够同时看到真实的初始3D水雾影像和多个虚拟图像。需要注意的是，此时的初始3D水雾影像是基于初始虚拟3D模型影像投影出的，因此在第一使用者看来，初始虚拟3D模型影像应当与初始虚拟3D模型影像相同。也即是说，在第一时间阶段下，若第一使用者采用的是VR终端，其观测到的影像应当与采用AR终端观测到的影像相同（当然这种描述方式是忽略了第一使用者所处真实空间中的其他真实物体）。

多个VR终端分别向对应的使用者展示一个初始虚拟3D模型影像和多个除己端对应的虚拟图像之外的其他虚拟图像。从而第一时间阶段结束，构造出了本申请实施混合多种放映装置的互动式模型展示方案的基础。同样的，VR终端也可以采用例如采用基于光波导技术实现的虚拟图像展示方法，本申请同样在此不再赘述。

进一步地，所述水雾投影设备包括水雾生成器和投影仪，所述水雾生成器用于生成水雾屏幕，所述投影仪用于将3D水雾影像投影在水雾屏幕上；

AR终端与多个VR终端之间通过服务器形成通信连接；

AR终端与水雾投影设备之间形成通信连接。

如上述模块50-90所述，指示棒移动模块50，用于指示在第二时间阶段，第一使用者手持预设的指示棒，伸入初始3D水雾影像中，直至指示棒的棒头到达第一使用者意图指示位置；其中，指示棒由直接连接的棒头和棒身构成，棒头由亲水材料制成，棒身由疏水材料制成；图像解析模块60，用于指示AR终端采用预设的双目摄像头，对初始3D水雾影像所处空间进行图像采集处理，以得到两幅空间图像，再根据预设的图像解析方法对两幅空间图像进行解析，以得到指示棒的棒头相对于初始3D水雾影像的相对位置；交互操作模块70，用于指示AR终端获取第一使用者通过指示棒输入的交互操作指令，以所述相对位置为基准，根据所述交互操作指令，控制预设的水雾投影设备对初始3D水雾影像进行交互操作，从而投影出交互后3D水雾影像；交互操作指令接收模块80，用于指示AR终端与多个VR终端之间通过服务器进行信息交互，从而多个VR终端均获取AR终端发送的所述相对位置和所述交互操作指令；虚拟3D影像展示模块90，用于指示多个VR终端，根据所述相对位置和所述交互操作指令，对初始虚拟3D模型影像进行交互操作以形成交互后虚拟3D影像，并分别向对应的使用者展示交互后虚拟3D影像。

本申请中与3D影像的交互正式开始于第二时间阶段，对于第一使用者而言，其只需要手持指示棒，以伸入初始3D水雾影像中的目标位置即可。其中，指示棒较为特殊，其特殊之处在于，棒头由亲水材料制成，棒身由疏水材料制成，其亲水材料与疏水材料的制备可采用任意可行方式，例如采用涂覆亲水涂层或者疏水涂层的方式实现。进一步地，指示棒优选为透明的，从而有利于改善用户的视觉感受，并且由于棒头为亲水材料制成，因此会存在有水膜，所以用户还是能够确定棒头位置，并且也有利于采用计算机视觉技术对棒头位置进行定位。

进一步地，作为替换的，指示棒的棒头与棒身均为疏水材料制成，指示棒的棒头表面还涂有能够吸收紫外光而发射出可见光的材料；对应地，步骤S6中，应当先开启预设的紫外线发生器，以对初始3D水雾影像所处空间进行照射，再采用预设的双目摄像头，对初始3D水雾影像所处空间进行图像采集处理，以得到两幅空间图像，再根据预设的图像解析方法对两幅空间图像进行解析，以得到指示棒的棒头相对于初始3D水雾影像的相对位置。此时，由于棒头由于吸收紫外线将发射出特别颜色的光线，因此易于被计算机识别。而能够吸收紫外光而发射出可见光的材料可为任意可行材料，例如稀土基掺杂材料，其基于能带理论而实现，在此不再赘述。

进一步地，作为替换的，棒头由亲水材料制成，棒身由疏水材料制成，并且指示棒的棒头表面还涂有能够吸收紫外光而发射出可见光的材料，而步骤S6中，也应当先开启预设的紫外线发生器，以对初始3D水雾影像所处空间进行照射，再进行图像采集。

与传统虚拟的3D影响的交互方式不同，由于本申请是对处于真实空间中的初始3D水雾影像进行交互，因此不会出现穿模等现象。而对于棒头位置的确定，本申请采用预设的双目摄像头并基于视差原理解析得到，由于双目定位技术是现有技术，因此在此不再赘述。进一步地，双目摄像头可以存在多个。

AR终端获取第一使用者通过指示棒输入的交互操作指令，以所述相对位置为基准，根据所述交互操作指令，控制预设的水雾投影设备对初始3D水雾影像进行交互操作，从而投影出交互后3D水雾影像。其中，交互操作指令包括模型拆分指令、旋转指令、放大指令或者***图展示指令，但不仅限于这些指令。另外，通过指示棒输入的交互操作指令，意味着指示棒设置有能够人机交互的模块，本申请之所以未对其展示描述，是因为这与传统的VR互动手柄或者AR互动手柄（或手环）相同，例如在指示棒内置震动器（以震动的方式将信号反馈给使用者）和触摸按键（以供用户输入指令）等，这种互动手柄与手环在市面上常见，因此不进一步阐述。

本申请的优点在于能够进行精确定位与精确互动，因此尤其适合例如对精细骨骼模型的远程展示，例如第一使用者意图通过互动展示骨骼模型中的某个特定位置，则能够通过本申请的方案将这种互动结果向其他使用者展示，而传统的VR技术或AR技术是无法实现这种效果的。据此，AR终端与多个VR终端之间通过服务器进行信息交互，从而多个VR终端均获取AR终端发送的所述相对位置和所述交互操作指令；多个VR终端，根据所述相对位置和所述交互操作指令，对初始虚拟3D模型影像进行交互操作以形成交互后虚拟3D影像，并分别向对应的使用者展示交互后虚拟3D影像。

如上述模块10所述，持续执行模块100，用于指示在第三时间阶段及之后的其他时间阶段，持续进行指示位置的步骤、相对位置解析的步骤、投影交互后3D水雾影像操作的步骤、相对位置和交互操作指令的信息交互操作的步骤以及展示交互后虚拟3D影像的步骤，直至完成整个互动式模型展示流程。

交互阶段是由第二个时间阶段、第三时间阶段及之后的其他时间阶段依次实现的，而第三时间阶段及之后的其他时间阶段分别是对第二个时间阶段的重复，因此持续进行指示位置的步骤、相对位置解析的步骤、投影交互后3D水雾影像操作的步骤、相对位置和交互操作指令的信息交互操作的步骤以及展示交互后虚拟3D影像的步骤实际上是对第二时间阶段中的各个具体步骤的重复，当然其中被交互的3D影像就不再是初始的3D影像，而是前一时间阶段后交互得到的3D影像。完成整个互动式模型展示流程的结束指令，可以通过第一使用者通过指示棒（例如指示棒上还设置有例如按键等输入设备）输入等方式来实现。

进一步地，交互操作指令可以通过任意可行方式输入，例如通过按预定动作挥舞指示棒的方式来进行输入，这种方式可以预先设置指定动作对应于指定交互操作，例如设定挥舞圆形的动作，表示进行***图展示的方式（指当前指示棒头所处位置对应的***图）等，而对于挥舞动作的检测，可以通过摄像头采集图像的方式实现，也可以通过指示棒内置的传感器来实现。

在一个实施方式中，所述AR终端采用预设的双目摄像头，对初始3D水雾影像所处空间进行图像采集处理，以得到两幅空间图像，再根据预设的图像解析方法对两幅空间图像进行解析，以得到指示棒的棒头相对于初始3D水雾影像的相对位置，包括：

AR终端采用预设的双目摄像头，对初始3D水雾影像所处空间进行图像采集处理，以得到两幅空间图像；

指示AR终端构建空间坐标系，并根据视差定位原理，对两幅空间图像中的指示棒的棒头进行第一步定位处理，以得到指示棒的棒头在空间坐标系中的第一绝对空间坐标；其中，指示棒的棒头由于亲水特性而覆盖有水膜；

AR终端根据视差定位原理，对两幅空间图像中的初始3D水雾影像进行第二步定位处理，以得到初始3D水雾影像中心在空间坐标系中的第二绝对空间坐标；

AR终端基于所述第一绝对空间坐标和所述第二绝对空间坐标，生成指示棒的棒头相对于初始3D水雾影像中心的相对位置。

从而根据视差定位原理确定指示棒的棒头相对于初始3D水雾影像中心的相对位置。其中，视差定位原理即是人的双眼能够确定物体三维空间位置的原理，若只有一只眼或者单摄像头进行观测，仅能得到一幅平面图像，而一幅平面图像是最多只能得到平面坐标，是无法得到第三维的坐标的。第一绝对空间坐标与第二绝对空间坐标中的绝对，是相对于后续的相对位置而言的，因为绝对空间坐标是以空间坐标系的原点而生成的，空间坐标系的原点可设置为双目摄像头中的其中之一的中心。

并且，本申请的方案中，由于指示棒的棒头由于亲水特性而覆盖有水膜，因此相对于指示棒的棒身存在一定区别，而这种区别能够被基于机器识别的图像识别技术快速分辨出来，而人眼对于这种区别具有较大的耐受力，这也是本申请采用这种设计的特点所在：在尽量不影响人眼观看效果的前提下，保证对指示棒的棒头的准确定位。需要提及的是，本申请采用这种设计，而不是采用将棒头涂成第一颜色，将棒身涂成第二颜色的方式，以使得图像识别技术能够对指示棒的棒头能够进行准确定位，这是因为采用后者的定位方式，很明显会影响人眼的观看效果，而这是本申请想要尽力避免的。

进一步地，指示棒的棒头和棒身均是透明的。从而进一步地减少本申请的投影方案对于人眼的观看效果的负面影响。

进一步地，所述指示棒还包括手柄，所述手柄内置有震动发生器，所述在第三时间阶段及之后的其他时间阶段，持续进行指示位置的步骤、相对位置解析的步骤、投影交互后3D水雾影像操作的步骤、相对位置和交互操作指令的信息交互操作的步骤以及展示交互后虚拟3D影像的步骤，直至完成整个互动式模型展示流程之前，包括：

在第三时间阶段，第一使用者将指示棒从水雾区域抽出，并挥舞指示棒；

AR终端采用预设的摄像头，对指示棒进行图像采集处理，以得到指示棒图像，并根据指示棒图像，判断指示棒的棒头和棒身是否被水膜覆盖；

若指示棒的棒头和棒身均未被水膜覆盖，则控制手柄内置的震动发生器发生震动，以指示第一使用者将指示棒再次伸入交互后3D水雾影像，直至指示棒的棒头再次到达第一使用者意图指示位置。

从而使得指示棒得以重复使用，并且为了保证再次使用时指示棒的准确性，本申请采用摄像头对指示棒进行图像采集，并以再次使用前的指示棒由于挥舞的作用将甩去水膜的特性，再结合手柄内置的震动发生器，以确定指示棒在再次使用前不被水膜覆盖。

进一步地，所述AR终端获取第一使用者通过指示棒输入的交互操作指令，以所述相对位置为基准，根据所述交互操作指令，控制预设的水雾投影设备对初始3D水雾影像进行交互操作，从而投影出交互后3D水雾影像中的交互操作指令包括模型拆分指令、旋转指令、放大指令或者***图展示指令。

在一个实施方式中，所述在第三时间阶段及之后的其他时间阶段，持续进行指示位置的步骤、相对位置解析的步骤、投影交互后3D水雾影像操作的步骤、相对位置和交互操作指令的信息交互操作的步骤以及展示交互后虚拟3D影像的步骤，直至完成整个互动式模型展示流程之后，包括：

多个VR终端中的一个VR终端，通过服务器向AR终端发送交互权限申请；

AR终端，将发送交互权限申请记为指定VR终端，并将允许交互的信号通过服务器发送至指定VR终端，以赋予指定VR终端对虚拟3D影像进行交互的权限；

指定VR终端对应的使用者，通过预设的VR交互方法，对虚拟3D影像进行交互处理，并将交互处理后的结果通过服务器发送至其他VR终端和AR终端；

除指定VR终端之外的其他VR终端，根据接收到的交互处理后的结果，对虚拟3D影像进行调整；

AR终端，根据接收到的交互处理后的结果，对3D水雾影像进行调整。

从而实现了VR终端的交互功能。本申请的主要特点在于，在默认状态下，VR终端是无法对虚拟3D影像进行交互的，而只有与水雾投影图像处于相同地理位置的AR终端才能够对虚拟3D影像进行交互，这是因为传统的VR终端与虚拟3D影像的交互缺乏准确性，容易出现穿模等现象，因为本申请在默认状态下不允许VR终端进行交互。但是，在AR终端进行了准确的交互后，允许其他的VR终端，并且优选只有一个指定VR终端进行对虚拟3D影像进行交互处理，以保证功能实现的完整性。

本申请的混合多种放映装置的互动式模型展示装置包括终端穿戴模块，信息交互模块，初次水雾投影模块，虚拟图像展示模块，指示棒移动模块，图像解析模块，交互操作模块，交互操作指令接收模块，虚拟3D影像展示模块，持续执行模块，实现了基于准确位置的混合多种放映装置的互动式模型展示，能够提高互动式3D影像展示效果，避免穿模现象的出现。

参照图2，本申请实施例提供一种混合多种放映装置的互动式模型展示方法，多种放映装置包括一个AR终端、多个VR终端和水雾投影设备，所述方法包括：

S1、在第一时间阶段，第一使用者戴上AR终端，第二使用者至第n使用者分别戴上对应的VR终端；

S2、AR终端与多个VR终端之间通过预设的服务器进行信息交互，从而AR终端和多个VR终端均获取预设的初始虚拟3D模型影像和其他终端的使用者对应的虚拟图像；

S3、AR终端控制预设的水雾投影设备，根据初始虚拟3D模型影像，在真实空间中投影出初始3D水雾影像，并向第一使用者展示其他VR终端对应的使用者的虚拟图像；

S4、多个VR终端分别向对应的使用者展示一个初始虚拟3D模型影像和多个除己端对应的虚拟图像之外的其他虚拟图像；

S5、在第二时间阶段，第一使用者手持预设的指示棒，伸入初始3D水雾影像中，直至指示棒的棒头到达第一使用者意图指示位置；其中，指示棒由直接连接的棒头和棒身构成，棒头由亲水材料制成，棒身由疏水材料制成；

S6、AR终端采用预设的双目摄像头，对初始3D水雾影像所处空间进行图像采集处理，以得到两幅空间图像，再根据预设的图像解析方法对两幅空间图像进行解析，以得到指示棒的棒头相对于初始3D水雾影像的相对位置；

S7、AR终端获取第一使用者通过指示棒输入的交互操作指令，以所述相对位置为基准，根据所述交互操作指令，控制预设的水雾投影设备对初始3D水雾影像进行交互操作，从而投影出交互后3D水雾影像；

S8、AR终端与多个VR终端之间通过服务器进行信息交互，从而多个VR终端均获取AR终端发送的所述相对位置和所述交互操作指令；

S9、多个VR终端，根据所述相对位置和所述交互操作指令，对初始虚拟3D模型影像进行交互操作以形成交互后虚拟3D影像，并分别向对应的使用者展示交互后虚拟3D影像；

S10、在第三时间阶段及之后的其他时间阶段，持续进行指示位置的步骤、相对位置解析的步骤、投影交互后3D水雾影像操作的步骤、相对位置和交互操作指令的信息交互操作的步骤以及展示交互后虚拟3D影像的步骤，直至完成整个互动式模型展示流程。

其中上述方法中的步骤与前述实施方式的混合多种放映装置的互动式模型展示装置的分别用于执行的操作一一对应，在此不再赘述。

参照图3，本发明实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储混合多种放映装置的互动式模型展示方法所用数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种混合多种放映装置的互动式模型展示方法。该计算机设备还包括显示屏和输入装置，分别用于展示人工交互界面和用于接收输入数据。

上述处理器执行上述混合多种放映装置的互动式模型展示方法，其中所述方法包括的步骤分别与执行前述实施方式的混合多种放映装置的互动式模型展示方法的步骤一一对应，在此不再赘述。

本领域技术人员可以理解，图中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定。

本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现混合多种放映装置的互动式模型展示方法，其中所述方法包括的步骤分别与执行前述实施方式的混合多种放映装置的互动式模型展示方法的步骤一一对应，在此不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序或指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink）DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种混合多种放映装置的互动式模型展示装置，其特征在于，多种放映装置包括一个AR终端、多个VR终端和水雾投影设备，所述互动式模型展示装置包括：

终端穿戴模块10，用于指示在第一时间阶段，第一使用者戴上AR终端，第二使用者至第n使用者分别戴上对应的VR终端；

信息交互模块20，用于指示AR终端与多个VR终端之间通过预设的服务器进行信息交互，从而AR终端和多个VR终端均获取预设的初始虚拟3D模型影像和其他终端的使用者对应的虚拟图像；

初次水雾投影模块30，用于指示AR终端控制预设的水雾投影设备，根据初始虚拟3D模型影像，在真实空间中投影出初始3D水雾影像，并向第一使用者展示其他VR终端对应的使用者的虚拟图像；

虚拟图像展示模块40，用于指示多个VR终端分别向对应的使用者展示一个初始虚拟3D模型影像和多个除己端对应的虚拟图像之外的其他虚拟图像；

指示棒移动模块50，用于指示在第二时间阶段，第一使用者手持预设的指示棒，伸入初始3D水雾影像中，直至指示棒的棒头到达第一使用者意图指示位置；其中，指示棒由直接连接的棒头和棒身构成，棒头由亲水材料制成，棒身由疏水材料制成；

图像解析模块60，用于指示AR终端采用预设的双目摄像头，对初始3D水雾影像所处空间进行图像采集处理，以得到两幅空间图像，再根据预设的图像解析方法对两幅空间图像进行解析，以得到指示棒的棒头相对于初始3D水雾影像的相对位置；

交互操作模块70，用于指示AR终端获取第一使用者通过指示棒输入的交互操作指令，以所述相对位置为基准，根据所述交互操作指令，控制预设的水雾投影设备对初始3D水雾影像进行交互操作，从而投影出交互后3D水雾影像；

交互操作指令接收模块80，用于指示AR终端与多个VR终端之间通过服务器进行信息交互，从而多个VR终端均获取AR终端发送的所述相对位置和所述交互操作指令；

虚拟3D影像展示模块90，用于指示多个VR终端，根据所述相对位置和所述交互操作指令，对初始虚拟3D模型影像进行交互操作以形成交互后虚拟3D影像，并分别向对应的使用者展示交互后虚拟3D影像；

持续执行模块100，用于指示在第三时间阶段及之后的其他时间阶段，持续进行指示位置的步骤、相对位置解析的步骤、投影交互后3D水雾影像操作的步骤、相对位置和交互操作指令的信息交互操作的步骤以及展示交互后虚拟3D影像的步骤，直至完成整个互动式模型展示流程。

2.根据权利要求1所述的混合多种放映装置的互动式模型展示装置，其特征在于，所述水雾投影设备包括水雾生成器和投影仪，所述水雾生成器用于生成水雾屏幕，所述投影仪用于将3D水雾影像投影在水雾屏幕上；

AR终端与多个VR终端之间通过服务器形成通信连接；

AR终端与水雾投影设备之间形成通信连接。

3.根据权利要求1所述的混合多种放映装置的互动式模型展示装置，其特征在于，所述AR终端采用预设的双目摄像头，对初始3D水雾影像所处空间进行图像采集处理，以得到两幅空间图像，再根据预设的图像解析方法对两幅空间图像进行解析，以得到指示棒的棒头相对于初始3D水雾影像的相对位置，包括：

AR终端采用预设的双目摄像头，对初始3D水雾影像所处空间进行图像采集处理，以得到两幅空间图像；

指示AR终端构建空间坐标系，并根据视差定位原理，对两幅空间图像中的指示棒的棒头进行第一步定位处理，以得到指示棒的棒头在空间坐标系中的第一绝对空间坐标；其中，指示棒的棒头由于亲水特性而覆盖有水膜；

AR终端根据视差定位原理，对两幅空间图像中的初始3D水雾影像进行第二步定位处理，以得到初始3D水雾影像中心在空间坐标系中的第二绝对空间坐标；

AR终端基于所述第一绝对空间坐标和所述第二绝对空间坐标，生成指示棒的棒头相对于初始3D水雾影像中心的相对位置。

4.根据权利要求3所述的混合多种放映装置的互动式模型展示装置，其特征在于，指示棒的棒头和棒身均是透明的。

5.根据权利要求4所述的混合多种放映装置的互动式模型展示装置，其特征在于，所述指示棒还包括手柄，所述手柄内置有震动发生器，所述在第三时间阶段及之后的其他时间阶段，持续进行指示位置的步骤、相对位置解析的步骤、投影交互后3D水雾影像操作的步骤、相对位置和交互操作指令的信息交互操作的步骤以及展示交互后虚拟3D影像的步骤，直至完成整个互动式模型展示流程之前，包括：

在第三时间阶段，第一使用者将指示棒从水雾区域抽出，并挥舞指示棒；

AR终端采用预设的摄像头，对指示棒进行图像采集处理，以得到指示棒图像，并根据指示棒图像，判断指示棒的棒头和棒身是否被水膜覆盖；

若指示棒的棒头和棒身均未被水膜覆盖，则控制手柄内置的震动发生器发生震动，以指示第一使用者将指示棒再次伸入交互后3D水雾影像，直至指示棒的棒头再次到达第一使用者意图指示位置。

6.根据权利要求1所述的混合多种放映装置的互动式模型展示装置，其特征在于，所述AR终端获取第一使用者通过指示棒输入的交互操作指令，以所述相对位置为基准，根据所述交互操作指令，控制预设的水雾投影设备对初始3D水雾影像进行交互操作，从而投影出交互后3D水雾影像中的交互操作指令包括模型拆分指令、旋转指令、放大指令或者***图展示指令。

7.根据权利要求1所述的混合多种放映装置的互动式模型展示装置，其特征在于，所述在第三时间阶段及之后的其他时间阶段，持续进行指示位置的步骤、相对位置解析的步骤、投影交互后3D水雾影像操作的步骤、相对位置和交互操作指令的信息交互操作的步骤以及展示交互后虚拟3D影像的步骤，直至完成整个互动式模型展示流程之后，包括：

多个VR终端中的一个VR终端，通过服务器向AR终端发送交互权限申请；

AR终端，将发送交互权限申请记为指定VR终端，并将允许交互的信号通过服务器发送至指定VR终端，以赋予指定VR终端对虚拟3D影像进行交互的权限；

指定VR终端对应的使用者，通过预设的VR交互方法，对虚拟3D影像进行交互处理，并将交互处理后的结果通过服务器发送至其他VR终端和AR终端；

除指定VR终端之外的其他VR终端，根据接收到的交互处理后的结果，对虚拟3D影像进行调整；

AR终端，根据接收到的交互处理后的结果，对3D水雾影像进行调整。

8.一种混合多种放映装置的互动式模型展示方法，其特征在于，多种放映装置包括一个AR终端、多个VR终端和水雾投影设备，所述方法包括：

S1、在第一时间阶段，第一使用者戴上AR终端，第二使用者至第n使用者分别戴上对应的VR终端；

S2、AR终端与多个VR终端之间通过预设的服务器进行信息交互，从而AR终端和多个VR终端均获取预设的初始虚拟3D模型影像和其他终端的使用者对应的虚拟图像；

S3、AR终端控制预设的水雾投影设备，根据初始虚拟3D模型影像，在真实空间中投影出初始3D水雾影像，并向第一使用者展示其他VR终端对应的使用者的虚拟图像；

S4、多个VR终端分别向对应的使用者展示一个初始虚拟3D模型影像和多个除己端对应的虚拟图像之外的其他虚拟图像；

S5、在第二时间阶段，第一使用者手持预设的指示棒，伸入初始3D水雾影像中，直至指示棒的棒头到达第一使用者意图指示位置；其中，指示棒由直接连接的棒头和棒身构成，棒头由亲水材料制成，棒身由疏水材料制成；

S6、AR终端采用预设的双目摄像头，对初始3D水雾影像所处空间进行图像采集处理，以得到两幅空间图像，再根据预设的图像解析方法对两幅空间图像进行解析，以得到指示棒的棒头相对于初始3D水雾影像的相对位置；

S7、AR终端获取第一使用者通过指示棒输入的交互操作指令，以所述相对位置为基准，根据所述交互操作指令，控制预设的水雾投影设备对初始3D水雾影像进行交互操作，从而投影出交互后3D水雾影像；

S8、AR终端与多个VR终端之间通过服务器进行信息交互，从而多个VR终端均获取AR终端发送的所述相对位置和所述交互操作指令；

S9、多个VR终端，根据所述相对位置和所述交互操作指令，对初始虚拟3D模型影像进行交互操作以形成交互后虚拟3D影像，并分别向对应的使用者展示交互后虚拟3D影像；

S10、在第三时间阶段及之后的其他时间阶段，持续进行指示位置的步骤、相对位置解析的步骤、投影交互后3D水雾影像操作的步骤、相对位置和交互操作指令的信息交互操作的步骤以及展示交互后虚拟3D影像的步骤，直至完成整个互动式模型展示流程。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求8所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求8所述的方法的步骤。

Images