CN111083464A - 虚拟内容的显示投放*** - Google Patents

Abstract

本申请公开了一种虚拟内容的显示投放***，包括：交互设备，交互设备上设置有第一标记物；第一终端，用于采集包含第一标记物的第一图像，并根据第一图像获取第一终端与交互设备之间的第一位置及姿态信息，以显示第一虚拟内容，第一虚拟内容的显示位置与第一位置及姿态信息相关；至少一个第二终端，用于采集包含第二标记物的第二图像，并根据第二图像获取第二终端与第二标记物之间的第二位置及姿态信息，第二标记物设置在现实世界中且区别于第一标记物；第一终端还用于向第二终端发送与第二虚拟内容相关的数据，第二终端还用于接收数据以显示第二虚拟内容，第二虚拟内容的显示位置与第二位置及姿态信息相关。

Description

虚拟内容的显示投放***

技术领域

本申请涉及计算机技术领域，更具体地，涉及一种虚拟内容的显示方法、装置、终端设备及显示***。

背景技术

随着科技的发展，机器智能化及信息智能化日益普及，虚拟现实(VirtualReality，VR)、增强现实(Augmented Reality，AR)相关的终端设备逐渐走入了人们的日常生活中。增强现实技术借助计算机图形技术和可视化技术构建现实环境中不存在的虚拟内容，并通过图像识别定位技术将虚拟内容准确地融合到真实环境中，借助显示设备将虚拟内容与真实环境融为一体，并带给使用者真实的感观体验。在传统的技术中，通过在真实场景图像中叠加虚拟内容进行增强现实或混合现实等的显示，而与虚拟内容的交互控制是增强现实或混合现实的重要研究方向。

发明内容

本申请实施例提供了一种虚拟内容的显示投放***，该***包括：交互设备，交互设备上设置有第一标记物；第一终端，用于采集包含第一标记物的第一图像，并根据第一图像获取第一终端与交互设备之间的第一位置及姿态信息，以显示第一虚拟内容，第一虚拟内容的显示位置与第一位置及姿态信息相关；至少一个第二终端，用于采集包含第二标记物的第二图像，并根据第二图像获取第二终端与第二标记物之间的第二位置及姿态信息，第二标记物设置在现实世界中且区别于第一标记物；第一终端还用于向第二终端发送与第二虚拟内容相关的数据，第二终端还用于接收该数据以显示第二虚拟内容，第二虚拟内容的显示位置与第二位置及姿态信息相关。

本申请实施例可以通过第一终端与第二终端之间的通信传输，实现虚拟内容的分享投放显示，提高AR/VR的交互性。

附图说明

图1示出了本申请一种实施例提供的虚拟内容显示***的应用场景示意图；

图2示出了本申请一种实施例中第一、第二虚拟内容进行显示的场景示意图。

图3示出了本申请一种实施例的终端设备的结构框图；

图4示出了本申请一种实施例的终端设备与服务器的交互图；

图5示出了本申请一种实施例提供的虚拟内容显示方法的流程示意图；

图6示出了本申请一种实施例中显示第一虚拟内容的场景示意图；

图7示出了本申请一种实施例中显示第一、第二虚拟内容的场景示意图；

图8示出了本申请另一种实施例中显示第一、第二虚拟内容的场景示意图；

图9示出了本申请另一种实施例提供的虚拟内容显示方法的流程示意图；

图10示出了本申请一种实施例中通过虚拟指示对象对第二虚拟内容进行选取的场景示意图；

图11示出了本申请一种实施例中通过第二交互设备对第二虚拟内容进行选取的场景示意图；

图12A-12C是本申请实施例中在交互设备触控区域滑动的示意图。

图13示出了本申请一种实施例提供的虚拟内容的显示装置的模块框图；

图14示出了本申请一种实施例提供的一种交互设备的结构示意图；

图15示出了本申请一种实施例提供的另一种交互设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。

随着VR(Virtual Reality，虚拟现实)、AR(Augmented Reality，增强现实)等技术的发展，VR/AR相关的电子设备逐渐走入了人们的日常生活中。当人们在使用VR/AR设备时，可通过设备上的摄像组件对现实环境中的标记物(又称Marker或Tag)进行采集，再经过相应的图像处理，即可在显示屏上对应的位置显示出与该标记物绑定的虚拟图像，让用户享受科幻式的观感体验。目前在一些采用VR/AR相关技术的展会、博物馆中，各个展厅的虚拟场景以及虚拟展品图像可以通过用户佩戴的VR/AR设备展示给用户。发明人经过调查研究发现，在传统的VR/AR场景中，用户在对显示的虚拟内容进行控制时，通常需要通过控制器控制，或通过转动头部的方向来改变头戴显示器等VR/AR设备的朝向，才能改变显示的虚拟内容，例如看到虚拟内容在不同观看角度下的不同画面，其操作较为繁琐，且需要用户进行频繁的移动，由于观看虚拟内容的实际环境往往存在限制，例如虚拟内容的显示位置周围可能存在障碍物或阶梯等，这使得用户无法轻松观看到虚拟内容的各个不同角度的画面。发明人经过研究，提出了本申请中的虚拟内容的显示方法、装置、终端设备及虚拟内容的显示***。

下面将通过具体实施例对本申请实施例提供的虚拟内容的显示方法、装置、终端设备及虚拟内容的显示***进行详细说明。

请参阅图1，示出了本申请实施例提供的虚拟内容的显示方法的应用场景图，该应用场景包括本申请实施例提供的虚拟内容的显示***100，该虚拟内容的显示***100包括：第一交互设备10、第二交互设备20以及终端设备30。

本实施例中，第一交互设备10包括控制面板，该控制面板上设置有第一标记物11以及显示区域12。作为一种方式，设置于第一交互设备10上的第一标记物11的数量可以是一个或多个。

在一些实施方式中，终端设备30可采集包含第一标记物11的第一图像，并根据该第一图像中的第一标记物11显示第一虚拟内容，该第一虚拟内容的显示位置与第一交互设备10上的显示区域12对应，用户通过终端设备30可以看到显示的第一虚拟内容与现实世界中第一交互设备10的显示区域12叠加，第一虚拟内容叠加显示在显示区域12上。作为一种方式，终端设备30可通过采集的包含第一标记物11的第一图像对第一交互设备10与终端设备30当前的相对位置进行定位，并在正确的位置(与第一交互设备10的显示区域12对应的显示位置)上显示第一虚拟内容。

进一步地，第一虚拟内容对应的图像数据可以预存在终端设备30中(也可以是从服务器或其他终端获取的)，并由用户选择进行显示。在一些应用场景中，用户可先通过终端设备30或第一交互设备10对需要进行显示的虚拟内容进行选择，再通过扫描第一交互设备10上的第一标记物11进行定位，最后在与第一交互设备10的显示区域12对应的显示位置上显示选择的第一虚拟内容。其中，第一虚拟内容的显示位置，指的是在虚拟空间中第一虚拟内容的渲染坐标，根据该渲染坐标可以在虚拟空间中渲染出相应的三维立体的第一虚拟内容，该渲染坐标可用于表示在虚拟空间中第一虚拟内容与终端设备30之间的空间位置关系。第一虚拟内容的显示位置也可以是终端设备30(也可以是外接于终端设备30的其他设备)的显示屏幕上与第一交互设备10的显示区域12对应的画面显示位置。

作为一种方式，第一交互设备10可以是由用户手持，也可以是固定在操作台上，供用户操作及观看虚拟内容。第一交互设备10上还可以设置有触控区域，以供用户对触控区域进行触控操作，从而控制在与显示区域12对应位置上显示的第一虚拟内容，该触控区域可以对应设于显示区域12处。第一交互设备10可以通过触控区域检测到触控操作，生成与该触控操作对应的操控指令，并将该操控指令发送给终端设备30。当终端设备30接收到第一交互设备10发送的操控指令时，可根据操控指令控制第一虚拟内容的显示，实现对第一虚拟内容的控制(例如控制第一虚拟内容旋转、位移、切换等)，有利于提高用户与虚拟内容之间的交互性。

在一个实施例中，第二交互设备20上设置有第二标记物21。作为一种方式，第二交互设备20可以为多面体(球体可视作具有无数个表面的多面体)，该第二交互设备20上可以在多个表面设置多个第二标记物21，以便于第二交互设备20在旋转至任何角度时均有至少一个第二标记物21能够被终端设备30采集到。在一些实施方式中，终端设备30可采集包含第二标记物21的第二图像，并根据该第二图像中的第二标记物21获取选取指令，以及根据该选取指令从显示的第一虚拟内容中选取第二虚拟内容，并显示该第二虚拟内容。

在一种可能的应用场景中，如图2所示，图2为通过图1所示的终端设备30对第一虚拟内容以及第二虚拟内容进行显示的场景示意图。

在图2中，用户佩戴头戴式的终端设备后，可通过终端设备看到显示在第一交互设备10对应位置的第一虚拟内容，在本实施例中，显示在虚拟空间中的第一交互设备10对应位置的第一虚拟内容可以是虚拟的3D医学人体模型50。用户通过控制第二交互设备20，可以通过第二交互设备20选取虚拟的3D医学人体模型50中的部分，并进行显示；例如，通过第二交互设备20选取的第二虚拟内容可以是3D医学人体模型50中的心脏部分。作为一种方式，用户可通过第二交互设备20选取第一虚拟内容中的部分第二虚拟内容并跟随第二交互设备20进行显示。选取的第二虚拟内容可以显示在与第二交互设备20对应的位置，用户通过终端设备可以看到虚拟的3D心脏模型60并跟随第二交互设备20进行移动显示。可以理解的是，第一虚拟内容可以由用户自行选择显示并切换，例如，第一虚拟内容除医学人体外，还可以是机械模型、艺术展品、书籍、游戏人物等；对应的，第二虚拟内容还可以是机械零部件、展品局部、书页、游戏装备等。

终端设备30可以为头戴显示装置、手机、平板等设备，其中，头戴显示装置可以为一体式头戴显示装置。终端设备30也可以是与外接式头戴显示装置连接的手机等智能终端。请参阅图3，终端设备30可以包括：处理器31、存储器32、显示装置33以及相机34。存储器32、显示装置33以及相机34均与处理器31连接。

相机34用于采集待拍摄物体的图像并发送至处理器31。相机34可以为红外相机、彩色相机等，相机34的具体类型在本申请实施例中并不作为限定。

处理器31可以包括任何适当类型的通用或专用微处理器、数字信号处理器或微控制器。处理器31可以被配置为经由例如网络从***的各种组件接收数据和/或信号。处理器31还可处理数据和/或信号以确定***中的一个或多个操作条件。例如，处理器31根据预先存储的图像数据生成虚拟世界的图像数据，将其发送至显示装置进行显示；也可以通过有线或无线网络接收智能终端或计算机的发送的图像数据，根据所接收的图像数据生成虚拟世界的图像进行显示；还可以根据相机采集的图像进行识别定位，并根据定位信息确定在虚拟世界中对应的显示内容，发送至显示装置33进行显示。

存储器32可用于存储软件程序以及模块，处理器31通过运行存储在存储器32内的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器32可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。

终端设备30的显示装置以及相机与一具有存储器的存储功能以及处理器的处理功能的终端设备连接。可以理解的是，上述实施方式中的处理器执行的处理由终端设备的处理器执行，上述实施方式中的存储器存储的数据由终端设备的存储器进行存储。终端设备30还可以包括通信模块，通信模块与处理器连接。通信模块用于终端设备30与其他终端之间的通信。当标记物(第一标记物11和/或第二标记物21)位于终端设备30的相机34的视野范围内时，相机34可以采集到标记物的图像。该标记物的图像存储于终端设备30中，用于定位终端设备30相对标记物的位置。

用户在使用终端设备30时，终端设备30通过相机34采集到包含有标记物的标记物图像后，终端设备30的处理器获取到标记物图像及相关信息，运算识别出标记物，并获取到该标记物与终端设备30的相机之间的位置与旋转关系，进而得到标记物相对于终端设备30的位置及旋转关系。

请参阅图4，在本申请实施例中，终端设备30还可以通过网络与服务器40进行通信连接。其中，终端设备30上运行AR/VR应用的客户端，服务器40上运行与客户端对应的AR/VR应用的服务端。作为一种方式，服务器40可以存储与每个标记物对应的身份信息、与该身份信息对应的标记物绑定的虚拟图像数据，以及标记物在现实环境或虚拟地图中的位置信息。

在一些实施方式中，不同的终端设备30之间还可以通过服务器40进行数据共享及实时更新，提升AR/VR场景中多用户之间的交互性。

针对上述的虚拟内容的显示***，本申请实施例提供了一种通过上述***进行的虚拟内容的显示方法，具体地，请参阅以下实施例。

请参阅图5，图5示出了本申请在一个实施例中提供的虚拟内容的显示方法的流程示意图。该虚拟内容的显示方法先采集包含第一标记物的第一图像，第一标记物为设置于第一交互设备上的标记物，然后根据第一图像中的第一标记物确定与第一交互设备对应的显示区域，并显示第一虚拟内容，第一虚拟内容的显示位置与显示区域对应，获取选取指令，最后根据选取指令从第一虚拟内容中选取第二虚拟内容，并显示第二虚拟内容，可以通过选取交互设备上显示的虚拟内容中的部分虚拟内容，在另一区域上显示该选取的部分虚拟内容，提高AR/VR的交互性。在具体的实施例中，虚拟内容的显示方法可应用于如图12所示的虚拟内容的显示装置300以及配置有虚拟内容的显示装置300的终端设备30(图1)。下面将以HMD(Head Mount Display，头戴式显示器)为例，针对图5所示的流程进行详细的阐述。上述的虚拟内容的显示方法具体地可以包括以下步骤：

步骤S101：采集包含第一标记物的第一图像。

本实施例中，第一标记物为设置于第一交互设备上的标记物。

标记物可以是任意具有可识别特征标记的图形或物体。标记物可放置于终端设备的相机(或其他图像采集装置)视野范围内，即相机可以采集到包含标记物的图像。该包含标记物的图像经相机采集后可存储于终端设备中，用于定位终端设备相对标记物的位置或姿态。标记物中可以包括至少一个子标记物，子标记物可以是具有一定形状的图案。作为一种方式，每个子标记物可具有一个或多个特征点，其中，特征点的形状不做限定，可以是圆点、圆环，也可以是三角形、其他形状。不同标记物内的子标记物的分布规则不同，因此，每个标记物可具备不同的身份信息，终端设备通过识别标记物中包含的子标记物，可以获取与标记物对应的身份信息，以区分相对不同标记物的相对位置及姿态信息，该身份信息可以是编码等可用于唯一标识标记物的信息，但不限于此。

本实施例中，第一标记物可以设置于第一交互设备的控制面板上，以供终端设备对其进行识别并确定终端设备与第一交互设备的相对位置。

在一些实施方式中，第一标记物可以贴附在第一交互设备控制面板表面，也可以集成于第一交互设备中。例如，第一标记物可以为固定在第一交互设备控制面板上的图案；又如，当第一交互设备具有图像显示功能时，第一标记物可以为可选择性的呈现在第一交互设备的图像显示区域(该图像显示区域为实际的光学显示区域，例如显示屏幕，而非本实施例中第一交互设备上供AR/VR的虚拟内容进行显示的显示区域)上的图案。

在一些实施方式中，第一交互设备上还可以设置有多个标记物，以实现不同的功能，或提升定位的准确性。例如，部分标记物用于定位终端设备与交互设备之间的相对位置姿态关系(相对位置关系和相对姿态关系)，部分标记物用于绑定虚拟内容供终端设备识别并显示。

步骤S102：根据第一图像中的第一标记物确定与第一交互设备对应的显示区域，并显示第一虚拟内容。

本实施例中，第一虚拟内容在虚拟空间中的显示位置与现实空间中第一交互设备的显示区域对应，用户通过终端设备可以看到第一虚拟内容与第一交互设备叠加进行显示。

作为一种方式，终端设备在根据包含有第一标记物的第一图像对第一标记物与终端设备当前的相对位置和姿态进行确认后，可以进一步根据第一标记物在第一交互设备的位置信息，确定终端设备与第一交互设备以及第一交互设备上的其他区域的相对位置和姿态关系。

在一个实施例中，第一交互设备对应的第一显示区域，可以是第一交互设备的控制面板上用于AR/VR的虚拟内容进行显示的第一显示区域。终端设备在确定第一交互设备上的第一显示区域位置后，即可确定与该第一显示区域的相对空间位置信息，并根据该相对空间位置信息在与该第一显示区域对应的区域上叠加显示第一虚拟内容。

在一个实施例中，第一交互设备对应的显示区域也可以不是在第一交互设备上的面板区域，也可以指的是与第一交互设备对应的现实显示空间，比如，可以是在第一交互设备上方的特定空间区域，或是相对于用户在第一交互设备前方的特定空间区域等。

作为一种方式，第一虚拟内容对应的图像数据可以预存在终端设备中(也可以是从服务器或其他终端获取的)，并由用户选择进行显示。在一些实施方式中，用户可先通过终端设备或第一交互设备对需要进行显示的第一虚拟内容进行选择，再通过扫描第一交互设备上的第一标记物进行定位，最后在与第一交互设备的显示区域对应的显示位置上显示选择的第一虚拟内容。在一些实施方式中，终端设备可以直接构建虚拟内容或获取已构建的虚拟内容。作为一种方式，终端设备可根据第一交互设备上的第一标记物的身份信息构建虚拟内容，当识别第一图像中的第一标记物后，可获取与该第一标记物的身份信息对应的虚拟图像数据，并根据该虚拟图像数据构建第一虚拟内容，虚拟图像数据可包括用于建模的顶点数据、颜色数据、纹理数据等。不同身份信息的第一标记物可分别对应显示不同类型的第一虚拟内容，例如，身份信息为“编号1”的第一标记物显示的第一虚拟内容为三维虚拟汽车，“编号2”的第一标记物显示的第一虚拟内容为三维虚拟建筑等。作为另一种方式，第一虚拟内容的虚拟图像数据也可以是预先存储在终端设备中，当识别到不同身份信息的第一标记物时，均会直接根据预先存储的虚拟图像数据显示相应的第一虚拟内容，不受第一标记物的身份信息的影响。可选地，第一虚拟内容的虚拟图像数据也可对应存储在不同的应用程序缓存中，当终端设备切换不同的应用程序时，可显示不同类型的第一虚拟内容，例如，针对同一身份信息的第一标记物，应用程序A显示的是三维虚拟汽车，应用程序B显示的是三维虚拟建筑等。可以理解的是，显示的具体虚拟内容可根据实际需求进行设定，并不限于上述几种方式。

如图6所示，当终端设备30为一体式头戴显示器时，用户可以通过头戴显示器看到第一交互设备10，并且可以看到虚拟空间中叠加显示在第一交互设备10的显示区域对应位置上的第一虚拟内容50(图6中第一虚拟内容50为3D医学人体模型)。

步骤S103：获取选取指令。本实施例中，选取指令，可以是用户通过终端设备或第一交互设备或其他方式下达的虚拟内容选取指令，该选取指令可用于和第一交互设备上显示的第一虚拟内容进行交互。可选地，也可通过区别于第一交互设备的第二交互设备获取选取指令，也可通过识别用户的手势动作，当识别到用户的手势动作为预设手势时，获取选取指令。终端设备也可以采集用户的凝视方向，并根据凝视方向获取选取指令，当凝视方向为显示的第一虚拟内容中的第二虚拟内容所在的方向时，对该第二虚拟内容进行选取。可以理解地，获取选取指令的方式可以有多种，在此不作限定。

作为一种方式，终端设备与第一交互设备之间可以建立通信连接，当用户通过第一交互设备下达选取指令后，终端设备可以通过第一交互设备获取用户的选取指令，并依据该选取指令进行后续的操作。

步骤S104：根据选取指令从第一虚拟内容中选取第二虚拟内容，并显示第二虚拟内容。本实施例中，当终端设备获取选取指令后，作为一种方式，可根据该选取指令从第一虚拟内容中选取第二虚拟内容，并在预设的显示位置上显示该第二虚拟内容。其中，第二虚拟内容可以为第一虚拟内容中的部分虚拟内容(或第一虚拟内容的子内容)，例如，当第一虚拟内容为医学人体时，第二虚拟内容为医学人体内的器官、骨骼等；第二虚拟内容也可以是和第一虚拟内容相同的虚拟内容，例如，当第一虚拟内容为医学人体时，第二虚拟内容也为医学人体。

在一些实施方式中，第二虚拟内容在虚拟空间中的显示位置，可以与现实环境中的位置相关联。终端设备可以通过对设置在现实环境中的另一标记物(例如，可以设置在地面，也可以设置展台的表面)进行识别追踪，以在虚拟空间中显示相对应的第三虚拟内容。例如，如图7所示，终端设备对设置于现实环境中的第三标记物61(设置在桌子的表面)进行识别追踪，确定终端设备与第三标记物61之间的相对位置姿态信息，并在虚拟空间中与该第三标记物61对应的位置上显示与第一虚拟内容50(显示在虚拟空间中第一交互设备10的显示区域对应位置上)对应的第二虚拟内容60。在一些实施方式中，第二虚拟内容可以从第一虚拟内容中选取的第二虚拟内容60(图7中第一虚拟内容50为3D医学人体模型，第二虚拟内容60为3D心脏模型)。在一些实施方式中，用户可通过操控，例如，在第一交互设备10的触控区域操控或操控第二交互设备20等方式，将第二虚拟内容显示在与第三标记物61的显示位置。作为一种方式，用户可通过操控改变第一虚拟内容的显示状态，并使第二虚拟内容跟随第一虚拟内容相应改变其显示状态。用户通过终端设备可以看到第二虚拟内容叠加显示在现实世界。

在一些实施方式中，第二虚拟内容的显示位置，还可以与现实环境中的位置无关联。如图8所示，终端设备可以划定虚拟空间中用于独立显示第二虚拟内容60的虚拟显示区域62，该虚拟显示区域62可与第一虚拟内容50(显示在虚拟空间中第一交互设备10的显示区域对应位置上)的渲染坐标关联，并在该虚拟显示区域62中渲染并显示从第一虚拟内容50中选取的第二虚拟内容60。

在一些实施方式中，还可以预先划定位于第一虚拟内容对应的显示区域前方2米处(方位以及距离可以是任意的)为显示第二虚拟内容的显示区域，该第二虚拟内容的显示区域可与第二虚拟内容在虚拟空间中的渲染坐标关联，并在该第二虚拟内容的显示区域对应在虚拟空间中的显示位置中渲染并显示第二虚拟内容。

在一些实施方式中，显示的第二虚拟内容，可以是与显示的第一虚拟内容中的第二虚拟内容尺寸相同，也可以对第一虚拟内容中的第二虚拟内容进行放大或缩小后进行显示。

在一些实施方式中，当终端设备进行虚拟内容显示的过程中，用户还可以通过其他方式例如手势、操作交互设备等方式与显示虚拟内容进行交互，以及通过连接服务器与多台连接同一服务器的不同终端设备进行数据同步更新，以实现同一虚拟场景内的多人互动。

在一些应用场景中，例如当第一交互设备的显示区域对应位置显示的第一虚拟内容为车辆时，用户可以选取车辆中的车门、轮胎、发动机等零部件作为第二虚拟内容进行显示，还可以通过放大或缩小显示的虚拟内容以更灵活的观看汽车零部件的细节，有助于用户了解车辆内部的结构，若显示的虚拟内容的图像数据为实体扫描故障车辆得到的三维建模数据，该显示方法还有助于用户检查存在故障的部位。又如，当第一交互设备的显示区域对应位置显示的第一虚拟内容为游戏人物时，用户可以选取游戏人物身上装备的武器、防具等部位作为第二虚拟内容进行显示，还可以通过放大或缩小显示的虚拟内容以观赏游戏装备的建模和特效细节，带给用户更为真实的游戏体验。

上述的举例只是本实施例提供的虚拟内容的显示方法的部分实际应用，随着AR/VR技术的进一步发展与普及，本实施例提供的虚拟内容的显示方法可以在更多的实际应用场景中发挥作用。

请参阅图9，图9示出了本申请实施例提供的另一种虚拟内容的显示方法的流程示意图。下面将针对图9所示的流程进行详细的阐述。上述的虚拟内容的显示方法具体地可以包括以下步骤：

步骤S201：采集包含第一标记物的第一图像。

本实施例中，终端设备可以通过图像采集模组采集包含第一标记物的图像，以对第一标记物进行识别。在其他可能的实施方式中，终端设备还可以通过其他传感器模组对第一标记物进行识别。

步骤S202：识别第一图像中的第一标记物，获取第一交互设备与终端设备的第一相对位置姿态信息。本实施例中，第一相对位置姿态信息包括第一交互设备与终端设备的相对位置信息和相对姿态信息。

在一些实施方式中，终端设备可以根据第一图像中的第一标记物中特征点的坐标数据，计算第一标记物相对于终端设备的位置信息和姿态信息等。作为一种方式，终端设备可以将第一标记物相对终端设备的位置信息和姿态信息等作为终端设备与第一交互设备的第一相对位置姿态信息。进一步地，终端设备也可以根据第一标记物相对于整个第一交互设备的位置关系，以及第一标记物相对于终端设备的位置信息及姿态信息等，确定终端设备与第一交互设备之间的第一相对位置姿态信息，以更加准确得到终端设备与第一交互设备之间的相对位置姿态关系。

步骤S203：根据第一相对位置姿态信息确定与第一交互设备对应的显示区域，并显示第一虚拟内容。

本实施例中，终端设备在获取与第一交互设备的第一相对位置姿态信息之后，可以根据第一交互设备上的显示区域相对整个第一交互设备的位置姿态信息，计算出第一交互设备上的显示区域与终端设备之间的相对位置姿态关系，并确定与第一交互设备的显示区域对应的用于显示虚拟内容的渲染坐标，再根据该渲染坐标渲染并显示第一虚拟内容，该渲染坐标可用于表示虚拟空间中显示的虚拟内容与终端设备的相对空间位置关系。

作为一种方式，终端设备可将现实空间中的终端设备与第一交互设备的第一相对位置姿态关系转换为虚拟空间的第一相对坐标信息，进一步地，可以将现实空间中的终端设备与显示区域的相对位置姿态关系转换为虚拟空间的第一相对坐标信息，并根据该第一相对坐标信息计算第一虚拟内容在虚拟空间中的渲染坐标，从而可准确地在第一交互设备的显示区域上显示第一虚拟内容。

在一些实施方式中，终端设备可先获取第一交互设备对应的显示区域的位置信息，该位置信息可包括显示区域与第一交互设备上的第一标记物之间的相对位置关系。第一交互设备的显示区域在整个第一交互设备的位置信息可以是预先存储在终端设备上的，也可以是由终端设备采集包含第一交互设备的图像，识别图像中的第一交互设备，并按照预设的划分规则划分第一交互设备的显示区域。其中，划分规则可以设定显示区域的大小、显示区域相对第一交互设备的位置、显示区域的面积占第一交互设备面积的比例等，比如，可以设定第一交互设备相对用户50％的右边区域为显示区域，或是设定第一交互设备上除标记物设置区域、触控区域外的区域为显示区域，或是整个第一交互设备作为显示区域，也可以将第一标记物所处的区域作为显示区域，或是将与整个第一交互设备相关联的其他区域作为显示区域等，但不限于此。

终端设备获取第一交互设备上的显示区域在整个第一交互设备的位置信息后，可根据终端设备与第一交互设备之间的第一相对位置姿态信息等，得到终端设备与第一交互设备上的显示区域的相对位置姿态关系信息，以确定与第一交互设备对应的显示区域。

步骤S204：采集包含第二标记物的第二图像。

本实施例中，第二标记物为设置于第二交互设备上的标记物。第二交互设备可以是手柄，或是多面体控制器等，在此不作限定。

步骤S205：识别第二图像中的第二标记物，获取第二交互设备与终端设备的第二相对位置姿态信息。本实施例中，第二相对位置姿态信息包括第二交互设备与终端设备的相对位置信息和相对姿态信息。

在一些实施方式中，终端设备可以通过获取第一相对位置姿态信息的方式，根据包含第二标记物的第二图像计算第二标记物与终端设备之间的相对位置及姿态关系，从而获得终端设备与第二交互设备的第二相对位置姿态信息。作为一种方式，在获取第二相对位置姿态信息后，可在虚拟空间坐标系中对第二交互设备进行定位，以获取与第二交互设备对应的虚拟空间坐标。

本实施例中，获取第二相对位置姿态信息后，即可根据该第二相对位置姿态信息获取作用于第一虚拟内容中的第二虚拟内容的选取指令。作为一种方式，在步骤S205后，用户可以选择进行步骤S206、步骤S207，或是进行步骤S208、步骤S209。

步骤S206：根据第二相对位置姿态信息，显示虚拟指示对象。本实施例中，在获取第二相对位置姿态信息后，即可在虚拟空间渲染并显示虚拟指示对象，该虚拟指示对象用于表示第二交互设备指示的方向，该虚拟指示对象可以是虚拟键头，或是与第二交互设备的指示方向一致的虚拟射线等。

步骤S207：在虚拟指示对象指向第一虚拟内容中的第二虚拟内容时，生成选取指令。本实施例中，当终端设备检测到虚拟空间中的虚拟指示对象指向在第一交互设备的显示区域上显示的第一虚拟内容中的第二虚拟内容时，即可生成对应于该第二虚拟内容的选取指令。

作为一种方式，第一虚拟内容中的每个局部虚拟内容均具有其在虚拟空间中的碰撞体积，与第二交互设备相关联的虚拟指示对象也具有在虚拟空间中的碰撞体积，当终端设备检测到虚拟空间中的虚拟指示对象与第一虚拟内容中的某一局部虚拟内容相交时(或虚拟指示对象的末端与第一虚拟内容中的局部虚拟内容产生体积碰撞时)，即可认为当前虚拟指示对象指向了第一虚拟内容中的局部虚拟内容，此时可将该被指向的局部虚拟内容作为第二虚拟内容，生成对应于该第二虚拟内容的选取指令。

作为一种可能的应用场景，如图10所示，在虚拟空间中与第二交互设备20对应的位置，可以显示出一条射线22，该射线22可作为虚拟指示对象来表示第二交互设备20指向的方向。在图10中，第二交互设备20发射的射线22指向了作为第一虚拟内容50(显示在虚拟空间中第一交互设备10的显示区域对应位置上)的3D医学人体模型的心脏部位，此时即可将该3D医学人体模型中的3D心脏模型作为第二虚拟内容60，生成对应于该第二虚拟内容60的选取指令。在图10中，第二交互设备20为手柄，在虚拟空间中显示的射线22的发射端可以与该手柄的某个外形特征匹配进行显示(例如可在虚拟空间中显示为射线22从手柄的端部或开口处发射)，射线22的方向也可以与该手柄的某个外形特征的朝向相同(例如与手柄的长度延伸方向或开口的指向相同)。可以理解的是，在其他可能的实施方式中，第二交互设备还可以是例如多面体控制器等其他类型的手持交互设备。

进一步地，作为一种方式，用户可以通过移动、旋转第二交互设备来改变第二交互设备上设置的第二标记物与终端设备的相对位置关系和相对姿态关系，即改变第二交互设备与终端设备的第二相对位置姿态信息，并随之改变虚拟指示对象在空间中的坐标和指向，进而依照用户的期望对需要进行选取的虚拟内容进行选择。

进一步地，在一些实施方式中，第二交互设备自身可以内置有惯性检测单元等传感器模块以及通信模块，这些传感器模块可以检测第二交互设备自身当前的位置和姿态信息，并通过通信模块将该位置和姿态信息发送给终端设备，终端设备在获取由第二交互设备自身传感器模块检测到的位置和姿态信息后，可以结合通过采集第二标记物获取的与第二交互设备的第二相对位置姿态信息，修正虚拟空间中虚拟指示对象的显示，以提升虚拟指示对象选取第二虚拟内容的精确度。

本实施例中，除步骤S206、步骤S207提供的通过虚拟指示对象选取第一虚拟内容中的第二虚拟内容外，还可通过步骤S208、步骤S209提供的方式选取第一虚拟内容中的第二虚拟内容。

步骤S208：根据第二相对位置姿态信息，判断第二交互设备的当前空间位置是否与第一虚拟内容中的第二虚拟内容的显示空间位置重合。

步骤S209：在第二交互设备的当前空间位置与第一虚拟内容中的第二虚拟内容的显示空间位置重合时，生成选取指令。

本实施例中，作为另一种方式，可直接通过第二交互设备本身在虚拟空间中的具有碰撞体积的投影，来对第一虚拟内容中的第二虚拟内容进行选取。在一个实施例中，终端设备通过第二交互设备的第二标记物，可以获取与第二交互设备的第二相对位置姿态信息，根据该第二相对位置姿态信息可实时将第二交互设备的当前空间位置转换为虚拟空间中的第二坐标信息，并判断该第二坐标信息是否包含在第一虚拟内容的渲染坐标中。若该第二坐标信息包含在第一虚拟内容的渲染坐标中，则可以说明第二交互设备与第一虚拟内容的部分内容重合。当第二坐标信息与第一虚拟内容中的第二虚拟内容的渲染坐标一致或包含在第二虚拟内容的渲染坐标中时，可说明第二交互设备的当前空间位置与第一虚拟内容中的第二虚拟内容的显示空间位置重合，则可生成选取指令，并选取该第二虚拟内容。

作为一种可能的应用场景，如图11所示，在一些可能的情况下，由于第一交互设备10上显示区域的面积有限，虚拟空间中显示区域对应位置上显示的第一虚拟内容50体积可能较小，不易对第一虚拟内容50中更为精细的第二虚拟内容60进行选取，作为一种方式，可先将第一交互设备10的显示区域对应的虚拟空间中显示的第一虚拟内容60，投射到环境中的某一位置，并进行放大，此时再通过第二交互设备20选取放大后的第一虚拟内容50中的第二虚拟内容60，以实现对第二虚拟内容60的精确选取(图11中第一虚拟内容50为3D医学人体模型，第二虚拟内容60为3D心脏模型)。

在一些实施方式中，当终端设备检测到虚拟指示对象或第二交互设备在虚拟空间中与第一虚拟内容中的局部虚拟内容重合时，还可为用户提供确认选项，在用户确认选取后，再将该局部虚拟内容作为第二虚拟内容，并生成对应于该第二虚拟内容的选取指令。作为一种方式，可以直接在终端设备的显示屏幕上显示确认选项，供用户操作进行确认；作为另一种方式，还可以通过具有通信模块的第二交互设备上设置确认按键(可以是物理按键或虚拟按键)，在检测到用户点击确认按键后，将确认信息发送给终端设备，终端设备再根据该确认信息生成对应的选取指令；或是其他方式，在此不作限定。

本实施例中，在步骤S207或步骤S209生成对第一虚拟内容中的第二虚拟内容的选取指令后，可进行步骤S210。

步骤S210：根据第二相对位置姿态信息获取第二虚拟内容的渲染数据。

本实施例中，在选取指令生成后，终端设备可先获取第二虚拟内容的渲染数据，该渲染数据可以是第二虚拟内容在某一姿态下的虚拟图像数据。

步骤S211：基于渲染数据渲染并显示第二虚拟内容。

本实施例中，终端设备当前显示的第二虚拟内容的图像，为基于当前第二相对位置姿态信息获取的第二虚拟内容的渲染数据，并根据该渲染数据在虚拟显示空间中渲染并显示的图像。

步骤S212：在第二相对位置姿态信息发生变化时，根据变化后的第二相对位置姿态信息重新获取第二虚拟内容的渲染数据。

步骤S213：基于重新获取的渲染数据渲染并显示第二虚拟内容。

本实施例中，当第二相对位置姿态信息变化时，表示第二交互设备与终端设备的相对位置姿态发生了变化，此时通过终端设备观看与第二交互设备的位置姿态关联的第二虚拟内容的用户的视角也发生了变化，因而终端设备需要进行显示的第二虚拟内容图像也随之改变，此时终端设备即可根据变化后的第二相对位置姿态信息重新获取第二虚拟内容的渲染数据。

作为一种方式，终端设备通过实时获取与第二交互设备的第二相对位置姿态信息，可以实时更新当前需要显示的第二虚拟内容的渲染数据，以使终端设备在相对于第二交互设备的不同的位置与视角下，能够显示对应于第二虚拟内容的不同位置与视角下的虚拟画面，增加佩戴终端设备的用户与虚拟内容的交互性。

作为一种方式，用户可以通过手持并移动、旋转第二交互设备，或围绕位置和姿态固定的第二交互设备移动、变换俯仰姿势，来改变当前终端设备与第二交互设备的第二相对位置姿态信息，以观看与第二交互设备关联的第二虚拟内容在不同位置、方向上的不同画面。

在一些实施方式中，用户在移动、旋转第二交互设备时，显示的第二虚拟内容的位置和方向同时跟随第二交互设备进行改变。特别的，当第二交互设备通过发射虚拟指示对象对第二虚拟内容进行选取显示时，还可以通过虚拟指示对象对第二虚拟内容的位置、视角进行控制。

本实施例中，在显示第一虚拟内容或显示第二虚拟内容的过程中，还可以随时对显示的虚拟内容进行切换。在显示第二虚拟内容后，若想要将显示的第二虚拟内容切换为第一虚拟内容中的其他局部虚拟内容，可以进行步骤S214、步骤S215。

步骤S214：获取内容切换指令。

步骤S215：根据内容切换指令，将显示的第二虚拟内容切换为第一虚拟内容中的第三虚拟内容。本实施例中，第三虚拟内容同第二虚拟内容均为第一虚拟内容中的局部虚拟内容(或第一虚拟内容对应的虚拟对象的子对象)。

作为一种方式，对应于第一虚拟内容中的局部虚拟内容的内容切换指令，可以通过多种可能的方式获取。例如，可以通过设置于终端设备、第一交互设备、第二交互设备上的物理按键或虚拟按键，对当前第二交互设备对应位置上显示的第二虚拟内容进行切换；还可以通过预先设定手势切换逻辑，当检测到第二相对位置姿态信息发生变化，如终端设备与第二交互设备的相对位置变化或角度变化超过一定数值时，可以关联该手势将第二虚拟内容切换为第三虚拟内容；还可以检测当第二交互设备或其发射的虚拟指示对象与第一虚拟内容中的第三虚拟内容重合时，将显示的第二虚拟内容切换为第三虚拟内容；第三虚拟内容若没有被直接选取，可以通过预先对第一虚拟内容中的各个子对象进行编号排序，当检测到用户的手势时，直接将当前显示的第二虚拟内容切换为编号排序在当前第二虚拟内容之后的第三虚拟内容；或其他方式，在此不作限定。

在一些可能的实施方式中，当第二虚拟内容在虚拟空间中的显示位置与现实环境中的位置相关联时，如图7所示，终端设备通过对设置在现实环境中的第三标记物61进行识别追踪，获取终端设备与第三标记物61的相对位置姿态信息，确定与第三标记物61对应的显示区域，并显示与第一虚拟内容相对应的第二虚拟内容；获取第一交互设备检测到触控操作，生成与该触控操作对应的操控指令，根据该操控指令，改变第一虚拟内容以及第二虚拟内容的显示方式。其中，可以通过第一交互设备上的触控区域检测用户的触控操作并生成与触控操作对应的操控指令，终端设备接收由交互设备发送的该操控指令，以根据该操控指令改变第一、第二虚拟内容的显示方式。

作为一种方式，第二虚拟内容的显示方式可以是跟随第一虚拟内容同步改变的。作为另一种方式，交互设备的控制面板上还可设置分别对应于第一虚拟内容和第二虚拟内容的不同的触控区域，不同的触控区域用于分别控制第一虚拟内容和第二虚拟内容的显示方式。

在一些实施方式中，触控操作可包括但不限于作用于触控区域的单指滑动、点击、按压、多指配合滑动等。该操控指令用于控制虚拟内容的显示，其可以是控制该虚拟内容旋转、放大、缩小、施展特定的动作效果，或者将该虚拟内容切换为新的虚拟内容，也可以是再加入新的虚拟内容至当前的增强现实场景中。

请参照图12A，在一些实施方式中，在终端设备显示虚拟内容时，当获取到触摸区域检测到的触摸动作为单指相对用户向左或向右滑动时，生成切换显示的新的虚拟内容的控制指令，例如该控制指令为控制终端设备将当前显示的虚拟台灯切换成虚拟建筑模型或虚拟汽车等新的虚拟内容；当获取到触摸区域检测到的触摸动作为单指相对用户向上或向下滑动时，生成控制当前虚拟内容的控制指令，例如该控制指令为控制终端设备调节当前显示的虚拟台灯的亮度、照明颜色等。

请参照图12B-12C，在一些实施方式中，在终端设备显示虚拟内容时，当获取到触摸区域检测到的触摸动作为双指的距离相对收缩合并时，生成缩小当前显示的虚拟内容的控制指令，例如该控制指令为控制终端设备将当前显示的虚拟台灯相对于用户的视角缩小；当获取到触摸区域检测到的触摸动作为双指的距离相对扩大远离时，生成放大当前显示的虚拟内容的控制指令，例如该控制指令为控制终端设备将当前显示的虚拟台灯相对于用户的视角放大。

在一些实施方式中，根据不同的虚拟内容，同一个触控操作可以对应于不同的操控指令，则获取通过触控区域检测到的操控手势后，根据当前显示的虚拟内容的类型以及触控操作，生成与该触控操作对应的操控指令。例如，当虚拟内容为车辆时：触控区域检测到的触控操作为相对用户向左滑动时，则生成开启车门的操控指令；触控区域检测到的触控操作为相对用户向右滑动时，则生成关闭车门的操控指令；触控区域检测到的触控操作为双击时，则生成打开车灯的操控指令。又如，当虚拟内容为3D医学人体模型时：触控区域检测到的触控操作为向左滑动时，则生成变换为3D3肌肉解剖模型的操控指令；触控区域检测到的触控操作为向右滑动时，则生成变换为3D骨骼解剖模型的操控指令；触控区域检测到的触控操作为双击时，则生成变换为3D神经解剖模型的操控指令。

在一些实施方式中，触控区域还包括控制区，虚拟内容可以包括虚拟交互界面，也即，终端设备呈现给用户具有虚拟交互界面的虚拟内容，控制区与虚拟交互界面相对应。其中，虚拟交互空间的形式可以包括但不限于包括：按钮、弹窗、列表等。终端设备获取控制区所接收的操控动作，并根据操控动作生成交互指令，交互指令用于指示终端设备对虚拟交互界面进行控制。例如，在一些具体的实例中，终端设备显示虚拟内容时，虚拟内容的虚拟交互界面可以呈现交互菜单，则交互装置的控制区与交互菜单相对应，通过获取控制区的操控动作，能够实现对交互菜单的选择或/及输入。当虚拟内容呈现为台灯时，若用户双击触控区域，虚拟内容的虚拟交互界面呈现“是否需要关灯”、“是”、“否”的选择菜单按钮，同时触控区域包括对应于“是”按钮的第一控制区以及对应于“否”按钮的第二控制区，通过获取第一控制区及第二控制区的操控动作，若第一控制区接收到操控动作，则生成“是”并关灯的控制指令，所第二控制区接收到操控动作，则生成“否”并维持台灯当前状态不变的控制指令。在一些实施方式中，控制区为多个，当虚拟内容呈现多个虚拟交互界面时，定义多个控制区与多个虚拟交互界面一一对应，此时，终端设备获取多个控制区中的一个或多个控制区所接收的一个或多个操控动作，生成与一个或多个操控动作对应的一个或多个交互指令，交互指令用于指示终端设备对与交互指令对应的控制区匹配的虚拟交互界面进行控制。

在一些可能的实施方式中，终端设备不仅可对当前操作第一交互设备和第二交互设备的用户显示对应的虚拟内容，还可以通过Wi-Fi网络、蓝牙、近场通信等方式与周围环境中的其他终端设备进行数据共享，以使其他没有操作第一交互设备和第二交互设备但佩戴有终端设备的用户也能够看到相应的虚拟内容。终端设备发送至其他终端设备的虚拟图像数据可以包括第二虚拟内容的虚拟模型数据以及在虚拟空间中的渲染坐标，虚拟模型数据为用于其他终端设备在虚拟空间中渲染并显示第二虚拟内容的数据，其可以包括用于建立第二虚拟内容对应的模型的颜色、3D模型中的各顶点坐标等。

在一些实施方式中，该虚拟图像数据还可以包括共享指令，该共享指令用于指示其他终端设备采集包含第三标记物的图像，识别第三标记物，并获取与第三标记物对应的显示区域的相对空间位置信息，再根据该相对空间位置信息显示第二虚拟内容。

在一些实施方式中，根据其他终端设备所在的位置不同，共享显示虚拟内容的模式至少包括：近场共享模式以及远场共享模式。

作为一种近场共享模式的实施场景，当其他终端设备与连接有交互设备的主终端设备(即显示第一虚拟内容并投放显示第二内容的终端设备)处于同一现实环境时，其他终端设备与主终端设备均能识别到该场景中设置的同一第三标记物。此时，当主终端设备通过识别场景中的第三标记物确定对应显示区域，并在与该显示区域对应的虚拟空间中的显示位置上显示第二虚拟内容时，可以向位于同一场景中的其他终端设备通过Wi-Fi网络、蓝牙、近场通信等方式发送与第二虚拟内容对应的虚拟图像数据。当同一场景中的其他终端设备获取由主终端设备发送的第二虚拟内容的虚拟图像数据后，可根据该虚拟图像数据中的共享指令，开启近场共享显示模式。此时，其他终端设备可通过采集包含第三标记物的图像，确定与第三标记物对应的显示区域，获取与该显示区域的相对空间位置信息，并进一步根据该相对空间位置信息确定第二虚拟内容在虚拟空间中的显示位置，再通过获取的第二虚拟内容的虚拟图像数据在虚拟空间中的显示位置渲染并显示第二虚拟内容。

作为一种远场共享模式的实施场景，当其他终端设备与连接有交互设备的主终端设备处于不同场景(例如地理位置相距较远的不同房间)时，主终端设备能够识别到设置在主场景(主终端设备所在的场景)中的第三标记物，其他终端设备能够识别到设置在其他终端设备所在的副场景中的第四标记物。其中，主场景中的第三标记物与副场景中的第四标记物虽不是同一标记物，但是可以为身份信息互相关联的标记物。当主终端设备通过识别场景中的第三标记物确定显示区域，并在与该显示区域对应的虚拟空间中的显示位置上显示第二虚拟内容时，可以向位于副场景中的其他终端设备通过连接同一服务器的无线通信网络发送与第二虚拟内容对应的虚拟图像数据。当副场景中的其他终端设备获取由主终端设备发送的第二虚拟内容的虚拟图像数据后，可根据该虚拟图像数据中的共享指令，开启远场共享显示模式。其他终端设备可通过采集包含第四标记物的图像，确定与第四标记物对应的显示区域，并进一步确定与该显示区域之间的相对位置关系，从而可根据该相对位置关系获取在虚拟空间中对应的显示位置，再通过获取的第二虚拟内容的虚拟图像数据在虚拟空间中的显示位置渲染并显示第二虚拟内容。

在远场共享模式中，作为一种方式，第三标记物及第四标记物均具有在现实环境中的方位(可以根据标记物上的子标记物及特征点的位置分布，划分该标记物的前方、后方、左侧、右侧等方位)，可将第三标记物与第四标记物在现实环境中的方位相关联(即第三标记物与第四标记物均具有相关联的前方、后方、左侧、右侧等方位)。例如，主终端设备位于主场景中相对于第三标记物的前方位置时，显示的第二虚拟内容为正面朝向主终端设备的方向，此时与主终端设备建立远场共享的其他终端设备位于副场景中相对于第四标记物的后方的位置，则其他终端设备在相应显示区域对应的虚拟空间中的显示位置上显示的第二虚拟内容可以是背面朝向其他终端设备的方向。

在远场共享模式中，作为另一种方式，其他终端设备显示的第二虚拟内容的方向，还可以是与主终端设备所显示的第二虚拟内容保持一致的，例如当主终端设备位于主场景中相对于第三标记物的前方，且其他终端设备位于副场景中相对于第四标记物的后方时，主终端设备与其他终端设备显示的第二虚拟内容均为朝向其各自的方向。

在近场共享模式中，位于同一场景中的其他终端设备显示的第二虚拟内容，可以根据自身相对于第二标记物的相对空间位置信息的不同，与主终端设备显示方向不同的第二虚拟内容；也可以忽视自身与第三标记物的相对空间位置，显示与主终端设备显示的第二虚拟内容保持方向一致的虚拟图像。

可以理解的是，其他终端设备能够根据其各自相对于第三标记物或第四标记物的相对空间位置信息，在其各自的显示屏幕上显示出不同位置、视角的虚拟内容，也可以显示出相同位置、视角的虚拟内容，本实施例在此不作限定，只需能够实现虚拟显示内容的多人交互即可。

作为一种方式，在用户结束使用后，终端设备还可以将用户在使用过程中的操作记录(例如选择显示了哪些虚拟内容，进行了怎样的交互动作等)通过日志的形式上传至服务器，以便于后续进行用户喜好的统计以及虚拟显示体验的优化等用途。

请参阅图13，图13示出了本申请实施例提供的一种虚拟内容的显示装置300的模块框图。下面将针对图13所示的模块框图进行阐述，虚拟内容的显示装置300包括：采集模块310、第一显示模块320、选取模块330以及第二显示模块340，其中：采集模块310，用于采集包含第一标记物的第一图像，所述第一标记物为设置于第一交互设备上的标记物。

第一显示模块320，用于根据所述第一图像中的所述第一标记物确定与所述第一交互设备对应的显示区域，并显示第一虚拟内容，所述第一虚拟内容的显示位置与所述显示区域对应。进一步地，第一显示模块320包括：第一识别单元，用于识别所述第一图像中的所述第一标记物，获取所述第一交互设备与终端设备的第一相对位置姿态信息，所述第一相对位置姿态信息包括所述第一交互设备与所述终端设备的相对位置信息和相对姿态信息；第一显示单元，用于根据所述第一相对位置姿态信息确定与所述第一交互设备对应的显示区域，并显示第一虚拟内容。

选取模块330，用于获取选取指令。进一步地，选取模块330包括：采集单元，用于采集包含第二标记物的第二图像，所述第二标记物为设置于第二交互设备上的标记物；第二识别单元，用于识别所述第二图像中的所述第二标记物，获取所述第二交互设备与所述终端设备的第二相对位置姿态信息，所述第二相对位置姿态信息包括所述第二交互设备与所述终端设备的相对位置信息和相对姿态信息；指令单元，用于根据所述第二相对位置姿态信息获取选取指令。进一步地，指令单元包括：第一指令子单元，用于根据所述第二相对位置姿态信息，显示虚拟指示对象，所述虚拟指示对象用于表示所述第二交互设备指示的方向；第一生成子单元，用于在所述虚拟指示对象指向所述第一虚拟内容中的第二虚拟内容时，生成选取指令；第二指令子单元，用于根据所述第二相对位置姿态信息，判断所述第二交互设备的当前空间位置是否与所述第一虚拟内容中的第二虚拟内容的显示空间位置重合；第二生成子单元，用于在所述第二交互设备的当前空间位置与所述第一虚拟内容中的第二虚拟内容的显示空间位置重合时，生成选取指令。

第二显示模块340，用于根据所述选取指令从所述第一虚拟内容中选取第二虚拟内容，并显示所述第二虚拟内容。进一步地，第二显示模块340包括：获取单元，用于根据所述第二相对位置姿态信息获取所述第二虚拟内容的渲染数据；渲染单元，用于基于所述渲染数据渲染并显示所述第二虚拟内容；重新获取单元，用于在所述第二相对位置姿态信息发生变化时，根据变化后的第二相对位置姿态信息重新获取所述第二虚拟内容的渲染数据；重新渲染单元，用于基于重新获取的渲染数据渲染并显示所述第二虚拟内容。

虚拟内容的显示装置300还可以包括：获取模块，用于获取内容切换指令；切换模块，用于根据所述内容切换指令，将显示的所述第二虚拟内容切换为所述第一虚拟内容中的第三虚拟内容。

请参照图14，本申请实施例提供了一种交互设备400(可以是上述实施例中的第一交互设备)，交互设备400包括基板410、控制面板430以及第一标记物450，控制面板430设置于基板410上，第一标记物450集成于控制面板430中。在本实施方式中，交互设备400大致为平板结构。其中，基板410可以为板状结构，也可以为壳体结构，其用于承载控制面板430。

控制面板430叠置于基板410的一侧，用于接收用户的操控指令以利于交互设备400生成图像控制指令。控制面板430具有触控区域431且划分有显示区域433。

触控区域431用于接收用户的操控指令。在一些实施方式中，触控区域431可以包括触摸屏，通过检测触摸屏的触摸状态，若判断按触摸屏产生触摸信号，则认为触控区域431接收到操控指令。在一些实施方式中，触控区域431包括按键，通过检测按键的按压状态，若判断按键产生压力信号，则认为触控区域431接收到操控指令。在一些实施方式中，触控区域431可以为多个，多个触控区域431包括触摸屏、按键中的至少一个。

第一标记物450为集成于控制面板430对应的显示区域433的平面第一标记物，其可以为预定符号或图案。第一标记物450用于由终端设备识别后，以虚拟模型的形式显示在终端设备。

交互设备400还包括滤光层470，滤光层470叠置于第一标记物450背离基板410的一侧。滤光层470用于过滤除终端设备的照明装置射向第一标记物450的光线之外的光线，避免第一标记物450在反射光线时受到环境光线的影响，从而使得第一标记物450更容易被识别。在一些实施方式中，滤光层470的滤光性能可以根据实际需要设置。例如，当第一标记物450进入相机的视场中以被识别时，为了提高识别效率，相机通常借助辅助光源进行辅助采集图像，例如，采用红外光源进行辅助时，滤光层470则用于过滤除红外光以外的光(如可见光、紫外光等)，使除红外光以外的光无法穿过滤光层470而红外光可穿过并抵达第一标记物450。当辅助光源将红外光投射至第一标记物450，滤光层470会过滤除红外光以外的环境光，使仅有红外光到达第一标记物450并被第一标记物450反射至近红外的图像采集装置中，从而能够降低环境光线对识别过程的影响。

在一些实施方式中，控制面板430还可以包括压力区(图中未标出)，压力区设有压力传感器，压力传感器用于感测外界压力，使交互设备400根据外界压力生成对应的控制指令。压力区可以设置在控制面板430的部分区域，也可以完全覆盖控制面板430的表面，还可以与上述的触控区域431或/及显示区域433重叠或者并列或者间隔设置。终端设备获取压力区所检测的压力数据，并根据压力数据生成控制指令，该控制指令为控制虚拟内容以变形状态进行显示的指令，使虚拟内容显示为受外力挤压而变形的状态。进一步地，根据压力数据，可采用预设的函数关系计算虚拟内容的变形状态；例如，虚拟内容的形变量与压力值成正比关系，压力值越大，虚拟内容的形变量越大，甚至，压力值超过设定阈值时，可以执行预设的图像显示动作(例如：虚拟内容***或消失、切换虚拟内容等)。或者，该控制指令为控制虚拟内容的显示状态的指令，使虚拟内容显示的显示状态(如色彩渐变、亮度或者透明度等状态)跟随压力大小而改变。具体而言，根据预设的压力阈值，将压力区获取的实际压力与压力阈值相比较，根据二者的比值控制虚拟内容的显示状态的变化量。

在图14所示的实施方式中，触控区域431与显示区域433并列设置，第一标记物450叠置于显示区域433上。在其他实施方式中，触控区域431与显示区域433可以为重叠设置，例如，触控区域431为透明触控屏，其叠置于显示区域433上，第一标记物450设置于触控区域431与显示区域433之间，如此，能够进一步减小交互设备400的体积，提高其便携性。

请参阅图15，图15示出了本申请实施例提供另一种交互设备500(可以是上述实施例中的第二交互设备)的结构示意图。交互设备500上设有第二标记物510，终端设备可通过采集包含有第二标记物510的图像，获取交互设备500与终端设备的第二相对位置姿态信息。交互设备500的具体形态结构不受限制。作为一种方式，交互设备500可以为二十六面体，其包括十八个正方形面以及八个三角形面。进一步地，交互设备500包括不共面的多个表面。其中，不共面的多个表面上可以分别设置不同的第二标记物510。通过在不共面的不同表面上设置不同的第二标记物510，可使终端设备在多个角度下均能识别包含第二标记物510的图像，以在不同姿态下获取终端设备与交互设备500的第二相对位置姿态信息。

当用户使用时，通过使交互设备500上的不同的第二标记物510在终端设备的视野范围内发生旋转或/及位移，使得终端设备实时采集交互设备500上的第二标记物510信息，进而获取终端设备与交互设备500的第二相对位置姿态信息，以便根据该第二相对位置姿态信息在虚拟空间中显示相应的虚拟内容。在一些实施方式中，交互设备500的形状可以为其他形状，而使交互设备500可以至少包括多个不共面的表面以及分别设置于各个不共面的表面上的第二标记物510，以使交互设备500能够借由第二标记物510被终端设备识别并获取/追踪姿态。

交互设备500上还可以设有操控区520，其用于接收操控动作，并发送给终端设备，以使终端设备能够生成用于控制虚拟内容显示的控制指令。操控区520可以为触摸屏、按键等中的一个或多个。操控区520也可以为多个，多个操控区520可以对应相同或不同的控制指令，通过向多个操控区520中的任一个或多个输入操控动作，可以使终端设备根据该操控动作生成控制指令，进而控制虚拟内容以对应的状态进行显示。

在一些实施方式中，交互设备500还可以包括惯性测量传感器，惯性测量传感器用于感测并获取交互设备500的姿态信息。

在一些实施方式中，交互设备500还可以包括压力区(图未示)，压力区设有压力传感器，压力传感器用于感测交互设备接收到的外界压力，使终端设备根据交互设备500所受的外界压力生成对应的控制指令。压力区可以设置在交互设备500的部分区域，也可以完全覆盖交互设备500的外表面，还可以与上述的操控区520或设置有第二标记物510的表面重叠设置。

本申请中的标记物显示出的具体图案不受限制，其可以为任意供终端设备的相机获取的图案。例如，标记物的具体图案可以为以下任意图案中的一种或多种的组合：圆形，三角形、矩形、椭圆形、波浪线、直线、曲线等等，并不局限于本说明书所描述。在其他实施方式中，标记物可以为其他类型的图案，而使标记物能够较为有效地以被相机识别。例如，标记物的具体图案可以为在相机能够分辨的几何图形(如圆形，三角形、矩形、椭圆形、波浪线、直线、曲线等等)、预定图案(如动物头像、常用示意符号例如交通标志等)或者其他的图案以形成标记物，并不局限于本说明书所描述。在其他实施方式中，标记物可以为条形码、二维码等识别码。

本申请实施例提供一种终端设备，包括显示器、存储器以及处理器，显示器和存储器耦接到处理器，存储器存储指令，指令由处理器执行：采集包含第一标记物的图像，第一标记物为设置于第一交互设备上的标记物；根据图像中的第一标记物确定与第一交互设备对应的显示区域，并显示第一虚拟内容，第一虚拟内容的显示位置与显示区域对应；获取选取指令；根据选取指令从所述第一虚拟内容中选取第二虚拟内容，并显示第二虚拟内容。

本申请实施例提供了一种计算机可读取存储介质，该计算机可读取存储介质中存储有程序代码，程序代码可被处理器调用执行：采集包含第一标记物的图像，第一标记物为设置于第一交互设备上的标记物；根据图像中的第一标记物确定与第一交互设备对应的显示区域，并显示第一虚拟内容，第一虚拟内容的显示位置与显示区域对应；获取选取指令；根据选取指令从第一虚拟内容中选取第二虚拟内容，并显示第二虚拟内容。

综上所述，本申请实施例提供的虚拟内容的显示方法、装置、终端设备及虚拟内容的显示***，先采集包含第一标记物的图像，第一标记物为设置于第一交互设备上的标记物；然后根据第一图像中的第一标记物确定与第一交互设备对应的显示区域，并显示第一虚拟内容，第一虚拟内容的显示位置与显示区域对应；获取选取指令；最后根据选取指令从第一虚拟内容中选取第二虚拟内容，并显示第二虚拟内容。本申请实施例可以通过选取交互设备上显示的虚拟内容中的部分虚拟内容，在另一区域上显示该选取的部分虚拟内容，提高AR/VR的交互性。

计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(终端设备)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学采集，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。在不冲突的情况下，上述的实施例之间可以相互结合，各实施例的特征之间也可以相互结合，并不以实施例为限定。

Claims (10)

1.一种虚拟内容的显示投放***，其特征在于，所述***包括：

交互设备，所述交互设备上设置有第一标记物；

第一终端，用于采集包含所述第一标记物的第一图像，并根据所述第一图像获取所述第一终端与交互设备之间的第一位置及姿态信息，以显示第一虚拟内容，所述第一虚拟内容的显示位置与所述第一位置及姿态信息相关；

至少一个第二终端，用于采集包含第二标记物的第二图像，并根据所述第二图像获取所述第二终端与第二标记物之间的第二位置及姿态信息，所述第二标记物设置在现实世界中且区别于所述第一标记物；

所述第一终端还用于向所述第二终端发送与第二虚拟内容相关的数据，所述第二终端还用于接收所述数据以显示第二虚拟内容，所述第二虚拟内容的显示位置与第二位置及姿态信息相关。

2.根据权利要求1所述的***，其特征在于，所述第一终端与交互设备通信连接，所述第一终端还用于获取所述交互设备的操控指令，并根据所述操控指令，控制所述第一虚拟内容和/或第二虚拟内容的显示。

3.根据权利要求2所述的***，其特征在于，所述第一终端还用于获取所述第二虚拟内容的显示更新数据，并将所述显示更新数据发送给所述第二终端，所述显示更新数据为根据所述操控指令对所述第二虚拟内容的显示进行控制得到；

所述第二终端还用于接收所述第一终端发送的显示更新数据，并根据所述显示更新数据显示所述第二虚拟内容。

4.根据权利要求2所述的***，其特征在于，所述交互设备还包括触控区域，所述操控指令为所述交互设备根据所述触控区域检测到的触控动作而生成。

5.根据权利要求2所述的***，其特征在于，所述交互设备还包括压力区，所述操控指令为所述交互设备根据所述压力区的压力传感器检测到压力数据而生成。

6.根据权利要求1所述的***，其特征在于，所述第一终端还用于根据所述第二虚拟内容与第一虚拟内容的相对位置关系显示所述第二虚拟内容；

或

所述第一终端还用于根据所述第一位置及姿态信息显示第二虚拟内容；

或

所述第一终端还用于采集包含所述第二标记物的第三图像，并根据所述第三图像获取所述第一终端与所述第二标记物之间的第三位置及姿态信息，并根据所述第三位置及姿态信息显示第二虚拟内容。

7.根据权利要求1所述的***，其特征在于，所述***还包括与所述第一终端通信连接的第二交互设备，所述第一终端根据用户在所述第二交互设备上的操作获取选取指令，并根据所述选取指令从所述第一虚拟内容中选取第二虚拟内容。

8.根据权利要求7所述的***，其特征在于，所述第二交互设备上设有第三标记物，所述第一终端采集包括所述第三标记物的第四图像，根据所述第四图像获取所述第一终端与所述第二交互设备之间的第四位置及姿态信息，并根据所述第四位置及姿态信息获取选取指令。

9.根据权利要求8所述的***，其特征在于，所述第一终端还用于根据所述第四位置及姿态信息判断所述第二交互设备与所述第一虚拟内容是否发生重叠，当存在重叠时，根据重叠的区域获取选取指令。

10.根据权利要求1所述的***，其特征在于，所述***还包括服务器，所述第一终端与所述服务器连接，所述第二终端与所述服务器连接；

所述第一终端还用于将所述与第二虚拟内容相关的数据发送至所述服务器；

所述第二终端还用于从所述服务器获取所述与第二虚拟内容相关的数据，并根据所述数据及第二位置及姿态信息显示第二虚拟内容。

Images