CN111813214A - 虚拟内容的处理方法、装置、终端设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种虚拟内容的处理方法、装置、终端设备及存储介质，涉及显示技术领域。该虚拟内容的处理方法包括：根据采集的标记物图像，确定交互装置的六自由度(6DoF)信息，标记物图像包含有设于交互装置的标记物；基于6DoF信息，获取目标对象的目标区域，目标区域为交互装置选择的区域；获取目标区域对应的内容数据；根据6DoF信息及内容数据生成虚拟内容；显示虚拟内容；以及接收交互装置发送的控制数据，根据所述控制数据生成对应的内容处理指令，并根据内容处理指令对虚拟内容进行处理。本方法可以通过交互装置的6DoF信息选取需要进行处理的虚拟内容，并直接通过交互装置对该虚拟内容进行处理，方便快捷。

Description

虚拟内容的处理方法、装置、终端设备及存储介质

技术领域

本申请涉及显示技术领域，更具体地，涉及一种虚拟内容的处理方法、装置、终端设备及存储介质。

背景技术

随着科技的发展，机器智能化及信息智能化日益普及，通过机器视觉或者虚拟视觉等图像采集装置来识别用户影像以实现人机交互的技术越来越重要。增强现实技术(Augmented Reality，AR)借助计算机图形技术和可视化技术构建现实环境中不存在的虚拟内容，并通过图像识别定位技术将虚拟内容准确地融合到真实环境中，借助显示设备将虚拟内容与真实环境融为一体，并显示给使用者真实的感观体验。

增强现实技术要解决的首要技术难题是如何将虚拟内容准确地融合到真实世界中，也就是要使虚拟内容以正确的姿态出现在真实场景的正确位置上，从而产生强烈的视觉真实感。在传统的技术中，通过在真实场景图像中叠加虚拟内容进行增强现实或混合现实显示时，通常仅是单纯地显示虚拟内容，用户仅能够通过传统的遥控器等控制器去控制虚拟内容的显示状态，如控制虚拟内容平移、旋转或者缩放等，而不能灵活地根据用户对虚拟内容的局部进行控制，因此，用户与显示的虚拟内容之间的互动性较差。

发明内容

本申请实施例提出了一种虚拟内容的处理方法、装置、终端设备及存储介质，能够提高用户与虚拟内容的交互性。

第一方面，本申请实施例提供了一种虚拟内容的处理方法，应用于终端设备，该处理方法包括：根据采集的标记物图像，确定交互装置的六自由度(6DoF)信息，标记物图像包含有设于交互装置的标记物；基于6DoF信息，获取目标对象的目标区域，目标区域为交互装置选择的区域；获取目标区域对应的内容数据；根据6DoF信息及内容数据生成虚拟内容；显示虚拟内容；以及接收交互装置发送的控制数据，根据所述控制数据生成对应的内容处理指令，根据内容处理指令对虚拟内容进行处理。

第二方面，本申请实施例提供了一种虚拟内容的处理装置，该装置包括信息确定模块、区域确定模块、数据获取模块、内容生成模块、内容显示模块以及内容处理模块，其中，信息确定模块用于根据采集的标记物图像，确定交互装置的六自由度(6DoF)信息，标记物图像包含有设于交互装置的标记物；区域确定模块用于基于6DoF信息，获取目标对象的目标区域，目标区域为交互装置选择的区域；数据获取模块用于获取目标区域对应的内容数据；内容生成模块用于根据6DoF信息及内容数据生成虚拟内容；内容显示模块用于显示虚拟内容；以及内容处理模块用于接收交互装置发送的控制数据，根据控制数据生成对应的内容处理指令，根据内容处理指令对虚拟内容进行处理。

第三方面，本申请实施例提供了一种终端设备，包括：一个或多个处理器；存储器；一个或多个应用程序，其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序配置用于执行上述第一方面提供的虚拟内容的处理方法。

第四方面，本申请实施例提供了一种计算机可读取存储介质，计算机可读取存储介质中存储有程序代码，程序代码可被处理器调用执行上述第一方面提供的虚拟内容的处理方法。

本申请实施例提供的虚拟内容的处理方法、装置、终端设备及存储介质，根据交互装置的6DoF信息确定目标对象的目标区域，并采集目标区域的内容数据，然后根据6DoF信息和内容数据生成并显示相应的虚拟内容，最后通过交互装置发送的控制数据，以及根据控制数据生成对应的内容处理指令，并根据该内容处理指令对虚拟内容进行处理。因此，用户可以通过交互装置的6DoF信息选取需要进行处理的虚拟内容，并直接通过交互装置对该虚拟内容进行处理，方便快捷，可以提高用户与显示的虚拟内容之间的交互性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的虚拟内容的处理***的示意图。

图2为本申请实施例提供的虚拟内容的处理方法的流程示意图。

图3为本申请实施例提供的另一虚拟内容的处理方法的流程示意图。

图4为图3所示方法中叠加显示虚拟对象的流程示意图。

图5为图3所示方法中另一种叠加显示虚拟对象的流程示意图。

图6为图5所示显示虚拟对象的一种过程的示意图。

图7为图5所示显示虚拟对象的另一过程的示意图。

图8为本图3所示方法中确定目标区域的流程示意图。

图9为图8所示方法中的确定目标区域的示意图。

图10为图3所示方法中另一种确定目标区域的示意图。

图11为图10所示方法中的确定目标区域的流程示意图。

图12为图3所示方法中划分目标区域的示意图

图13为图3所示方法中一种内容处理的过程示意图。

图14为图3所示方法中另一内容处理的过程示意图。

图15为图3所示方法中又一内容处理的过程示意图。

图16为图3所示方法中一种处理内容叠加到目标对象的示意图。

图17为图3所示方法中再一种内容处理的过程示意图

图18为本申请实施例提供的虚拟内容的处理装置的结构框图。

图19为本申请实施例提供的终端设备的结构框图。

图20为本申请实施例提供的一种计算机可读存储介质的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

近年来，随着增强现实技术的发展，AR相关的电子设备逐渐走入了人们的日常生活中。其中，AR是通过计算机***提供的信息增加用户对现实世界感知的技术，其将计算机生成的虚拟对象、场景或***提示信息等内容对象叠加到真实场景中，来增强或修改对现实世界环境或表示现实世界环境的数据的感知。但传统的AR，通常仅是单纯地显示虚拟内容，显示方式单一，且用户与显示的虚拟内容互动性差。

发明人经过研究，提出了本申请实施例中的虚拟内容的处理方法、装置、终端设备及存储介质，可以提高用户与显示的虚拟内容之间的交互性，提高沉浸感。

请参阅图1，示出了本申请实施例提供的一种虚拟内容的处理***10，该虚拟内容的处理***10包括：终端设备100、交互装置200以及目标对象300。其中，终端设备100与交互装置200可以通过蓝牙、WIFI(Wireless-Fidelity，无线保真)、ZigBee(紫峰技术)等通信方式连接，也可以采用数据线等有线方式进行通信连接。当然，终端设备100与交互装置200的连接方式在本申请实施例中可以不作为限定。

在本申请实施例中，终端设备100可以是头戴显示装置，也可以是手机、平板等移动设备。终端设备100为头戴显示装置时，头戴显示装置可以为一体式头戴显示装置。终端设备100也可以是与外接式头戴显示装置连接的手机等智能终端，即终端设备100可作为头戴显示装置的处理和存储设备，用以***或者接入外接式头戴显示装置以显示虚拟内容。

在本申请实施例中，交互装置200为平板状电子设备，其设有标记物210。交互装置200的具体形态结构不受限制，可以为各种形状，例如正方形、圆形。其中，交互装置200的标记物210可以是一个或多个。作为一种实施方式，标记物210设于交互装置200的表面，此时，交互装置200是设有标记物210的电子设备。

在使用交互装置200时，可使标记物210位于终端设备100的视野范围内，进而使得终端设备100可以采集到包含标记物210的图像，以对标记物210进行识别追踪，进而实现对交互装置200的定位追踪。在一些实施例中，交互装置200可以被用户手持并进行操控，标记物210可以集成于交互装置200中，也可以粘贴附着于交互装置200，还可以显示于交互装置200的显示屏。

在一些实施方式中，标记物210可以包括至少一个具有一个或者多个特征点的子标记物。当上述标记物210处于终端设备100的视野范围内时，终端设备100可将上述处于视野范围内的标记物210作为目标标记物，并采集包含该目标标记物的图像。在采集到包含该目标标记物的图像后，可以通过识别采集到的目标标记物的图像，来得到目标标记物相对终端设备100的位置、姿态等空间位置信息，以及目标标记物的身份信息等识别结果，进而得到交互装置200相对终端设备100的位置、姿态等空间位置信息，也即交互装置200的六自由度信息(Six Degrees of Freedom，6DoF)，从而实现对交互装置200的定位及跟踪。

其中，交互装置200的6DoF信息，是指交互装置在空间具有六个自由度信息，即在空间坐标系中沿X、Y、Z三个直角坐标轴方向的移动自由度和绕这三个坐标轴的转动自由度信息。在本申请实施例中，交互装置200的6DoF信息至少包括：交互装置200相对终端设备100的移动方向、移动距离、旋转方向及旋转角度。进一步地，通过获取交互装置200的6DoF信息，可以对交互装置200进行定位追踪，监测交互装置200的绝对位置，进而准确地追踪交互装置200在现实空间中的位置，以在虚拟世界中进行准确地映射，确保交互过程的准确性。

进一步地，终端设备100可基于与交互装置200之间的相对空间位置关系显示相应的虚拟内容。可以理解地，具体的标记物210在本申请实施例中并不作限定，仅需能够被终端设备100识别追踪即可。

在本申请实施例中，目标对象300为第三方对象，即，目标对象300可以是现实世界中的任一物理实体，也可以是通过终端设备100显示的任一虚拟对象。当通过交互装置200选择目标对象300的某一区域时，终端设备100可以根据交互装置200所选择的区域，获取选择的区域所对应的内容数据，然后根据交互装置200的6DoF信息和获取的内容数据生成虚拟内容，并将虚拟内容与交互装置200对准，以AR的方式叠加显示在交互装置200上。在一些实施方式中，交互装置200上设有至少一个操控区，以供用户对操控区进行操作动作，从而处理虚拟内容。其中，操控区可以包括按键和触摸屏中的至少一种。交互装置200可以通过操控区检测到的操作动作，生成与该操作动作对应的内容处理指令，并将该内容处理指令发送给终端设备100。当终端设备100接收到交互装置200发送的内容处理指令时，可根据内容处理指令对所显示虚拟内容进行处理，例如对虚拟内容进行编辑、标记等。

在一些实施方式中，交互装置200也可以是带有触摸屏的移动终端，比如智能手机、平板电脑等，具有可显示画面且可进行操控的触摸屏，标记物210可以设置在移动终端的外壳上，也可以在触摸屏上进行显示，或是以配件的方式***移动终端，比如通过USB接口或耳机接口等***移动终端等，但不限于此。

基于上述处理***，本申请实施例提供了虚拟内容的处理方法，应用于上述处理***的终端设备以及交互装置。下面对具体的虚拟内容的处理方法进行介绍。

请参阅图2，图2示出了本申请实施例提供的一种虚拟内容的处理方法，可应用于上述终端设备。该虚拟内容的处理方法，使用户可以通过交互装置的6DoF信息对显示的虚拟内容进行处理，进而提高用户与显示的虚拟内容之间的交互性。具体地，该虚拟内容的处理方法可以包括步骤S110～S160。

步骤S110：根据采集的标记物图像，确定交互装置的六自由度(6DoF)信息。其中，标记物图像包含有设于交互装置的标记物。

在一些实施方式中，可以通过终端设备的图像采集装置采集包含标记物的标记物图像，其中，标记物可以集成于交互装置中，也可以粘贴附着于交互装置，还可以显示于交互装置的显示屏上。

在本申请实施例中，可以通过视觉装置(如，图像传感器等)获取交互装置的标记物的图像，终端设备再识别图像中的标记物且根据标记物的识别结果，获取交互装置相对终端设备的位置及姿态信息，从而对交互装置的空间位置进行定位追踪，其中，姿态信息可以包括交互装置相对终端设备的旋转方向及旋转角度等。在一些实施方式中，上述识别结果至少包括标记物相对终端设备的位置信息、旋转方向及旋转角度等，从而终端设备可以根据标记物在交互装置的设定位置，获取交互装置相对终端设备的位置及姿态信息，也即交互装置的六自由度信息(Six Degrees of Freedom，6DoF)，从而实现对交互装置的定位及跟踪。

步骤S120：基于6DoF信息，获取目标对象的目标区域，目标区域为交互装置选择的区域。

在本申请实施例中，终端设备可以根据获取到的交互装置的6DoF信息，获取交互装置与目标对象的相对位置关系，其中，目标对象可以是现实空间中的实体对象，也可以是通过终端设备以AR的方式叠加显示在现实空间中的虚拟对象。需要说明的是，交互装置与目标对象的相对位置关系为第一相对位置关系，第一相对位置关系可以是交互装置与实体对象的相对位置关系，也可以是交互装置与虚拟对象的相对位置关系。

具体地，可以获取目标对象与终端设备之间的第二相对位置关系，然后根据交互装置相对终端设备的位置及姿态信息，以终端设备作为参照，则可以获取到交互装置与目标对象的第一相对位置关系，进而获取交互装置选择的区域，也即目标对象的目标区域。其中，第二相对位置关系为目标对象与终端设备之间的相对位置关系，相应地，第二相对位置关系可以是虚拟对象与终端设备之间的相对位置关系，也可以是实体对象与终端设备之间的相对位置关系。需要说明的是，第一相对位置关系可包括但不限于交互装置相对目标对象的位置信息、旋转方向及旋转角度等。第二相对位置关系可以包括但不限于目标对象相对终端设备的位置信息、旋转方向即旋转角度等。

进一步地，目标区域可以是目标对象的一部分区域，或者目标对象的一部分组成结构所在的区域，也可以是目标对象的一个或多个组成部件或结构。可选地，目标对象的目标区域，可以为交互装置对目标对象的进行遮挡的部分区域，也可以是交互装置所指向目标对象的区域。也即，可以通过交互装置与目标对象的第一相对位置关系，确定交互装置对目标对象进行遮挡或所指向的区域。

步骤S130：获取目标区域对应的内容数据。

在本申请实施例中，目标区域对应的内容数据指的是目标对象在该目标区域对应的信息数据，该信息数据可为目标对象在目标区域的内容，比如目标对象在目标区域内的部件形状外观、内部结构等信息，该信息数据也可以为目标对象在目标区域的内容的对应数据，比如在该目标区域内的部件参数等，但不限于此。

进一步地，确定目标区域对应的内容数据，可以由终端设备根据目标区域与目标对象的对应关系从服务器中下载，也可以由终端设备根据目标区域与目标对象的对应关系从其他设备中获取，还可以是终端设备根据上述对应关系从本地存储器中获取。

步骤S140：根据6DoF信息及内容数据生成虚拟内容。

在本申请实施例中，6DoF信息是终端设备获取的交互装置的6DoF信息，也即交互装置相对终端设备的位置及姿态信息。

在一些实施方式中，虚拟内容可以为目标对象在该目标区域内对应的外观、内部结构等内容，也即，虚拟内容可以为基于上述的内容数据所生成的内容。进一步地，根据交互装置的6DoF信息与获取的内容数据生成虚拟内容时，可以根据交互装置的6DoF信息对获取的内容数据进行渲染以生成虚拟内容。其中，获取的内容数据来自根据交互装置的6DoF信息确定的目标区域，并通过获取的内容数据生成虚拟内容。可选地，虚拟内容可以为图形用户界面、二维图形或三维模型。

步骤S150：显示虚拟内容。

在本申请实施例中，终端设备生成虚拟内容后，可以对虚拟内容进行显示。

在一些实施方式中，若交互装置设有显示区域，终端设备生成的虚拟内容可以直接显示于交互装置的显示区域。其中，交互装置的显示区域可以为设于交互装置的显示屏所在的区域，即通过交互装置的显示屏对虚拟内容进行显示，终端设备可将生成的虚拟内容发送给交互装置，以在交互装置的显示屏上进行显示。

在另一些实施方式中，交互装置可具有对应的虚拟显示区，虚拟显示区与交互装置具备第三相对位置关系，也可以是虚拟显示区与交互装置的标记物具备第三相对位置关系，该虚拟显示区可用于定义虚拟内容叠加显示在现实空间的区域，以适应未设有显示屏的交互装置，或交互装置的显示屏不适合显示当前虚拟内容的情况。终端设备获取交互装置的6DoF信息及虚拟显示区与交互装置之间的第三相对位置关系后，可根据交互装置的6DoF信息及第三相对位置关系计算虚拟显示区相对终端设备的空间位置，并基于该虚拟显示区的空间位置生成虚拟内容，从而可实现将虚拟内容叠加显示于该虚拟显示区的视觉效果。该虚拟显示区与交互装置之间的第三相对位置关系可根据实际需求进行设定，例如，该虚拟显示区所在的平面可以与交互装置的触控平面相垂直，或相重合，或相并列，或相对倾斜设置，该虚拟显示区与交互装置的第三相对位置关系，也可以根据用户的观看习惯进行调节，以便于用户的使用。

此时，步骤S150可以包括：基于交互装置的6DoF信息及虚拟显示区与交互装置之间预设的第三相对位置关系确定虚拟显示区，根据用户在交互装置的操作动作，重新确定虚拟显示区与交互装置的空间相对位置关系，并基于该空间相对位置关系确定虚拟显示区的位置信息，再根据该虚拟显示区的位置信息生成虚拟内容，进而将虚拟内容叠加显示于虚拟显示区，其中，用户可通过在交互装置的操作动作调节虚拟显示区所在的平面与交互装置之间的夹角，也可以调节虚拟显示区的区域大小，或是调节虚拟显示区相对交互装置的方位信息等。需要说明的是，虚拟显示区的尺寸大小，可以为预先设定好的尺寸大小，也可以根据实际应用时的需求对虚拟显示区的尺寸进行调节。

步骤S160：接收交互装置发送的控制数据，根据控制数据生成对应的内容处理指令，根据内容处理指令对虚拟内容进行处理。

在一些实施方式中，交互装置发送的控制数据，是基于用户在交互装置输入的操作动作(如，触控动作、按压动作等等)而生成，该操作动作可以包括触控操作、按压按键操作等操作动作，其中，该触控操作的类型至少包括点击、滑动、多点触控中任一种或多种。终端设备能够根据交互装置发送的控制数据确定对应的内容处理指令，其中，该内容处理指令的种类至少包括缩放、修改、标记、移动、旋转等，但不限于此。

进一步地，根据内容处理指令对虚拟内容进行处理，可以对当前显示的虚拟内容进行处理，或者对当前显示的虚拟内容中的部分对象，例如某一零部件或结构进行处理。例如，若接收到的内容处理指令为缩放或旋转的指令时，终端设备将当前显示的虚拟内容或部分对象进行缩放或旋转。若接收到的内容处理指令为修改的指令时，终端设备对当前显示的虚拟内容或部分对象的参数或数据进行修改。若接收到的内容处理指令为标记的指令时，终端设备对当前显示的虚拟内容或部分对象进行文字标记或简单标记。若接收到的内容处理指令为移动的指令时，可对当前显示的虚拟内容或部分对象进行移动。

本申请实施例提供的虚拟内容的处理方法，通过根据交互装置的6DoF信息确定目标对象的目标区域，并采集目标区域的内容数据，然后根据6DoF信息和内容数据生成并显示相应的虚拟内容，最后通过接收交互装置发送的控制数据，以及根据控制数据生成对应的内容处理指令，并根据该内容处理指令对虚拟内容进行处理。因此，用户可以通过交互装置的6DoF信息选取需要进行处理的虚拟内容，并直接通过交互装置对该虚拟内容进行处理，方便快捷，可以提高用户与显示的虚拟内容之间的交互性，提高沉浸感。

本申请另一实施例提供了一种虚拟内容的处理方法，可应用于上述的终端设备。该虚拟内容的处理方法，使用户可以通过交互装置的6DoF信息选取需要进行处理的虚拟内容，并直接通过交互装置对该虚拟内容进行处理，同时将处理的内容叠加显示至目标区域，可以提高用户与显示的虚拟内容之间的交互性。

具体地，请参阅图3，该虚拟内容的处理方法可以包括步骤S210～S300。

步骤S210：获取待显示的虚拟对象，将待显示的虚拟对象显示至指定的显示位置。

在本申请实施例中，目标对象可以是终端设备显示的虚拟对象。终端设备在对虚拟对象进行显示时，终端设备需要获取待显示的虚拟对象的参数数据。其中，该参数数据可以包括待显示的虚拟对象的模型数据，模型数据为用于渲染虚拟对象的数据，进而实现虚拟对象的显示。例如，模型数据可以包括用于建立虚拟对象对应的颜色数据、顶点坐标数据、轮廓数据等。另外，待显示的虚拟对象的模型数据可以是存储于终端设备中，也可以是从交互装置、服务器等其他电子设备获取。

在本申请实施例中，将待显示的虚拟对象显示至指定的显示位置，可以是将终端设备显示的虚拟对象叠加显示到现实空间(例如，在终端设备预览待显示的虚拟对象，并将该待显示的虚拟对象叠加显示于特定区域)，以便通过终端设备对叠加显示到现实空间的虚拟对象进行查看时，可以清楚地观看到该虚拟对象的结构，其中，显示位置可用虚拟对象在虚拟空间中的空间坐标表示。具体地，请参阅图4，该显示步骤包括步骤S410～S430。

步骤410：确定虚拟对象在真实环境中的叠加位置。

其中，叠加位置为上述虚拟对象进行显示时叠加在现实空间中的位置，该位置可以为现实空间中的指定位置，通过终端设备可以查看叠加显示于该位置的虚拟对象。请参阅图5，本申请实施例中，确定叠加位置还包括步骤S411～S413。其中，步骤S411～S413为步骤S410的另一种实施方式，可选地，步骤S411～S413可以替换步骤S410。

步骤S411：获取包含显示标记物的图像。

在本实施例中，显示标记物可以设于现实空间的任意位置。显示标记物可以包括至少一个子标记物，子标记物可以为具有一定形状的图案。在一个实施例中，每个子标记物可具有一个或多个特征点，其中，特征点的形状不作限定，可以是矩形、圆点、圆环、三角形、或其他形状。作为一种实施方式，显示标记物的轮廓为矩形，其中，显示标记物的形状也可以为其他形状，在此不做限定，矩形的区域以及该区域内的多个子标记物构成一个显示标记物。

需要说明的是，此时虚拟内容的处理***中至少包括两种标记物，一种为设置于交互装置的标记物，其用于获取交互装置的6DoF信息；一种为设置于交互装置之外的显示标记物，其用于确定显示区域。因此，需要区分两种标记物，以准确地识别不同的标记物，实现该标记物对应的作用。具体地，每个标记物可以包括至少一个子标记物，不同标记物内的子标记物的分布规则不同，例如，每个标记物可具备不同的身份信息。终端设备通过识别标记物中包含的子标记物，可以获取与标记物对应的身份信息，该身份信息为编码等可用于唯一标识标记物的信息，但不限于此。其中，该身份信息可以表征该标记物是用于获取交互装置的6DoF信息的标记物，还是确定显示区域的显示标记物。

作为另一种实施方式，上述提到的两种标记物也可以均为由光点构成的自身可以发光的物体等。由于光点标记物可以发射不同波段或不同颜色的光，终端设备通过识别光点标记物发出的光的波段或颜色等信息获取与标记物对应的身份信息，以对两种标记物做区分。需要说明的是，具体的标记物的形状、样式、尺寸、颜色、特征点数量以及分布在本实施例中并不作为限定，仅需要标记物能被终端设备识别追踪即可。

进一步地，获取包含显示标记物的图像，可以通过终端设备的图像采集装置对包含显示标记物的图像进行采集。

步骤S412：识别图像中的显示标记物，并获取显示标记物与终端设备之间的相对空间位置关系。

本申请实施例中，对图像中的显示标记物进行识别，是为了获取显示标记物的空间位置信息。根据获取到的显示标记物的空间位置信息，以终端设备为参照，可以获取到显示标记物与终端设备之间的相对空间位置关系，该相对空间位置关系可包括显示标记物相对终端设备位置及姿态等信息。

步骤S413：基于相对空间位置关系，确定叠加位置。

在本申请实施例中，以终端设备为原点，建立虚拟空间坐标系，基于显示标记物与终端设备之间的相对空间位置关系确定虚拟对象在真实环境中的叠加位置，从而可根据该叠加位置获取虚拟对象在虚拟空间中的显示位置。终端设备可获取显示标记物在虚拟空间坐标系的坐标，该虚拟空间坐标系可以是虚拟空间中以世界原点建立的坐标系，也可以是虚拟空间中以虚拟摄像头(用于模拟虚拟空间中人眼的位置)为原点建立的坐标系。

在一些实施方式中，叠加位置与显示标记物具有一定的相对关系，该相对关系可包括相对尺寸比例、相对位置关系等。终端设备获取显示标记物在虚拟空间坐标系的坐标后，可根据显示标记物与终端设备之间的相对空间位置关系，以及叠加位置与显示标记物的相对关系，确定真实环境中的叠加位置。。在一些实施方式中，叠加位置的尺寸大小，可以根据待显示的虚拟对象的尺寸大小进行调整，也可以根据叠加位置的固定尺寸大小调整虚拟对象的模型尺寸，其中，叠加位置的固定尺寸大小可以是设定的尺寸数值，也可以与显示标记物具备一定的比例关系，比如是显示标记物在现实空间中的实际物理大小的2倍、3倍、5倍等，或与显示标记物的实际物理大小等同，在此不进行限定。

步骤S420：接收交互装置发送的第一显示指令。

在本申请实施例中，第一显示指令与用户在交互装置上输入的操作动作相对应。其中，用户在交互装置上输入的操作动作可以为滑动、点击等。第一显示指令可以包括：选取虚拟对象、确定虚拟对象叠加显示时的缩放倍数、确定虚拟对象叠加显示时的动态效果中至少一个。

在一些实施方式中，交互装置发送的第一显示指令，可以是将指定的虚拟对象叠加显示到叠加位置。其中，当存在多个叠加位置时，交互装置发送的第一显示指令包括将所选择的虚拟对象叠加显示到指定的一个叠加位置。作为一种具体实施方式，终端设备可根据用户在交互装置上的滑动方向确定与滑动方向对应的叠加位置，并根据该对应的叠加位置重新渲染并叠加显示虚拟对象，以使用户通过终端设备可以看到虚拟对象叠加显示在该对应的叠加位置上。请参阅图6，叠加显示于交互装置的虚拟对象包括虚拟对象A和虚拟对象B，叠加位置包括叠加位置C和叠加位置D。用户在交互装置上选取虚拟对象A，并通过滑动的方式将虚拟对象A沿朝向叠加位置C的方向滑出交互装置。进一步地，此时用户的操作动作对应将虚拟对象A显示到叠加位置C的指令。

在一些实施方式中，可以根据交互装置发送的第一显示指令，可以是将多个虚拟对象分别显示到不同的叠加位置。可以理解的是，交互装置发送的第一显示指令具有指向性，其能够将某个虚拟对象显示到特定的叠加位置，以便用户通过不同的叠加位置浏览不同的虚拟对象，避免发生因在同一叠加位置显示多个虚拟对象而浏览效果不佳的情况。请参阅图7，叠加显示于交互装置的虚拟对象包括虚拟对象A和虚拟对象B，叠加位置包括叠加位置C和叠加位置D。用户在交互装置上先选取虚拟对象A，并通过向左滑动的方式将虚拟对象A滑出交互装置，再选取虚拟对象B，并通过向右滑动的方式将虚拟对象B滑出交互装置。进一步地，此时用户的操作动作对应将虚拟对象A叠加显示到叠加位置C的指令，以及将虚拟对象B叠加显示到叠加位置D的指令。

步骤S430：基于第一显示指令，按照预设的显示效果显示虚拟对象，虚拟对象的显示位置与叠加位置相对应。

在本申请实施例中，预设的叠加显示效果包括虚拟对象叠加显示于显示区域时的尺寸，即虚拟对象进行缩放的比例大小。其中，虚拟对象进行放大的比例大小，可以为原虚拟对象的尺寸大小的1倍、2倍、3倍、4倍等。其中，原虚拟对象的尺寸大小为虚拟对象显示于终端设备进行预览时的尺寸大小。

在本申请实施例中，终端设备获取到虚拟对象的参数数据后，可以根据参数数据和叠加位置的位置，生成虚拟对象。作为一种实施方式，可以是根据参数数据构建出待虚拟内容，并获取叠加位置在虚拟空间中的空间坐标，根据该空间坐标确定虚拟对象在虚拟空间的三维渲染坐标，使渲染的三维虚拟对象在虚拟空间中的渲染位置与叠加位置吻合，从而根据该渲染位置进行渲染以叠加显示虚拟对象于叠加位置。

在一些实施方式中，由于终端设备已经得到叠加位置，以终端设备为基准点，建立虚拟空间坐标系，可以得到虚拟对象在虚拟空间中的渲染坐标，即得到了虚拟对象的渲染位置。该渲染位置包括虚拟对象的渲染坐标，进而在该渲染位置渲染以显示出虚拟对象。其中，上述渲染坐标可以是虚拟对象在虚拟空间中以终端设备的虚拟摄像头为原点(也可看作是以人眼为原点)的三维空间坐标。

可以理解的是，终端设备确定用于虚拟空间中渲染虚拟对象的渲染坐标之后，终端设备可以根据获取到的虚拟内容对应的参数数据，构建三维的虚拟内容，以及根据上述渲染坐标渲染该虚拟对象。其中，终端设备可以从参数数据得到三维的待显示的虚拟对象中各个顶点的RGB值及对应的坐标等。

在一些实施方式中，预设的显示效果还包括虚拟对象自交互装置显示到叠加位置的过程时的动画效果，例如，请参阅图7，该动画效果可以为原虚拟对象的尺寸大小逐渐增大到显示于叠加位置时的尺寸大小的过程。可选地，在虚拟对象自交互装置显示到叠加位置的过程，还可以增添过渡的动画效果，例如虚拟对象自交互装置按照预定轨迹“飞出”，并落于叠加位置的过程。

在一些实施方式中，对应于将虚拟对象自交互装置向叠加位置进行显示的过程，还包括将虚拟对象自叠加位置进行回收的过程。该过程可以包括：接收交互装置的回收指令，将虚拟对象自叠加位置进行回收，其中，回收效果可以参照预设的显示效果，在此不做赘述。

因此，当目标对象为终端设备显示的虚拟对象时，可以通过上述提供的显示步骤，对目标对象进行放大以生成虚拟对象，进而在对目标对象进行处理时，能较准确地获取和处理目标区域的内容数据，可以扩大该虚拟内容的处理方法的适用范围。

步骤S220：根据采集的标记物图像，确定交互装置的六自由度(6DoF)信息，标记物图像包含标记物。

在一些实施方式中，交互装置的标记物的个数可以是多个。因此，作为一种方式，可以通过识别多个标记物中每个标记物相对终端设备的位置信息、旋转方向及旋转角度，并根据每个标记物相对终端设备的位置信息、旋转方向及旋转角度，得到交互装置相对终端设备的位置及姿态信息。例如，终端设备识别的交互装置的标记物包括第一标记物以及第二标记物，第二标记物区别于第一标记物，终端设备可以分别计算第一标记物以及第二标记物与终端设备之间的相对位置关系及旋转关系，以确定交互装置相对终端设备的位置及姿态信息，使位置及姿态信息的获取更为准确。

在一些实施方式中，识别交互装置的标记物，可以由终端设备先通过图像采集装置采集包含标记物的图像，然后再对该图像中的标记物进行识别。其中，终端设备采集包含标记物的图像之前，可以通过调整终端设备在现实空间中的空间位置，也可以通过调整交互装置在现实空间中的空间位置，以使该交互装置的标记物处于终端设备的图像采集装置的视野范围内，从而使终端设备可以对该标记物进行图像采集和图像识别。其中，图像采集装置的视野范围可以由视场角的方位以及大小决定。

在一些实施例中，交互装置可设有多个标记物，终端设备可将交互装置处于视野范围内的标记物作为目标标记物，此时，终端设备采集到包含目标标记物的图像，若交互装置的所有标记物都处于图像采集装置的视野范围内，那么终端设备采集到的图像中的目标标记物可以是交互装置的所有标记物。若交互装置的部分标记物处于图像采集装置的视野范围内，从而终端设备采集到的图像中的目标标记物可以是交互装置的部分标记物。

在另一些实施方式中，终端设备识别交互装置的标记物时，还可以先通过其他传感器装置采集包含标记物的图像，然后终端设备再对该图像中的标记物进行识别。其中，该传感器装置具有采集标记物的图像功能，可以为光传感器(如，红外光接收器，用于接收能够反射红外光的标记物反射的红外光)等。在另一些实施方式中，也可以通过调整终端设备在现实空间中的空间位置，或者调整交互装置在现实空间中的空间位置，以使该交互装置的标记物处于传感器装置的感应范围内，从而使终端设备可以对该标记物进行图像采集和图像识别。其中，传感器装置的感应范围可以由灵敏度大小决定。进一步地，交互装置上设有多个标记物时，终端设备可将交互装置处于传感器装置的感应范围内的标记物作为目标标记物，其中，该目标标记物可以为交互装置的所有标记物，也可以为交互装置的部分标记物。

在另一些实施方式中，交互装置还可以包括惯性测量传感器，惯性测量传感器包括惯性测量单元(Inertial measurement unit，IMU)。IMU可以检测交互装置的六自由度信息，也可以仅检测交互装置的三自由度信息。其中，三自由度信息可包括交互装置沿空间中三个直角坐标轴(X、Y、Z轴)的转动自由度，六自由度信息可包括交互装置沿空间中三个直角坐标轴的移动自由度和转动自由度，上述三个直角坐标轴对应的移动自由度可构成交互装置的位置信息，对应的转动自由度可构成交互装置的姿态信息。因此，终端设备可以通过接收交互装置发送的上述惯性测量传感器的感应数据，来得到IMU检测到的交互装置的姿态信息或者检测到的位置及姿态信息，进而获取到交互装置与终端设备之间的相对空间位置关系。

进一步地，为精确地获取到交互装置的位置及姿态信息，终端设备可以获取包含交互装置的图像以及惯性测量传感器的感应数据，以根据图像的识别数据和IMU的检测数据，得到交互装置的位置及姿态信息(也即6DoF信息)。

步骤S230：基于6DoF信息，获取目标对象的目标区域，目标区域为交互装置选择的区域。

在本申请实施例中，目标对象可以包括终端设备显示的虚拟对象以及现实空间中的实体对象中的至少一种。其中，终端设备显示的虚拟对象可以指的是通过终端设备的镜片投射到人眼的三维虚拟对象，此时，用户透过终端设备的镜片可以查看虚拟对象以及镜片前的现实空间场景，因此，用户所观察到的是叠加显示于现实空间的虚拟对象，如虚拟人体、虚拟动物、虚拟房屋等。或者，终端设备显示的虚拟对象可以是终端设备利用混合现实的显示技术(如全息投影技术)所显示的虚拟对象，此时，通过终端设备可以查看叠加显示于现实空间的虚拟对象，如虚拟人体、虚拟动物、虚拟房屋等。现实空间中的实体对象可以是车辆、书、海报、移动终端、人、动物等任一真实存在的物理实体。

在一些实施方式中，可以通过实时获取交互装置的6DoF信息，并根据目标对象的显示位置，确定目标对象中被选择的目标区域，进而实现根据交互装置的6DoF信息实现对目标区域的选择。该目标区域为交互装置与目标对象相对时，目标对象中被交互装置所指向的区域，可与交互装置的6DoF信息对应。该目标区域可以根据用户的意愿进行确定，也就是说，用户可以通过改变交互装置的位置及姿态信息，来确定目标对象中被选中的目标区域。在一些实施方式中，终端设备获取交互装置的6DoF信息，可以参照上述获取交互装置的6DoF信息的方式，在此不再赘述。

可以理解的是，交互装置指向的方向与交互装置所在的平面之间的角度固定，当终端设备获取到交互装置的6DoF信息时，可得到交互装置的空间位置信息，因此，可以根据指向的方向与交互装置的角度固定关系以及交互装置的空间位置信息，得到交互装置当前所指向的方向，从而可以根据目标对象的显示位置以及交互装置当前所指向的方向，得到目标对象中被选择的目标区域。

在一些实施例中，具体而言，请参阅图8，步骤S230可以包括步骤S231a～S232a。

步骤S231a：根据6DoF信息及第一空间位置关系生成虚拟路径。

其中，第一空间位置关系为虚拟路径与交互装置之间的空间位置关系，虚拟路径用于表示交互装置的指示方向。因此，终端设备可以通过交互装置的虚拟路径获取目标对象中被选择的目标区域。具体地，终端设备可以根据第一空间位置关系和交互装置的6DoF信息，生成虚拟路径并进行显示，然后根据显示的虚拟路径和目标对象的显示位置，确定目标对象中与虚拟路径相交的相交区域，并将相交区域作为目标对象中被选择的目标区域。

作为一种实施方式，第一空间位置信息可以为预设的空间位置信息，预设的空间位置信息用于确定虚拟路径与交互装置的指定位置，例如，交互装置相对于虚拟路径的位置。此时，交互装置指向的方向为虚拟路径的指引方向。在本申请实施例中，虚拟路径可以为自交互装置发射出的虚拟射线，虚拟射线以交互装置上的一点为发射点，其朝向目标对象的指引方向遵循预设的第一空间位置。其中，该发射点可以为虚拟射线与交互装置叠加显示的点。在一些实施方式中，虚拟路径的指引方向可以与交互装置的平面平行，也可是一定角度，如斜上方45°，在此不作限定。可选地，虚拟路径还可以为虚拟曲线，该虚拟曲线的指引方向可根据曲线的曲率的方向和大小进行变化。在其他实施例中，虚拟路径还可以是虚拟键头、虚拟指示标记等，虚拟路径的形式在本申请实施例中不作限定，只需虚拟路径的移动与交互装置的6DoF信息的变化对应即可。

在一些实施方式中，可以根据交互装置接收的触控指令，调整虚拟路径的指向或形状。例如，可以获取交互装置接收的触控指令，根据该触控指令调整第一空间位置关系，并根据调整后的第一空间位置关系以及6DoF信息生成虚拟路径。具体地，触控指令可以改变虚拟路径在交互装置上叠加显示的点的位置，也可以改变虚拟路径的指引方向。例如，请参阅图9，可以根据用户的操作动作改变虚拟路径与交互装置之间的相对夹角，从而改变虚拟路径的指引方向，将指引方向为A的虚拟路径调整为指引方向为B的虚拟路径。

在一些实施方式中，通过交互装置的6DoF信息，可以以终端设备为基准点，建立虚拟空间坐标系，并得到交互装置在虚拟空间坐标系中的空间位置坐标，再根据该空间位置坐标渲染虚拟路径。终端设备渲染出虚拟路径后，可对虚拟路径进行显示。用户通过头戴显示装置的显示镜片，可以看到虚拟路径叠加显示在真实世界中的交互装置上，实现增强现实的效果。

终端设备可以根据目标对象的显示位置以及显示的虚拟路径，获取目标对象中与虚拟路径相交的相交区域，并将相交区域作为目标对象中被选择的目标区域。在一些实施方式中，上述获取目标对象中与虚拟路径相交的相交区域，可以是获取目标对象中与虚拟路径的坐标相同的坐标点区域，该坐标点区域可直接作为上述相交区域，也可以是根据坐标点区域获取到对应的目标对象所在的区域，将该目标对象所在的区域作为相交区域，即作为目标对象中被选择的目标区域。其中，根据坐标点区域获取到对应的目标对象所在的区域，可以是根据坐标点区域获取距离最近的目标对象所在的区域。这样，用户改变虚拟路径的显示位置，使显示的虚拟路径可以与想选择的目标区域相交，从而可以在目标对象中准确选择目标区域。

步骤S232a：确定虚拟路径指向的目标对象的区域为目标区域。

在本申请实施例中，目标对象划分为多个区域，对于区域的划分可以根据空间位置进行划分，例如划分为上下左右四个区域；也可以根据目标对象的本身结构进行划分，例如，请参阅图9，虚拟对象为汽车400时，汽车400所划分的区域可以包括：前轮430、后轮450、后视镜470和车前灯490等多个区域，在此仅举例说明。

进一步地，虚拟路径的指引方向自交互装置指向目标对象，并与目标对象相交。其中，若虚拟路径与目标对象的表面相交为一点，则确定该点所在的区域为目标对象的目标区域。

在另一些实施例中，请参阅图10，目标区域为交互装置遮挡的区域，也即，根据6DoF信息，确定目标对象被交互装置遮挡的区域为目标区域。请参阅图11，具体而言，步骤230还包括步骤S231b～S233b。此时，步骤S231a～S232a可以省略，即步骤S231b～S233b可以为步骤S231a～S232a的替代方案。

步骤S231b：基于6DoF信息，获取交互装置与目标对象的第一相对位置关系。

在本申请实施例中，可以基于同一空间坐标系，以虚拟空间坐标系为例，分别获取交互装置和目标对象的空间坐标，再根据交互装置和目标对象的空间坐标，确定交互装置与目标对象的第一相对位置关系。其中，交互装置与目标对象的第一相对位置关系可以是交互装置与实体对象的相对位置关系，也可以是交互装置与虚拟对象的相对位置关系。

具体地，终端设备通过识别交互装置的标记物，可以得到交互装置相对终端设备的6DoF信息，因此，终端设备可以获取到现实空间中的交互装置的空间位置坐标，并将该空间位置坐标转换为虚拟空间坐标系中的空间坐标。在一些实施方式中，交互装置的空间坐标可以是交互装置在虚拟空间坐标系中，以指定的点(如，虚拟摄像头，也可看作是以人眼所在点)为原点的三维空间坐标。同理，终端设备也根据目标对象与终端设备之间的位置关系，得到目标对象在虚拟空间坐标系中的空间坐标。可以理解的是，虚拟空间坐标系的原点也可以为虚拟空间中的任意一点，基于该点建立空间坐标系，并获取同一空间坐标系中交互装置和目标对象的三维空间坐标。该空间坐标系也可以是现实空间的空间坐标系等，在此不作限定。

在一些实施方式中，若目标对象为终端设备已经显示在虚拟空间坐标系中的虚拟对象时，终端设备可以直接获取到虚拟空间坐标系中虚拟对象与终端设备的之间的第二相对位置关系。终端设备可以根据交互装置相对终端设备的位置及姿态信息，获取到现实空间中的交互装置的空间位置坐标，并将该空间位置坐标转换为虚拟空间坐标系中的空间坐标。终端设备可根据虚拟空间坐标系中虚拟对象与终端设备的之间的第二相对位置关系及交互装置在虚拟空间坐标系的空间坐标，以终端设备作为参照，则可以获取到虚拟空间坐标系中交互装置与虚拟对象的第一相对位置关系。

在一些实施例中，若目标对象为现实空间中的实体对象时，终端设备需要获取实体对象的空间位置信息，以得到交互装置与实体对象的第一相对位置关系。具体地，终端设备可以通过识别实体对象，以得到实体对象的识别结果，该识别结果至少包括实体对象的形状、大小、实体对象相对终端设备的空间位置关系，从而终端设备可以获取到实体对象与终端设备的第二相对位置关系。其中，第二相对位置关系可以包括实体对象相对终端设备的位置、旋转方向、旋转角度等。

可选地，终端设备获取实体对象相对终端设备的位置关系时，可以通过图像采集装置(如景深摄像头等立体摄像头)采集包含实体对象的图像，然后再对该图像中的实体对象进行识别。在一个实施例中，终端设备采集包含实体对象的图像，可将该图像上传至服务器，服务器对图像中的实体对象进行识别后，可将识别结果返回给终端设备。

或者，终端设备获取实体对象相对终端设备的位置关系，也可以通过识别实体对象上设置的标记物(如在实体对象上粘贴、打印的标记物等)，获取实体对象相对终端设备的位置关系。进一步地，终端设备识别实体对象后，还可以得到实体对象的详细信息(如名称、类别、颜色、图案等)，也就是说，终端设备在识别实体对象或者识别包含有实体对象的图像之后，可以得到实体对象相对终端设备的位置关系，以及实体对象的详细信息。

由于终端设备识别实体对象得到的识别结果包括实体对象相对终端设备的位置关系，因此，终端设备可以根据交互装置相对终端设备的位置及姿态信息，并结合实体对象相对终端设备的位置关系，进而得到交互装置和实体对象的第一相对位置关系。具体地例如，以终端设备为原点，建立一个空间坐标系，基于交互装置相对终端设备的位置信息获取交互装置的空间坐标，基于实体对象相对于终端设备的位置信息获取实体对象的空间坐标。因此，可以获取虚拟空间坐标系中交互装置与实体对象的第一相对位置关系。其中，上述第一相对位置关系可以是交互装置与实体对象在虚拟空间坐标系中的相对位置关系，也可以是用户通过头戴显示设备看到的交互装置与实体对象在现实世界中的相对位置关系。

步骤S232b：基于第一相对位置关系，确定目标对象被交互装置遮挡的遮挡区域。

由于步骤S231b已经将交互装置和目标对象置于同一空间坐标系中，因此，将交互装置各点的空间坐标与目标对象各点的空间坐标进行比对，确定目标对象中与交互装置具有至少两个坐标值重合的点，并将具有至少两个坐标值重合的点的空间坐标归入遮挡坐标集。进一步地，若存在遮挡坐标集，则可确定交互装置与目标对象之间存在遮挡，并将遮挡坐标集对应的区域确定为遮挡区域。例如，假设以终端设备为原点建立的空间坐标系为XYZ空间坐标系，其中，若以Z轴表示深度值，判断遮挡坐标集中是否存在X、Y两个坐标值重合的点，当遮挡坐标集中存在X、Y两个坐标值重合的点，则可以确定交互装置与目标对象存在遮挡。此时，交互装置和目标对象在X-Y平面存在遮挡区域。此时，交互装置所指向的方向为遮挡区域所在方向。

进一步地，通过遮挡坐标集中交互装置与目标对象之间的深度关系，确定交互装置与目标对象之间具体的遮挡关系，如确定交互装置遮挡了目标对象、目标对象遮挡了交互装置等。例如，若以Z轴为深度值，获取遮挡坐标集中交互装置和目标对象的X、Y值相等的点，比对交互装置和目标对象在X、Y值相等的点的坐标的Z值大小，可以确定遮挡区域与目标对象之间的深度关系。例如，当交互装置的点A(X1,Y1,Z1)在遮挡坐标集内，目标对象的点B(X2,Y2，Z2)在遮挡坐标集内，若X1＝X2,Y1＝Y2,则认为点B和点A在Z轴的深度方向上具备遮挡关系，此时，通过比较Z1和Z2之间的大小，则能确定交互装置与目标对象之间具体的遮挡关系，如若Z2大于Z1，则确定交互装置遮挡了目标对象，若Z2小于Z1，目标对象遮挡了交互装置等。

进一步地，终端设备还可根据上述交互装置相对终端设备的位置及姿态信息，获取到交互装置的深度值，其中，深度值为物体与终端设备在深度上的距离值，也可以理解为物体距离终端设备的远近状态。终端设备也可根据目标对象与终端设备之间的位置关系，获取到目标对象的深度值，然后对交互装置与目标对象进行深度值比较，获取交互装置与目标对象之间的深度关系。从而终端设备可以根据深度关系确定交互装置与目标对象之间的遮挡关系，通常比较远的对象容易被比较近的对象遮挡。在一些实施方式中，当目标对象的深度值大于交互装置的深度值，则可认为是交互装置遮挡了目标对象。同理，若交互装置的深度值大于目标对象的深度值，则可认为是目标对象遮挡了交互装置。当然，物体之间相互遮挡关系计算的方法还可以是其他方式，例如：交叉检验、深度测算等，在此不作限定。

步骤S233b：将遮挡区域确定为目标区域。

在本申请实施例中，终端设备获取到目标对象被交互装置遮挡的遮挡区域后，可将该遮挡区域确定为目标区域。

需要说明的是，在一些实施例中，步骤S230可以同时包括步骤S231a～S232a和步骤S231b～S233b，以供用户选择合适的方案对目标对象的目标区域进行获取，提供了对目标区域的获取的多种可能方式，提高了用户与显示内容之间的交互性。

步骤S240：确定目标区域对应的内容数据。

在本实施例中，目标区域对应的内容数据可以包括目标区域对应的目标对象的三维结构信息，其中，三维结构信息至少包括目标对象在目标区域中的外部结构信息和内部结构信息。

具体地，外部结构信息可以为该目标对象在目标区域中的外观信息，如线条、形状、颜色、大小等，内部结构信息可以为该目标对象在目标区域中的内部结构信息，如填充物、内部架构等。例如，若目标对象为图12所示的汽车400，其目标区域为目标区域410(虚线框部分)，此时获取到的外部结构信息为汽车400位于目标区域410中的外部轮廓(如前轮、车灯、引擎盖等)，内部结构信息为汽车400在目标区域410的内部结构，如发动机、变速器、保险杠等机械架构。

步骤S250：根据6DoF信息及内容数据生成虚拟内容。

在本申请实施例中，虚拟内容为包括内容数据(如，三维结构信息)形成不同层次的信息。不同层次的信息可以根据内容数据与交互装置的相对位置关系进行分层，也即根据获取的内容数据与6DoF信息的对应关系进行分层。

具体地，由于终端设备已经获取交互装置的6DoF信息，也即交互装置相对终端设备的位置及姿态信息。因此，以终端设备为基准建立虚拟空间坐标系，其中，终端设备可以获取到现实空间中的交互装置的空间位置坐标，将该空间位置坐标转换为虚拟空间坐标系中的空间坐标。在虚拟空间坐标系中，以虚拟摄像头作为原点，根据目标区域内各部分结构(如，外部结构和内部结构)与交互装置的位置关系，则可以获取到目标区域内各部分结构相对虚拟摄像头的空间位置，从将获取到目标区域内各部分结构在虚拟空间坐标系中的空间位置坐标。最后，根据交互装置的空间位置坐标和目标区域内各部分结构的空间位置坐标，可以采集交互装置相对目标区域内各部分结构的相对位置关系信息。

进一步地，根据目标区域内各部分结构与交互装置的相对位置关系(如深度信息)，对内容数据进行分层。其中，深度信息用于表示目标区域内各部分结构相对交互装置的远近距离。例如，根据深度信息，至少可以将获取到的目标区域内各部分结构的内容数据分为外部结构信息和内部结构信息这两个不同的层次的信息，其中一个层次的信息用于表示外部结构信息，另一个层次的信息用于表示内部结构的信息。在一些实施方式中，也可以通过多个层次的信息来表示外部结构信息和内部结构信息。

步骤S260：显示虚拟内容。

进一步地，若以三维模型界面显示虚拟内容的不同层次的信息，其中，不同层次信息主要呈现为对三维模型进行拆解，例如将三维模型拆分成外轮廓和内结构的形式。在另一些实施方式中，若以二维图像界面显示虚拟内容的不同层次的信息，其中，不同层次信息主要呈现为可以对二维图像进行切换，例如通过不同的图像界面显示目标对象于目标区域的外轮廓和内结构信息。

作为一种实施方式，若基于交互装置的6DoF信息生成虚拟显示区，终端设备生成的虚拟内容显示于该虚拟显示区。进一步地，该虚拟显示区与交互装置的第二相对位置关系，可以根据用户的观看习惯进行调节，以便于用户的使用。此时，步骤S260可以包括，基于交互装置的6DoF信息生成虚拟显示区，根据用户调节指令确定虚拟显示区与交互装置的空间相对位置关系，呈现虚拟显示区并将虚拟内容显示于该虚拟显示区。

在本申请实施例中，由于虚拟内容包括不同层次的信息，用户可以通过浏览所显示的不同层次的信息，进而对目标区域的目标对象有更清晰的认识。所以，为了呈现出不同层次的信息，显示虚拟内容之后还可以包括步骤S261。

步骤S261：接收交互装置发送的第二显示指令，并根据第二显示指令显示对应层次的信息。

其中，第二显示指令与用户的操作动作相对应，第二显示指令包括但不限于切换下一层次信息的指令、切换上一层次信息的指令以及切换任意层次信息的指令。以切换任意层次信息的指令为例，若当前显示界面具有标记当前层次信息的编号的区域，用户可以通过输入待切换的层次信息的编号，进而发送切换任意层次信息的指令，以将当前显示界面切换成包含所输入的待切换的层次信息的界面。

步骤S270：接收交互装置发送的操作指令。

在本申请实施例中，交互装置发送的操作指令，其基于用户在交互装置输入的操作动作，如点击、滑动、多点触控等操作动作。也即，交互装置还可以检测在交互装置的不同操作动作参数(如触控位置参数、触控次数参数)，发送不通过的操作指令。其中，交互装置将用户的操作动作信息转换为操作指令，并将该操作指令发送至终端设备。步骤S280：基于操作指令，确定对应的内容处理指令。

终端设备接收到交互装置发送的操作指令之后，根据预定的数据分析和数据处理，确定对应的内容处理指令。其中，内容处理指令的种类至少包括缩放、修改、标记、移动、旋转等指令。

进一步地，在一些实施方式中，根据不同的虚拟内容，同一个操作指令可以对应于不同的内容处理指令，则接收到交互装置发送的操作指令后，根据当前显示的虚拟内容以及操作指令，生成与该操控指令对应的内容处理指令。例如，同样为选取并滑动的操作指令，选取对象为汽车时，内容处理指令为对汽车进行拖动；选取对象为车灯时，内容处理指令为对车灯的亮度进行调节。

步骤S290：根据内容处理指令对虚拟内容进行处理，并生成相应的处理内容。

请参阅图13，在一些实施方式中，在终端设备显示虚拟内容时，当获取用户在交互装置输入的操作指令为单指按住并拖动虚拟图像时，生成移动虚拟内容的内容处理指令，例如，该内容处理指令为控制终端设备将当前显示的汽车向左或向右移动。

请参阅图14，在一些实施方式中，在终端设备显示虚拟内容时，当获取用户在交互装置输入的操作指令为双指的距离相对收缩合并时，生成缩小当前显示的虚拟内容的内容处理指令，该内容处理指令为控制终端设备将当前显示的汽车相对于用户的视角缩小。若获取用户在交互装置输入的操作指令为双指的距离相对扩大远离时，生成放大当前显示的虚拟内容的内容处理指令，该内容处理指令为控制终端设备将当前显示的汽车相对于用户的视角放大。

请参阅图15，在一些实施方式中，在终端设备显示虚拟内容时，当获取用户在交互装置输入的操作指令为对某一虚拟内容进行双击或多次点击时，生成修改或标记虚拟内容的内容处理指令，例如该内容处理指令为控制终端设备在选中的虚拟内容周围生成数据框或文本框，再进一步检测用户的操作以对数据框进行参数修改或对文本框进行文字输入。其中，数据框内的数据可以为虚拟内容相关的参数，如生产日期、使用时间、生产厂家等。

步骤S300：获取目标区域相对终端设备的第二空间位置关系，并根据第二空间位置关系将处理内容叠加显示至目标区域。

其中，若目标对象为虚拟对象，第二空间位置关系可以从虚拟空间坐标系中直接得出，并根据第二空间位置关系将对目标区域的虚拟内容的处理内容叠加至目标区域。

若目标对象为实体对象，第二空间位置关系可以由终端设备对实体对象的识别来获取。可选地，可以获取终端设备与实体对象之间的第二相对位置关系，并根据目标区域在实体对象的位置得到目标区域相对终端设备的第二空间位置关系。进一步地，再根据第二空间位置关系将对目标区域的虚拟内容的处理内容叠加至实体对象的目标区域。

在本申请实施例中，以标记虚拟内容的内容处理指令为例，目标对象为虚拟对象或实体对象，用户均可以通过终端设备观察到对虚拟内容进行标记的内容。相应地，根据修改、移动、旋转等内容指令对虚拟内容进行处理，也根据第二空间位置关系将处理的内容叠加至目标区域，可以通过终端设备观察到目标区域的虚拟内容的修改、移动、旋转等变化。例如，请一并参阅图14和图16,当该内容处理指令为生成缩小当前显示的虚拟内容时，显示于交互装置的虚拟内容缩小(如图14所示)，同时，目标区域的目标对象也随之缩小(如图16所示)。

另外，由于上述步骤中，虚拟内容可以包括用户操作界面(User Interface，UI)，内容处理指令可以为对UI信息的修改指令，所以终端设备可以将实体对象的相关数据(如UI数据)进行增强现实显示以实现与现实物体的交互。通过上述对虚拟内容的控制方式，终端设备可以进一步对实体对象对应的虚拟内容进行操作，以实现与现实物体的进一步交互。

在一些实施方式中，上述实体对象为智能家居设备时，终端设备还可以通过交互装置设定智能家居设备的状态，从而用户可通过交互装置与智能家居设备进行交互。具体地，可以将智能家居设备作为目标对象，终端设备可以获取智能家居设备的目标区域对应的虚拟内容，并根据对该虚拟内容进行的内容处理，生成执行指令，将执行指令传输至智能家居设备，执行指令用于指示智能家居设备执行设定操作。

在一些实施方式中，终端设备可以对智能家居设备进行识别，以在虚拟空间中显示该智能家居设备的虚拟交互界面(虚拟UI)，进而用户可以通过对交互设备输入的操作动作，对虚拟交互界面中的不同的虚拟内容进行选择，以设定智能家居设备的状态或控制智能家居设备。其中，虚拟交互界面可以叠加显示于交互装置上，或叠加显示在智能家居设备上。在一些实施方式中，终端设备显示出智能家居设备的虚拟交互界面时，可以通过交互装置对该虚拟交互界面实现操作。其中，该虚拟内容为显示的虚拟交互界面中的一部分。例如，请参阅图17，终端设备显示出的虚拟内容900为智能台灯的虚拟控制界面，目标区域910为亮度选项，与目标区域910对应的虚拟内容为具体的亮度值。

在一些实施方式中，终端设备可以根据处理内容对智能家居设备的状态进行调整。具体地，终端设备可根据目标区域对应的处理内容(如，对UI信息的修改内容)，生成对应的执行指令，该执行指令用于将智能家居设备的状态调整为与虚拟内容对应的状态。例如，处理内容为亮度50时，终端设备可生成调整智能台灯亮度为50的执行指令。在一些实施方式中，处理内容可与执行指令对应，也就是说，当终端设备获取到交互装置的处理内容时，可根据处理内容与执行指令的对应关系，生成与处理内容对应的执行指令。其中，处理内容与执行指令的对应关系可存储于终端设备中，也可以从服务器中去获取。

终端设备在生成上述执行指令后，可以将该执行指令传输至智能家居设备，该执行指令用于指示智能家居设备执行设定操作。智能家居设备接收到该执行指令时，可以根据该执行指令进行设定操作，以将当前的状态调整为用户所设定的状态，即上述与处理内容对应的状态。从而实现了交互装置与智能家居设备之间的交互，提高了交互装置与智能家居的交互水平。

本申请实施例提供的虚拟内容的处理方法，通过根据交互装置的6DoF信息确定目标对象的目标区域，并采集目标区域的内容数据，然后根据6DoF信息和内容数据生成并显示相应的虚拟内容，根据接收的内容处理指令对虚拟内容进行处理，最后通过获取目标区域相对终端设备的第二空间位置关系，并根据第二空间位置关系将处理内容叠加显示至目标区域。从而使用户可以通过交互装置的6DoF信息选取需要进行处理的虚拟内容，并直接通过交互装置对该虚拟内容进行处理，，同时将处理的内容叠加显示至目标区域，可以提高用户与显示的虚拟内容之间的交互性，提高沉浸感。

请参阅图18，其示出了本申请实施例提供的一种虚拟内容的处理装置500的结构框图，应用于终端设备，用以执行上述的虚拟内容的处理方法。虚拟内容的处理装置500可以包括：信息确定模块510、区域确定模块520、数据获取模块530、内容生成模块540、内容显示模块550以及内容处理模块560。可以理解的是，上述各模块可以为运行于计算机可读存储介质中的程序模块，上述各个模块的用途及工作具体如下：信息确定模块510用于根据采集的标记物图像，确定交互装置的六自由度(6DoF)信息，标记物图像包含有设于交互装置的标记物；区域确定模块520用于基于6DoF信息，获取目标对象的目标区域，目标区域为交互装置选择的区域；数据获取模块530用于获取目标区域对应的内容数据；内容生成模块540用于根据6DoF信息及内容数据生成虚拟内容；内容显示模块550用于显示虚拟内容；以及内容处理模块560用于接收交互装置发送的控制数据，根据控制数据生成对应的内容处理指令，根据内容处理指令对虚拟内容进行处理。

在一些实施方式中，区域确定模块520还包括虚拟路径单元521和遮挡判断单元523。其中，虚拟路径单元521用于基于6DoF信息生成虚拟路径，虚拟路径为自交互装置指向目标对象的路径，并确定虚拟路径所指向的目标对象的区域为目标区域。遮挡判断单元523用于基于6DoF信息，获取交互装置与目标对象的第一相对位置关系，再基于第一相对位置关系，确定目标对象述交互装置遮挡的遮挡区域，并将遮挡区域确定为目标区域。

在一些实施方式中，内容处理模块560还包括操作指令接收单元561、内容处理指令确定单元563、生成处理内容单元565和叠加处理内容单元567。其中操作指令接收单元561用于接收交互装置发送的操作指令。内容处理指令确定单元563用于基于操作指令，确定对应的内容处理指令。生成处理单元内容单元565用于根据内容处理指令对虚拟内容进行处理，并生成相应的处理内容。叠加处理内容单元567用于获取目标区域相对终端设备的第二空间位置关系，并根据第二空间位置关系将处理内容叠加显示至目标区域。

在另一些实施方式中，若目标对象为虚拟对象时，处理装置500还包括物体显示模块570，物体显示模块570用于将虚拟对象显示至显示区域。具体地，物体显示模块570还包括显示区域确定单元571、第一显示指令接收单元573和指令执行单元575。其中，显示区域确定单元571用于确定显示区域。显示区域确定单元571可以包括：获取包含显示标记物的图像；识别图像中的显示标记物，并获取显示标记物与终端设备之间的相对空间位置关系；基于相对空间位置关系，确定显示区域。第一显示指令接收单元573用于接收交互装置发送的第一显示指令。指令执行单元575用于基于第一显示指令，按照预设的显示效果将虚拟对象显示于显示区域。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，所显示或讨论的模块相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

综上，本申请实施例提供的一种虚拟内容的处理方法及装置，应用于终端设备，通过根据交互装置的6DoF信息确定目标对象的目标区域，并采集目标区域的内容数据，然后根据6DoF信息和内容数据生成并显示相应的虚拟内容，根据接收的内容处理指令对虚拟内容进行处理，最后通过获取目标区域相对终端设备的第二空间位置关系，并根据第二空间位置关系将处理内容叠加显示至目标区域。从而使用户可以通过交互装置的6DoF信息对显示的虚拟内容进行处理，同时该处理内容可以叠加显示至目标区域，可以提高用户与显示的虚拟内容之间的交互性，提高沉浸感。

请参阅图19，其示出了本申请实施例提供的一种终端设备的结构框图。该终端设备100可以是智能手机、平板电脑、头戴显示装置等能够运行应用程序的终端设备。本申请中的终端设备100可以包括一个或多个如下部件：处理器110、存储器120、图像采集装置130以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。

处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个终端设备100内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行终端设备100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作***、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。

存储器120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作***的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端设备100在使用中所创建的数据等。

在本申请实施例中，图像采集装置130用于采集目标对象的图像以及采集目标场景的场景图像。图像采集装置130可以为红外摄像头，也可以是彩色摄像头，具体的摄像头类型在本申请实施例中并不作为限定。

请参阅图20，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质800中存储有程序代码，程序代码可被处理器调用执行上述方法实施例中所描述的方法。该计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质800包括非易失性计算机可读介质(non-transitory computer-readable storagemedium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (11)

1.一种虚拟内容的处理方法，应用于终端设备，其特征在于，包括：

根据采集的标记物图像，确定交互装置的六自由度(6DoF)信息，所述标记物图像包含有设于所述交互装置的标记物；

基于所述6DoF信息，获取目标对象的目标区域，所述目标区域为所述交互装置选择的区域；

获取所述目标区域对应的内容数据；

根据所述6DoF信息及内容数据生成虚拟内容；

显示所述虚拟内容；以及

接收所述交互装置发送的控制数据，根据所述控制数据生成对应的内容处理指令，根据所述内容处理指令对所述虚拟内容进行处理。

2.如权利要求1所述的方法，其特征在于，所述基于所述6DoF信息，获取目标对象的目标区域，包括：

根据所述6DoF信息及第一空间位置关系生成虚拟路径，所述第一空间位置关系为所述虚拟路径与所述交互装置之间的空间位置关系，所述虚拟路径用于表示所述交互装置的指示方向；

确定所述虚拟路径指向的所述目标对象的区域为目标区域。

3.根据权利要求2所述的方法，其特征在于，在所述根据所述6DoF信息及第一空间位置关系生成虚拟路径之后，还包括：

获取所述交互装置接收的触控命令；以及

根据所述触控命令，调整第一空间位置关系，并根据调整后的第一空间位置关系及所述6DoF信息生成所述虚拟路径。

4.如权利要求1所述的方法，其特征在于，所述基于所述6DoF信息，获取目标对象的目标区域，包括：

基于所述6DoF信息，获取所述交互装置与所述目标对象的相对位置关系；

基于所述相对位置关系，确定所述目标对象被所述交互装置遮挡的遮挡区域；以及

将所述遮挡区域确定为所述目标区域。

5.如权利要求4所述的方法，其特征在于，所述获取所述交互装置与所述目标对象的相对位置关系，包括：

基于同一空间坐标系，分别获取所述交互装置和所述目标对象的空间坐标；以及

根据所述交互装置和所述目标对象的空间坐标，确定所述交互装置与所述目标对象的相对位置关系；

所述确定所述目标对象被所述交互装置遮挡的遮挡区域，包括：

获取所述空间坐标系中，所述交互装置各点的空间坐标与所述目标对象各点的空间坐标，

将所述交互装置各点的空间坐标与所述目标对象各点的空间坐标进行比对，确定所述目标对象中，与所述交互装置具有至少两个坐标值重合的点，并将所述具有至少两个坐标值重合的点的空间坐标归入遮挡坐标集；以及

将所述遮挡坐标集对应的区域确定为遮挡区域。

6.如权利要求1所述的方法，其特征在于，所述目标对象为所述终端设备显示的虚拟对象，在所述确定目标对象的目标区域之前，包括：

确定所述虚拟对象在真实环境中的叠加位置；

接收所述交互装置发送的第一显示指令；

基于所述第一显示指令，按照预设的显示效果显示所述虚拟对象，所述虚拟对象的显示位置与所述叠加位置相对应。

7.如权利要求1～6中任一项所述的方法，其特征在于，所述内容数据包括所述目标区域对应的所述目标对象的三维结构信息，所述三维结构信息至少包括所述目标对象在所述目标区域中的外部结构信息和内部结构信息；

根据所述6DoF信息及内容数据生成虚拟内容，包括：

根据所述6DoF信息和三维结构信息，生成虚拟内容，所述虚拟内容包括所述三维结构信息形成的不同层次的信息；

所述显示所述虚拟内容，包括：

接收所述交互装置发送的第二显示指令，并根据所述第二显示指令显示对应层次的信息。

8.如权利要求1～6中任一项所述的方法，其特征在于，所述接收所述交互装置发送的控制数据，根据所述控制数据生成对应的内容处理指令，根据所述内容处理指令对所述虚拟内容进行处理，包括：

接收所述交互装置发送的操作指令；

基于所述操作指令，确定对应的内容处理指令；

根据所述内容处理指令对所述虚拟内容进行处理，并生成相应的处理内容；以及

获取所述目标区域相对所述终端设备的第二空间位置关系，并根据所述第二空间位置关系将所述处理内容叠加显示至所述目标区域。

9.一种虚拟内容的处理装置，其特征在于，所述装置包括：

信息确定模块，用于根据采集的标记物图像，确定交互装置的六自由度(6DoF)信息，所述标记物图像包含有设于所述交互装置的标记物；

区域确定模块，用于基于所述6DoF信息，获取目标对象的目标区域，所述目标区域为所述交互装置选择的区域；

数据确定模块，用于获取所述目标区域对应的内容数据；

内容生成模块，用于根据所述6DoF信息及内容数据生成虚拟内容；

内容显示模块，用于显示所述虚拟内容；以及

内容处理模块，用于接收所述交互装置发送的控制数据，根据所述控制数据生成对应的内容处理指令，根据所述内容处理指令对所述虚拟内容进行处理。

10.一种终端设备，其特征在于，包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1～8中任一项所述的方法。

11.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1～8中任一项所述的方法。

Images