CN111913560B - 虚拟内容的显示方法、装置、***、终端设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种虚拟内容的显示方法、装置、***、终端设备及存储介质。该虚拟内容的显示方法应用于终端设备，终端设备与交互设备连接，该交互设备包括交互区域，该方法包括：接收交互设备发送的第一操作数据，第一操作数据为交互设备根据交互区域检测到的触控操作生成；当根据第一操作数据，确定出交互区域对应的至少部分显示内容被执行设定操作时，获取至少部分显示内容对应的内容数据；获取终端设备与交互设备之间的相对空间位置信息；基于相对空间位置信息以及内容数据，生成至少部分显示内容对应的虚拟扩展内容；显示虚拟扩展内容，虚拟扩展内容的显示区域与交互区域外的设定区域对应。本方法可以较好的实现显示内容的交互显示。

Description

虚拟内容的显示方法、装置、***、终端设备及存储介质

技术领域

本申请涉及显示技术领域，更具体地，涉及一种虚拟内容的显示方法、装置、***、终端设备及存储介质。

背景技术

近年来，随着科技的进步，增强现实(AR，Augmented Reality)等技术已逐渐成为国内外研究的热点，增强现实是通过计算机***提供的信息增加用户对现实世界感知的技术，其将计算机生成的虚拟对象、场景或***提示信息等内容对象叠加到真实场景中，来增强或修改对现实世界环境或表示现实世界环境的数据的感知。在增强现实的显示技术中，显示内容的交互显示是增强现实技术中的重点研究方向。

发明内容

本申请实施例提出了一种虚拟内容的显示方法、装置、***、终端设备及存储介质，能较好实现显示内容的交互显示。

第一方面，本申请实施例提供了一种虚拟内容的显示方法，应用于终端设备，所述终端设备与交互设备连接，所述交互设备包括交互区域，所述方法包括：接收所述交互设备发送的第一操作数据，所述第一操作数据为所述交互设备根据所述交互区域检测到的触控操作生成；当根据所述第一操作数据，确定出所述交互区域对应的至少部分显示内容被执行设定操作时，获取所述至少部分显示内容对应的内容数据；获取所述终端设备与所述交互设备之间的相对空间位置信息；基于所述相对空间位置信息以及所述内容数据，生成所述至少部分显示内容对应的虚拟扩展内容；显示所述虚拟扩展内容，所述虚拟扩展内容的显示区域与所述交互区域外的设定区域对应。

第二方面，本申请实施例提供了一种虚拟内容的显示方法，应用于交互设备，所述交互设备与终端设备连接，所述交互设备包括交互区域，所述方法包括：所述交互设备的交互区域对触控操作进行检测；当所述交互设备根据所述交互区域检测到的触控操作，确定出所述交互区域显示的显示内容中至少部分显示内容被执行设定操作时，发送指示指令至所述终端设备，所述指示指令用于指示所述终端设备获取所述至少部分显示内容对应的内容数据，获取所述终端设备与所述交互设备之间的相对空间位置信息，基于所述相对空间位置信息以及所述内容数据，生成所述至少部分显示内容对应的虚拟扩展内容，显示所述虚拟扩展内容，所述虚拟扩展内容的显示区域与所述交互区域外的设定区域对应。

第三方面，本申请实施例提供了一种虚拟内容的显示装置，应用于终端设备，所述终端设备与交互设备连接，所述交互设备包括交互区域，所述装置包括：数据接收模块、数据获取模块、位置获取模块、内容生成模块以及内容显示模块，其中，所述数据接收模块用于接收所述交互设备发送的第一操作数据，所述第一操作数据为所述交互设备根据所述交互区域检测到的触控操作生成；所述数据获取模块用于当根据所述第一操作数据，确定出所述交互区域对应的至少部分显示内容被执行设定操作时，获取所述至少部分显示内容对应的内容数据；所述位置获取模块用于获取所述终端设备与所述交互设备之间的相对空间位置信息；所述内容生成模块用于基于所述相对空间位置信息以及所述内容数据，生成所述至少部分显示内容对应的虚拟扩展内容；所述内容显示模块用于显示所述虚拟扩展内容，所述虚拟扩展内容的显示区域与所述交互区域外的设定区域对应。

第四方面，本申请实施例提供了一种虚拟内容的交互***，所述***包括终端设备以及交互设备，所述终端设备与所述交互设备连接，所述交互设备包括交互区域，其中，所述交互设备用于根据所述交互区域检测到的触控操作生成操作数据，并将所述操作数据发送至所述终端设备；所述终端设备用于接收所述操作数据，根据所述操作数据，确定出所述交互区域对应的至少部分显示内容被执行设定操作时，获取所述至少部分显示内容对应的内容数据，获取所述终端设备与所述交互设备之间的相对空间位置信息，基于所述相对空间位置信息以及所述内容数据，生成所述至少部分显示内容对应的虚拟扩展内容，显示所述虚拟扩展内容，所述虚拟扩展内容的显示区域与所述交互区域外的设定区域对应。

第五方面，本申请实施例提供了一种终端设备，包括：一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述第一方面提供的虚拟内容的显示方法。

第六方面，本申请实施例提供了一种交互设备，包括：一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述第二方面提供的虚拟内容的显示方法。

第七方面，本申请实施例提供了一种存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述第一方面或者第二方面提供的虚拟内容的显示方法。

本申请提供的方案，可应用于终端设备，终端设备与交互设备连接，交互设备包括交互区域，终端设备通过接收交互设备发送的第一操作数据，第一操作数据为交互设备根据交互区域检测到的触控操作生成，当根据第一操作数据确定出交互区域对应的至少部分显示内被执行设定操作时，获取至少部分显示内容对应的内容数据，获取终端设备与交互设备之间的相对空间位置信息，然后基于相对空间位置信息以及内容数据，生成至少部分显示内容对应的虚拟扩展内容，并显示该虚拟扩展内容。从而实现根据交互设备检测到的对交互区域对应的显示内容的操作，将***作的显示内容对应的虚拟扩展内容显示于虚拟空间，使用户可以看到在虚拟扩展内容叠加于交互区域外的效果，较好实现了与交互区域对应的显示内容的交互显示。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了一种适用于本申请实施例的应用场景的示意图。

图2示出了根据本申请一个实施例的虚拟内容的显示方法流程图。

图3示出了根据本申请一个实施例提供的一种显示效果示意图。

图4示出了根据本申请一个实施例提供的另一种显示效果示意图。

图5示出了根据本申请一个实施例提供的又一种显示效果示意图。

图6示出了根据本申请一个实施例提供的再一种显示效果示意图。

图7示出了根据本申请另一个实施例的虚拟内容的显示方法流程图。

图8示出了根据本申请另一个实施例的虚拟内容的显示方法中步骤S220的一种流程图。

图9示出了根据本申请另一个实施例的虚拟内容的显示方法中步骤S220的另一种流程图。

图10示出了根据本申请另一个实施例的虚拟内容的显示方法中步骤S220的又一种流程图。

图11示出了根据本申请另一个实施例提供的一种显示效果示意图。

图12示出了根据本申请另一个实施例提供的另一种显示效果示意图。

图13示出了根据本申请另一个实施例提供的又一种显示效果示意图。

图14示出了根据本申请另一个实施例提供的再一种显示效果示意图。

图15示出了根据本申请又一个实施例的虚拟内容的显示方法流程图。

图16示出了根据本申请实施例提供的一种显示效果示意图。

图17示出了本申请实施例提供的虚拟内容的显示装置的结构框图。

图18示出了根据本申请再一个实施例的虚拟内容的显示方法流程图。

图19是本申请实施例的用于执行根据本申请实施例的虚拟内容的显示方法的终端设备的框图。

图20是本申请实施例的用于执行根据本申请实施例的虚拟内容的显示方法的交互设备的框图。

图21是本申请实施例的用于保存或者携带实现根据本申请实施例的虚拟内容的显示方法的程序代码的存储单元。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

目前，随着科技水平和生活水平的快速提升，移动终端(例如，智能手机、平板电脑等)被普及，由于移动终端具有体积小巧、方便携带等特点，受到大家的喜爱。移动终端在被用户使用时，通常会在触控屏幕显示内容，例如显示多媒体画面、应用界面、文件内容等。但是移动终端的屏幕大小是有限的，其显示的内容将受限于屏幕的大小。在用户需要利用移动终端查看较多的显示内容时，通常无法保证所有显示内容同时显示于屏幕中，使得显示的内容不够丰富，不够完整。

发明人经过长期研究，提出了本申请实施例中的虚拟内容的显示方法、装置、***、终端设备及存储介质，根据交互设备检测到的对交互区域对应的显示内容的操作，将***作的显示内容对应的虚拟扩展内容显示于虚拟空间，使用户可以看到在虚拟扩展内容叠加于交互区域外的效果，较好实现了与交互区域对应的显示内容的交互显示。

下面对本申请实施例提供的虚拟内容的显示方法的应用场景进行介绍。

请参见图1，示出了本申请实施例提供的虚拟内容的显示方法的应用场景的示意图，该应用场景包括虚拟内容的显示***10。该虚拟内容的显示***10包括：终端设备100以及交互设备200，其中，终端设备100与交互设备200连接。

在本申请实施例中，终端设备100可以是头戴显示装置，也可以是手机、平板等移动设备。终端设备100为头戴显示装置时，头戴显示装置可以为一体式头戴显示装置。终端设备100也可以是与外接式/接入式头戴显示装置连接的手机等智能终端，即终端设备100可作为头戴显示装置的处理和存储设备，***或者接入外接式头戴显示装置，在头戴显示装置中对虚拟内容进行显示。

在本申请实施例中，交互设备200可以是设置有标记物201的电子设备。设置于交互设备200上的标记物201的数量可以不作为限定，标记物201的数量可以为一个或者多个。交互设备200的具体形态结构不受限制，可以是各种形状的，例如正方形、圆形，也可以是各种形态的，例如平面平板形状的电子设备等。交互设备200可以为手机、平板等智能移动设备。

在一些实施例中，上述标记物201可以粘贴附着或集成于交互设备200上，也可以是设置在交互设备200的保护套上，还可以是外接式标记物，在使用时可以通过USB(Universal Serial Bus，通用串行总线)或耳机孔等***交互设备200。若交互设备200上设置有显示屏时，标记物201还可以显示于交互设备200的显示屏上。

终端设备100与交互设备200可以通过蓝牙、WiFi(Wireless-Fidelity，无线保真)、ZigBee(紫峰技术)等通信方式连接，也可以通过数据线等有线通信方式进行连接。当然，终端设备100与交互设备200的连接方式在本申请实施例中可以不作为限定。在一些实施例中，上述标记物201可以集成于交互设备200上，也可以粘贴附着于交互设备200上。

在终端设备100与交互设备200被共同使用时，可使标记物201位于终端设备100的视觉范围内，进而使得终端设备100可以采集到包含标记物201的图像，以对标记物201进行识别追踪，得到标记物201相对终端设备100的位置、姿态等空间位置信息，以及标记物201的身份信息等识别结果，进而得到交互设备200相对终端设备100的位置、姿态等空间位置信息，实现对交互设备200的定位追踪。终端设备100可根据与交互设备200之间的相对位置及姿态信息，显示相应的虚拟内容。

在一些实施方式中，标记物201为具有拓扑结构的图案，拓扑结构是指标记物中的子标记物和特征点等之间连通关系。

在一些实施方式中，标记物201还可以为光点式的标记，终端设备通过对光点追踪以相对位置、姿态等空间位置信息。在一个具体的实施方式中，可在交互设备200上设置光点和惯性测量单元(Inertial measurement unit，IMU)，终端设备可以通过图像传感器采集交互设备200上的光点图像，并通过惯性测量单元获取测量数据，根据该光点图像和测量数据即可确定交互设备200与终端设备100之间的相对空间位置信息，实现对交互设备200的定位及追踪。其中，交互设备200上设置的光点可以是可见光点或者红外光点，光点的数量可以是一个或者由多个光点组成的光点序列。

在一些实施例中，交互设备200上设有至少一个交互区域202，用户可以通过交互区域202进行相关控制和交互。其中，交互区域202可以包括按键、触控板或者触摸屏等。交互设备200可以通过交互区域202检测到的控制操作，生成与该控制操作对应的控制指令，进行相关控制。并且，交互设备200还可以将该控制指令发送给终端设备100，或者是交互设备200根据交互区域202检测到的操作，生成操作数据，将操作数据发送至终端设备100，当终端设备100接收到交互设备200发送的控制指令时，可根据控制指令控制虚拟内容的显示(例如控制虚拟内容旋转、位移等)。例如，终端设备100为头戴显示装置，用户可以通过佩戴的头戴显示装置，观察到文档内容301叠加显示于现实空间的交互设备200的交互区域202，并且，可以观察到与文档内容301相关的三维图片内容302以虚拟内容的形式显示于交互区域202外的位置，从而使用户可以在察看文档内容301的同时观看图片内容302，便于用户可以在通过交互设备200查看内容时，不受屏幕大小的限制，实现显示内容的交互显示。

下面对具体的虚拟内容的显示方法进行介绍。

请参阅图2，本申请实施例提供了一种虚拟内容的显示方法，可应用于终端设备，该方法可以包括：

步骤S110：接收交互设备发送的第一操作数据，第一操作数据为交互设备根据交互区域检测到的触控操作生成。

在本申请实施例中，终端设备与交互设备通信连接，交互设备包括有交互区域。该交互区域可以包括触控板或者触控屏，从而交互区域可以检测到用户在交互区域做出的触控操作(例如单指点击、单指滑动、多指点击、多指滑动等)。交互设备的交互区域在检测到用户的触控操作时，交互设备可以根据交互区域检测到的触控操作，生成第一操作数据。其中，第一操作数据可以包括交互区域检测到的触控操作的操作参数。

在一些实施方式中，上述第一操作数据可以包括触控操作对应的触控位置、触控操作的类型、触控操作的手指数量、手指按压压力以及触控操作的持续时间等参数。其中，触控操作对应的触控位置，可以指交互区域上被触控的区域所在位置，例如，交互区域所在平面坐标系中的触控坐标。触控操作的类型可以包括点击操作、滑动操作、长按操作等。触控操作的手指数量，指执行该触控操作的手指的数量，即交互区域的传感器检测到触控操作操作时被按压的区域的数量，例如数量为1，又例如，数量为2。手指按压压力指执行该触控操作的按压压力，即交互区域的传感器检测到的压力大小，例如按压压力为0.5N(牛)。触控操作的持续时间为交互区域检测到的手指在交互区域上接触的时间，例如持续时间为1S(秒)。当然，具体的第一操作数据可以在本申请实施例中不作为限定，第一操作数据也可以包括其他触控参数，例如，滑动轨迹、点击操作的点击频率等。

交互设备在根据交互区域检测到的触控操作生成第一操作数据后，可以将第一操作数据发送至终端设备。相应的，终端设备可以接收到交互设备发送的上述第一操作数据，以便终端设备根据上述第一操作数据确定***作的显示内容，并进行相关显示控制。

在一些实施方式中，上述显示内容可以是终端设备显示的显示内容，上述显示内容也可以是交互设备显示的显示内容。

作为一种实施方式，终端设备可以根据终端设备与交互设备之间的相对空间位置信息，以及交互区域与交互设备的相对位置关系，获取交互区域与终端设备之间的相对空间位置关系，从而可根据交互区域与终端设备之间的相对空间位置关系生成虚拟的显示内容进行显示，使用户看到显示内容叠加显示于交互区域，实现显示内容的增强现实的效果。终端设备在接收上述第一操作数据之后，则可以根据第一操作数据确定与交互区域对应的显示内容中***作的显示内容，并进行与***作的显示内容相关的显示控制。交互区域对应的显示内容可以为虚拟空间中与交互区域所对应的空间位置匹配的显示内容。

作为另一种实施方式，上述交互设备可以于交互区域显示显示内容，即交互区域包括触控屏时，触控屏对显示内容进行显示。并且交互区域可以检测用户对触控屏的触控操作，确定出***作的显示内容，并根据具体的触控操作的操作参数以及***纵的显示内容，生成第一操作数据，发送至终端设备。终端设备可以根据第一操作数据，执行与***作的显示内容相关的显示控制。在一些实施方式中，交互设备可以是带有触控屏的智能移动终端，例如智能手机、平板电脑等。

步骤S120：当根据第一操作数据，确定出交互区域对应的至少部分显示内容被执行设定操作时，获取至少部分显示内容对应的内容数据。

在本申请实施例中，终端设备在接收到上述第一操作数据时，可以根据第一操作数据，确定交互区域对应的显示内容是否被执行操作，以进一步确定是否进行与***纵的显示内容的显示控制。

在一些实施方式中，当终端设备将显示内容叠加显示在现实场景中时，终端设备可以确定显示内容中与交互区域对应的显示内容，并根据第一操作数据，确定交互区域对应的显示内容中，是否存在至少部分显示内容***作。其中，交互区域对应的显示内容可以为虚拟空间中与交互区域的空间位置对应的显示内容。终端设备可以根据第一操作数据，确定触控操作对应的触控位置，可将触控位置的触控坐标转化为虚拟空间中的空间坐标，然后从交互区域对应的显示内容中，获取与该空间坐标对应的显示内容。该获取到的显示内容，即为交互区域对应的显示内容中***作的显示内容。当没有与触控位置在虚拟空间中的空间坐标匹配的显示内容时，则可以确定交互区域对应的显示内容中，不存在至少部分显示内容***作，即上述触控操作不是对显示内容的操作。

在一些实施方式中，当交互设备显示内容，即交互区域显示有内容时，终端设备可以根据第一操作数据，确定交互区域显示的显示内容中，是否存在至少部分显示内容***作。其中，交互设备也可以根据触控位置确定***作的显示内容。交互设备显示内容时，交互设备发送的第一操作数据中可以包括***作的显示内容的数据以及触控操作的操作参数，也可以包括用于指示交互区域显示的显示内容中存在至少部分显示内容***作的指令，从而终端设备可以根据第一操作数据，直接确定出交互区域显示的显示内容中是否存在至少部分显示内容***作。另外，由于上述第一操作数据可以包括***纵的显示内容的数据，因此，终端设备还可以根据第一操作数据确定***作的显示内容。

其中，上述至少部分显示内容可以理解为，交互区域对应的显示内容中的多个显示内容中***作的显示内容，即上述根据触控位置确定出的显示内容。例如，交互区域对应的显示内容可以为应用程序的界面，***作的至少部分显示内容则可以是界面中的控件。

在本申请实施例中，当终端设备确定出交互区域对应的显示内容中存在至少部分显示内容***作时，可以根据上述第一操作数据，确定上述部分显示内容被执行的操作是否是设定操作，以确定是否执行相应的显示控制。其中，当确定出上述部分显示内容被执行的操作为设定操作时，则确定后续执行与上述部分显示内容相关的控制显示。

在一些实施方式中，上述设定操作可以包括点击操作、滑动操作以及长按操作等。进一步的，当终端设备确定出上述部分显示内容被执行的操作为点击操作时，还可以确定点击操作的点击频率是否为指定频率，点击次数是否为指定次数，当点击频率为指定频率时，点击次数为指定次数时，确定上述部分显示内被执行设定操作。当终端设备确定出上述部分显示内容被执行的操作为滑动操作时，还可以判断滑动操作的滑动方向是否为指定方向，滑动操作的滑动距离是否为指定距离等，当满足滑动方向为指定方向，滑动距离为指定距离，则可以确定上述部分显示内容被执行设定操作。当终端设备确定出上述部分显示内容被执行的操作为长按操作时，终端设备还可以确定按压时长是否大于指定时长，按压面积是否大于指定面积等，当按压时长大于指定时长，按压面积大于指定面积，则确定上述部分显示内容被执行设定操作。当然，具体的设定操作在本申请实施例中可以不作为限定，设定操作可以根据具体场景和需求而设置。

作为一种可选的方式，如图3所示，交互区域202对应的显示内容为聊天界面内容303，设定操作可以为对聊天界面内容303中的视频内容304的点击操作。

作为又一种可选的方式，如图4所示，交互区域202对应的显示内容为聊天界面内容303，设定操作可以为对聊天界面内容303中的视频内容304的滑动操作，具体可以为向交互区域的边缘区域滑动的滑动操作。

作为一种具体的实施方式，当交互设备的触控屏对相应的显示内容进行显示时，交互设备则可以根据交互区域检测到的触控操作，判断是否对至少部分内容进行滑动操作。如果判断出对至少部分内容进行滑动操作时，交互设备可以控制该至少部分内容按照滑动操作对应的滑动轨迹进行滑动，并显示出该至少部分内容进行滑动的效果，从而实现根据滑动操作控制至少部分内容进行滑动。另外，当上述至少部分内容通过上述滑动操作方式被滑动至边缘区域时，交互设备可以生成第一操作数据发送至终端设备，例如，可以根据滑动操作的滑动参数、***作的至少部分内容以及被滑动至的目标位置生成第一操作数据，并将第一操作数据发送至终端设备。从而终端设备可以根据第一操作数据获知交互区域对应的显示内容中，至少部分内容被以滑动操作的方式移动至交互区域的边缘区域。

作为另一种具体的实施方式，当终端设备将显示内容叠加显示在现实场景中时，终端设备可以根据交互设备发送的第一操作数据，确定出显示内容中触控操作所对应的至少部分内容，并且确定出该触控操作为滑动操作，以及滑动操作的滑动轨迹，根据以上确定出的信息，终端设备可以控制上述至少部分内容按滑动操作对应的滑动轨迹进行滑动，最终控制上述至少部分内容滑动至交互区域的边缘区域，并显示出该至少部分内容进行滑动的效果，从而实现根据滑动操作控制至少部分内容移动至交互区域的边缘区域。

从而终端设备可以确定交互区域对应的显示内容中，是否存在至少部分内容被滑动至交互设备的交互区域的设定区域，进一步确定是否触发与上述部分显示内容相关的控制显示。

在本申请实施例中，当终端设备确定出交互区域对应的至少部分显示内容被执行设定操作时，则终端设备可以获取上述至少部分显示内容对应的内容数据，以便终端设备后续根据上述内容数据，进行与上述部分内容相关的显示控制。

其中，作为一种方式，上述至少部分显示内容对应的内容数据，可以是该部分显示内容的三维模型数据，该三维模型数据可以包括用于构建三维模型对应的模型的颜色、模型顶点坐标、模型轮廓数据等。作为另一种方式，上述至少部分显示内容对应的内容数据，也可以是与上述部分显示内容相关的内容的数据，例如，该至少部分显示内容为控件时，则与上述部分显示内容相关的内容可以为该控件所关联的界面内容，又例如，该至少部分显示内容为文档界面中文字内容时，则与上述部分显示内容相关的内容可以为该文字内容对应的搜索信息等。当然，具体与上述至少部分显示内容相关的内容可以不作为限定。

在一些实施方式中，终端设备获取上述至少部分显示内容对应的内容数据，可以是终端设备根据确定出***作的至少部分显示内容，获取该至少部分显示内容的对应的内容数据。也就是说，终端设备在显示内容时，则可以直接获取上述至少部分显示内容对应的内容数据。

在一些实施方式中，终端设备获取上述至少部分显示内容对应的内容数据，可以是从交互设备获取。可以理解的，在交互设备显示内容时，终端设备可以发送相关请求至终端设备，从而获取至少部分显示内容对应的内容数据。

当然，终端设备具体获取上述内容数据的方式在本申请实施例中可以不作为限定，例如，当第一操作数据中携带有上述至少部分显示内容的内容数据时，终端设备也可以直接根据第一操作数据得到至少部分显示内容的内容数据。

步骤S130：获取终端设备与交互设备之间的相对空间位置信息。

在本申请实施例中，终端设备可以获取终端设备与交互设备之间的相对空间位置信息，以便终端设备根据相对空间位置信息显示相应的内容。终端设备可以识别交互设备上的标记物，以根据标记物的识别结果，获取终端设备与交互设备之间的相对空间位置信息。可以理解的是，上述识别结果至少包括标记物相对终端设备的位置信息、姿态信息等，从而终端设备可以根据标记物在交互设备上设置的位置、尺寸大小以及上述识别结果，获取终端设备与交互设备之间的相对空间位置信息。其中，终端设备与交互设备之间的相对空间位置信息可以包括：终端设备与交互设备之间的相对位置信息以及姿态信息等，姿态信息可以为交互设备相对终端设备的朝向及旋转角度等。标记物的尺寸大小可根据需求进行调整，具体的尺寸大小不受限制。

在一些实施方式中，上述标记物可以包括至少一个子标记物，子标记物可以是具有一定形状的图案。在一个实施例中，每个子标记物可具有一个或多个特征点，其中，特征点的形状不做限定，可以是圆点、圆环，也可以是三角形、其他形状。另外，不同标记物内的子标记物的分布规则不同，因此，每个标记物可具备不同的身份信息。终端设备通过识别标记物中包含的子标记物，可以获取与标记物对应的身份信息，该身份信息可以是编码等可用于唯一标识标记物的信息，但不限于此。

作为一种实施方式，标记物的轮廓可以为矩形，当然，标记物的形状也可以是其他形状，在此不做限定，矩形的区域以及该区域内的多个子标记物构成一个标记物。在一些实施方式中，上述标记物也可以为由光点构成的光点标记物等，光点标记物可以发射不同波段或不同颜色的光，终端设备通过识别光点标记物发出的光的波段或颜色等信息获取与标记物对应的身份信息。需要说明的是，具体的标记物的形状、样式、尺寸、颜色、特征点数量以及分布在本实施例中并不作为限定，仅需要标记物能被终端设备识别追踪即可。

在一些实施方式中，标记物可以集成在交互设备，也可以粘贴于交互设备，还可以以配件的方式设置于交互设备，例如，设置在交互设备的保护套上，又例如通过***交互设备的USB口而设置于交互设备。

在一些实施方式中，上述识别交互设备上的标记物，可以是终端设备先通过图像采集装置采集包含标记物的图像，然后再对该图像中的标记物进行识别。其中，终端设备采集包含标记物的图像，可以是通过调整终端设备在现实空间中的空间位置，也可以通过调整交互设备在现实空间中的空间位置，以使该交互设备上的标记物处于终端设备的图像采集装置的视觉范围内，从而使终端设备可以对该标记物进行图像采集和图像识别。其中，图像采集装置的视觉范围可以由视场角的大小决定。

当然，具体获取终端设备与交互设备之间的相对空间位置信息的方式在本申请实施例中可以不作为限定。

步骤S140：基于相对空间位置信息以及内容数据，生成至少部分显示内容对应的虚拟扩展内容。

在本申请实施例中，终端设备在获取到终端设备与交互设备之间的相对空间位置信息、以及上述至少部分显示内容对应的内容数据之后，终端设备可以根据相对空间位置信息以及内容数据，生成上述至少部分显示内容对应的虚拟扩展内容，以便后续显示虚拟扩展内容。

在一些实施方式中，需要显示的虚拟扩展内容可以为上述至少部分显示内容，此时，上述获取的至少部分显示内容对应的内容数据则可以是上述部分显示内容的三维模型数据。终端设备可以获取虚拟扩展内容需要显示的设定区域，然后根据上述终端设备与交互设备之间的相对空间位置信息、以及设定区域与交互设备之间的相对位置关系，获取到虚拟扩展内容的渲染位置，再根据渲染位置渲染出三维的虚拟内容。

具体的，终端设备可以根据终端设备与交互设备之间的相对空间位置信息，以及设定区域与交互设备之间的相对位置关系，获取到现实空间中的设定区域的空间位置坐标，将该空间位置坐标转换为虚拟空间中的空间坐标。其中，虚拟空间中可包括虚拟摄像头，该虚拟摄像头用于模拟用户的人眼，虚拟摄像头在虚拟空间中的位置可看作终端设备在虚拟空间中的位置。终端设备可根据虚拟空间中虚拟扩展内容与交互设备的位置关系，以虚拟摄像头作为参照，则可以获取到虚拟扩展内容相对虚拟摄像头的空间位置，从而得到虚拟扩展内容在虚拟空间中的渲染坐标，即得到了虚拟扩展内容的渲染位置。其中，该渲染位置可用作虚拟扩展内容的渲染坐标，以实现虚拟扩展内容渲染于渲染位置处。其中，上述渲染坐标指的是虚拟扩展内容在虚拟空间中以虚拟摄像头为原点(可看作是以人眼为原点)的三维空间坐标。另外，上述设定区域可以是交互区域外的任意区域或者预设区域，例如，设定区域可以是处于交互区域外但邻近交互区域的区域，设定区域也可以是处于交互区域外且距离交互区域设定距离的区域，当然，具体的设定区域在本申请实施例中可以不作为限定。

可以理解的是，终端设备在得到用于虚拟空间中渲染虚拟扩展内容的渲染坐标之后，终端设备可以获取到虚拟扩展内容对应的内容数据(即上述的三维模型数据)，然后根据该内容数据构建虚拟扩展内容，以及根据上述渲染坐标渲染该虚拟扩展内容，其中，渲染虚拟扩展内容可以得到虚拟扩展内容中各个顶点的顶点坐标以及颜色值等。由于上述内容数据可以包括三维模型数据，因此渲染得到的虚拟扩展内容可以为三维的虚拟内容。

在一些实施方式中，需要显示的虚拟扩展内容可以是与上述至少部分显示内容相关的显示内容，此时，如果部分显示内容对应的内容数据为部分显示内容自身的内容数据(例如模型数据)时，则终端设备可以根据上述部分显示内容对应的内容数据，获取与部分显示内容相关的显示内容的内容数据，以生成三维的虚拟扩展内容。其中，终端设备可以从交互设备获取与部分显示内容相关的显示内容的内容数据，也可以从服务器获取与部分显示内容相关的显示内容的内容数据，当然，终端设备也可以从存储的内容数据中，获取与部分显示内容相关的显示内容的内容数据。如果部分显示内容对应的内容数据为，与部分显示内容相关的显示内容的内容数据，则终端设备可以直接根据部分显示内容对应的内容数据，生成三维的虚拟扩展内容。

步骤S150：显示虚拟扩展内容，虚拟扩展内容的显示区域与交互区域外的设定区域对应。

在本申请实施例中，终端设备生成三维的虚拟扩展内容后，可以对三维的虚拟扩展内容进行显示。具体地，终端设备构建并渲染出三维的虚拟扩展内容后，可以将虚拟扩展内容转化为虚拟画面，获取虚拟画面的显示数据，该显示数据可以包括显示画面中各个像素点的RGB值及对应的像素点坐标等，终端设备可根据该显示数据生成显示画面，并将显示画面通过显示屏或投射模组投射到显示镜片上，从而显示出三维的虚拟扩展内容。由于终端设备生成虚拟内容时，根据上述设定区域与交互设备之间的相对位置关系、相对空间位置信息以及上述内容数据生成，因此，虚拟扩展内容的显示位置为上述设定区域，即虚拟内容的显示区域为交互区域外的设定区域，从而用户通过头戴显示装置的显示镜片，可以看到虚拟扩展内容叠加显示在真实世界中的交互设备的交互区域外的设定区域，实现增强现实的效果。

由于虚拟扩展内容的显示区域为交互区域外的设定区域，因此，虚拟扩展内容的显示位置不会与交互区域对应的显示内容产生冲突，实现了用户可以通过交互设备，对交互区域对应的显示内容进行操作，并且用户可以看到***作的显示内容所对应的虚拟扩展内容叠加于交互区域外的设定区域显示，保证交互区域对应的显示内容与用户操作后生成的虚拟扩展内容的显示不产生冲突，从而用户可以同时查看上述虚拟扩展内容，以及交互区域对应的显示内容，提升了显示内容的交互效果和显示效果。例如，请参见图5，交互区域对应的显示内容中包括有视频列表305的内容，用户可以通过交互设备对视频列表305中的视频选项306进行上述设定操作，从而可以通过终端设备100看到操作的视频选项306对应的视频内容307在交互区域外进行显示，保证用户同时查看视频列表305，以及需要查看的视频内容307。

又例如，请参见图6，交互区域对应的显示内容中包括有聊天界面内容303，用户可以通过交互设备对聊天界面内容303中的视频文件308进行上述设定操作，从而可以通过终端设备看到操作的视频文件308对应的视频内容309在交互区域外进行显示，保证用户查看聊天界面内容303的同时，可以查看聊天中对方发送的视频。

本申请实施例提供的虚拟内容的显示方法，根据交互设备检测到的对交互区域对应的显示内容的操作，将***作的显示内容对应的虚拟扩展内容显示于虚拟空间，实现了用户可以通过交互设备，对交互区域对应的显示内容进行操作，并且用户可以看到***作的显示内容所对应的虚拟扩展内容叠加于交互区域外的设定区域显示，使用户可以同时查看上述虚拟扩展内容，以及交互区域对应的显示内容，提升了显示内容的交互效果和显示效果。

请参阅图7，本申请另一实施例提供了虚拟内容的显示方法，可应用于上述终端设备，该虚拟内容的显示方法可以包括：

步骤S210：接收交互设备发送的第一操作数据，第一操作数据为交互设备根据交互区域检测到的触控操作生成。

在本申请实施例中，步骤S210可以参阅上述实施例的内容，在此不再赘述。

步骤S220：当根据第一操作数据，确定出交互区域对应的至少部分显示内容被执行设定操作时，获取至少部分显示内容对应的内容数据。

在一些实施方式中，设定操作可以是至少部分显示内容被移动至交互区域的边缘区域，即当终端设备根据第一操作数据，确定出交互区域中至少部分显示内容被移动至交互区域的边缘区域时，终端设备可以后续生成与该至少部分显示内容对应的虚拟扩展内容，并将虚拟扩展内容进行显示，使用户可以看到虚拟扩展内容显示于交互区域外，实现将显示内容移动至交互区域外，则交互区域外显示相应虚拟扩展内容。当然，设定操作也可以是也可以是对部分显示内容的单次点击操作，多次点击操作等。设定操作还可以是选取至少部分显示内容后，点击交互区域对应的内容中的相应控件，例如，交互区域对应的显示内容中包括用于文档查看的控件以及多个文档内容，终端设备在确定出至少一个文档内容被后，该用于文档查看的控件被点击时，则可以生成被选取的文档内容对应的虚拟扩展内容进行显示。当然，具体的设定操作可以不作为限定，可以根据实际场景和需求设置。

在一些实施方式中，终端设备可以显示内容，即端设备可以根据终端设备与交互设备之间的相对空间位置信息，以及交互区域与交互设备的相对位置关系，生成显示内容进行显示，使用户看到显示内容叠加显示于交互区域。请参见图8，终端设备在确定出交互区域对应的至少部分显示内容被执行设定操作时，终端设备获取至少部分显示内容对应的内容数据，可以包括：

步骤S221：根据第一操作数据获取交互区域检测到的触控位置。

在一些实施方式中，交互设备发送的第一操作数据中可以包括触控操作对应的触控位置，其中，触控位置可以为交互区域所在平面的平面坐标系中的触控坐标。因此，终端设备可以从上述第一操作数据中，获取到交互区域检测到的触控操作在上述平面坐标系中的触控坐标。

步骤S222：根据触控位置确定被执行设定操作的至少部分显示内容的显示位置。

在一些实施方式中，终端设备可以根据上述触控位置，获取***作的至少部分显示内容的显示位置。其中，终端设备可以获取终端设备相对交互设备的相对空间位置信息，该相对空间位置信息的获取方式可以参阅上述实施例的内容，在此不再赘述。终端设备可以根据该相对空间位置信息，获取交互设备在现实空间中的第一空间坐标。根据触控坐标以及该第一空间坐标，得到触控位置在现实空间中的第二空间坐标，即根据触控坐标以及第一空间坐标，并以交互区域所在平面与交互设备之间的相对位置关系，从而计算出该触控坐标对应于现实空间中的第二空间坐标。终端设备在获取到触控位置在现实空间的第二空间坐标之后，可以利用现实空间中坐标系与虚拟空间中坐标系之间的转换关系，将上述第二空间坐标转换为虚拟空间中的第三空间坐标。终端设备获取的第三空间坐标，则可以作为***作的部分显示内容的渲染坐标，即上述被执行设定操作的部分显示内容的显示位置。

步骤S223：根据显示的虚拟内容，获取与显示位置匹配的内容数据。

终端设备在获取到被执行设定操作的部分显示内容的显示位置之后，则终端设备可以根据显示的显示内容，确定该显示位置对应的显示内容的内容数据。具体的，可以根据显示内容的所有内容的渲染坐标，获取上述显示位置对应的渲染坐标所匹配的内容，从而得到与上述显示位置匹配的显示内容。根据得到的与上述显示位置匹配的显示内容，可以获取该显示内容的内容数据，并将获取的内容数据作为至少部分显示内容对应的内容数据。其中，上述内容数据可以包括上述显示内容的模型数据等，模型数据可以包括模型的颜色、模型顶点坐标、模型轮廓数据等数据。当然，上述至少部分显示内容对应的内容数据，也可以是，在获取到上述显示位置匹配的显示内容后，再获取与该显示内容相关的显示内容的内容数据。

在一些实施方式中，当终端设备显示内容时，终端设备也可以在获取上述第三空间坐标后，获取与第三空间坐标对应的至少部分显示内容。具体地，在虚拟空间中所有内容的空间坐标集合，当空间坐标集合中存在与第三空间坐标匹配的空间坐标时，获取与第三空间坐标匹配的空间坐标所对应的至少部分虚拟内容。

当上述空间坐标集合中不存在与第三空间坐标匹配的空间坐标时，则基于该空间坐标集合，获取虚拟空间中满足设定条件的第四空间坐标所对应的显示内容，并将第四空间坐标所对应的显示内容作为与第三空间坐标对应的至少部分显示内容。其中，设定条件可以是第四空间坐标与第三空间坐标之间的距离小于设定距离；或者第四空间坐标与第三空间坐标之间的距离小于其他空间坐标与第三空间坐标之间的距离，其他空间坐标为空间坐标集合中除第四空间坐标以外的空间坐标。

在一些实施方式中，交互设备的交互区域可以包括触控屏，即交互区域可以显示内容。请参见图9，在交互设备显示内容时，则终端设备获取被执行设定操作的至少部分显示内容对应的内容数据，可以包括：

步骤S224：发送数据请求至交互设备，数据请求用于指示交互设备从触控屏显示的屏幕内容中，获取指定类型内容的内容数据。

步骤S225：接收交互设备发送的指定类型内容的内容数据，将指定类型内容的内容数据作为至少部分显示内容对应的内容数据。

其中，交互设备在触摸屏上显示相应的显示内容时，终端设备在根据第一操作数据确定出至少部分显示内容被执行设定操作后，终端设备也可以从交互设备获取指定类型内容的内容数据，以便后续生成的虚拟扩展内容为该指定类型内容。指定类型内容可以为非交互类型的内容，其中，非交互类型的内容可以包括视频类型内容、图片类型内容、文档类型的内容、界面图案等。例如，指定类型内容可以为视频类型内容，终端设备在确定出交互区域对应的显示内容中的“播放”控件进行设定操作后，则可以发生数据请求至终端设备，获取交互区域对应的显示内容中的视频类型内容的内容数据，以便后续生成视频内容进行显示，便于用户看到视频内容显示于交互区域外，而不影响交互区域内显示的内容。

在一些实施方式中，请参见图10，在交互设备显示内容时，则终端设备获取被执行设定操作的至少部分显示内容对应的内容数据，也可以包括：

步骤S226：发送数据请求至交互设备，数据请求用于指示交互设备根据触控屏检测到的触控操作，从触控屏显示的屏幕内容中获取与触控操作匹配的内容数据；

步骤S227：接收交互设备发送的与触控操作匹配的内容数据，将与触控操作匹配的内容数据作为至少部分显示内容对应的内容数据。

在交互设备的交互区域显示内容时，终端设备在根据第一操作数据确定出至少部分显示内容被执行设定操作后，终端设备也可以从交互设备获取与触控操作匹配的内容数据，并将与触控操作匹配的内容数据作为至少部分显示内容的内容数据，以便后续生成虚拟扩展内容进行显示。其中，与触控操作匹配的内容数据可以为，交互操作在交互区域的触控位置对应的显示内容的内容数据。

当然，具体获取至少部分显示内容对应的内容数据的方式在本申请实施例中可以不作为限定。

步骤S230：获取终端设备与交互设备之间的相对空间位置信息。

在本申请实施例中，步骤S230可以参阅上述实施例的内容，在此不再赘述。

步骤S240：获取设定区域与交互设备之间的第一相对位置关系，设定区域为虚拟扩展内容需要显示的显示区域。

在本申请实施例中，终端设备可以获取虚拟扩展内容需要显示的显示区域，以便后续生成虚拟扩展内容。终端设备可以获取设定区域与交互设备之间的第一相对位置关系，其中，设定区域为虚拟扩展内容需要叠加显示到真实环境中的区域，也可以理解为用户通过终端设备看到的虚拟扩展内容在真实环境中的区域。

在一些实施方式中，获取上述第一相对位置关系可以包括：读取预先存储的交互区域外的设定区域与交互设备的第一相对位置关系。可以理解的，虚拟扩展内容需要显示的显示区域与交互设备之间的位置关系可以是固定的，例如，上述设定区域处于交互区域外相对终端设备的左侧区域、右侧区域等。

在一些实施方式中，获取上述第一相对位置关系可以包括：确定至少部分显示内容被控制移动的移动方向，根据移动方向确定交互区域外的设定区域，并获取设定区域与交互设备的第一相对位置关系。作为一种具体实施方式，终端设备可根据第一操作数据获取触控操作在交互设备的交互区域上的触控方向，并根据该触控方向确定对应的至少部分显示内容的移动方向。比如，用户在交互设备的交互区域上向左滑动，则可向左移动对应的至少部分显示内容，该对应的至少部分显示内容的移动方向可与交互区域上的触控方向匹配。终端设备可根据该对应的至少部分显示内容的移动方向确定虚拟扩展内容在现实空间中叠加显示的设定区域，虚拟扩展内容的设定区域可以与上述至少部分显示内容被移动的移动方向对应，从而可以实现用户通过对部分显示内容向不同的移动方向进行移动，控制虚拟扩展内容叠加显示在不同的区域中。例如，当上述至少部分显示内容被移动的移动方向为沿往交互区域的左侧区域移动时，则设定区域可以为交互区域外左侧的区域，终端设备可以获取交互区域外左侧的区域与交互设备之间的第一相对位置关系，并根据该第一相对位置关系渲染虚拟扩展内容，再进行显示，用户通过终端设备可以看到虚拟扩展内容叠加显示在交互区域外的左侧区域。

在一些实施方式中，获取上述第一相对位置关系可以包括：根据至少部分显示内容的内容类型对应的设定区域，确定设定区域与交互设备的第一相对位置关系。作为一种具体实施方式，虚拟扩展内容在现实空间中叠加显示的设定区域也可以与上述至少部分显示内容的内容类型对应，也就是说，不同内容类型的至少部分显示内容被执行上述设定操作，对应的设定区域也可以不同。例如，视频类型的内容被执行设定操作时，虚拟扩展内容对应的设定区域可以是交互区域外的上侧区域，文档类型的内容被执行设定操作时，虚拟扩展内容对应的设定区域可以是交互区域外的左侧区域，图片类型的内容被执行设定操作时，虚拟扩展内容对应的设定区域可以是交互区域外的右侧区域。当然，以上设定区域与内容类型之间的对应关系仅为举例。

在一些实施方式中，获取上述第一相对位置关系可以包括：获取用户选择的设定区域，并确定设定区域与交互设备的第一相对位置关系。可以理解的，虚拟扩展内容需要显示的显示区域，也可以由用户自己选择，以满足不同用户的需求。其中，终端设备可以根据交互设备发送的交互区域检测的选取操作的操作数据，确定用户选择的设定区域。例如，可以于交互区域显示设定区域的选择列表，选择列表中可以包括多个设定区域，另外，还可以显示用于设置设定区域相对交互区域的距离的滑动条，从而交互区域在检测到对上述选择列表以及滑动条的操作之后，交互设备可以发送操作数据至终端设备，从而终端设备根据操作数据可以确定出用户选择的设定区域。

当然，具体获取设定区域与交互设备之间的第一相对位置关系的方式，在本申请实施例中可以不作为限定。

步骤S250：基于相对空间位置信息、第一相对位置关系以及内容数据，生成至少部分显示内容对应的虚拟扩展内容。

在本申请实施例中，步骤S250可以参阅上述实施例的内容，在此不再赘述。

步骤S260：显示虚拟扩展内容，虚拟扩展内容的显示区域与交互区域外的设定区域对应。

在本申请实施例中，终端设备在生成虚拟扩展内容之后，则可以将虚拟扩展内容进行显示。由于上述获取的至少部分显示内容对应的内容数据可以是至少部分显示内容本身的内容数据，也可以是与指定类型内容的内容数据，还可以是与至少部分显示内容相关的显示内容的内容数据，因此上述生成的虚拟扩展内容可以是上述至少部分显示内容，也可以是上述指定类型内容，也可以是与至少部分显示内容相关的显示内容。

另外，由于设定区域可以为预先设置的交互区域外的区域、部分显示内容的移动方向对应的交互区域外的区域、内容类型对应的交互区域外的区域或者用户选择的交互区域外的区域，可以实现虚拟扩展内容叠加显示在交互区域外的设定区域，因此，虚拟扩展内容的显示位置不会与交互区域对应的显示内容产生冲突，实现了用户可以通过交互设备，对交互区域对应的显示内容进行操作，并且用户可以看到***作的显示内容所对应的虚拟扩展内容叠加于交互区域外的设定区域显示，保证交互区域对应的显示内容与用户操作后生成的虚拟扩展内容的显示不产生冲突，从而用户可以同时查看上述虚拟扩展内容，以及交互区域对应的显示内容，提升了显示内容的交互效果和显示效果。

例如，如图11所示，在查看人体器官的场景中，交互区域对应的显示内容中包括有人体器官的选项列表310，用户可以通过交互设备对选项列表310中的器官选项进行上述设定操作，从而可以通过终端设备100看到立体的器官模型311叠加显示在交互区域外，保证用户同时查看上述选项列表310以及器官模型311。

又例如，请同时参见图12及图13，在查看文档的场景中，交互区域对应的显示内容中包括有多个文档内容，用户可以通过交互设备对多个文档内容中的文档内容312(文档B)按照向上的移动方向滑动，从而可以通过终端设备100看到虚拟的文档内容312叠加显示在交互区域外，并且文档内容312叠加显示的区域与上述移动方向对应，即文档内容312叠加显示在交互区域202外的上侧区域，保证用户可以同时看到较大比例大小的文档内容，方便用户查看文档内容。

再例如，请参见图14，在聊天的应用场景中，交互区域对应的显示内容中聊天内容313以及输入键盘314，用户可以对聊天内容313进行上述设定操作，从而可以通过终端设备100看到虚拟的聊天内容313叠加显示在交互区域外，而输入键盘314在交互区域内显示，保证用户可以同时看到较大比例大小的聊天内容313，并通过输入键盘314输入文字等内容，方便用户进行聊天。

在一些实施方式中，该虚拟内容的显示方法还可以包括：

步骤S270：获取虚拟扩展内容对应的控件内容的内容数据，以及交互区域中的指定位置与交互设备之间的第二相对位置关系，控件内容用于触发对虚拟扩展内容的控制。

在本申请实施例中，终端设备还可以显示与虚拟扩展内容对应的控件内容，且控件内容可与交互区域对应显示，比如，可以叠加显示在交互区域上，或是通过交互区域的触控屏进行显示。该控件内容用于触发对虚拟扩展内容的控制，即用于控制虚拟扩展内容。从而便于用户通过对控件内容进行操作，实现对上述虚拟扩展内容的显示的控制。

在一些实施方式中，终端设备可以获取与虚拟扩展内容对应的控件内容的内容数据，该内容数据可以包括用于控件内容的控件类型、样式、尺寸大小、排布等，终端还可以获取该控件内容需要显示于交互区域中的指定位置与交互设备之间的第二相对位置关系，以便生成该控件内容进行显示。

其中，上述控件内容可以包括：用于控制虚拟扩展内容移动的控件、用于调整虚拟扩展内容的比例大小的控件、用于取消虚拟扩展内容的显示的控件、用于暂停视频播放的控件以及用于控制视频内容的播放进度的控件等，当然，具体的控件内容在本申请实施例中可以不作为限定。该控件内容可以是按钮控件、菜单控件、列表控件、进度条控件等，但不限于此。

步骤S280：基于控件内容的内容数据、第二相对位置关系以及相对空间位置信息，生成控件内容，并将控件内容进行显示。

在本申请实施例中，终端设备在得到上述控件内容的内容数据、第二相对位置关系以及相对空间位置信息之后，则可以生成控件内容。其中，生成控件内容的方式可以参阅上述实施例中生成虚拟扩展内容的方式，在此不再赘述。

终端设备在生成上述控件内容之后，则可以将控件内容进行显示，由于控件内容的显示位置为交互区域中的指定位置，因此可以使用户观看到上述控件内容叠加于交互区域中，实现控件内容的增强显示效果。

步骤S290：当根据交互设备检测的第二操作数据，确定检测到对控件内容的操作时，基于第二操作数据控制虚拟扩展内容的显示。

在本申请实施例中，终端设备可以接收交互设备根据交互区域检测到的操作生成的第二操作数据，并且可以根据第二操作数据判断是否对上述控件内容进行的操作。当终端设备确定出对控件内容的操作时，则可以根据第二操作数据控制虚拟扩展内容的显示，具体的控制可以与上述控件内容的功能以及第二操作数据有关。

例如，在确定检测到对用于控制虚拟扩展内容移动的控件的操作时，则可以根据第二操作数据确定移动方向，并控制虚拟扩展内容按照该移动方向进行移动。又例如，在确定检测到对用于调整虚拟扩展内容的比例大小的控件的操作时，则可以根据第二操作数据，确定对虚拟扩展内容的比例大小进行放大或者缩小，以及具体的放大比例或者缩小比例，并根据放大比例对虚拟扩展内容进行比例放大，或者根据缩小比例对虚拟扩展内容进行比例缩小。再例如，在确定检测到对用于取消虚拟扩展内容的显示的控件的操作时，则终端设备可以取消虚拟扩展内容的显示。还例如，虚拟扩展内容为视频内容时，在确定检测到对用于暂停视频播放的控件的操作时，可以暂停视频的播放。还例如，虚拟扩展内容为视频内容时，在检测到对用于控制视频内容的播放进度的控件的操作时，则可以根据第二操作数据，确定具体需要调整至的目标进度，并将显示的视频内容的播放进度调整至该目标进度。

当然，具体对虚拟扩展内容进行的控制在本申请实施例中可以不作为限定。

在本申请实施例中，上述控件内容也可以由交互设备来进行显示。例如，终端设备可以在显示上述虚拟扩展内容之后，可以交互设备可以生成控件内容，并通过触摸屏(交互区域)显示上述控件内容。并且当交互区域检测到对控件内容的操作时，发送用于指示终端设备控制虚拟扩展内容的指令至终端设备，终端设备根据控制指令，可以对虚拟扩展内容进行上述的显示控制。

本申请实施例提供的虚拟内容的显示方法，根据交互设备检测到的对交互区域对应的显示内容的操作，获取至少部分显示内容的内容数据，并根据终端设备相对交互设备之间的相对空间位置信息、具体虚拟扩展内容需要显示的设定区域以及该内容数据，生成虚拟扩展内容，并将虚拟扩展内容进行显示。实现了用户可以通过交互设备，对交互区域对应的显示内容进行操作，并且用户可以看到***作的显示内容所对应的虚拟扩展内容叠加于交互区域外的设定区域显示，使用户可以同时查看上述虚拟扩展内容，以及交互区域对应的显示内容，提升了显示内容的交互效果和显示效果。

请参阅图15，本申请又一实施例提供了虚拟内容的显示方法，可应用于上述终端设备，该虚拟内容的显示方法可以包括：

步骤S310：接收交互设备发送的第一操作数据，第一操作数据为交互设备根据交互区域检测到的触控操作生成。

步骤S320：当根据第一操作数据，确定出交互区域对应的至少部分显示内容被执行设定操作时，获取至少部分显示内容对应的内容数据。

步骤S330：获取终端设备与交互设备之间的相对空间位置信息。

步骤S340：获取设定区域与交互设备之间的第一相对位置关系。

在本申请实施例中，步骤S310至步骤S340可以参阅上述实施例的内容，在此不再赘述。

步骤S350：当部分显示内容为指定类型的内容时，获取交互设备的姿态信息。

在本申请实施例中，终端设备在生成虚拟扩展内容时，还可以对虚拟扩展内容显示的设定区域进行调整，以使设定区域与交互设备存在一定夹角，便于后续显示虚拟扩展内容后，用户察看虚拟扩展内容。

在一些实施方式中，终端设备可以获取交互设备的姿态信息，其中，终端设备可以从交互设备获取交互设备的IMU或重力传感器等检测的姿态信息，或者终端设备根据上述相对空间位置信息，确定交互设备的姿态信息。具体终端设备获取交互设备的姿态信息的方式可以不作为限定。

步骤S360：基于姿态信息，对第一相对位置关系进行调整，调整至少包括调整设定区域与交互设备的夹角为预设夹角。

在本申请实施例中，在获取到上述姿态信息之后，则可以根据交互设备的姿态信息，对设定区域相对交互设备的第一相对位置关系进行调整，以使设定区域与交互设备之间的夹角为预设夹角。其中，终端设备可以根据交互设备的姿态信息以及上述第一相对位置关系，确定当前设定区域与交互设备的交互区域之间的夹角，再通过调整设定区域的位置，使设定区域与交互区域的夹角为预设夹角，从而得到调整后的设定区域的位置，以及调整后的第一相对位置关系。

在一些实施方式中，上述预设夹角的具体大小可以不作为限定，例如预设夹角可以为45°～70°，又例如，可以为65°～90°等。

步骤S370：基于相对空间位置信息、调整后的第一相对位置关系以及内容数据，生成部分显示内容对应的虚拟扩展内容。

在将第一相对位置关系进行调整之后，则可以根据上述相对空间位置信息、调整后的第一相对位置关系以及内容数据，生成虚拟扩展内容。具体生成虚拟扩展内容的方式可以参阅上述实施例的内容，在此不再赘述。

步骤S380：显示虚拟扩展内容，虚拟扩展内容的显示区域与交互区域外的设定区域对应。

在本申请实施例中，终端设备在生成虚拟扩展内容之后，则可以将虚拟扩展内容进行显示。由于在将上述第一相对位置关系进行调整，从而显示的虚拟扩展内容的显示区域将与交互设备成预设夹角，使用户可以察看到虚拟扩展内容处于交互区域外，并且与交互设备成一定夹角，提升虚拟扩展内容的显示效果。

例如，请参见图16，交互区域对应的显示内容中包括有视频列表305的内容，用户可以通过交互设备对视频列表305中的视频选项进行上述设定操作，从而可以通过终端设备100看到操作的视频选项对应的视频内容307在交互区域外进行显示，并且视频内容307与交互设备之间存在一定夹角，便于用户查看视频内容。

本申请实施例提供的虚拟内容的显示方法，根据交互设备检测到的对交互区域对应的显示内容的操作，获取至少部分显示内容的内容数据，并对虚拟扩展内容需要显示的设定区域进行调整，使设定区域与交互设备之间呈预设夹，然后生成虚拟扩展内容，并将虚拟扩展内容进行显示。实现了用户可以通过交互设备，对交互区域对应的显示内容进行操作，并且用户可以看到***作的显示内容所对应的虚拟扩展内容叠加于交互区域外的设定区域显示，并且虚拟扩展内容与交互设备之间呈预设夹角，使用户可以同时查看上述虚拟扩展内容，以及交互区域对应的显示内容，提升了显示内容的交互效果和显示效果。

请参见图17，其示出了本申请提供的一种虚拟内容的显示装置400的结构框图。该虚拟内容的显示装置400应用于终端设备，终端设备与交互设备连接，交互设备包括交互区域。该虚拟内容的显示装置400包括：数据接收模块410、数据获取模块420、位置获取模块430、内容生成模块440以及内容显示模块450。其中，数据接收模块410用于接收交互设备发送的第一操作数据，第一操作数据为交互设备根据交互区域检测到的触控操作生成；数据获取模块420用于当根据第一操作数据，确定出交互区域对应的至少部分显示内容被执行设定操作时，获取至少部分显示内容对应的内容数据；位置获取模块430用于获取终端设备与交互设备之间的相对空间位置信息；内容生成模块440用于基于相对空间位置信息以及内容数据，生成至少部分显示内容对应的虚拟扩展内容；内容显示模块450用于显示虚拟扩展内容，虚拟扩展内容的显示区域与交互区域外的设定区域对应。

在一些实施方式中，数据获取模块420可以具体用于：根据第一操作数据获取交互区域检测到的触控位置；根据触控位置确定被执行设定操作的至少部分显示内容的显示位置；根据显示的虚拟内容，获取与显示位置匹配的内容数据。

在一些实施方式中，交互区域包括触控屏，数据获取模块420也可以具体用于：发送数据请求至交互设备，数据请求用于指示交互设备从触控屏显示的屏幕内容中，获取指定类型内容的内容数据；接收交互设备发送的指定类型内容的内容数据，将指定类型内容的内容数据作为至少部分显示内容对应的内容数据。

在一些实施方式中，交互区域包括触控屏，数据获取模块420也可以具体用于：发送数据请求至交互设备，数据请求用于指示交互设备根据触控屏检测到的触控操作，从触控屏显示的屏幕内容中获取与触控操作匹配的内容数据；接收交互设备发送的与所述触控操作匹配的内容数据，将与触控操作匹配的内容数据作为至少部分显示内容对应的内容数据。

在一些实施方式中，内容生成模块440可以具体用于：获取设定区域与交互设备之间的第一相对位置关系，设定区域为虚拟扩展内容需要显示的显示区域；基于相对空间位置信息、第一相对位置关系以及内容数据，生成至少部分显示内容对应的虚拟扩展内容。

进一步的，内容生成模块440获取设定区域与交互设备之间的第一相对位置关系，可以包括：读取预先存储的交互区域外的设定区域与交互设备的第一相对位置关系；或者，确定至少部分显示内容被控制移动的移动方向，根据移动方向确定交互区域外的设定区域，并获取设定区域与交互设备的第一相对位置关系；或者，根据至少部分显示内容的内容类型对应的设定区域，确定设定区域与交互设备的第一相对位置关系；或者，获取用户选择的设定区域，并确定设定区域与交互设备的第一相对位置关系。

在一些实施方式中，内容生成模块440基于相对空间位置信息、第一相对位置关系以及内容数据，生成至少部分显示内容对应的虚拟扩展内容，可以包括：当部分显示内容为指定类型的内容时，获取所交互设备的姿态信息；基于姿态信息，对第一相对位置关系进行调整，调整至少包括调整设定区域与交互设备的夹角为预设夹角；基于相对空间位置信息、调整后的第一相对位置关系以及内容数据，生成部分显示内容对应的虚拟扩展内容。

在本申请实施例中，该虚拟内容的显示装置400还可以包括：控件内容获取模块、控件内容显示模块以及内容控制模块。其中，控件内容获取模块用于获取虚拟扩展内容对应的控件内容的内容数据，以及交互区域中的指定位置与交互设备之间的第二相对位置关系，控件内容用于触发对虚拟扩展内容的控制；控件内容显示模块用于基于控件内容的内容数据、第二相对位置关系以及相对空间位置信息，生成控件内容，并将控件内容进行显示；内容控制模块用于当根据交互设备检测的第二操作数据，确定检测到对控件内容的操作时，基于第二操作数据控制虚拟扩展内容的显示。

请参阅图18，本申请又一实施例提供了虚拟内容的显示方法，可应用于上述交互设备，该虚拟内容的显示方法可以包括：

步骤S410：交互设备的交互区域对触控操作进行检测。

步骤S420：当交互设备根据交互区域检测到的触控操作，确定出交互区域显示的显示内容中至少部分显示内容被执行设定操作时，发送指示指令至终端设备，指示指令用于指示终端设备获取至少部分显示内容对应的内容数据，获取终端设备与交互设备之间的相对空间位置信息，基于相对空间位置信息以及内容数据，生成至少部分显示内容对应的虚拟扩展内容，显示虚拟扩展内容，虚拟扩展内容的显示区域与交互区域外的设定区域对应。

交互区域包括触控屏，在发送指示指令至终端设备之后，方法还包括：

在接收到终端设备发送的用于获取至少部分显示内容的内容数据的数据请求时，根据触控屏检测到的触控操作，从触控屏显示的屏幕内容中获取与触控操作匹配的内容数据，并将内容数据发送至终端设备。

请再次参阅图1，本申请实施例提供了一种虚拟内容的显示***10，***包括终端设备100以及交互设备200，终端设备100与交互设备200连接，交互设备200包括交互区域202，其中，交互设备200用于根据交互区域202检测到的触控操作生成操作数据，并将操作数据发送至终端设备100；终端设备100用于接收操作数据，根据操作数据，确定出交互区域202对应的至少部分显示内容被执行设定操作时，获取至少部分显示内容对应的内容数据，获取终端设备100与交互设备200之间的相对空间位置信息，基于相对空间位置信息以及内容数据，生成至少部分显示内容对应的虚拟扩展内容，显示虚拟扩展内容，虚拟扩展内容的显示区域与交互区域202外的设定区域对应。

在一些实施方式中，上述实施例中的终端设备可以外接式/接入式的头戴显示装置，头戴显示装置与交互设备连接。其中，头戴显示装置可以仅完成虚拟扩展内容等其他虚拟内容的显示，以及标记物图像的采集，上述关于对虚拟扩展内容的显示、控制等所有的处理操作，均可由交互设备完成，交互设备在生成虚拟扩展内容后，将虚拟扩展内容对应的显示画面传输至头戴显示装置，即可完成虚拟扩展内容的显示。

综上，本申请提供的方案，可应用于终端设备，终端设备与交互设备连接，交互设备包括交互区域，终端设备通过接收交互设备发送的第一操作数据，第一操作数据为交互设备根据交互区域检测到的触控操作生成，当根据第一操作数据确定出交互区域对应的至少部分显示内被执行设定操作时，获取至少部分显示内容对应的内容数据，获取终端设备与交互设备之间的相对空间位置信息，然后基于相对空间位置信息以及内容数据，生成至少部分显示内容对应的虚拟扩展内容，并显示该虚拟扩展内容。从而实现根据交互设备检测到的对交互区域对应的显示内容的操作，将***作的显示内容对应的虚拟扩展内容显示于虚拟空间，使用户可以看到在虚拟扩展内容叠加于交互区域外的效果，较好实现了与交互区域对应的显示内容的交互显示。请参考图19，其示出了本申请实施例提供的一种终端设备的结构框图。该终端设备100可以是智能手机、平板电脑、头戴显示设备等能够运行应用程序的终端设备。本申请中的终端设备100可以包括一个或多个如下部件：处理器110、存储器120、图像采集装置130以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。

处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个终端设备100内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行终端设备100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作***、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。

存储器120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作***的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端100在使用中所创建的数据等。

在本申请实施例中，图像采集装置130用于采集标记物的图像。图像采集装置130可以为红外摄像头，也可以是彩色摄像头，具体的摄像头类型在本申请实施例中并不作为限定。

请参见图20，其示出了本申请实施例提供的一种交互设备的结构框图。该交互设备可以为智能手机、平板电脑等具有交互区域的电子设备，该交互区域可以包括触控板或者触控屏。交互设备200可以包括一个或多个如下部件：处理器210、存储器220以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器220中并被配置为由一个或多个处理器210执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。

请参考图21，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质800中存储有程序代码，程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质800包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (12)

1.一种虚拟内容的显示方法，其特征在于，应用于终端设备，所述终端设备与交互设备连接，所述交互设备包括交互区域，所述方法包括：

接收所述交互设备发送的第一操作数据，所述第一操作数据为所述交互设备根据所述交互区域检测到的触控操作生成；

当根据所述第一操作数据，确定出所述交互区域对应的至少部分显示内容被执行设定操作时，获取所述至少部分显示内容对应的内容数据；

获取所述终端设备与所述交互设备之间的相对空间位置信息；

获取设定区域与所述交互设备之间的第一相对位置关系，所述设定区域为虚拟扩展内容需要显示的显示区域；

当所述部分显示内容为指定类型的内容时，获取所述交互设备的姿态信息，其中，所述指定类型的内容包括非交互类型的内容，所述非交互类型的内容包括视频类型内容、图像类型内容、界面图案中的至少一种；

基于所述姿态信息，对所述第一相对位置关系进行调整，所述调整至少包括调整所述设定区域与所述交互设备的夹角为预设夹角；

基于所述相对空间位置信息、调整后的第一相对位置关系以及所述内容数据，生成所述部分显示内容对应的虚拟扩展内容；

显示所述虚拟扩展内容，所述虚拟扩展内容的显示区域与所述交互区域外的设定区域对应。

2.根据权利要求1所述的方法，其特征在于，所述获取所述至少部分显示内容对应的内容数据，包括：

根据所述第一操作数据获取所述交互区域检测到的触控位置；

根据所述触控位置确定被执行所述设定操作的至少部分显示内容的显示位置；

根据显示的虚拟内容，获取与所述显示位置匹配的内容数据。

3.根据权利要求1所述的方法，其特征在于，所述交互区域包括触控屏，所述获取所述至少部分显示内容对应的内容数据，包括：

发送数据请求至所述交互设备，所述数据请求用于指示所述交互设备从所述触控屏显示的屏幕内容中，获取指定类型内容的内容数据；

接收所述交互设备发送的指定类型内容的内容数据，将所述指定类型内容的内容数据作为所述至少部分显示内容对应的内容数据；

或者

发送数据请求至所述交互设备，所述数据请求用于指示所述交互设备根据所述触控屏检测到的触控操作，从所述触控屏显示的屏幕内容中获取与所述触控操作匹配的内容数据；

接收所述交互设备发送的与所述触控操作匹配的内容数据，将所述与所述触控操作匹配的内容数据作为所述至少部分显示内容对应的内容数据。

4.根据权利要求1所述的方法，其特征在于，所述获取设定区域与所述交互设备之间的第一相对位置关系，包括：

读取预先存储的所述交互区域外的设定区域与所述交互设备的第一相对位置关系；或者

确定所述至少部分显示内容被控制移动的移动方向，根据所述移动方向确定所述交互区域外的设定区域，并获取所述设定区域与所述交互设备的第一相对位置关系；或者

根据所述至少部分显示内容的内容类型对应的设定区域，确定所述设定区域与所述交互设备的第一相对位置关系；或者

获取用户选择的设定区域，并确定所述设定区域与所述交互设备的第一相对位置关系。

5.根据权利要求1或4所述的方法，其特征在于，所述基于所述相对空间位置信息、所述第一相对位置关系以及所述内容数据，生成所述至少部分显示内容对应的虚拟扩展内容，包括：

当所述部分显示内容为指定类型的内容时，获取所述交互设备的姿态信息；

基于所述姿态信息，对所述第一相对位置关系进行调整，所述调整至少包括调整所述设定区域与所述交互设备的夹角为预设夹角；

基于所述相对空间位置信息、调整后的第一相对位置关系以及所述内容数据，生成所述部分显示内容对应的虚拟扩展内容。

6.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：

获取所述虚拟扩展内容对应的控件内容的内容数据，以及所述交互区域中的指定位置与所述交互设备之间的第二相对位置关系，所述控件内容用于触发对所述虚拟扩展内容的控制；

基于所述控件内容的内容数据、所述第二相对位置关系以及所述相对空间位置信息，生成所述控件内容，并将所述控件内容进行显示；

当根据所述交互设备检测的第二操作数据，确定检测到对所述控件内容的操作时，基于所述第二操作数据控制所述虚拟扩展内容的显示。

7.一种虚拟内容的显示方法，其特征在于，应用于交互设备，所述交互设备与终端设备连接，所述交互设备包括交互区域，所述方法包括：

所述交互设备的交互区域对触控操作进行检测；

当所述交互设备根据所述交互区域检测到的触控操作，确定出所述交互区域显示的显示内容中至少部分显示内容被执行设定操作时，发送指示指令至所述终端设备，所述指示指令用于指示所述终端设备获取所述至少部分显示内容对应的内容数据，获取所述终端设备与所述交互设备之间的相对空间位置信息，基于所述相对空间位置信息以及所述内容数据，生成所述至少部分显示内容对应的虚拟扩展内容，显示所述虚拟扩展内容，所述虚拟扩展内容的显示区域与所述交互区域外的设定区域对应。

8.根据权利要求7所述的方法，其特征在于，所述交互区域包括触控屏，在所述发送指示指令至所述终端设备之后，所述方法还包括：

在接收到所述终端设备发送的用于获取所述至少部分显示内容的内容数据的数据请求时，根据所述触控屏检测到的触控操作，从所述触控屏显示的屏幕内容中获取与所述触控操作匹配的内容数据，并将所述内容数据发送至所述终端设备。

9.一种虚拟内容的显示装置，其特征在于，应用于终端设备，所述终端设备与交互设备连接，所述交互设备包括交互区域，所述装置包括：数据接收模块、数据获取模块、位置获取模块、内容生成模块以及内容显示模块，其中，

所述数据接收模块用于接收所述交互设备发送的第一操作数据，所述第一操作数据为所述交互设备根据所述交互区域检测到的触控操作生成；

所述数据获取模块用于当根据所述第一操作数据，确定出所述交互区域对应的至少部分显示内容被执行设定操作时，获取所述至少部分显示内容对应的内容数据；

所述位置获取模块用于获取所述终端设备与所述交互设备之间的相对空间位置信息；

所述内容生成模块用于获取设定区域与所述交互设备之间的第一相对位置关系，所述设定区域为虚拟扩展内容需要显示的显示区域；当所述部分显示内容为指定类型的内容时，获取所述交互设备的姿态信息，其中，所述指定类型的内容包括非交互类型的内容，所述非交互类型的内容包括视频类型内容、图像类型内容、界面图案中的至少一种；基于所述姿态信息，对所述第一相对位置关系进行调整，所述调整至少包括调整所述设定区域与所述交互设备的夹角为预设夹角；基于所述相对空间位置信息、调整后的第一相对位置关系以及所述内容数据，生成所述部分显示内容对应的虚拟扩展内容；

所述内容显示模块用于显示所述虚拟扩展内容，所述虚拟扩展内容的显示区域与所述交互区域外的设定区域对应。

10.一种虚拟内容的显示***，其特征在于，所述***包括终端设备以及交互设备，所述终端设备与所述交互设备连接，所述交互设备包括交互区域，其中，

所述交互设备用于根据所述交互区域检测到的触控操作生成操作数据，并将所述操作数据发送至所述终端设备；

所述终端设备用于接收所述操作数据，根据所述操作数据，确定出所述交互区域对应的至少部分显示内容被执行设定操作时，获取所述至少部分显示内容对应的内容数据，获取所述终端设备与所述交互设备之间的相对空间位置信息，获取设定区域与所述交互设备之间的第一相对位置关系，所述设定区域为虚拟扩展内容需要显示的显示区域；当所述部分显示内容为指定类型的内容时，获取所述交互设备的姿态信息，其中，所述指定类型的内容包括非交互类型的内容，所述非交互类型的内容包括视频类型内容、图像类型内容、界面图案中的至少一种；基于所述姿态信息，对所述第一相对位置关系进行调整，所述调整至少包括调整所述设定区域与所述交互设备的夹角为预设夹角；基于所述相对空间位置信息、调整后的第一相对位置关系以及所述内容数据，生成所述部分显示内容对应的虚拟扩展内容，显示所述虚拟扩展内容，所述虚拟扩展内容的显示区域与所述交互区域外的设定区域对应。

11.一种终端设备，其特征在于，包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于执行如权利要求1-6任一项所述的方法。

12.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-8任一项所述的方法。