CN111563966B - 虚拟内容显示方法、装置、终端设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种虚拟内容显示方法、装置、终端设备及存储介质，涉及显示技术领域。该虚拟内容显示方法应用于终端设备，该虚拟内容显示方法包括：识别目标标记物，并获取所述目标标记物相对所述终端设备的位置及姿态信息；基于待显示的虚拟内容，获取所述虚拟内容相对于指定平面的倒影内容，所述指定平面为虚拟空间中所述虚拟内容的底部所在的水平面；根据所述位置及姿态信息，获取所述虚拟内容以及所述倒影内容在所述虚拟空间的渲染位置；根据所述渲染位置，渲染所述虚拟内容以及所述倒影内容；显示所述虚拟内容及所述倒影内容。本方法可以实现虚拟内容以及与虚拟内容对应的倒影内容的同时显示。

Description

虚拟内容显示方法、装置、终端设备及存储介质

技术领域

本申请涉及显示技术领域，更具体地，涉及一种虚拟内容显示方法、装置、终端设备及存储介质。

背景技术

随着科技的发展，机器智能化及信息智能化日益普及，通过机器视觉或者虚拟视觉等图像采集装置来识别用户影像以实现人机交互的技术越来越重要。增强现实技术(Augmented Reality，AR)借助计算机图形技术和可视化技术构建现实环境中不存在的虚拟内容，并通过图像识别定位技术将虚拟内容准确地融合到真实环境中，借助显示设备将虚拟内容与真实环境融为一体，并显示给使用者真实的感观体验。增强现实技术要解决的首要技术难题是如何将虚拟内容准确地融合到真实世界中，也就是要使虚拟内容以正确的角度姿态出现在真实场景的正确位置上，从而产生强烈的视觉真实感。因此，如何提升虚拟内容的显示效果是增强现实或混合现实的重要研究方向。

发明内容

鉴于上述问题，本申请实施例提出了一种虚拟内容显示方法、装置、终端设备及存储介质，能够提升虚拟内容的显示效果，以提高真实感。

第一方面，本申请实施例提供了一种虚拟内容显示方法，应用于终端设备，所述方法包括：识别目标标记物，并获取所述目标标记物相对所述终端设备的位置及姿态信息；基于待显示的虚拟内容，获取所述虚拟内容相对于指定平面的倒影内容，所述指定平面为虚拟空间中所述虚拟内容的底部所在的水平面；根据所述位置及姿态信息，获取所述虚拟内容以及所述倒影内容在所述虚拟空间的渲染位置；根据所述渲染位置，渲染所述虚拟内容以及所述倒影内容；显示所述虚拟内容及所述倒影内容。

第二方面，本申请实施例提供了一种虚拟内容显示装置，应用于终端设备，所述装置包括：图像识别模块、内容获取模块、位置获取模块、渲染模块以及显示模块，其中，所述图像识别模块用于识别目标标记物，并获取所述目标标记物相对所述终端设备的位置及姿态信息；所述内容获取模块用于基于待显示的虚拟内容，获取所述虚拟内容相对于指定平面的倒影内容，所述指定平面为虚拟空间中所述虚拟内容的底部所在的水平面；所述位置获取模块，用于根据所述位置及姿态信息，获取所述虚拟内容以及所述倒影内容在所述虚拟空间的渲染位置；所述渲染模块，用于根据所述渲染位置，渲染所述虚拟内容以及所述倒影内容；所述显示模块，用于显示所述虚拟内容及所述倒影内容。

第三方面，本申请实施例提供了一种终端设备，包括：一个或多个处理器；存储器；一个或多个应用程序，其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序配置用于执行上述第一方面提供的虚拟内容显示方法。

第四方面，本申请实施例提供了一种计算机可读取存储介质，计算机可读取存储介质中存储有程序代码，程序代码可被处理器调用执行上述第一方面提供的虚拟内容显示方法。

本申请实施例提供的方案，应用于终端设备，通过识别目标标记物，获取目标标记物相对终端设备的位置及姿态信息，并基于待显示的虚拟内容，获取虚拟内容相对于指定平面的倒影内容，其中，该指定平面为虚拟空间中虚拟内容的底部所在的水平面，然后根据位置及姿态信息，获取虚拟内容以及倒影内容在虚拟空间的渲染位置，最后根据渲染位置，渲染虚拟内容以及所述倒影内容，并显示所述虚拟内容及所述倒影内容，从而根据实际标记物与终端的相对位置及姿态关系，实现虚拟内容以及虚拟内容的倒影内容的显示，提升虚拟内容的显示效果，提高增强现实中虚拟内容的真实感。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了一种适用于本申请实施例的应用环境示意图。

图2示出了根据本申请一个实施例的虚拟内容显示方法流程图。

图3示出了根据本申请实施例提供的一种模型数据示意图。

图4示出了根据本申请实施例的一种显示效果示意图。

图5示出了根据本申请实施例的另一种显示效果示意图。

图6示出了根据本申请另一个实施例的虚拟内容显示方法流程图。

图7示出了根据本申请实施例提供的一种模型数据示意图。

图8示出了根据本申请实施例的虚拟内容显示方法中步骤S230的流程图。

图9A-9B示出了根据本申请实施例的一种显示效果示意图。

图10示出了根据本申请实施例的另一种显示效果示意图。

图11示出了根据本申请实施例的虚拟内容显示方法中步骤S240的流程图。

图12示出了根据本申请实施例的又一种显示效果示意图。

图13示出了根据本申请实施例的再一种显示效果示意图。

图14示出了根据本申请实施例的还一种显示效果示意图。

图15示出了根据本申请实施例的又另一种显示效果示意图。

图16示出了根据本申请实施例的又再一种显示效果示意图。

图17示出了根据本申请实施例的又还一种显示效果示意图。

图18示出了根据本申请一个实施例的虚拟内容显示装置的框图。

图19是本申请实施例的用于执行根据本申请实施例的虚拟内容显示方法的终端设备的框图。

图20是本申请实施例的用于保存或者携带实现根据本申请实施例的虚拟内容显示方法的程序代码的存储单元。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

近年来，随着科技的进步，增强现实(AR，Augmented Reality)等技术已逐渐成为国内外研究的热点，增强现实是通过计算机***提供的信息增加用户对现实世界感知的技术，其将计算机生成的虚拟对象、场景或***提示信息等内容对象叠加到真实场景中，来增强或修改对现实世界环境或表示现实世界环境的数据的感知。在传统的增强现实的显示技术中，在利用设备进行显示虚拟内容(如虚拟的人物、动物等虚拟对象)时，通常仅会显示虚拟对象本身，可能会造成真实感较弱的情况。

针对上述问题，发明人经过研究，提出了本申请实施例中的虚拟内容显示方法、装置、终端设备及存储介质，对虚拟内容以及与虚拟内容对应的倒影内容进行增强现实的显示，以提升虚拟内容的显示效果。

下面对本申请实施例提供的虚拟内容显示方法的应用场景进行介绍。

请参见图1，示出了本申请实施例提供的虚拟内容显示方法的应用场景的示意图，该应用场景包括显示***10。该显示***10包括：终端设备100以及标记物200。

在本申请实施例中，终端设备100可以是头戴显示装置，也可以是手机、平板等移动设备。终端设备100为头戴显示装置时，头戴显示装置可以为一体式头戴显示装置。终端设备100也可以是与外接式/接入式头戴显示装置连接的手机等智能终端，即终端设备100可作为头戴显示装置的处理和存储设备，***或者接入外接式头戴显示装置，在头戴显示装置中对虚拟内容进行显示。

在本申请实施例中，上述标记物200的图像存储于终端设备100中。上述标记物200可以包括至少一个具有一个或者多个特征点的子标记物。当上述标记物200处于终端设备100的视野范围内时，终端设备100可将上述处于视野范围内的标记物200作为目标标记物，并采集包含该目标标记物的图像。在采集到包含该目标标记物的图像时，可以识别采集到的目标标记物的图像，得到目标标记物相对终端设备100的位置、姿态等空间位置信息，以及目标标记物的身份信息等识别结果，对目标标记物进行定位及追踪。终端设备100可基于目标标记物相对终端设备100的位置、姿态等信息显示相应的虚拟内容。可以理解地，具体的标记物200在本申请实施例中并不作为限定，仅需可以被终端设备识别追踪即可。

例如，请再次参阅图1，终端设备100为头戴显示装置，用户可以通过佩戴的头戴显示装置，实时扫描标记物200，可以看到虚拟人物401与虚拟动物402与现实空间的叠加显示，体现了虚拟内容的增强现实的显示效果，提升了虚拟内容的显示效果。

基于上述显示***，本申请实施例提供了一种虚拟内容显示方法，应用于上述显示***的终端设备。下面对具体的虚拟内容显示方法进行介绍。

请参阅图2，本申请实施例提供了一种虚拟内容显示方法，可应用于终端设备，该虚拟内容显示方法可以包括：

步骤S110：识别目标标记物，并获取目标标记物相对终端设备的位置及姿态信息。

传统的增强现实的显示技术中，通常仅会显示虚拟内容本身，导致真实感较弱，因此可以通过在实现虚拟内容的增强现实的显示时，同时实现虚拟内容的倒影内容的增强现实的显示，以增强虚拟内容的真实感，提高虚拟内容的显示效果。现实世界中的倒影可指的是物体在成像介质上(例如水、镜面等)形成的虚像，在显示虚拟内容的同时，显示虚拟内容对应的倒影，可使虚拟内容更贴合现实世界，提高增强现实的效果。

在本申请实施例中，在实现对虚拟内容以及虚拟内容的倒影内容进行显示时，终端设备可以识别目标标记物，以得到目标标记物的识别结果，该识别结果至少包括目标标记物相对终端设备的位置及姿态信息，从而终端设备可以获取到目标标记物相对终端设备的位置及姿态信息。其中，姿态信息为目标标记物相对终端设备的相对朝向及旋转角度等。

在一些实施方式中，上述目标标记物可以包括至少一个子标记物，子标记物可以是具有一定形状的图案。在一个实施例中，每个子标记物可具有一个或多个特征点，其中，特征点的形状不做限定，可以是圆点、圆环，也可以是三角形、其他形状。另外，不同目标标记物内的子标记物的分布规则不同，因此，每个目标标记物可具备不同的身份信息。终端设备通过识别目标标记物中包含的子标记物，可以获取与目标标记物对应的身份信息，该身份信息可以是编码等可用于唯一标识目标标记物的信息，但不限于此。

作为一种实施方式，目标标记物的轮廓可以为矩形，当然，目标标记物的形状也可以是其他形状，在此不做限定，矩形的区域以及该区域内的多个子标记物构成一个目标标记物。当然，上述目标标记物也可以为由光点构成的自身可以发光的物体等，光点标记物可以发射不同波段或不同颜色的光，终端设备通过识别光点标记物发出的光的波段或颜色等信息获取与目标标记物对应的身份信息。需要说明的是，具体的目标标记物的形状、样式、尺寸、颜色、特征点数量以及分布在本实施例中并不作为限定，仅需要标记物能被终端设备识别追踪即可。

在本申请实施例中，上述目标标记物可以放置在现实世界中的任意位置，保证目标标记物在终端设备的视野范围内即可，以供终端设备对其进行识别并得到上述相对空间位置信息。例如，目标标记物可以放置在标记板上，也可以放置地面上、桌面上等。

作为一种实施方式，终端设备可以先通过图像采集装置采集包含目标标记物的图像，然后再对该目标标记物进行识别。其中，终端设备采集包含目标标记物的图像，可以是通过调整终端设备的空间位置，也可以通过调整目标标记物的空间位置，以使该目标标记物处于终端设备的图像采集装置的视野范围内，从而使终端设备可以对该目标标记物进行图像采集和图像识别。其中，图像采集装置的视野范围可以由视场角的大小决定。

作为另一种实施方式，终端设备还可以通过其他传感器装置对目标标记物进行识别。其中，该传感器装置具有识别标记物的功能，可以为图像传感器、光传感器等。当然，以上传感器装置仅为举例，并不代表对本申请实施例中的传感器装置的限定。同理，也可以通过调整终端设备的空间位置，或者调整目标标记物的空间位置，以使该目标标记物处于传感器装置的感应范围内，从而使终端设备可以对该目标标记物进行图像识别。其中，传感器装置的感应范围可以由灵敏度大小决定。

步骤S120：基于待显示的虚拟内容，获取虚拟内容相对于指定平面的倒影内容，指定平面为虚拟空间中虚拟内容的底部所在的水平面。

在本申请实施例中，上述待显示的虚拟内容是一种能够被呈现出倒影的3D物体，如3D虚拟人物、3D虚拟动物、3D艺术展品、3D玩偶、3D家具、3D书籍、3D机械模型等。

可以理解的是，在实现虚拟内容以及虚拟内容的倒影内容渲染于虚拟空间时，终端设备需要获取虚拟内容以及虚拟内容的倒影内容。其中，终端设备可以在获取到待显示的虚拟内容后，基于待显示的虚拟内容，获取到虚拟内容相对于指定平面的倒影内容，其中，该指定平面可以为虚拟空间中虚拟内容的底部所在的水平面。

具体地，终端设备可以先获取待显示的虚拟内容的模型数据，该模型数据可以包括用于构建虚拟内容对应的模型的颜色、模型顶点坐标、模型轮廓数据等，虚拟内容的模型数据可以存储于终端设备中，也可以存储于其他电子设备。然后根据虚拟内容对应的模型数据，将该模型的最底部的顶点所在的水平面作为指定平面，利用镜面反射原理，得到虚拟内容相对于该指定平面的镜像内容，该镜像内容即为虚拟内容的倒影内容，也就是说，终端设备可以根据虚拟内容对应的模型数据以及指定平面的数据，来获取到倒影内容对应的模型数据，其中，倒影内容对应的模型数据与虚拟内容对应的模型数据一一对应，也可以包括用于构建倒影内容对应的模型的颜色、模型顶点坐标、模型轮廓数据等。例如，请参见图3，指定平面为虚拟动物对应的模型301的最底部的顶点所在的水平面302，通过上述方式可以得到倒影内容对应的模型303。

可以理解的是，上述指定平面可以视为用于获取倒影内容的辅助工具。

在一些实施例中，上述虚拟内容相对于指定平面的倒影内容，可以是终端设备根据待显示的虚拟内容的数据以及指定平面的数据，利用镜面反射原理，计算出虚拟内容相对于指定平面的倒影内容的数据，从而终端设备可以得到虚拟内容相对于指定平面的倒影内容。也可以是终端设备从服务器处下载虚拟内容的倒影内容。例如，终端设备可以将待显示的虚拟内容与指定平面的数据发送至服务器，服务器根据该待显示的虚拟内容与指定平面的数据，利用镜面反射原理，计算出倒影内容的数据，然后服务器将得到的倒影内容的数据结果返回至终端设备，以使终端设备可以得到虚拟内容相对于指定平面的倒影内容。同理，还可以是终端设备从其他终端处获取虚拟内容的倒影内容。

步骤S130：根据位置及姿态信息，获取虚拟内容以及倒影内容在虚拟空间的渲染位置。

终端设备可获取虚拟内容以及倒影内容在虚拟空间的渲染位置。在一些实施例中，终端设备可以根据上述位置及姿态信息，获取虚拟内容以及倒影内容在虚拟空间的渲染位置。

在一些实施方式中，由于终端设备已经得到目标标记物相对终端设备的位置及姿态等信息，因此，终端设备可以获取到现实空间中的目标标记物的空间位置坐标，将该空间位置坐标转换为虚拟空间中的空间坐标。其中，虚拟空间中可包括虚拟摄像头，该虚拟摄像头用于模拟用户的人眼，虚拟摄像头在虚拟空间中的位置可看作终端设备在虚拟空间中的位置。可根据虚拟空间中需要显示的虚拟内容与目标标记物的位置关系，以及虚拟内容与倒影内容的位置关系，以虚拟摄像头作为参照，则可以获取到虚拟内容以及倒影内容各自相对虚拟摄像头的空间位置，从而得到虚拟内容以及倒影内容各自在虚拟空间中的渲染坐标，即得到了虚拟内容以及倒影内容各自的渲染位置(虚拟内容的渲染位置下称第一渲染位置，倒影内容的渲染位置下称第二渲染位置)，第一渲染位置可用作虚拟内容的渲染坐标，以实现虚拟内容渲染于第一渲染位置处，同理，第二渲染位置可用作倒影内容的渲染坐标，以实现倒影内容渲染于第二渲染位置处。其中，上述渲染坐标指的是虚拟内容或者倒影内容在虚拟空间中以头戴显示装置为原点(也可看作是以人眼为原点)的三维空间坐标。

步骤S140：根据所述渲染位置，渲染所述虚拟内容以及所述倒影内容。

在本申请实施例中，终端设备在得到上述渲染位置后，可以根据上述渲染位置，渲染虚拟内容以及倒影内容。

可以理解的是，在得到用于虚拟空间中渲染虚拟内容以及倒影内容的渲染坐标之后，终端设备可以获取待显示的虚拟内容的数据以及倒影内容的数据，然后根据虚拟内容的数据构建虚拟内容，根据倒影内容的数据构建倒影内容，以及根据上述渲染坐标渲染该虚拟内容以及倒影内容，其中，渲染虚拟内容以及倒影内容，可以得到虚拟内容以及倒影内容中各个像素点的RGB值及对应的像素点坐标等。其中，上述待显示的虚拟内容对应的数据以及倒影内容对应的数据，可以包括虚拟内容以及倒影内容的模型数据，模型数据为用于渲染虚拟内容以及倒影内容的数据。例如，模型数据可以包括用于建立虚拟内容以及倒影内容对应的颜色数据、顶点坐标数据、轮廓数据等。

步骤S150：显示虚拟内容及倒影内容。

终端设备可以对渲染后的虚拟内容以及倒影内容进行显示，其中，虚拟内容以及倒影内容的显示位置与虚拟内容以及倒影内容的渲染位置对应，该显示位置可以理解为用户通过头戴显示设备看到的虚拟内容以及倒影内容在现实世界中显示的位置。从而实现虚拟内容以及倒影内容显示于虚拟空间，使用户可以看到虚拟内容以及倒影内容叠加于真实世界的效果。

例如，请参阅图4，用户可以通过佩戴的头戴显示装置，实时扫描标记物200，可以看到虚拟人物(304)、虚拟动物(306)、虚拟人物的倒影(305)以及虚拟动物的倒影(307)与现实空间的叠加显示，体现了虚拟内容的增强现实的显示效果，提升了虚拟内容的显示效果。

在一些实施例中，倒影内容的显示位置可以是在现实世界中的任意平面上，即倒影内容的显示位置可以与现实世界中的某个平面重叠。例如，请参阅图5，用户可以通过佩戴的头戴显示装置，实时扫描地面上的标记物200，可以看到虚拟人物(304)、虚拟动物显示在现实空间的桌面上，虚拟人物的倒影(305)以及虚拟动物的倒影显示在该现实空间的桌面中，给用户造成一种桌面对虚拟人物(304)、虚拟动物进行反射产生倒影的错觉，提高了虚拟内容的真实感，提升了增强现实场景中虚拟内容的显示效果。当然，倒影内容的显示位置可以是在标记物所对应的平面。

本申请实施例提供的虚拟内容显示方法，通过识别目标标记物，获取到目标标记物相对终端设备的位置及姿态信息，并基于待显示的虚拟内容，获取到虚拟内容相对于指定平面的倒影内容，其中，指定平面为虚拟空间中虚拟内容的底部所在的水平面，然后根据位置及姿态信息，获取虚拟内容以及倒影内容在虚拟空间的渲染位置，最后根据渲染位置，渲染虚拟内容以及倒影内容，以及显示虚拟内容及倒影内容，实现虚拟内容与倒影内容显示于虚拟空间，使用户可以观察到虚拟内容与倒影内容叠加于真实场景的显示效果，提升了虚拟内容的显示效果。

请参阅图6，本申请另一实施例提供了一种虚拟内容显示方法，可应用于终端设备，该虚拟内容显示方法可以包括：

步骤S210：识别目标标记物，并获取目标标记物相对终端设备的位置及姿态信息。

在一些实施方式中，终端设备识别上述目标标记物后，还可以得到目标标记物的身份信息，也就是说，终端设备在识别目标标记物或者识别包含有目标标记物的图像之后，可以得到目标标记物相对终端设备的位置及姿态信息，以及目标标记物的身份信息。

步骤S220：基于待显示的虚拟内容，获取虚拟内容相对于指定平面的倒影内容，指定平面为虚拟空间中虚拟内容的底部所在的水平面。

进一步的，可以获取身份信息对应的至少一个虚拟内容。可以理解的，不同的目标标记物可以对应不同的虚拟内容，也就是说，目标标记物的身份信息与虚拟内容具有对应关系，因此，终端设备可以根据目标标记物的身份信息以及该对应关系，获取到目标标记物的身份信息对应的虚拟内容，并将该身份信息对应的虚拟内容作为待显示的虚拟内容。从而可以根据该虚拟内容获取到倒影内容，以进行虚拟内容以及倒影内容的显示。在一些实施方式中，该对应关系可以存储于终端设备中，也可以存储于服务器中，还可以存储在其他终端处。例如，身份信息为“编号1”的第一标记物对应的虚拟内容为三维虚拟汽车，身份信息为“编号2”的第二标记物对应的虚拟内容为三维虚拟建筑等。在一个实施例中，待显示的虚拟内容也可以是预先设置的，与目标标记物的身份信息没有直接的关联关系，也即，当终端设备采集到目标标记物的图像后，可根据目标标记物的位置及姿态信息显示预先设置的虚拟内容。

在一些实施例中，终端设备在获取到待显示的虚拟内容后，可以基于待显示的虚拟内容，获取虚拟内容相对于指定平面的倒影内容。其中，上述获取虚拟内容相对于指定平面的倒影内容，可以包括：

以指定平面为镜面反射面，利用镜面反射矩阵，获取虚拟内容相对于指定平面的倒影内容。

其中，上述镜面反射面为光滑平面，当平行入射的光线射到该镜面反射面时，可以平行地向一个方向反射出来。每个镜面反射面都存在一个镜面反射矩阵，空间中的任意一点的坐标都可以根据镜面反射矩阵，得到该点关于镜面反射面的对称点，因此，可以通过将虚拟内容对应的模型的各个顶点坐标，与镜面反射矩阵进行运算，得到每个顶点坐标关于镜面反射面的对称点，每个对称点可作为虚拟内容的倒影内容对应的模型的各个顶点坐标，从而得到虚拟内容相对于镜面反射面的倒影内容。

在一些实施例中，镜面反射矩阵可以为下述矩阵：

需要说明的是，矩阵中的n_x、n_y、n_z为镜面反射面的单位法向量(n_x，n_y，n_z)中的数值。

因此，在一些实施例中，可以将上述指定平面作为镜面反射面，即将虚拟内容的底部所在的水平面作为镜面反射面，根据指定平面的镜面反射矩阵，获取虚拟内容相对于指定平面的倒影内容。作为一种方式，可以获取指定平面的单位法向量，以确定指定平面的镜面反射矩阵，并获取虚拟内容对应的模型的各个顶点的坐标，以根据指定平面的镜面反射矩阵，得到倒影内容对应的模型的各个顶点的坐标，从而得到虚拟内容相对于指定平面的倒影内容。

在一些实施例中，终端设备可在虚拟空间中建立世界坐标系，并根据世界坐标系对虚拟内容的各个顶点在竖直方向(即垂直于水平面的方向)上的坐标进行翻转，得到虚拟内容对应的倒影内容。虚拟空间的世界坐标系可以与现实世界中的地面重合，也可以与现实世界中的地面平行。终端设备可根据现实世界的地面位置建立虚拟空间中的世界坐标系，该世界坐标系的X0Z平面与现实世界的地面重合，世界坐标系的Y轴垂直地面向上。在一个实施例中，上述指定平面与世界坐标系的X0Z平面平行，可将虚拟内容的各个顶点相对于指定平面在Y轴上的坐标进行翻转，获取到虚拟内容相对于指定平面的倒影内容，其中，在Y轴上的坐标进行翻转可指的是虚拟内容顶点的Y坐标与指定平面Y坐标的差值，和对应翻转后的Y坐标与指定平面Y坐标的差值相同，也即，虚拟内容的顶点到指定平面的距离与翻转后对应顶点到指定平面的距离相同。如图7所示，可以看出，得到的倒影内容320的对应的模型的各个顶点坐标中，与虚拟内容310对应的模型的各个顶点坐标相比(如图中A₂点与A₁)，仅有Y坐标发生了变化，X坐标及Z坐标保持不变，其中，倒影内容的各个顶点坐标的Y坐标与虚拟内容的各个顶点坐标的Y坐标，相对指定平面对称。因此，当指定平面与世界坐标系的X0Z平面平行时，可以仅对虚拟内容的各个顶点坐标中的Y坐标进行运算，以获取Y坐标相对于指定平面的对称Y坐标，从而得到倒影内容对应的模型的各个顶点的坐标，进而得到虚拟内容相对于指定平面的倒影内容。

作为一种实施方式，可以获取虚拟内容的各个顶点坐标的Y坐标与指定平面的Y坐标的差值，通过用虚拟内容的各个顶点坐标的Y坐标减去2倍对应的与指定平面Y坐标的差值，即可得到倒影内容的各个顶点坐标的Y坐标，从而得到倒影内容对应的模型的各个顶点的坐标，进而得到虚拟内容相对于指定平面的倒影内容。例如，虚拟内容的A顶点在世界坐标系中的Y坐标为8，指定平面在世界坐标系中的Y坐标为5，A顶点的Y坐标与指定平面的Y坐标的差值为3，则对应倒影内容的顶点的Y坐标为8-3*2＝2。

可以理解的是，上述利用Y坐标获取倒影内容的各个顶点坐标的方式，适用于直上直下的镜面反射，即反射出的倒影内容与虚拟内容是一模一样的，直接是虚拟内容的倒转，例如需要在地面、桌面、marker板等平行放置的平面实现倒影内容的显示的应用场景。无需对虚拟内容的每个顶点坐标进行矩阵乘法的运算，可以降低运算量，保证实时渲染虚拟内容的倒影内容的效率，提高虚拟内容的显示效果。

步骤S230：根据位置及姿态信息，获取虚拟内容以及倒影内容在虚拟空间的渲染位置。

在一些实施例中，终端设备可以根据环境光源的光源方向，确定虚拟倒影的显示方向。具体地，请参阅图8，上述根据位置及姿态信息，获取虚拟内容以及倒影内容在虚拟空间的渲染位置，可以包括：

步骤S231：根据目标标记物所处环境的光源的光线路径方向，确定倒影内容的显示方向。

在一些实施方式中，终端设备可以根据目标标记物所处环境的光源的光线路径方向，即现实空间中的光源的光线路径方向，来确定虚拟空间中倒影内容的显示方向。其中，倒影内容的显示方向，可以理解为，倒影内容相对于虚拟内容的显示方向，如倒影内容显示在虚拟内容的前方、后方、侧方向等。

作为一种实施方式，由于终端设备已经得到目标标记物相对终端设备的位置及姿态等信息等，因此，终端设备可以获取到现实空间中的目标标记物的空间位置坐标，然后根据现实空间中的光源的光线路径方向，确定现实空间中的光源相对于目标标记物的空间位置，再根据虚拟空间中虚拟内容与目标标记物的位置关系，确定虚拟内容与光源的位置关系，从而可以根据虚拟内容与光源的位置关系，确定倒影内容的显示方向。例如，请参见图9A，虚拟内容310为虚拟人物，光源在虚拟人物的前方时，倒影内容320显示在虚拟人物的前方，又例如，请参见图9B，光源在虚拟人物的后方时，倒影内容320显示在虚拟人物的后方。

在另一些实施方式中，终端设备也可以根据虚拟空间中的光源的光线路径方向，确定倒影内容的显示方向。例如，终端设备可以获取虚拟内容以及虚拟内容的场景内容，其中，场景内容包括虚拟光源，终端设备可以根据虚拟内容与虚拟光源的位置关系，来确定倒影内容的显示方向。

步骤S232：根据位置及姿态信息确定虚拟内容的第一渲染位置，并根据位置、姿态信息以及显示方向，确定倒影内容的第二渲染位置。

由于终端设备已经得到目标标记物相对终端设备的位置及姿态等信息，因此，终端设备可以获取到现实空间中的目标标记物的空间位置坐标，将该空间位置坐标转换为虚拟空间中的空间坐标。其中，虚拟空间中可包括虚拟摄像头，该虚拟摄像头用于模拟用户的人眼，虚拟摄像头在虚拟空间中的位置可看作终端设备在虚拟空间中的位置。可根据虚拟空间中需要显示的虚拟内容与目标标记物的位置关系，以虚拟摄像头作为参照，则可以获取到虚拟内容相对虚拟摄像头的第一空间位置，从而得到虚拟内容在虚拟空间中的第一渲染坐标，即得到了虚拟内容的第一渲染位置。同理，可根据虚拟空间中需要显示的虚拟内容与目标标记物的位置关系、虚拟内容与倒影内容的位置关系以及倒影内容相对于虚拟内容的显示方向，以虚拟摄像头作为参照，则可以获取到倒影内容相对虚拟摄像头的第二空间位置，从而得到倒影内容在虚拟空间中的第二渲染坐标，即得到了倒影内容的第二渲染位置。其中，上述渲染坐标指的是虚拟内容或者倒影内容在虚拟空间中以头戴显示装置为原点(也可看作是以人眼为原点)的三维空间坐标。

另外，在一些实施例中，终端设备还可以根据环境光源的亮度，设置倒影内容的显示亮度。作为一种实施方式，环境光源为现实空间中的光源时，终端设备可以通过光线传感器等采集所处环境的光源亮度，也可以通过拍摄周围环境的图像，对图像进行识别、处理，得到环境光源的亮度，以在得到光源的亮度后，实时改变倒影内容的显示亮度。作为另一种实施方式，环境光源为虚拟空间中的光源时，终端设备可以根据获取到的虚拟内容的场景内容的构建数据，来得到虚拟光源的亮度值，从而根据虚拟光源的亮度值，设置倒影内容的显示亮度。例如，光源较亮时，显示的倒影内容较明亮，倒影内容比较明显，光源较暗时，显示的倒影内容较暗，倒影内容不明显。

例如，请参见图9A，头戴显示装置通过图像采集装置采集地面上的标记物200的图像，可以获取标记物200的位置及姿态信息，并显示虚拟内容310及倒影内容320，用户通过头戴显示装置，现实空间中光线较亮时，可以看见虚拟内容310叠加显示于现实空间中的桌面上，倒影内容320叠加显示于现实空间中的桌面中，倒影内容320比较明显，又例如，请参见图9B，现实空间中光线较暗时，倒影内容320比较暗淡。

步骤S240：根据渲染位置，渲染虚拟内容以及倒影内容。在一些实施例中，终端设备在得到上述渲染位置后，可根据上述渲染位置，将虚拟内容以及倒影内容渲染于虚拟空间中的某个虚拟平面上，具体地，虚拟内容渲染于该虚拟平面上方，倒影内容渲染于该虚拟平面中。在需要实现虚拟内容以及倒影内容与现实空间的叠加现实时，可以将虚拟平面重合显示于现实空间中的平面。因此，上述根据渲染位置，渲染虚拟内容以及倒影内容，可以包括：

根据渲染位置，渲染虚拟内容以及倒影内容，其中，倒影内容渲染于待显示平面中，待显示平面为虚拟空间中虚拟内容对应的倒影面。

在一些实施方式中，虚拟内容的渲染位置可以是在虚拟空间中的待显示平面的上方，倒影内容的渲染位置可以是在虚拟空间中的待显示平面之中。具体地，终端设备可以根据虚拟内容的数据以及倒影内容的数据渲染出虚拟内容以及倒影内容，并根据虚拟内容以及倒影内容的渲染位置，将虚拟内容渲染于待显示平面的上方，将倒影内容渲染于待显示平面之中，其中，待显示平面为虚拟空间中虚拟内容对应的倒影面，即可看作用于倒影出虚拟内容的倒影的平面，该待显示平面也可以理解为对倒影内容进行显示的虚拟平面。

在一些实施方式中，虚拟内容的底部可以与待显示平面不完全贴合，也就是说，虚拟内容可以与待显示平面存在一定距离。可以理解的是，虚拟内容的底部与待显示平面进行完全贴合或者不完全贴合时，倒影内容都会渲染在待显示平面之中。例如，请参见图10，虚拟内容310与待显示平面330存在一定距离，倒影内容313仍然显示在待显示平面312上。

进一步的，在一些实施例中，为防止倒影内容的渲染区域超出待显示平面的平面区域，终端设备可以限制倒影内容的渲染区域。具体地，请参见图11，上述根据渲染位置，渲染虚拟内容以及倒影内容，可以包括：

步骤S241：根据渲染位置，确定倒影内容中处于待显示平面的部分倒影内容。

在一些实施方式中，终端设备需要限制倒影内容的渲染区域时，可以将待显示平面的平面区域作为倒影内容的渲染区域，即终端设备不会对超出待显示平面的平面区域的倒影内容进行渲染。因此，终端设备需要获取待显示平面内的倒影内容。具体地，终端设备可以根据倒影内容的渲染位置，确定倒影内容中处于待显示平面的部分倒影内容，从而终端设备可以获取到待显示平面内的倒影内容。

作为一种实施方式，终端设备可以根据待显示平面的区域边界线，对处于区域边界线内的倒影内容进行截取，截取到的倒影内容就是倒影内容中处于待显示平面的部分倒影内容。

在另一些实施例中，终端设备可以根据是现实空间中的实体平面的平面区域大小，限制倒影内容的渲染区域。例如，终端设备可以通过图像采集装置实时采集实体平面的图像，并对该图像进行识别，以得到实体平面的平面区域大小，从而终端设备可以根据实体平面的平面区域大小，设定待显示平面的平面区域大小，进而仅对待显示平面内的部分倒影内容进行渲染。这样，通过将倒影内容的渲染区域与现实空间中的实体平面进行匹配，使得用户通过头戴显示装置看到的效果是倒影内容只叠加显示在实体平面上。

步骤S242：根据渲染位置，渲染虚拟内容以及部分倒影内容。

终端设备在获取到处于待显示平面内的部分倒影内容后，可以根据虚拟内容以及部分倒影内容的渲染位置，将虚拟内容渲染于待显示平面上方，部分倒影内容渲染于待显示平面中。例如，请参见图12，可以看到虚拟内容310渲染于待显示平面上方，部分倒影内容340渲染于待显示平面中。

步骤S250：显示虚拟内容及倒影内容。

可以理解的是，终端设备在渲染虚拟内容以及倒影内容之后，可以获取渲染后的虚拟内容及倒影内容的显示数据，该显示数据可以包括显示画面中各个像素点的RGB值及对应的像素点坐标等，终端设备可根据该显示数据生成显示画面，并将显示画面投射到显示镜片上，从而显示出虚拟内容及倒影内容。用户通过头戴显示装置的显示镜片，可以看到虚拟内容及倒影内容叠加显示在真实世界中，实现增强现实的效果。

在一些实施例中，当终端设备渲染虚拟内容以及倒影内容是按照上述步骤S241以及步骤S242，渲染出虚拟内容及部分倒影内容时，终端设备可以根据虚拟内容及部分倒影内容的显示数据，对虚拟内容及部分倒影内容进行显示。其中，部分倒影内容的显示数据可以包括显示画面中部分倒影内容的各个像素点的RGB值及对应的像素点坐标等。终端设备可根据部分倒影内容的显示数据生成显示画面，并将显示画面投射到显示镜片上，从而显示出虚拟内容及部分倒影内容。

例如，请参见图15，用户通过佩戴的头戴显示装置，可以看到虚拟内容310以及部分倒影内容340与现实空间的叠加显示，体现了虚拟内容的增强现实的显示效果，提升了虚拟内容的显示效果。

进一步的，在一些实施例中，上述待显示平面可以叠加显示于目标标记物所处环境的实体平面，即上述待显示平面可以重合于现实空间中的实体平面。也就是说，在终端设备将虚拟内容渲染于待显示平面的上方，倒影内容渲染于待显示平面之中时，由于待显示平面与现实空间中的实体平面的重合，使得用户可以通过佩戴的头戴显示装置，看见虚拟内容叠加显示于现实空间中的实体平面的上方，倒影内容叠加显示于实体平面之中的增强现实效果，给用户形成实体平面产生虚拟内容的倒影虚像的错觉，提升真实感。

作为一种实施方式，目标标记物设置在标记板上时，待显示平面可以叠加显示于标记板上，使得待显示平面与标记板重叠。在一个实施例中，标记板2可包含有滤光片，滤光片设置在目标标记物上面，头戴显示装置通过红外摄像头可采集到标记板的图像。标记板的滤光片可对现实的物体进行反射，当虚拟内容叠加显示在标记板上时，将虚拟内容对应的倒影内容叠加显示在标记板2中，给用户形成标记板产生虚拟内容的倒影虚像的错觉，提高真实感。例如，请参见图13，用户通过佩戴的头戴显示装置，实时扫描标记板201上的标记物200，可以看到虚拟内容310叠加显示于现实空间中的标记板201上方，同时标记板201上显示有倒影内容320，此时，待显示平面330重合于现实空间中的标记板201平面。

作为另一种实施方式，待显示平面可以不与目标标记物所在的平面进行重叠，即待显示平面叠加显示于现实空间中的任一实体平面上(如桌面上、地面上等)。例如，请参见图14，用户通过佩戴的头戴显示装置，实时扫描地面上的标记物200，可以看到虚拟内容310叠加显示于现实空间中的桌面上的同时，桌面上显示有倒影内容320，此时，待显示平面330重合于现实空间中的桌面。待显示平面在现实空间中的显示位置可以是预先设置的，也可以是实时扫描获取的，例如，终端设备获取标记物的位置及姿态信息后，可扫描在标记物附近的物体平面，并选取其中的一个物体平面用于显示待显示平面，终端设备可根据选取的物体平面相对标记物的位置及姿态信息，获取虚拟空间中待显示平面的渲染位置，并根据该待显示平面的渲染位置渲染并显示待显示平面，使待显示平面叠加显示在选取的物体平面上。

可以理解的是，当待显示平面叠加显示于目标标记物所处环境的实体平面时，可以隐藏该待显示平面，以增强虚拟内容以及倒影内容叠加显示于现实空间中的平面上的真实感。

进一步的，在一些实施例中，终端设备可以根据平面的不同材质，显示不同的倒影内容。因此，在一些实施方式中，在上述获取虚拟内容相对于指定平面的倒影内容之后，该虚拟内容显示方法还可以包括：

根据材质反射参数对倒影内容进行相应的图像处理，材质反射参数包括待显示平面的材质反射参数、目标标记物所处环境的实体平面的材质反射参数中的至少一种。

在一些实施例中，终端设备可以根据待显示平面的材质反射参数，对倒影内容进行相应的图像处理，以使显示的倒影内容满足待显示平面的反射特征。

其中，上述材质反射参数包括反射率以及材质纹理图，反射率为倒影内容的渲染亮度与虚拟内容的渲染亮度之比，材质纹理图为平面的纹理图案。其中，反射率的取值在0-1之间，可以根据待显示平面的材质纹理图进行合理设置。例如，待显示平面为镜面材质时，反射率可以设为1，待显示平面为水面材质时，反射率可以设为0.85。可以理解的是，反射率的数值越大倒影内容越清晰，数值越小倒影内容越模糊。

在一些实施方式中，上述图像处理可以是将倒影内容显示的透明度调整为指定透明度，以增强倒影内容的真实感。其中，该指定透明度的取值在0-1之间，可以根据待显示平面的材质反射参数进行合理设定。例如，待显示平面为木头材质时，指定透明度可以设定为0.5，即50％透明，使得显示的倒影内容较模糊，待显示平面为镜面材质时，指定透明度可以设定为1，即完全不透明，使得显示的倒影内容非常清晰。

在另一些实施方式中，上述图像处理可以是将倒影内容的颜色调整为指定颜色，以减少倒影内容的颜色与待显示平面的颜色的违和感，提升倒影内容的显示效果。其中，该指定颜色可以根据待显示平面的材质反射参数进行合理设定。例如，待显示平面为木头材质时，指定颜色可以是与木头相近的颜色，如浅褐色，待显示平面为金属材质时，指定颜色可以是与金属相近的颜色，如银白色，从而提升了倒影内容在待显示平面上显示的真实感。

例如，请参见图15，待显示平面330为木头材质，倒影内容320较模糊，倒影内容的颜色与待显示平面330的颜色类似。

在另一些实施例中，终端设备也可以根据目标标记物所处环境的实体平面的材质反射参数，即根据现实空间中的实体平面的材质反射参数，对倒影内容进行相应的图像处理，以使叠加显示于实体平面上的倒影内容能够满足实体平面的反射特征，增强倒影内容的真实感。可以理解的是，根据现实空间中的实体平面的材质反射参数，对倒影内容进行相应的图像处理的具体步骤，可以参考上述实施例中的相应步骤，在此不一一赘述。

在一些实施方式中，终端设备可以根据图像采集装置实时采集现实空间中的实体平面的图像，并对该图像进行识别，以得到现实空间中的实体平面的材质反射参数，从而终端设备可以根据现实空间中的实体平面的材质反射参数，对倒影内容进行相应的图像处理。

另外，由于待显示平面可以重合于实体平面，因此，在一些实施例中，终端设备还可以根据实体平面的平面材质，对待显示平面的材质反射参数进行设定，使得待显示平面具有与实体平面相同的平面材质以及相同的反射特征，这样，倒影内容可以渲染到与实体平面相同的虚拟平面，使得倒影内容叠加显示于现实空间中的实体平面时，可以产生倒影内容为实体平面映射虚拟内容所得的视觉效果，提高了倒影内容的真实感。

可以理解的是，终端设备可以根据待显示平面的材质纹理图或者根据现实空间中的实体平面的材质纹理图，对倒影内容进行渲染，使得倒影内容与平面具有相应的材质纹理，提升倒影内容显示的真实感。

进一步的，在一些实施例中，终端设备可以对倒影内容进行渐变式衰减处理，即通过设置倒影内容的衰减开始处的高度以及倒影内容结束处(完全消失)的高度，使倒影内容的反射率逐渐降低，直到反射率衰减为零。作为一种实施方式，可以设置倒影内容衰减的开始处为倒影高度为零的地方，就是从倒影内容开始的地方就开始衰减，可以设置倒影内容衰减的结束处是倒影高度为150像素的地方，即在结束处倒影内容的反射率衰减为零，在此处倒影完全消失。这样，通过上述衰减的开始高度和结束高度的设定，可实现倒影内容的渐变效果，提升倒影内容的显示效果。

进一步的，在一些实施例中，为防止显示的倒影内容的边缘与待显示平面或者与实体平面出现不能完美贴合的情况，可以对倒影内容的边缘进行虚化处理。因此，在上述根据渲染位置，渲染虚拟内容以及倒影内容之后，该虚拟内容显示方法可以包括：

将待显示平面的轮廓边缘区域的颜色调整为预设颜色，预设颜色的各颜色分量的亮度值低于第一阈值。

其中，上述第一阈值为用户通过头戴显示装置无法观察到虚拟内容时，虚拟内容的各颜色分量的最大亮度值。也就是说，终端设备将待显示平面的轮廓边缘区域的颜色调整为预设颜色，使得用户通过头戴显示装置无法观察到待显示平面的轮廓边缘区域的倒影内容，实现倒影内容的边缘虚化效果。

需要说明的是，虚拟内容为黑色时，经过头戴显示装置的光学作用，不会被镜片反射，从而不会对用户进行呈现，因此，第一阈值可以设定为13亮度，即95％黑，也可以设定为0亮度，即黑色。

进一步的，在另一些实施例中，在上述显示虚拟内容及倒影内容之后，该虚拟内容显示方法还可以包括：

在检测到虚拟内容相对待显示平面的显示位置及姿态信息发生变化时，根据变化后的显示位置及姿态信息，对显示的倒影内容进行更新。

在一些实施例中，用户可以通过与终端设备连接的控制器来改变虚拟内容的显示位置，又由于物在远离镜面时像也在远离镜面的原理，因此，终端设备可以实时获取虚拟内容与待显示平面之间的显示位置及姿态信息，以在检测到虚拟内容相对待显示平面的显示位置及姿态信息发生变化时，根据变化后的显示位置及姿态信息，对显示的倒影内容进行更新。

作为一种实施方式，终端设备在检测到虚拟内容与待显示平面之间的相对高度变大时，可以向待显示平面的边缘区域方向调整倒影内容在待显示平面上的渲染位置，终端设备在检测到虚拟内容与待显示平面之间的相对高度变小时，可以向待显示平面的中心区域方向调整倒影内容在待显示平面上的渲染位置。例如，请参见图13和图16，虚拟内容与待显示平面之间的相对高度变小，倒影内容向待显示平面的中心区域方向前移。

进一步的，在一些实施例中，终端设备可以根据用户的视角方向，显示不同的倒影内容，因此，请再次参阅图6，在上述显示虚拟内容及倒影内容之后，该虚拟内容显示方法还可以包括：

步骤S260：在检测到目标标记物相对终端设备的位置及姿态信息发生变化时，根据变化后的位置及姿态信息，对显示的虚拟内容以及倒影内容进行更新。

可以理解的是，在根据目标标记物相对终端设备的位置及姿态信息，对虚拟内容以及倒影内容进行显示之后，可以实时检测终端设备与目标标记物之间的相对位置以及旋转角度，以在目标标记物相对终端端设备的位置及姿态信息发生变化时，对显示的虚拟内容以及倒影内容进行更新。

在一些实施方式中，可以是目标标记物的位置固定，终端设备的位置发生改变，如用户佩戴头戴显示装置向前移动，使得终端设备检测到目标标记物相对终端设备的位置及姿态发生变化；也可以是终端设备的位置固定，目标标记物的位置发生改变，如用户向左移动目标标记物，使得终端设备检测到目标标记物相对终端设备的位置及姿态发生变化，还可以是目标标记物的位置与终端设备的位置都发生改变，如用户佩戴头戴显示装置向目标标记物靠近的同时，也将目标标记物移至用户前方，使得终端设备检测到目标标记物相对终端设备的位置及姿态发生变化。

在一些实施例中，终端设备可以根据变化后的目标标记物相对终端设备的位置及姿态，改变虚拟内容的显示角度、显示大小、显示位置等显示状态，实现对显示的虚拟内容的更新。可以理解的是，目标标记物相对终端设备的位置及姿态发生改变时，终端设备的摄像头视角与目标标记物之间的相对位置及相对旋转角度也会发生改变，从而终端设备可以根据终端设备的摄像头视角与目标标记物之间的相对位置及相对旋转角度，重新确定虚拟内容的显示角度、显示大小以及显示位置等显示状态，进而根据重新确定后的虚拟内容的显示状态，重新显示虚拟内容，从而，用户佩戴头戴显示装置以不同的视角扫描目标标记物时，可以看到虚拟内容的不同显示效果。例如，终端设备在虚拟内容的上方时，显示虚拟内容的上方的内容，终端设备在虚拟内容的侧方时，显示虚拟内容侧方的内容。

同理，终端设备可以变化后的目标标记物相对终端设备的位置及姿态，改变倒影内容的显示角度、显示大小、显示位置等显示状态，实现对显示的倒影内容的更新。可以理解的是，终端设备可以根据终端设备的摄像头视角与目标标记物之间的相对位置及相对旋转角度，得到重新确定倒影内容的显示角度、显示大小以及显示位置等显示状态，进而根据重新确定后的倒影内容的显示状态，重新显示倒影内容，从而，用户佩戴头戴显示装置以不同的视角扫描目标标记物时，可以看到显示的倒影内容呈现不同的显示效果。例如，请参见图17，终端设备的摄像头视角正对虚拟内容310的上方时，即用户的视线是从虚拟内容的上方往下看，显示的倒影内容320较小，又例如，请参见图4，终端设备的摄像头视角处于虚拟内容(虚拟人物304、虚拟动物306)的倾斜方时，即用户的视线是从虚拟内容的侧方看，显示的倒影内容(虚拟人物倒影305以及虚拟动物倒影307)会拉长。

作为一种实施方式，终端设备可以将现实空间中目标标记物相对终端设备的位置及姿态信息转换为虚拟空间中虚拟摄像头A与目标标记物的位置关系，其中，该虚拟摄像头为3D软件***中用于模拟人眼视角的摄像头，然后可以根据虚拟摄像头A与目标标记物的位置关系，确定虚拟内容的显示角度、显示大小、显示位置等显示状态，进而根据该虚拟内容的显示状态确定倒影内容的显示状态。

作为一种实施方式，可以通过在虚拟内容的底部放置一个虚拟摄像头B，终端设备可以根据虚拟摄像头A与目标标记物的位置关系，确定虚拟摄像头B的位置和视角方向，然后根据虚拟摄像头B捕捉到的内容，确定倒影内容的显示角度、显示大小以及显示位置等显示状态。从而，终端设备可以根据虚拟内容的显示状态以及倒影内容的显示状态，在虚拟空间中进行虚拟内容以及倒影内容渲染和显示。

可以理解的是，当现实空间中目标标记物相对终端设备的位置及姿态信息发生变化时，虚拟摄像头A和虚拟摄像头B分别捕捉到的内容也会发生视角、大小、位置的变化，使得渲染出的虚拟内容以及倒影内容也会发生变化。终端设备可以根据虚拟摄像头A和虚拟摄像头B捕捉到的变化后的内容，重新渲染和显示虚拟内容以及倒影内容，实现对虚拟内容以及倒影内容的更新。因此，在检测到目标标记物相对终端设备的位置及姿态发生变化时，终端设备通过上述方式，可以根据改变后的位置及姿态信息，重新确定虚拟内容和倒影内容的显示状态，从而对显示的虚拟内容以及倒影内容进行更新。

本申请实施例提供的虚拟内容显示方法，在得到目标标记物相对终端设备的位置及姿态信息后，根据环境光源的光线路径方向以及虚拟内容显示的平面的平面材质，来实现虚拟内容与倒影内容显示于虚拟空间，使用户可以观察到虚拟内容与倒影内容叠加于真实场景的显示效果，此外，还通过限定部分倒影内容的渲染区域以及倒影内容边缘的虚化处理，使用户看到倒影内容只呈现在现实空间中的实体平面上，增强倒影内容的真实感，提升了虚拟内容的显示效果。

请参阅图18，其示出了本申请实施例提供的一种虚拟内容显示装置500的结构框图，应用于终端设备，该装置可以包括：图像识别模块510、内容获取模块520、位置获取模块530、渲染模块540以及显示模块550。其中，图像识别模块510用于识别目标标记物，并获取目标标记物相对终端设备的位置及姿态信息；内容获取模块520用于基于待显示的虚拟内容，获取虚拟内容相对于指定平面的倒影内容，指定平面为虚拟空间中虚拟内容的底部所在的水平面；位置获取模块530用于根据位置及姿态信息，获取虚拟内容以及倒影内容在虚拟空间的渲染位置；渲染模块540用于根据渲染位置，渲染虚拟内容以及倒影内容；显示模块550用于显示虚拟内容及倒影内容。

在一些实施例中，内容获取模块520可以具体用于：以指定平面为镜面反射面，利用镜面反射矩阵，获取虚拟内容相对于指定平面的倒影内容。

在一些实施例中，位置获取模块530还可以包括：方向获取单元以及位置确定单元。其中，方向获取单元用于根据目标标记物所处环境的光源的光线路径方向，确定倒影内容的显示方向；位置确定单元用于根据位置及姿态信息确定虚拟内容的第一渲染位置，并根据位置、姿态信息以及显示方向，确定倒影内容的第二渲染位置。

在一些实施例中，渲染模块540还可以包括：渲染显示单元。该渲染显示单元用于根据渲染位置，渲染虚拟内容以及倒影内容，其中，倒影内容渲染于待显示平面中，待显示平面为虚拟空间中虚拟内容对应的倒影面。

在一些实施方式中，渲染显示单元可以具体用于：根据渲染位置，确定倒影内容中处于待显示平面的部分倒影内容；根据渲染位置，将渲染虚拟内容以及部分倒影内容；显示模块550可以具体用于：显示虚拟内容及部分倒影内容。

在一些实施例中，该虚拟内容显示装置500还可以包括：图像处理模块。该图像处理模块用于根据材质反射参数对倒影内容进行相应的图像处理，材质反射参数包括待显示平面的材质反射参数、目标标记物所处环境的实体平面的材质反射参数中的至少一种。

在一些实施例中，该虚拟内容显示装置500还可以包括：轮廓处理模块。该轮廓处理模块用于将待显示平面的轮廓边缘区域的颜色调整为预设颜色，预设颜色的各颜色分量的亮度值低于第一阈值。

在一些实施例中，该虚拟内容显示装置500还可以包括：倒影更新模块。该倒影更新模块用于在检测到虚拟内容相对待显示平面的显示位置及姿态信息发生变化时，根据变化后的显示位置及姿态信息，对显示的倒影内容进行更新。

在一些实施例中，上述待显示平面可以叠加显示于目标标记物所处环境的实体平面。

在一些实施例中，该虚拟内容显示装置500还可以包括：内容更新模块。该内容更新模块用于在检测到目标标记物相对终端设备的位置及姿态信息发生变化时，根据变化后的位置及姿态信息，对显示的虚拟内容以及倒影内容进行更新。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，所显示或讨论的模块相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

综上所述，本申请实施例提供的一种虚拟内容显示方法及装置，应用于终端设备，通过识别目标标记物，并获取目标标记物相对终端设备的位置及姿态信息，以及基于待显示的虚拟内容，获取虚拟内容相对于指定平面的倒影内容，其中，指定平面为虚拟空间中虚拟内容的底部所在的水平面，然后根据位置及姿态信息，获取虚拟内容以及倒影内容在虚拟空间的渲染位置，最后根据渲染位置，渲染虚拟内容以及倒影内容，并显示所述虚拟内容及所述倒影内容，实现虚拟内容与倒影内容显示于虚拟空间，使用户可以观察到虚拟内容与倒影内容叠加于真实场景的显示效果，提升了虚拟内容的显示效果。

请参考图19，其示出了本申请实施例提供的一种终端设备的结构框图。该终端设备100可以是智能手机、平板电脑、头戴显示装置等能够运行应用程序的终端设备。本申请中的终端设备100可以包括一个或多个如下部件：处理器110、存储器120、图像采集装置130以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。

处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个终端设备100内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行终端设备100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作***、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。

存储器120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作***的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端设备100在使用中所创建的数据等。

在本申请实施例中，图像采集装置130用于采集实体对象的图像以及采集目标场景的场景图像。图像采集装置130可以为红外摄像头，也可以是彩色摄像头，具体的摄像头类型在本申请实施例中并不作为限定。

请参考图20，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质800包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (11)

1.一种虚拟内容显示方法，其特征在于，应用于终端设备，所述方法包括：

识别目标标记物，并获取所述目标标记物相对所述终端设备的位置及姿态信息；

获取待显示的虚拟内容，并获取所述虚拟内容相对于指定平面的倒影内容，所述指定平面为虚拟空间中所述虚拟内容的底部所在的水平面；

根据所述目标标记物所处环境的光源的光线路径方向，确定所述倒影内容的显示方向；

根据所述位置及姿态信息确定所述虚拟内容的第一渲染位置，并根据所述位置、所述姿态信息以及所述显示方向，确定所述倒影内容的第二渲染位置；

根据所述渲染位置，渲染所述虚拟内容以及所述倒影内容，其中，所述虚拟内容渲染于待显示平面上方，所述倒影内容渲染于待显示平面中，所述待显示平面为虚拟空间中所述虚拟内容对应的倒影面，重合显示于现实空间中的平面；

显示所述虚拟内容及所述倒影内容。

2.根据权利要求1所述的方法，其特征在于，所述获取所述虚拟内容相对于指定平面的倒影内容，包括：

以指定平面为镜面反射面，利用镜面反射矩阵，获取所述虚拟内容相对于所述指定平面的倒影内容。

3.根据权利要求1所述的方法，其特征在于，所述根据所述渲染位置，渲染所述虚拟内容以及所述倒影内容，包括：

根据所述渲染位置，确定所述倒影内容中处于所述待显示平面的部分倒影内容；

根据所述渲染位置，渲染所述虚拟内容以及所述部分倒影内容；

所述显示所述虚拟内容及所述倒影内容，包括：

显示所述虚拟内容及所述部分倒影内容。

4.根据权利要求1所述的方法，其特征在于，在所述获取虚拟内容相对于指定平面的倒影内容之后，所述方法还包括：

根据材质反射参数对所述倒影内容进行相应的图像处理，所述材质反射参数包括所述待显示平面的材质反射参数、所述目标标记物所处环境的实体平面的材质反射参数中的至少一种。

5.根据权利要求1所述的方法，其特征在于，在所述根据所述渲染位置，渲染所述虚拟内容以及所述倒影内容之后，所述方法还包括：

将所述待显示平面的轮廓边缘区域的颜色调整为预设颜色，所述预设颜色的各颜色分量的亮度值低于第一阈值。

6.根据权利要求1所述的方法，其特征在于，在所述显示所述虚拟内容及所述倒影内容之后，所述方法还包括：

在检测到所述虚拟内容相对所述待显示平面的显示位置及姿态信息发生变化时，根据变化后的显示位置及姿态信息，对显示的所述倒影内容进行更新。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述待显示平面叠加显示于所述目标标记物所处环境的实体平面。

8.根据权利要求1-7任一项所述的方法，其特征在于，在所述显示所述虚拟内容及所述倒影内容之后，所述方法还包括：

在检测到所述目标标记物相对所述终端设备的位置及姿态信息发生变化时，根据变化后的位置及姿态信息，对显示的所述虚拟内容以及所述倒影内容进行更新。

9.一种虚拟内容显示装置，其特征在于，应用于终端设备，所述装置包括：

图像识别模块，用于识别目标标记物，并获取所述目标标记物相对所述终端设备的位置及姿态信息；

内容获取模块，用于基于待显示的虚拟内容，获取所述虚拟内容相对于指定平面的倒影内容，所述指定平面为虚拟空间中所述虚拟内容的底部所在的水平面；

位置获取模块，用于根据所述目标标记物所处环境的光源的光线路径方向，确定所述倒影内容的显示方向；根据所述位置及姿态信息确定所述虚拟内容的第一渲染位置，并根据所述位置、所述姿态信息以及所述显示方向，确定所述倒影内容的第二渲染位置；

渲染模块，用于根据所述渲染位置，渲染所述虚拟内容以及所述倒影内容，其中，所述虚拟内容渲染于待显示平面上方，所述倒影内容渲染于待显示平面中，所述待显示平面为虚拟空间中所述虚拟内容对应的倒影面，重合显示于现实空间中的平面；

显示模块，用于显示所述虚拟内容及所述倒影内容。

10.一种终端设备，其特征在于，包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于执行如权利要求1-8任一项所述的方法。

11.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-8任一项所述的方法。