CN112017242A - 显示方法及装置、设备、存储介质 - Google Patents

Abstract

本申请实施例公开了显示方法及装置、设备、存储介质，其中，所述方法包括：获取通过第一定位算法确定的相机的当前位姿信息；根据所述当前位姿信息和预先确定的坐标系偏移信息，确定渲染用的视图信息；其中，所述坐标系偏移信息是根据所述第一定位算法定义的坐标系、预设渲染引擎采用的坐标系和视觉空间坐标系之间的关系而确定的；利用所述视图信息以及所述预设渲染引擎，渲染并显示所述视觉空间中的虚拟物体。

Description

显示方法及装置、设备、存储介质

技术领域

本申请实施例涉及增强现实(Augmented Reality，AR)技术，涉及但不限于显示方法及装置、设备、存储介质。

背景技术

目前，即时定位与地图构建(Simultaneous Localization And Mapping，SLAM)算法作为AR技术的基础能力，提供相机的6自由度(Degree Of Freedom，DOF)位姿矩阵估计，通过将SLAM算法输出的相机位姿矩阵信息叠加到渲染引擎上，即可在相机预览画面上叠加虚拟物体，从而展现栩栩如生的AR体验。

由于SLAM算法构建的地图是一种局部地图，即虚拟物体只能放置在SLAM算法构建的局部坐标系空间中，不能固定在真实物理空间的绝对位置上，因此，实践中常结合基于三维重建的视觉定位与建图算法，来提供基于物理空间坐标系下的AR体验。

例如，将SLAM算法输出的相机位姿矩阵转换至视觉空间的世界坐标系的方法，是基于经验的角度估计。假设显示AR内容的手机是与人脸平行的，这样在将SLAM算法输出的相机位姿矩阵进行转换时，调整该位姿矩阵的Y方向上的角度即可。然而，这种方式或损失相机位姿矩阵的自由度，或损失位姿矩阵转换精度，从而导致虚拟物体的显示位置不准确，影响AR体验。

发明内容

有鉴于此，本申请实施例提供的显示方法及装置、设备、存储介质，能够在不损失自由度的前提下，提高位姿矩阵转换精度，从而能够准确地显示虚拟物体，提升AR体验；其中，显示方法及装置、设备、存储介质是这样实现的：

本申请实施例提供的显示方法，包括：获取通过第一定位算法确定的相机的当前位姿信息；根据所述当前位姿信息和预先确定的坐标系偏移信息，确定渲染用的视图信息；其中，所述坐标系偏移信息是根据所述第一定位算法定义的坐标系、预设渲染引擎采用的坐标系和视觉空间坐标系之间的关系而确定的；利用所述视图信息以及所述预设渲染引擎，渲染并显示所述视觉空间中的虚拟物体。

在一些实施例中，所述获取通过第一定位算法确定的相机的当前位姿信息，包括：获取所述相机在视觉空间中采集的当前视频帧；利用所述第一定位算法对所述当前视频帧进行处理，得到所述相机的当前位姿信息。

这样，通过视觉定位能够获得更为精确的相机位姿，从而能够更加准确地显示虚拟物体，进而提高视觉体验。

在一些实施例中，所述当前位姿信息包括当前位姿矩阵，所述坐标系偏移信息包括坐标系偏移矩阵，所述视图信息包括视图矩阵；所述根据所述当前位姿信息和预先确定的坐标系偏移信息，确定视图信息，包括：确定所述当前位姿矩阵的逆矩阵；将所述当前位姿矩阵的逆矩阵与所述坐标系偏移矩阵融合，得到所述视图矩阵。

这样，通过矩阵运算的方式获得视图矩阵，能够获得更为准确的视图信息，从而更加准确地在视觉空间中显示虚拟物体。

在一些实施例中，所述坐标系偏移矩阵的确定过程包括：根据所述第一定位算法定义的坐标系、预设渲染引擎采用的坐标系和视觉空间坐标系之间的关系，确定所述第一定位算法中定义的相机坐标系到所述视觉空间的世界坐标系的偏移矩阵。

这样，通过三类坐标系之间的转换关系，确定偏移矩阵，能够直接得到准确的视图矩阵，从而将虚拟物体快速且精确地显示在正确的位置，进而提高AR视觉体验。

在一些实施例中，所述根据所述第一定位算法定义的坐标系、预设渲染引擎采用的坐标系和视觉空间坐标系之间的关系，确定所述第一定位算法中定义的相机坐标系到所述视觉空间的世界坐标系的偏移矩阵，包括：获取第一历史位姿矩阵和第二历史位姿矩阵；其中，所述第一历史位姿矩阵是通过所述第一定位算法对所述相机采集的历史视频帧进行处理得到的；所述第二历史位姿矩阵是通过第二定位算法，对所述历史视频帧进行处理得到的；确定所述第一定位算法定义的相机坐标系到所述预设渲染引擎采用的相机坐标系的第一转换矩阵；确定所述第一定位算法定义的相机坐标系到所述视觉空间的相机坐标系的第二转换矩阵；确定所述预设渲染引擎采用的世界坐标系到所述视觉空间的世界坐标系的第三转换矩阵；根据所述第一历史位姿矩阵、所述第二历史位姿矩阵、所述第一转换矩阵、所述第二转换矩阵和所述第三转换矩阵，确定所述偏移矩阵。

这样，通过矩阵运算确定偏移矩阵，从而基于这些矩阵能够确定更为准确的偏移矩阵，进而能够得到准确的视图矩阵，将虚拟物体精确地显示在正确的位置。

在一些实施例中，所述根据所述第一历史位姿矩阵、所述第二历史位姿矩阵、所述第一转换矩阵、所述第二转换矩阵和所述第三转换矩阵，确定所述偏移矩阵，包括：将所述第三转换矩阵与所述第二历史位姿矩阵融合，得到第一中间矩阵；将所述第一中间矩阵与所述第二转换矩阵融合，得到第二中间矩阵；将所述第二中间矩阵与所述第一转换矩阵融合，得到第三中间矩阵；将所述第三中间矩阵与所述第一历史位姿矩阵的逆矩阵融合，得到所述偏移矩阵。

这样，按照上述矩阵融合的顺序进行运算，能够获得正确的偏移矩阵，从而能够得到准确的视图矩阵，将虚拟物体精确地显示在正确的位置。

在一些实施例中，每一所述相机坐标系的原点是重合的。这样，能够保持视角的一致性。

在一些实施例中，所述视觉空间的世界坐标系为物理世界坐标系，所述物理世界坐标系的原点为真实世界的一特定位置点；所述预设渲染引擎采用的世界坐标系的原点与所述视觉空间的世界坐标系的原点是重合的。这样，能够使得虚拟物体在视觉空间中显示时更加真实。

在一些实施例中，所述第一定位算法为预设的SLAM算法，如此能够提高定位精度。

本申请实施例提供的显示装置，包括：获取模块，用于获取通过第一定位算法确定的相机的当前位姿信息；确定模块，用于根据所述当前位姿信息和预先确定的坐标系偏移信息，确定渲染用的视图信息；其中，所述坐标系偏移信息是根据所述第一定位算法定义的坐标系、预设渲染引擎采用的坐标系和视觉空间坐标系之间的关系而确定的；渲染显示模块，用于利用所述视图矩阵以及所述预设渲染引擎，渲染并显示所述视觉空间中的虚拟物体。

在一些实施例中，获取模块，用于获取所述相机在视觉空间中采集的当前视频帧；利用所述第一定位算法对所述当前视频帧进行处理，得到所述相机的当前位姿信息。

在一些实施例中，所述当前位姿信息包括当前位姿矩阵，所述坐标系偏移信息包括坐标系偏移矩阵，所述视图信息包括视图矩阵；确定模块，用于：确定所述当前位姿矩阵的逆矩阵；将所述当前位姿矩阵的逆矩阵与所述坐标系偏移矩阵融合，得到所述视图矩阵。

在一些实施例中，确定模块，还用于：根据所述第一定位算法定义的坐标系、预设渲染引擎采用的坐标系和视觉空间坐标系之间的关系，确定所述第一定位算法中定义的相机坐标系到所述视觉空间的世界坐标系的偏移矩阵。

在一些实施例中，确定模块，用于：获取第一历史位姿矩阵和第二历史位姿矩阵；其中，所述第一历史位姿矩阵是通过所述第一定位算法对所述相机采集的历史视频帧进行处理得到的；所述第二历史位姿矩阵是通过第二定位算法，对所述历史视频帧进行处理得到的；确定所述第一定位算法定义的相机坐标系到所述预设渲染引擎采用的相机坐标系的第一转换矩阵；确定所述第一定位算法定义的相机坐标系到所述视觉空间的相机坐标系的第二转换矩阵；确定所述预设渲染引擎采用的世界坐标系到所述视觉空间的世界坐标系的第三转换矩阵；根据所述第一历史位姿矩阵、所述第二历史位姿矩阵、所述第一转换矩阵、所述第二转换矩阵和所述第三转换矩阵，确定所述偏移矩阵。

在一些实施例中，确定模块，用于：将所述第三转换矩阵与所述第二历史位姿矩阵融合，得到第一中间矩阵；将所述第一中间矩阵与所述第二转换矩阵融合，得到第二中间矩阵；将所述第二中间矩阵与所述第一转换矩阵融合，得到第三中间矩阵；将所述第三中间矩阵与所述第一历史位姿矩阵的逆矩阵融合，得到所述偏移矩阵。

在一些实施例中，每一所述相机坐标系的原点是重合的。

在一些实施例中，所述视觉空间的世界坐标系为物理世界坐标系，所述物理世界坐标系的原点为真实世界的一特定位置点；所述预设渲染引擎采用的世界坐标系的原点与所述视觉空间的世界坐标系的原点是重合的。

在一些实施例中，所述第一定位算法为预设的SLAM算法。

本申请实施例提供的电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本申请实施例所述显示方法中的步骤。

本申请实施例提供的计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本申请实施例所述显示方法中的步骤。

本申请实施例提供一种计算机程序，包括计算机可读代码，当所述计算机可读代码在展示设备中运行时，所述电子设备中的处理器执行用于实现上述方法中的步骤。

本申请实施例中，用于计算视图信息的坐标系偏移信息，是基于所述第一定位算法定义的坐标系、预设渲染引擎采用的坐标系和视觉空间坐标系之间的关系而确定的，而不是基于经验的角度估计来确定的；如此，能够直接得到更为准确的视图信息，从而在不损失自由度的前提下，将虚拟物体快速且精确地显示在正确的位置，进而提高AR视觉体验。

附图说明

图1A为本申请实施例提供的一种AR实现架构的结构示意图；

图1B为本申请实施例提供的一种终端的结构示意图；

图2为本申请实施例提供的一种显示方法的实现流程示意图；

图3A为本申请实施例提供的另一显示方法的实现流程示意图；

图3B为本申请实施例提供的一种坐标系偏移矩阵的确定方法实现流程示意图；

图4A为本申请实施例三个相机坐标系的关系示意图；

图4B为本申请实施例SLAM算法定义的世界坐标系示意图；

图4C为本申请实施例预设渲染引擎采用的世界坐标系和视觉空间的世界坐标系的关系示意图；

图5为本申请实施例提供的一种显示装置的结构示意图；

图6为本申请实施例提供的一种电子设备的硬件实体示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的具体技术方案做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

需要指出，本申请实施例所涉及的术语“第一\第二\第三”仅仅是是区别类似或不同的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。

本申请中描述的AR实现架构是为了更加清楚地说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定。本领域普通技术人员可知，随着AR技术的演进，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

本申请实施例先提供一种AR实现架构，图1A为本申请实施例提供的一种AR实现架构的结构示意图，如图1A所示，该架构10包括终端101和服务器102。终端101与服务器102可以通过网络103实现连接。终端可以是移动终端(例如智能手机)、可滑动的展览设备(例如可在轨道上滑动的显示屏)或头戴设备(例如AR眼镜)等。服务器可以是各种类型的具有显示能力的设备，例如该服务器可以是独立的服务器或者是多个服务器组成的服务器集群。

例如在实现时，终端101可以通过相机对现实场景进行拍摄，得到第N帧图像；然后，终端将该第N帧图像通过网络103发送给服务器102，并利用第一定位算法对该图像进行处理，得到第一历史位姿矩阵；其中，N为大于0的整数；服务器102利用第二定位算法对该图像进行处理，得到相机在视觉空间中的位姿信息，即第二历史位姿矩阵，并将第二历史位姿矩阵通过网络103发送给终端101；终端101通过如下实施例的步骤3012至步骤3015确定偏移矩阵；这样，终端101在通过相机采集得到后续每帧图像时，就可以利用第一定位算法对每帧图像进行处理，根据得到的相机的当前相机位姿信息和该偏移矩阵，确定渲染用的视图信息，进而利用该视图信息和预设渲染引擎，渲染得到包括视觉空间中的虚拟物体和真实世界的AR图像，并在显示模组上显示该AR图像。

当然，AR实现架构还可以仅包括终端，即用于实现AR显示的流程均由终端实现。例如，该终端为头戴设备，图1B示出了该终端的结构，如图1B所示，终端11可以包括：相机111、人工智能(Artificial Intelligence，AI)芯片112、存储器113和显示模组114；其中，相机111，用于对所在现实场景进行图像采集，并将采集的图像传输给AI芯片112；AI芯片112利用定位模块执行第一定位算法(例如SLAM算法)，以对该图像进行处理，从而得到相机的当前位姿信息；然后，AI芯片112通过确定模块，根据当前位姿信息和存储器113中存储的预先确定的坐标系偏移信息，确定渲染用的视图信息；最后，AI芯片112通过渲染模块，利用该视图信息和预设渲染引擎，渲染得到包括虚拟物体和现实场景的AR图像，并将该AR图像传输给显示模组114；显示模组114显示该AR图像。

本申请实施例提供一种显示方法，该方法既可以应用于终端，也可以应用于服务器，图2为本申请实施例提供的一种显示方法的实现流程示意图，如图2所示，该方法可以包括以下步骤201至步骤203：

步骤201，获取通过第一定位算法确定的相机的当前位姿信息。

第一定位算法可以是多种多样的视觉定位算法，例如，该定位算法为预设的SLAM算法。在一些实施例中，相机的当前位姿信息可以为基于当前视频帧，确定的第一定位算法定义的相机坐标系到该算法定义的世界坐标系的转换矩阵。

步骤202，根据所述当前位姿信息和预先确定的坐标系偏移信息，确定渲染用的视图信息；其中，所述坐标系偏移信息是根据所述第一定位算法定义的坐标系、预设渲染引擎采用的坐标系和视觉空间坐标系之间的关系而确定的。

坐标系偏移信息记录了第一定位算法定义的相机坐标系到视觉空间的世界坐标系的偏移量，用于实现以上三类坐标系的对齐。即实现第一定位算法定义的世界坐标系、预设渲染引擎采用的世界坐标系与视觉空间的世界坐标系三者的对齐，并实现第一定位算法定义的相机坐标系、预设渲染引擎采用的相机坐标系与视觉空间的相机坐标系三者的对齐。

所谓视图信息，主要用于将相机的世界坐标转换为相机的本地坐标。一般来说，该视图信息主要包括视图矩阵，即view矩阵。

所谓视觉空间，举例来说，通过扫描设备对办公室进行扫描，从而基于扫描数据建立该办公室的三维模型。这个模型的大小与办公室的实际大小可以是等比例的。假设以该模型的右下角位置为原点建立坐标系，那么这个模型所代表的办公室空间即为视觉空间。

步骤203，利用所述视图矩阵以及所述预设渲染引擎，渲染并显示所述视觉空间中的虚拟物体。

在本申请实施例中，用于计算视图信息的坐标系偏移信息，是基于所述第一定位算法定义的坐标系、预设渲染引擎采用的坐标系和视觉空间坐标系之间的关系而确定的，而不是基于经验的角度估计来确定的；如此，能够直接得到更为准确的视图信息，从而在不损失自由度的前提下，将虚拟物体快速且精确地显示在正确的位置，进而提高AR视觉体验。

本申请实施例再提供一种显示方法，图3A为本申请实施例提供的另一显示方法的实现流程示意图，如图3A所示，该方法可以包括以下步骤301至步骤306：

步骤301，根据所述第一定位算法定义的坐标系、预设渲染引擎采用的坐标系和视觉空间坐标系之间的关系，确定所述第一定位算法中定义的相机坐标系到所述视觉空间的世界坐标系的偏移矩阵；其中，所述偏移矩阵即为所述坐标系偏移矩阵，该矩阵属于所述坐标系偏移信息。

如前文所述，偏移矩阵用于实现上述三类坐标系的对齐。之所以要进行坐标系的对齐，是因为第一定位算法、预设渲染引擎和视觉空间这三者采用的坐标系是不同的。举例来说，假设第一定位算法为SLAM算法，用户通过手机在办公室的某一地方拍了一张照片，手机利用视觉定位算法(不同于SLAM算法)对该照片进行处理，即在视觉空间坐标系中对相机进行定位，得到该相机在该视觉空间坐标系的位置为(5,5,1.5)；同时，如果手机启动SLAM算法，其输出的结果则为(0,0,0)；现在要做的就是把SLAM算法输出的坐标调整到(5,5,1.5)，同时还要将预设渲染引擎使用的view矩阵也要调整到(5,5,1.5)。最简单的做法是把这些待调整的值直接更新为(5,5,1.5)就可以了。

但是在实际场景中，不仅涉及到位置，还涉及到相机的朝向，即相机的旋转角度，如果凭借经验来将相机的朝向在三类坐标系中对齐，是不精确的。在本申请实施例中，通过矩阵计算的方式，能够直接得到准确的view矩阵，从而将虚拟物体快速且精确地显示在正确的位置，进而提高AR视觉体验。

在实现时，电子设备可以通过如下步骤401至步骤405实现该步骤301。

步骤302，获取相机在视觉空间中采集的当前视频帧；

步骤303，利用所述第一定位算法对所述当前视频帧进行处理，得到所述相机的当前位姿信息；其中，所述当前位姿信息包括当前位姿矩阵。

在一些实施例中，第一定位算法为SLAM算法，当然该定位算法还可以是其他视觉定位算法，对此不做限定。

步骤304，确定所述当前位姿矩阵的逆矩阵；

步骤305，将所述当前位姿矩阵的逆矩阵与所述坐标系偏移矩阵融合，得到所述视图矩阵。

融合的方式可以是多种多样的，例如，可以根据如下公式(1)实现这两个矩阵的融合，从而得到视图矩阵：

Trender_c_view_N_puls_x＝(Tslam_w_slam_c_N_x)^-1×Toffset (1)；

式中，Trender_c_view_N_puls_x表示视图矩阵，Tslam_w_slam_c_N_x表示当前位姿矩阵，Toffset表示偏移矩阵。

当然，并不局限于上述公式(1)所示的融合方式，还可以通过其他矩阵运算方式实现这两个矩阵的融合。

步骤306，利用所述视图矩阵以及所述预设渲染引擎，渲染并显示所述视觉空间中的虚拟物体。

可以理解地，在初始时，在坐标系对齐之后，即在得到了偏移矩阵之后，后续可以直接利用已计算的偏移矩阵和当前位姿矩阵，可计算得到view矩阵；如此，能够提高AR显示的流畅度，改善卡顿带来的视觉体验下降的问题。

因此，在本申请实施例中，在每次基于采集的当前视频帧进行渲染显示时，无需均先执行步骤301，比如在初始时刻，已经得到了上述偏移矩阵；那么，在后续时刻直接调用该偏移矩阵即可。

在一些实施例中，可以根据历史视频帧预先确定坐标系偏移矩阵，并将该偏移矩阵进行存储；这样，在根据相机采集的当前视频帧，实现AR显示时，可以直接调用该坐标系偏移矩阵。也就是说，在每次执行所述显示方法时，无需重复确定该坐标系偏移矩阵，可以在初始时确定该坐标系偏移矩阵。例如，相机在采集得到第1帧图像后，基于此确定该偏移矩阵；相机在采集得到第2帧图像后，利用之前确定的坐标系偏移矩阵和该第2帧图像，实现AR显示。同样地，在后续采集得到第K帧图像之后，依然可以利用在基于第1帧图像确定的偏移矩阵和该第K帧图像，实现AR显示，K为大于1的任意整数。

当然，在一些实施例中，该偏移矩阵还可以是基于当前视频帧的前一帧图像或者前第M帧图像而确定的，M为小于等于特定阈值的正整数。

对于坐标系偏移矩阵的确定方法，例如图3B所示，可以通过如下步骤3011至步骤3015实现，即通过步骤3011至步骤3015实现上述步骤301：

步骤3011，获取第一历史位姿矩阵和第二历史位姿矩阵；

其中，所述第一历史位姿矩阵是通过所述第一定位算法对所述相机采集的历史视频帧进行处理得到的，该矩阵为采集该历史视频帧时第一定位算法定义的相机坐标系到该算法定义的世界坐标系的转换矩阵；所述第二历史位姿矩阵是通过第二定位算法，对所述历史视频帧进行处理得到的，该矩阵为采集该历史视频帧时第二定位算法定义的相机坐标系到该算法定义的世界坐标系的转换矩阵；通常来讲，上述转换矩阵均包括位置和姿态，即平移关系和旋转关系。

需要说明的是，第一定位算法与第二定位算法不同。例如，第一定位算法为SLAM算法，第二定位算法为高精定位算法。

步骤3012，确定所述第一定位算法定义的相机坐标系到所述预设渲染引擎采用的相机坐标系的第一转换矩阵。

可以理解地，在实现时，这些坐标系都是已知的，因此可以直接计算得到第一转换矩阵。

步骤3013，确定所述第一定位算法定义的相机坐标系到所述视觉空间的相机坐标系的第二转换矩阵。

所谓视觉空间的相机坐标系，指的是第二定位算法定义的相机坐标系，该坐标系也是已知的。在一些实施例中，每一所述相机坐标系的原点是重合的，即，第一定位算法定义的相机坐标系、预设渲染引擎采用的相机坐标系和视觉空间的相机坐标系的原点是重合的，如此能够保持视角的一致性。

步骤3014，确定所述预设渲染引擎采用的世界坐标系到所述视觉空间的世界坐标系的第三转换矩阵。

同样地，预设渲染引擎采用的世界坐标系和视觉空间的世界坐标系也是已知的，因此容易得到第三转换矩阵。视觉空间的世界坐标系，即为第二定位算法定义的坐标系。

需要说明的是，在一示例中，所述视觉空间的世界坐标系为物理世界坐标系，所述物理世界坐标系的原点为真实世界的一特定位置点；所述预设渲染引擎采用的世界坐标系的原点与所述视觉空间的世界坐标系的原点是重合的。

步骤3015，根据所述第一历史位姿矩阵、所述第二历史位姿矩阵、所述第一转换矩阵、所述第二转换矩阵和所述第三转换矩阵，确定所述偏移矩阵。

电子设备可以这样实现步骤3015：将所述第三转换矩阵与所述第二历史位姿矩阵融合，得到第一中间矩阵；将所述第一中间矩阵与所述第二转换矩阵融合，得到第二中间矩阵；将所述第二中间矩阵与所述第一转换矩阵融合，得到第三中间矩阵；将所述第三中间矩阵与所述第一历史位姿矩阵的逆矩阵融合，得到所述偏移矩阵；这样按照上述矩阵融合的顺序进行运算，能够获得正确的偏移矩阵，从而能够得到准确的视图矩阵，将虚拟物体显示在正确的位置上。

融合的方式可以是多种多样的，例如，可以通过如下公式(2)计算得到偏移矩阵Toffset，即融合方式为矩阵相乘，这样能够保证偏移矩阵的正确性，从而实现AR的正确显示。

式中，Trender_w_phy_w表示第三转换矩阵，即预设渲染引擎采用的世界坐标系到视觉空间的世界坐标系的转换关系；Tphy_w_phy_c_N表示第二历史位姿矩阵；Tphy_c_slam_c表示第二转换矩阵，即第一定位算法定义的相机坐标系到视觉空间的相机坐标系的转换矩阵；Trotate_Y_UP表示第一转换矩阵，即第一定位算法定义的相机坐标系到预设渲染引擎采用的相机坐标系的转换矩阵；Tslam_w_slam_c_N表示第一历史位姿矩阵。

基于此，下面将说明本申请实施例在一个实际的应用场景中的示例性应用。

利用预设渲染引擎采用的坐标系、SLAM算法定义的坐标系、不同于SLAM算法的视觉定位算法定义的空间坐标系，这三类坐标系之间的旋转和平移关系，构建坐标系之间的矩阵变换，即计算得到SLAM算法定义的相机坐标系到视觉空间的世界坐标系的偏移矩阵；这样，将后续视频帧的SLAM位姿(即SLAM算法输出的相机位姿矩阵，也就是通过第一定位算法确定的相机的当前位姿信息)叠加该偏移矩阵，以获取全局位姿(即视图信息)，如此即可叠加展示视觉坐标系下放置的AR虚拟物体。

实施步骤如下步骤一至步骤七：

步骤一：启动SLAM算法，获取SLAM算法对第N帧图像(即历史视频帧)进行处理，得到的历史视频帧的相机位姿矩阵Tslam_w_slam_c_N，即第一历史位姿矩阵，可以记为SLAM算法定义的相机坐标系到SLAM算法定义的世界坐标系第N帧的转换矩阵，N为大于0的整数。

步骤二：获取第N帧图像对应的视觉空间相机坐标系的相机位姿矩阵Tphy_w_phy_c_N，即历史视频帧的第二历史位姿矩阵，记为视觉空间的相机坐标系到视觉空间的世界坐标系第N帧的转换矩阵。该历史视频帧的第二历史位姿矩阵Tphy_w_phy_c_N是利用视觉定位算法对第N帧图像进行处理得到的。

步骤三：确定SLAM算法定义的相机坐标系与预设渲染引擎采用的相机坐标系的第一转换矩阵Trotate_Y_UP，该转换矩阵能够使SLAM算法定义的相机坐标系的Y方向与预设渲染引擎采用的相机坐标系的UP方向一致。

步骤四：确定SLAM算法定义的相机坐标系与视觉空间的相机坐标系的第二转换矩阵Tphy_c_slam_c，记为SLAM算法定义的相机坐标系到视觉空间的相机坐标系的转换矩阵。

步骤五：确定预设渲染引擎采用的世界坐标系与视觉空间的世界坐标系的第三转换矩阵Trender_w_phy_w，记为预设渲染引擎采用的世界坐标系到视觉空间的世界坐标系的转换矩阵。

步骤六：根据如下公式(3)计算第N帧的偏移矩阵：

步骤七：在第N+x帧时，根据如下公式(4)设置预设渲染引擎的视图(view)矩阵，其中x为任意大于0的整数：

Trender_c_view_N_puls_x＝(Tslam_w_slam_c_N_x)^-1×Toffset (4)；

式中，Tslam_w_slam_c_N_x表示第N+x帧对应的相机位姿矩阵，即当前位姿矩阵。

可以理解地，在本申请实施例中，涉及了以下6个坐标系：

slam_c表示SLAM算法定义的相机坐标系，如图4A所示，Xslam_c表示该坐标系的X轴，Yslam_c表示该坐标系的Y轴，Zslam_c表示该坐标系的Z轴；

render_c表示预设渲染引擎采用的相机坐标系，如图4A所示，Xrender_c表示该坐标系的X轴，Yrender_c表示该坐标系的Y轴，Zrender_c表示该坐标系的Z轴；

phy_c表示视觉定位算法定义的相机坐标系，也就是视觉空间的相机坐标系，如图4A所示，Xphy_c表示该坐标系的X轴，Yphy_c表示该坐标系的Y轴，Zphy_c表示该坐标系的Z轴；

slam_w表示SLAM算法定义的世界坐标系，如图4B所示，Xslam_w、Yslam_w和Zslam_w即为三个坐标轴；

render_w表示预设渲染引擎采用的世界坐标系，如图4C所示，Xrender_w、Yrender_w和Zrender_w即为三个坐标轴；

phy_w表示视觉定位算法定义的世界坐标系，即视觉空间的坐标系，如图4C所示，Xphy_w、Yphy_w和Zphy_w即为三个坐标轴。

如图4C所示，预设渲染引擎采用的世界坐标系和视觉空间的世界坐标系(即真实世界坐标系)的原点是重合的，即渲染空间与物理空间应该是一一对应的。而SLAM算法定义的世界坐标系，如图4B所示，该坐标系的原点与SLAM算法启动的位置有关，启动位置即为原点位置。所以，在实现AR显示的过程中首先需要把这三个世界坐标系对齐。

可以理解地，在现实空间当中只有一个真实相机，以手机为例，手机的相机只有一个，SLAM算法用的是该相机，预设渲染引擎也是跟着这个物理相机走的，如此才能够完成AR显示效果；而视觉定位算法也是用的这个相机，即该算法是根据这个相机拍摄的图片实现高精定位的。但是由于相机坐标系定义的不同，导致其轴向可能是不同的，例如图4A所示。预设渲染引擎采用的Y轴朝向是朝上的，而SLAM算法定义的Y轴是朝下的。所以在实现AR显示的过程中也需要预先对这三个相机坐标系对齐。

如果不对这三个相机坐标系进行对齐，就会导致最终的渲染结果是错误的。比如，用户拿着手机从下往上移动了一下，对于SLAM算法定义的相机坐标系来讲，检测到手机偏移了-2cm，但是对于预设渲染引擎来讲，则是+2cm的偏移量；这样，如果在渲染之前不进行坐标系的对齐，就会导致最终的渲染结果是不正确的。

需要说明的是，所有坐标系的轴向(如Y轴方向)是任意的，不限于图中所示的方向；坐标系的手系也是任意的，不限定左手坐标系或右手坐标系。

为了保持视角的一致性，如图4A所示，所有相机坐标系的原点都是重合的，这也是一切转换的基础。

视觉定位算法定义的世界坐标系为物理世界坐标系，以真实世界的某个位置作为原点。如图4C所示，预设渲染引擎采用的世界坐标系和视觉定位算法定义的世界坐标系的原点是重合的。

在本申请实施例中，主要利用坐标系的关系计算变换矩阵，也就是偏移矩阵，相比于基于经验的角度估计，前者能够使得坐标系对齐结果更为精确，且不损失自由度；并且，利用多个坐标系的转换关系，实现坐标系对齐，是一种普遍适用的计算方法，适用于任意视觉SLAM算法定义的坐标***。

本申请实施例提供的上述方法，能够应用于真实的物理空间进行定位，叠加展示AR内容的场景，例如AR导航和AR导览场景等。

基于前述的实施例，本申请实施例提供的显示装置，可以包括所包括的各模块、以及各模块所包括的各单元，可以通过电子设备中的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为CPU、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等。

图5为本申请实施例提供的一种显示装置的结构示意图，如图5所示，所述装置500包括获取模块501、确定模块502和渲染显示模块503，其中：

获取模块501，用于获取通过第一定位算法确定的相机的当前位姿信息；

确定模块502，用于根据所述当前位姿信息和预先确定的坐标系偏移信息，确定渲染用的视图信息；其中，所述坐标系偏移信息是根据所述第一定位算法定义的坐标系、预设渲染引擎采用的坐标系和视觉空间坐标系之间的关系而确定的；

渲染显示模块503，用于利用所述视图矩阵以及所述预设渲染引擎，渲染并显示所述视觉空间中的虚拟物体。

在一些实施例中，获取模块501，用于获取所述相机在视觉空间中采集的当前视频帧；利用所述第一定位算法对所述当前视频帧进行处理，得到所述相机的当前位姿信息。

在一些实施例中，所述当前位姿信息包括当前位姿矩阵，所述坐标系偏移信息包括坐标系偏移矩阵，所述视图信息包括视图矩阵；确定模块502，用于：确定所述当前位姿矩阵的逆矩阵；将所述当前位姿矩阵的逆矩阵与所述坐标系偏移矩阵融合，得到所述视图矩阵。

在一些实施例中，确定模块502，还用于：根据所述第一定位算法定义的坐标系、预设渲染引擎采用的坐标系和视觉空间坐标系之间的关系，确定所述第一定位算法中定义的相机坐标系到所述视觉空间的世界坐标系的偏移矩阵。

在一些实施例中，确定模块502，用于：获取第一历史位姿矩阵和第二历史位姿矩阵；其中，所述第一历史位姿矩阵是通过所述第一定位算法对所述相机采集的历史视频帧进行处理得到的；所述第二历史位姿矩阵是通过第二定位算法，对所述历史视频帧进行处理得到的；确定所述第一定位算法定义的相机坐标系到所述预设渲染引擎采用的相机坐标系的第一转换矩阵；确定所述第一定位算法定义的相机坐标系到所述视觉空间的相机坐标系的第二转换矩阵；确定所述预设渲染引擎采用的世界坐标系到所述视觉空间的世界坐标系的第三转换矩阵；根据所述第一历史位姿矩阵、所述第二历史位姿矩阵、所述第一转换矩阵、所述第二转换矩阵和所述第三转换矩阵，确定所述偏移矩阵。

在一些实施例中，确定模块502，用于：将所述第三转换矩阵与所述第二历史位姿矩阵融合，得到第一中间矩阵；将所述第一中间矩阵与所述第二转换矩阵融合，得到第二中间矩阵；将所述第二中间矩阵与所述第一转换矩阵融合，得到第三中间矩阵；将所述第三中间矩阵与所述第一历史位姿矩阵的逆矩阵融合，得到所述偏移矩阵。

在一些实施例中，每一所述相机坐标系的原点是重合的。

在一些实施例中，所述视觉空间的世界坐标系为物理世界坐标系，所述物理世界坐标系的原点为真实世界的一特定位置点；所述预设渲染引擎采用的世界坐标系的原点与所述视觉空间的世界坐标系的原点是重合的。

在一些实施例中，所述第一定位算法为预设的SLAM算法。

以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的显示方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得终端或服务器执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。

对应地，如图6所示，本申请实施例提供的电子设备600，该电子设备600可以是终端，也可以是服务器，该电子设备600可以包括：包括存储器601和处理器602，所述存储器601存储有可在处理器602上运行的计算机程序，所述处理器602执行所述程序时实现上述实施例中提供的显示方法中的步骤。

存储器601配置为存储由处理器602可执行的指令和应用，还可以缓存待处理器602以及电子设备600中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(FLASH)或随机访问存储器(Random AccessMemory，RAM)实现。

对应地，本申请实施例提供的计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中提供的显示方法中的步骤。

这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

应理解，说明书通篇中提到的“一个实施例”或“一些实施例”或“另一些实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”或“在一些实施例中”或“在另一些实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得终端或服务器执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。

本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。

本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。

以上所述，仅为本申请的实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种显示方法，其特征在于，所述方法包括：

获取通过第一定位算法确定的相机的当前位姿信息；

根据所述当前位姿信息和预先确定的坐标系偏移信息，确定渲染用的视图信息；其中，所述坐标系偏移信息是根据所述第一定位算法定义的坐标系、预设渲染引擎采用的坐标系和视觉空间坐标系之间的关系而确定的；

利用所述视图信息以及所述预设渲染引擎，渲染并显示所述视觉空间中的虚拟物体。

2.根据权利要求1所述的方法，其特征在于，所述获取通过第一定位算法确定的相机的当前位姿信息，包括：

获取所述相机在视觉空间中采集的当前视频帧；

利用所述第一定位算法对所述当前视频帧进行处理，得到所述相机的当前位姿信息。

3.根据权利要求1或2所述的方法，其特征在于，所述当前位姿信息包括当前位姿矩阵，所述坐标系偏移信息包括坐标系偏移矩阵，所述视图信息包括视图矩阵；

所述根据所述当前位姿信息和预先确定的坐标系偏移信息，确定视图信息，包括：

确定所述当前位姿矩阵的逆矩阵；

将所述当前位姿矩阵的逆矩阵与所述坐标系偏移矩阵融合，得到所述视图矩阵。

4.根据权利要求3所述的方法，其特征在于，所述坐标系偏移矩阵的确定过程包括：

根据所述第一定位算法定义的坐标系、预设渲染引擎采用的坐标系和视觉空间坐标系之间的关系，确定所述第一定位算法中定义的相机坐标系到所述视觉空间的世界坐标系的偏移矩阵。

5.根据权利要求4所述的方法，其特征在于，所述根据所述第一定位算法定义的坐标系、预设渲染引擎采用的坐标系和视觉空间坐标系之间的关系，确定所述第一定位算法中定义的相机坐标系到所述视觉空间的世界坐标系的偏移矩阵，包括：

获取第一历史位姿矩阵和第二历史位姿矩阵；其中，所述第一历史位姿矩阵是通过所述第一定位算法对所述相机采集的历史视频帧进行处理得到的；所述第二历史位姿矩阵是通过第二定位算法，对所述历史视频帧进行处理得到的；

确定所述第一定位算法定义的相机坐标系到所述预设渲染引擎采用的相机坐标系的第一转换矩阵；

确定所述第一定位算法定义的相机坐标系到所述视觉空间的相机坐标系的第二转换矩阵；

确定所述预设渲染引擎采用的世界坐标系到所述视觉空间的世界坐标系的第三转换矩阵；

根据所述第一历史位姿矩阵、所述第二历史位姿矩阵、所述第一转换矩阵、所述第二转换矩阵和所述第三转换矩阵，确定所述偏移矩阵。

6.根据权利要求5所述的方法，其特征在于，所述根据所述第一历史位姿矩阵、所述第二历史位姿矩阵、所述第一转换矩阵、所述第二转换矩阵和所述第三转换矩阵，确定所述偏移矩阵，包括：

将所述第三转换矩阵与所述第二历史位姿矩阵融合，得到第一中间矩阵；

将所述第一中间矩阵与所述第二转换矩阵融合，得到第二中间矩阵；

将所述第二中间矩阵与所述第一转换矩阵融合，得到第三中间矩阵；

将所述第三中间矩阵与所述第一历史位姿矩阵的逆矩阵融合，得到所述偏移矩阵。

7.根据权利要求5或6所述的方法，其特征在于，每一所述相机坐标系的原点是重合的。

8.根据权利要求5至7任一项所述的方法，其特征在于，所述视觉空间的世界坐标系为物理世界坐标系，所述物理世界坐标系的原点为真实世界的一特定位置点；

所述预设渲染引擎采用的世界坐标系的原点与所述视觉空间的世界坐标系的原点是重合的。

9.根据权利要求1至8任一项所述的方法，其特征在于，所述第一定位算法为预设的即时定位与地图构建SLAM算法。

10.一种显示装置，其特征在于，包括：

获取模块，用于获取通过第一定位算法确定的相机的当前位姿信息；

确定模块，用于根据所述当前位姿信息和预先确定的坐标系偏移信息，确定渲染用的视图信息；其中，所述坐标系偏移信息是根据所述第一定位算法定义的坐标系、预设渲染引擎采用的坐标系和视觉空间坐标系之间的关系而确定的；

渲染显示模块，用于利用所述视图矩阵以及所述预设渲染引擎，渲染并显示所述视觉空间中的虚拟物体。

11.一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至9任一项所述显示方法中的步骤。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至9任一项所述显示方法中的步骤。

Images