CN110457414A - 离线地图处理、虚拟对象显示方法、装置、介质和设备 - Google Patents

Abstract

本发明公开了一种离线地图处理方法、虚拟对象显示方法、离线地图处理装置、虚拟对象显示装置、存储介质和电子设备，涉及增强现实技术领域。该虚拟对象显示方法包括：获取由目标终端采集的当前帧图像，确定当前帧图像的位姿信息作为第一位姿信息，并从当前帧图像提取多种类型的特征信息；基于多种类型的特征信息确定当前帧图像相对于离线地图坐标系的位姿信息，作为第二位姿信息；根据第一位姿信息与第二位姿信息确定目标终端与建图终端的相对位置关系；其中，建图终端为构建离线地图的终端；基于目标终端与建图终端的相对位置关系，将离线地图中配置的虚拟对象显示在目标终端上。本公开可以提高重定位的鲁棒性。

Description

离线地图处理、虚拟对象显示方法、装置、介质和设备

技术领域

本公开涉及增强现实技术领域，具体而言，涉及一种离线地图处理方法、虚拟对象显示方法、离线地图处理装置、虚拟对象显示装置、存储介质和电子设备。

背景技术

增强现实(Augmented Reality，AR)是一种把虚拟世界和现实世界融合的技术，该技术已广泛应用到教育、游戏、医疗、物联网、智能制造等多个领域。

在多人AR的方案中，重定位效果对AR体验起着至关重要的作用。然而，目前，重定位效果存在鲁棒性差的问题。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种离线地图处理方法、虚拟对象显示方法、离线地图处理装置、虚拟对象显示装置、存储介质和电子设备，进而至少在一定程度上克服重定位鲁棒性差的问题。

根据本公开的第一方面，提供一种离线地图处理方法，包括：获取由建图终端采集的场景图像以及与场景图像对应的位姿信息；从场景图像提取多种类型的特征信息；利用与场景图像对应的位姿信息以及场景图像的多种类型的特征信息，构建场景的离线地图。

根据本公开的第二方面，提供一种虚拟对象显示方法，包括：获取由目标终端采集的当前帧图像，确定当前帧图像的位姿信息作为第一位姿信息，并从当前帧图像提取多种类型的特征信息；基于多种类型的特征信息确定当前帧图像相对于离线地图坐标系的位姿信息，作为第二位姿信息；根据第一位姿信息与第二位姿信息确定目标终端与建图终端的相对位置关系；其中，建图终端为构建离线地图的终端；基于目标终端与建图终端的相对位置关系，将离线地图中配置的虚拟对象显示在目标终端上。

根据本公开的第三方面，提供一种离线地图处理装置，包括：建图信息获取模块，用于获取由建图终端采集的场景图像以及与场景图像对应的位姿信息；建图特征提取模块，用于从场景图像提取多种类型的特征信息；离线地图构建模块，用于利用与场景图像对应的位姿信息以及场景图像的多种类型的特征信息，构建场景的离线地图。

根据本公开的第四方面，提供一种虚拟对象显示装置，包括：信息获取模块，用于获取由目标终端采集的当前帧图像，确定当前帧图像的位姿信息作为第一位姿信息，并从当前帧图像提取多种类型的特征信息；位姿确定模块，用于基于多种类型的特征信息确定当前帧图像相对于离线地图坐标系的位姿信息，作为第二位姿信息；位置关系确定模块，用于根据第一位姿信息与第二位姿信息确定目标终端与建图终端的相对位置关系；其中，建图终端为构建离线地图的终端；虚拟对象显示模块，用于基于目标终端与建图终端的相对位置关系，将离线地图中配置的虚拟对象显示在目标终端上。

根据本公开的第五方面，提供一种存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述离线地图处理方法，或者实现上述虚拟对象显示方法。

根据本公开的第六方面，提供一种电子设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行上述离线地图处理方法，或者执行上述虚拟对象显示方法。

在本公开的一些实施例所提供的技术方案中，通过提取多种类型的特征信息构建离线地图，在目标终端实际的虚拟对象显示过程中，提取图像的多种类型的特征信息，利用这些丰富的特征信息与离线地图进行比较，确定出目标终端与建图终端的相对位置关系，并利用该相对位置关系，将虚拟对象显示在目标终端上。相比于仅提取一种类型特征的方案，本公开示例性实施方式提供多种类型的特征信息，大大增加了特征类型的丰富度，使得在重定位的特征分析中，与实际场景更贴切，提高了重定位的鲁棒性，进而增加了AR体验。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示意性示出了根据本公开的示例性实施方式的离线地图处理方法的流程图；

图2示意性示出了根据本公开的示例性实施方式的虚拟对象显示方法的流程图；

图3示意性示出了根据本公开的示例性实施方式的实现离线地图处理方法和虚拟对象显示方法的架构图；

图4示意性示出了根据本公开的示例性实施方式的离线地图处理装置的方框图；

图5示意性示出了根据本公开的另一示例性实施方式的离线地图处理装置的方框图；

图6示意性示出了根据本公开的示例性实施方式的虚拟对象显示装置的方框图；

图7示意性示出了根据本公开的另一示例性实施方式的虚拟对象显示装置的方框图；

图8示意性示出了根据本公开的示例性实施方式的电子设备的方框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。术语“第一”、“第二”仅是为了区分的目的，不应作为本公开内容的限制。

在多人AR的方案中，重定位效果对AR体验起着至关重要的作用。而影响重定位效果的主要因素包括建图时周围现实环境的光照条件、纹理丰富程度、建图的关键帧的位姿、场景中的移动物体等。由于上述因素的影响，当一终端所处环境的光照发生变化、或者扫描周围环境的位姿与建图时差异较大时，重定位可能失败或者重定位结果可能不够准确，导致建图时配置的虚拟物体在该终端显示时，位置存在偏差，影响多人AR体验。

考虑到目前技术中重定位效果鲁棒性差的问题，本公开示例性实施方式提出了一种新的离线地图处理方法和一种新的虚拟对象显示方法。

本公开的示例性实施方式的离线地图处理方法和/或虚拟对象显示方法可以由一服务器实现，也就是说，可以由该服务器执行离线地图处理方法的各个步骤以及/或者虚拟对象显示方法的各个步骤。在这种情况下，下面所述的离线地图处理装置和/或虚拟对象显示装置可以配置在该服务器中。另外，该服务器可以为云服务器。

另外，下面所述的建图终端和目标终端可以例如包括手机、平板电脑、智能可穿戴设备等，本示例性实施方式中对此不做特殊限定。

图1示意性示出了本公开的示例性实施方式的虚拟对象显示方法的流程图。参考图1，虚拟对象显示方法可以包括以下步骤：

S12.获取由建图终端采集的场景图像以及与场景图像对应的位姿信息。

在本公开的示例性实施方式中，建图终端可以针对场景采集多个视频帧图像，以及与图像对应的惯性信息。其中，视频帧图像可以是第一设备的摄像头采集到的视觉信息，而惯性信息可以借助于第一设备的IMU(Inertial Measurement Unit，惯性测量单元)器件获取，IMU器件可以包括陀螺仪和加速度计，可以分别测量终端设备的角速度和加速度。由于IMU器件的工作频率通常比相机采集图像的频率高，可以采用IMU预积分的方式评估对应帧的惯性信息。其中，IMU预积分是基于时间的积分，可以得到对应两个图像的位置、速度与旋转角度等惯性信息。

通过建图终端摄像头和IMU器件的工作，可以得到各视频帧图像和位姿信息，其中，位姿信息可以例如包括6DOF(6Degrees Of Freedom，6自由度)姿态信息。

此外，可以采用目前现有的AR引擎(例如，ARCore、ARKit等)提取图像以及对应的位姿信息。

建图终端可以将采集的场景图像以及与场景图像对应的位姿信息发送给服务器。

S14.从场景图像提取多种类型的特征信息。

根据本公开的一些实施例，可以基于不同特征提取算法和特征描述子的组合来提取多种类型的特征信息。

首先，服务器可以确定出多种类型的特征提取算法以及多种特征描述子。其中，特征提取算法可以包括但不限于FAST特征点检测算法、DOG特征点检测算法、Harris特征点检测算法、SIFT特征点检测算法、SURF特征点检测算法等。特征描述子可以包括但不限于BRIEF特征点描述子、BRISK特征点描述子、FREAK特征点描述子等。

接下来，可以将不同特征提取算法与特征描述子进行组合，以确定出多组特征提取模式。例如，一组特征提取模式可以为FAST特征点检测算法和BRIEF特征点描述子，另一组特征提取模式可以为DOG特征点检测算法和FREAK特征点描述子。基于上面的描述，本领域技术人员可以理解的是，针对一张图像，不同的特征提取模式提取出的特征点的类型存在差异，例如，一组特征提取模式适合对强纹理场景进行特征提取，而另一种特征提取模式适合对弱纹理场景进行特征提取。

随后，可以基于多组特征提取模式，从场景图像提取多种类型的特征信息。

另外，考虑到每种特征提取模式提取特征点的数量以及图像上特征分布的特性，本公开示例性方案以多组特征提取模式包括第一特征模式和第二特征提取模式为例进行说明，服务器可以将场景图像划分为多个图像块，例如，每个图像块均为大小相同的矩形块，本公开对图像块的数量不做特殊限制。

针对每一个图像块，先采用第一特征提取模式进行特征提取，如果采用第一特征提取模式提取到的特征点数量大于一预设阈值，则不再利用第二特征提取模式对该图像块进行特征提取。其中，该预设阈值可以与图像块的尺寸相关且可以人为设置，本公开对此不做特殊限制。如果采用第一特征提取模式提取到的特征点数量不小于该预设阈值，则采用第二特征提取模式继续对该图像块进行特征提取。

根据本公开的另一些实施例，可以采用不同的机器学习模型来提取场景图像的多种类型的特征信息，其中，这些机器学习模型可以例如为训练后的卷积神经网络。具体的，可以将同一场景图像分别输入不同的卷积神经网络，每一卷积神经网络的输出或处理过程中产生的特征图即可对应一种类型的特征信息，由此，结合所有卷积神经网络的特征提取结果，可以得到场景图像的多种类型的特征信息。

S16.利用与场景图像对应的位姿信息以及场景图像的多种类型的特征信息，构建场景的离线地图。

服务器在提取出各场景图像的多种类型的特征信息后，可以从各视频帧图像中确定出关键帧图像，再结合闭环检测方法构建场景的离线地图，本示例性实施方式中构建离线地图的具体过程不做特殊限定。

应当理解的是，离线地图中可以包含关键特征点信息、关键帧信息及地图点信息等。另外，服务器还可以存储有离线地图的标识，用于唯一表示该离线地图，该标识例如为地图对应的房间号、地图对应的GPS(Global Positioning System，全球定位***)位置信息等。

此外，还可以在离线地图中配置虚拟对象，其中，虚拟对象可以例如是皮球、棋类游戏的棋子、演示界面、卡通人物等虚拟的对象，本公开对虚拟对象的类型不作具体限制。例如，建图终端可以通过HitTest方式放置虚拟对象，并将虚拟对象的对象信息、位姿信息、标识等发送给服务器。应当注意的是，虚拟对象的标识的标识可以与离线地图的标识相同。

通过上述离线地图处理方法，服务器可以存储有该离线地图以及放置在该离线地图中的虚拟对象信息。由此，服务器可以基于这些信息对一目标终端进行重定位并使该目标终端能够显示出对应的虚拟对象。

下面参考图2对本公开示例性实施方式的虚拟对象显示方法进行说明。参考图2，虚拟对象显示方法可以包括以下步骤：

S22.获取由目标终端采集的当前帧图像，确定当前帧图像的位姿信息作为第一位姿信息，并从当前帧图像提取多种类型的特征信息。

在本公开的示例性实施方式中，服务器可以获取目标终端采集的当前帧图像以及IMU器件获取的惯性信息，确定出当前帧图像的位姿信息，作为第一位姿信息。可以理解的是，第一位姿信息是基于目标终端发送的数据而直接确定出的位姿信息。

服务器可以从当前帧图像提取多种类型的特征信息。首先，可以确定多种类型的特征提取算法以及多种特征描述子；接下来，将不同特征提取算法与特征描述子进行组合，以确定多组特征提取模式；随后，可以基于多组特征提取模式，从当前帧图像提取多种类型的特征信息，另外，考虑到每种特征提取模式提取特征点的数量以及图像上特征分布的特性，可以将当前帧图像划分为多个图像块，分别进行特征提取的过程。

具体过程与上述步骤S14中的过程类似，在此不再赘述。

S24.基于多种类型的特征信息确定当前帧图像相对于离线地图坐标系的位姿信息，作为第二位姿信息。

根据本公开的一些实施例，还包括确定离线地图的过程。具体的，首先，服务器可以获取目标终端发送的目标终端所处场景的标识；接下来，服务器可以从预先存储的多个离线地图中，确定出标识与目标终端所处场景的标识相同的离线地图。

在确定出离线地图后，可以将离线地图包含的多个关键帧与当前视频帧的多种类型的特征信息进行比较，以从离线地图包含的多个关键帧中确定出与所述多种类型的特征信息匹配的目标关键帧。例如，可以判断特征信息之间的相似度，确定相似度最高的关键帧作为目标关键帧。

接下来，可以确定目标关键帧在离线地图坐标系的位姿信息，并基于该位姿信息确定当前帧图像相对于离线地图坐标系的位姿信息，作为第二位姿信息。

S26.根据第一位姿信息与第二位姿信息确定目标终端与建图终端的相对位置关系；其中，建图终端为构建离线地图的终端。

根据由目标终端上传的数据直接能够确定的第一位姿信息以及相对于离线地图坐标系的第二位姿信息，可以确定出目标终端与建图终端的相对位置关系。具体的，可以利用RANSAC(Random Sample Consensus，随机抽样一致性)算法计算目标终端与建图终端的相对位置关系。

由于在确定第二位姿信息时，采用的是多种类型特征信息，也就是说，结合了多种环境因素的计算分析，因此，确定出的目标终端与建图终端的相对位置关系较准确。

S28.基于目标终端与建图终端的相对位置关系，将离线地图中配置的虚拟对象显示在目标终端上。

根据本公开的一些实施例，首先，服务器可以确定虚拟对象在离线地图中的位姿信息；接下来，服务器可以利用步骤S26中确定出的目标终端与建图终端的相对位置关系，将虚拟对象在离线地图中的位姿信息转换成虚拟对象在目标终端坐标系的位姿信息。

随后，服务器可以将虚拟对象在目标终端坐标系的位姿信息发送给目标终端，以使虚拟对象能够显示在目标终端上。在这种情况下，虚拟对象已被配置在目标终端的AR场景中，目标终端的用户可以通过调整目标终端的角度，即可使虚拟对象显示在该目标终端的屏幕上。

下面将参考图3对本公开实施例所涉及的***架构进行说明。参考图3，实现上述处理过程的***可以包括建图终端31、目标终端32、云服务器33。

具体的，针对构建离线地图的过程，建图终端31通过其配置的摄像头311和惯性测量单元312，将获取到的视觉信息和惯性信息发送给即时定位与地图构建单元313。应当理解的是，建图终端31中的即时定位与地图构建单元313并不实际进行建图的过程，而是将获取到的图像位姿信息发送给云服务器33，由云服务器33构建离线地图。另外，建图终端31的应用程序314可以获取由即时定位与地图构建单元313发送的图像位姿，并利用例如HitTest方式配置虚拟对象。

云服务器33中的虚拟对象处理单元331可以用于存储虚拟对象的信息，并实现将虚拟对象对应的内容发送给目标终端32的过程。建图单元332可以获取建图终端31发送的图像信息，并基于图像信息中包含的图像位姿实现对离线地图的构建过程。重定位单元333可以结合建图单元332构建的离线地图实现目标终端32的重定位。

目标终端32利用摄像头321和惯性检测单元322获取当前帧信息，并发送给即时定位地图构建单元323，即时定位地图构建单元323可以将当前帧信息发送给云服务器33的重定位单元333，由重定位单元333对目标终端32进行重定位。利用云服务器33的虚拟对象处理单元331将离线地图中配置的虚拟对象发送给目标终端32，由应用程序324对虚拟对象进行处理、显示。

另外，需要说明的是，目标终端32的应用程序324还可以获取由即时定位与地图构建单元323发送的图像位姿，并利用例如HitTest方式配置另一虚拟对象，将该另一虚拟对象的信息反馈给云服务器的虚拟对象处理单元331。

此外，应当注意的是，建图终端31并不仅限于用于构建离线地图，在另一些场景下，其还可以是待进行重定位的终端。建图终端31与目标终端32在硬件结构上可以相同。

通过上述虚拟对象显示方法，一方面，针对不同特征提取算法的特点，采用多组特征提取模式提取图像的特征，可以解决由于弱纹理、重复纹理、光照变化、不同角度和距离下重定位效果不佳的问题；另一方面，本公开示例性实施方式的建图、分析的过程均在服务器端，终端设备仅需要发送图像以及对应的位姿信息，解决了终端设备计算能力不足的问题。

应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

进一步的，本示例实施方式中还提供了一种离线地图处理装置。

图4示意性示出了本公开的示例性实施方式的离线地图处理装置的方框图。参考图4，根据本公开的示例性实施方式的离线地图处理装置4可以包括建图信息获取模块41、建图特征提取模块43和离线地图构建模块45。

具体的，建图信息获取模块41可以用于获取由建图终端采集的场景图像以及与场景图像对应的位姿信息；建图特征提取模块43可以用于从场景图像提取多种类型的特征信息；离线地图构建模块45可以用于利用与场景图像对应的位姿信息以及场景图像的多种类型的特征信息，构建场景的离线地图。

根据本公开的示例性实施例，参考图5，相比于离线地图处理装置4，离线地图处理装置5还可以包括虚拟对象配置模块51。

具体的，虚拟对象配置模块51可以用于在离线地图中配置一虚拟对象；其中，虚拟对象的标识与离线地图的标识相同。

根据本公开的示例性实施例，建图特征提取模块43可以被配置为执行：确定多种类型的特征提取算法以及多种特征描述子；将不同特征提取算法与特征描述子进行组合，以确定多组特征提取模式；基于多组特征提取模式，从场景图像提取多种类型的特征信息。

根据本公开的示例性实施例，多组特征提取模式包括第一特征提取模式和第二特征提取模式，在这种情况下，建图特征提取模块43还可以被配置为执行：将场景图像划分为多个图像块；针对每一个图像块，如果采用第一特征提取模式提取到的特征点数量大于一预设阈值，则不采用第二特征提取模式对图像块进行特征提取；针对每一个图像块，如果采用第一特征提取模式提取到的特征点数量不大于预设阈值，则采用第二特征提取模式对图像块进行特征提取。

进一步的，本示例实施方式中还提供了一种虚拟对象显示装置。

图6示意性示出了本公开的示例性实施方式的虚拟对象显示装置的方框图。参考图6，根据本公开的示例性实施方式的虚拟对象显示装置6可以包括信息获取模块61、位姿确定模块63、位置关系确定模块65和虚拟对象显示模块67。

具体的，信息获取模块61可以用于获取由目标终端采集的当前帧图像，确定当前帧图像的位姿信息作为第一位姿信息，并从当前帧图像提取多种类型的特征信息；位姿确定模块63可以用于基于多种类型的特征信息确定当前帧图像相对于离线地图坐标系的位姿信息，作为第二位姿信息；位置关系确定模块65可以用于根据第一位姿信息与第二位姿信息确定目标终端与建图终端的相对位置关系；其中，建图终端为构建离线地图的终端；虚拟对象显示模块67可以用于基于目标终端与建图终端的相对位置关系，将离线地图中配置的虚拟对象显示在目标终端上。

根据本公开的示例性实施例，参考图7，相对于虚拟对象显示装置6，虚拟对象显示装置7还可以包括离线地图确定模块71。

具体的，离线地图确定模块71可以被配置为执行：获取目标终端发送的目标终端所处场景的标识；确定标识与目标终端所处场景的标识相同的离线地图；其中，在确定出离线地图后，执行确定第二位姿信息的过程。

根据本公开的示例性实施例，位姿确定模块63可以被配置为执行：在构建离线地图所采用的多个关键帧中，确定与所述多种类型的特征信息匹配的目标关键帧；基于目标关键帧在离线地图坐标系的位姿信息，确定当前帧图像相对于离线地图坐标系的位姿信息，作为第二位姿信息。

根据本公开的示例性实施例，虚拟对象显示模块67可以被配置为执行：确定虚拟对象在离线地图中的位姿信息；利用目标终端与建图终端的相对位置关系，根据虚拟对象在离线地图中的位姿信息确定虚拟对象在目标终端坐标系的位姿信息；将虚拟对象在目标终端坐标系的位姿信息发送给目标终端，以使虚拟对象显示在目标终端上。

根据本公开的示例性实施例，信息获取模块61可以配置为执行：确定多种类型的特征提取算法以及多种特征描述子；将不同特征提取算法与特征描述子进行组合，以确定多组特征提取模式；基于所述多组特征提取模式，从当前帧图像提取多种类型的特征信息。

根据本公开的示例性实施例，信息获取模块61还可以配置为执行：将当前帧图像划分为多个图像块；针对每一个图像块，如果采用第一特征提取模式提取到的特征点数量大于一预设阈值，则不采用第二特征提取模式对该图像块进行特征提取；针对每一个图像块，如果采用第一特征提取模式提取到的特征点数量不大于预设阈值，则采用第二特征提取模式对该图像块进行特征提取。

由于本发明实施方式的程序运行性能分析装置的各个功能模块与上述方法发明实施方式中相同，因此在此不再赘述。

在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。

根据本发明的实施方式的用于实现上述方法的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光盘、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为***、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“***”。

下面参照图8来描述根据本发明的这种实施方式的电子设备800。图8显示的电子设备800仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图8所示，电子设备800以通用计算设备的形式表现。电子设备800的组件可以包括但不限于：上述至少一个处理单元810、上述至少一个存储单元820、连接不同***组件(包括存储单元820和处理单元810)的总线830、显示单元840。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元810执行，使得所述处理单元810执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元810可以执行如图1中所示的步骤S12至步骤S16，以及/或者如图2中所示的步骤S22至步骤S28。

存储单元820可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)8201和/或高速缓存存储单元8202，还可以进一步包括只读存储单元(ROM)8203。

存储单元820还可以包括具有一组(至少一个)程序模块8205的程序/实用工具8204，这样的程序模块8205包括但不限于：操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线830可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、***总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备800也可以与一个或多个外部设备900(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备800交互的设备通信，和/或与使得该电子设备800能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口850进行。并且，电子设备800还可以通过网络适配器860与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器860通过总线830与电子设备800的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备800使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (14)

1.一种离线地图处理方法，其特征在于，包括：

获取由建图终端采集的场景图像以及与所述场景图像对应的位姿信息；

从所述场景图像提取多种类型的特征信息；

利用与所述场景图像对应的位姿信息以及所述场景图像的多种类型的特征信息，构建场景的离线地图。

2.根据权利要求1所述的离线地图处理方法，其特征在于，所述离线地图处理方法还包括：

在所述离线地图中配置一虚拟对象；

其中，所述虚拟对象的标识与所述离线地图的标识相同。

3.根据权利要求1或2所述的离线地图处理方法，其特征在于，从所述场景图像提取多种类型的特征信息包括：

确定多种类型的特征提取算法以及多种特征描述子；

将不同特征提取算法与特征描述子进行组合，以确定多组特征提取模式；

基于所述多组特征提取模式，从所述场景图像提取多种类型的特征信息。

4.根据权利要求3所述的离线地图处理方法，其特征在于，所述多组特征提取模式包括第一特征提取模式和第二特征提取模式；其中，基于所述多组特征提取模式，从所述场景图像提取多种类型的特征信息包括：

将所述场景图像划分为多个图像块；

针对每一个图像块，如果采用所述第一特征提取模式提取到的特征点数量大于一预设阈值，则不采用所述第二特征提取模式对所述图像块进行特征提取；

针对每一个图像块，如果采用所述第一特征提取模式提取到的特征点数量不大于所述预设阈值，则采用所述第二特征提取模式对所述图像块进行特征提取。

5.一种虚拟对象显示方法，其特征在于，包括：

获取由目标终端采集的当前帧图像，确定所述当前帧图像的位姿信息作为第一位姿信息，并从所述当前帧图像提取多种类型的特征信息；

基于所述多种类型的特征信息确定所述当前帧图像相对于离线地图坐标系的位姿信息，作为第二位姿信息；

根据所述第一位姿信息与所述第二位姿信息确定所述目标终端与建图终端的相对位置关系；其中，所述建图终端为构建所述离线地图的终端；

基于所述目标终端与所述建图终端的相对位置关系，将所述离线地图中配置的虚拟对象显示在所述目标终端上。

6.根据权利要求5所述的虚拟对象显示方法，其特征在于，所述虚拟对象显示方法还包括：

获取所述目标终端发送的所述目标终端所处场景的标识；

确定标识与所述目标终端所处场景的标识相同的离线地图；

其中，在确定出所述离线地图后，执行确定所述第二位姿信息的过程。

7.根据权利要求5或6所述的虚拟对象显示方法，其特征在于，基于所述多种类型的特征信息确定所述当前帧图像相对于离线地图坐标系的位姿信息，作为第二位姿信息包括：

在构建所述离线地图所采用的多个关键帧中，确定与所述多种类型的特征信息匹配的目标关键帧；

基于所述目标关键帧在所述离线地图坐标系的位姿信息，确定所述当前帧图像相对于所述离线地图坐标系的位姿信息，作为所述第二位姿信息。

8.根据权利要求5所述的虚拟对象显示方法，其特征在于，基于所述目标终端与所述建图终端的相对位置关系，将所述离线地图中配置的虚拟对象显示在所述目标终端上包括：

确定所述虚拟对象在所述离线地图中的位姿信息；

利用所述目标终端与所述建图终端的相对位置关系，根据所述虚拟对象在所述离线地图中的位姿信息确定所述虚拟对象在所述目标终端坐标系的位姿信息；

将所述虚拟对象在所述目标终端坐标系的位姿信息发送给所述目标终端，以使所述虚拟对象显示在所述目标终端上。

9.根据权利要求5所述的虚拟对象显示方法，其特征在于，从所述当前帧图像提取多种类型的特征信息包括：

确定多种类型的特征提取算法以及多种特征描述子；

将不同特征提取算法与特征描述子进行组合，以确定多组特征提取模式；

基于所述多组特征提取模式，从所述当前帧图像提取多种类型的特征信息。

10.根据权利要求9所述的虚拟对象显示方法，其特征在于，所述多组特征提取模式包括第一特征提取模式和第二特征提取模式；其中，基于所述多组特征提取模式，从所述当前帧图像提取多种类型的特征信息包括：

将所述当前帧图像划分为多个图像块；

针对每一个图像块，如果采用所述第一特征提取模式提取到的特征点数量大于一预设阈值，则不采用所述第二特征提取模式对所述图像块进行特征提取；

针对每一个图像块，如果采用所述第一特征提取模式提取到的特征点数量不大于所述预设阈值，则采用所述第二特征提取模式对所述图像块进行特征提取。

11.一种离线地图处理装置，其特征在于，包括：

建图信息获取模块，用于获取由建图终端采集的场景图像以及与所述场景图像对应的位姿信息；

建图特征提取模块，用于从所述场景图像提取多种类型的特征信息；

离线地图构建模块，用于利用与所述场景图像对应的位姿信息以及所述场景图像的多种类型的特征信息，构建场景的离线地图。

12.一种虚拟对象显示装置，其特征在于，包括：

信息获取模块，用于获取由目标终端采集的当前帧图像，确定所述当前帧图像的位姿信息作为第一位姿信息，并从所述当前帧图像提取多种类型的特征信息；

位姿确定模块，用于基于所述多种类型的特征信息确定所述当前帧图像相对于离线地图坐标系的位姿信息，作为第二位姿信息；

位置关系确定模块，用于根据所述第一位姿信息与所述第二位姿信息确定所述目标终端与建图终端的相对位置关系；其中，所述建图终端为构建所述离线地图的终端；

虚拟对象显示模块，用于基于所述目标终端与所述建图终端的相对位置关系，将所述离线地图中配置的虚拟对象显示在所述目标终端上。

13.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的离线地图处理方法，或者实现权利要求5至10中任一项所述的虚拟对象显示方法。

14.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至4中任一项所述的离线地图处理方法，或者执行权利要求5至10中任一项所述的虚拟对象显示方法。