CN114092655A - 构建地图的方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种构建地图的方法、装置、设备及存储介质，属于地图处理技术领域。所述方法包括：获取第一图像集，第一图像集中包括待构建地图的区域的多个图像；标注第一图像集中的兴趣点；基于标注兴趣点之后的第一图像集进行三维重建，根据重建结果得到第一点云结构；基于第一点云结构获取区域的第一地图；基于第一地图获取完成兴趣点标注的第二地图。本申请构建地图时只需要采集图像，不依赖底图，即使缺少最新底图也可以准确构建出最新的地图。且因为在重建前就完成了对图像的兴趣点的标注，后续在地图上标注兴趣点时，只需要将兴趣点投影在地图上就可以完成地图的构建，标注兴趣点成本低且效率高。

Description

构建地图的方法、装置、设备及存储介质

技术领域

本申请实施例涉及地图处理技术领域，特别涉及一种构建地图的方法、装置、设备及存储介质。

背景技术

随着技术的发展，建筑结构与分布越来越复杂，常会出现人们无法顺利找到目的地的情况。为了帮助人们即使不熟悉环境也可以准确快速地找到目的地，需要构建地图，利用地图为用户引导。

在相关技术中，常用的构建地图的方法是利用RTK(Real time kinematic，实时差分定位)网络模型初步构建地图，或者获取建筑底图，基于建筑底图初步构建地图，再由人工在初步构建的地图上标注POI(Point of Interest，兴趣点)位置，完成地图的构建。

上述方法中，利用RTK网络模型技术构建地图的方法，RTK网络模型本身运行成本高；而基于建筑底图构建地图的方法，由于建筑底图时效性差，导致基于建筑底图构建出的地图准确率低，并且通过人工在初步构建的地图上标注POI，成本高，效率慢。

发明内容

本申请实施例提供了一种构建地图的方法、装置、设备及存储介质，可用于解决相关技术中的问题。所述技术方案如下：

一方面，本申请实施例提供了一种构建地图的方法，所述方法包括：

获取第一图像集，所述第一图像集中包括待构建地图的区域的多个图像；

标注所述第一图像集中的兴趣点；

基于标注兴趣点之后的第一图像集进行三维重建，根据重建结果得到第一点云结构；

基于所述第一点云结构获取所述区域的第一地图；

基于所述第一地图获取完成兴趣点标注的第二地图。

在一种可能的实现方式中，所述基于标注兴趣点之后的第一图像集进行三维重建，根据重建结果得到第一点云结构，包括：

提取所述标注兴趣点之后的第一图像集中的各个图像的图像特征；

基于所述各个图像的图像特征进行图像特征配对，得到图像对；

基于所述图像对进行三维重建，根据重建结果获取第一点云结构。

在一种可能的实现方式中，所述基于所述图像对进行三维重建，根据重建结果获取第一点云结构，包括：

获取所述标注兴趣点之后的第一图像集中的单张图像与所述图像对的位置关系，所述位置关系以在同一坐标系下的坐标点形式体现；

基于所述位置关系获取第二点云结构；

迭代优化所述第二点云结构，获取误差范围可控的第三点云结构；

过滤所述第三点云结构中基于错误的图像特征配对重建出的点云；

响应于满足结束条件，将过滤后的第三点云结构作为第一点云结构，所述结束条件为获取所述标注兴趣点之后的第一图像集中所有图像与所述图像对的位置关系。

在一种可能的实现方式中，所述获取所述标注兴趣点之后的第一图像集中的单张图像与所述图像对的位置关系，包括：

基于初始化后的图像对获取三维点云结构；

迭代优化所述三维点云结构；

过滤优化后的三维点云结构中基于错误的图像特征配对重建出的点云；

基于所述标注兴趣点之后的第一图像集中的图像对预处理后的图像对进行增量注册，基于过滤优化后的三维点云结构获取所述标注兴趣点之后的第一图像集中的图像与所述过滤优化后的三维点云结构的位置关系。

在一种可能的实现方式中，所述基于所述第一点云结构获取所述区域的第一地图，包括：

基于图像采集装置的位姿序列获取所述图像采集装置所在的第一平面，所述位姿序列是基于所述标注兴趣点之后的第一图像集进行三维重建的过程中获得的；

将所述第一点云结构与所述图像采集装置的位姿序列投影至所述第一平面，根据投影结果获取所述第一地图。

在一种可能的实现方式中，所述基于所述第一地图获取完成兴趣点标注的第二地图之后，所述方法还包括：

当区域结构变化时，重新构建地图。

在一种可能的实现方式中，所述基于所述第一地图获取完成兴趣点标注的第二地图之后，所述方法还包括：

当兴趣点发生变更，区域结构未发生变化时，采集第二图像集，标注所述第二图像集中的兴趣点，所述第二图像集包括兴趣点变更区域的图像和兴趣点未变更区域的图像，所述兴趣点未变更区域与所述兴趣点变更区域相连；

基于标注兴趣点之后的第二图像集和所述第一点云结构进行三维重建，根据重建结果获取第四点云结构；

基于所述第四点云结构更新地图。

在一种可能的实现方式中，所述基于所述第四点云结构更新地图，包括：

删减第四点云结构中的替换候选帧，所述替换候选帧是基于阈值确定的；

将删减完所述替换候选帧的第四点云结构投影至所述第一平面，基于投影结果获取第三地图；

基于所述第三地图获取第四地图，所述第四地图是完成兴趣点标注的地图。

另一方面，提供了一种构建地图的装置，所述装置包括：

第一获取模块，用于获取第一图像集，所述第一图像集中包括待构建地图的区域的多个图像；

标注模块，用于标注所述第一图像集中的兴趣点；

第一重建模块，用于基于标注兴趣点之后的第一图像集进行三维重建，根据重建结果得到第一点云结构；

第二获取模块，用于基于所述第一点云结构获取所述区域的第一地图；

第三获取模块，用于基于所述第一地图获取完成兴趣点标注的第二地图。

在一种可能的实现方式中，所述第一重建模块，包括：

提取单元，用于提取所述标注兴趣点之后的第一图像集中的各个图像的图像特征；

特征配对单元，用于基于所述各个图像的图像特征进行图像特征配对，得到图像对；

三维重建单元，用于基于所述图像对进行三维重建，根据重建结果获取第一点云结构。

在一种可能的实现方式中，所述三维重建单元，包括：

位置关系获取子单元，用于获取所述标注兴趣点之后的第一图像集中的单张图像与所述图像对的位置关系，所述位置关系以在同一坐标系下的坐标点形式体现；

点云结构获取子单元，用于基于所述位置关系获取第二点云结构；

优化子单元，用于迭代优化所述第二点云结构，获取误差范围可控的第三点云结构；

过滤子单元，用于过滤所述第三点云结构中基于错误的图像特征配对重建出的点云；

确定子单元，用于响应于满足结束条件，将过滤后的第三点云结构作为第一点云结构，所述结束条件为获取所述标注兴趣点之后的第一图像集中所有图像与所述图像对的位置关系。

在一种可能的实现方式中，所述位置关系获取子单元，用于基于初始化后的图像对获取三维点云结构；迭代优化所述三维点云结构；过滤优化后的三维点云结构中基于错误的图像特征配对重建出的点云；基于所述标注兴趣点之后的第一图像集中的图像对预处理后的图像对进行增量注册，基于过滤优化后的三维点云结构获取所述标注兴趣点之后的第一图像集中的图像与所述过滤优化后的三维点云结构的位置关系。

在一种可能的实现方式中，所述第二获取模块，用于基于图像采集装置的位姿序列获取所述图像采集装置所在的第一平面，所述位姿序列是基于所述标注兴趣点之后的第一图像集进行三维重建的过程中获得的；将所述第一点云结构与所述图像采集装置的位姿序列投影至所述第一平面，根据投影结果获取所述第一地图。

在一种可能的实现方式中，所述装置还包括：

构建模块，用于当区域结构变化时，重新构建地图。

在一种可能的实现方式中，所述装置还包括：

采集模块，用于当兴趣点发生变更，区域结构未发生变化时，采集第二图像集，标注所述第二图像集中的兴趣点，所述第二图像集包括兴趣点变更区域的图像和兴趣点未变更区域的图像，所述兴趣点未变更区域与所述兴趣点变更区域相连；

第二重建模块，用于基于标注兴趣点之后的第二图像集和所述第一点云结构进行三维重建，根据重建结果获取第四点云结构；更新模块，用于基于所述第四点云结构更新地图。

在一种可能的实现方式中，所述更新模块，用于删减第四点云结构中的替换候选帧，所述替换候选帧是基于阈值确定的；将删减完所述替换候选帧的第四点云结构投影至所述第一平面，基于投影结果获取第三地图；基于所述第三地图获取第四地图，所述第四地图是完成兴趣点标注的地图。

另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行，以使所述计算机设备实现上述任一所述的构建地图的方法。

另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行，以使计算机实现上述任一所述的构建地图的方法。

另一方面，还提供了一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机指令，所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令，处理器执行所述计算机指令，使得所述计算机设备执行上述任一所述的构建地图的方法。

本申请实施例提供的技术方案至少带来如下有益效果：

在构建地图中，只需要采集待构建地图的区域的图像，基于采集到的图像进行三维重建就能获得地图，不依赖底图供应商，即使缺少最新底图，也可以准确构建出时效性高的地图。同时，因为三维重建之前就已经完成了对图像的兴趣点标注工作，后续对地图标注兴趣点时，仅需基于之前标注的兴趣点，就可以完成地图的构建，该构建地图的成本低，效率高。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种实施环境的示意图；

图2是本申请实施例提供的一种构建地图的方法流程图；

图3是本申请实施例提供的一种三维重建的方法示意图；

图4是本申请实施例提供的一种三维重建的方法流程图；

图5是本申请实施例提供的一种构建地图的流程图；

图6是本申请实施例提供的一种更新地图的流程图；

图7是本申请实施例提供的一种构建地图的装置示意图；

图8是本申请实施例提供的一种服务器的结构示意图；

图9是本申请实施例提供的一种构建地图的设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

本申请实施例提供了一种构建地图的方法，请参考图1，其示出了本申请实施例提供的方法实施环境的示意图。该实施环境可以包括：终端11和服务器12。

其中，终端11安装有能获取图像的应用程序，当该应用程序获取图像后，将获取到的图像发送给服务器12，服务器12可应用本申请实施例提供的方法构建地图，由服务器12对地图进行存储。可选地，终端11可以从服务器12上获取地图，由终端11对地图进行存储。

或者，终端11安装有能获取图像的应用程序，当该应用程序获取图像后，终端11基于本申请实施例提供的方法构建地图，由终端11对地图进行存储。可选地，服务器12可以从终端11上获取地图，由服务器12对地图进行存储。

或者，终端11从服务器12上获取图像，基于本申请实施例提供的方法构建地图，由终端11对地图进行存储。可选地，服务器12可以从终端11上获取地图，由服务器12对地图进行存储。

可选地，终端11可以是任何一种可与用户通过键盘、触摸板、触摸屏、遥控器、语音交互或手写设备等一种或多种方式进行人机交互的电子产品，例如PC(PersonalComputer，个人计算机)、手机、智能手机、PDA(Personal Digital Assistant，个人数字助手)、可穿戴设备、PPC(Pocket PC，掌上电脑)、平板电脑、智能车机、智能电视、智能音箱等。服务器12可以是一台服务器，也可以是由多台服务器组成的服务器集群，或者是一个云计算服务中心。终端11与服务器12通过有线或无线网络建立通信连接。

本领域技术人员应能理解上述终端11和服务器12仅为举例，其他现有的或今后可能出现的终端或服务器如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

基于上述图1所示的实施环境，本申请实施例提供一种构建地图的方法如图2所示，该构建地图的方法可由终端或服务器执行，以该方法应用于终端为例，该方法包括步骤201-步骤205。

在步骤201中，获取第一图像集，第一图像集中包括待构建地图的区域的多个图像。

在一种可能的实现方式中，第一图像集的获取方式包括：利用图像采集装置，采集覆盖待构建地图的区域的图像，将采集到的图像作为第一图像集。

本申请实施例不对图像采集装置进行限定，可选地，图像采集装置是安装和运行有能实现兴趣点标注的应用程序的装置。可选地，图像采集装置是能够进行图像采集的普通装置。

在步骤202中，标注第一图像集中的兴趣点。

无论用哪种装置获取第一图像集，均可实现对第一图像集中的兴趣点的标注，例如，以图像采集装置是安装和运行有能实现兴趣点标注的应用程序的装置为例，在采集过程中就调用应用程序完成兴趣点标注。以图像采集装置是能够进行图像采集的普通装置为例，将采集到的第一图像集输入至第一网络模型，基于第一网络模型标注第一图像集中的兴趣点。其中，第一网络模型是可以识别图像中的文字信息的网络模型。

在步骤203中，基于标注兴趣点之后的第一图像集进行三维重建，根据重建结果得到第一点云结构。

其中，关于基于标注兴趣点之后的第一图像集进行三维重建，根据重建结果得到第一点云结构的过程如图3所示：提取标注兴趣点之后的第一图像集中的各个图像的图像特征；基于各个图像的图像特征进行图像特征配对，得到图像对；基于图像对进行三维重建，根据重建结果获取第一点云结构。

本申请实施例不对提取到的图像特征进行限定，可选地，提取标注兴趣点之后的第一图像集中的图像的特征点和对应特征点的描述子。可选地，描述子为特征点对应的特征向量。

在提取到第一图像集中的各个图像的图像特征后，可基于图像特征进行图像特征配对。在一种可能的实现方式中，基于描述子对两个图像特征的匹配程度进行排序，通过排序结果，选择匹配程度最高的两个图像特征，完成图像特征配对，获取图像对。

在一种可能的实现方式中，如图3所示，在完成图像特征配对后，可对图像对进行几何验证，关于几何验证的方式，可选地，计算图像对之间的距离，将距离大于预先设定的数值的图像对舍弃掉，从而优化图像对。

在获取图像对后，可基于图像对进行三维重建，根据重建结果获取第一点云结构。在一种可能的实现方式中，以图3示出的三维重建的方法示意图为例，如图4所示，使用SFM(Structure from Motion，运动恢复结构)增量式三维重建的方式获取第一点云结构的过程包括如下步骤2031-2035。

步骤2031：获取标注兴趣点之后的第一图像集中的单张图像与图像对的位置关系，位置关系以在同一坐标系下的坐标点形式体现。

如图3所示，在一种可能的实现方式中，在获取标注兴趣点之后的第一图像集中的单张图像与图像对的位置关系之前，还包括：对图像对进行初始化。关于选取要进行初始化的图像对的方式，可选地，选取匹配最多图像特征的图像对作为要初始化的图像对。可选地，基于匹配质量，选取图像特征匹配度最高的图像对作为要初始化的图像对。通过初始化图像对，确定三维重建时所需要的世界坐标系的坐标原点与尺度。

在对图像对进行初始化后，可将初始化后的图像对输入至增量重建子模块进行预处理。其中，增量重建子模块为三维重建模型的子模块。示例性地，基于初始化后的图像对获取三维点云结构；迭代优化三维点云结构；过滤优化后的三维点云结构中基于错误的图像特征配对重建出的点云；基于标注兴趣点之后的第一图像集中的图像对预处理后的图像对进行增量注册，基于过滤优化后的三维点云结构获取标注兴趣点之后的第一图像集中的图像与过滤优化后的三维点云结构的位置关系。

本申请实施例不对基于初始化后的图像对获取三维点云结构的方式进行限定，在一种可能的实现方式中，可通过三角定位获取三维点云结构。

在获取到三维点云结构后可以对三维点云结构进行迭代优化。可选地，构建最小二乘优化问题，通过迭代计算优化三维点云误差，实现三维点云结构的误差范围可控，从而获取质量更高的三维点云结构。迭代优化三维点云结构后，可对三维点云结构进行过滤，过滤基于错误的图像特征配对通过三角定位得到的三维点云。在过滤过程中，还过滤了错误的图像特征配对关系，以此提升后续增量重建时基于图像特征配对重建的点云结构的精确度。

在预处理完图像对后，可将第一图像集中的图像输入至增量重建子模块，进行增量注册。本申请实施例不对增量注册的方式进行限定，在一种可能的实现方式中，基于图像对中的特征点的位置以及输入的图像与图像对的图像特征匹配关系，利用PNP(Perspective-n-Point，多点透视成像)网络模型，基于二维至三维之间的运动关系，实现增量注册。其中，图像对中的特征点的位置是预处理图像对过程中获得的。输入的图像与图像对的图像特征匹配关系是通过图像特征配对获得的。二维至三维之间的运动关系是基于预处理图像对中三角定位获取三维点云结构过程中得到的，在进行增量注册的过程中，还会通过计算获取图像采集装置的位姿信息。

通过增量注册，获取输入的图像与图像对之间的位置关系，即同一坐标系下的坐标点。用来统一的坐标系是通过初始化图像对确定的世界坐标系。

步骤2032：基于位置关系获取第二点云结构。

本申请实施例不对获取第二点云结构的方式进行限定，在一种可能实现的方式中，利用三角定位基于位置关系获取第二点云结构。

步骤2033：迭代优化第二点云结构，获取误差范围可控的第三点云结构。

关于迭代优化第二点云结构的方式，可选地，构建最小二乘优化问题，并通过迭代计算优化第二点云结构。在进行迭代优化过程中，除了优化第二点云结构获取了误差范围可控的更高质量的第三点云结构，还会优化在增量注册过程中计算得到的图像采集装置的位姿序列。

步骤2034：过滤第三点云结构中基于错误的图像特征配对重建出的点云。

除了过滤第三点云结构中基于错误的图像特征配对重建出的点云之外，还会过滤错误的图像特征配对信息，以此来提高后续的三维重建过程中的图像特征匹配质量和基于图像特征匹配得到的点云结构的精确度，同时减轻后续在进行过滤时的任务量。

步骤2035：响应于满足结束条件，将过滤后的第三点云结构作为第一点云结构，结束条件为获取标注兴趣点之后的第一图像集中所有图像与图像对的位置关系。

在步骤204中，基于第一点云结构获取区域的第一地图。

本申请实施例不对基于第一点云结构获取第一地图的方式进行限定，包括但不限于：基于图像采集装置的位姿序列获取图像采集装置所在的第一平面，位姿序列是基于标注兴趣点之后的第一图像集进行三维重建的过程中获得的；将第一点云结构与图像采集装置的位姿序列投影至第一平面，根据投影结果获取第一地图。

在一种可能的实现方式中，通过对位姿序列进行平面拟合，利用ransac(RandomSample Consensus，随机抽样一致)的方法，恢复出图像采集装置所在的第一平面。在获取第一平面后，可将第一点云结构与图像采集装置的位姿序列投影至第一平面，获取二维点云地图，将二维点云地图作为第一地图。

在投影过程中，需要基于第一点云结构中的关键帧确定基本拓扑结构。本申请实施例不对关键帧的确定方式进行限定，可选地，在三维重建过程中注册的图像帧为关键帧。可选地，基于三维重建对图像帧的频率要求，选取符合频率要求的图像帧作为关键帧。

通过恢复第一平面，再将第一点云结构投影至第一平面，可以有效地控制误差范围，提高了地图的准确度，同时，将位姿序列投影至第一平面上确定了关键帧姿态信息，如关键帧的方向。

在步骤205中，基于第一地图获取完成兴趣点标注的第二地图。

本申请实施例不对基于第一地图获取完成兴趣点标注的第二地图的方式进行限定，示例性地，获取第五地图；基于第五地图与第一地图获取清晰度更高的地图，在清晰度更高的地图上标注兴趣点，得到第二地图。可选地，清晰度更高是指相对第一地图来说地图排版布局更清晰。

可选地，第五地图为商场CAD(Computer Aided Drafting，计算机辅助绘图)地图。可选地，当第一地图范围有限，则第五地图是可以提供第一图像集中的图像匹配对的地图。以第一地图局限于商场主干道为例，获取的第一地图无法展示店铺面积，匹配并不完备，第五地图为可以显示店铺面积的地图。

在获取清晰度更高的地图后，在该地图上标注兴趣点，得到第二地图。本申请实施例不对标注兴趣点的方式进行限定，可选地，基于二维图像特征点至三维点云之间的映射关系确定兴趣点在第一点云结构中的位置，将兴趣点投影到清晰度更高的地图上，得到第二地图。

其中，二维图像特征点至三维点云之间的映射关系是在图像配准中获得的。

除了基于第五地图获取清晰度更高的地图，在该地图上标注兴趣点之外，当采集到的第一图像集中的图像匹配完备，获取到的第一地图清晰度较高，可以直接在第一地图上标注兴趣点。

在一种可能的实现方式中，当地图的POI发生变化时，用户可以在兴趣点发生变化时发起更新地图的请求，进行地图的更新。

本申请实施例不对更新地图的方式进行限定。可选地，当区域结构变化时，重新构建地图，重新构建地图的方式为步骤201-步骤205。

可选地，除了重新构建地图之外，当兴趣点发生变更，区域结构未发生变化时，采集第二图像集，标注第二图像集中的兴趣点，第二图像集包括兴趣点变更区域的图像和兴趣点未变更区域的图像，兴趣点未变更区域与兴趣点变更区域相连；基于标注兴趣点之后的第二图像集和第一点云结构进行三维重建，根据重建结果获取第四点云结构；基于第四点云结构更新地图。

本申请实施例不对第二图像集中的图像的区域范围进行限定，示例性地，若变更兴趣点区域集中在一起，则选取附近的未变更兴趣点区域，以实现最小采集量为目标，获取第二图像集，例如，在商场室内地图更新时，采集变更兴趣点的店铺图像以及店铺旁边的三家未变更兴趣点的店铺图像。标注第二图像集的兴趣点的方式如步骤202所示。

在获取第二图像集后，可基于第二图像集与第一点云结构进行三维重建，根据重建结果获取第四点云结构，在一种可能的实现方式中，将完成图像特征配对的第二图像集输入至增量重建子模块，在第一点云结构中注册新的点云，获取第四点云结构，实施方式如步骤2031-步骤2035所示。

获取第四点云结构后，可基于第四点云结构更新地图。关于基于第四点云结构更新地图的方式，包括但不限于：删减第四点云结构中的替换候选帧，替换候选帧是基于阈值确定的；将删减完替换候选帧的第四点云结构投影至第一平面，基于投影结果获取第三地图；基于第三地图获取第四地图，第四地图是完成兴趣点标注的地图。

替换候选帧是第一点云结构中距离采集帧一定阈值的关键帧，采集帧是在采集第二图像集的过程中确定的。由于第四点云结构是基于第一点云结构进行增量重建得到的，所以第一点云结构中的替换候选帧也位于第四点云结构的相同位置处。通过将替换候选帧删减，完成了将发生变更的旧关键帧删除，保留最新关键帧。本申请实施例不对阈值的设定方式进行限定，可选地，基于待更新地图中的兴趣点通道距离或者通道宽度，以通道距离为阈值。可选地，基于待更新地图中的兴趣点通道距离或者通道宽度，以通道距离的一半为阈值。

在删减完替换候选帧后，可将得到的新的三维点云结构投影至第一平面获取新的二维点云地图，将获取到的二维点云地图作为第三地图。

在获取第三地图后，可基于第三地图获取第四地图，第四地图是完成兴趣点标注的地图。基于第三地图获取第四地图的方式如步骤204。

综上所述，本申请实施例提供的构建地图的方法，是基于采集的图像完成地图的构建，不依赖底图供应商，即使缺少最新底图，也可以准确构建出地图。同时，因为采集图像过程中已经完成了轻量级的兴趣点标注工作，在后续对地图标注兴趣点时只需要将兴趣点投影在地图上，就可以完成地图的构建，该构建地图的成本低，效率高。

在对地图进行更新时，可以在第一点云结构的基础上增量注册新的图像，由于在采集过程中选取了变更兴趣点区域附近的未变更兴趣点区域，可以基于未变更兴趣点区域图像的图像特征实现快速匹配，准确找出需要进行替换的发生兴趣点变更的点云结构，快速高效率地完成地图的更新。即使区域结构发生变化，增量注册新的图像方法不适用，由于本申请实施例提供的构建地图的方法成本低，重新构建地图的代价小。

在一种可能的实现方式中，内容请详见图5，图5是本申请一个实施例提供的构建地图的流程图。以该方法应用于服务器为例进行说明，如图5所示，当构建地图的方法用于构建商场室内地图，该方法包括以下步骤。

步骤501：采集图片并标注兴趣点。

示例性地，利用具有能实现标注兴趣点的应用程序的装置采集多组图像，采集到的图像可以覆盖商场的室内环境，且在采集过程中就通过装置完成了兴趣点的标注。

步骤502：利用图片对商场室内环境进行三维重建。

步骤503：将三维重建的点云和关键帧信息转化为地图。

步骤504：将采集的兴趣点通过关键帧位姿标注到地图中。

在完成商场室内地图的构建后，当商场发生个别店铺变更时，可以进行室内地图的更新，内容请详见图6。

步骤601：连续采集未变化兴趣点部分的图片和已经变化兴趣点部分的图片。

示例性地，采集的未发生店铺变化的区域和已经发生店铺变化的区域是相连的。

步骤602：基于采集得到的图像，在已经生成的点云中注册新的采集帧，选取一定距离阈值标注为替换候选帧。

示例性地，选取待更新地图中的兴趣点的通道距离作为阈值，将距离采集帧一定距离阈值的关键帧作为替换候选帧。

步骤603：基于替换候选帧更新点云和关键帧信息，将更新后的点云和关键帧信息投影到地图中。

示例性地，删减替换候选帧完成点云结构与关键帧信息的更新，通过将更新后的点云结构投影至原商场地图所在的第一平面上，获取一个新的二维点云地图。

步骤604：根据标注的兴趣点变化形式和关键帧信息，对兴趣点进行相应的处理和更新。

通过对兴趣点即店铺信息的更新，完成商场室内地图的更新。

参见图7，本申请实施例提供了一种构建地图的装置，该装置包括：第一获取模块701、标注模块702、第一重建模块703、第二获取模块704、第三获取模块705。

第一获取模块701，用于获取第一图像集，第一图像集中包括待构建地图的区域的多个图像；

标注模块702，用于标注第一图像集中的兴趣点；

第一重建模块703，用于基于标注兴趣点之后的第一图像集进行三维重建，根据重建结果得到第一点云结构；

第二获取模块704，用于基于第一点云结构获取区域的第一地图；

第三获取模块705，用于基于第一地图获取完成兴趣点标注的第二地图。

可选地，第一重建模块703，包括：

提取单元，用于提取标注兴趣点之后的第一图像集中的各个图像的图像特征；

特征配对单元，用于基于各个图像的图像特征进行图像特征配对，得到图像对；

三维重建单元，用于基于图像对进行三维重建，根据重建结果获取第一点云结构。

可选地，三维重建单元，包括：

位置关系获取子单元，用于获取标注兴趣点之后的第一图像集中的单张图像与图像对的位置关系，位置关系以在同一坐标系下的坐标点形式体现；

点云结构获取子单元，用于基于位置关系获取第二点云结构；

优化子单元，用于迭代优化第二点云结构，获取误差范围可控的第三点云结构；

过滤子单元，用于过滤第三点云结构中基于错误的图像特征配对重建出的点云；

确定子单元，用于响应于满足结束条件，将过滤后的第三点云结构作为第一点云结构，结束条件为获取标注兴趣点之后的第一图像集中所有图像与图像对的位置关系。

可选地，位置关系获取子单元，用于基于初始化后的图像对获取三维点云结构；迭代优化三维点云结构；过滤优化后的三维点云结构中基于错误的图像特征配对重建出的点云；基于标注兴趣点之后的第一图像集中的图像对预处理后的图像对进行增量注册，基于过滤优化后的三维点云结构获取标注兴趣点之后的第一图像集中的图像与过滤优化后的三维点云结构的位置关系。

可选地，第二获取模块704，用于基于图像采集装置的位姿序列获取图像采集装置所在的第一平面，位姿序列是基于标注兴趣点之后的第一图像集进行三维重建的过程中获得的；将第一点云结构与图像采集装置的位姿序列投影至第一平面，根据投影结果获取第一地图。

可选地，该装置还包括：

构建模块，用于当区域结构变化时，重新构建地图。

可选地，该装置还包括：

采集模块，用于当兴趣点发生变更，区域结构未发生变化时，采集第二图像集，标注第二图像集中的兴趣点，第二图像集包括兴趣点变更区域的图像和兴趣点未变更区域的图像，兴趣点未变更区域与兴趣点变更区域相连；

第二重建模块，用于基于标注兴趣点之后的第二图像集和第一点云结构进行三维重建，根据重建结果获取第四点云结构；

更新模块，用于基于第四点云结构更新地图。

可选地，更新模块，用于删减第四点云结构中的替换候选帧，替换候选帧是基于阈值确定的；将删减完替换候选帧的第四点云结构投影至第一平面，基于投影结果获取第三地图；基于第三地图获取第四地图，第四地图是完成兴趣点标注的地图。

上述装置在构建地图中，只需要采集待构建地图的区域的图像，基于采集到的图像进行三维重建就能获得地图，不依赖底图供应商，即使缺少最新底图，也可以准确构建出时效性高的地图。同时，因为三维重建之前就已经完成了对图像的兴趣点标注工作，后续对地图标注兴趣点时，仅需基于之前标注的兴趣点，就可以完成地图的构建，该构建地图的成本低，效率高。

需要说明的是，上述实施例提供的装置在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图8是本申请实施例提供的一种服务器的结构示意图，该服务器可因配置或性能不同而产生比较大的差异，可以包括一个或多个处理器(Central Processing Units，CPU)801和一个或多个存储器802，其中，该一个或多个存储器802中存储有至少一条计算机程序，该至少一条计算机程序由该一个或多个处理器801加载并执行，以使该服务器实现上述各个方法实施例提供的构建地图的方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。

图9是本申请实施例提供的一种构建地图的设备的结构示意图。该设备可以为终端，例如可以是：智能手机、平板电脑、MP3(Moving Picture Experts Group Audio LayerIII，动态影像专家压缩标准音频层面3)播放器、MP4(Moving Picture Experts GroupAudio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，终端包括有：处理器901和存储器902。

处理器901可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器901可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器901也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器901可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器901还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器902可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器902还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器902中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器901所执行，以使该终端实现本申请中方法实施例提供的构建地图的方法。

在一些实施例中，终端还可选包括有：***设备接口903和至少一个***设备。处理器901、存储器902和***设备接口903之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口903相连。具体地，***设备包括：射频电路904、显示屏905、摄像头组件906、音频电路907、定位组件908和电源909中的至少一种。

***设备接口903可被用于将I/O(Input/Output，输入/输出)相关的至少一个***设备连接到处理器901和存储器902。在一些实施例中，处理器901、存储器902和***设备接口903被集成在同一芯片或电路板上；在一些其他实施例中，处理器901、存储器902和***设备接口903中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路904用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路904通过电磁信号与通信网络以及其他通信设备进行通信。射频电路904将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路904包括：天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路904可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路904还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏905用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏905是触摸显示屏时，显示屏905还具有采集在显示屏905的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器901进行处理。此时，显示屏905还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏905可以为一个，设置在终端的前面板；在另一些实施例中，显示屏905可以为至少两个，分别设置在终端的不同表面或呈折叠设计；在另一些实施例中，显示屏905可以是柔性显示屏，设置在终端的弯曲表面上或折叠面上。甚至，显示屏905还可以设置成非矩形的不规则图形，也即异形屏。显示屏905可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode，有机发光二极管)等材质制备。

摄像头组件906用于采集图像或视频。可选地，摄像头组件906包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件906还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路907可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器901进行处理，或者输入至射频电路904以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器901或射频电路904的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路907还可以包括耳机插孔。

定位组件908用于定位终端的当前地理位置，以实现导航或LBS(Location BasedService，基于位置的服务)。定位组件908可以是基于美国的GPS(Global PositioningSystem，全球定位***)、中国的北斗***、俄罗斯的格雷纳斯***或欧盟的伽利略***的定位组件。

电源909用于为终端中的各个组件进行供电。电源909可以是交流电、直流电、一次性电池或可充电电池。当电源909包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。

在一些实施例中，终端还包括有一个或多个传感器910。该一个或多个传感器910包括但不限于：加速度传感器911、陀螺仪传感器912、压力传感器913、指纹传感器914、光学传感器915以及接近传感器916。

加速度传感器911可以检测以终端建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器911可以用于检测重力加速度在三个坐标轴上的分量。处理器901可以根据加速度传感器911采集的重力加速度信号，控制显示屏905以横向视图或纵向视图进行用户界面的显示。加速度传感器911还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器912可以检测终端的机体方向及转动角度，陀螺仪传感器912可以与加速度传感器911协同采集用户对终端的3D动作。处理器901根据陀螺仪传感器912采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器913可以设置在终端的侧边框和/或显示屏905的下层。当压力传感器913设置在终端的侧边框时，可以检测用户对终端的握持信号，由处理器901根据压力传感器913采集的握持信号进行左右手识别或快捷操作。当压力传感器913设置在显示屏905的下层时，由处理器901根据用户对显示屏905的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器914用于采集用户的指纹，由处理器901根据指纹传感器914采集到的指纹识别用户的身份，或者，由指纹传感器914根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器901授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器914可以被设置在终端的正面、背面或侧面。当终端上设置有物理按键或厂商Logo(商标)时，指纹传感器914可以与物理按键或厂商Logo集成在一起。

光学传感器915用于采集环境光强度。在一个实施例中，处理器901可以根据光学传感器915采集的环境光强度，控制显示屏905的显示亮度。具体地，当环境光强度较高时，调高显示屏905的显示亮度；当环境光强度较低时，调低显示屏905的显示亮度。在另一个实施例中，处理器901还可以根据光学传感器915采集的环境光强度，动态调整摄像头组件906的拍摄参数。

接近传感器916，也称距离传感器，通常设置在终端的前面板。接近传感器916用于采集用户与终端的正面之间的距离。在一个实施例中，当接近传感器916检测到用户与终端的正面之间的距离逐渐变小时，由处理器901控制显示屏905从亮屏状态切换为息屏状态；当接近传感器916检测到用户与终端的正面之间的距离逐渐变大时，由处理器901控制显示屏905从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图9中示出的结构并不构成对设备的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

在示例性实施例中，还提供了一种计算机设备，该计算机设备包括处理器和存储器，该存储器中存储有至少一条计算机程序。该至少一条计算机程序由一个或者一个以上处理器加载并执行，以使该计算机设备实现上述任一种构建地图的方法。

在示例性实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条计算机程序，该至少一条计算机程序由计算机设备的处理器加载并执行，以使计算机实现上述任一种构建地图的方法。

在一种可能实现方式中，上述计算机可读存储介质可以是只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、只读光盘(Compact DiscRead-Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述任一种构建地图的方法。

应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (12)

1.一种构建地图的方法，其特征在于，所述方法包括：

获取第一图像集，所述第一图像集中包括待构建地图的区域的多个图像；

标注所述第一图像集中的兴趣点；

基于标注兴趣点之后的第一图像集进行三维重建，根据重建结果得到第一点云结构；

基于所述第一点云结构获取所述区域的第一地图；

基于所述第一地图获取完成兴趣点标注的第二地图。

2.根据权利要求1所述的方法，其特征在于，所述基于标注兴趣点之后的第一图像集进行三维重建，根据重建结果得到第一点云结构，包括：

提取所述标注兴趣点之后的第一图像集中的各个图像的图像特征；

基于所述各个图像的图像特征进行图像特征配对，得到图像对；

基于所述图像对进行三维重建，根据重建结果获取第一点云结构。

3.根据权利要求2所述的方法，其特征在于，所述基于所述图像对进行三维重建，根据重建结果获取第一点云结构，包括：

获取所述标注兴趣点之后的第一图像集中的单张图像与所述图像对的位置关系，所述位置关系以在同一坐标系下的坐标点形式体现；

基于所述位置关系获取第二点云结构；

迭代优化所述第二点云结构，获取误差范围可控的第三点云结构；

过滤所述第三点云结构中基于错误的图像特征配对重建出的点云；

响应于满足结束条件，将过滤后的第三点云结构作为第一点云结构，所述结束条件为获取所述标注兴趣点之后的第一图像集中所有图像与所述图像对的位置关系。

4.根据权利要求3所述的方法，其特征在于，所述获取所述标注兴趣点之后的第一图像集中的单张图像与所述图像对的位置关系，包括：

基于初始化后的图像对获取三维点云结构；

迭代优化所述三维点云结构；

过滤优化后的三维点云结构中基于错误的图像特征配对重建出的点云；

基于所述标注兴趣点之后的第一图像集中的图像对预处理后的图像对进行增量注册，基于过滤优化后的三维点云结构获取所述标注兴趣点之后的第一图像集中的图像与所述过滤优化后的三维点云结构的位置关系。

5.根据权利要求3所述的方法，其特征在于，所述基于所述第一点云结构获取所述区域的第一地图，包括：

基于图像采集装置的位姿序列获取所述图像采集装置所在的第一平面，所述位姿序列是基于所述标注兴趣点之后的第一图像集进行三维重建的过程中获得的；

将所述第一点云结构与所述图像采集装置的位姿序列投影至所述第一平面，根据投影结果获取所述第一地图。

6.根据权利要求1-5任一所述的方法，其特征在于，所述基于所述第一地图获取完成兴趣点标注的第二地图之后，所述方法还包括：

当区域结构变化时，重新构建地图。

7.根据权利要求1-5任一所述的方法，其特征在于，所述基于所述第一地图获取完成兴趣点标注的第二地图之后，所述方法还包括：

当兴趣点发生变更，区域结构未发生变化时，采集第二图像集，标注所述第二图像集中的兴趣点，所述第二图像集包括兴趣点变更区域的图像和兴趣点未变更区域的图像，所述兴趣点未变更区域与所述兴趣点变更区域相连；

基于标注兴趣点之后的第二图像集和所述第一点云结构进行三维重建，根据重建结果获取第四点云结构；

基于所述第四点云结构更新地图。

8.根据权利要求7所述的方法，其特征在于，所述基于所述第四点云结构更新地图，包括：

删减第四点云结构中的替换候选帧，所述替换候选帧是基于阈值确定的；

将删减完所述替换候选帧的第四点云结构投影至所述第一平面，基于投影结果获取第三地图；

基于所述第三地图获取第四地图，所述第四地图是完成兴趣点标注的地图。

9.一种构建地图的装置，其特征在于，所述装置包括：

第一获取模块，用于获取第一图像集，所述第一图像集中包括待构建地图的区域的多个图像；

标注模块，用于标注所述第一图像集中的兴趣点；

第一重建模块，用于基于标注兴趣点之后的第一图像集进行三维重建，根据重建结果得到第一点云结构；

第二获取模块，用于基于所述第一点云结构获取所述区域的第一地图；

第三获取模块，用于基于所述第一地图获取完成兴趣点标注的第二地图。

10.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行，以使所述计算机设备实现如权利要求1至8任一所述的构建地图的方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行，以使计算机实现如权利要求1至8任一所述的构建地图的方法。

12.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序或指令，所述计算机程序或指令被处理器执行，以使计算机实现如权利要求1至8任一所述的构建地图的方法。

Images