CN114241039A - 地图数据处理方法、装置、存储介质与电子设备 - Google Patents

Abstract

本公开提供一种地图数据处理、装置、介质、设备，涉及计算机视觉技术领域。包括：获取第一地图数据，以及第二地图数据；第一地图数据包括第一三维点的集合、多张第一图像以及第一图像对应的第一位姿数据，第二地图数据包括第二三维点的集合、多张第二图像以及第二图像对应的第二位姿数据；生成第一图谱；生成第二图谱；将第一图谱与第二图谱置于同一坐标系中，根据第一图谱与第二图谱的位置关系确定第一位姿数据与第二位姿数据间的第三匹配关系；基于第三匹配关系，对第一位姿数据与第二位姿数据中至少一者进行优化，根据优化后位姿数据融合第一地图数据与第二地图数据，得到第三地图数据。本公开能够对三维点云地图进行快速、准确的更新与调整。

Description

地图数据处理方法、装置、存储介质与电子设备

技术领域

本公开涉及计算机视觉技术领域，尤其涉及一种地图数据处理方法、地图数据处理装置、计算机可读存储介质与电子设备。

背景技术

随着计算机视觉的迅速发展，三维地图在视觉导航、移动机器人、自动驾驶等场景中具有广泛应用。其中，三维地图通常是通过对场景进行图像采集，并基于采集的图像进行三维重建得到。实际应用中，视觉定位往往发生在图像采集和地图构建之后。然而，随着时间的推移，场景可能会发生一些变化，例如施工、海报、季节变化、天气变化等，从而造成三维地图信息滞后，引起定位精度降低或定位失败的情况。因此，三维地图需要不断进行更新，以降低对视觉定位的影响。

现有技术在进行三维地图的融合与更新时，通常需要在固定位置进行场景图像的重新采集，确定新的点云信息，并以新的点云信息替换旧的点云信息，实现三维地图的更新。然而，这种方式对重新采集的图像以及新的点云信息具有较高要求，例如需要限制两次图像采集的位置完全相同，且进行点云信息更新的区域不能过大等，地图数据处理的效率和准确性较低，难以应用于更多三维地图融合与更新的场景中。

发明内容

本公开提供了一种地图数据处理方法、地图数据处理装置、计算机可读存储介质与电子设备，进而至少在一定程度上改善现有技术中三维地图的融合与更新时，地图数据处理效率和准确性较低的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的第一方面，提供一种地图数据处理方法，包括：获取第一场景的第一地图数据，以及与所述第一场景关联的第二场景的第二地图数据；所述第一地图数据包括第一三维点的集合、多张第一图像以及所述第一图像对应的第一位姿数据，所述第二地图数据包括第二三维点的集合、多张第二图像以及所述第二图像对应的第二位姿数据；根据所述第一位姿数据，以及所述第一图像间的第一匹配关系，生成第一图谱；根据所述第二位姿数据，以及所述第二图像间的第二匹配关系，生成第二图谱；将所述第一图谱与所述第二图谱置于同一坐标系中，并根据所述第一图谱与所述第二图谱的位置关系确定所述第一位姿数据与所述第二位姿数据间的第三匹配关系；基于所述第三匹配关系，对所述第一位姿数据与所述第二位姿数据中的至少一者进行优化，并根据优化后的所述第一位姿数据与所述第二位姿数据融合所述第一地图数据与所述第二地图数据，得到第三地图数据。

根据本公开的第二方面，提供一种地图数据处理装置，包括：地图获取模块，用于获取第一场景的第一地图数据，以及与所述第一场景关联的第二场景的第二地图数据；所述第一地图数据包括第一三维点的集合、多张第一图像以及所述第一图像对应的第一位姿数据，所述第二地图数据包括第二三维点的集合、多张第二图像以及所述第二图像对应的第二位姿数据；图谱生成模块，用于根据所述第一位姿数据，以及所述第一图像间的第一匹配关系，生成第一图谱；根据所述第二位姿数据，以及所述第二图像间的第二匹配关系，生成第二图谱；关系确定模块，用于将所述第一图谱与所述第二图谱置于同一坐标系中，并根据所述第一图谱与所述第二图谱的位置关系确定所述第一位姿数据与所述第二位姿数据间的第三匹配关系；位姿优化模块，用于基于所述第三匹配关系，对所述第一位姿数据与所述第二位姿数据中的至少一者进行优化，并根据优化后的所述第一位姿数据与所述第二位姿数据融合所述第一地图数据与所述第二地图数据，得到第三地图数据。

根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面的地图数据处理方法及其可能的实现方式。

根据本公开的第四方面，提供一种电子设备，包括：处理器；存储器，用于存储所述处理器的可执行指令。其中，所述处理器配置为经由执行所述可执行指令，来执行上述第一方面的地图数据处理方法及其可能的实现方式。

本公开的技术方案具有以下有益效果：

获取第一场景的第一地图数据，以及与第一场景关联的第二场景的第二地图数据；第一地图数据包括第一三维点的集合、多张第一图像以及第一图像对应的第一位姿数据，第二地图数据包括第二三维点的集合、多张第二图像以及第二图像对应的第二位姿数据；根据第一位姿数据，以及第一图像间的第一匹配关系，生成第一图谱；根据第二位姿数据，以及第二图像间的第二匹配关系，生成第二图谱；将第一图谱与第二图谱置于同一坐标系中，并根据第一图谱与第二图谱的位置关系确定第一位姿数据与第二位姿数据间的第三匹配关系；基于第三匹配关系，对第一位姿数据与第二位姿数据中的至少一者进行优化，并根据优化后的第一位姿数据与第二位姿数据融合第一地图数据与第二地图数据，得到第三地图数据。一方面，本示例性实施例提出一种新的地图数据处理方法，通过第一地图数据中的第一位姿数据和第一匹配关系生成第一图谱，第二地图数据中的第二位姿数据和第二匹配关系生成第二图谱，从拓扑结构的角度出发，基于第一图谱和第二图谱确定第一地图数据与第二地图数据之间的第三匹配关系，进而根据该第三匹配关系对位姿数据进行优化，保证地图数据进行融合前位姿数据的有效性和可靠性，在一定程度上消除干扰和误差，进一步保证融合第一地图数据和第二地图数据所生成的第三地图数据的准确性；另一方面，当第二场景与第一场景具有关联时，即可通过本示例性实施例进行第一场景的第一地图数据与第二场景的第二地图数据的地图数据的融合处理，相比于现有技术中，进行地图融合时，要求采集位置完全相同的图像，且融合区域不能过大，本示例性实施例对第一图像和第二图像的采集位置没有严格要求，且能够应用于多种场景下的第一地图数据与第二地图数据的融合，适用范围更广。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示本示例性实施方式中一种电子设备的结构图；

图2示出本示例性实施方式中一种地图数据处理方法的流程图；

图3示出一种三角化原理的示意图；

图4示出本示例性实施方式中一种第一图谱与第二图谱的示意图；

图5示出本示例性实施方式中一种地图数据处理方法的子流程图；

图6示出本示例性实施方式中一种地图数据处理方法的另一子流程图；

图7示出本示例性实施方式中一种地图数据处理方法的再一子流程图；

图8示出本示例性实施方式中一种地图数据处理方法的再一子流程图；

图9-图12示出本示例性实施方式中对第二图谱进行遍历的多个示意图；

图13-图14示出本示例性实施方式中未匹配的第二节点的多个示意图；

图15示出本示例性实施方式中一种地图数据处理方法的再一子流程图；

图16示出本示例性实施方式中第三匹配关系的示意图；

图17示出本示例性实施方式中一种地图数据处理方法的再一子流程图；

图18示出本示例性实施方式中一种进行地图数据处理的应用示意图；

图19示出了本示例性实施方式中一种地图数据处理方法的流程框架图；

图20示出本示例性实施方式中一种地图数据处理装置的结构框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

本公开的示例性实施方式提供一种地图数据处理方法。其应用场景包括但不限于：获取商场环境改变前的场景图像，建立原始场景地图，在商场环境改变后，采集一段可定位成功的场景图像和无法定位成功的场景图像进行重新建图，得到新的场景地图，通过对原始场景地图和新的场景地图进行融合，更新商场的原始场景，以适应场景变化；或者采集同一目标场景的不同子场景的图像，分别建图并进行融合，生成整体目标场景的地图数据，其中，不同子场景存在场景交集，如对商场中不同区域的场景的地图数据进行融合，不同区域的场景之间存在交集，生成整个商场的地图数据等。

本公开的示例性实施方式提供一种用于实现地图数据处理方法的电子设备。可以是终端或云端的服务器，包括但不限于计算机、智能手机、可穿戴设备(如增强现实眼镜)、机器人、无人机等。一般的，电子设备包括处理器和存储器，存储器用于存储处理器的可执行指令，也可以存储应用数据，如图像数据、视频数据等；处理器配置为经由执行可执行指令来执行地图数据处理方法。

下面以图1中的移动终端100为例，对上述电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图1中的构造也能够应用于固定类型的设备。

如图1所示，移动终端100具体可以包括：处理器110、内部存储器121、外部存储器接口122、USB(Universal Serial Bus，通用串行总线)接口130、充电管理模块140、电源管理模块141、电池142、天线1、天线2、移动通信模块150、无线通信模块160、音频模块170、扬声器171、受话器172、麦克风173、耳机接口174、传感器模块180、显示屏190、摄像模组191、指示器192、马达193、按键194以及SIM(Subscriber Identification Module，用户标识模块)卡接口195等。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括AP(Application Processor，应用处理器)、调制解调处理器、GPU(Graphics ProcessingUnit，图形处理器)、ISP(Image Signal Processor，图像信号处理器)、控制器、编码器、解码器、DSP(Digital Signal Processor，数字信号处理器)、基带处理器和/或NPU(Neural-Network Processing Unit，神经网络处理器)等。

编码器可以对图像或视频数据进行编码(即压缩)，例如对拍摄的场景图像进行编码，形成对应的码流数据，以减少数据传输所占的带宽；解码器可以对图像或视频的码流数据进行解码(即解压缩)，以还原出图像或视频数据，例如对场景图像的码流数据进行解码，得到完整的图像数据，便于执行本示例性实施方式的地图数据处理方法。移动终端100可以支持一种或多种编码器和解码器。这样，移动终端100可以处理多种编码格式的图像或视频，例如：JPEG(Joint Photographic Experts Group，联合图像专家组)、PNG(PortableNetwork Graphics，便携式网络图形)、BMP(Bitmap，位图)等图像格式，MPEG(MovingPicture Experts Group，动态图像专家组)1、MPEG2、H.263、H.264、HEVC(High EfficiencyVideo Coding，高效率视频编码)等视频格式。

在一种实施方式中，处理器110可以包括一个或多个接口，通过不同的接口和移动终端100的其他部件形成连接。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器121可以包括易失性存储器与非易失性存储器。处理器110通过运行存储在内部存储器121的指令，执行移动终端100的各种功能应用以及数据处理。

外部存储器接口122可以用于连接外部存储器，例如Micro SD卡，实现扩展移动终端100的存储能力。外部存储器通过外部存储器接口122与处理器110通信，实现数据存储功能，例如存储图像，视频等文件。

USB接口130是符合USB标准规范的接口，可以用于连接充电器为移动终端100充电，也可以连接耳机或其他电子设备。

充电管理模块140用于从充电器接收充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为设备供电；电源管理模块141还可以监测电池的状态。

移动终端100的无线通信功能可以通过天线1、天线2、移动通信模块150、无线通信模块160、调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。移动通信模块150可以提供应用在移动终端100上的包括2G/3G/4G/5G等无线通信的解决方案。无线通信模块160可以提供应用在移动终端100上的包括WLAN(Wireless LocalArea Networks，无线局域网)(如Wi-Fi(Wireless Fidelity，无线保真)网络)、BT(Bluetooth，蓝牙)、GNSS(Global Navigation Satellite System，全球导航卫星***)、FM(Frequency Modulation，调频)、NFC(Near Field Communication，近距离无线通信技术)、IR(Infrared，红外技术)等无线通信解决方案。

移动终端100可以通过GPU、显示屏190及AP等实现显示功能，显示用户界面。例如，当用户开启拍摄功能时，移动终端100可以在显示屏190中显示拍摄界面和预览图像等。

移动终端100可以通过ISP、摄像模组191、编码器、解码器、GPU、显示屏190及AP等实现拍摄功能。例如，用户可以启动建图或视觉定位的相关服务，触发开启拍摄功能，此时可以通过摄像模组191采集场景图像，并进行定位。

移动终端100可以通过音频模块170、扬声器171、受话器172、麦克风173、耳机接口174及AP等实现音频功能。

传感器模块180可以包括深度传感器1801、压力传感器1802、陀螺仪传感器1803、气压传感器1804等，以实现相应的感应检测功能。

指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。马达193可以产生振动提示，也可以用于触摸振动反馈等。按键194包括开机键，音量键等。

移动终端100可以支持一个或多个SIM卡接口195，用于连接SIM卡，以实现通话与移动通信等功能。

图2示出了一种地图数据处理方法的示例性流程，包括以下步骤S210至S240：

步骤S210，获取第一场景的第一地图数据，以及与第一场景关联的第二场景的第二地图数据；第一地图数据包括第一三维点的集合、多张第一图像以及第一图像对应的第一位姿数据，第二地图数据包括第二三维点的集合、多张第二图像以及第二图像对应的第二位姿数据。

其中，第一场景与第二场景可以是任意场景，如可以是商场、街道等。且第二场景与第一场景具有关联关系，第二场景与第一场景具有关联关系可以是指第二场景与第一场景具有部分相同的场景，即第一场景与第二场景的交集不为空，例如第一场景为某一店铺装修前的商场，第二场景为店铺装修后的场景，其中，装修前后的店铺存在部分相同的场景，或者除装修店铺之外的其他商场场景相同等；或者第一场景为举办活动之前未进行场景布置的商场，第二场景为举办活动时或举办活动之后包含场景布置的商场，其中，场景布置区域部分相同；再或者某商场包括店铺A、店铺B和店铺C，第一场景为包括店铺A、店铺B的场景，第二场景为包括店铺B、店铺C的场景等等。

第一地图数据包括第一三维点的集合、第一图像以及第一图像对应的第一位姿数据，其中，第一三维点的集合是指关于第一场景的三维点云数据，例如三维点云地图，第一位姿数据是指每张第一图像在采集时的相机的位姿数据，例如旋转矩阵或平移矩阵等，不同的第一图像对应不同的第一位姿数据；第二地图数据包括第二三维点的集合、第二图像以及第二图像对应的第二位姿数据，其中，第二三维点的集合是指关于第二场景的三维点云数据，第二位姿数据是指每张第二图像在采集时的相机的位姿数据，不同的第二图像对应不同的第二位姿数据，第二图像可以包括在第一地图数据中定位成功的图像以及在第一地图数据中无法定位的图像。另外，第一地图数据还可以包括第一图像中特征点的信息，例如特征点的位置信息或局部描述子或全局描述子等描述信息等，第二地图数据类似。在本示例性实施方式中，可以针对第一场景采集多张第一图像，针对第二场景采集多张第二图像，并基于第一图像对第一场景进行三维重建得到第一地图数据，基于第二图像对第二场景进行三维重建得到第二地图数据，例如终端可以开启视频拍摄功能，在商场环境发生改变之前，采集连续多帧第一图像，构建商场环境改变前的场景的三维点云地图，并在商场环境改变后采集第二图像，也即补采图像，构建商场环境改变后的场景的三维点云地图。另外，也可以直接从其他终端或地图数据源获取关于第一场景的第一地图数据与第二场景的第一地图数据等。

在本示例性实施例中，第一地图数据的构建可以采用SFM(Structure-From-Motion，运动化结构)算法等，通过采集和提取图像中特征点、图像位姿估计、点云三角化以及全局优化等处理过程，将二维的第一图像转换为在世界坐标系下的三维信息，以对第一场景进行三维重建处理，得到第一场景的三维地图，通常是三维点云数据。第二地图数据的构建与第一地图数据的构建类似，下面以第一地图数据的构建过程为例，进行具体说明。

对第一场景进行三维重建得到的第一地图数据可以包括以下过程：

首先，需要对第一图像进行特征点提取与特征点匹配，确定出初始第一图像匹配对。

其中，特征点是指图像中具有代表性的、辨识度较高的点或区域，例如图像中的角点、边界等。在第一图像中，可以检测不同位置的梯度，在梯度较大的位置提取特征点。一般的，提取特征点后需要对其进行描述，例如通过数组来描述特征点周围的像素分布特征，称为特征点的描述信息(或描述符、描述子)。特征点的描述信息可视为第一图像的局部描述信息。本示例性实施例可以采用FAST(Features From Accelerated Segment Test，基于加速分割检测的特征)、BRIEF(Binary Robust Independent Elementary Features，二进制鲁棒独立基本特征)、ORB(Oriented FAST and Rotated BRIEF，面向FAST和旋转BRIEF)、SIFT(Scale-Invariant Feature Transform，尺度不变特征变换)、SURF(Speeded UpRobust Features，加速鲁棒特征)、SuperPoint(基于自监督学习的特征点检测和描述符提取)、R2D2(Reliable and Repeatable Detector and Descriptor，可靠可重复的特征点与描述符)等算法提取特征点并对特征点进行描述。

在本示例性实施例中，可以先基于每张第一图像与其他第一图像的匹配关系，确定每张第一图像的特征点的匹配点对总数，例如第一图像A与其他m张第一图像存在匹配关系，第一图像A与m张第一图像构成m对第一图像匹配对，每对第一图像匹配对具有对应的特征点的匹配点对，其匹配点对的个数为N_i，则可以确定第一图像A与m张第一图像的匹配点对的总数为

其中，匹配点对是指两张第一图像中的特征点较为相似，认为是第一场景的三维空间中同一物点在两张第一图像上的投影。通过计算两个特征点的描述信息的相似度，可以判断两个特征点是否为匹配点对。一般的，可以将特征点的描述信息表示为向量，计算两个特征点的描述信息向量间的相似度，如通过欧式距离、余弦相似度等进行度量，如果相似度高于预设的相似度阈值，则确定对应的两个特征点具有匹配关系，形成匹配点对。相似度阈值是衡量两个特征点是否足够相似的标准，可以根据经验或实际情况设定。然后，可以根据每张第一图像的匹配点对总数对所有的第一图像进行降序排序，以确定第一图像匹配对中作为第一张第一图像的图像序列，然后遍历第一张第一图像的图像序列，以当前第一图像与其他第一图像之间的特征点匹配个数的降序排序，确定当前第一图像的第二张第一图像的图像序列。最后遍历第二张第一图像的图像序列，如果当前第一张第一图像和当前第二张第一图像之间满足几何约束关系，则确定为初始第一图像匹配对。

在得到初始第一图像匹配对后，可以对初始第一图像匹配对进行图像位姿估计，确定初始第一图像匹配对中两张第一图像之间的相对位姿，并对第一图像的匹配点对进行三角化处理，获得三维点云数据，最后通过极线约束、视角约束等条件对三维点云进行优化与滤波处理，寻找下一帧待重建的第一图像。

需要说明的是，下一帧待重建的第一图像需要满足以下要求：该帧第一图像在之前没有被重建过；该帧第一图像在现有的三维点云数据中有足够多的可视点；该帧第一图像在之前被尝试重建的次数不超过某一预设阈值，例如3次。满足以上要求的第一图像将被推入下一帧待重建的第一图像的序列中。最后可以搜索待重建的第一图像与现有的三维点云数据之间的二维-三维匹配对，采用PnP算法(Perspective-n-Point，求解3D-2D点对运动的方法)，对当前三维点云数据中n个特征点与待重建的第一图像中n个特征点进行匹配，进而求解待重建的第一图像的初步位姿。

进一步的，可以进行三角化处理，以确定三维特征点的坐标。

在确定第一图像的初步位姿后，可以对新增的二维-二维匹配点对进行三角化，生成新的三维点。以图3为例，对三角化原理进行解释说明，图3示出了三张第一图像，假设三维点P在世界坐标系下的齐次坐标为X＝[x，y，z，1]^T，相应的，在两张第一图像中的投影点分别为p₁和p₂，其在各自相机坐标系下的坐标为

两张第一图像对应的相机投影矩阵分别为P₁和P₂，其中，P₁＝[P₁₁,P₁₂,P₁₃]^T，P₂＝[P₂₁,P₂₂,P₂₃]^T，P₁₁、P₁₂、P₁₃分别对应投影矩阵P₁的第1-3行，P₂₁、P₂₂、P₂₃分别对应投影矩阵P₂的第1-3行，在理想状态下，有

对于

在其两侧分别叉乘其本身，可得：

即：

可以得到：

其中，公式(3)可以由公式(1)和(2)通过线性变换得到，因此，在一张第一图像对应相机视角下，可以得到两个约束条件，联合另一张第一图像对应的相机视角，可得：AX＝0，其中：

A即为三维点P的线性约束矩阵。针对上述方程，当视角点数较少且不存在外点的情况下，可直接对该矩阵进行分解，以得到三维点P的坐标，例如可以采用SVD(SingularValue Decomposition，奇异值分解)分解，当存在外点的情况下，也可采用其他方法，例如RANSAC(Random sample consensus，随机抽样一致算法)方法进行估计等。

最后，对三维点云BA(Bundle Adjustment，光束平差法)优化。

每一帧第一图像被重建后，都可以进行局部BA优化。当重建图片每增加固定张数，或者重建的三维点每增加固定个数时，可以对之前所有的重建进行一次全局BA优化，以获取完整的三维点云数据，即第一地图数据。

步骤S220，根据第一位姿数据，以及第一图像间的第一匹配关系，生成第一图谱；根据第二位姿数据，以及第二图像间的第二匹配关系，生成第二图谱。

其中，第一地图数据中可以包括多张第一图像，每张第一图像都可以对应第一位姿数据，本示例性实施例，在获取第一地图数据后，可以根据多张第一图像中，第一图像之间的第一匹配关系，以及第一图像对应的第一位姿数据，生成第一图谱。其中，第一匹配关系是指第一图像与第一图像之间的匹配关系，例如基于第一图像的全局描述信息或匹配点数量确定的匹配关系等，第一图谱是指用以通过不同的第一位姿数据来反映其对应的第一图像之间的关联关系的数据结构。第二地图数据中可以包括多张第二图像，每张第二图像都可以对应第二位姿数据，同理，可以根据第二图像之间的第二匹配关系，以及第二图像对应的第二位姿数据，生成第二图谱。其中，第二图谱是指用以通过不同的第二位姿数据来反映其对应的第二图像之间的关联关系的数据结构。

在一示例性实施例中，上述步骤S220可以包括：

以第一位姿数据为第一节点，第一图像间的第一匹配关系为第一节点间的边，生成第一图谱；以第二位姿数据为第二节点，第二图像间的第二匹配关系为第二节点间的边，生成第二图谱。

图谱是指一种网状的数据结构，由非空的顶点集合V和描述顶点之间关系的集合E组成，其中，顶点集合V中的数据用于构成图谱的不同实体，即图谱的节点，关系集合E中的数据用于描述不同节点之间的关系，也即图谱中节点到节点的一条弧或边。在本示例性实施例中，终端在获取第一地图数据与第二地图数据之后，可以将第一位姿数据作为第一节点，第一图像之间的第一匹配关系作为第一节点之间的边，生成第一图谱，并将第二位姿数据作为第二节点，第二图像之间的第二匹配关系作为第二节点之间的边，来生成第二图谱。其中，第一节点为构成第一图谱的节点，区别于第二节点，其“第一”、“第二”不指代数目或顺序。

下面，结合图4，对第一图谱和第二图谱的生成过程进行举例说明，如图4所示，白色圆圈为第一节点，每个白色圆圈表示一张第一图像对应的第一位姿数据，即一个相机位姿；黑色圆圈为第二节点，每个黑色圆圈表示一张第二图像对应的第二位姿数据。具有匹配关系的第一图像之间，通过虚线连接，例如相似度超过预设相似度阈值的两张第一图像对应的第一位姿数据所表示的第一节点之间可以通过虚线连接；具有匹配关系的第二图像之间，通过实线连接，基于此，生成图4所示的第一图谱M和第二图谱N。

为了便于后续进行位姿数据的优化，可以先确定第一地图数据与第二地图数据的坐标变换参数，并基于该坐标变换参数将第一地图数据中的第一位姿数据和第二地图中的第二位姿数据转换至同一坐标系下，然后再根据转换后的第一位姿数据和第一匹配关系生成第一图谱，根据第二位姿数据和第二匹配关系生成第二图谱，以使得第一图谱和第二图谱置于相同的坐标系中。

另外，也可以在生成第一图谱与第二图谱之后，将第一图谱与第二图谱置于同一坐标系中。具体的，在一示例性实施例中，如图5所示，上述地图数据处理方法还可以包括：

步骤S510，从第一地图数据中获取第一三维点子集，从第二地图数据中获取第二三维点子集，第一三维点子集与第二三维点子集具有匹配关系；

步骤S520，根据第一三维点子集与第二三维点子集的三维分布特征，确定第一地图数据与第二地图数据间的坐标变换参数；坐标变换参数用于将第一图谱与第二图谱置于同一坐标系中。

其中，第一地图数据中包括第一三维点子集，表示为p’＝{p₁’…p_i’…p_n’}，第二地图数据中包括第二三维点子集，表示为q’＝{q₁’…q_i’…q_n’}，第一三维点子集与第二三维点子集具有匹配关系，例如p_i’与q_i’即为一对匹配点对。

由于第一地图数据与第二地图数据中三维点处于不同的坐标系中，使得三维点的位置表示具有差异，例如匹配点对中两个三维点的坐标不同。但是三维点子集中三维点的整体分布特征是相同或相似的，例如三维点的密度分布、形状分布或三维点与三维点之间的距离分布等等。因此，本会死理性实施例可以根据第一三维点子集与第二三维点子集的三维分布特征，确定第一地图数据与第二地图数据的坐标变换参数，以通过该坐标变换参数将第一图谱与第二图谱置于相同的坐标系中。

在一示例性实施例中，如图6所示，上述步骤S510可以包括：

步骤S610，获取第一图像与第二图像间的二维-二维匹配点对；

步骤S620，根据二维-二维匹配点对确定第一三维点与第二三维点间的三维-三维匹配点对；

步骤S630，以三维-三维匹配点对中的第一三维点形成第一三维点子集，以三维-三维匹配点对中的第二三维点形成第二三维点子集。

在本示例性实施例中，由于第一场景与第二场景存在交集，因此，第一图像中存在与第二图像具有匹配关系的图像，例如较为相似的图像。本示例性实施例可以先通过图像检索的方式，确定出与第二图像匹配的第一图像。进一步，来获取第一图像与第二图像之间的二维-二维匹配点对。

在一示例性实施例中，步骤S610包括：

针对第二图像中的至少一张待匹配第二图像，在第一图像中查找与之相似的至少一张第一图像，并将至少一张第一图像与待匹配第二图像进行特征点匹配，得到二维-二维匹配点对。

即可以从第二图像中选择一张或多张第二图像，作为待匹配第二图像，在所有第一图像中进行查找，确定与待匹配第二图像相似的第一图像，本公开对于检测图像相似度的具体方法不做限定，示例性的，可以检测待匹配第二图像的全局描述信息与第一图像的全局描述信息之间的相似度。全局描述信息是指对图像整体进行特征提取所形成的信息，例如可以采用包括VLAD(Vector of Locally Aggregated Descriptors，局部聚合向量)层的CNN(如NetVLAD等)从第一图像与待匹配第二图像中提取全局描述信息，如可以是4096维的全局描述向量，然后计算待匹配第二图像的全局描述向量与第一图像的全局描述向量间的相似度，例如可以通过欧式距离、余弦相似度等进行度量，如果相似度高于预设的相似度阈值，则确定待匹配第二图像与第一图像匹配或达到相似条件；或者，也可以利用L2范数，计算待匹配第二图像和第一图像全局描述信息的相似度，两个全局描述信息的L2范数越小，表示对应的待匹配第二图像和第一图像越相似等等。

进一步的，可以将至少一张第一图像与待匹配第二图像进行特征点匹配，具体匹配方式可以是，将待匹配的特征点的描述信息表示为向量，计算两个特征点的描述信息向量间的相似度等，由此，即可以确定出第一图像与第二图像间的二维-二维匹配点对。

在本示例性实施例中，第一地图数据包括第一三维点，以及第一图像，第二地图数据包括第二三维点以及第二图像，因此，二维图像中的每个二维点在三维点集合中均可以具有对应的三维点。基于此，本示例性实施例可以先将二维-二维匹配点对转换为三维-二维匹配点对，或者通过计算第二图像的位姿数据确定三维-二维匹配点对，再根据三维-二维匹配点对确定出第一三维点与第二三维点间的三维-三维匹配点对。最后，根据三维-三维匹配点对，即可以在第一三维点的集合中确定第一三维点子集，在第二三维点的集合中确定第二三维子集。

具体的，在一示例性实施例中，如图7所示，上述步骤S620可以包括：

步骤S710，根据二维-二维匹配点对，确定第二图像在第一世界坐标系中的位姿数据；第一世界坐标系为第一地图数据的世界坐标系；

步骤S720，利用第二图像在第一世界坐标系中的位姿数据，将多个第一三维点进行反投影，得到多个第一三维点与其在第二图像中对应的二维点间的三维-二维匹配点对；

步骤S730，将三维-二维匹配点对中的二维点映射为第二三维点，得到三维-三维匹配点对。

本示例性实施例在确定二维-二维匹配点对之后，可以根据二维-二维匹配点计算第二图像在第一世界坐标系中的位姿数据，例如可以采用PnP算法计算第二图像位姿数据，其中，第一世界坐标系即为第一地图数据中第一三维点的集合所在的坐标系。然后利用第二图像在第一世界坐标系中的位姿数据，可以将多个第一三维点进行反投影，得到多个第一三维点与其在第二图像中对应的二维点间的三维-二维匹配点对。最后，根据三维-二维匹配点对中，每个二维点在第二三维点的集合中与三维点的对应关系，可以将三维-二维匹配点对中的二维点映射为第二三维点，得到三维-三维匹配点对。

为了获得更为准确的第二图像的位姿数据，还可以采用聚类的方式对计算得到的多个位姿数据进行聚类，在一示例性实施例中，如图8所示，上述步骤S710中，根据二维-二维匹配点对，确定第二图像在第一世界坐标系中的位姿数据，可以包括以下步骤：

将二维-二维匹配点对中的第一图像的二维点映射为第一三维点，并基于第二图像的二维点与第一三维点的匹配关系，确定第二图像在第一世界坐标系中的多个候选位姿；

对多个候选位姿进行聚类，并根据其中的最优类确定第二图像在第一世界坐标系中的位姿数据。

实际应用中，通常可以计算出第二图像在第一世界坐标系中的N个位姿数据，这N个位姿数据即为候选位姿，进一步，通过对多个候选位姿进行聚类，并根据其中的最优类确定第二图像在第一世界坐标系中的位姿数据，其中，最优类是指聚类结果中类中位姿数据最多的类别。例如，将计算得到的N个位姿数据进行聚类，并将类中个数最多的作为最优类，然后对最优类中的所有候选位姿进行加权平均计算，将计算结果作为第二图像在第一世界坐标系中的位姿数据等。

本示例性实施例通过对位姿数据进行聚类，可以获取最可能的相机位姿。本示例性实施例对聚类方法在此不做具体限定，例如可以采用DBSCAN(Density-Based SpatialClustering of Applications with Noise，基于密度的聚类算法)聚类方法等。

在一示例性实施例中，步骤S620还可以包括：

获取与最优类关联的第一图像中的二维点所对应的第一三维点，以得到用于进行反投影的多个第一三维点。

在上述对多个候选位姿进行聚类过程中，可以确定出类中个数最多的一最优类，本示例性实施例为了得到更为准确的三维-二维匹配点对，可以获取与最优类关联的第一图像中的二维点所对应的第一三维点，以将多个第一三维点进行反投影时，得到多个第一三维点与其在第二图像中对应的二维点间的三维-二维匹配点对。

在一示例性实施例中，坐标变换参数可以包括旋转参数与平移参数；如图8所示，上述步骤S520，根据第一三维点子集与第二三维点子集的三维分布特征，确定第一地图数据与第二地图数据间的坐标变换参数，可以包括以下步骤：

步骤S810，确定第一三维点子集的第一中心点与第二三维点子集的第二中心点；

步骤S820，基于第一中心点对第一三维点子集进行去中心化，基于第二中心点对第二三维点子集进行去中心化；

步骤S830，根据去中心化后的第一三维点子集与第二三维点子集间的协方差确定旋转参数；

步骤S840，根据去中心化后的第一三维点子集与第二三维点子集确定尺度关系，并根据尺度关系、旋转参数、第一中心点与第二中心点确定平移参数。

在获得第一三维点子集p’＝{p₁’…p_i’…p_n’}和第二三维点子集q’＝{q₁’…q_i’…q_n’}之后，可以先确定第一三维点子集的第一中心点，与第二三维点子集的第二中心点，其中，中心点可以是指三维点子集的质心点，以P_c表示第一三维点子集的第一中心点，以q_c表示第二三维点子集的第二中心点。然后基于第一中心点对第一三维点子集进行去中心化，例如令第一三维点子集中的每一个三维点的坐标减去第一中心点的坐标，使第一三维点子集中的所有三维点向原点方向平移，得到新的去中心化后的第一三维点子集p＝{p₁…p_i…p_n}；同理，可以基于第二中心点对第二三维点子集进行去中心化，得到新的去中心化后的第二三维点子集q＝{q₁…q_i…q_n}。

然后根据去中心化后的第一三维点子集和第二三维点子集间的协方差可以确定旋转参数，具体可以包括，先确定去中心化后的第一三维点子集和第二三维点子集的相对尺度为：

然后构建以下协方差矩阵：

通过对上述协方差矩阵进行分解，例如通过SVD，可以得到：H＝UΣV^T，当R＝VU^T时，RH＝VΣV^T，令A＝VΣ^1/2，则RH＝AA^T，因此，可证R＝VU^T为旋转矩阵，该旋转矩阵即为旋转参数。

最后，在确定尺度关系、旋转参数以及第一中心点与第二中心点的基础下，可以通过以下公式确定平移参数，如平移向量t：

t＝sRq_c-p_c (7)

其中，s表示尺度关系，如相对尺度scale，R表示旋转矩阵，q_c和P_c分别表示第一中心点和第二中心点。

进一步，即可以通过确定的旋转参数和平移参数将第一图谱与第二图谱置于同一坐标系中，实现第一地图数据与第二地图数据的刚性配准。

步骤S230，将第一图谱与第二图谱置于同一坐标系中，并根据第一图谱与第二图谱的位置关系确定第一位姿数据与第二位姿数据间的第三匹配关系。

在本示例性实施例中，第一匹配关系是指多张第一图像之间的匹配关系，当以第一位姿数据作为第一图谱中的第一节点时，可以体现在表示第一位姿数据的第一节点之间的边连接关系上；第二匹配关系是指多张第二图像之间的匹配关系，当以第二位姿数据作为第二图谱中的第二节点时，可以体现在表示第二位姿数据的第二节点之间的边连接关系上。而第三匹配关系不同于第一匹配关系与第二匹配关系，其是指第一图像与第二图像之间的匹配关系，也即第一图谱中的第一节点与第二图谱中的第二节点之间的匹配关系，可以通过第一图谱与第二图谱的位置关系确定。具体的，可以将第一图谱与第二图谱置于相同的坐标系后，通过计算第一节点与第二节点的匹配程度，确定第三匹配关系。

在一示例性实施例中，上述步骤S230中，根据第一图谱与第二图谱的位置关系确定第一位姿数据与第二位姿数据间的第三匹配关系可以包括：

遍历第二图谱，以根据每个第二节点与其周围的预设范围内的第一节点的匹配关系得到第三匹配关系。

本示例性实施例可以对第二图谱中的每个第二节点进行遍历，以根据每个第二节点与其周围的预设范围内的第一节点的匹配关系确定第三匹配关系。具体的，可以在第二图谱中，初始化一个第二节点，例如随机确定一个第二节点，或者按照预设顺序规则，确定一个第二节点等等，从该第二节点开始，在第一图谱中找到与该第二节点最佳匹配的第一节点，并依次遍历其他第二节点。

在一示例性实施例中，上述遍历第二图谱可以包括：

获取第一图谱与第二图谱间的初始匹配节点对；初始匹配节点对包括一个第一节点与一个第二节点；

以初始匹配节点对中的第二节点为根节点，遍历第二图谱。

其中，初始匹配节点对是指开始进行匹配后，第一对具有匹配关系的第一节点与第二节点，如图9所示，第一图谱M中第一节点M1与第二图谱N中第二节点N1具有匹配关系，则第一节点M1与第二节点N1即为初始匹配节点对。进一步，可以以初始匹配节点对中的第二节点为根节点，遍历第二图谱，即在第一图谱中查找其他具有匹配关系的第一节点。其中，根节点是指遍历第二图谱的开始节点，即在第二图谱中，从作为根节点的第二节点往上搜索时，没有与第一节点具有匹配关系的父节点。如图10-图12所示，以第二节点N1位根节点，开始进行遍历，得到具有匹配关系的第一节点M2与第二节点N2，第一节点M3和第二节点N3；第一节点M4和第二节点N4；以及第一节点M5和第二节点N5。

在一示例性实施例中，上述获取第一图谱与第二图谱间的初始匹配节点对，可以包括：

在第二图像中确定第二基准图像，在第一图像中查找与第二基准图像匹配度最高的第一基准图像；

将第一基准图像对应的第一节点与第二基准图像对应的第二节点形成初始匹配节点对。

其中，第二基准图像可以是指开始遍历第二图谱时，第一个进行匹配计算的第二节点对应的第二图像，本示例性实施例可以通过全局搜索，在第一图像中进行查找，以确定与第二基准图像匹配度最高的第一基准图像，具体的，可以通过计算第二基准图像与第一图像之间的相似度，确定第一基准图像，当相似度超过预设的相似度阈值，认为第一图像与第二基准图像匹配，确定该第一图像为第一基准图像，进一步的，可以将第一基准图像对应的第一节点与第二基准图像对应的第二节点形成初始匹配节点对，如图9所示的第一节点M1和第二节点N1形成的初始匹配节点对。

在本示例性实施例中，如图9-图12中椭圆形虚线区域所示。如果在该区域能够查找到相互匹配的节点，说明在拓扑结构层面，初始节点的匹配也是准确的。如果未能查找到相互匹配的节点对，说明初始的匹配置信度较低，很可能是噪声或者场景相似，产生了错误的匹配，此时可以重新选择初始的第一节点或第二节点。

在以初始匹配节点对中的第二节点为根节点，遍历第二图谱时，当根节点的子节点在搜索范围内没有搜索到匹配的第一节点，如图13左侧矩形虚线区域中第二节点N6所示，该区域中没有搜索到匹配的第一节点，此时该第二节点N6被遍历，可以对其标记为v，但无匹配产生。当在搜索区域内，存在第一节点，但未产生匹配关系，如图14右侧矩形虚线区域中的第二节点N7和第一节点M7所示，此时，也属于无匹配信息，标记为v。当第二图谱中的所有第二节点都被遍历之后，产生匹配关系的图像之间将产生新的边，即具有匹配关系的第一节点和第二节点之间将产生新的边，例如第一节点M1和第二节点N1之间将产生新的边。

需要说明的是，在本示例性实施例中，除了遍历第二图谱，根据每个第二节点与其周围的预设范围内的第一节点的匹配关系得到第三匹配关系之外，还可以遍历第一图谱，根据每个第一节点与其周围的预设范围内的第二节点的匹配关系确定第三匹配关系，其方法流程与上述遍历过程相似，在此不做赘述。

步骤S240，基于第三匹配关系，对第一位姿数据与第二位姿数据中的至少一者进行优化，并根据优化后的第一位姿数据与第二位姿数据融合第一地图数据与第二地图数据，得到第三地图数据。

考虑到第一地图数据可以是根据第一图像进行三维重建得到，第二地图数据也可以是根据第二图像进行三维重建得到，均存在将二维信息转换为三维信息的过程，之后如果直接将第一图谱与第二图谱置于同一坐标系，进行三维信息与三维信息的转换时，可能会产生一定的误差。因此，本示例性实施例可以基于第三匹配关系，对第一位姿数据与第二位姿数据中的至少一个进行优化，并基于优化后的第一位姿数据与第二位姿数据融合第一地图数据与第二地图数据，得到第三地图数据。该第三地图数据是指融合第一地图数据与第二地图数据之后的地图数据，其可以是三维点云数据。

在一示例性实施例中，如图15所示，上述步骤S240中，基于第三匹配关系，对第一位姿数据与第二位姿数据中的至少一者进行优化，可以包括以下步骤：

步骤S1510，根据第三匹配关系中的第一节点对应的第一位姿数据与第二节点对应的第二位姿数据，确定第三匹配关系对应的第一位姿变换参数；

步骤S1520，根据第三匹配关系中的第一节点与第二节点间的边，确定第三匹配关系对应的第二位姿变换参数；

步骤S1530，基于第一位姿变换参数与第二位姿变换参数的差别，优化第一位姿数据与第二位姿数据中的至少一者。

在本示例性实施例中，可以通过遍历所述第二图谱，得到所述第三匹配关系，例如经过图9-图12的第二图谱的遍历过程后，产生匹配关系的第一节点与第二节点之间将产生新的边，该边即能够表示第三匹配关系。

如图16所示，区域1610和区域1620中所包括的节点均为遍历后具有匹配关系的第一节点或第二节点，其中，区域1610中包括的节点为第一节点，区域1620中包括的节点为第二节点。具有匹配关系的第一节点之间具有连接关系，为第一匹配关系，具有匹配关系的第二节点之间具有连接关系，为第二匹配关系，具有匹配关系的第一节点与第二节点之间产生新的连接关系，为第三匹配关系。

然后，可以根据第三匹配关系中的第一节点对应的第一位姿数据与第二节点对应的第二位姿数据，确定第三匹配关系对应的第一位姿变换参数，具体的，可以通过X_i表示第一节点对应的第一位姿数据，通过X_j表示第二节点对应的第二位姿数据，通过X_i ^-1X_j表征第一位姿变换参数，该第一位姿变换参数可以是所有关系的求和得到的位姿变换参数。根据第三匹配关系中的第一节点与第二节点间的边，确定第三匹配关系对应的第二位姿变换参数，通过T_ij进行表征。最后基于第一位姿变换参数与第二位姿变换参数之间差别，可以对第一位姿数据与第二位姿数据中的至少一者进行优化，例如通过使二者的差别趋近于0，以对第一位姿数据或第二位姿数据进行优化。

在一示例性实施例中，如图17所示，上述地图数据处理方法还可以包括：

步骤S1710，根据第三匹配关系中的第一节点对应的第一图像与第二节点对应的第二图像间的匹配内点数，确定第三匹配关系的置信度；

则步骤S1530可以包括：

步骤S1720，基于第一位姿变换参数与第二位姿变换参数的差别、以及第三匹配关系的置信度，优化第一位姿数据与第二位姿数据中的至少一者。

本示例性实施例还可以结合第三匹配关系的置信度，对第一位姿数据与第二位姿数据中的至少一者进行优化。具体的，可以通过以下公式构建优化方程：

其中，X_i表示第一节点对应的第一位姿数据，X_j表示第二节点对应的第二位姿数据，T_ij表示由第三匹配关系计算的第二位姿变换参数，即图16中第一节点与第二节点新产生的边，Ω_ij表示第二位姿变换参数T_ij的置信度，在本示例性实施例中，该置信度可以根据第三匹配关系中的第一节点对应的第一图像与第二节点对应的第二图像间的匹配内点数确定，内点数越高，置信度越大，内点数越低，置信度与小。通过上述公式(8)即可以实现第一位姿数据或第二位姿数据或第一位姿数据和第二位姿数据的联合优化，消除直接将第一图谱与第二图谱置于相同坐标系中带来的误差。

综上，本示例性实施方式中，获取第一场景的第一地图数据，以及与第一场景关联的第二场景的第二地图数据；第一地图数据包括第一三维点的集合、多张第一图像以及第一图像对应的第一位姿数据，第二地图数据包括第二三维点的集合、多张第二图像以及第二图像对应的第二位姿数据；根据第一位姿数据，以及第一图像间的第一匹配关系，生成第一图谱；根据第二位姿数据，以及第二图像间的第二匹配关系，生成第二图谱；将第一图谱与第二图谱置于同一坐标系中，并根据第一图谱与第二图谱的位置关系确定第一位姿数据与第二位姿数据间的第三匹配关系；基于第三匹配关系，对第一位姿数据与第二位姿数据中的至少一者进行优化，并根据优化后的第一位姿数据与第二位姿数据融合第一地图数据与第二地图数据，得到第三地图数据。一方面，本示例性实施例提出一种新的地图数据处理方法，通过第一地图数据中的第一位姿数据和第一匹配关系生成第一图谱，第二地图数据中的第二位姿数据和第二匹配关系生成第二图谱，从拓扑结构的角度出发，基于第一图谱和第二图谱确定第一地图数据与第二地图数据之间的第三匹配关系，进而根据该第三匹配关系对位姿数据进行优化，保证地图数据进行融合前位姿数据的有效性和可靠性，在一定程度上消除干扰和误差，进一步保证融合第一地图数据和第二地图数据所生成的第三地图数据的准确性；另一方面，当第二场景与第一场景具有关联时，即可通过本示例性实施例进行第一场景的第一地图数据与第二场景的第二地图数据的地图数据的融合处理，相比于现有技术中，进行地图融合时，要求采集位置完全相同的图像，且融合区域不能过大，本示例性实施例对第一图像和第二图像的采集位置没有严格要求，且能够应用于多种场景下的第一地图数据与第二地图数据的融合，适用范围更广。

在一示例性实施例中，上述地图数据处理方法还可以包括：

获取具有相似关系的第一位姿数据与第二位姿数据，将第一位姿数据对应的第一图像与第二位姿数据对应的第二图像形成待比较图像对；

响应于待比较图像对中的两张图像的相似度小于预设阈值，从第三地图数据中删除待比较图像对中拍摄时间更晚的图像以及该图像对应的第一三维点或第二三维点。

通过上述步骤S210～S240，可以将第一地图数据与第二地图数据进行融合，得到第三地图数据，但是在第三地图数据中，仍然保留了第一地图数据中的第一节点和部分三维点，如果不进行剔除，随着融合的次数的增多，会变得越来越大，里面包含过多的干扰信息，会影响定位算法的效率和精度。因此，本示例性实施例可以通过删除干扰的第一三维点或者第二三维点来生成更为准确的第三地图数据。

具体的，可以根据第一图像或第二图像的采集时间确定第一姿态数据或第二姿态数据的置信度，将地图数据中采集时间越新的姿态数据，设置越高的置信度，采集时间越老的姿态数据，设置越低的置信度，第一姿态数据即第一节点，第二姿态数据即第二节点。

通过获取具有相似关系的第一位姿数据与第二位姿数据，将第一位姿数据对应的第一图像与第二位姿数据对应的第二图像形成待比较图像对，对比待比较图像对中的两张图像的相似度，当相似度小于预设阈值时，可以从第三地图数据中删除待比较图像对中拍摄时间更晚的图像以及该图像对应的第一三维点或第二三维点。

比较第二地图数据中第二姿态数据和第一地图数据中第一姿态数据的相似度，即为对比带比较图像对中两张图像的相似度，具体的，可以通过提取第一姿态数据对应的第一图像的全局描述信息，或者第二姿态数据对应的第二图像的全局描述信息，直接进行相似度比较，如果待比较图像对中的两张图像的相似度满足一定阈值，则说明待对比的两张图像中的场景变动较小，无需删除。如果待比较图像对中的两张图像的相似度较弱，则可以根据姿态数据的置信度，保留拍摄时间更近的图像的三维点，然后删除置信度底的姿态数据以及其对应的三维点。在完成删除后，还可以进行一次BA优化，以得到更新后的点云地图。

如图18所示，图18(a)为某门店室外及少部分室内的地图数据，可以视为第一地图数据，根据需求，重新采集室内的地图数据，可以视为第二地图，如图18(b)所示，两幅地图数据采用本示例性实施例中的地图数据处理方法，成功融合并更新为新的地图数据，如图18(c)所示。更新地图数据保存了室内室外的信息，且剔除了室内海报变换区域，更新成最新的地图。

图19示出了本示例性实施例中一种地图数据处理方法的流程框架图，具体可以包括四个部分，分别为：地图数据重建模块1910，点云配准模块1920，位姿联合优化模块1930，以及地图更新模块1940。

其中，地图数据重建模块1910，用于根据采集的图像进行三维重建，生成三维点云数据，具体可以包括，特征点的提取与匹配单元1911、图像位姿估计单元1912、三角化单元1913以及BA优化单元1914。

点云配准模块1920，用于确定坐标变换参数，以将第一地图数据与第二地图数据至于同一坐标系中，或者将第一图谱与第二图谱至于同一坐标系中，具体可以包括，视觉定位单元1921、三维-三维点对匹配单元1922、刚性变换单元1923，刚性变换单元1923即通过坐标变换参数进行坐标系转换的单元。

位姿联合优化模块1930，用于对第一位姿数据与第二位姿数据中的至少一者进行优化，具体可以包括，拓扑查找单元1931，用于遍历第二图谱，以根据每个第二节点与其周围的预设范围内的第一节点的匹配关系得到第三匹配关系，位姿变换参数确定单元1932，以及联合优化单元1933。

地图更新模块1940，用于对融合生成的第三地图数据进行更新，以剔除干扰三维点，具体可以包括：时间置信度确定单元1941、图像相似度计算单元1942以及三维点云剔除单元1943。

本公开的示例性实施方式还提供一种地图数据处理装置。如图20所示，该地图数据处理装置2000可以包括：地图获取模块2010，用于获取第一场景的第一地图数据，以及与第一场景关联的第二场景的第二地图数据；第一地图数据包括第一三维点的集合、多张第一图像以及第一图像对应的第一位姿数据，第二地图数据包括第二三维点的集合、多张第二图像以及第二图像对应的第二位姿数据；图谱生成模块2020，用于根据第一位姿数据，以及第一图像间的第一匹配关系，生成第一图谱；根据第二位姿数据，以及第二图像间的第二匹配关系，生成第二图谱；关系确定模块2030，用于将第一图谱与第二图谱置于同一坐标系中，并根据第一图谱与第二图谱的位置关系确定第一位姿数据与第二位姿数据间的第三匹配关系；位姿优化模块2040，用于基于第三匹配关系，对第一位姿数据与第二位姿数据中的至少一者进行优化，并根据优化后的第一位姿数据与第二位姿数据融合第一地图数据与第二地图数据，得到第三地图数据。

在一示例性实施例中，图谱生成模块包括：图谱生成单元，用于以第一位姿数据为第一节点，第一图像间的第一匹配关系为第一节点间的边，生成第一图谱；以第二位姿数据为第二节点，第二图像间的第二匹配关系为第二节点间的边，生成第二图谱。

在一示例性实施例中，关系确定模块包括：遍历单元，用于遍历第二图谱，以根据每个第二节点与其周围的预设范围内的第一节点的匹配关系得到第三匹配关系。

在一示例性实施例中，遍历单元，包括：节点对获取子单元，用于获取第一图谱与第二图谱间的初始匹配节点对；初始匹配节点对包括一个第一节点与一个第二节点；图谱遍历子单元，用于以初始匹配节点对中的第二节点为根节点，遍历第二图谱。

在一示例性实施例中，节点对获取子单元，包括：基准图像查找子单元，用于在第二图像中确定第二基准图像，在第一图像中查找与第二基准图像匹配度最高的第一基准图像；节点对形成子单元，用于将第一基准图像对应的第一节点与第二基准图像对应的第二节点形成初始匹配节点对。

在一示例性实施例中，位姿优化模块，包括：第一参数确定单元，用于根据第三匹配关系中的第一节点对应的第一位姿数据与第二节点对应的第二位姿数据，确定第三匹配关系对应的第一位姿变换参数；第二参数确定单元，用于根据第三匹配关系中的第一节点与第二节点间的边，确定第三匹配关系对应的第二位姿变换参数；位姿优化单元，用于基于第一位姿变换参数与第二位姿变换参数的差别，优化第一位姿数据与第二位姿数据中的至少一者。

在一示例性实施例中，地图数据处理装置还可以包括：置信度确定模块，用于根据第三匹配关系中的第一节点对应的第一图像与第二节点对应的第二图像间的匹配内点数，确定第三匹配关系的置信度；位姿优化模块，用于基于第一位姿变换参数与第二位姿变换参数的差别、以及第三匹配关系的置信度，优化第一位姿数据与第二位姿数据中的至少一者。

在一示例性实施例中，地图数据处理装置还可以包括：子集获取模块，用于从第一地图数据中获取第一三维点子集，从第二地图数据中获取第二三维点子集，第一三维点子集与第二三维点子集具有匹配关系；图谱坐标变换模块，用于根据第一三维点子集与第二三维点子集的三维分布特征，确定第一地图数据与第二地图数据间的坐标变换参数；坐标变换参数用于将第一图谱与第二图谱置于同一坐标系中。

在一示例性实施例中，子集获取模块包括：二维-二维匹配点对获取单元，用于获取第一图像与第二图像间的二维-二维匹配点对；三维-三维匹配点对确定单元，用于根据二维-二维匹配点对确定第一三维点与第二三维点间的三维-三维匹配点对；子集行程单元，用于以三维-三维匹配点对中的第一三维点形成第一三维点子集，以三维-三维匹配点对中的第二三维点形成第二三维点子集。

在一示例性实施例中，三维-三维匹配点对确定单元，包括：位姿数据确定子单元，用于根据二维-二维匹配点对，确定第二图像在第一世界坐标系中的位姿数据；第一世界坐标系为第一地图数据的世界坐标系；反投影子单元，用于利用第二图像在第一世界坐标系中的位姿数据，将多个第一三维点进行反投影，得到多个第一三维点与其在第二图像中对应的二维点间的三维-二维匹配点对；映射子单元，用于将三维-二维匹配点对中的二维点映射为第二三维点，得到三维-三维匹配点对。

在一示例性实施例中，位姿数据确定子单元，包括：候选位姿确定子单元，用于将二维-二维匹配点对中的第一图像的二维点映射为第一三维点，并基于第二图像的二维点与第一三维点的匹配关系，确定第二图像在第一世界坐标系中的多个候选位姿；候选位姿聚类子单元，用于对多个候选位姿进行聚类，并根据其中的最优类确定第二图像在第一世界坐标系中的位姿数据。

在一示例性实施例中，三维-三维匹配点对确定单元，包括：第一三维点获得子单元，用于获取与最优类关联的第一图像中的二维点所对应的第一三维点，以得到用于进行反投影的多个第一三维点。

在一示例性实施例中，二维-二维匹配点对获取单元，包括：图像查找子单元，用于针对第二图像中的至少一张待匹配第二图像，在第一图像中查找与之相似的至少一张第一图像，并将至少一张第一图像与待匹配第二图像进行特征点匹配，得到二维-二维匹配点对。

在一示例性实施例中，坐标变换参数包括旋转参数与平移参数；图谱坐标变换模块，包括：中心点确定单元，用于确定第一三维点子集的第一中心点与第二三维点子集的第二中心点；去中心化单元，用于基于第一中心点对第一三维点子集进行去中心化，基于第二中心点对第二三维点子集进行去中心化；旋转参数确定单元，用于根据去中心化后的第一三维点子集与第二三维点子集间的协方差确定旋转参数；平移参数确定单元，用于根据去中心化后的第一三维点子集与第二三维点子集确定尺度关系，并根据尺度关系、旋转参数、第一中心点与第二中心点确定平移参数。

在一示例性实施例中，地图数据处理装置还可以包括：待比较图像对确定模块，用于获取具有相似关系的第一位姿数据与第二位姿数据，将第一位姿数据对应的第一图像与第二位姿数据对应的第二图像形成待比较图像对；三维点删除模块，用于响应于待比较图像对中的两张图像的相似度小于预设阈值，从第三地图数据中删除待比较图像对中拍摄时间更晚的图像以及该图像对应的第一三维点或第二三维点。

上述装置中各部分的具体细节在方法部分实施方式中已经详细说明，因而不再赘述。

本公开的示例性实施方式还提供了一种计算机可读存储介质，可以实现为程序产品的形式，包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤，例如可以执行图2、图5、图6、图7、图8、图15或图17中任意一个或多个步骤。该程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为***、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“***”。本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施方式。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限定。

Claims (18)

1.一种地图数据处理方法，其特征在于，包括：

获取第一场景的第一地图数据，以及与所述第一场景关联的第二场景的第二地图数据；所述第一地图数据包括第一三维点的集合、多张第一图像以及所述第一图像对应的第一位姿数据，所述第二地图数据包括第二三维点的集合、多张第二图像以及所述第二图像对应的第二位姿数据；

根据所述第一位姿数据，以及所述第一图像间的第一匹配关系，生成第一图谱；根据所述第二位姿数据，以及所述第二图像间的第二匹配关系，生成第二图谱；

将所述第一图谱与所述第二图谱置于同一坐标系中，并根据所述第一图谱与所述第二图谱的位置关系确定所述第一位姿数据与所述第二位姿数据间的第三匹配关系；

基于所述第三匹配关系，对所述第一位姿数据与所述第二位姿数据中的至少一者进行优化，并根据优化后的所述第一位姿数据与所述第二位姿数据融合所述第一地图数据与所述第二地图数据，得到第三地图数据。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一位姿数据，以及所述第一图像间的第一匹配关系，生成第一图谱；根据所述第二位姿数据，以及所述第二图像间的第二匹配关系，生成第二图谱，包括：

以所述第一位姿数据为第一节点，所述第一图像间的第一匹配关系为所述第一节点间的边，生成第一图谱；以所述第二位姿数据为第二节点，所述第二图像间的第二匹配关系为所述第二节点间的边，生成第二图谱。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一图谱与所述第二图谱的位置关系确定所述第一位姿数据与所述第二位姿数据间的第三匹配关系，包括：

遍历所述第二图谱，以根据每个第二节点与其周围的预设范围内的第一节点的匹配关系得到所述第三匹配关系。

4.根据权利要求3所述的方法，其特征在于，所述遍历所述第二图谱，包括：

获取所述第一图谱与所述第二图谱间的初始匹配节点对；所述初始匹配节点对包括一个第一节点与一个第二节点；

以所述初始匹配节点对中的第二节点为根节点，遍历所述第二图谱。

5.根据权利要求4所述的方法，其特征在于，所述获取所述第一图谱与所述第二图谱间的初始匹配节点对，包括：

在所述第二图像中确定第二基准图像，在所述第一图像中查找与所述第二基准图像匹配度最高的第一基准图像；

将所述第一基准图像对应的第一节点与所述第二基准图像对应的第二节点形成所述初始匹配节点对。

6.根据权利要求2所述的方法，其特征在于，所述基于所述第三匹配关系，对所述第一位姿数据与所述第二位姿数据中的至少一者进行优化，包括：

根据所述第三匹配关系中的第一节点对应的第一位姿数据与第二节点对应的第二位姿数据，确定所述第三匹配关系对应的第一位姿变换参数；

根据所述第三匹配关系中的第一节点与第二节点间的边，确定所述第三匹配关系对应的第二位姿变换参数；

基于所述第一位姿变换参数与所述第二位姿变换参数的差别，优化所述第一位姿数据与所述第二位姿数据中的至少一者。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

根据所述第三匹配关系中的第一节点对应的第一图像与第二节点对应的第二图像间的匹配内点数，确定所述第三匹配关系的置信度；

所述基于所述第一位姿变换参数与所述第二位姿变换参数的差别，优化所述第一位姿数据与所述第二位姿数据中的至少一者，包括：

基于所述第一位姿变换参数与所述第二位姿变换参数的差别、以及所述第三匹配关系的置信度，优化所述第一位姿数据与所述第二位姿数据中的至少一者。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

从所述第一地图数据中获取第一三维点子集，从所述第二地图数据中获取第二三维点子集，所述第一三维点子集与所述第二三维点子集具有匹配关系；

根据所述第一三维点子集与所述第二三维点子集的三维分布特征，确定所述第一地图数据与所述第二地图数据间的坐标变换参数；所述坐标变换参数用于将所述第一图谱与所述第二图谱置于同一坐标系中。

9.根据权利要求8所述的方法，其特征在于，所述从所述第一地图数据中获取第一三维点子集，从所述第二地图数据中获取第二三维点子集，包括：

获取所述第一图像与所述第二图像间的二维-二维匹配点对；

根据所述二维-二维匹配点对确定第一三维点与第二三维点间的三维-三维匹配点对；

以所述三维-三维匹配点对中的第一三维点形成所述第一三维点子集，以所述三维-三维匹配点对中的第二三维点形成所述第二三维点子集。

10.根据权利要求9所述的方法，其特征在于，所述根据所述二维-二维匹配点对确定第一三维点与第二三维点间的三维-三维匹配点对，包括：

根据所述二维-二维匹配点对，确定所述第二图像在第一世界坐标系中的位姿数据；所述第一世界坐标系为所述第一地图数据的世界坐标系；

利用所述第二图像在第一世界坐标系中的位姿数据，将多个第一三维点进行反投影，得到所述多个第一三维点与其在所述第二图像中对应的二维点间的三维-二维匹配点对；

将所述三维-二维匹配点对中的二维点映射为第二三维点，得到所述三维-三维匹配点对。

11.根据权利要求10所述的方法，其特征在于，所述根据所述二维-二维匹配点对，确定所述第二图像在第一世界坐标系中的位姿数据，包括：

将所述二维-二维匹配点对中的第一图像的二维点映射为第一三维点，并基于所述第二图像的二维点与所述第一三维点的匹配关系，确定所述第二图像在所述第一世界坐标系中的多个候选位姿；

对所述多个候选位姿进行聚类，并根据其中的最优类确定所述第二图像在所述第一世界坐标系中的位姿数据。

12.根据权利要求11所述的方法，其特征在于，所述根据所述二维-二维匹配点对确定第一三维点与第二三维点间的三维-三维匹配点对，还包括：

获取与所述最优类关联的第一图像中的二维点所对应的第一三维点，以得到用于进行反投影的所述多个第一三维点。

13.根据权利要求9所述的方法，其特征在于，所述获取所述第一图像与所述第二图像间的二维-二维匹配点对，包括：

针对所述第二图像中的至少一张待匹配第二图像，在所述第一图像中查找与之相似的至少一张第一图像，并将所述至少一张第一图像与所述待匹配第二图像进行特征点匹配，得到所述二维-二维匹配点对。

14.根据权利要求8所述的方法，其特征在于，所述坐标变换参数包括旋转参数与平移参数；所述根据所述第一三维点子集与所述第二三维点子集的三维分布特征，确定所述第一地图数据与所述第二地图数据间的坐标变换参数，包括：

确定所述第一三维点子集的第一中心点与所述第二三维点子集的第二中心点；

基于所述第一中心点对所述第一三维点子集进行去中心化，基于所述第二中心点对所述第二三维点子集进行去中心化；

根据去中心化后的第一三维点子集与第二三维点子集间的协方差确定所述旋转参数；

根据去中心化后的第一三维点子集与第二三维点子集确定尺度关系，并根据所述尺度关系、所述旋转参数、所述第一中心点与所述第二中心点确定所述平移参数。

15.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取具有相似关系的第一位姿数据与第二位姿数据，将所述第一位姿数据对应的第一图像与所述第二位姿数据对应的第二图像形成待比较图像对；

响应于所述待比较图像对中的两张图像的相似度小于预设阈值，从所述第三地图数据中删除所述待比较图像对中拍摄时间更晚的图像以及该图像对应的第一三维点或第二三维点。

16.一种地图数据处理装置，其特征在于，包括：

地图获取模块，用于获取第一场景的第一地图数据，以及与所述第一场景关联的第二场景的第二地图数据；所述第一地图数据包括第一三维点的集合、多张第一图像以及所述第一图像对应的第一位姿数据，所述第二地图数据包括第二三维点的集合、多张第二图像以及所述第二图像对应的第二位姿数据；

图谱生成模块，用于根据所述第一位姿数据，以及所述第一图像间的第一匹配关系，生成第一图谱；根据所述第二位姿数据，以及所述第二图像间的第二匹配关系，生成第二图谱；

关系确定模块，用于将所述第一图谱与所述第二图谱置于同一坐标系中，并根据所述第一图谱与所述第二图谱的位置关系确定所述第一位姿数据与所述第二位姿数据间的第三匹配关系；

位姿优化模块，用于基于所述第三匹配关系，对所述第一位姿数据与所述第二位姿数据中的至少一者进行优化，并根据优化后的所述第一位姿数据与所述第二位姿数据融合所述第一地图数据与所述第二地图数据，得到第三地图数据。

17.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至15任一项所述的方法。

18.一种电子设备，其特征在于，包括：

处理器；

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至15任一项所述的方法。

Images