CN109509255A - 一种标签化地图构建及空间地图更新方法和装置 - Google Patents

Abstract

本发明公开一种标签化地图构建及空间地图更新方法和装置，包括：根据周围环境图像构建并调用标签化地图；判断所述当前帧图像是否为与预先构建的标签化地图相关的图像，若是，将所述图像的特征物融入所述标签化地图，以对所述标签化地图的相应区域进行更新。本发明以精确识别物体的点云信息、距离信息为标签，对地图进行初始化，在SLAM后端优化中采用物体识别技术作为定位，降低SLAM的运算量，提高了运算和空间地图识别速度，使其能够为上层应用提供更好的位姿估计，提供了更稳定的定位精度和计算效果。

Description

一种标签化地图构建及空间地图更新方法和装置

技术领域

本发明涉及虚拟现实领域。更具体地，涉及一种标签化地图构建及空间地图更新方法和装置。

背景技术

空间地图构建技术是移动AR/VR设备的核心技术之一，其核心要求是小型化、轻量级。视觉SLAM(同时定位与地图绘制)定位是其中的一个重要方向，但是其定位与建图仍然是一个大体量的工作。如何解决定位与建图的复杂度减轻其工作量是一个非常重要的工程实践问题。

在移动AR/VR上，经典视觉SLAM对于环境的建图是一个***地估计状态，可以称为柔性地图。为了维持这个柔性地图，需要采用前端、后端和回环检测三个线程，造成的影响就是运算量巨大，对于硬件资源的要求很高，其中最主要的运算量在于全局地图的优化和回环检测部分。

发明内容

本发明的目的在于提供一种标签化地图构建及空间地图更新方法和装置，提出了标签式基于物体识别和点云融合，通过引入物体识别作为定位和建图中的辅助技术。

为达到上述目的，本发明采用下述技术方案：

一种标签化地图构建方法，包括：

获取周围环境的多个图像和所述图像中的特征物，并为每个特征物设置标签，形成具有标签的图像；

将多个具有所述标签的图像与所述图像中的多个特征物的标签结合形成标签化地图；

将具有所述标签的图像作为标签化地图中的参考点，根据所述参考点将所述标签化地图划分为不同区域。

进一步地，所述为每个特征物设置标签包括：

将所述图像中的特征物以点云信息形式表示；

将所述多个图像上传至云服务器进行检索和物体识别，并将识别后的物体特征信息、物体坐标信息、覆盖的像素区域特征与对应本地点云信息结合形成标签。

进一步地，所述方法还包括：以所述各个参考点在标签化地图中的位置为圆心，根据参考点在标签化地图中位置密度的关系计算半径，得到每个参考点所占的区域位置。

本发明一个实施例还公开了一种空间地图更新方法，包括：

获取当前帧图像；

判断所述当前帧图像是否为与预先构建的标签化地图相关的图像，若是，将所述图像的特征物融入所述标签化地图，以对所述标签化地图的相应区域进行更新。

进一步地，所述方法还包括：构建所述标签化地图的方法，通过上述的标签化地图构建方法构建而成。

进一步地，所述方法还包括：计算所述关键帧图像与所述各个参考点间的距离，若所述距离小于预设值，将该关键帧图像划分到距离最小的地图区域中，并将所述距离均大于预设值的所有关键帧图像划分为一个独立区域。

本发明一个实施例还公开了一种标签化地图构建装置，包括：

图像采集模块：用于获取周围环境的多个图像和所述图像中的特征物；

图像转换模块：用于将周围环境图像的特征物设置标签；

地图绘制模块：用于将多个具有所述标签的图像与所述图像中的多个特征物的标签结合形成标签化地图；

区域划分模块：用于将具有所述标签的图像作为标签化地图中的参考点，根据所述参考点将所述标签化地图划分为不同区域。

进一步地，所述图像转换模块还用于：

将所述图像中的特征物以点云信息形式表示；

将所述多个图像上传至云服务器进行检索和物体识别，并将识别后的物体特征信息、物体坐标信息、覆盖的像素区域特征与对应本地点云信息结合形成标签。

进一步地，所述区域划分模块还用于以所述各个参考点在标签化地图中的位置为圆心，根据参考点在标签化地图中位置密度的关系计算出半径，得到每个参考点所占的区域位置。

本发明的一个实施例还提供了一种空间地图更新装置，包括：

判断模块及如上述的标签化地图构建装置，其中，

所述判断模块用于判断获取的当前帧图像是否为关键帧图像，若是，向地图绘制模块发送更新地图信号；

所述图像采集模块还用于获取当前帧图像；

所述地图绘制模块还用于将所述关键帧图像的特征物融入标签化地图的对应区域，以对所述标签化地图进行更新。

进一步地，所述区域划分模块还用于计算关键帧图像与所述各个参考点间的距离，若所述距离小于预设值，将该关键帧图像划分到距离最小的地图区域中，并将所述距离均大于预设值的所有关键帧图像划分为一个独立区域。

本发明的一个实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述计算机可读存储介质在计算机上运行时，使得所述计算机执行上述的方法。

本发明的一个实施例还提供了一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述程序被所述处理器执行时，使得所述处理器执行上述的方法。

本发明的有益效果如下：

本发明所述技术方案实现了AR/VR设备中视觉SLAM中的地图初始化技术，提供一个刚性结构化的初始地图。以精确识别物体的点云信息、距离信息为标签，对地图进行初始化，在SLAM后端优化中采用物体识别技术作为定位的优化方案，降低SLAM的运算量，提高了运算和空间地图识别速度，使得其能够为上层应用提供更好的位姿估计，也便于上层应用开发，提供了更稳定的定位精度和计算效果。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细的说明；

图1为本发明一个实施例中一种标签化地图构建方法流程图；

图2为本发明一个实施例中一种空间地图更新方法流程图；

图3为本发明一个实施例中利用改进的SLAM后端进行地图更新步骤示意图；

图4为本发明一个实施例中一种空间地图构建装置示意图。

具体实施方式

为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。

本发明公开的一种空间地图更新方法，运用改进的SLAM技术对AR/VR进行地图构建，该方法包括地图标签化技术和SLAM后端优化对地图进行更新的技术，在调用所述标签化地图之前，首先要构建标签化地图。其中，构建标签化地图如图1所示步骤，包括：

S1、获取周围环境的多个图像和所述图像中的特征物，并为每个特征物设置标签，形成具有标签的图像。

用带RGBD相机的AR/VR设备固定在空间中一确定位置，每隔一定距离设置一台相机，相邻两台相机可拍摄到的图片区域可以有部分重叠，但是不能有遗漏。每台相机朝向空间中某一方向进行拍照，得到物体的图片，然后旋转一定角度(例如60度)进行下一次拍照，以此类推，直到对着环境旋转一周，并将所有拍摄的图片中的显著物体(即特征物)以点云信息形式表示，其中，图片中的特征物表示成点云的密集程度要大于图片背景表示成点云的密集程度，例如在家中客厅拍摄一张图片，图片中的沙发、桌椅等物体即为特征物，便是成点云时以密集点云形式表示出特征物的轮廓，而客厅内的地砖等背景则用稀疏的点云表示。

同时将相机旋转一周所拍摄的所有图片上传到云端服务器，在云端服务器基于神经网络对图片进行检索和物体识别，将特征物所属类别和其涵盖的像素区域特征下传到本地设备中，本地设备将接收到的物体类别信息、物体在图片中的坐标位置信息、物体对应的像素信息与本地的图片点云信息进行融合，形成标签，图片中每个特征物均设置一个标签。

S2、将多个具有所述标签的图像与所述图像中的多个特征物的标签结合形成标签化地图。

本地设备将所有拍摄的图片作为起始关键帧图片，提取这些图片中的特征点，并将特征点保存在一个序列中，将这些图片、图片中的特征点与生成的所有特征物的标签结合作为标签化地图，标签化地图为后续的定位算法提供位置基准，对环境地图进行初始化。

S3、将具有所述标签的图像作为标签化地图中的参考点，根据所述参考点将所述标签化地图划分为不同区域。

上述步骤S1-S3的作用是构建标签化地图，为后续环境地图进行初始化，便于后续构建环境地图时减少设备的运算量。下面利用改进的SLAM技术对地图进行构建和完善。

利用SLAM前端算法首先进行图像匹配，当SLAM开始工作的时候，定位线程先开始工作，同时启动物体识别线程，将定位线程拍摄的图片与本地预存的标签进行对比，如果没有匹配上，则将图片直接交给后端建图线程；如果识别到标签并与之匹配，触发建图线程载入标签化地图，当加载成功后，物体识别线程结束，完成场景重建。由于SLAM前端场景重建具体算法运用的为现有技术，故不再详细描述。

SLAM后端对重建场景点云数据进行全局图优化，本发明的一个实施例对SLAM后端优化进行了改进，在建图线程中，将标签化地图中的最开始拍摄的关键帧图像和特征点设为固定点，也就是在算法优化的时候并不会改变其原始值，将这些关键帧图像和对应特征点的组合作为完整标签化地图中相对精确的参考点，以每个参考点为圆心形成圆形区域，每个圆形区域将整个标签化地图划分成不同区域，圆形区域的半径由计算得到，首先要根据所有参考点在整个标签化地图中的分布密度来决定，例如标签化地图中的一片区域内含有很多参考点，分布密度大，那么每个参考点形成的区域半径相对较小，在参考点分布较稀疏的地方相对形成的区域半径就较大，内部程序会根据具体情况计算并分配每个参考点所在区域的大小，参考点的数量与所在区域数量相同。

具体的，如图2所示，S4、获取当前帧图像；在空间地图更新过程中，相机不断拍摄新的图像，以不断完善地图的更新。

S5、判断所述当前帧图像是否为与预先构建的标签化地图相关的图像，若是，将所述图像的特征物融入所述标签化地图，以对所述标签化地图的相应区域进行更新。

结合图3，划分好区域后进行地图构建，当设备时识别到新的图像时，将这些图像的特征物分别与标签化地图中的标签进行对比，若图像中的特征物与匹配上的标签数量大于设定的阈值，例如50％，可认定此图像为关键帧图像。

将此关键帧图像中的特征点信息提取出来并加入到整个标签化地图的特征点序列中，计算关键帧图像与所述各个参考点之间的距离，若与某参考点的距离小于预设值，则将此关键帧图像划分到该参考点形成的地图区域内，若同时与多个参考点间的距离小于预设值，则将此关键帧图像划分到与参考点距离最小的得那个参考点形成的地图区域内，若次关键帧与所有参考点间的距离均大于预设值，则将此类关键帧图像单独划分到一个独立区域中，这样就将新识别到的每帧图像都划分到标签化地图中的某个区域内。

划分完毕后，每个区域中以参考点为圆心包括了不等的若干个关键帧图像，利用Bundle Adjustment(BA)方法分别对每个区域内的地图进行优化，而不再在全局地图中进行优化。对BA问题的求解需要用到高斯牛顿法，其信息矩阵的维度是(M+N)*(M+N),其中M为参加运算的相机位姿个数也即关键帧图像个数，N为参加运算的特征点个数。当将地图进行区域划分之后，则相机位姿和特征点数据也相应地得到划分，设第i个区域内相机位姿个数为M_i，特征点个数为N_i，则有M＝∑m_i，N＝∑n_i。由MN＞∑m_in_i可知可以减少计算量，并且区域划分次数越多，则效果越明显。同时不同区域内地局部地图可以分别并行运算，也可以极大地缩短计算的时间。

本发明实施例提出的空间地图更新方法，以精确识别物体的点云信息、距离信息为标签，对地图进行初始化，在SLAM后端优化中采用物体识别技术作为定位的优化方案，降低SLAM的运算量，提高了运算和空间地图识别速度。

如图4所示，本发明的一个实施例还提供了一种空间地图更新装置，包括：

判断模块5及标签化地图构建装置，其中，标签化地图构建装置包括：

图像采集模块1：用于获取周围环境的多个图像和所述图像中的特征物；

图像转换模块2：用于将周围环境图像的特征物设置标签；具体的，图像转换模块2将图像中的特征物以点云信息形式表示；将多个图像上传至云服务器进行检索和物体识别，并将识别后的物体特征信息、物体坐标信息、覆盖的像素区域特征与对应本地点云信息结合形成标签。

地图绘制模块3：用于多个具有所述标签的图像与所述图像中的多个特征物的标签结合形成标签化地图；

区域划分模块4：用于将具有所述标签的图像作为标签化地图中的参考点，根据所述参考点将所述标签化地图划分为不同区域；具体的，区域划分模块以所述各个参考点在标签化地图中的位置为圆心，根据参考点在标签化地图中位置密度的关系计算出半径，得到每个参考点所占的区域位置。还用于计算关键帧图像与所述各个参考点间的距离，若所述距离小于预设值，将该关键帧图像划分到距离最小的地图区域中，并将所述距离均大于预设值的所有关键帧图像划分为一个独立区域。

空间地图更新装置中的判断模块5用于判断获取的当前帧图像是否为关键帧图像，若是，向地图绘制模块发送更新地图信号；

所述地图绘制模块3还用于将所述关键帧图像的特征物融入标签化地图的对应区域，以对所述标签化地图进行更新。

另外，本发明还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入终端中的计算机可读存储介质。所述计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本申请的用于空间地图更新的方法。

描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为:一种电子设备，包括存储器和处理器，处理器包括图像采集模块、图像转换模块、地图绘制模块、区域划分模块和判断模块。其中，这些模块的名称在某种情况下并不构成对该单元本身的限定。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (13)

1.一种标签化地图构建方法，包括：

获取周围环境的多个图像和所述图像中的特征物，并为每个特征物设置标签，形成具有标签的图像；

将多个具有所述标签的图像与所述图像中的多个特征物的标签结合形成标签化地图；

将具有所述标签的图像作为标签化地图中的参考点，根据所述参考点将所述标签化地图划分为不同区域。

2.根据权利要求1所述的方法，其特征在于，所述为每个特征物设置标签包括：

将所述图像中的特征物以点云信息形式表示；

将所述多个图像上传至云服务器进行检索和物体识别，并将识别后的物体特征信息、物体坐标信息、覆盖的像素区域特征与对应本地点云信息结合形成标签。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：以所述各个参考点在标签化地图中的位置为圆心，根据参考点在标签化地图中位置密度的关系计算半径，得到每个参考点所占的区域位置。

4.一种空间地图更新方法，其特征在于，包括：

获取当前帧图像；

判断所述当前帧图像是否为与预先构建的标签化地图相关的图像，若是，将所述图像的特征物融入所述标签化地图，以对所述标签化地图的相应区域进行更新。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括构建所述标签化地图的方法，通过上述权利要求1-3任一所述的方法构建而成。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：计算所述关键帧图像与所述各个参考点间的距离，若所述距离小于预设值，将该关键帧图像划分到距离最小的地图区域中，并将所述距离均大于预设值的所有关键帧图像划分为一个独立区域。

7.一种标签化地图构建装置，其特征在于，包括：

图像采集模块：用于获取周围环境的多个图像和所述图像中的特征物；

图像转换模块：用于将周围环境图像的特征物设置标签；

地图绘制模块：用于将多个具有所述标签的图像与所述图像中的多个特征物的标签结合形成标签化地图；

区域划分模块：用于将具有所述标签的图像作为标签化地图中的参考点，根据所述参考点将所述标签化地图划分为不同区域。

8.根据权利要求7所述的装置，其特征在于，所述图像转换模块还用于：

将所述图像中的特征物以点云信息形式表示；

将所述多个图像上传至云服务器进行检索和物体识别，并将识别后的物体特征信息、物体坐标信息、覆盖的像素区域特征与对应本地点云信息结合形成标签。

9.根据权利要求7所述的装置，其特征在于，所述区域划分模块还用于以所述各个参考点在标签化地图中的位置为圆心，根据参考点在标签化地图中位置密度的关系计算出半径，得到每个参考点所占的区域位置。

10.一种空间地图更新装置，其特征在于，包括：判断模块及如权利要求7-9任一项所述的标签化地图构建装置，其中，

所述判断模块用于判断获取的当前帧图像是否为关键帧图像，若是，向地图绘制模块发送更新地图信号；

所述图像采集模块还用于获取当前帧图像；

所述地图绘制模块还用于将所述关键帧图像的特征物融入标签化地图的对应区域，以对所述标签化地图进行更新。

11.根据权利要求10所述的装置，其特征在于，所述区域划分模块还用于计算关键帧图像与所述各个参考点间的距离，若所述距离小于预设值，将该关键帧图像划分到距离最小的地图区域中，并将所述距离均大于预设值的所有关键帧图像划分为一个独立区域。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述计算机可读存储介质在计算机上运行时，使得所述计算机执行权利要求1-6中任一项所述的方法。

13.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述程序被所述处理器执行时，使得所述处理器执行如权利要求1-6中任一项所述的方法。