CN109815847B - 一种基于语义约束的视觉slam方法 - Google Patents

Abstract

本发明公开了一种基于语义约束的视觉SLAM方法，包括：通过深度相机连续采集周围环境图像序列；通过视觉SLAM方法处理所述图像序列中的关键帧重建地图；对所述关键帧进行语义分割，并根据语义分割结果制定语义约束参数；通过所述语义约束参数对所述重建地图进行语义约束，并融合语义分割结果获得语义地图。而后，当每检测到关键帧后对语义约束参数和约束点进行捆绑更新；并利语义地图在非关键帧纹理特征丰富或缺少纹理特征的情况下对深度相机进行位姿估计。本发明通过语义约束的方式获得了更加准确的语义地图；通过对纹理特征丰富或缺少纹理特征两种情况下的相机位姿的估计以及二者的结合，提升了相机位姿估计的精确度。

Description

一种基于语义约束的视觉SLAM方法

技术领域

本发明属于计算机视觉、人工智能技术领域，具体涉及了一种基于语义约束的视觉SLAM方法。

背景技术

Simultaneous Localization and Mapping(SLAM)是即时定位与地图构建技术，它能够通过传感器在未知环境中的运动，对传感器进行实时定位，同时得到未知环境的三维结构。SLAM根据其中使用的传感器可以大体分为激光SLAM和视觉SLAM。视觉SLAM由于其使用的彩色或深度相机等在价格、便捷性和通用性等方面的突出优势，得到了越来越多的关注。视觉SLAM在机器人、增强现实和自动驾驶等领域具有广阔的应用前景。

传统视觉SLAM技术在弱纹理、快速运动等条件下很容易失效。随着深度学习技术的不断发展及其在分类识别任务中的卓越表现，将深度学习与视觉SLAM相结合呈现出广阔的应用前景和巨大的潜在价值。语义SLAM就是其中一个重要的方向。传统视觉SLAM只利用和呈现了颜色和几何结构等信息，并没有利用空间中丰富的语义信息，

发明内容

本发明的目的是通过以下技术方案实现的一种基于语义约束的视觉SLAM方法，包括：通过深度相机连续采集周围环境图像序列；对所述图像序列中的关键帧进行语义分割，并根据语义分割结果获得语义约束参数；通过视觉SLAM方法处理语义分割结果，重建地图；通过所述语义约束参数对所述重建地图进行语义约束，并融合语义分割结果获得语义地图。

进一步的，所述对关键帧进行语义分割包括：根据关键帧中具体物体的纹理特征对图像进行分割，从而将一帧图像分割成多个区域并根据纹理特征识别对应区域的现实语义。

进一步的，所述根据语义分割结果获得语义约束参数包括：获得关键中所有特征点的深度信息；根据语义分割结果中的地面区域的多个特征点的深度信息获得对应所述多个特征点的多个三维点；根据所述多个三维点，利用随机抽样一致算法获得最优平面参数；其中，所述最优平面参数用作语义约束参数，并在每次检测到关键帧后更新所述语义约束参数。

进一步的，所述通过语义约束参数对所述重建地图进行语义约束包括：作所述重建地图中地面区域中的多个三维点到所述分割结果中的地面区域的多个特征点的连接直线，获得多个直线参数；根据所述多个直线参数与所述最优平面参数获得多个交点，所述多个交点作为获得的约束点，从而对所述重建地图进行语义约束；其中，所述约束点与所述语义约束参数捆绑更新。

进一步的，所述获得语义地图包括：将通过所述语义约束参数对所述重建地图进行语义约束获得的约束点与、语义分割结果中的多个区域的特征点所对应的三维点及其现实语义融合，从而获得语义地图。

进一步的，所述的基于语义约束的视觉SLAM方法，还包括：通过对图像序列中的非关键帧的分析以及结合所述语义地图，对所述深度相机的位姿进行估计；其中，对所述深度相机的位姿进行估计包括：根据纹理特征丰富的非关键帧的位姿估计和根据缺少纹理特征的非关键帧的位姿估计。

更进一步的，所述根据纹理特征丰富的非关键帧的位姿估计包括：对所述图像序列的非关键帧中的纹理特征进行识别，确定地面区域；提取所述地面区域中的特征点，并获得语义地图中的约束点在该非关键帧中的投影点；利用最小二乘法根据所述特征点到所述投影点的欧氏距离构建第一能量函数；对所述第一能量函数求解从而对所述深度相机的位姿进行估计。

更进一步的，所述对第一能量函数求解包括：利用奇异值分解法对所述第一能量函数进行求解，获得变换矩阵；其中，所述变换矩阵用于深度相机的位姿估计。

更进一步的，所述对缺少纹理特征的非关键帧的位姿估计包括：利用所述非关键帧中像素点的深度信息获得对应的三维点；根据所述三维点到当前语义地图中约束点所组成平面的距离判断该像素点是否属于图像中的地面区域；对于判断属于地面区域的三维点，利用最小二乘法根据所述三维点到当前语义地图中约束点所组成平面的距离构建第二能量函数；对所述第二能量函数求解从而对所述深度相机的位姿进行估计。

更进一步的，所述对第二能量函数求解包括：将所述第二能量函数中的变换矩阵分解为旋转矩阵和平移向量；利用梯度下降算法对所述旋转矩阵和平移向量中的待求参数求偏导；其中，所述待求参数的偏导用于深度相机的位姿估计。

本发明的优点在于：

(1)针对视觉SLAM通常只能得到场景的颜色和几何信息的问题，本专利将视觉SLAM和图像语义分割技术相结合以构建场景的语义地图，从而得到对场景的高层认知信息，为包括机器人导航、增强现实和自动驾驶在内的应用领域提供更加自然的人机交互方式。

(2)针对场景语义信息与几何信息间相互独立无关联的问题，本专利提出了一种将语义信息转化为SLAM中几何结构约束的思想。首先聚焦于语义分割后的地面区域，设定所有地面区域应该位于同一空间平面上的约束条件。其优势为在SLAM的过程中也考虑了语义信息构造的约束条件，从而改善SLAM算法的性能，并广泛适用于室内场景中。进一步，语义信息不仅可用于约束地面区域，也可以很自然的推广到任意物体级的约束上。

(3)针对语义约束的生成与更新问题，本专利提出了一种基于SLAM中关键帧的地面参数生成与更新方法，旨在递增地得到准确的全局语义地面参数。为了避免在地图点生成与优化的过程中引入输入深度图中的噪声，提出对处于地面区域的特征点直接通过当前的平面参数恢复其三维坐标点。

(4)针对传统基于特征点估计位姿的方法只利用了图像中纹理显著区域的问题，本专利提出应用语义地面区域的约束来对相机的位姿估计结果进行修正。设计了如公式(4)的能量函数并给出了采用梯度下降法对其的求解。这样做的优势在于在位姿估计的过程中考虑了实际室内应用中不可忽视的地面等纹理缺乏的区域，从而提升位姿估计的精度。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

附图1示出了根据本发明实施方式的基于语义约束的视觉SLAM方法中语义地图的构建流程图。

附图2示出了根据本发明实施方式的基于语义约束的视觉SLAM方法中对关键帧的处理流程图。

附图3示出了根据本发明实施方式的基于语义约束的视觉SLAM方法的工作流程图。

附图4示出了语义分割的效果示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明提出了基于语义约束的视觉即时定位与地图构建(SimultaneousLocalization and Mapping SLAM)方法，后文中简称为基于语义约束的视觉SLAM方法。通过根据视觉SLAM方法中的语义分割制定语义约束，对全局平面参数进行更新，从而实现对SLAM语义地图的构建和对相机位姿的修正。下面将通过具体附图对本发明进行更加详细的说明。

如图1所示，为根据本发明实施方式的基于语义约束的视觉SLAM方法中语义地图的构建流程图。其中，所述语义地图的构建包括：通过深度相机连续采集周围环境图像序列；对所述图像序列中的关键帧进行语义分割，并根据语义分割结果获得语义约束参数；通过视觉SLAM方法处理语义分割结果，重建地图；通过所述语义约束参数对所述重建地图进行语义约束，并融合语义分割结果获得语义地图。

具体的，本发明采用全连接卷积神经网络对图像序列中的关键帧进行图像级的语义分割，根据关键帧中具体物体的纹理特征将一帧图像分割成多个区域并根据纹理特征识别对应区域的现实语义，并提取所述多个区域中的特征点；其中，所述纹理特征及其对应的现实语义将形成语义点云，用于全连接卷积神经网络的自我学***面参数；其中，所述最优平面参数用作语义约束参数，并在每次检测到关键帧后更新所述语义约束参数；接下来，作所述重建地图中地面区域中的多个三维点到所述分割结果中的地面区域的多个特征点的连接直线，获得多个直线参数；根据所述多个直线参数与所述最优平面参数获得多个交点，所述多个交点作为获得的约束点，从而对所述重建地图进行语义约束；其中，所述约束点与所述语义约束参数捆绑更新；其中，所述约束点即为将来生成的语义地图中的地面区域的三维地图点；通过这种方式避免了直接通过特征点的深度信息获得三维地图点时所引入的输入噪声，并通过结合语义约束使得本发明的视觉SLAM方法能够得到更精准和鲁棒的定位和重建结果；接下来，将所述约束点、多个区域的特征点所对应的三维点及其现实语义融合，从而获得语义地图。

更具体的，所述视频序列中的关键帧的识别方法包括：设定检查频率，根据图像序列中具体帧的纹理特征以及深度相机的位姿变化情况判断其是否为关键帧。所述语义地图为包含有稠密地图点及其对应语义的三维地图。所述语义约束的意义在于，大多数情况下对像素点空间位置的识别是通过该像素点的特征，如ORB特征进行确定的，然而因为光线角度等因素，图像中位于同一空间平面内的像素点的特征同样具有差异。因此，本发明提出了通过语义进行约束，将如地面区域中特征点所对应的三维点约束到同一个三维平面中，从而构建更加准确的三维地图。通过这种方式可以是机器得到对场景的高层认知信息，为包括机器人导航、增强现实和自动驾驶在内的应用领域提供更加自然的人机交互方式。

上述语义地图构建过程中涉及到的对关键帧的处理如图2所示。

图2所示，为根据本发明实施方式的基于语义约束的视觉SLAM方法中对关键帧的处理流程图。其中，对关键帧的处理包括：判断为关键帧，并对关键帧进行图像级的语义分割；选取获得分割图形中识别为地面区域的三维点；根据所述三维点，通过随机抽样一致算法获得最优平面参数；进而选取所述地面区域中的特征点所对应的三维点与所述最优平面参数进行拟合获得约束点，从而获得语义地图中地面区域的三维地图点；之后，根据每次检测到的关键帧对所述最优平面参数、三维点以及约束点进行捆绑更新。

在语义地图的构建及更新过程中，深度相机实时根据图像序列中的非关键帧以及构建的语义地图中地面区域的约束点进行着姿态估算。其中，深度相机的位姿可以表示为从局部到全局坐标系的三维变换矩阵T_wc，或从全局到局部坐标系的变换矩阵T_cw，二者间存在互为逆变换的关系。

其中，角标C表示局部、角标W表示全局，设三维空间点X＝[X,Y,Z]^T。平面向量为π＝(π₁,π₂,π₃,π₄)^T＝(n^T,d)^T，其中，n是平面的法向量，d是平面与世界坐标系原点的距离。通过所述位姿，即变换矩阵T_wc，一个局部坐标点X_c可以通过X_w＝T_wcX_c转换到全局坐标系中。同样，也可以完成局部平面到全局坐标平面的转换

这里X实际上应为[X,Y,Z,1]^T形式的齐次坐标，但为了表述的简便，本文中不再区分X和它的齐次坐标，其根据计算需要自动进行转化。因此，对深度相机位姿的估计关键在于求取转换矩阵T_wc或T_cw。对于转换矩阵的求取，本发明中通过构建能量函数从而求解能量函数的方式获得转换矩阵。此外本发明考虑了获取的图像中纹理特征充足和纹理特征稀疏两种情况。当纹理特征充足时，对深度相机的位姿进行估计包括：对所述图像序列的非关键帧中的纹理特征进行识别，确定地面区域；提取所述地面区域中的特征点，并获得语义地图中约束点在该非关键帧中的投影点；利用最小二乘法根据所述特征点到所述投影点的欧氏距离构建第一能量函数；对所述第一能量函数求解从而对所述深度相机的位姿进行估计。其中，所述投影点和约束点的转换关系用公式可表示为：

其中，X_c为约束点、d_c为局部坐标系中的原点到局部平面的距离、

为当前所述特征点所在局部平面的法向量、K为标定矩阵、

为所述局部平面中的投影点的齐次坐标。其中，标定矩阵K具体表示为：

其中，f_x和f_y为在平面中x和y两个维度上的焦距，c_x和c_y为对应的光心坐标。而后，获得该三维地图点在当前帧中的投影点；并利用最小二乘法根据所述特征点到所述投影点的欧氏距离构建第一能量函数：

其中，π(KT_cwX_w)表示投影点，其中，K为标定矩阵，T_cw为转换矩阵、X_w为全局约束点，u为特征点。其中，特征点u是通过ORB特征描述子获得的ORB特征，所述ORB特征具有尺度、旋转、光照不变的特性。

上述位姿估计过程中，所述全局约束点在语义地图更新(关键帧更新)时被捆绑更新，进而再次通过公式(1)、公式(2)和公式(3)过程完成对深度相机的位姿修正。

由于视觉SLAM方法一般被用于机器人导航或增强现实和自动驾驶等场合，因此通过深度相机获得的图像中的纹理特征不是一成不变的，因此，本发明中还特别考虑到了纹理特征不足时的情况。当所述非关键帧中的缺少纹理特征时，由于无法通过纹理特征对地面区域进行识别。因此本发明提出了利用所述非关键帧中像素点的深度信息获得对应的三维点；根据所述三维点到当前语义地图中地面的距离(即约束点所组成的平面或最优平面参数)判断该像素点是否属于图像中的地面区域；对于判断属于地面区域的三维点，利用最小二乘法根据所述三维点到当前语义地图中地面的距离构建第二能量函数；其中，所述第二能量函数如下：

其中，

表示当前帧的三维地图点到语义地图地面的距离小于设定阈值的所有全局坐标系下的三维点，且有

其中，

为局部坐标系下的三维点；T_wc为转换矩阵。其中，

的Z向分量是可以直接从该帧对应的深度图上获取的。待求变量为转换矩阵T_wc可以被分解为3×3的旋转矩阵R和3×1的平移向量t。不同于第一能量函数的求解，由于在通过像素点的深度信息获得对应的三维点的过程中会引入深度图中的噪声，所以对第二能量函数的求解本发明通过如下所示的梯度下降法进行求偏导，从而用于对估计位姿时的位姿修正：

其中，λ_k是待求的参数，t作为迭代的步长。为了求解方便，待求变换中的R和t可以表示为：

t＝[t_x t_y t_z]^T (7)

其中q_x,q_y,q_z,q_w表示旋转四元数，t_x,t_y,t_z表示沿三个坐标轴的平移量。

对公式(4)中求和内部各项对待求参数的偏导可以表示为：

通过公式(6)和公式(7)，可将世界坐标系中的三维点对每个待求参数的偏导表示为当前相机坐标系中的三维点和当前位姿参数值的函数，如表1所示。

表1世界坐标系中的三维点对每个位姿参数的偏导

对于深度相机的位姿估计，本发明可以通过结合根据纹理特征丰富时和缺少纹理特征时两种情况下深度相机的位姿估计，并在缺少纹理特征时对位姿进行了修正，使得本发明对相机位姿的估计与传统位姿估计相比具有更高的精确度。当然，这种精度的提高也离不开语义地图中的约束点方面的改进。

如图3所示，为根据本发明实施方式的基于语义约束的视觉SLAM方法的工作流程图。其中，由于图像序列是通过深度相机获得的，因此本发明基于语义约束的视觉SLAM方法的输入为具有彩色和深度图信息的图像；所述每一非关键帧用于对深度相机位姿的估计或修正。通过每一关键帧的别***从而进行语义分割、语义点云的生成、三维地图点的更新、捆绑优化以及全局语义更新等过程，从而获得语义地图。其中，全局语义约束更新的同时将会同时对语义地图中地面区域的地图点更新和对相机的位姿进行修正。其中，语义分割前后的图像如图4所示。

如图4所示，为语义分割的效果示意图。左侧为输入图像，右侧为语义分割后的对应图像，识别为不同语义的区域将通过不同的颜色和其具体分割图形进行显示，本图中以不同灰度进行代替。

最后，需指出的是，上述关于本发明方法的介绍是针对于如室内地面等场景进行的，即在室内等场景中，地面为平面，则反过来通过语义“地面区域”约束该地面区域中的特征点在同一平面上是合理。但需强调的是，本发明方法不仅可用于约束地面区域，也可以很自然的推广到任意物体级的约束上，如在识别场景中具有球形物体，则当确定图像中该球形物体的所在区域时，该区域内的特征点也应该符合球形所对应的特征，如，当将该些特征点转换为三维点时，这些三维点应该具有到某一空间点的距离相等的特性。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种基于语义约束的视觉SLAM方法，其特征在于，包括：

通过深度相机连续采集周围环境图像序列；

对所述图像序列中的关键帧进行语义分割，并根据语义分割结果获得语义约束参数；

通过视觉SLAM方法处理语义分割结果，重建地图；

通过所述语义约束参数对所述重建地图进行语义约束，并融合语义分割结果获得语义地图；

所述根据语义分割结果获得语义约束参数包括：

获得关键帧中所有特征点的深度信息；

根据语义分割结果中的地面区域的多个特征点的深度信息获得对应所述多个特征点的多个三维点；

根据所述多个三维点，利用随机抽样一致算法获得最优平面参数；其中，

所述最优平面参数用作语义约束参数，并在每次检测到关键帧后更新所述语义约束参数；

所述通过语义约束参数对所述重建地图进行语义约束包括：

作所述重建地图中地面区域中的多个三维点到所述分割结果中的地面区域的多个特征点的连接直线，获得多个直线参数；

根据所述多个直线参数与所述最优平面参数获得多个交点，所述多个交点作为获得的约束点，从而对所述重建地图进行语义约束；其中，

所述约束点与所述语义约束参数捆绑更新。

2.根据权利要求1所述的基于语义约束的视觉SLAM方法，其特征在于，所述对关键帧进行语义分割包括：

根据关键帧中具体物体的纹理特征对图像进行分割，从而将一帧图像分割成多个区域并根据纹理特征识别对应区域的现实语义。

3.根据权利要求1所述的基于语义约束的视觉SLAM方法，其特征在于，所述获得语义地图包括：

将通过所述语义约束参数对所述重建地图进行语义约束获得的约束点与、语义分割结果中的多个区域的特征点所对应的三维点及其现实语义融合，从而获得语义地图。

4.根据权利要求1所述的基于语义约束的视觉SLAM方法，其特征在于，还包括：

通过对图像序列中的非关键帧的分析以及结合所述语义地图，对所述深度相机的位姿进行估计；其中，

对所述深度相机的位姿进行估计包括：根据纹理特征丰富的非关键帧的位姿估计和根据缺少纹理特征的非关键帧的位姿估计。

5.根据权利要求4所述的基于语义约束的视觉SLAM方法，其特征在于，所述根据纹理特征丰富的非关键帧的位姿估计包括：

对所述图像序列的非关键帧中的纹理特征进行识别，确定地面区域；

提取所述地面区域中的特征点，并获得语义地图中的约束点在该非关键帧中的投影点；

利用最小二乘法根据所述特征点到所述投影点的欧氏距离构建第一能量函数；

对所述第一能量函数求解从而对所述深度相机的位姿进行估计。

6.根据权利要求5所述的基于语义约束的视觉SLAM方法，其特征在于，所述对第一能量函数求解包括：

利用奇异值分解法对所述第一能量函数进行求解，获得变换矩阵；其中，

所述变换矩阵用于深度相机的位姿估计。

7.根据权利要求4所述的基于语义约束的视觉SLAM方法，其特征在于，所述对缺少纹理特征的非关键帧的位姿估计包括：

利用所述非关键帧中像素点的深度信息获得对应的三维点；

根据所述三维点到当前语义地图中约束点所组成平面的距离判断该像素点是否属于图像中的地面区域；

对于判断属于地面区域的三维点，利用最小二乘法根据所述三维点到当前语义地图中约束点所组成平面的距离构建第二能量函数；

对所述第二能量函数求解从而对所述深度相机的位姿进行估计。

8.根据权利要求7所述的基于语义约束的视觉SLAM方法，其特征在于，所述对第二能量函数求解包括：

将所述第二能量函数中的变换矩阵分解为旋转矩阵和平移向量；

利用梯度下降算法对所述旋转矩阵和平移向量中的待求参数求偏导；其中，所述待求参数的偏导用于深度相机的位姿估计。

Images