CN112712107B - 一种基于优化的视觉和激光slam融合定位方法 - Google Patents

Abstract

本发明公开了一种基于优化的视觉和激光SLAM融合定位方法，首先分别获取视觉SLAM模块前端视觉惯性里程计与激光SLAM模块粒子滤波定位算法得到的定位估计结果，对粒子的分布进行近似高斯估计，然后根据定位时间差值对视觉SLAM模块进行补正，根据设定的目标函数和补正后高斯参数计算最优融合系数，得到最终的融合结果。本发明融合了两种相对独立且精准度较高的定位方法，使定位***在一种方法失效情况下仍能正常工作，同时提高了精准度，最后对融合方法的改进也提高了***的实时性。

Description

一种基于优化的视觉和激光SLAM融合定位方法

技术领域

本发明属于移动机器人定位技术领域，具体涉及一种基于优化的视觉和激光SLAM融合定位方法。

背景技术

定位问题始终是移动机器人领域的核心问题之一，定位结果的准确度对移动机器人后续的规划和控制等模块有很大的影响。目前移动机器人的定位方法有很多，如视觉系列方法、激光雷达系列方法、RFID系列方法、GPS系列方法和路标点(Landmark)系列方法等。改善定位效果的方法主要有两种：使用更高精度传感器和改进定位算法，然而高精度传感器往往价格昂贵，且价格与精度的性价比随着精度提高迅速降低，因此对定位算法的改进在实际场景中应用较为广泛。

现阶段定位算法改进集中在两个方向：一种是依赖高速发展的硬件平台运行高计算复杂度的高精度定位方法，特点是计算量大，使用的方法在几年前的硬件平台很难满足实时性，但近几年随着硬件技术飞快发展，这类方法的优势逐渐明显，如SLAM(Simultaneous Localization And Mapping，即时定位与地图构建)后端的处理方法从扩展卡尔曼滤波发展为图优化；另一种是利用不同的传感器之间的特性，优势互补，融合测量数据得到更加精准的定位效果，如视觉和激光SLAM中常常使用IMU(Inertial MeasurementUnit，惯性测量单元)的数据得到定位预测值，通过卡尔曼滤波得到融合的定位结果。

现有的定位融合方法大多基于卡尔曼滤波及其变种，公开号为CN107289933B的中国专利提出了一种融合MEMS传感器和VLC传感器的定位方法，该方法通过MEMS传感器得到PDR定位结果，通过VLC定位模块得到VLC定位结果，通过定位卡尔曼滤波器融合两种定位结果，得到最终定位信息。但实际上价格适中的MEMS传感器往往零飘和测量精准度很差，这会导致PDR的定位精度较差，定位效果仍然很大程度上取决于VLC定位方法。公开号为CN105737832B的中国专利介绍了一种利用分布式结构将整个状态向量分为机器人位姿估计和路标估计五维状态分布化处理再进行融合的定位方法，该方法依据每个有效路标点单独建立多个相互平行的子滤波器，然后将子滤波器的机器人位姿估计结果在主滤波器中进行融合，并将子滤波器的融合结果通过全局预测器反馈修正，最后得到全局最优的机器人位姿估计结果；但是该专利技术中的子滤波器使用扩展卡尔曼滤波，主滤波器将子滤波器的估计结果加权平均得到最优估计值，但并未说明如何得到子滤波器的权值系数。

发明内容

鉴于上述，本发明提出了一种基于优化的视觉和激光SLAM融合定位方法，融合了两种相对独立且精准度较高的定位方法，使定位***在一种方法失效情况下仍能正常工作，同时提高了精准度，最后对融合方法的改进也提高了***的实时性。

一种基于优化的视觉和激光SLAM融合定位方法，包括如下步骤：

(1)获取视觉SLAM模块通过定位计算得到的机器人位置估计结果X及其高斯参数；

(2)获取激光SLAM模块通过粒子滤波定位算法得到的机器人位置估计结果Y；

(3)对激光SLAM模块计算过程中的粒子分布结果进行近似高斯处理，计算得到位置估计结果Y的高斯参数；

(4)利用两个模块定位输出的时间差对位置估计结果X及其高斯参数进行时间修正；

(5)根据上述信息建立目标函数，优化求解出其中的最优融合系数α；

(6)根据最优融合系数α通过融合函数计算出融合后最优的机器人位置估计结果Z。

进一步地，所述视觉SLAM模块在定位计算过程中融合了IMU数据。

进一步地，所述视觉SLAM模块前端使用特征法，根据对极约束求解相机运动并作为观测结果，进而使用IMU和轮速计根据机器人运动模型得到预测结果，之后使用扩展卡尔曼滤波得到机器人的位置估计结果X及其高斯参数。

进一步地，所述目标函数的表达式如下：

其中：m和n为中间变量，f(m,n)为关于m和n的目标函数，n＝(1-α)²，m＝α²，σ_x1为机器人位置估计结果X的x轴分量的标准差，σ_x2为机器人位置估计结果X的y轴分量的标准差，ρ_x为机器人位置估计结果X的协方差，σ_y1为机器人位置估计结果Y的x轴分量的标准差，σ_y2为机器人位置估计结果Y的y轴分量的标准差，ρ_y为机器人位置估计结果Y的协方差。

进一步地，所述步骤(5)在优化求解过程中需满足以下约束条件：

其中：m和n为中间变量，n＝(1-α)²，m＝α²。

进一步地，所述步骤(6)通过以下融合函数计算出融合后最优的机器人位置估计结果Z；

其中：m和n为中间变量，n＝(1-α)²，m＝α²。

本发明SLAM融合定位方法所使用的视觉SLAM模块前端使用特征点或路标点匹配，与IMU和轮速编码器通过扩展卡尔曼滤波融合作为VIO(visual-inertial odometry，视觉惯性里程计)；激光SLAM模块使用粒子滤波(particle filter)得到位置估计，根据粒子权重计算近似的高斯分布协方差矩阵，最后视觉和激光SLAM模块得到的位置估计结果和协方差矩阵输入到定位融合模块根据目标函数优化计算两种定位方法的权值系数，得到融合的最优位置估计结果；机器人的朝向角度估计不经过融合模块，直接根据视觉SLAM方法得出。

与现有技术相比较，本发明具有以下有益技术效果：

1.定位精准度更高；本发明融合了两种较高精度定位方法而非使用IMU或MEMS直接位置估计等低精度方法，得到了更加精准的融合定位结果。

2.具有更强的鲁棒性；本发明当一种定位模块失效时，定位融合结果精准度不会低于另一个定位模块；

3.时间复杂度低。本发明融合方法基于优化而非卡尔曼滤波，融合结果由迭代或解析方式得出，在状态数较少时相比卡尔曼滤波矩阵乘法和求逆运算时间复杂度更低。

附图说明

图1为本发明SLAM融合定位方法的***实现框架示意图。

图2为本发明融合模块的执行流程示意图。

图3为在两种定位精度差距较大情况下本发明的融合效果对比示意图。

图4为在两种定位精度基本相同情况下本发明的融合效果对比示意图。

图5为在一种定位失效情况下本发明的融合效果对比示意图。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。

视觉里程计的主要问题是如何根据摄像头采集的相邻帧图像估计相机的运动状态。对于特征点方法，本发明首先需要对图像进行特征点提取，之后再对比两幅图像相应特征点的变化；对于路标点方法，则可以直接将路标点作为特征点。两种方法的本质都是寻找地图坐标系下的位置不变特征，设图像中共同的特征有N个，用y_i(i＝1,2,…,N)表示，***在k时刻的状态为x_k，观测噪声ε_i,k服从高斯分布，则***的观测方程为：

z_k＝h(y_i,x_k)+ε_i,k (1)

其中抽象函数h是***状态和特征到观测结果的映射，与相机模型有关。根据轮速计和IMU的测量值u_k可以根据k-1时刻的***状态推算出k时刻的***状态，即***的运动方程为：

x_k＝g(x_k-1,u_k)+δ_k (2)

其中：抽象函数g描述了运动模型，δ_k为***噪声，服从高斯分布。

由于***的观测模型和运动模型是非线性的，因此使用扩展卡尔曼滤波方法进行状态估计，设观测模型和运动模型在k时刻的Jacobi矩阵分别为H_k和G_k，观测噪声ε_i,k～N(0,R_k)，***噪声δ_k～N(0,Q_k)，则状态估计的期望值和协方差预测量为：

卡尔曼增益为：

最后根据摄像头的观测更新状态估计的期望值和协方差矩阵如下：

在平面运动中，机器人的位姿状态由二维位置坐标和偏航角表示，***状态x_k＝[x y θ]^T，至此得到视觉SLAM模块的定位估计及其协方差矩阵。

本发明方法中激光SLAM使用通用的粒子滤波方法进行定位估计，粒子滤波的结果是一组离散的状态估计样本集及其对应置信度，但后续的优化算法需要连续的置信度估计，本发明方法根据粒子权重计算高斯近似，具体步骤如下：

粒子滤波器的粒子数量为N，在k时刻输出状态样本集x_k,i(i＝1,2,…,N)，对应的粒子归一化权重为w_i(i＝1,2,…,N)，则高斯近似的均值为：

协方差矩阵为：

由于只对激光SLAM模块的位置估计进行融合，因此只计算位置坐标的高斯近似，至此得到激光SLAM模块的位置估计及其协方差矩阵。

激光SLAM模块的定位频率约为10Hz，在得到激光定位结果分布的高斯近似后，对视觉SLAM模块状态估计均值和协方差根据式(3)和式(4)进行时差补正，得到当前时刻的位置估计。为了方便讨论，设视觉和激光SLAM的位置估计为分别随机变量X＝[x₁ x₂]^T和Y＝[y₁ y₂]^T，且均服从以下二维高斯分布：

Z为融合后的位置估计，即：

Z＝αX+(1-α)Y (10)

式中α为融合系数，Z服从以下高斯分布：

二维高斯分布中，标准差椭圆的面积反映了随机变量的分布集中度，在定位问题中，我们希望位置估计结果尽可能集中在期望值附近；误差椭圆面积S与随机变量Z协方差矩阵的关系为：

其中：

Z的协方差矩阵元素值分别为：

ρ_z＝E(Z₁Z₂)-p_xp_y

其中：

E(Z₁Z₂)＝α²E(X₁X₂)+α(1-α)E(X₁Y₂)+α(1-α)E(X₂Y₁)+(1-α)²(Y₁Y₂)

由于摄像头、IMU和激光雷达高斯噪声的独立性，则：

E(X₁Y₂)＝E(X₂Y₁)＝Cov(X₁，Y₂)+EX₁EY₂＝pxp_y

且：

E(X₁X₂)＝ρ_x+p_xp_y

E(Y₁Y₂)＝ρ_y+p_xp_y

所以：

ρ_z＝α²ρ_x+(1-α)²ρ_y

设m＝α²，n＝(1-α)²，优化的目标函数为：

约束条件为：

最后通过拉格朗日乘数法等优化方法求得m和n，融合结果为：

理论和实践证明，融合之后的定位误差精准度均比融合前的精准度高。

图1给出了本发明方法的***实现框架，IMU集成了加速度计、陀螺仪和磁力计，测量数据输出频率100Hz；加速度计积分得到的速度测量结果不够准确，本发明使用轮速计模块计算速度，轮速计使用光电式旋转编码器，速度计算结果输出频率100Hz。视觉SLAM模块的前端部分使用特征法，特征可以是ORB等特征提取算法提取的特征点，也可以是色块之类的路标点之后使用扩展卡尔曼滤波算法与IMU和轮速计的测量结果融合，得到位置估计和协方差矩阵，视觉SLAM模块的定位频率为30Hz。激光SLAM模块使用IMU和轮速计进行初始位姿估计，目的是减少粒子收敛时间，之后通过粒子滤波定位算法得到位置估计和一组粒子权重，激光SLAM的定位频率为10Hz。粒子的权重分布反映了位置的概率分布，对粒子的权重分布进行近似高斯处理，得到高斯分布表示的位置概率分布，之后将两个模块的位置估计和高斯参数输入到融合模块。

图2为融合模块的执行流程，经过对位置估计的处理，得到了两组服从高斯分布的位置概率分布，视觉SLAM模块的位置输出记为随机变量X，激光SLAM模块的位置输出记为随机变量Y。融合模块在得到激光SLAM的位置估计结果之后进行融合处理，但是由于两个定位模块的计算结果并不会同时输出，所以需要对视觉SLAM位置估计结果根据运动模型和IMU、轮速计数据进行时差补正得到当前时刻的位置估计及高斯参数。融合模块使用了线型融合函数Z＝αX+(1-α)Y，目标是减小融合结果的不确定度。融合模块采用优化的方式求解融合系数，根据融合系数输出最后的定位结果。

图3、图4和图5是本发明***在不同情况下的定位融合效果对比。第一排第二列图片的点表示了视觉SLAM得到的位置分布，第二排第一列图片的点表示了激光SLAM得到的位置分布，第二排第二列图片的点表示了融合后的位置分布，第一排第一列图片表示了三种位置分布结果的对比，椭圆A、B、C分别为视觉SLAM、激光SLAM和融合后的定位位置分布。图3是两种定位精度相差较大的情况，融合后的结果稍优于激光SLAM的效果；图4是两种定位精度相近的情况，融合后的结果明显优于未融合前的效果；图5是一种定位模块失效的情况，融合后的结果基本与正常工作的定位方法相同。

以上所述的具体实施方式对本发明的技术方案和效果进行了详尽说明，目的是便于本领域的技术人员能够理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。

Claims (3)

1.一种基于优化的视觉和激光SLAM融合定位方法，包括如下步骤：

(1)获取视觉SLAM模块通过定位计算得到的机器人位置估计结果X及其高斯参数；

所述视觉SLAM模块在定位计算过程中融合了IMU数据，视觉SLAM模块前端使用特征法，根据对极约束求解相机运动并作为观测结果，进而使用IMU和轮速计根据机器人运动模型得到预测结果，之后使用扩展卡尔曼滤波得到机器人的位置估计结果X及其高斯参数；

(2)获取激光SLAM模块通过粒子滤波定位算法得到的机器人位置估计结果Y；

(3)对激光SLAM模块计算过程中的粒子分布结果进行近似高斯处理，计算得到位置估计结果Y的高斯参数；

(4)利用两个模块定位输出的时间差对位置估计结果X及其高斯参数进行时间修正；

(5)根据上述信息建立以下目标函数，优化求解出其中的最优融合系数α；

其中：m和n为中间变量，f(m,n)为关于m和n的目标函数，n＝(1-α)²，m＝α²，σ_x1为机器人位置估计结果X的x轴分量的标准差，σ_x2为机器人位置估计结果X的y轴分量的标准差，ρ_x为机器人位置估计结果X的协方差，σ_y1为机器人位置估计结果Y的x轴分量的标准差，σ_y2为机器人位置估计结果Y的y轴分量的标准差，ρ_y为机器人位置估计结果Y的协方差；

优化求解过程中需满足以下约束条件：

(6)根据最优融合系数α通过融合函数计算出融合后最优的机器人位置估计结果Z。

2.根据权利要求1所述基于优化的视觉和激光SLAM融合定位方法，其特征在于：所述步骤(6)通过以下融合函数计算出融合后最优的机器人位置估计结果Z；

3.根据权利要求1所述基于优化的视觉和激光SLAM融合定位方法，其特征在于：该融合定位方法所使用的视觉SLAM模块前端使用特征点或路标点匹配，与IMU和轮速编码器通过扩展卡尔曼滤波融合作为视觉惯性里程计；激光SLAM模块使用粒子滤波得到位置估计，根据粒子权重计算近似的高斯分布协方差矩阵，最后视觉和激光SLAM模块得到的位置估计结果和协方差矩阵输入到定位融合模块根据目标函数优化计算两种定位方法的权值系数，得到融合的最优位置估计结果；机器人的朝向角度估计不经过融合模块，直接根据视觉SLAM方法得出。

Images