CN110220517A - 一种结合环境语意的室内机器人鲁棒slam方法 - Google Patents

Abstract

本发明提供了一种结合环境语意的室内机器人鲁棒slam方法，包括GPS全球信号、IMU惯性测量单元信号和激光雷达信号融合的室内机器人的定位；雷达数据图像数据、雷达传感器校准的外部参数、前置摄像头校准的外在和内在参数、主机的速度和角速度融合的室内机器人的感知；dreamview模块的NavigationInfo、来自感知模块的LaneMarker、定位模块的定位信息的融合的室内机器人的语义地图；障碍物信息、车辆状态、交通信号灯和地图信息融合的室内机器人的决策；以及定位、感知、预测、路由和地图融合的室内机器人的路径规划。本发明使得机器人在环境中运动和决策中对环境更加鲁棒。

Description

一种结合环境语意的室内机器人鲁棒slam方法

技术领域

本发明属于计算机视觉技术领域，尤其是涉及一种结合环境语意的室内机器人鲁棒slam方法。

背景技术

随着人工智能技术、尤其是强智能的迅速发展，机器人应用场景已经从极端环境和工业应用场景逐步转向为与人类密切互动的室内工作场景。基于此，我们对于机器人的设计和使用逐步从功能性向鲁棒性逐渐转移，但是现有的室内机器人在简单的环境中满足室内高精定位和导航的需求，但是一旦环境发生变化或者高噪音，机器人视觉就会产生不同尺度下的累积误差，这对于机器人的导航是非常不利的；此外，走进人类社会的室内机器人还不能读懂环境信息因此完成指定任务还需要后续路径规划的支持，还不能称之为真正的“强”智能.

物流机器人可以在室内完成智能化仓储和自动化物流，但是往往由于密封仓储环境往往以白色背景为主、严重缺少纹理特征，这会给机器人在导航时造成尺度信息丢失而破坏视觉里程计的定位精度；而本发明正是将环境语意融入到地图、使用势场引导等优化手段获取一种能读懂环境地图的鲁棒slam方法。

发明内容

有鉴于此，本发明旨在提出一种结合环境语意的室内机器人鲁棒slam方法，以解决上述背景技术中提到的问题。

为达到上述目的，本发明的技术方案是这样实现的：

一种结合环境语意的室内机器人鲁棒slam方法，包括

GPS全球信号、IMU惯性测量单元信号和激光雷达信号融合的室内机器

人的定位；

雷达数据图像数据、雷达传感器校准的外部参数、前置摄像头校准的外在和内在参数、主机的速度和角速度融合的室内机器人的感知；

dreamview模块的NavigationInfo、来自感知模块的LaneMarker、定位模块的定位信息的融合的室内机器人的语义地图；

障碍物信息、车辆状态、交通信号灯和地图信息融合的室内机器人的决策；

以及定位、感知、预测、路由和地图融合的室内机器人的路径规划；

室内机器人的定位、室内机器人的感知、室内机器人的语义地图、室内机器人的决策的输出输入到室内机器人的路径规划中进行路径规划得出运动轨迹，底层控制端根据路径规划发出控制命令。

进一步的，所述室内机器人的定位中利用全球GPS全球定位信号附加IMU惯性单元作为激光雷达的先验信息。

进一步的，所述室内机器人的语义地图包括：

(1)数据采集：使用激光雷达采集全景影像数据、厘米级高精度GPS数据和扫描路段的路面景象数据；

(2)数据预处理：将采集到的数据进行数据抽稀和数据分区处理，得到可以进一步处理的数据格式；

(3)高精度地图矢量化：根据上一步得到的数据提取车道线和道路轮廓线；

(4)车道中心线生成：首先进行车道中心线提取，然后进行数据合并，最后进行车道中心线的格式转换；

(5)生成有序的拓扑结构：首先进行人工判读、然后进行程序控制，生成发布版本的高精度地图；

(6)地图品质检验：使用计算机程序对于地图的视觉效果、地图的逻辑和精度急性验证，以生成最终版本的高精度地图。

进一步的，所述室内机器人的决策包括

(1)使用地图中定位的amcl包：2D中移动的概率定位，在ROS中配置总体过滤器，激光模型和里程计模型参数，输入激光扫描数据、tf转换和粒子滤波器的平均值和协方差，输出地图中室内机器人的估计姿态，实现从基本帧到里程碑帧再到地图帧的变换；

(2)使用激光雷达、深度摄像机绘制地图的gmapping包：通过sensor_msgs/LaserScan获取数据并创建2D栅格地图，输入激光器扫描数据和激光器坐标系、基座坐标系、里程计坐标系之间转换，周期性的发布地图元数据和地图信息；

(3)使用移动到目标位置的move_base包：实现对室内机器人路径的规划和智能避障，通过多次的学习可以自主选择出最优路径。

进一步的，所述室内机器人的路径规划采用lattice的改进算法，具体包括

(1)横向和纵向分别撒点，根据实时的决策目标，在车辆的状态空间内取不同的终点。用高阶曲线链接起点和不同状态的终点；

(2)根据体感，是否达到终点状态等，对于横向和纵向的曲线assign不同的cost；

(3)最终输出满足车辆动力学和安全、体感条件的最优解。

相对于现有技术，本发明所述的一种结合环境语意的室内机器人鲁棒slam方法具有以下优势：

(1)对于在少纹理、低对比度的室内环境下依然可以使用本发明提出的定位方法，使用势场视觉里程计方法可以有效提升室内机器人对无特征环境的鲁棒性；

(2)使用定位、感知、预测、地图、路径规划和底层控制模块使得室内机器人能够感知周围环境的含义，为机器人高效决策和路径规划提供更加丰富的先验信息。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例所述的一种结合环境语意的室内机器人鲁棒slam方法总体流程示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面将参考附图并结合实施例来详细说明本发明。

如图1所示，本发明提供一种结合环境语意的室内机器人鲁棒slam方法，包括如下步骤：

1、室内机器人的定位：使用GPS全球信号、IMU惯性测量单元信号和激光雷达信号作为原始的输入信号、使用先验输入和观测矫正的方法来使得室内机器人定位更加精准并且鲁棒。

为了消除机器人在室内拐角处存在着非直角拐弯时造成的定位误差，而且这种定位误差是累积积累的，越到后面的路段误差将会越加被放大，本发明的室内机器人鲁棒定位技术采用多线激光传感器全局定位+IMU局部修正的策略进行定位，同时将全球GPS全球定位信号附加IMU惯性单元作为激光雷达的先验信息，使用先验输入和观测矫正的方法来使得室内机器人定位更加精准并且鲁棒。

2、室内机器人的感知：本发明设计了以雷达数据图像数据、雷达传感器校准的外部参数、前置摄像头校准的外在和内在参数、主机的速度和角速度作为输入数据；以3D障碍跟踪航向，速度和分类信息；折线或多项式曲线；车道类型按位置：L1(左下车道线)，L0(左车道线)，R0(右车道线)，R1(右下车道线)作为输出数据，得到机器人对于外界环境的感知。

3、室内机器人的语义地图：输入是来自dreamview模块的NavigationInfo；来自感知模块的LaneMarker；定位模块的定位信息，借助机器人建立的栅格地图来获取基于地图的路径规划导航信息。具体包括：

数据采集：使用激光雷达采集全景影像数据、厘米级高精度GPS数据和扫描路段的路面景象数据。

数据预处理：将采集到的数据进行数据抽稀和数据分区处理，得到可以进一步处理的数据格式。

高精度地图矢量化：主要根据上一步得到的数据进行车道线提取和道路轮廓线的提取。

车道中心线生成：首先进行车道中心线提取，然后进行数据合并，最后进行车道中心线的格式转换。

生成有序的拓扑结构：首先进行人工判读、然后进行程序控制，生成发布版本的高精度地图。

地图品质检验：主要涉及使用计算机程序对于地图的视觉效果、地图的逻辑和精度急性验证，以生成最终版本的高精度地图。

4、室内机器人的决策：输入是障碍物信息、车辆状态、交通信号灯和地图信息，输出了在超车、尾随、避让等状态下针对车辆的控制信息、预测的障碍，针对障碍物而发出的控制信息。具体包括如下：

(a)使用地图中定位的amcl(自适应蒙特卡洛定位)包：2D中移动的概率定位，在ROS中配置总体过滤器，激光模型和里程计模型参数，输入激光扫描数据、tf转换和粒子滤波器的平均值和协方差，输出地图中室内机器人的估计姿态，实现从基本帧到里程碑帧再到地图帧的变换。

(b)使用激光雷达、深度摄像机绘制地图的gmapping包：通过sensor_msgs/LaserScan获取数据并创建2D栅格地图，输入激光器扫描数据和激光器坐标系、基座坐标系、里程计坐标系之间转换，周期性的发布地图元数据和地图信息。

(c)使用移动到目标位置的move_base包：实现对室内机器人路径的规划和智能避障，通过多次的学习可以自主选择出最优路径。

5、室内机器人的路径规划：输入是定位、感知、预测、路由和地图，输出是一种无碰撞且舒适的轨迹。室内机器人路径规划采用lattice的改进算法，主要步骤如下：

a)横向和纵向分别撒点(共6个参数：三个横向参数、三个纵向参数，具有关联速度和时间戳)，根据实时的决策目标，比如跟车或者停止，在车辆的状态空间内取不同的终点。用高阶曲线链接起点和不同状态的终点。

b)根据体感，是否达到终点状态等，对于横向和纵向的曲线assign不同的cost。

c)将横纵向的曲线bundle起来形成最终的曲线，之后根据曲线bundle后的cost，从小到大排序，再检查bundler后的曲线是否符合各种gometry constraint和通过collision check。

d)最终输出满足车辆动力学和安全、体感条件的最优解。

室内机器人路径规划在算法的实施上主要有以下几个步骤：

1、获取一个reference line并将其转换为PathPoint格式

2、在得到的reference line中计算初始化规划点的匹配点

3、根据计算得到的匹配点，计算Frenet frame的初始状态信息(主要是指ptr_prediction_querier)

4、解析决策并获取规划目标：获取ptr_path_time_graph，通过reference_line_info->planning_target()得到规划目标。

5、分别生成纵向和横向的一维路径束：

6、根据动态约束评估一维路径的可行性，并评估可行的纵向和横向路径、按成本排序。

7、获取最佳的路径束组合，并返回第一个完全避障无碰撞的路径。

1)分是否是auto_tuning两种情况分别生成trajectory_pair_cost；

2)将两个1维路径合并为一个二维的路径；

3)在考虑路径曲率情况下分别计算纵向和横向加速度，调用ConstraintChecker::ValidTrajectory做出限制性检查，对各类车辆物理指标的失败分别作以统计；

4)对车辆与障碍物是否碰撞做出检查，不碰撞的情形则碰撞失败计数+1；

5)将二维路径导入到调试数据：通过reference_line_info->SetTrajectory、reference_line_info->SetCost和reference_line_info->SetDrivable，更新调试数据；

6)auto_tuning生成路径

i)从Localization获得未来路径:

iscretizedTrajectory future_trajectory＝GetFutureTrajectory()；

ii)映射现有的经纬度路径到未来的路径对：

MapFutureTrajectoryToSL(future_trajectory,

*ptr_reference_line,

&lon_future_trajectory,&lat_future_trajectory)

iii)计算未来路径对的消耗：

trajectory_evaluator.EvaluateDiscreteTrajectory(planning_targ

et,

lon_future_trajectory,lat_future_trajectory,&future_traj_comp

onent_cost；

iv)将auto_tuning_data拷贝到planning_internal::PlanningData

v)生成路径消耗和二维路径点：通过reference_line_info->PriorityCost()、combined_trajectory_points[i]生成；

vi)如果num_lattice_traj大于0，则规划成功路径数+1，否则进入备份规划路径(FLAGS_enable_backup_trajectory＝true)或者提示无规划路径。

本发明设计了室内机器人定位、感知、预测、地图、路径规划和底层控制模块的崭新架构，结合多传感器融合、预测和路径规划的算法步骤，使得机器人在环境中运动和决策中对环境更加鲁棒。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种结合环境语意的室内机器人鲁棒slam方法，其特征在于：包括

GPS全球信号、IMU惯性测量单元信号和激光雷达信号融合的室内机器人的定位；

雷达数据图像数据、雷达传感器校准的外部参数、前置摄像头校准的外在和内在参数、主机的速度和角速度融合的室内机器人的感知；

dreamview模块的Naviga室内机器人的定位tionInfo、来自感知模块的LaneMarker、定位模块的定位信息的融合的室内机器人的语义地图；

障碍物信息、车辆状态、交通信号灯和地图信息融合的室内机器人的决策；

以及定位、感知、预测、路由和地图融合的室内机器人的路径规划；

室内机器人的定位、室内机器人的感知、室内机器人的语义地图、室内机器人的决策的输出输入到室内机器人的路径规划中进行路径规划得出运动轨迹，底层控制端根据路径规划发出控制命令。

2.根据权利要求1所述的一种结合环境语意的室内机器人鲁棒slam方法，其特征在于：所述室内机器人的定位中利用全球GPS全球定位信号附加IMU惯性单元作为激光雷达的先验信息。

3.根据权利要求1所述的一种结合环境语意的室内机器人鲁棒slam方法，其特征在于：所述室内机器人的语义地图包括：

(1)数据采集：使用激光雷达采集全景影像数据、厘米级高精度GPS数据和扫描路段的路面景象数据；

(2)数据预处理：将采集到的数据进行数据抽稀和数据分区处理，得到可以进一步处理的数据格式；

(3)高精度地图矢量化：根据上一步得到的数据提取车道线和道路轮廓线；

(4)车道中心线生成：首先进行车道中心线提取，然后进行数据合并，最后进行车道中心线的格式转换；

(5)生成有序的拓扑结构：首先进行人工判读、然后进行程序控制，生成发布版本的高精度地图；

(6)地图品质检验：使用计算机程序对于地图的视觉效果、地图的逻辑和精度急性验证，以生成最终版本的高精度地图。

4.根据权利要求1所述的一种结合环境语意的室内机器人鲁棒slam方法，其特征在于：所述室内机器人的决策包括

(1)使用地图中定位的amcl包：2D中移动的概率定位，在ROS中配置总体过滤器，激光模型和里程计模型参数，输入激光扫描数据、tf转换和粒子滤波器的平均值和协方差，输出地图中室内机器人的估计姿态，实现从基本帧到里程碑帧再到地图帧的变换；

(2)使用激光雷达、深度摄像机绘制地图的gmapping包：通过sensor_msgs/LaserScan获取数据并创建2D栅格地图，输入激光器扫描数据和激光器坐标系、基座坐标系、里程计坐标系之间转换，周期性的发布地图元数据和地图信息；

(3)使用移动到目标位置的move_base包：实现对室内机器人路径的规划和智能避障，通过多次的学习可以自主选择出最优路径。

5.根据权利要求1所述的一种结合环境语意的室内机器人鲁棒slam方法，其特征在于：所述室内机器人的路径规划采用lattice的改进算法，具体包括

(1)横向和纵向分别撒点，根据实时的决策目标，在车辆的状态空间内取不同的终点，用高阶曲线链接起点和不同状态的终点；

(2)根据体感，是否达到终点状态等，对于横向和纵向的曲线assign不同的cost；

(3)最终输出满足车辆动力学和安全、体感条件的最优解。