CN113804182B - 一种基于信息融合的栅格地图创建方法 - Google Patents

Abstract

本发明涉及一种基于信息融合的栅格地图创建方法，属于室内移动机器人建图领域，包括以下步骤：S1：利用移动机器人平台获取激光与图像数据；S2：利用tiny‑yolov4获取物体类别标签信息及深度图像；S3：利用坐标转换关系将物体的类别标签对应的像素坐标转换到激光坐标系；S4：根据步骤S3的映射的坐标点，对激光点云数据进行拟合；S5：根据步骤S4的拟合结果，进行点云数据分类与标识，将动态的激光点云数据滤除；S6：利用滤除后的点云数据创建二维栅格地图。本方法提高了地图的鲁棒性，在地图里标注出语义标签，提高机器人对环境的感知能力和在复杂环境下的定位能力。

Description

一种基于信息融合的栅格地图创建方法

技术领域

本发明属于室内移动机器人建图、语义理解、去障领域，涉及一种基于信息融合的栅格地图创建方法。

背景技术

随着科学技术的发展，移动机器人也迎来了重大的发展，并且在商业和工业中的应用也越来越广泛。对于移动机器人定位与建图的关键问题，SLAM技术是目前最有潜力的解决方案。SLAM即同时定位与建图，解决机器人在一个未知环境中的定位、建图问题。目前SLAM技术已经大量使用，比如室内场景扫地机器人、物流仓储AGV机器人等，室外场景无人机导航、无人驾驶车以及无人驾驶船等。

如今，SLAM技术已经广泛的运用到服务业、工业等，但传统的SLAM技术暴露出来一些弊端。基于激光传感器的激光SLAM，激光雷达距离测量精度高，数据用于构建的地图精度也高；激光与纯视觉相比，在建图阶段耗费的计算资源更少、对硬件的要求更低等特点，因此，激光SLAM是当下的主流解决方案。然而，激光雷达构建的栅格地图信息量单一，对环境感知能力相对较弱；另一方面激光雷达构建的栅格地图包含动态障碍物，降低了地图的真实度和地图的鲁棒性，而且单一的激光轮廓信息构建的占据栅格地图，面对机器人在大场景下的定位效果差等问题。最近几年，随着深度学习的快速发展，SLAM也引入相关的技术，开始试探与目标识别等结合。

发明内容

有鉴于此，本发明的目的在于提供一种基于信息融合的栅格地图创建方法拟提出结合深度学习技术，一是除去动态的雷达数据噪点，提高地图的鲁棒性；二是标注出语义标签信息，丰富占据栅格的环境信息，提高机器人对环境的感知能力；三是根据语义栅格地图提高机器人在大环境下的定位能力。

为达到上述目的，本发明提供如下技术方案：

一种基于信息融合的栅格地图创建方法，包括以下步骤：

S1：利用移动机器人平台获取激光与图像数据；

S2：利用tiny-yolov4获取物体类别标签信息及深度图像；

S3：利用坐标转换关系将物体的类别标签对应的像素坐标转换到激光坐标系；

S4：根据步骤S3的映射的坐标点，对激光点云数据进行拟合。

S5：根据步骤S4的拟合结果，进行点云数据分类与标识，将动态的激光点云数据滤除。

S6：利用滤除后的点云数据创建二维栅格地图。

进一步，所述步骤S1具体包括以下步骤：

S11：搭建移动机器人平台，使用激光雷达获取激光点云数据，使用摄像头获取图像数据，使用里程计获取里程信息，使用陀螺仪获取运动位置信息，并通过运算处理器进行整体控制运算；

S12：通过所述移动机器人平台获取原始数据。

进一步，步骤S2具体包括以下步骤：

S21：利用摄像头捕获的RGB图像和深度图像，将两个图像进行图像输出对齐操作；

S22：将RGB图像话题输入tiny-yolov4网络进行检测，标注出环境物体在图像坐标下的类别标签。

进一步，步骤S3具体包括以下步骤：

S31：计算出检测框的中心像素点，根据对齐的深度图像，获取对应深度图像的坐标(u,v)；

S32：根据式(1)将所述坐标对应的深度像素转换到相机坐标系下，然后根据相机坐标系转化到激光坐标系；

式中f为相机焦距，Zc是目标在相机坐标系Z轴的投影。

进一步，在所述步骤S4中，将离散的点云数据进行拟合，使同一个物体上的激光扫描点云分为同一类，当投影的点不能与激光匹配时，计算欧式距离对点云数据进行拟合并标记，如果为动态标签所得到的投影点则需要进行误差放大处理，认为处在以投影的点为圆心，半径阈值为θ的圆内的激光数据即AB段均不可靠，并进行标记。

进一步，在所述步骤S5中，根据步骤S4的拟合结果，对已经标记的雷达点云数据按是否具有动态性分为：静态、半静态、动态三类，将动态的激光点云数据滤除，静态和半静态的数据保留作为后续步骤建图的数据。

进一步，在所述步骤S6中，根据步骤S5传入的雷达数据和步骤S1传入的里程计数据，运用改进的Gmapping算法进行建图；所述Gmapping算法为基于RBPF粒子滤波算法，改进机器人在状态估计过程阶段的提议分布，并通过设定重采样的阈值，当粒子权重的变化率超过阈值后才进行重采样；

再利用tiny_yolov4进行识别，经过坐标转换和拟合研究，获得相应的语义点云数据，并同时将原始的激光数据分为三类，将静态和半静态的激光数据传入Gmapping算法的权重更新以及地图更新；

创建的栅格地图是一个二值化的地图，P(s＝0)表示空闲状态的概率，P(s＝1)表示占用状态的概率；未知的栅格使用一个统一的固定的概率值表示，引入状态的比值表示栅格状态的概率值odd(s)：

当传感器测量值的观测结果为(z～{0,1})时，更新相对应的栅格状态的概率值odd(s)，更新表达式如下：

根据贝叶斯条件概率公式得：

将式(4)和式(5)代入式(3)并两边同时取对数得：

式(6)中是测量值模型，为定值，且该值与传感器有关，当传感器对栅格的观测值为占据时为/>当传感器对栅格的观测值为空闲时为/>用log odd(s)来表示栅格s的状态S，用S⁺和S^-分别表示测量值之后和测量值之前栅格s的状态；则式(6)简化为：

每个栅格的初始状态默认栅格空闲和默认栅格占用的概率相等；

根据式(7)，当计算每个栅格的占据概率时，如果对应的雷达数据为静态或者半静态时才进行S⁺的刷新，将S^-置为S_init，并且设置半静态的数据比静态的数据的权重更小。

本发明的有益效果在于：本发明实现了深度学习技术与传统栅格占据地图的创建结合，一是运用目标识别与传统建图算法结合的方法，将激光数据进行分类，进而改进占据栅格地图占据率更新的方法，达到了去除动态的障碍的效果，提高地图的鲁棒性；二是将类别标签与激光数据关联，实现激光数据包含语义信息，丰富占据栅格的环境信息，提高机器人对环境的感知能力。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为相机数据，图1(a)为RGB图像；图1(b)深度图像；

图2为激光点云拟合图；

图3为激光点云图，图3(a)为语义点云数据；图3(b)为静态、半静态点云数据；

图4为地图创建单帧数据处理流程图；

图5为地图实例图，图5(a)Gmapping算法建图；图5(b)改进Gmapping算法建图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

请参阅图1～图5，本发明提出的一种基于信息融合的栅格地图创建方法，包括以下步骤：

步骤一、搭建移动机器人平台，其中使用YDLIDARX4激光雷达获取激光点云数据。选用TX2作为运算处理器、里程计采用轮式编码器和陀螺仪通过EKF获得准确的运动位置信息。其中里程计信息将用于后续步骤六的建图算法。

步骤二、利用Intel RealSense D435i摄像头，获取RGB图像和深度图像如图1(a)和图1(b)所示。根据rgb/image_raw话题获取RGB图像和depth/image_raw话题获取深度图像，并二者进行输出对齐。将RGB图像话题输入到tiny-yolov4对应的接收话题，进行物体的类别识别，并标出物体类别框，完成类别标签的标注。

步骤三、根据步骤二获取的类别检测框计算出检测框的中心像素点，根据对齐的深度图像，获取对应深度图像的(u,v)，然后根据式(1)将图像坐标系转换到相机坐标系，然后根据相机坐标系转化到激光坐标系。

式中f为相机焦距，Zc是目标在相机坐标系Z轴的投影。

步骤四、根据步骤三转化的结果，本方法提出新的点云拟合方法如图2所示，当步骤三投影的点F不能与激光匹配时，计算欧式距离对点云数据进行拟合并标记，如果为动态标签所得到的投影点则需要进行误差放大处理，认为处在以点F为圆心，半径阈值为θ的圆内的激光数据即AB段均不可靠，并进行标记。

步骤五，根据步骤四的拟合结果，对已经标记的雷达点云数据按是否具有动态性分为：静态、半静态、动态三类。同时，将动态的点云数据滤除，如图3所示。静态和半静态的数据保留作为后续步骤建图的数据。

步骤六、根据步骤五传入的雷达数据和步骤一传入的里程计数据，运用改进的Gmapping算法进行建图。该算法是基于RBPF粒子滤波算法，提出了两点改进，一是改进机器人在状态估计过程阶段的提议分布,达到减少了粒子个数的目的；二是提出了选择性重采样的方法,通过设定重采样的阈值,当粒子权重的变化率超过阈值后才进行重采样，该方法解决了粒子退化问题。如图4所示，在此基础之上，本发明提出利用tiny_yolov4进行识别，经过坐标转换和拟合研究，获得相应的语义点云数据，并同时将原始的激光数据分为三类，将静态和半静态的激光数据传入Gmapping算法的权重更新以及地图更新。点云数据分为静态、半静态、动态三类，其中，因为动态点云数据为动态的障碍物产生，比如行走的人、运动的宠物等，如图3(a)所示，这一类的障碍物具有移动的特性，不应该作为地图更新的依据，因此要创建鲁棒性高的地图需要使用的静态和半静态的激光点云数据进行地图的更新，如图3(b)所示。

进而，创建的栅格地图是一个二值化的地图，P(s＝0)表示空闲状态的概率，P(s＝1)表示占用状态的概率。未知的栅格一般使用一个统一的固定的概率值表示。因此引入状态的比值表示栅格状态的概率值odd(s)。

当传感器测量值的观测结果为(z～{0,1})时，相对应的栅格状态的概率值odd(s)则需要更新，更新表达式如下：

根据贝叶斯条件概率公式得：

将式(4)和式(5)代入式(3)并两边同时取对数得：

式(6)中是测量值模型，为定值，且该值与传感器有关，当传感器对栅格的观测值为占据时为/>当传感器对栅格的观测值为空闲时为/>用log odd(s)来表示栅格s的状态S，用S⁺和S^-分别表示测量值之后和测量值之前栅格s的状态。则式(6)可简化为：

此外，所以每个栅格的初始状态默认栅格空闲和默认栅格占用的概率相等。如图4所示，原始的雷达数据分为三种状态，根据式7，当计算每个栅格的占据概率时，如果对应的雷达数据为静态或者半静态时才进行S⁺的刷新，将S^-置为S_init，并且设置半静态的数据比静态的数据的权重更小。因此，很好的降低了动态的雷达数据参与地图的刷新过程，达到去除动态的噪点的作用，提高了地图的鲁棒性，如图5(a)和图5(b)所示。至此，带语义信息的栅格地图一帧的数据处理完成。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种基于信息融合的栅格地图创建方法，其特征在于：包括以下步骤：

S1：利用移动机器人平台获取激光与图像数据；

S2：利用tiny-yolov4获取物体类别标签信息及深度图像；

S3：利用坐标转换关系将物体的类别标签对应的像素坐标转换到激光坐标系；

S4：根据步骤S3的映射的坐标点，对激光点云数据进行拟合；

S5：根据步骤S4的拟合结果，进行点云数据分类与标识，将动态的激光点云数据滤除；

S6：利用滤除后的点云数据创建二维栅格地图；在所述步骤S6中，根据步骤S5传入的雷达数据和步骤S1传入的里程计数据，运用改进的Gmapping算法进行建图；所述Gmapping算法为基于RBPF粒子滤波算法，改进机器人在状态估计过程阶段的提议分布，并通过设定重采样的阈值，当粒子权重的变化率超过阈值后才进行重采样；

再利用tiny_yolov4进行识别，经过坐标转换和拟合研究，获得相应的语义点云数据，并同时将原始的激光数据分为三类，将静态和半静态的激光数据传入Gmapping算法的权重更新以及地图更新；

创建的栅格地图是一个二值化的地图，P(s＝0)表示空闲状态的概率，P(s＝1)表示占用状态的概率；未知的栅格使用一个统一的固定的概率值表示，引入状态的比值表示栅格状态的概率值odd(s)：

当传感器测量值的观测结果为(z～{0,1})时，更新相对应的栅格状态的概率值odd(s)，更新表达式如下：

根据贝叶斯条件概率公式得：

将式(3)和式(4)代入式(2)并两边同时取对数得：

式(5)中是测量值模型，为定值，且该值与传感器有关，当传感器对栅格的观测值为占据时为/>当传感器对栅格的观测值为空闲时为/>用logodd(s)来表示栅格s的状态S，用S⁺和S^-分别表示测量值之后和测量值之前栅格s的状态；则式(5)简化为：

每个栅格的初始状态默认栅格空闲和默认栅格占用的概率相等；

根据式(6)，当计算每个栅格的占据概率时，如果对应的雷达数据为静态或者半静态时才进行S⁺的刷新，将S^-置为S_init，并且设置半静态的数据比静态的数据的权重更小。

2.根据权利要求1所述的基于信息融合的栅格地图创建方法，其特征在于：所述步骤S1具体包括以下步骤：

S11：搭建移动机器人平台，使用激光雷达获取激光点云数据，使用摄像头获取图像数据，使用里程计获取里程信息，使用陀螺仪获取运动位置信息，并通过运算处理器进行整体控制运算；

S12：通过所述移动机器人平台获取原始数据。

3.根据权利要求1所述的基于信息融合的栅格地图创建方法，其特征在于：步骤S2具体包括以下步骤：

S21：利用摄像头捕获的RGB图像和深度图像，将两个图像进行图像输出对齐操作；

S22：将RGB图像话题输入tiny-yolov4网络进行检测，标注出环境物体在图像坐标下的类别标签。

4.根据权利要求1所述的基于信息融合的栅格地图创建方法，其特征在于：步骤S3具体包括以下步骤：

S31：计算出检测框的中心像素点，根据对齐的深度图像，获取对应深度图像的坐标(u,v)；

S32：根据式(7)将所述坐标对应的深度像素转换到相机坐标系下，然后根据相机坐标系转化到激光坐标系；

式中f为相机焦距，Zc是目标在相机坐标系Z轴的投影。

5.根据权利要求1所述的基于信息融合的栅格地图创建方法，其特征在于：在所述步骤S4中，将离散的点云数据进行拟合，使同一个物体上的激光扫描点云分为同一类，当投影的点不能与激光匹配时，计算欧式距离对点云数据进行拟合并标记，如果为动态标签所得到的投影点则需要进行误差放大处理，认为处在以投影的点为圆心，半径阈值为的圆内的激光数据即AB段均不可靠，并进行标记。

6.根据权利要求1所述的基于信息融合的栅格地图创建方法，其特征在于：在所述步骤S5中，根据步骤S4的拟合结果，对已经标记的雷达点云数据按是否具有动态性分为：静态、半静态、动态三类，将动态的激光点云数据滤除，静态和半静态的数据保留作为后续步骤建图的数据。