CN115439621A - 一种煤矿井下巡检机器人三维地图重建及目标检测方法 - Google Patents

一种煤矿井下巡检机器人三维地图重建及目标检测方法 Download PDF

Info

Publication number
CN115439621A
CN115439621A CN202210954381.1A CN202210954381A CN115439621A CN 115439621 A CN115439621 A CN 115439621A CN 202210954381 A CN202210954381 A CN 202210954381A CN 115439621 A CN115439621 A CN 115439621A
Authority
CN
China
Prior art keywords
point cloud
target
map
point
cloud data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210954381.1A
Other languages
English (en)
Inventor
高珺
巨朝晖
刘再斌
李旭
刘晨光
王炳
薛宇强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Research Institute Co Ltd of CCTEG
Original Assignee
Xian Research Institute Co Ltd of CCTEG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Research Institute Co Ltd of CCTEG filed Critical Xian Research Institute Co Ltd of CCTEG
Priority to CN202210954381.1A priority Critical patent/CN115439621A/zh
Publication of CN115439621A publication Critical patent/CN115439621A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了一种煤矿井下巡检机器人三维地图重建及目标检测方法：步骤1，获取包含选取场景信息的点云数据集；步骤2，对点云数据采用Map‑to‑Map方法进行点云配准，得到建立后的三维地图；步骤3，根据三维地图对巡检机器人的巡检路线进行实时定位；步骤4，巡检机器人行进过程中，利用融合算法进行目标检测；步骤5，对步骤4得到的目标检测结果进行最优匹配，实现检测结果的分类，并择优输出作为障碍物目标。本发明对于环境结果复杂的情况也能够进行有效的高精度地图构建；同时可去除部分冗余数据，降低算法时间复杂度，提高建图效率；融合算法考虑时域信息，将多帧检测结果进行融合，能够有效减少因遮挡导致的误检率和漏检率。

Description

一种煤矿井下巡检机器人三维地图重建及目标检测方法
技术领域
本发明属于巡检机器人技术领域，涉及一种煤矿井下巡检机器人三维地图重建及目标检测方法。
背景技术
自2016年开始，每年的巡检机器人采购量趋于指数级上升，大部分企业认识到机器人智能巡检替代人力的必要性和趋势，随着行业细分化场景化的越来越明晰，客户根据自身的个性化定制越来越多样，在趋势上升发展时期，往后每年的需求量必然会更多。目前，煤矿井下包含种类繁多的人工驾驶燃油车或电动车用于物料运输、巡逻检查、人员接驳等任务，存在运行效率低、人力资源消耗大以及运行成本高等问题。同时传统巡检通过人工方式，劳动强度大、工作效率低、检测质量低、人身安全难以保障，巡视工作量大、恶劣环境限制，巡检工作无法保质保量。因此，无人巡检机器人替代传统人力巡检是最佳选择。
无人巡检机器人最核心的问题为定位问题，不准确的定位将会造成决策控制的重大失误。巡检机器人路径规划的目标是利用合适的路径规划方法寻找从起点到终点的无碰撞的最优路径，在可控的结构化环境中，巡检机器人具有一定的自主性，能够感知周围环境，检测障碍物，并规划一条无碰撞的路径导航到目的地。文献[1]描述了巡检机器人的SLAM(Simultaneous Localization and Mapping)路径规划问题。文献[2]通过比对两种SLAM方案，从而得出不同场景下的选择。文献[3]研究了利用概率方法优化地图定位精度以及降低计算复杂度。文献[4] 则利用稀疏位姿调整解决非线性优化中的矩阵直接求解问题。在研究文献[5]后得出，可采用高斯-牛顿法解决地图定位中的扫描匹配问题，但对于传感器要求较高。最终通过文献[6]的研究，分析出Cartographer算法，通过对局部子图和全局图同时使用闭环检测，减少累积误差。
同时传统无人巡检机器人障碍物检测无法满足对于环境感知的需求，因此，多传感器融合的方法被提出，提高了障碍物检测的精确性、实时性和鲁棒性。陆峰等利用卷积神经网络 (Faster R-CNN)算法模型，训练实际机器人采集数据，选取图像目标检测中矩阵框下边沿中心点集与雷达目标检测目标数据点集进行匹配，利用改进的迭代最近点匹配(ICP)算法去除目标伪点对，实现了图像与三维点云的数据融合，有效提高了算法精度和效率。李研芳等利用激光雷达发射激光束并接收目标回波，提取距离最近的回波点进行聚类分析，判断回波点是否为障碍物；图像检测利用YOLO网络训练数据集生成目标框，通过雷达目标检测的检测框与相机目标检测的检测框进行融合，以边界框重叠面积的百分比作为判断障碍物标准，实现激光雷达与相机的决策层融合，在车辆与行人方面检测精度提升5％左右。
综上，如何构建高精度地图和障碍物检查是当前无人巡检的研究热点问题。上述现有技术中主要存在的问题如下：高精度地图的构建受制于传感器以及算法的限制，对于结构复杂的环境，难以进行建图定位操作；传统障碍物检测由于获取的数据量过多，且冗余数据居多，从而导致障碍物在现实世界中的位置估计不精确。
涉及文献如下：
[1]陈卓,苏卫华,安慰宁,等.移动机器人SLAM与路径规划在ROS框架下的实现[J].医疗卫生装备,2017,38(02):109-113.
[2]栾佳宁,张伟,孙伟,等.基于二维码视觉与激光雷达融合的高精度定位算法[J].计算机应用,2021,41(05):1484-1491.
[3]刘丽伟,朱绪康,李秀华,等.低成本移动机器人2D SLAM算法地图评估研究[J].计算机仿真,2021,38(04):291-295+320.
[4]赵若愚,关志伟,童敏勇,等.基于单线激光雷达的SLAM***功能优化设计[J].中国汽车,2021(02):4-9+43.
[5]韩文华.基于单线激光雷达的移动机器人动态环境导航研究[D].哈尔滨工业大学,2019.
[6]姬兴亮.基于三维激光点云分割匹配的同步定位与构图算法研究[D].电子科技大学， 2020.
发明内容
本发明的目的是提供一种煤矿井下巡检机器人三维地图重建及目标检测方法，以解决如何在复杂结构环境下构建高精度地图以及如何在高精度地图中精确估计障碍物的技术问题。
为了实现上述目的，本发明所采用的技术方案是：
一种煤矿井下巡检机器人三维地图重建及目标检测方法，包括如下步骤：
步骤1，选取构建地图场景，采集选取场景的点云数据并处理，获取包含选取场景信息的点云数据集；
步骤2，对步骤1获取的场景的点云数据采用Map-to-Map方法进行点云配准，得到建立后的三维地图；具体包括如下子步骤：
步骤21，从步骤1获取的点云数据集中获取连续n帧点云数据，对该n帧点云数据建立一个局部子图Submap，将其作为当前最新的局部子图；
步骤22，从点云数据集中剩余的点云数据中再次获取连续n帧点云数据，对该n帧点云数据建立一个局部子图Submap；
步骤23，利用cartographer算法中的global方式，在后端过程中进行回环检测，如果出现回环，则执行步骤24；否则舍弃步骤22建立的局部子图，返回步骤22；
步骤24，将步骤22建立的局部子图与当前最新的局部子图进行匹配，得到匹配后的局部子图，并将匹配后的局部子图更新为当前最新的局部子图；其中，匹配是指将两个局部子图叠加；
步骤25，返回执行步骤22，直至步骤1得到的点云数据集中的点云数据全部被获取，则此时得到的当前最新的局部子图就为所需要的三维地图；
步骤3，根据步骤2所生成的三维地图，对巡检机器人的巡检路线进行实时定位；
步骤4，巡检机器人行进过程中，利用融合算法进行目标检测；
步骤5，对步骤4得到的目标检测结果进行最优匹配，实现检测结果的分类，并择优输出作为障碍物目标。
进一步的，所述步骤1中，通过16线激光雷达，运用预留指令进行激光点云的采集，生成包含选取场景信息的bag文件；之后对bag文件进行降噪滤波处理，得到处理后的bag文件，即为包含选取场景信息的点云数据集。
进一步的，所述步骤23中，所述后端指cartographer算法建图优化操作部分；所述出现回环是指步骤22建立的局部子图和当前最新的局部子图之间的相似性大于一定权值。
进一步的，所述步骤24中，所述将两个局部子图叠加是指舍弃两个局部子图中的冗余的点云帧数据，并将舍弃冗余数据之后的两个局部子图进行拼接得到一个新的局部子图。
进一步的，所述步骤3包括如下子步骤：
步骤31，采用IMU惯性传感器进行位姿信息的采集；通过指令输出为csv文件信息；
步骤32，选用IMU惯性传感器的坐标系作为定位操作坐标系；
步骤33，利用步骤31中生成的csv文件以及步骤2生成的三维地图，配合Cartographer-SLAM算法定位部分源码进行巡检机器人的行进路线定位操作。
进一步的，所述步骤4包括如下子步骤：
步骤41，将步骤1采集到的点云数据进行通过统计滤波进行降噪处理，输出降噪后的点云信息；
步骤42，使用RealsenseD435i摄像头对步骤1中选取场景采集图像信息，然后将图像信息输入至融合算法CenterNet网络进行目标检测，输出目标中心点位置及目标类别C，类别由 KIITI数据集已知；
步骤43，将步骤41中输出的点云数据输入至融合算法CenterPiont网络进行目标检测，输出目标3D检测框、距离和类别C，并提取3D目标检测框的中心点。
7、如权利要求1所述的煤矿井下巡检机器人三维地图重建及目标检测方法，其特征在于，所述步骤5包括如下子步骤：
步骤51，分别选取步骤42得到的目标中心点位置和步骤43得到的目标3D检测框中心点位置一一配成点对作为改进KNN算法输入，共得到n×n个点对；其中，步骤42得到的目标中心点位置表示为
Figure BDA0003790595860000041
步骤43得到的目标3D检测框中心点位置表示为
Figure BDA0003790595860000042
n为选取的中心点的个数；
步骤52，计算步骤51选取的每个点对中的两中心点之间的欧氏距离；
步骤53，在步骤52得到的所有点对的欧式距离中，选择
Figure BDA0003790595860000043
对应的n个点对的欧式距离最小的点对作为最优点对，共得到n个最优点对，对每个最优点对进行融合作为检测到的障碍物目标，共得到n个障碍物目标。
本发明的有益效果是：
(1)建图部分：基于Cartographer算法，提出了Map to Map的方法对局部子图信息进行匹配，从而做出回环检测，提高其匹配度，同时去掉数据帧之间的冗余信息，提高地图精度以及建图效率。更加适用于移动机器人的建图。算法进行改进之后，对于环境结果复杂的情况，也能够进行有效的高精度地图构建；同时，可去除部分冗余数据，降低算法时间复杂度，提高建图效率；
(2)目标检测部分：基于多传感器融合，对图像和点云原始数据分别进行目标检测与跟踪，利用改进的KNN算法对检测结果进行最优匹配，并结合点云到图像的投影对未匹配的图像检测中心点进一步匹配，最终对融合结果择优输出。传感器融合提升了数据的可靠性，提升了目标检测精度；同时，融合算法考虑时域信息，将多帧检测结果进行融合，能够有效减少因遮挡导致的误检率和漏检率。
附图说明
图1显示了现有技术由于前端匹配错误，导致后端回环检测错误；
图2是Cartographer算法改进前后建图效果(点云配准图)对比；
图3是改进前后建图效果对比；
图4是同一服务器下，改进前后CPU占用率对比；
图5是RVIZ下的后端闭环检测定位效果；
图6是巡检机器人示意图；
图7是融合算法框架；
图8是目标中心点匹配结构框图；
图9是中心点集与图像检测中心点连接关系图；
图10是图像检测测试效果；其中，(a)为目标遮挡场景，(b)为光照不均匀场景，(c)为距离较远场景；
图11是点云目标检测；其中，(a)为目标遮挡场景，(b)为光照不均匀场景，(c) 为距离较远场景；
图12是不同场景下激光雷达的检测结果(检测回归3D框)；其中，(a)为目标遮挡场景，(b)为光照不均匀场景，(c)为距离较远场景；
图13是点云与图像检测融合检测结果；其中，(a)为图像检测结果，(b)为融合算法检测结果。
以下结合附图和具体实施方式对本发明进一步解释说明。
具体实施方式
1.SLAM建图与定位
1.1图优化算法
Cartographer算法属于图优化的SLAM算法，图优化的SLAM是通过后端的回环检测对前端位姿进行调整，最终得到当下最接近真实值的机器人位置和姿势。图优化SLAM问题分解成两个任务：
(1)构建图，机器人位姿当作顶点，位姿间的关系当作边(前端(front-end)--传感器信息的堆积)；
(2)优化图，调整机器人位姿顶点满足边的约束(后端(back-end))；
1.1.1Cartographer算法
Cartographer算法是谷歌于2016年提出的开源算法。提出了一种新的基于激光雷达点云数据的回环检测方法，这种方法可以减少计算量，可以满足大空间的建图需要，并且对大规模数据进行实时优化。整个算法分为两大部分：Local SLAM(前端匹配)，还有GlobalSLAM (后端闭环)。本发明在Local前端进行改进，配合Cartographer算法的后端闭环环节，可提高重建地图的精度。
原算法在前端点云配准采用SLAM点云配准中的Scan-to-Map配准方式，每获取到一帧 laser scan(雷达帧数据)数据后，便与当前最近建立的Map进行匹配，使这一帧的laser scan 数据***到Map，这种方式的弊端在于，当环境结构相似时，采集的点云数据帧会存在相似重复的情况，用于后端闭环检测时，会导致无法闭环，从而建图失败。
如图1为由于前端匹配错误，导致后端检测无法闭环。
1.1.2点云配准
故在Cartographer算法的基础上，提出一种新的激光雷达点云配准方法Map-to-Map进行点云配准。在获取某几帧点云数据后，建立Submap(局部子图)，每建立一个局部子图后，便与当前最近建立的Submap进行匹配，从而避免环境结构相似的点云数据帧匹配，导致后端闭环检测错误。具体过程如图2。
2.目标检测
在目标检测之前需要进行激光雷达与深度相机的联合标定，联合标定是数据融合的基础，通过联合标定得出相机坐标系与激光雷达坐标系的转换矩阵，将雷达与相机的数据融合起来，得到的数据信息更加全面、准确。如图6为联合标定图。
本发明的煤矿井下巡检机器人三维地图重建及目标检测方法包括如下步骤：
步骤1，选取构建地图场景，采集选取场景的点云数据并处理，获取包含选取场景信息的点云数据集：通过16线激光雷达(型号为robsense)，运用预留指令(rosbag record+话题名)进行激光点云的采集，生成包含选取场景信息的bag文件；之后对bag文件进行降噪滤波处理(统计滤波算法)，得到处理后的bag文件；
步骤2，对步骤1获取的场景的点云数据采用Map-to-Map方法进行点云配准，得到建立后的三维地图；如图2所示，具体操作如下：
步骤21，从步骤1获取的点云数据集中获取连续n帧点云数据，对该n帧点云数据建立一个局部子图Submap，将其作为当前最新的局部子图；
步骤22，从点云数据集中剩余的点云数据中再次获取连续n帧点云数据，对该n帧点云数据建立一个局部子图Submap；
步骤23，利用cartographer算法中的global(全局)方式，在后端过程中进行回环检测，如果出现回环，则执行步骤24；否则舍弃步骤22建立的局部子图，返回步骤22；
所述后端指的是：cartographer算法建图优化操作部分；所述出现回环是指步骤22建立的局部子图和当前最新的局部子图之间的相似性大于一定权值，该权值可自行设定；
步骤24，将步骤22建立的局部子图与当前最新的局部子图进行匹配，得到匹配后的局部子图，并将匹配后的局部子图更新为当前最新的局部子图；其中，匹配是指将两个局部子图叠加(即舍弃两个局部子图中的冗余的点云帧数据，并将舍弃冗余数据之后的两个局部子图进行拼接得到一个新的局部子图)；
其中，两个局部子图匹配过程中，步骤22建立局部子图的点云数据***当前最新的局部子图时位姿的转换公式为：
Figure BDA0003790595860000071
其中，
Figure BDA0003790595860000072
表示包含场景信息的点云数据集中的每个点云的姿态，
Figure BDA0003790595860000073
为点云在x,y方向的平移，
Figure BDA0003790595860000074
为平面的旋转量；
Figure BDA0003790595860000075
为点云在当前局部子图中的位姿；p为障碍物存在的概率值，可自行设定。
步骤25，返回执行步骤22，直至步骤1得到的点云数据集中的点云数据全部被获取，则此时得到的当前最新的局部子图就为所需要的三维地图。
利用步骤2中Map-to-Map的方法进行点云配准，从而构建三维地图的方式，能够避免现有方法：每获取一帧包含选取场景信息数据就将其放入建立的子图中，导致环境结构相似的点云数据帧匹配，导致后端闭环检测错误。
步骤3，根据步骤2所生成的三维地图，对巡检机器人的巡检路线进行实时定位；具体操作如下：
步骤31，采用IMU惯性传感器，连接电脑，进行位姿信息的采集；通过指令输出为csv 文件信息；
步骤32，选用IMU惯性传感器的坐标系作为定位操作坐标系；
步骤33，利用步骤31中生成的csv文件以及步骤2生成的三维地图，配合Cartographer-SLAM算法定位部分源码(在源码中输入文件的绝对路径，修改配置文件参数) 进行巡检机器人的行进路线定位操作。得到图5结果(图中实线为定位操作的轨迹)。
步骤4，巡检机器人行进过程中，利用融合算法进行目标检测，具体操作如下：
步骤41，将步骤1采集到的点云数据进行通过统计滤波进行降噪处理，输出降噪后的点云信息。
步骤42，使用RealsenseD435i摄像头对步骤1中选取场景采集图像信息，然后将图像信息输入至融合算法CenterNet网络进行目标检测，输出目标中心点位置及目标类别C，类别由KIITI数据集已知；
步骤43，将步骤41中输出的点云数据输入至融合算法CenterPiont网络进行目标检测，输出目标3D检测框、距离和类别C，并提取3D目标检测框的中心点。
具体的，如图6所示，巡检机器人95cm高，底盘高25cm。激光雷达和相机都安装在巡检机器人上，相机位于激光雷达的正下方，IMU惯性传感器安装在巡检机器人的底盘上。
步骤5，步骤4分别输出图像目标中心点位置和点云目标中心点位置，在这些中心点中，存在多种检测情况，包括正确检测且完成跟踪的目标、错误检测目标等。利用改进后的KNN 算法对步骤4得到的目标检测结果进行最优匹配，实现检测结果的分类，并择优输出作为障碍物目标，具体操作如下：
步骤51，分别选取步骤42得到的目标中心点位置和步骤43得到的目标3D检测框中心点位置一一配成点对作为改进KNN算法输入，共得到n×n个点对。其中，步骤42得到的目标中心点位置表示为
Figure BDA0003790595860000081
步骤43得到的目标3D检测框中心点位置表示为
Figure BDA0003790595860000082
n为选取的中心点的个数；
步骤52，计算步骤51选取的每个点对中的两中心点之间的欧氏距离；
步骤53，在步骤52得到的所有点对的欧式距离中，选择
Figure BDA0003790595860000083
对应的n个点对的欧式距离最小的点对作为最优点对，共得到n个最优点对，对每个最优点对进行融合，此处融合是指将该点对中的两个点合并为一个点(任选其一作为点对的中心点位置)，作为检测到的障碍物目标，共得到n个障碍物目标。
在中心点进行融合的过程中，当前帧图像目标点与点云中目标检测框中心点实现数据融合，黑色点是点云数据中目标检测中心点集，白色点是图像检测结果的中心点(见图9)，两者通过步骤6最近距离匹配，融合成同一目标中心点，连接关系如图8所示。
为了验证本发明的可行性和有效性，进行了如下试验：
1.SLAM建图与定位
为证明改进后的Cartographer算法在环境结构相似的情况下存在更好的建图效果，本实验场地选用模拟煤矿井下，进行激光点云数据的采集，同时利用改进前后的算法进行地图的构建，通过对比建图时间效率、建图效果以及建图精度(通过采集处理的bag文件进行建图操作，建图效率如图4所示)，从而说明改进之后的算法优于改进前的算法。
(1)建图效果对比图：
图3为改进前后建图效果对比：
改进前：环境结构相似的情况，存在回环检测错误，导致构建地图精度不高；
改进后：对于环境结构复杂且相似的情况，仍可以进行回环检测，达到闭环的效果
(2)建图效率对比
通过对比改进算法前后，建图过程中对于CPU的占用率(同一服务器下)，从而得出改进算法前后的建图效率。
本次实验采用四核处理器进行建图实验，由图4可以看出，改进前的CPU占用率比改进后的CPU占用率高，改进后的CPU占用率较低，且随着时间增加趋于平稳。因此在相同实验环境下，改进后的Cartographer算法比改进前更适用于移动机器人建图。
(3)后端闭环定位
通过提出的新的激光雷达点云配准方法Map-to-Map。在获取某几帧点云数据后，建立 Submap(局部子图)，进行点云配准，同时去除冗余数据。传至后端进行闭环检测定位。如图5为RVIZ下的后端闭环检测定位效果：
由于上述步骤操作在点云匹配方面进行了改进，从而得到的三维地图效果相比于之前能够达到更好的效果，那么三维地图作为定位操作的输入可以保障精度的要求，故可以从RVIZ 软件中看出(图中所描绘的轨迹线)，效果较好。
2.目标检测
①KITTI数据集训练与处理之后，选取3份不同车辆行驶场景的数据进行测试，并标记类别和目标所在位置，图像检测测试效果如图9所示；
②依赖于相机的CenterNet图像目标检测有很大的局限性，图10中目标遮挡场景与光照不均匀的场景下被遮挡车辆存在明显漏检现象，相机检测结果会受到照明条件的影响，使得测量精度大幅降低，导致大量目标漏检，测试结果表明基于相机的目标检测很难满足露天自动驾驶矿卡的要求。
③图11(a)、(b)、(c)分别为不同场景下激光雷达的检测结果，从图11(a)中的检测框可以得知，图像检测未检测到目标，而激光雷达检测到了目标。从图11(b)中可以得知，激光雷达检测的目标位置与实际目标位置有偏差，由于点云数据在形式上呈离散分布，数据点的位置、间隔在三维空间中分布不规则，导致相同类型的点难以选取，目标位置不精准。如图11(b)所示，由于点云数据自身不规则，在不同场景下红色检测框与绿色检测框的位置有偏差。要获取更加精确的目标位置信息，将图像的检测结果与点云检测结果融合，以解决该问题。
④在不同测试场景中，图像检测存在明显的漏检，点云目标检测中，处于远距离并且模糊的目标，能有效地定位和捕捉到位置框，如图12(b)所示，融合算法较于单一图像检测方法，遮挡车辆检测数增加7，显然，在遮挡、光照不均匀等情况下，融合算法有效减少了漏检率。
结论：
(1)建图定位：本文研究Graph-slam(图优化)建图算法--Cartographer算法，分析出该算法的点云配准方法Scan to Map(帧与局部子图)方法，对于环境结构相似的情况，存在回环检测错误，导致构建地图精度不高，同时帧数据之间存在冗余数据信息，建图效率低。针对这类问题，在该算法的基础上提出了一种新的激光雷达点云配准方法--Map toMap(局部子图与局部子图)配准方法，获取点云数据构建局部子图，局部子图与局部子图之间进行配准，从而做出回环检测。提高其匹配度，同时去掉数据帧之间的冗余信息，提高地图精度以及建图效率。更加适用于移动机器人的建图。
(2)障碍物检测：本发明提出雷达与相机决策层融合方法，利用16线激光雷达与Realsense D435深度相机获取点云数据，通过对激光雷达与相机联合标定，将点云数据与图像数据投影至相同坐标系，结合目标检测算法，将图像中的障碍物回归成目标中心点(包含深度、大小、类别)，将点云中的障碍物回归成目标中心点集。利用KNN(K-NearestNeighbor) 法对图像和点云数据目标中心点进行融合实现对检测结果进行最优匹配，最后输出可靠性高的融合结果。

Claims (7)

1.一种煤矿井下巡检机器人三维地图重建及目标检测方法，其特征在于，包括如下步骤：
步骤1，选取构建地图场景，采集选取场景的点云数据并处理，获取包含选取场景信息的点云数据集；
步骤2，对步骤1获取的包含场景信息的点云数据采用Map-to-Map方法进行点云配准，得到建立后的三维地图；具体包括如下子步骤：
步骤21，从步骤1获取的点云数据集中获取连续n帧点云数据，对该n帧点云数据建立一个局部子图Submap，将其作为当前最新的局部子图；
步骤22，从点云数据集中剩余的点云数据中再次获取连续n帧点云数据，对该n帧点云数据建立一个局部子图Submap；
步骤23，利用cartographer算法中的global方式，在后端过程中进行回环检测，如果出现回环，则执行步骤24；否则舍弃步骤22建立的局部子图，返回步骤22；
步骤24，将步骤22建立的局部子图与当前最新的局部子图进行匹配，得到匹配后的局部子图，并将匹配后的局部子图更新为当前最新的局部子图；其中，匹配是指将两个局部子图叠加；
步骤25，返回执行步骤22，直至步骤1得到的点云数据集中的点云数据全部被获取，则此时得到的当前最新的局部子图就为所需要的三维地图；
步骤3，根据步骤2所生成的三维地图，对巡检机器人的巡检路线进行实时定位；
步骤4，巡检机器人行进过程中，利用融合算法进行目标检测；
步骤5，对步骤4得到的目标检测结果进行最优匹配，实现检测结果的分类，并择优输出作为障碍物目标。
2.如权利要求1所述的煤矿井下巡检机器人三维地图重建及目标检测方法，其特征在于，所述步骤1中，通过16线激光雷达，运用预留指令进行激光点云的采集，生成包含选取场景信息的bag文件；之后对bag文件进行降噪滤波处理，得到处理后的bag文件，即为包含选取场景信息的点云数据集。
3.如权利要求1所述的煤矿井下巡检机器人三维地图重建及目标检测方法，其特征在于，所述步骤23中，所述后端指cartographer算法建图优化操作部分；所述出现回环是指步骤22建立的局部子图和当前最新的局部子图之间的相似性大于一定权值。
4.如权利要求1所述的煤矿井下巡检机器人三维地图重建及目标检测方法，其特征在于，所述步骤24中，所述将两个局部子图叠加是指舍弃两个局部子图中的冗余的点云帧数据，并将舍弃冗余数据之后的两个局部子图进行拼接得到一个新的局部子图。
5.如权利要求1所述的煤矿井下巡检机器人三维地图重建及目标检测方法，其特征在于，所述步骤3包括如下子步骤：
步骤31，采用IMU惯性传感器进行位姿信息的采集；通过指令输出为csv文件信息；
步骤32，选用IMU惯性传感器的坐标系作为定位操作坐标系；
步骤33，利用步骤31中生成的csv文件以及步骤2生成的三维地图，配合Cartographer-SLAM算法定位部分源码进行巡检机器人的行进路线定位操作。
6.如权利要求1所述的煤矿井下巡检机器人三维地图重建及目标检测方法，其特征在于，所述步骤4包括如下子步骤：
步骤41，将步骤1采集到的点云数据进行通过统计滤波进行降噪处理，输出降噪后的点云信息；
步骤42，使用RealsenseD435i摄像头对步骤1中选取场景采集图像信息，然后将图像信息输入至融合算法CenterNet网络进行目标检测，输出目标中心点位置及目标类别C，类别由KIITI数据集已知；
步骤43，将步骤41中输出的点云数据输入至融合算法CenterPiont网络进行目标检测，输出目标3D检测框、距离和类别C，并提取3D目标检测框的中心点。
7.如权利要求1所述的煤矿井下巡检机器人三维地图重建及目标检测方法，其特征在于，所述步骤5包括如下子步骤：
步骤51，分别选取步骤42得到的目标中心点位置和步骤43得到的目标3D检测框中心点位置一一配成点对作为改进KNN算法输入，共得到n×n个点对；其中，步骤42得到的目标中心点位置表示为
Figure FDA0003790595850000022
步骤43得到的目标3D检测框中心点位置表示为
Figure FDA0003790595850000021
n为选取的中心点的个数；
步骤52，计算步骤51选取的每个点对中的两中心点之间的欧氏距离；
步骤53，在步骤52得到的所有点对的欧式距离中，选择Pyi对应的n个点对的欧式距离最小的点对作为最优点对，共得到n个最优点对，对每个最优点对进行融合作为检测到的障碍物目标，共得到n个障碍物目标。
CN202210954381.1A 2022-08-10 2022-08-10 一种煤矿井下巡检机器人三维地图重建及目标检测方法 Pending CN115439621A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210954381.1A CN115439621A (zh) 2022-08-10 2022-08-10 一种煤矿井下巡检机器人三维地图重建及目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210954381.1A CN115439621A (zh) 2022-08-10 2022-08-10 一种煤矿井下巡检机器人三维地图重建及目标检测方法

Publications (1)

Publication Number Publication Date
CN115439621A true CN115439621A (zh) 2022-12-06

Family

ID=84243534

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210954381.1A Pending CN115439621A (zh) 2022-08-10 2022-08-10 一种煤矿井下巡检机器人三维地图重建及目标检测方法

Country Status (1)

Country Link
CN (1) CN115439621A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115877855A (zh) * 2023-03-03 2023-03-31 天津滨电电力工程有限公司 自适应环境路径规划的智能电力巡检机器人及巡检方法
CN116448115A (zh) * 2023-04-07 2023-07-18 连云港杰瑞科创园管理有限公司 基于导航雷达和光电的无人艇概率距离地图构建方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115877855A (zh) * 2023-03-03 2023-03-31 天津滨电电力工程有限公司 自适应环境路径规划的智能电力巡检机器人及巡检方法
CN116448115A (zh) * 2023-04-07 2023-07-18 连云港杰瑞科创园管理有限公司 基于导航雷达和光电的无人艇概率距离地图构建方法
CN116448115B (zh) * 2023-04-07 2024-03-19 连云港杰瑞科创园管理有限公司 基于导航雷达和光电的无人艇概率距离地图构建方法

Similar Documents

Publication Publication Date Title
US11681746B2 (en) Structured prediction crosswalk generation
US11852729B2 (en) Ground intensity LIDAR localizer
Kim et al. Deep learning based vehicle position and orientation estimation via inverse perspective mapping image
WO2021022615A1 (zh) 机器人探索路径生成方法、计算机设备和存储介质
CN107808123B (zh) 图像可行域检测方法、电子设备、存储介质、检测***
CN111060924B (zh) 一种slam与目标跟踪方法
CN115439621A (zh) 一种煤矿井下巡检机器人三维地图重建及目标检测方法
CN111680611B (zh) 一种道路通过性检测方法、***及设备
CN110197173B (zh) 一种基于双目视觉的路沿检测方法
US11703596B2 (en) Method and system for automatically processing point cloud based on reinforcement learning
WO2021021862A1 (en) Mapping and localization system for autonomous vehicles
Zhang et al. Lidar-guided stereo matching with a spatial consistency constraint
CN114494618A (zh) 地图的生成方法、装置、电子设备及存储介质
Alidoost et al. Y-shaped convolutional neural network for 3d roof elements extraction to reconstruct building models from a single aerial image
CN116188417A (zh) 基于slam和图像处理的裂缝检测及其三维定位方法
Sun et al. Geographic, geometrical and semantic reconstruction of urban scene from high resolution oblique aerial images.
Ma et al. Semantic geometric fusion multi-object tracking and lidar odometry in dynamic environment
US20230230317A1 (en) Method for generating at least one ground truth from a bird's eye view
Huang et al. A coarse-to-fine LiDar-based SLAM with dynamic object removal in dense urban areas
Tian et al. Vision-based mapping of lane semantics and topology for intelligent vehicles
Tsaregorodtsev et al. Automated static camera calibration with intelligent vehicles
CN111239761B (zh) 一种用于室内实时建立二维地图的方法
CN115668333A (zh) 电子地图生成方法、装置、计算机设备和存储介质
Martinez et al. Map-based lane identification and prediction for autonomous vehicles
Mattson et al. Reducing ego vehicle energy-use by LiDAR-based lane-level positioning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination