CN110058587A - 基于slam技术的煤矿综采面巡视无人车以及自主巡视的方法 - Google Patents

基于slam技术的煤矿综采面巡视无人车以及自主巡视的方法 Download PDF

Info

Publication number
CN110058587A
CN110058587A CN201910201520.1A CN201910201520A CN110058587A CN 110058587 A CN110058587 A CN 110058587A CN 201910201520 A CN201910201520 A CN 201910201520A CN 110058587 A CN110058587 A CN 110058587A
Authority
CN
China
Prior art keywords
unmanned vehicle
mine
inspection tour
coal mine
coal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910201520.1A
Other languages
English (en)
Other versions
CN110058587B (zh
Inventor
赵栓峰
王超
贺海涛
郭卫
王渊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Science and Technology
Original Assignee
Xian University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Science and Technology filed Critical Xian University of Science and Technology
Priority to CN201910201520.1A priority Critical patent/CN110058587B/zh
Publication of CN110058587A publication Critical patent/CN110058587A/zh
Application granted granted Critical
Publication of CN110058587B publication Critical patent/CN110058587B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/027Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了一种基于SLAM技术的煤矿综采面巡视无人车以及自主巡视的方法,首先对综采面SLAM模块进行初始化,并且获得煤矿初始环境地图;将在当前位置采集到的煤矿环境图像信息与初始环境地图进行特征点匹配,如果匹配成功,无人车在巡视过程中不断添加新位置的环境地图点,构成当前煤矿环境地图,同时对当前煤矿环境地图不停地进行更新;当综采面巡视无人车对当前矿井位置对应的巡视任务完成后,综采面巡视无人车将以最优路径到达下一目标点进行巡视。本发明可以使工作人员很便捷的掌握综采工作面的实际变化情况以及整个矿井下面的地理位置与环境变化,又能对灾情做提前预警等工作,很大程度上节省了人力和财力。

Description

基于SLAM技术的煤矿综采面巡视无人车以及自主巡视的方法
技术领域
本发明涉无人车定位领域,具体涉及无人车在煤矿综采面的定位以及环境地图构建。
背景技术
随着无人驾驶技术以及SLAM技术的进步,无人车的应用越来越广泛,但无人车在矿井中对煤矿综采面的实地状况检测以及对整个矿井环境构建的应用少之又少。
矿用综采面巡视无人车在矿井下面工作时的实地定位以及对矿井下面特征位置的定位是非常重要的,然而传统的定位方法是GPS定位、AGPS定位、站定位和WIFI定位等定位方式,这些定位方法对信号要求较高,容易被干扰,并且定位精度较低误差大。
发明内容
本发明的目的是提出了一种基于SLAM技术的煤矿综采面巡视无人车以及自主巡视的方法,定位精度高误差小。
本发明的技术方案是,一种基于SLAM技术的煤矿综采面巡视无人车,所述综采面巡视无人车包括双目摄像头、防护架、底盘、防爆箱,其特征在于:所述无人车上还搭载有智能模块和传感器模块;所述智能模块包括煤矿环境图像处理模块、双目摄像头标定模块、综采面SLAM模块、煤矿地图维护与无人车路径规划模块;所述防爆箱焊接在无人车底盘上,所述双目摄像头安装在车顶上,双目摄像头顶端安装防护架;所述传感器模块包括惯性传感器;
所述惯性传感器采集无人车的运动信息;
所述双目摄像头获取无人车的图像信息;
所述煤矿环境图像处理模块将双目摄像头采集到的图像信息与矿井中的实际标定环境建立映射关系;
所述综采面SLAM模块根据双目摄像头捕获的图像信息以及惯性传感器采集到的运动信息对无人车在矿井中的位置进行定位,创建初始煤矿环境地图;
所述矿井地图维护与无人车路径规划模块对综采面SLAM模块获得的无人车在矿井中的位置定位信息以及初始煤矿环境地图信息不停地进行更新之后,通过无人车控制***以及采用滚动窗口的路径规划算法确定无人车到达矿井中其它位置的最优路径。
本发明基于SLAM技术的煤矿综采面巡视无人车实现自主巡视的方法包括以下步骤:
第一步:标定双目摄像头的内参数,对综采面SLAM模块进行初始化,并且获得初始煤矿环境地图;
第二步:无人车在矿井巡视时,双目摄像头将在当前位置采集到的图像信息与初始煤矿环境地图进行特征点匹配,如果匹配成功,则进行第三步;如果匹配不成功,无人车的控制***就会认为当前综采面巡视无人车的位置定位质量差,则会触发综采面巡视无人车的局部重定位工作,即将双目摄像头获取的图像信息添加到第一步的初始煤矿环境地图中,再重新进行特征点匹配,直到匹配成功;
第三步:若局部地图特征点匹配成功,无人车采用基于最小二乘法的ICP算法建立综采面巡视无人车运动模型,使用SVD分解法求解运动模型,结合非线性优化的方式求解综采面无人车的位姿;同时无人车在巡视过程中不断添加新位置的环境地图点,构成当前煤矿环境地图,同时对当前煤矿环境地图进不停地行更新;
第四步:当无人车对当前矿井位置对应的巡视任务完成后,通过无人车控制***以及采用滚动窗口的路径规划算法确定无人车到达矿井中下一目标位置的最优路径,无人车将以最优路径到达下一目标位置进行继续巡视工作。
本发明基于视觉SLAM技术对无人车在煤矿综采面、煤矿液压支架、巷道等多个的位置进行自主定位和环境构建,同时无人车可以对整个矿井进行巡逻监控、灾情预警,可以使工作人员很便捷的掌握综采工作面的实际变化情况以及整个矿井下面的地理位置与环境变化,又能对灾情做提前预警等工作,很大程度上节省了人力和财力。
附图说明
通过结合附图对本申请进行更详细的描述,本申请的目的、特征和优势将变得更加明显。附图用来对本申请实施进一步理解。
图1是综采面巡视的外形结构示意图。
图2是综采面巡视无人车智能模块构成图。
图3是综采面巡视无人车基于SLAM的定位方法的步骤流程示意图。
具体实施方式
下面,将参考附图对本申请综采面巡视无人车做具体说明,具体包括如下描述:
综采面巡视无人车具体外形模型示意图如图1所示。包括双目摄像头2、防护架1、底盘4、防爆箱3,所述防爆箱3焊接在综采面巡视无人车底盘4上,所述双目摄像头2安装在车顶上,双目摄像头2顶端安装防护架1,防止煤块或其它物体滚落砸坏双目摄像头。
所述无人车定制防爆箱3采用铝合金外壳压铸成型,表面高压静电喷塑。
如图2所示,所述综采面巡视无人车上还搭载有智能模块和惯性传感器;所述智能模块包括煤矿环境图像处理模块、双目摄像头标定模块、综采面SLAM模块、矿井地图维护与无人车路径规划模块。
所述无人车控制***由英伟达TX2开发版以及ROS操作***组成。小车采用ROS操作***来实现不同硬件之间的通信。ROS***使用官方提供的开发套件在英伟达TX2开发版上创建ROS话题,将综采面巡视无人车的控制算法、综采面SLAM算法、滚动窗口的路径规划算法等提前写入到开发板中。
如图3所示,本发明基于SLAM技术的综采面巡视无人车实现自主定位、导航、矿井综采面巡视等技术问题是通过以下步骤完成。
第一步、由于综采面巡视无人车工作环境的特殊性,要先对无人车搭载的双目摄像头做内参数标定,对综采面SLAM模块进行初始化,并且获得初始煤矿环境地图。
内参数标定的具体步骤如下:
步骤1)将双目摄像头对准所要标定的综采面环境模板;
步骤2)启动双目摄像头标定模块,在保证无人车要标定的煤矿综采面环境模板全部位于无人车搭载的双目摄像头图像视野中的前提下,从至少两个方向对要标定的综采面环境模板进行拍照,采集标定模板图像;
步骤3)将采集到的标定模块图像中的特征点与实际标定环境的特征点建立对应关系,采用张正友的平面标定算法自动计算出综采面巡视无人车的摄像头优化的内参数矩阵,并保存到双目摄像头标定模块。
第二步、无人车在矿井巡视时,将在当前位置采集到的煤矿环境图像信息与初始煤矿环境地图进行特征点匹配,如果匹配成功,则进行第三步;如果匹配不成功,无人车的控制***就会认为当前综采面巡视无人车的位置定位质量差,则会触发综采面巡视无人车的局部重定位工作。
局部重定位工作具体包括以下步骤:
步骤1):将双目摄像头采集到的局部图像信息加入SLAM模块建立的初始煤矿环境地图中;
步骤2):利用双目摄像头将采集到的图像信息与无人车当前工作位置对应的新的环境地图进行特征点匹配。
第三步:若特征点匹配成功,无人车采用基于最小二乘法的ICP算法建立综采面巡视无人车运动模型,使用SVD分解法求解运动模型,结合非线性优化的方式求解综采面无人车当前位姿;同时根据匹配结果自动更新综采面SLAM模块;更新综采面巡视无人车在当前工作位置的地图特征点,并把该更新后的地图特征点添加到初始煤矿环境地图中,更新当前无人车在煤矿所在位置对应的地图。
本发明采用基于煤矿环境主方向的灰度直方图最小均方误差(Minimum MeanSquared Error,缩略词为MMSE)算法进行特征点匹配。
第四步,当无人车对当前矿井位置对应的巡视任务完成后,通过无人车控制***以及采用滚动窗口的路径规划算法确定无人车到达矿井中下一目标位置的最优路径,无人车将以最优路径到达下一目标位置进行继续巡视工作。
滚动窗口的路径规划算法具体步骤如下:
步骤1)初始化无人车所有参数,如起始点、目标点、工作环境,并设置滚动窗口的大小,综采面巡视无人车每次移动的步长;
步骤2)对当前滚动窗口的环境信息不断地更新,若窗口内存在动态障碍物,则根据其线性预测模型预测障碍物的下一时刻的运动状态;若没有动态障碍物,则矿井无人车根据窗口内生成的局部最优子目标点,规划一条朝其方向移动的局部最优路径;
步骤3)根据碰撞预测,对综采面巡视无人车做出相应的避障策略;
步骤4)综采面巡视无人车根据相应的避障策略,停止一段时间或改变速度找出一条与障碍物无碰撞的路径;
步骤5)按照设定的步数,向规划好的路径移动,且步长不能大于窗口半径;
步骤6)若综采面巡视无人车到达目标位置,则算法结束,以上内容是结合具体方式对本发明做详细介绍。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (5)

1.一种基于SLAM技术的煤矿综采面巡视无人车,所述综采面巡视无人车包括双目摄像头(2)、防护架(1)、底盘(4)、防爆箱(3),其特征在于:所述无人车上还搭载有智能模块和传感器模块;所述智能模块包括煤矿环境图像处理模块、双目摄像头标定模块、综采面SLAM模块、煤矿地图维护与无人车路径规划模块;所述防爆箱(3)焊接在无人车底盘(4)上,所述双目摄像头(2)安装在车顶上,双目摄像头(2)顶端安装防护架(1);所述传感器模块包括惯性传感器;
所述惯性传感器采集无人车在矿井中的运动信息;
所述双目摄像头获取无人车在矿井中的图像信息;
所述煤矿环境图像处理模块将双目摄像头采集到的图像信息与矿井中的实际标定环境建立映射关系;
所述综采面SLAM模块根据双目摄像头捕获的图像信息以及惯性传感器采集到的运动信息对无人车在矿井中的位置进行定位,创建初始煤矿环境地图;
所述矿井地图维护与无人车路径规划模块对综采面SLAM模块获得的无人车在矿井中的位置定位信息以及初始煤矿环境地图信息不停地进行更新之后,通过无人车控制***以及采用滚动窗口的路径规划算法确定无人车到达矿井中其它位置的最优路径。
2.根据权利要求1所述的一种基于SLAM技术的煤矿综采面巡视无人车,其特征在于:所述煤矿环境图像处理模块、双目摄像头标定模块、综采面SLAM模块、矿井地图维护与无人车路径规划模块分别通过各自的应用程序编程接口进行通信。
3.根据权利要求1所述的一种基于SLAM技术的煤矿综采面巡视无人车,其特征在于:所述综采面巡视无人车实现矿井自主巡视的方法包括以下步骤:
第一步:标定双目摄像头的内参数,对综采面SLAM模块进行初始化,并且获得初始煤矿环境地图;
第二步:无人车在矿井巡视时,双目摄像头将在当前位置采集到的图像信息与初始煤始环境地图进行特征点匹配,如果匹配成功,则进行
第三步;如果匹配不成功,则启动全局重定位算法重新进行匹配,直到匹配成功;
第三步:若特征点匹配成功,无人车采用基于最小二乘法的ICP算法建立综采面巡视无人车运动模型,使用SVD分解法求解运动模型,结合非线性优化的方式求解综采面无人车的位姿;同时无人车在巡视过程中不断添加新位置的环境地图点,构成当前煤矿环境地图,同时对当前煤矿环境地图不停地进行更新;
第四步:当无人车对当前矿井位置对应的巡视任务完成后,通过无人车控制***以及采用滚动窗口的路径规划算法确定无人车到达矿井中下一目标位置的最优路径,无人车将以最优路径到达下一目标位置进行继续巡视工作。
4.根据权利要求3所述的一种基于SLAM技术的煤矿综采面巡视无人车,其特征在于:第一步标定双目摄像头的内参数,具体步骤如下:
步骤1)将双目摄像头对准所要标定的综采面环境模板;
步骤2)启动双目摄像头标定模块,在保证无人车要标定的煤矿综采面环境模板全部位于双目摄像头图像视野中的前提下,从至少两个方向对要标定的综采面环境模板进行拍照,采集标定模板图像;
步骤3)将采集到的标定模块图像中检测到的特征点与实际标定环境的特征点建立对应关系,采用张正友的平面标定算法自动计算出双目摄像头优化的内参数矩阵,并保存到双目摄像头标定模块中。
5.根据权利要求3所述的一种基于SLAM技术的煤矿综采面巡视无人车,其特征在于:全局重定位算法是将双目摄像头获取的图像信息添加到第一步的初始煤矿环境初始地图中,重新进行特征点匹配,直到匹配成功。
CN201910201520.1A 2019-03-18 2019-03-18 基于slam技术的煤矿综采面巡视无人车以及自主巡视的方法 Active CN110058587B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910201520.1A CN110058587B (zh) 2019-03-18 2019-03-18 基于slam技术的煤矿综采面巡视无人车以及自主巡视的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910201520.1A CN110058587B (zh) 2019-03-18 2019-03-18 基于slam技术的煤矿综采面巡视无人车以及自主巡视的方法

Publications (2)

Publication Number Publication Date
CN110058587A true CN110058587A (zh) 2019-07-26
CN110058587B CN110058587B (zh) 2022-09-13

Family

ID=67316916

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910201520.1A Active CN110058587B (zh) 2019-03-18 2019-03-18 基于slam技术的煤矿综采面巡视无人车以及自主巡视的方法

Country Status (1)

Country Link
CN (1) CN110058587B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113589825A (zh) * 2021-08-23 2021-11-02 内蒙古白音华蒙东露天煤业有限公司 露天煤矿车用基于电子地图的驾驶辅助***及预警方法
WO2023123642A1 (zh) * 2021-12-29 2023-07-06 中国矿业大学 深部受限空间无人运输设备可行驶域检测和自主避障方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105573310A (zh) * 2014-10-11 2016-05-11 北京自动化控制设备研究所 一种煤矿巷道机器人定位与环境建模方法
CN107015193A (zh) * 2017-04-18 2017-08-04 中国矿业大学(北京) 一种双目ccd视觉矿井移动目标定位方法及***
CN107193279A (zh) * 2017-05-09 2017-09-22 复旦大学 基于单目视觉和imu信息的机器人定位与地图构建***
CN107727066A (zh) * 2016-08-10 2018-02-23 大众汽车有限公司 用于创建或补充机动车的地图的方法和设备
CN108345305A (zh) * 2018-01-31 2018-07-31 中国矿业大学 无轨胶轮车智能车载***、井下车辆调度***和控制方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105573310A (zh) * 2014-10-11 2016-05-11 北京自动化控制设备研究所 一种煤矿巷道机器人定位与环境建模方法
CN107727066A (zh) * 2016-08-10 2018-02-23 大众汽车有限公司 用于创建或补充机动车的地图的方法和设备
CN107015193A (zh) * 2017-04-18 2017-08-04 中国矿业大学(北京) 一种双目ccd视觉矿井移动目标定位方法及***
CN107193279A (zh) * 2017-05-09 2017-09-22 复旦大学 基于单目视觉和imu信息的机器人定位与地图构建***
CN108345305A (zh) * 2018-01-31 2018-07-31 中国矿业大学 无轨胶轮车智能车载***、井下车辆调度***和控制方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
周全: "双目视觉下的SLAM三维场景建图及物体识别研究", 《万方学位论文库》 *
王晓华: "一种新的自主移动机器人主动式SLAM算法", 《***工程与电子技术》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113589825A (zh) * 2021-08-23 2021-11-02 内蒙古白音华蒙东露天煤业有限公司 露天煤矿车用基于电子地图的驾驶辅助***及预警方法
WO2023123642A1 (zh) * 2021-12-29 2023-07-06 中国矿业大学 深部受限空间无人运输设备可行驶域检测和自主避障方法
US20230305572A1 (en) * 2021-12-29 2023-09-28 China University Of Mining And Technology Method for drivable area detection and autonomous obstacle avoidance of unmanned haulage equipment in deep confined spaces
US11880208B2 (en) 2021-12-29 2024-01-23 China University Of Mining And Technology Method for drivable area detection and autonomous obstacle avoidance of unmanned haulage equipment in deep confined spaces

Also Published As

Publication number Publication date
CN110058587B (zh) 2022-09-13

Similar Documents

Publication Publication Date Title
CN108345005B (zh) 巷道掘进机的实时连续自主定位定向***及导航定位方法
CN107246868B (zh) 一种协同导航定位***及导航定位方法
EP3206768B1 (en) Inspection vehicle control device, control method, and computer program
EP3660231B1 (en) System and method for autonomous operation of heavy machinery
CN109901580A (zh) 一种无人机与无人地面机器人协作循径避障***及其方法
US20170146990A1 (en) Augmented communication and positioning using unmanned aerial vehicles
CN106289285A (zh) 一种关联场景的机器人侦察地图及构建方法
CN106898249B (zh) 一种针对地震灾区通信失效区域的地图构建方法
CN102368158B (zh) 一种果园机械导航定位方法
CN109737981B (zh) 基于多传感器的无人车目标搜索装置及方法
CN103926933A (zh) 一种无人飞行器室内同时定位与环境建模方法
CN108536145A (zh) 一种使用机器视觉进行智能跟随的机器人***及运行方法
CN110456797A (zh) 一种基于2d激光传感器的agv重定位***及方法
WO2015180021A1 (zh) 剪枝机器人***
CN105182992A (zh) 无人机的控制方法、装置
CN107562054A (zh) 基于视觉、rfid、imu和里程计的自主导航机器人
CN107234625A (zh) 视觉伺服定位和抓取的方法
CN111199677B (zh) 一种室外区域的工作地图自动建立方法,装置,存储介质及工作设备
CN110058587A (zh) 基于slam技术的煤矿综采面巡视无人车以及自主巡视的方法
CN109848996A (zh) 基于图优化理论的大规模三维环境地图创建方法
CN105373130A (zh) 基于立体建模的特种设备事故现场信息探测***
CN113447014A (zh) 室内移动机器人、建图方法、定位方法以及建图定位装置
CN107647828A (zh) 安装有鱼眼摄像头的扫地机器人
CN104063884B (zh) 基于运动预测与多模板匹配相结合的图像目标识别方法
CN115665553B (zh) 一种无人机的自动跟踪方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Zhao Shuanfeng

Inventor after: Tang Zenghui

Inventor after: Wang Chao

Inventor after: He Haitao

Inventor after: Guo Wei

Inventor after: Wang Yuan

Inventor before: Zhao Shuanfeng

Inventor before: Wang Chao

Inventor before: He Haitao

Inventor before: Guo Wei

Inventor before: Wang Yuan

GR01 Patent grant
GR01 Patent grant