CN110058587B - 基于slam技术的煤矿综采面巡视无人车以及自主巡视的方法 - Google Patents

基于slam技术的煤矿综采面巡视无人车以及自主巡视的方法 Download PDF

Info

Publication number
CN110058587B
CN110058587B CN201910201520.1A CN201910201520A CN110058587B CN 110058587 B CN110058587 B CN 110058587B CN 201910201520 A CN201910201520 A CN 201910201520A CN 110058587 B CN110058587 B CN 110058587B
Authority
CN
China
Prior art keywords
unmanned vehicle
coal mine
fully
mining face
mechanized mining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910201520.1A
Other languages
English (en)
Other versions
CN110058587A (zh
Inventor
赵栓峰
唐增辉
王超
贺海涛
郭卫
王渊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Science and Technology
Original Assignee
Xian University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Science and Technology filed Critical Xian University of Science and Technology
Priority to CN201910201520.1A priority Critical patent/CN110058587B/zh
Publication of CN110058587A publication Critical patent/CN110058587A/zh
Application granted granted Critical
Publication of CN110058587B publication Critical patent/CN110058587B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/027Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于SLAM技术的煤矿综采面巡视无人车以及自主巡视的方法,首先对综采面SLAM模块进行初始化,并且获得煤矿初始环境地图;将在当前位置采集到的煤矿环境图像信息与初始环境地图进行特征点匹配,如果匹配成功,无人车在巡视过程中不断添加新位置的环境地图点,构成当前煤矿环境地图,同时对当前煤矿环境地图不停地进行更新;当综采面巡视无人车对当前矿井位置对应的巡视任务完成后,综采面巡视无人车将以最优路径到达下一目标点进行巡视。本发明可以使工作人员很便捷的掌握综采工作面的实际变化情况以及整个矿井下面的地理位置与环境变化,又能对灾情做提前预警等工作,很大程度上节省了人力和财力。

Description

基于SLAM技术的煤矿综采面巡视无人车以及自主巡视的方法
技术领域
本发明涉无人车定位领域,具体涉及无人车在煤矿综采面的定位以及环境地图构建。
背景技术
随着无人驾驶技术以及SLAM技术的进步,无人车的应用越来越广泛,但无人车在矿井中对煤矿综采面的实地状况检测以及对整个矿井环境构建的应用少之又少。
矿用综采面巡视无人车在矿井下面工作时的实地定位以及对矿井下面特征位置的定位是非常重要的,然而传统的定位方法是GPS定位、AGPS定位、站定位和WIFI定位等定位方式,这些定位方法对信号要求较高,容易被干扰,并且定位精度较低误差大。
发明内容
本发明的目的是提出了一种基于SLAM技术的煤矿综采面巡视无人车以及自主巡视的方法,定位精度高误差小。
本发明的技术方案是,一种基于SLAM技术的煤矿综采面巡视无人车,所述综采面巡视无人车包括双目摄像头、防护架、底盘、防爆箱,其特征在于:所述无人车上还搭载有智能模块和传感器模块;所述智能模块包括煤矿环境图像处理模块、双目摄像头标定模块、综采面SLAM模块、煤矿地图维护与无人车路径规划模块;所述防爆箱焊接在无人车底盘上,所述双目摄像头安装在车顶上,双目摄像头顶端安装防护架;所述传感器模块包括惯性传感器;
所述惯性传感器采集无人车的运动信息;
所述双目摄像头获取无人车的图像信息;
所述煤矿环境图像处理模块将双目摄像头采集到的图像信息与矿井中的实际标定环境建立映射关系;
所述综采面SLAM模块根据双目摄像头捕获的图像信息以及惯性传感器采集到的运动信息对无人车在矿井中的位置进行定位,创建初始煤矿环境地图;
所述矿井地图维护与无人车路径规划模块对综采面SLAM模块获得的无人车在矿井中的位置定位信息以及初始煤矿环境地图信息不停地进行更新之后,通过无人车控制***以及采用滚动窗口的路径规划算法确定无人车到达矿井中其它位置的最优路径。
本发明基于SLAM技术的煤矿综采面巡视无人车实现自主巡视的方法包括以下步骤:
第一步:标定双目摄像头的内参数,对综采面SLAM模块进行初始化,并且获得初始煤矿环境地图;
第二步:无人车在矿井巡视时,双目摄像头将在当前位置采集到的图像信息与初始煤矿环境地图进行特征点匹配,如果匹配成功,则进行第三步;如果匹配不成功,无人车的控制***就会认为当前综采面巡视无人车的位置定位质量差,则会触发综采面巡视无人车的局部重定位工作,即将双目摄像头获取的图像信息添加到第一步的初始煤矿环境地图中,再重新进行特征点匹配,直到匹配成功;
第三步:若局部地图特征点匹配成功,无人车采用基于最小二乘法的ICP算法建立综采面巡视无人车运动模型,使用SVD分解法求解运动模型,结合非线性优化的方式求解综采面无人车的位姿;同时无人车在巡视过程中不断添加新位置的环境地图点,构成当前煤矿环境地图,同时对当前煤矿环境地图进不停地行更新;
第四步:当无人车对当前矿井位置对应的巡视任务完成后,通过无人车控制***以及采用滚动窗口的路径规划算法确定无人车到达矿井中下一目标位置的最优路径,无人车将以最优路径到达下一目标位置进行继续巡视工作。
本发明基于视觉SLAM技术对无人车在煤矿综采面、煤矿液压支架、巷道等多个的位置进行自主定位和环境构建,同时无人车可以对整个矿井进行巡逻监控、灾情预警,可以使工作人员很便捷的掌握综采工作面的实际变化情况以及整个矿井下面的地理位置与环境变化,又能对灾情做提前预警等工作,很大程度上节省了人力和财力。
附图说明
通过结合附图对本申请进行更详细的描述,本申请的目的、特征和优势将变得更加明显。附图用来对本申请实施进一步理解。
图1是综采面巡视的外形结构示意图。
图2是综采面巡视无人车智能模块构成图。
图3是综采面巡视无人车基于SLAM的定位方法的步骤流程示意图。
具体实施方式
下面,将参考附图对本申请综采面巡视无人车做具体说明,具体包括如下描述:
综采面巡视无人车具体外形模型示意图如图1所示。包括双目摄像头2、防护架1、底盘4、防爆箱3,所述防爆箱3焊接在综采面巡视无人车底盘4上,所述双目摄像头2安装在车顶上,双目摄像头2顶端安装防护架1,防止煤块或其它物体滚落砸坏双目摄像头。
所述无人车定制防爆箱3采用铝合金外壳压铸成型,表面高压静电喷塑。
如图2所示,所述综采面巡视无人车上还搭载有智能模块和惯性传感器;所述智能模块包括煤矿环境图像处理模块、双目摄像头标定模块、综采面SLAM模块、矿井地图维护与无人车路径规划模块。
所述无人车控制***由英伟达TX2开发版以及ROS操作***组成。小车采用ROS操作***来实现不同硬件之间的通信。ROS***使用官方提供的开发套件在英伟达TX2开发版上创建ROS话题,将综采面巡视无人车的控制算法、综采面SLAM算法、滚动窗口的路径规划算法等提前写入到开发板中。
如图3所示,本发明基于SLAM技术的综采面巡视无人车实现自主定位、导航、矿井综采面巡视等技术问题是通过以下步骤完成。
第一步、由于综采面巡视无人车工作环境的特殊性,要先对无人车搭载的双目摄像头做内参数标定,对综采面SLAM模块进行初始化,并且获得初始煤矿环境地图。
内参数标定的具体步骤如下:
步骤1)将双目摄像头对准所要标定的综采面环境模板;
步骤2)启动双目摄像头标定模块,在保证无人车要标定的煤矿综采面环境模板全部位于无人车搭载的双目摄像头图像视野中的前提下,从至少两个方向对要标定的综采面环境模板进行拍照,采集标定模板图像;
步骤3)将采集到的标定模块图像中的特征点与实际标定环境的特征点建立对应关系,采用张正友的平面标定算法自动计算出综采面巡视无人车的摄像头优化的内参数矩阵,并保存到双目摄像头标定模块。
第二步、无人车在矿井巡视时,将在当前位置采集到的煤矿环境图像信息与初始煤矿环境地图进行特征点匹配,如果匹配成功,则进行第三步;如果匹配不成功,无人车的控制***就会认为当前综采面巡视无人车的位置定位质量差,则会触发综采面巡视无人车的局部重定位工作。
局部重定位工作具体包括以下步骤:
步骤1):将双目摄像头采集到的局部图像信息加入SLAM模块建立的初始煤矿环境地图中;
步骤2):利用双目摄像头将采集到的图像信息与无人车当前工作位置对应的新的环境地图进行特征点匹配。
第三步:若特征点匹配成功,无人车采用基于最小二乘法的ICP算法建立综采面巡视无人车运动模型,使用SVD分解法求解运动模型,结合非线性优化的方式求解综采面无人车当前位姿;同时根据匹配结果自动更新综采面SLAM模块;更新综采面巡视无人车在当前工作位置的地图特征点,并把该更新后的地图特征点添加到初始煤矿环境地图中,更新当前无人车在煤矿所在位置对应的地图。
本发明采用基于煤矿环境主方向的灰度直方图最小均方误差(Minimum MeanSquared Error,缩略词为MMSE)算法进行特征点匹配。
第四步,当无人车对当前矿井位置对应的巡视任务完成后,通过无人车控制***以及采用滚动窗口的路径规划算法确定无人车到达矿井中下一目标位置的最优路径,无人车将以最优路径到达下一目标位置进行继续巡视工作。
滚动窗口的路径规划算法具体步骤如下:
步骤1)初始化无人车所有参数,如起始点、目标点、工作环境,并设置滚动窗口的大小,综采面巡视无人车每次移动的步长;
步骤2)对当前滚动窗口的环境信息不断地更新,若窗口内存在动态障碍物,则根据其线性预测模型预测障碍物的下一时刻的运动状态;若没有动态障碍物,则矿井无人车根据窗口内生成的局部最优子目标点,规划一条朝其方向移动的局部最优路径;
步骤3)根据碰撞预测,对综采面巡视无人车做出相应的避障策略;
步骤4)综采面巡视无人车根据相应的避障策略,停止一段时间或改变速度找出一条与障碍物无碰撞的路径;
步骤5)按照设定的步数,向规划好的路径移动,且步长不能大于窗口半径;
步骤6)若综采面巡视无人车到达目标位置,则算法结束,以上内容是结合具体方式对本发明做详细介绍。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (4)

1.一种基于SLAM技术的煤矿综采面巡视无人车,所述综采面巡视无人车包括双目摄像头(2)、防护架(1)、底盘(4)、防爆箱(3),其特征在于:所述无人车上还搭载有智能模块和传感器模块;所述智能模块包括煤矿环境图像处理模块、双目摄像头标定模块、综采面SLAM模块、煤矿地图维护与无人车路径规划模块;所述防爆箱(3)焊接在无人车底盘(4)上,所述双目摄像头(2)安装在车顶上,双目摄像头(2)顶端安装防护架(1);所述传感器模块包括惯性传感器;所述惯性传感器采集无人车在矿井中的运动信息;所述双目摄像头获取无人车在矿井中的图像信息;所述煤矿环境图像处理模块将双目摄像头采集到的图像信息与矿井中的实际标定环境建立映射关系;所述综采面SLAM模块根据双目摄像头捕获的图像信息以及惯性传感器采集到的运动信息对无人车在矿井中的位置进行定位,创建初始煤矿环境地图;所述煤矿地图维护与无人车路径规划模块对综采面SLAM模块获得的无人车在矿井中的位置定位信息以及初始煤矿环境地图信息不停地进行更新之后,通过无人车控制***以及采用滚动窗口的路径规划算法确定无人车到达矿井中其它位置的最优路径;
所述综采面巡视无人车实现矿井自主巡视的方法包括以下步骤:
第一步:标定双目摄像头的内参数,对综采面SLAM模块进行初始化,并且获得初始煤矿环境地图;
第二步:无人车在矿井巡视时,双目摄像头将在当前位置采集到的图像信息与初始煤始环境地图进行特征点匹配,如果匹配成功,则进行第三步;如果匹配不成功,则启动全局重定位算法重新进行匹配,直到匹配成功;
第三步:若特征点匹配成功,无人车采用基于最小二乘法的ICP算法建立综采面巡视无人车运动模型,使用SVD分解法求解运动模型,结合非线性优化的方式求解综采面无人车的位姿;同时无人车在巡视过程中不断添加新位置的环境地图点,构成当前煤矿环境地图,同时对当前煤矿环境地图不停地进行更新;
第四步:当无人车对当前矿井位置对应的巡视任务完成后,通过无人车控制***以及采用滚动窗口的路径规划算法确定无人车到达矿井中下一目标位置的最优路径,无人车将以最优路径到达下一目标位置进行继续巡视工作。
2.根据权利要求1所述的一种基于SLAM技术的煤矿综采面巡视无人车,其特征在于:所述煤矿环境图像处理模块、双目摄像头标定模块、综采面SLAM模块、煤矿地图维护与无人车路径规划模块分别通过各自的应用程序编程接口进行通信。
3.根据权利要求1所述的一种基于SLAM技术的煤矿综采面巡视无人车,其特征在于:第一步标定双目摄像头的内参数,具体步骤如下:
步骤1)将双目摄像头对准所要标定的综采面环境模板;
步骤2)启动双目摄像头标定模块,在保证无人车要标定的煤矿综采面环境模板全部位于双目摄像头图像视野中的前提下,从至少两个方向对要标定的综采面环境模板进行拍照,采集标定模板图像;
步骤3)将采集到的标定模块图像中检测到的特征点与实际标定环境的特征点建立对应关系,采用张正友的平面标定算法自动计算出双目摄像头优化的内参数矩阵,并保存到双目摄像头标定模块中。
4.根据权利要求1所述的一种基于SLAM技术的煤矿综采面巡视无人车,其特征在于:全局重定位算法是将双目摄像头获取的图像信息添加到第一步的初始煤矿环境初始地图中,重新进行特征点匹配,直到匹配成功。
CN201910201520.1A 2019-03-18 2019-03-18 基于slam技术的煤矿综采面巡视无人车以及自主巡视的方法 Active CN110058587B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910201520.1A CN110058587B (zh) 2019-03-18 2019-03-18 基于slam技术的煤矿综采面巡视无人车以及自主巡视的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910201520.1A CN110058587B (zh) 2019-03-18 2019-03-18 基于slam技术的煤矿综采面巡视无人车以及自主巡视的方法

Publications (2)

Publication Number Publication Date
CN110058587A CN110058587A (zh) 2019-07-26
CN110058587B true CN110058587B (zh) 2022-09-13

Family

ID=67316916

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910201520.1A Active CN110058587B (zh) 2019-03-18 2019-03-18 基于slam技术的煤矿综采面巡视无人车以及自主巡视的方法

Country Status (1)

Country Link
CN (1) CN110058587B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113589825A (zh) * 2021-08-23 2021-11-02 内蒙古白音华蒙东露天煤业有限公司 露天煤矿车用基于电子地图的驾驶辅助***及预警方法
CN115100622B (zh) * 2021-12-29 2023-09-22 中国矿业大学 深部受限空间无人运输设备可行驶域检测和自主避障方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105573310A (zh) * 2014-10-11 2016-05-11 北京自动化控制设备研究所 一种煤矿巷道机器人定位与环境建模方法
CN107015193A (zh) * 2017-04-18 2017-08-04 中国矿业大学(北京) 一种双目ccd视觉矿井移动目标定位方法及***
CN108345305A (zh) * 2018-01-31 2018-07-31 中国矿业大学 无轨胶轮车智能车载***、井下车辆调度***和控制方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016214868A1 (de) * 2016-08-10 2018-02-15 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Erstellen oder Ergänzen einer Karte für ein Kraftfahrzeug
CN107193279A (zh) * 2017-05-09 2017-09-22 复旦大学 基于单目视觉和imu信息的机器人定位与地图构建***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105573310A (zh) * 2014-10-11 2016-05-11 北京自动化控制设备研究所 一种煤矿巷道机器人定位与环境建模方法
CN107015193A (zh) * 2017-04-18 2017-08-04 中国矿业大学(北京) 一种双目ccd视觉矿井移动目标定位方法及***
CN108345305A (zh) * 2018-01-31 2018-07-31 中国矿业大学 无轨胶轮车智能车载***、井下车辆调度***和控制方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
一种新的自主移动机器人主动式SLAM算法;王晓华;《***工程与电子技术》;20121130;第34卷(第11期);2334-2338 *
双目视觉下的SLAM三维场景建图及物体识别研究;周全;《万方学位论文库》;20181218;9-23、28-33、43-51 *

Also Published As

Publication number Publication date
CN110058587A (zh) 2019-07-26

Similar Documents

Publication Publication Date Title
CN109164809B (zh) 一种车辆编队自主跟随控制***及方法
US11802769B2 (en) Lane line positioning method and apparatus, and storage medium thereof
CN107246868B (zh) 一种协同导航定位***及导航定位方法
US20220371602A1 (en) Vehicle positioning method, apparatus, and controller, intelligent vehicle, and system
CN109753081B (zh) 一种基于机器视觉的巷道巡检无人机***及导航方法
CN112518739B (zh) 履带式底盘机器人侦察智能化自主导航方法
WO2022205942A1 (zh) 基于数据共享的多智能车辆协同定位追踪方法及装置
US20170146990A1 (en) Augmented communication and positioning using unmanned aerial vehicles
CN111693050B (zh) 基于建筑信息模型的室内中大型机器人导航方法
EP3913328B1 (en) Vehicle positioning system and method, and vehicle
CN111982114B (zh) 一种采用imu数据融合估计三维位姿的救援机器人
CN111142091A (zh) 一种融合车载信息的自动驾驶***激光雷达在线标定方法
CN110058587B (zh) 基于slam技术的煤矿综采面巡视无人车以及自主巡视的方法
US20230059996A1 (en) Mine vehicle safety control
US20230087467A1 (en) Methods and systems for modeling poor texture tunnels based on vision-lidar coupling
CN112068543A (zh) 基于视觉校准的煤矿钻锚机器人钻孔精确定位方法
CN116560357A (zh) 一种基于slam的隧道巡检机器人***及巡检控制方法
Mao et al. Virtual laser target board for alignment control and machine guidance in tunnel-boring operations
CN115235464A (zh) 一种定位方法及其装置、移动工具
CN113581320A (zh) 矿山自主三维测绘无人车及测绘方法
US20220343585A1 (en) Positioning of mobile device in underground worksite
CN113047290A (zh) 一种桩机的对孔方法、装置、桩机及可读存储介质
Deusch et al. Improving localization in digital maps with grid maps
CN116704019A (zh) 一种基于锚杆网络的钻锚机器人单目视觉定位方法
CN113777589B (zh) 一种基于点特征的lidar与gps/imu联合标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Zhao Shuanfeng

Inventor after: Tang Zenghui

Inventor after: Wang Chao

Inventor after: He Haitao

Inventor after: Guo Wei

Inventor after: Wang Yuan

Inventor before: Zhao Shuanfeng

Inventor before: Wang Chao

Inventor before: He Haitao

Inventor before: Guo Wei

Inventor before: Wang Yuan

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant