CN117308900B - 井下运输车移动测量***、运载通行状态模拟与监测方法 - Google Patents

井下运输车移动测量***、运载通行状态模拟与监测方法 Download PDF

Info

Publication number
CN117308900B
CN117308900B CN202311624264.XA CN202311624264A CN117308900B CN 117308900 B CN117308900 B CN 117308900B CN 202311624264 A CN202311624264 A CN 202311624264A CN 117308900 B CN117308900 B CN 117308900B
Authority
CN
China
Prior art keywords
model
carrying
module
roadway
transport vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311624264.XA
Other languages
English (en)
Other versions
CN117308900A (zh
Inventor
李猛钢
胡琨
周公博
李悦
唐超权
胡而已
周坪
张运通
路宇星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
Original Assignee
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT filed Critical China University of Mining and Technology CUMT
Priority to CN202311624264.XA priority Critical patent/CN117308900B/zh
Publication of CN117308900A publication Critical patent/CN117308900A/zh
Application granted granted Critical
Publication of CN117308900B publication Critical patent/CN117308900B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1652—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with ranging devices, e.g. LIDAR or RADAR
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C7/00—Tracing profiles
    • G01C7/06—Tracing profiles of cavities, e.g. tunnels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/18—Self-organising networks, e.g. ad-hoc networks or sensor networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及矿井运输车测量技术领域，且公开了一种井下运输车移动测量***、运载通行状态模拟与监测方法，井下运输车移动测量***包括感知测量模块，计算模块，用于处理感知测量模块传输的数据；隔离模块，用于为感知测量模块提供与计算模块的通信隔离；通讯模块，用于井下不同区域的无线通信；本安电源模块，用于供电，转换为对应电器的电压等级；供电模块，显示屏，用于本地显示建模、监测状态；感知测量模块包括线激光传感器、本质安全型激光雷达、本质安全型相机、惯性测量单元和超宽带测距单元。本发明能够实现煤矿运输车在运载液压支架等大件设备时，对于运载通行状态的动态模拟与智能监测，实现高效、安全、可靠的大件设备运载。

Description

井下运输车移动测量***、运载通行状态模拟与监测方法
技术领域
本发明涉及矿井运输车测量技术领域，尤其是涉及一种井下运输车移动测量***、运载通行状态模拟与监测方法。
背景技术
煤矿井下工作面采煤机、液压支架、乳化液泵等大型机电设备的运输过程中，通常依靠人员操作推动、驾驶平板车或单轨吊机车进行运输。为加强矿井运输安全管理、消除运输事故，设备运输前，必须依靠信号工通过人工巡视和手动测量方法，对巷道、轨道条件等进行全面细致的测量、检查，对巷道实时情况是否满足通行条件、支架等设备高度和宽度是否符合运输要求、途经路线的顶底板与侧壁状态等情况进行严格把控，工作量大，而且人工测量存在较大的误差，导致运载设备运输过程掉道、卡阻等事故时有发生，安全性、可靠性难以保证；运输过程中，司机和信号员必须事先取得联系，根据反馈的信号缓慢控制车辆运输，在视线不清、未听清哨音、未看清指令情况下必须停车，严重限制了运输效率；信号工必须靠人工巡视及时清理巷道内及附近人员，确保无人停留或作业，难以避免具有安全隐患；平板车、单轨吊机车运行工况复杂环境恶劣，行驶过程存在起伏、拐弯、边坡、皮带机等固定障碍，运输大件装备过程危险性高、可通行效果无法预先知晓，带来极大隐患。因此，急需改善现有运输前及运输过程中必须依靠人工检查和测量巷道情况的现状，提升运输过程智能化水平。
发明内容
本发明的目的是提供一种井下运输车移动测量***、运载通行状态模拟与监测方法，解决上述背景技术中提出的问题。
为实现上述目的，本发明提供了一种井下运输车移动测量***，
包括感知测量模块，
计算模块，用于处理感知测量模块传输的数据；
隔离模块，用于为感知测量模块提供与计算模块的通信隔离；
通讯模块，用于井下不同区域的无线通信；
本安电源模块，用于为感知测量模块、计算模块、隔离模块、通讯模块分路供电，转换为对应电器的电压等级；
供电模块，用于输出直流电为各类用电设备供电；
显示屏，用于本地显示建模、监测状态；
计算模块、隔离模块、本安电源模块、通讯模块、供电模块安装于运输车的隔爆控制柜内，隔爆控制柜安装于运输车上，隔爆控制柜上设置有传感器支架，感知测量模块安装于传感器支架上；
感知测量模块包括线激光传感器，用于扫描巷道区域；
本质安全型激光雷达，用于采集三维点云数据；
本质安全型相机，用于观测巷道断面形态以及线激光扫描区域；
惯性测量单元，用于获取姿态信息；
超宽带测距单元，用于实现无线传感器网络定位。
优选的，本质安全型激光雷达的数量和安装角度根据运输车与运载设备的情况进行部署，本质安全型激光雷达在行进过程中采集巷道断面的三维点云数据；
本质安全型相机安装于运输车的传感器支架上，本质安全型相机为视觉相机，本质安全型相机的数量根据实际需求进行部署，本质安全型相机用于观测前方巷道断面整体形态以及线激光扫描区域；
感知测量模块中的惯性测量单元根据实际情况部署于隔爆控制柜上；
超宽带测距单元通过与基站交互测距实现无线传感器网络定位。
优选的，计算模块包括CPU、GPU处理器、存储器，用于执行移动测量与数据采集、多源信息融合建模、图形用户界面人机交互、运载状态仿真模拟、关键参数生成、防撞避障策略生成的核心功能运算；计算模块输入输出接口包括通信端口、SD卡槽。
优选的，隔离模块包括多路信号隔离电路；本安电源模块包括不同电压等级的多路本安供电。
优选的，通讯模块采用网桥、WIFI6、无线Mesh组合方式，天线外置并符合本质安全型要求；供电模块包括若干个浇封兼本安电源箱以及电源开关、航空插头。
一种运载通行状态模拟方法，包括以下步骤：
S101，感知测量模块外参标定：对感知测量模块的传感器进行内外参标定，获得激光雷达畸变校正参数、视觉相机内参、惯性测量单元零偏、超宽带测距修正系数；
S102，感知测量模块安装：根据装载设备尺寸，现场安装测量设备，调整本质安全型激光雷达、本质安全型相机、线激光传感器的位置、方向，根据实际情况在运输车上安装照明设备；
S103，原始数据采集录制：驾驶或远程遥控空载运输车，往复一次并采集巷道数据，包括三维点云、巷道周围环境图像、线激光被观测相机图像、超宽带测量距离、加速度、角速度原始信息；利用机器人操作***的工具进行数据采集录制；
S104，多源信息融合SLAM（同步定位与地图构建）建模：利用多个不同位姿部署的雷达、相机、惯性数据与UWB传感器信息，执行多源信息融合SLAM建模，获得三维原始点云模型与三维彩色点云模型；
S105，模型离线优化：将多源信息融合SLAM建模结果进行后处理，对点云模型进行降噪、滤波处理，对冗余数据进行裁剪和精简；
S106，巷道模型关键信息提取：综合利用视觉与线激光三角测量方法、多源信息融合SLAM获得的三维点云模型参数估计方法，对巷道横截面、轮廓尺寸、中轴线进行联合估计；
S107，运载设备装载与包络面尺寸测量：在运输车上装载设备，测量装载设备的包络面关键尺寸；
S108，生成装载模型：利用包络面尺寸，输入软件界面并生成简化装备模型，根据设备类型生成立方体、圆柱、球体的实体模型；
S109，生成运载模型：根据采用的运输车运载设备体积、尺寸的基本参数，在软件界面选项卡中选择并加载运输车模型，将运输车模型与被载设备模型进行组合，生成最终的运载模型；
S110，运行状态模拟：基于机器人操作***使用框架平台，导入运载模型，加载多源信息融合SLAM获得的运行轨迹，驱动运载模型运动，开展运行状态模拟动态演示，观察实际运行情况；
S111，数据分析与预警预测：基于运行状态模拟过程，输出相关测量数据、关键参量，对危险区域报警信息进行分析处理，对无法通行区域的参数进行计算输出，输出全巷道的通行性分析报告；设定阈值，对无法通行或有风险区域进行等级划分、预警和预测。
优选的，S104中，多源信息融合SLAM建模过程中，利用激光-视觉-惯性-超宽带紧耦合方式进行信息融合。
优选的，S106中，巷道模型关键信息提取过程中，视觉与线激光三角测量方法，通过将线束激光进行投影，利用投影光斑在巷道内壁上形成线状条纹，基于视觉图像计算条纹每个点的投影高度，采用黎曼积分将每点高度累加得到轮廓投影的截面积，实现对巷道横截面、轮廓尺寸、中轴线巷道关键参数的测量与估计；三维点云模型参数估计方法，利用多源信息融合SLAM建模获得的三维点云模型进一步开展点云拼接、降噪与精简，基于投影法计算中轴线、利用多项式函数拟合外轮廓曲线，实现对巷道横截面、轮廓尺寸、中轴线巷道关键参数的测量与估计；通过加权平均计算上述两种方法获得的关键参数实现联合估计。
优选的，S110中，在运行状态模拟中，加载的运输车型号根据平板车类型进行多选项卡的选择，通过人机交互界面设置挂载设备的大小、形状参数，生成对应的标志，实现与运输车的同步驱动动态演示。
优选的，S111中，在数据分析与预警预测过程中，根据生成的三维点云模型中点云的坐标、运输车运载模型的位姿，计算并生成运输车运载模型与巷道点云的距离S，S小于设定阈值S th ，则进行预警并提示预警位置的装载模型位置与姿态、距离大小，预测即将撞击的位置并高亮显示。
一种运载通行状态监测方法，包括以下步骤：
S201，巷道、运载装备数字孪生模型构建：利用运载通行状态模拟方法中的多源信息融合SLAM建模获得的巷道点云模型构建巷道数字孪生模型，利用S109中生成的运载模型构建运载装备的数字孪生模型，导入Unity3D仿真引擎中，构建初始可视化仿真模型；
S202，基于多源信息融合SLAM的运载状态实景更新、实时位姿驱动：以Unity3D中巷道的初始可视化数字孪生模型为基础，在运输车运载设备运动过程中，基于多源信息融合SLAM获得的高精度点云模型对基础模型进行实景更新，基于多源信息融合SLAM获得的实时位姿驱动数字孪生仿真模型运动；
S203，基于多传感器融合的多类型目标实时检测、识别、分割与定位：运载装备移动过程中，利用激光点云、视觉图像进行基于深度学习网络的目标检测、目标识别及语义分割，对人员、车辆、装备这些动静态物体进行检测、识别、分割与定位；
S204，基于强化学***台，实时导入运行过程中的巷道、运载装备数字孪生模型，以及多类型多目标实时检测、识别、分割、定位结果，基于强化学习方法对孪生体仿真模型进行场景拓展、对未来状态进行自主推演，综合仿真推演结果与现场反馈观测数据修正决策方案，生成防撞避障策略，对车辆运行过程的危险情况进行在线预警，实现车辆运行状态的智能监测；
S205，运载通行状态虚实交互与人机可视化：基于多源信息融合SLAM构建的巷道实时点云模型与已构建的巷道孪生体进行虚实叠加与融合显示，基于增强现实实现沉浸式多感知互动的人机可视化交互。
优选的，S203中，基于多传感器融合的多类型目标实时检测、识别、分割与定位过程，利用多任务多模态深度学习网络进行检测、识别与分割任务，基于多传感器外参标定结果、基于多源信息融合SLAM的实时位姿估计，实现多类型多目标的六自由度位姿估计，实现定位。
优选的，S205中，运载通行状态虚实交互与人机可视化中，孪生体虚实叠加与融合显示过程，以巷道实时构建的局部彩色点云模型实现实时映射、实景映射、高频更新的物理体与虚拟体数字孪生功能；基于增强现实的沉浸式多感知互动，包括防爆AR头盔、眼镜、显示屏幕、音频接口共同组成综合交互平台，对运载过程、危险区域、工作计划进行文字提示、语音播报，实现人机交互与可视化预警。
因此，本发明采用上述一种井下运输车移动测量***、运载通行状态模拟与监测方法，具有以下有益效果：（下面的三点就是有益效果，就是直接说明发明的优点或创新点，不需要体现）
（1）本发明提出的井下运输车移动测量***、运载通行状态模拟与监测方法，通过构建井下运输车辆移动测量***，能够实现运输车辆在运载过程前对于途径巷道各处整体情况的精细化测量与建模，实现对于运输巷道关键参数的准确、自动、全面的测定与记录，进而实现对运载过程状态的提前预判；
（2）本发明提出的井下运输车移动测量***、运载通行状态模拟与监测方法，利用构建的巷道模型进行运载通行状态模拟，能够实现运输车辆及运载设备在巷道模型中的动态运动过程的全方位演示与模拟，直观展示运载过程与巷道模型的相对位姿关系，同时计算出运载装备与巷道模型的最小距离等参数，从而实现运载过程安全状态的危险等级划分、预警和预测；
（3）本发明提出的井下运输车移动测量***、运载通行状态模拟与监测方法，利用在线开展的运载通行状态监测，基于数字孪生、强化学习、增强现实等技术，实现已构建巷道模型与实时构建孪生体的虚实叠加与智能交互，利用沉浸式多感知互动的人机可视化方法实现运载过程状态监测，智能化程度高，对于运载过程的模拟、可视化效果更加逼真，为进一步开展智能控制提供真三维、高精度工况仿真模拟能力。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明实施例井下运输车移动测量***组成示意图；
图2为本发明实施例井下运输车移动测量***的装置安装示意图；
图3为本发明实施例运载通行状态模拟方法流程图；
图4为本发明实施例运载通行状态监测方法流程图；
图5为本发明实施例多源融合定位方法流程示意图；
图6是本发明实施例标准卡尔曼滤波迭代结构图。
附图标记
1、运输车；2、隔爆控制柜；3、本质安全型激光雷达；4、本质安全型相机；5、惯性测量单元；6、超宽带测距单元；7、线激光传感器。
具体实施方式
以下通过附图和实施例对本发明的技术方案作进一步说明。
除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。术语“设置”、“安装”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
实施例
如图1所示，本发明所述的一种井下运输车移动测量***，
包括感知测量模块、计算模块、隔离模块、通讯模块、本安电源模块、供电模块，具备隔爆兼本安防爆形式。计算模块、隔离模块、本安电源模块、通讯模块、供电模块安装于运输车1的隔爆控制柜2内。隔爆控制柜2与运输车1固定连接，安装于不受液压支架等大件设备干涉的运输车1上的某一位置，通过人工测量可以快速获得此位置相对于车辆形状中心位置的外参变换关系。隔爆控制柜2上设置有传感器支架。本测量***还包括显示屏，用于本地显示建模、监测状态。
如图2所示，感知测量模块安装于传感器支架上，根据运输车1与运载设备特征选择安装位置并固定于运输车1上。感知测量模块包括线激光传感器7、本质安全型激光雷达3、本质安全型相机4、惯性测量单元5和超宽带测距单元6，传感器之间的安装外参变换关系可通过机械安装关系直接获得。感知测量模块采用的本质安全型激光雷达3的数量和安装角度根据运输车1与运载设备实际情况进行部署，部署时在水平方向上调整各个雷达的位置，以适应实际情况，并确保有效地覆盖目标区域，在垂直方向上进行调整各个雷达的位置，以满足感知需求，通过本质安全型激光雷达3在行进过程中采集巷道断面附近完整的三维点云数据。本质安全型相机4为视觉相机，本质安全型相机4安装于运输车1上，数量根据实际需求进行部署，观测前方巷道断面整体形态以及线激光扫描区域。感知测量模块中的惯性测量单元5可根据实际情况部署于隔爆控制柜2上，以便于测量外参变换关系为宜。感知测量模块中的超宽带测距单元6仅在巷道中部署有超宽带基站时发挥作用，通过与基站交互测距实现无线传感器网络定位。
计算模块用于处理感知测量模块传输的数据，包含CPU、GPU处理器、存储器，用于执行移动测量与数据采集、多源信息融合建模、图形用户界面人机交互、运载状态仿真模拟、关键参数生成、防撞避障策略生成等核心功能运算。计算模块输入输出接口包含常规通信端口，包括但不限于USB、RJ45、HDMI、VGA等，同时包含SD卡槽、固态硬盘，可以快速插拔，实现数据快速拷贝和转移。隔离模块包含多路信号隔离电路，包括但不限于RS232、RS485、光电信号隔离（如***）等隔离电路，为感知测量模块提供与计算模块的通信隔离。本安电源模块包含不同电压等级的多路本安供电，用于为感知测量计算模块、隔离模块、通讯模块分路供电，转换为对应电器的电压等级。通讯模块采用网桥、WIFI6、无线Mesh组合方式，天线外置并满足本质安全型要求，适应井下不同区域的无线通信需求。供电模块包含多个浇封兼本安电源箱，可以输出满足续航要求的直流电为各类用电设备供电；供电模块还包含满足本质安全型要求的电源开关、航空插头，用于控制供电模块输出电路的通断以及充电电路的接入。
如图3所示，本发明所述的一种运载通行状态模拟方法，基于井下运输车1移动测量***，执行以下步骤：
S101、感知测量模块外参标定：对感知测量模块包含的本质安全型激光雷达3、视觉相机、惯性测量单元5等多传感器进行内外参标定，获得激光雷达畸变校正参数、视觉相机内参、惯性测量单元5零偏、超宽带测距修正系数；
S102、感知测量模块安装：根据装载设备尺寸，现场安装测量设备，调整本质安全型激光雷达3、视觉相机、线激光传感器7的位置、方向，根据实际情况在机车上安装照明；
S103、原始数据采集录制：驾驶或远程遥控空载板车，往复一次并采集巷道数据，包括但不限于三维点云、巷道周围环境图像、线激光被观测相机图像、超宽带测量距离、加速度、角速度等原始信息；作为一种实施方式，利用机器人操作***的Rosbag工具进行数据采集录制；
S104、多源信息融合SLAM建模：利用多个不同位姿部署的雷达、相机、惯性数据与UWB传感器信息，执行多源信息融合SLAM建模，获得三维原始点云模型与三维彩色点云模型；
S105、模型离线优化：将多源信息融合SLAM建模结果进行后处理，对点云模型进行降噪、滤波处理，对冗余数据进行裁剪和精简；
S106、巷道模型关键信息提取：综合利用视觉与线激光三角测量方法、多源信息融合SLAM获得的三维点云模型参数估计方法，对巷道横截面、轮廓最大尺寸、轮廓最小尺寸、中轴线进行联合估计；
S107、运载设备装载与包络面尺寸测量：在运输车1上装载设备，尽可能按照立方体规则装载；测量装载设备的包络面关键尺寸；
S108、生成装载模型：利用包络面尺寸，快速输入软件界面并生成简化装备模型，根据设备类型生成立方体、圆柱、球体等实体模型；
S109、生成运载模型：根据采用的运输车1运载设备体积、尺寸等基本参数，在软件界面选项卡中选择并加载运输模型，将运输车1模型与被载设备模型进行组合，生成最终的运载模型；
S110、运行状态模拟：基于机器人操作***（ROS）使用Gazebo和Rviz框架平台，导入运载模型，加载多源信息融合SLAM获得的运行轨迹，驱动运载模型运动，开展运行状态模拟动态演示，观察实际运行情况；
S111、数据分析与预警预测：基于运行状态模拟过程，输出相关测量数据、关键参量，对危险区域报警信息进行分析处理，对无法通行区域的参数进行计算输出，输出全巷道可通行性分析报告；设定阈值，对无法通行或有风险区域进行等级划分、预警和预测。
S101感知测量模块外参标定与S104多源信息融合SLAM建模也可以同步执行，即离线标定和在线标定；S104多源信息融合SLAM建模过程中，利用激光-视觉-惯性-超宽带紧耦合方式进行信息融合，作为一种实施方式，基于迭代误差扩展卡尔曼滤波（IESKF）、因子图优化（FGO）进行紧耦合融合。
S101感知测量模块外参标定与S104多源信息融合SLAM建模也可以同步执行，即离线标定和在线标定，在线标定的方法主要采用了建图算法本身通过利用图优化或者卡尔曼滤波的方式对状态进行估计，估计雷达和相机的状态来估计两者的相对平移和旋转。离线估计的方法主要是，雷达提供3D数据，而相机提供2D数据，其中3D点是在世界坐标系下的描述，通过pnp的方法最终得到每个时刻相机的位姿，通过非线性优化（比如高斯牛顿法）的方法求解相机和雷达的相对变换。
S104多源信息融合SLAM建模过程中，利用激光-视觉-惯性-超宽带紧耦合方式进行信息融合，作为一种实施方式，基于迭代误差扩展卡尔曼滤波（IESKF）、因子图优化（FGO）进行紧耦合融合；其方法在于：利用基于UWB在线锚点的视觉激光惯性紧耦合里程计进行紧耦合融合，视觉激光惯性紧耦合里程计结构如下：超宽带技术制成的电波测距模块UWB，部署在两个位置，其一是作为锚点部署在环境四周，锚点自身的位置通过在线锚点标定单元计算出；其二是作为标签放置在平板车上，标签按照预设的顺序主动向锚点发送测距请求，根据TW-ToF测量原理获得两个模块之间的距离，通过离群值检测单元以滤除部分噪声后，作为输入送入误差状态卡尔曼滤波器；IMU惯性测量单元用于高频测量平板车的加速度和角速度信息，IMU测量值经过低通滤波器模块处理后，同样作为输入送入误差状态卡尔曼滤波器；双目摄像头的测量值经过视觉里程计的处理后，也作为输入送入误差状态卡尔曼滤波器；激光雷达的测量值经过下采样后同样作为输入送入误差状态卡尔曼滤波器以构建点面残差约束；在线锚点标定单元、离群值检测单元和误差状态卡尔曼滤波器均为供嵌入式机载处理器调用的模块，嵌入式机载处理器利用所述的误差状态卡尔曼滤波器，处理UWB模块之间的距离测量值、IMU测量值和双目摄像头测量值以及激光雷达测量值，用紧耦合优化的方式解析平板车的位置与姿态信息。
S106巷道模型关键信息提取过程中，视觉与线激光三角测量方法，通过将线束激光进行投影，利用投影光斑在巷道内壁上形成线状条纹，基于视觉图像计算条纹每个点的投影高度，采用黎曼积分将每点高度累加得到轮廓投影的截面积，实现对巷道横截面、轮廓最大尺寸、轮廓最小尺寸、中轴线巷道关键参数的测量与估计；三维点云模型参数估计方法，利用多源信息融合SLAM建模获得的三维点云模型进一步开展点云拼接、降噪与精简，基于投影法计算中轴线、利用多项式函数拟合外轮廓曲线，实现对巷道横截面、轮廓最大尺寸、轮廓最小尺寸、中轴线巷道关键参数的测量与估计；通过加权平均计算两种方法获得的关键参数实现联合估计。
S110运行状态模拟中，加载的运输车1型号可根据常用平板车类型进行多选项卡的选择，通过人机交互界面设置挂载设备的大小、形状等参数，在Rviz中快速生成对应的标志（Marker），实现与运输车1的同步驱动动态演示。
S111数据分析与预警预测过程中，根据生成的三维点云模型中点云的坐标、运输车1运载模型的位姿，计算并生成运输车1运载模型与巷道点云的最小距离S，若小于设定阈值S th ，即S＜S th ，则进行预警并提示预警位置的装载模型位置与姿态、最小距离大小，预测即将撞击的位置并高亮显示。作为一种最小距离的计算方法，可以利用暴力搜索计算当前位姿下运输车1上各点坐标到其所在周围巷道局部点云坐标的最小距离。
如图4所示，本发明所述的一种运载通行状态监测方法，基于井下运输车1移动测量***，包含以下步骤：
S201、巷道、运载装备数字孪生模型构建：利用运载通行状态模拟方法中的多源信息融合SLAM建模获得的巷道点云模型构建巷道数字孪生模型、利用S109中生成的运载模型构建运载装备的数字孪生模型，导入Unity3D仿真引擎中，构建初始可视化仿真模型；
S202、基于多源信息融合SLAM的运载状态实景更新、实时位姿驱动：以Unity3D中巷道的初始可视化数字孪生模型为基础，在运输车1运载设备运动过程中，基于多源信息融合SLAM获得的高精度点云模型对基础模型进行实景更新，基于多源信息融合SLAM获得的实时位姿驱动数字孪生仿真模型运动；
S203、基于多传感器融合的多类型目标实时检测、识别、分割与定位：运载装备移动过程中，利用激光点云、视觉图像进行基于深度学习网络的目标检测、目标识别及语义分割，对运载车辆附近的人员、车辆、装备等动静态物体进行检测、识别、分割与定位；
S204、基于强化学***台，实时导入运行过程中的巷道、运载装备数字孪生模型，以及多类型多目标实时检测、识别、分割、定位结果，基于强化学习方法对孪生体仿真模型进行场景拓展、对未来状态进行自主推演，综合仿真推演结果与现场反馈观测数据修正决策方案，生成防撞避障策略，对车辆运行过程的危险情况进行在线预警，实现车辆运行状态的智能监测；
S205、运载通行状态虚实交互与人机可视化：基于多源信息融合SLAM构建的巷道实时点云模型与已构建的巷道孪生体进行虚实叠加与融合显示，基于增强现实实现沉浸式多感知互动的人机可视化交互。
S203基于多传感器融合的多类型目标实时检测、识别、分割与定位过程，利用多任务多模态深度学习网络进行检测、识别与分割任务，基于S101中多传感器外参标定结果、S202基于多源信息融合SLAM的实时位姿估计，实现多类型多目标的六自由度位姿估计，实现定位。
S205运载通行状态虚实交互与人机可视化，其中孪生体虚实叠加与融合显示过程，以巷道实时构建的局部彩色点云模型实现实时映射、实景映射、高频更新的物理体与虚拟体数字孪生功能；基于增强现实的沉浸式多感知互动，同时包含防爆AR头盔、眼镜、显示屏幕、音频等接口共同组成综合交互平台，对运载过程、危险区域、工作计划等进行文字提示、语音播报，实现人机交互与可视化预警。
本发明所述的多源融合定位方法用于包括UWB设备、IMU、轮式里程计以及雷达的多源融合定位***中。可实现在井下对最优观测量的选择，提高多源融合导航的定位精度；并且将择机更新与重启的机制应用于轮式/视觉里程计，及时消除观测量的累积误差，可实现不同场景的连续导航定位，同时降低导航模块的整体功耗。
UWB（Ultra Wide Band，超宽带）技术是一种无线载波通信技术，它不采用正弦载波，而是利用纳秒级的非正弦波窄脉冲传输数据，因此其所占的频谱范围很宽，具有***复杂度低，发射信号功率谱密度低，对信道衰落不敏感，截获能力低，定位精度高等优点，尤其适用于室内等密集多径场所的高速无线接入。
IMU（Inertial measurement unit），是测量物体三轴角速度及加速度的装置。一般IMU包括三轴陀螺仪及三轴加速度计。IMU信息为IMU装置的测量数据。
如图5所示，该多源融合定位方法包括：
S301、判断UWB精度是否大于预设的第一精度值，如果否，执行步骤S305；如果是，执行步骤S302。
UWB精度因子为精度因子DOP，精度因子DOP可以为位置精度因子、钟差精度因子、水平分量精度因子垂直分量精度因子等等中的其中一种，对此不作限定。
S302、判断轮式里程计是否发生打滑，如果否，则执行步骤S304；如果是，执行步骤S303。
轮式里程计是一种利用从移动传感器获得的数据来估计物***置随时间的变化而改变的装置，具体可以为轮式里程计等，对此本申请实施例不作限定。里程计信息为轮式里程计的测量数据。
S303、启动雷达，通过IMU和雷达进行融合定位，得到定位结果，并结束本流程。
IMU/雷达融合模式作为优先级最低的融合模式，为进一步保障复杂环境下的备用定位信息，避免定位误差过大，其第二精度阈值则直接根据最终定位信息的输出噪声、变化统计量等特性来确定。
S304、通过IMU和轮式里程计进行融合定位，得到定位结果，并结束本流程。当判断出轮式里程计未打滑时，则进入IMU/轮式里程计融合模式，通过IMU和轮式里程计进行融合定位，得到定位结果。
S305、通过IMU和UWB进行融合定位，得到定位结果，并结束本流程。
当判断出UWB精度因子不大于预设的第一精度阈值时，则进入IMU/UWB融合模式，通过IMU和UWB进行融合定位，得到定位结果。
是否切换为IMU/UWB融合模式的判据主要为UWB定位精度因子DOP，即判断UWB精度因子（DOP）是否预设的第一精度阈值。其中，定位精度因子DOP是UWB模块根据基站分布、测距变化等综合定义的评估数值，其代表水平定位精度好坏的第一精度阈值由试验分析来确定。
预设的第一精度阈值和预设的第二精度阈值为预先设置，具体为精度因子阈值，可以为1-5等，对此不作限定。预设的第一精度阈值和预设的第二精度阈值的取值可以通过独立测试或者实验得到。
该方法的执行主体可以为计算机、服务器、多源融合定位***等计算装置，对此不作任何限定。
根据其在不同环境下的适应性能指定量测选取的优先级为：IMU>UWB>轮式里程计，对应的融合模式为IMU/雷达融合模式>IMU/UWB融合模式>IMU/轮式里程计融合模式。只有当优先级较高的传感源“无效”（或精度因子大于预设精度阈值）时，才依据优先级排序选取下一个最高优先级的传感源作为卡尔曼滤波迭代中的观测量。其中判断传感源是否“无效”时，该预设精度阈值为包括上述第一预设精度阈值和上述第二精度阈值。第一精度阈值、第二精度阈值两者以下的数值用于表示定位精度更高，反之则用于表示定位精度不足。
构建的旋转、速度、位置的算法数学模型分别如下：
1、旋转的估计算法模型包括状态方程和测量方程，
其中，状态方程为：
；
测量方程为：
；
其中，为绕x轴的转角；/>为绕y轴的转角，也是UWB的航向角； />为绕z轴的转角；/>为绕x轴的角速度；/>为绕y轴的角速度；/>为绕z轴的角速度。
2、速度的估计算法模型包括状态方程和测量方程，其中，状态方程为：
；
测量方程为:
；
其中，分别代表第k时刻x，y，z方向的速度；分别代表第k时刻x，y，z方向的线加速度；分别代表k时刻水平速度和垂直速度。
3、位置估计的算法模型包括状态方程和测量方程，其中：
；
测量方程为:
；
其中，分别代表第k时刻沿x，y，z方向的位移；/>分别代表沿x，y，z方向的测量位置；/>分别代表沿x，y，z方向的初始位置；/>为位移矢量P在xoy面的投影和x轴正方向的夹角；/>为位移矢量P和它在xoy面投影的夹角。
以上测量方程均为线性，速度和位置级状态方程也为线性，可直接应用标准的五步卡尔曼滤波迭代。
构成多源融合定位方法的***的硬件组成包括传感源、VIO模块、卫星模块、IMU模块、GNSS RTK模块、数传模块、UWB模块、轮式里程计和数传天线。能够解决多源融合定位方法中状态估计在任何场景均受所有传感源信号特征的影响而导致精度无法达到最优的问题，同时还可以解决各传感源（包括VIO模块、IMU模块、UWB模块和轮式里程计）自始独立工作造成轮式里程计类传感器无法及时消除累积误差从而无法实现不同场景下连续无缝导航的问题。
图6展示了标准的卡尔曼滤波迭代的结构图。其中，其中旋转的估计算法不变，应用EKF(扩展卡尔曼滤波）来线性化处理。
多源融合定位方法的执行主体可以为计算机、服务器、多源融合定位***等计算装置，对此本实施例中不作任何限定。
根据一种运载通行状态模拟方法，以及一种运载通行状态监测方法，多源信息融合SLAM，在巷道内包含其他定位方式的情况下，仅运行建图功能；作为一种定位方法的实施方式，利用超宽带测距与惯性测量单元5，基于误差状态卡尔曼滤波融合惯性导航状态估计与超宽带测距观测信息，实现基于UWB/IMU的定位，基于此定位结果运行多源信息融合SLAM中的建图模块。
根据一种井下运输车移动测量***、一种运载通行状态模拟方法、一种运载通行状态监测方法，井下运输车移动测量***、运载通行状态模拟与监测方法适用对象包括但不限于井下轨道式电机车、平板运输车1、单轨吊机车、无轨胶轮运输车1等。
因此，本发明采用上述一种井下运输车移动测量***、运载通行状态模拟与监测方法，能够实现煤矿运输车在运载液压支架等大件设备时，对于运载通行状态的动态模拟与智能监测，实现高效、安全、可靠的大件设备运载。
最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。

Claims (10)

1.一种井下运输车移动测量***，其特征在于：
包括感知测量模块，
计算模块，用于处理感知测量模块传输的数据；
隔离模块，用于为感知测量模块提供与计算模块的通信隔离；
通讯模块，用于井下不同区域的无线通信；
本安电源模块，用于为感知测量模块、计算模块、隔离模块、通讯模块分路供电，转换为对应电器的电压等级；
供电模块，用于输出直流电为各类用电设备供电；
显示屏，用于本地显示建模、监测状态；
计算模块、隔离模块、本安电源模块、通讯模块、供电模块安装于运输车的隔爆控制柜内，隔爆控制柜安装于运输车上，隔爆控制柜上设置有传感器支架，感知测量模块安装于传感器支架上；
感知测量模块包括线激光传感器，用于扫描巷道区域；
本质安全型激光雷达，用于采集三维点云数据；
本质安全型相机，用于观测巷道断面形态以及线激光扫描区域；
惯性测量单元，用于获取姿态信息；
超宽带测距单元，用于实现无线传感器网络定位；
本质安全型激光雷达的数量和安装角度根据运输车与运载设备的情况进行部署，本质安全型激光雷达在行进过程中采集巷道断面的三维点云数据；本质安全型相机安装于运输车的传感器支架上，本质安全型相机为视觉相机，本质安全型相机的数量根据实际需求进行部署，本质安全型相机用于观测前方巷道断面整体形态以及线激光扫描区域；感知测量模块中的惯性测量单元部署于隔爆控制柜上；超宽带测距单元通过与基站交互测距实现无线传感器网络定位；
基于井下运输车移动测量***的一种运载通行状态模拟方法，包括以下步骤：
S101，感知测量模块外参标定：对感知测量模块的传感器进行内外参标定，获得激光雷达畸变校正参数、视觉相机内参、惯性测量单元零偏、超宽带测距修正系数；
S102，感知测量模块安装：根据装载设备尺寸，现场安装测量设备，调整本质安全型激光雷达、本质安全型相机、线激光传感器的位置、方向，根据实际情况在运输车上安装照明设备；
S103，原始数据采集录制：驾驶或远程遥控空载运输车，往复一次并采集巷道数据，包括三维点云、巷道周围环境图像、线激光被观测相机图像、超宽带测量距离、加速度、角速度原始信息；利用机器人操作***的工具进行数据采集录制；
S104，多源信息融合SLAM建模：SLAM为同步定位与地图构建，利用多个不同位姿部署的雷达、相机、惯性数据与UWB传感器信息，执行多源信息融合SLAM建模，获得三维原始点云模型与三维彩色点云模型；多源信息融合SLAM建模过程中，利用激光-视觉-惯性-超宽带紧耦合方式进行信息融合；
S105，模型离线优化：将多源信息融合SLAM建模结果进行后处理，对点云模型进行降噪、滤波处理，对冗余数据进行裁剪和精简；
S106，巷道模型关键信息提取：综合利用视觉与线激光三角测量方法、多源信息融合SLAM获得的三维点云模型参数估计方法，对巷道横截面、轮廓尺寸、中轴线进行联合估计；
S107，运载设备装载与包络面尺寸测量：在运输车上装载设备，测量装载设备的包络面关键尺寸；
S108，生成装载模型：利用包络面尺寸，输入软件界面并生成简化装备模型，根据装备模型生成立方体、圆柱、球体的实体模型；
S109，生成运载模型：根据采用的运输车运载设备体积、尺寸的基本参数，在软件界面选项卡中选择并加载运输车模型，将运输车模型与被载设备模型进行组合，生成最终的运载模型；
S110，运行状态模拟：基于机器人操作***使用框架平台，导入运载模型，加载多源信息融合SLAM获得的运行轨迹，驱动运载模型运动，开展运行状态模拟动态演示，观察实际运行情况；在运行状态模拟中，加载的运输车型号根据平板车类型进行多选项卡的选择，通过人机交互界面设置挂载设备的大小、形状参数，生成对应的标志，实现与运输车的同步驱动动态演示；
S111，数据分析与预警预测：基于运行状态模拟过程，输出相关测量数据、关键参量，对危险区域报警信息进行分析处理，对无法通行区域的参数进行计算输出，输出全巷道的通行性分析报告；设定阈值，对无法通行或有风险区域进行等级划分、预警和预测。
2.根据权利要求1所述的井下运输车移动测量***，其特征在于：计算模块包括CPU、GPU处理器、存储器，用于执行移动测量与数据采集、多源信息融合建模、图形用户界面人机交互、运载状态仿真模拟、关键参数生成、防撞避障策略生成的核心功能运算；计算模块输入输出接口包括通信端口、SD卡槽。
3.根据权利要求1所述的井下运输车移动测量***，其特征在于：隔离模块包括多路信号隔离电路；本安电源模块包括不同电压等级的多路本安供电。
4.根据权利要求1所述的井下运输车移动测量***，其特征在于：通讯模块采用网桥、WIFI6、无线Mesh组合方式，天线外置并符合本质安全型要求；供电模块包括若干个浇封兼本安电源箱以及电源开关、航空插头。
5.一种运载通行状态模拟方法，其特征在于：包括以下步骤：
S101，感知测量模块外参标定：对感知测量模块的传感器进行内外参标定，获得激光雷达畸变校正参数、视觉相机内参、惯性测量单元零偏、超宽带测距修正系数；
S102，感知测量模块安装：根据装载设备尺寸，现场安装测量设备，调整本质安全型激光雷达、本质安全型相机、线激光传感器的位置、方向，根据实际情况在运输车上安装照明设备；
S103，原始数据采集录制：驾驶或远程遥控空载运输车，往复一次并采集巷道数据，包括三维点云、巷道周围环境图像、线激光被观测相机图像、超宽带测量距离、加速度、角速度原始信息；利用机器人操作***的工具进行数据采集录制；
S104，多源信息融合SLAM建模：SLAM为同步定位与地图构建，利用多个不同位姿部署的雷达、相机、惯性数据与UWB传感器信息，执行多源信息融合SLAM建模，获得三维原始点云模型与三维彩色点云模型；多源信息融合SLAM建模过程中，利用激光-视觉-惯性-超宽带紧耦合方式进行信息融合；
S105，模型离线优化：将多源信息融合SLAM建模结果进行后处理，对点云模型进行降噪、滤波处理，对冗余数据进行裁剪和精简；
S106，巷道模型关键信息提取：综合利用视觉与线激光三角测量方法、多源信息融合SLAM获得的三维点云模型参数估计方法，对巷道横截面、轮廓尺寸、中轴线进行联合估计；
S107，运载设备装载与包络面尺寸测量：在运输车上装载设备，测量装载设备的包络面关键尺寸；
S108，生成装载模型：利用包络面尺寸，输入软件界面并生成简化装备模型，根据装备模型生成立方体、圆柱、球体的实体模型；
S109，生成运载模型：根据采用的运输车运载设备体积、尺寸的基本参数，在软件界面选项卡中选择并加载运输车模型，将运输车模型与被载设备模型进行组合，生成最终的运载模型；
S110，运行状态模拟：基于机器人操作***使用框架平台，导入运载模型，加载多源信息融合SLAM获得的运行轨迹，驱动运载模型运动，开展运行状态模拟动态演示，观察实际运行情况；在运行状态模拟中，加载的运输车型号根据平板车类型进行多选项卡的选择，通过人机交互界面设置挂载设备的大小、形状参数，生成对应的标志，实现与运输车的同步驱动动态演示；
S111，数据分析与预警预测：基于运行状态模拟过程，输出相关测量数据、关键参量，对危险区域报警信息进行分析处理，对无法通行区域的参数进行计算输出，输出全巷道的通行性分析报告；设定阈值，对无法通行或有风险区域进行等级划分、预警和预测。
6.根据权利要求5所述的一种运载通行状态模拟方法，其特征在于：S106中，巷道模型关键信息提取过程中，视觉与线激光三角测量方法，通过将线束激光进行投影，利用投影光斑在巷道内壁上形成线状条纹，基于视觉图像计算条纹每个点的投影高度，采用黎曼积分将每点高度累加得到轮廓投影的截面积，实现对巷道横截面、轮廓尺寸、中轴线巷道关键参数的测量与估计；三维点云模型参数估计方法，利用多源信息融合SLAM建模获得的三维点云模型进一步开展点云拼接、降噪与精简，基于投影法计算中轴线、利用多项式函数拟合外轮廓曲线，实现对巷道横截面、轮廓尺寸、中轴线巷道关键参数的测量与估计；通过加权平均计算上述两种方法获得的关键参数实现联合估计。
7.根据权利要求5所述的一种运载通行状态模拟方法，其特征在于：S111中，在数据分析与预警预测过程中，根据生成的三维点云模型中点云的坐标、运输车运载模型的位姿，计算并生成运输车运载模型与巷道点云的距离S，S小于设定阈值S th ，则进行预警并提示预警位置的装载模型位置与姿态、距离大小，预测即将撞击的位置并高亮显示。
8.一种运载通行状态监测方法，基于权利要求5所述的运载通行状态模拟方法，其特征在于：包括以下步骤：
S201，巷道、运载装备数字孪生模型构建：利用运载通行状态模拟方法中的多源信息融合SLAM建模获得的巷道点云模型构建巷道数字孪生模型，利用生成的运载模型构建运载装备的数字孪生模型，导入Unity3D仿真引擎中，构建初始可视化仿真模型；
S202，基于多源信息融合SLAM的运载状态实景更新、实时位姿驱动：以Unity3D中巷道的初始可视化数字孪生模型为基础，在运输车运载设备运动过程中，基于多源信息融合SLAM获得的高精度点云模型对基础模型进行实景更新，基于多源信息融合SLAM获得的实时位姿驱动数字孪生仿真模型运动；
S203，基于多传感器融合的多类型目标实时检测、识别、分割与定位：运载装备移动过程中，利用激光点云、视觉图像进行基于深度学习网络的目标检测、目标识别及语义分割，对人员、车辆、装备这些动静态物体进行检测、识别、分割与定位；
S204，基于强化学***台，实时导入运行过程中的巷道、运载装备数字孪生模型，以及多类型多目标实时检测、识别、分割、定位结果，基于强化学习方法对孪生体仿真模型进行场景拓展、对未来状态进行自主推演，综合仿真推演结果与现场反馈观测数据修正决策方案，生成防撞避障策略，对车辆运行过程的危险情况进行在线预警，实现车辆运行状态的智能监测；
S205，运载通行状态虚实交互与人机可视化：基于多源信息融合SLAM构建的巷道实时点云模型与已构建的巷道孪生体进行虚实叠加与融合显示，基于增强现实实现沉浸式多感知互动的人机可视化交互。
9.根据权利要求8所述的一种运载通行状态监测方法，其特征在于：S203中，基于多传感器融合的多类型目标实时检测、识别、分割与定位过程，利用多任务多模态深度学习网络进行检测、识别与分割任务，基于多传感器外参标定结果、基于多源信息融合SLAM的实时位姿估计，实现多类型多目标的六自由度位姿估计，实现定位。
10.根据权利要求8所述的一种运载通行状态监测方法，其特征在于：S205中，运载通行状态虚实交互与人机可视化中，孪生体虚实叠加与融合显示过程，以巷道实时构建的局部彩色点云模型实现实时映射、实景映射、高频更新的物理体与虚拟体数字孪生功能；基于增强现实的沉浸式多感知互动，包括防爆AR头盔、眼镜、显示屏幕、音频接口共同组成综合交互平台，对运载过程、危险区域、工作计划进行文字提示、语音播报，实现人机交互与可视化预警。
CN202311624264.XA 2023-11-30 2023-11-30 井下运输车移动测量***、运载通行状态模拟与监测方法 Active CN117308900B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311624264.XA CN117308900B (zh) 2023-11-30 2023-11-30 井下运输车移动测量***、运载通行状态模拟与监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311624264.XA CN117308900B (zh) 2023-11-30 2023-11-30 井下运输车移动测量***、运载通行状态模拟与监测方法

Publications (2)

Publication Number Publication Date
CN117308900A CN117308900A (zh) 2023-12-29
CN117308900B true CN117308900B (zh) 2024-02-09

Family

ID=89285290

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311624264.XA Active CN117308900B (zh) 2023-11-30 2023-11-30 井下运输车移动测量***、运载通行状态模拟与监测方法

Country Status (1)

Country Link
CN (1) CN117308900B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107843208A (zh) * 2017-10-27 2018-03-27 北京矿冶研究总院 一种矿山巷道轮廓感知方法及***
CN108345305A (zh) * 2018-01-31 2018-07-31 中国矿业大学 无轨胶轮车智能车载***、井下车辆调度***和控制方法
CN111735445A (zh) * 2020-06-23 2020-10-02 煤炭科学研究总院 融合单目视觉与imu的煤矿巷道巡检机器人***及导航方法
CN115454057A (zh) * 2022-08-24 2022-12-09 中国矿业大学 一种煤矿机器人群数字孪生智能管控建模***与方法
CN115981337A (zh) * 2023-01-18 2023-04-18 中国矿业大学 基于多源信息的井下无人驾驶车辆的决策***及方法
CN116352722A (zh) * 2023-05-10 2023-06-30 天地科技股份有限公司北京技术研究分公司 多传感器融合的矿山巡检救援机器人及其控制方法
CN116518984A (zh) * 2023-07-05 2023-08-01 中国矿业大学 一种煤矿井下辅助运输机器人车路协同定位***及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111258313B (zh) * 2020-01-20 2022-06-07 深圳市普渡科技有限公司 多传感器融合slam***及机器人

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107843208A (zh) * 2017-10-27 2018-03-27 北京矿冶研究总院 一种矿山巷道轮廓感知方法及***
CN108345305A (zh) * 2018-01-31 2018-07-31 中国矿业大学 无轨胶轮车智能车载***、井下车辆调度***和控制方法
CN111735445A (zh) * 2020-06-23 2020-10-02 煤炭科学研究总院 融合单目视觉与imu的煤矿巷道巡检机器人***及导航方法
CN115454057A (zh) * 2022-08-24 2022-12-09 中国矿业大学 一种煤矿机器人群数字孪生智能管控建模***与方法
CN115981337A (zh) * 2023-01-18 2023-04-18 中国矿业大学 基于多源信息的井下无人驾驶车辆的决策***及方法
CN116352722A (zh) * 2023-05-10 2023-06-30 天地科技股份有限公司北京技术研究分公司 多传感器融合的矿山巡检救援机器人及其控制方法
CN116518984A (zh) * 2023-07-05 2023-08-01 中国矿业大学 一种煤矿井下辅助运输机器人车路协同定位***及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
煤矿移动机器人LiDAR/IMU紧耦合SLAM方法;李猛钢 等;《工矿自动化》;第48卷(第12期);第68-77页 *

Also Published As

Publication number Publication date
CN117308900A (zh) 2023-12-29

Similar Documents

Publication Publication Date Title
CN112204343B (zh) 高清晰地图数据的可视化
US20230244233A1 (en) Determining a three-dimensional model of a scan target
JP2022166143A (ja) ナビゲーションパラメータを決定するためのシステム及び方法
CN112518739B (zh) 履带式底盘机器人侦察智能化自主导航方法
CN111693050B (zh) 基于建筑信息模型的室内中大型机器人导航方法
CN109541535A (zh) 一种基于uwb和视觉slam的agv室内定位及导航的方法
CN111813130A (zh) 一种输变电站智能巡检机器人自主导航避障***
EP3799618B1 (en) Method of navigating a vehicle and system thereof
EP4148385A1 (en) Vehicle navigation positioning method and apparatus, and base station, system and readable storage medium
US20220282967A1 (en) Method and mobile detection unit for detecting elements of infrastructure of an underground line network
CN115256414B (zh) 矿用钻孔机器人及其与地质、巷道模型的耦合作业方法
CN109491383A (zh) 多机器人定位与建图***及方法
CN212515475U (zh) 一种输变电站智能巡检机器人自主导航避障***
Cui et al. Navigation and positioning technology in underground coal mines and tunnels: A review
Zhang et al. Unmanned aerial vehicle navigation in underground structure inspection: A review
CN117308900B (zh) 井下运输车移动测量***、运载通行状态模拟与监测方法
Samarakoon et al. Impact of the Trajectory on the Performance of RGB-D SLAM Executed by a UAV in a Subterranean Environment
CN116352722A (zh) 多传感器融合的矿山巡检救援机器人及其控制方法
Cordes et al. Accuracy evaluation of camera-based vehicle localization
CN113002540B (zh) 矿用自卸车控制方法及装置
CN210072405U (zh) 一种无人机协同控制验证平台
CN113808419A (zh) 用于确定环境的对象的方法、对象感测设备以及存储介质
US20230237793A1 (en) False track mitigation in object detection systems
Raivi et al. Vision-Based Navigation for Urban Air Mobility: A Survey
CN115685989A (zh) 一种矿用电机车无人驾驶***及控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant