CN117201567B - 一种井工矿场景感知融合技术的出入罐笼控制***及方法 - Google Patents
一种井工矿场景感知融合技术的出入罐笼控制***及方法 Download PDFInfo
- Publication number
- CN117201567B CN117201567B CN202311460434.5A CN202311460434A CN117201567B CN 117201567 B CN117201567 B CN 117201567B CN 202311460434 A CN202311460434 A CN 202311460434A CN 117201567 B CN117201567 B CN 117201567B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- unit
- information
- cage
- obstacle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 89
- 230000004927 fusion Effects 0.000 title claims abstract description 53
- 230000008447 perception Effects 0.000 title claims abstract description 51
- 238000005065 mining Methods 0.000 title claims abstract description 31
- 238000005516 engineering process Methods 0.000 title claims description 42
- 238000013135 deep learning Methods 0.000 claims abstract description 13
- 238000003062 neural network model Methods 0.000 claims abstract description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 128
- 238000004364 calculation method Methods 0.000 claims description 74
- 230000033001 locomotion Effects 0.000 claims description 67
- 238000004891 communication Methods 0.000 claims description 60
- 238000004458 analytical method Methods 0.000 claims description 41
- 238000001514 detection method Methods 0.000 claims description 34
- 238000012545 processing Methods 0.000 claims description 32
- 238000001914 filtration Methods 0.000 claims description 27
- 230000011218 segmentation Effects 0.000 claims description 22
- 238000013528 artificial neural network Methods 0.000 claims description 20
- 238000005259 measurement Methods 0.000 claims description 20
- 230000004044 response Effects 0.000 claims description 20
- 230000000007 visual effect Effects 0.000 claims description 19
- 230000007613 environmental effect Effects 0.000 claims description 18
- 238000012544 monitoring process Methods 0.000 claims description 18
- 238000012795 verification Methods 0.000 claims description 18
- 230000003993 interaction Effects 0.000 claims description 16
- 238000005070 sampling Methods 0.000 claims description 16
- 230000001133 acceleration Effects 0.000 claims description 15
- 230000006855 networking Effects 0.000 claims description 15
- 230000011664 signaling Effects 0.000 claims description 14
- 230000002159 abnormal effect Effects 0.000 claims description 12
- 238000013136 deep learning model Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 238000009826 distribution Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 9
- 230000004888 barrier function Effects 0.000 claims description 8
- 230000005764 inhibitory process Effects 0.000 claims description 7
- 230000001629 suppression Effects 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000005856 abnormality Effects 0.000 claims description 4
- 239000002245 particle Substances 0.000 claims description 4
- 230000010365 information processing Effects 0.000 claims description 3
- 238000007621 cluster analysis Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 20
- 230000008901 benefit Effects 0.000 description 15
- 238000005457 optimization Methods 0.000 description 15
- 238000013461 design Methods 0.000 description 13
- 230000000694 effects Effects 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 9
- 238000011217 control strategy Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 230000007246 mechanism Effects 0.000 description 9
- 238000012549 training Methods 0.000 description 9
- 230000009471 action Effects 0.000 description 8
- 230000009286 beneficial effect Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 7
- 239000000284 extract Substances 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 6
- 230000002349 favourable effect Effects 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000002265 prevention Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000009423 ventilation Methods 0.000 description 3
- 206010063385 Intellectualisation Diseases 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 239000003245 coal Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012732 spatial analysis Methods 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Traffic Control Systems (AREA)
Abstract
本申请公开了一种井工矿场景感知融合技术的出入罐笼控制***及方法,涉及无人驾驶技术领域,包括:获取多源异构数据,包含行驶的车辆信息和环境信息;通过预设的神经网络模型,对获取的车辆信息和环境信息进行分析,生成对罐笼的初步控制指令;通过预设的基于深度学习的模型,分析车辆信息和环境信息,并结合障碍物避障轨迹的规划,生成对罐笼的控制指令;将云端计算步骤生成的控制指令和路端计算步骤生成的控制指令,按照云端指令优先的规则进行合并,形成最终控制指令;根据最终形成的控制指令,驱动罐笼执行开启或关闭操作。针对现有技术中车辆出入罐笼的控制效率低的问题,本申请提高了井下出入罐笼的协同控制效率。
Description
技术领域
本发明涉及无人驾驶技术领域,特别涉及一种井工矿场景感知融合技术的出入罐笼控制***及方法。
背景技术
随着我国经济的快速发展,矿产资源开采日益增多,矿山井工技术被广泛应用煤矿等资源开采过程中。为确保井下作业区域的通风质量,需要对矿井进出口设置通风门或罐笼,对出入车辆进行严格控制。然而传统的人工控制方式效率低下,无法满足日益增长的井下通风和运输需求。因此,开发智能化、精确化的井工矿场景出入罐笼控制技术,实现对车辆出入的自动化控制,对于提高矿山作业效率和安全生产水平具有重要意义。
随着智能网联汽车的快速发展,各类智能网联作业车辆在井下作业中得到广泛应用,这带来了井下作业效率的显著提升。但现有的井工矿场景中,罐笼结构较简单,仅靠人工控制车辆出入,无法满足智能网联作业车辆的运输需求。
在相关技术中,比如中国专利文献CN116343501A中提供了一种矿区作业路径与社会道路交叉口的管控***及方法,本申请侧重交叉口环境感知和车辆行为预测,但没有涉及井工矿场景中的罐笼控制问题,直接应用难以达到精确的出入罐笼控制效果;中国专利文献CN112767475B提供了一种基于C-V2X、雷达与视觉的智能路侧感知***,本申请集中在公路智能交通***,没有考虑井下特殊环境对感知和控制的影响,直接应用到井工矿场景,无法获取充分准确的环境信息,从而使得后续的控制效率低;中国专利文献CN115810283A提供了一种关于车路协同中的路侧感知方法及其***,本申请由于只依赖单一的路侧感知无法进行车辆全局信息的获取,也不具备云端计算分析能力,导致对复杂井下环境的感知不足、控制效率低。
发明内容
1.要解决的技术问题
针对现有技术中存在的车辆出入罐笼的控制效率低的问题,本发明提供了一种井工矿场景感知融合技术的出入罐笼控制***及方法,通过路端与云端协同分析生成控制指令,并结合轨迹规划与避障算法等,提高了井下出入罐笼的协同控制效率。
2.技术方案
本发明的目的通过以下技术方案实现。
本说明书实施例的一个方面提供一种井工矿场景感知融合技术的出入罐笼控制***,包括:路侧感知模块,检测行驶的车辆信息和环境信息;计算模块,连接路侧感知模块,接收路侧感知模块发送来的车辆信息和环境信息,并生成控制指令;罐笼控制模块,连接计算模块,接收计算模块发送的控制指令,并执行对罐笼的开启或关闭操作;通信模块,分别连接路侧感知模块、计算模块和罐笼控制模块,通过V2I或V2N进行通信。
进一步地,路侧感知模块包括:图像获取单元,采用视觉技术获取车辆信息和环境信息;雷达单元,使用不同频段的雷达,采用CFAR干扰抑制和卡尔曼滤波目标跟踪算法,检测车辆的位置和速度;惯性测量单元,利用IMU获取车辆的测量数据,通过扩展卡尔曼滤波算法处理测量数据,获得车辆的运动状态,车辆的运动状态包含速度和加速度;传感器单元,采用扩展的卡尔曼滤波器,将包含IMU、雷达单元、红外传感器和气象传感器的多源异构数据进行融合,得到车辆姿态信息,车辆姿态信息包含位置、方向和角度;障碍物检测单元,利用图像获取单元采集的图像数据和雷达单元采集的距离数据,通过视觉算法生成三维点云数据,利用生成的三维点云数据基于卷积神经网络获取障碍物的类别;定位单元,通过惯性测量单元和传感器单元的数据,采用扩展卡尔曼滤波或粒子滤波算法,获得车辆和罐笼的定位参数,定位参数为坐标位置。
进一步地,障碍物检测单元:图像特征提取子单元,接收图像获取单元采集的图像数据,采用尺度不变特征转换SIFT算法获取图像数据的多尺度特征点;距离信息获取子单元,接收雷达单元采集的距离数据,通过多径抑制技术获取距离数据的采样数据;数据匹配子单元,采用迭代最近点ICP算法,匹配多尺度特征点和采样数据,生成匹配后的三维点云数据;三维重构子单元,基于泊松表面重建算法,根据匹配后的三维点云数据,生成三维点云模型;三维检测子单元,基于Point Net网络分析三维点云模型,通过网络分类层输出不同类别的置信度,根据置信度阈值判断障碍物的类别。
进一步地,计算模块包括:路端计算子模块,通过有线网络接收采集的车辆信息和环境信息,通过预设的神经网络对接收的信息进行计算并输出控制指令;云端计算子模块,通过无线网络接收采集的车辆信息和环境信息,通过预设的深度学习模型和预设的出入罐笼优先级对接收的信息进行计算并输出控制指令;控制子模块,根据路端计算子模块或云端计算子模块输出的控制指令,控制罐笼的开启与关闭;智能网联判断子模块,通过对车载的综合检测,判断车辆是否为智能网联车辆;对于判断为智能网联车辆,发送控制指令至车辆和罐笼控制模块;对于判断为非智能网联车辆,发送控制指令至罐笼控制模块。
进一步地,智能网联判断子模块包括:车载终端信令分析单元,通过分析车辆发送的终端信令中的标识码,判断标识码是否符合智能网联车辆的标识规范,以判定车辆是否支持智能网联功能;车辆传感器数据监测单元,监测车辆上安装的传感器类型、数量和性能参数,判断传感器配置是否满足智能网联车辆对传感器的要求;通信协议验证单元,接收车辆的通信请求,提取通信请求采用的协议数据,并通过比对预设的智能网联标准协议库,来验证协议数据是否符合智能网联技术规定的标准协议;综合判断单元,当车载终端信令分析单元、车辆传感器数据监测单元和通信协议验证单元的判断条件均满足时,判定车辆为智能网联车辆。
进一步地,路端计算子模块包括:有线通信单元,采用工业以太网与路侧感知模块进行信息交互;无线通信单元,采用5G与云端计算单元进行信息交互;信息处理单元,对路侧感知模块采集的数据进行格式转换、时间同步和数据校准预处理;路端计算决策单元,预存设置了基于神经网络的决策模型,输入预处理后的数据,并根据决策模型输出对罐笼的开启或关闭控制指令;路端优先级合并单元,将云端计算子模块输出指令与路端计算子模块输出指令进行优先级合并,其中,确定云端计算子模块输出指令高于路端计算子模块输出指令;路端计算控制单元,向罐笼控制模块发送合并后的控制指令,控制罐笼的开启或关闭;状态自检单元,检测路端计算子模块的包含处理器使用率、内存占用及网络通信质量的状态数据,判断路端计算子模块的处理状态是否异常,如果异常则向云端计算单元发送异常报告及状态数据。
进一步地,云端计算子模块包括:接收单元,通过5G通信链路,获取路侧感知模块采集的车辆信息和环境信息;分析单元,利用基于卷积神经网络的深度学习模型,分析路侧感知模块采集的车辆传感器数据,预测车辆的包含速度和加速度的车辆运动状态;障碍物分析单元,接收路侧感知模块输出的障碍物三维点云数据,对三维点云数据进行聚类分析,输出避障轨迹;云端计算决策单元,基于车辆避障模型,考虑车辆信息、环境信息、预测的车辆运动状态、避障轨迹,进行轨迹规划,输出车辆建议轨迹;指令单元,根据车辆建议轨迹,生成对罐笼的开启或关闭的控制指令;优先级合并单元,将用户输入的控制指令与指令单元输出的控制指令进行优先级合并,其中,用户输入的控制指令的优先级高于云端计算子模块输出的控制指令;输出单元,将合并处理后的控制指令发送给路端计算子模块;记录单元,采用NoSQL数据库存储车辆信息、环境信息和控制指令;异常单元,通过检测网络延迟和***响应超时指标,判断云端计算单元是否出现故障。
进一步地,障碍物分析单元包括:点云获取单元,接收路侧感知模块输出的障碍物三维点云数据;点云分割单元,采用层次聚类算法对三维点云数据进行分割,提取出每个障碍物的点云集;尺寸获取单元,计算每个点云集的边界框,作为障碍物的尺寸信息;位置获取单元,采用形状拟合技术获取每个点云集的质心,作为障碍物的位置信息;轨迹生成单元,将障碍物的尺寸信息和位置信息输入避障Trajectory Rollout算法,通过RRT算法进行动态轨迹规划,模拟车辆避障运动,输出避障轨迹;其中,形状拟合技术包含:采用最小二乘法对点云集进行平面拟合,计算出点云集所在的平面法向量;沿平面法向量方向进行投影,获取点云在平面法向量方向的投影分布;计算投影分布的数学期望,作为点云集的质心坐标。
进一步地,轨迹生成单元,将障碍物的尺寸信息和位置信息输入避障TrajectoryRollout算法,通过RRT算法进行动态轨迹规划,模拟车辆避障运动,输出避障轨迹包括:接收单元,接收尺寸获取单元输出的障碍物的尺寸信息以及位置获取单元输出的障碍物的位置信息;输入单元,将障碍物的尺寸信息与位置信息输入预设的避障Trajectory Rollout算法;建模单元,利用避障Trajectory Rollout算法,构建包含障碍物信息的运动空间模型;规划单元,使用基于快速增长随机树RRT的运动规划算法,在运动空间模型中进行轨迹搜索,生成满足避障约束的车辆轨迹;输出单元,输出满足避障约束的车辆轨迹,作为避障轨迹。
本说明书实施例的另一个方面还提供一种井工矿场景感知融合技术的出入罐笼控制方法,包括:路侧感知步骤,利用图像获取单元、雷达单元、惯性测量单元、传感器单元和定位单元,获取行驶的车辆信息和环境信息;路端计算步骤,通过预设的神经网络模型,对获取的车辆信息和环境信息进行分析,生成对罐笼的初步控制指令;云端计算步骤,通过预设的基于深度学习的模型,分析车辆信息和环境信息,并结合障碍物避障轨迹的规划,生成对罐笼的控制指令;云端计算步骤包括:分析障碍物信息生成避障轨迹的子步骤,其中,利用聚类算法、边界框检测和质心拟合对障碍物的尺寸和位置信息进行解析,并基于避障算法生成避障轨迹;判断车辆是否为智能网联车辆的子步骤,根据车辆的信令、传感器配置和通信协议,进行判断,并针对性地生成控制指令;指令优先级合并步骤,将云端计算步骤生成的控制指令和路端计算步骤生成的控制指令,按照云端指令优先的规则进行合并,形成最终控制指令;罐笼控制步骤,根据最终形成的控制指令,驱动罐笼执行开启或关闭操作。
3.有益效果
相比于现有技术,本发明的优点在于:
(1)通过各种传感器和设备收集环境和车辆的信息,利用深度学习模型进行数据融合,将这些信息整合在一起,形成对车辆和环境的全面感知。深度学习模型可用于识别和分类图像中的物体,分析雷达数据以检测障碍物,整合惯性测量和传感器信息以获得车辆的运动状态,同时结合定位信息来准确定位车辆和周围环境。通过这种综合感知,***能够建立一个全面的环境模型,为后续的决策和控制提供准确的输入;在这个基础上,利用避障算法,***能够根据感知到的环境生成精确的避障轨迹;这确保了在车辆操作时能够智能地避开障碍物,从而提高了车辆出入罐笼的控制效率;
(2)路端计算和云端计算,合并控制指令是确保这两个计算模块之间协同工作的关键,确保了对罐笼的控制指令始终基于最新的数据和避障轨迹,这种实时决策和优化能力使***更加灵活,适应不同的情景和需求,从而提高了控制效率和罐笼操作的可靠性;
(3)通过智能网联判断子模块,***可以识别智能网联车辆,通过识别智能网联车辆,***可以与它们进行特定的通信,并根据它们的状态和行为进行相应的控制,提高了车辆出入罐笼的控制效率和可靠性。
附图说明
本说明书将以示例性实施例的方式进一步描述,这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的,在这些实施例中,相同的编号表示相同的结构,其中:
图1是根据本说明书的一些实施例所示的一种井工矿场景感知融合技术的出入罐笼控制***的示例性模块图;
图2是根据本说明书一些实施例所示的一种井工矿场景感知融合技术的出入罐笼控制方法的示例性流程图;
图3是根据本说明书的一些实施例所示的一种井工矿场景感知融合技术的出入罐笼控制***的示例性应用场景示意图一;
图4是根据本说明书的一些实施例所示的一种井工矿场景感知融合技术的出入罐笼控制***的示例性应用场景示意图二;
图5是根据本说明书的一些实施例所示的一种井工矿场景感知融合技术的出入罐笼控制***的示例性应用场景示意图三;
图6是根据本说明书的一些实施例所示的一种井工矿场景感知融合技术的出入罐笼控制***的示例性应用场景示意图四。
具体实施方式
下面结合附图对本说明书实施例提供的方法和***进行详细说明。
图1是根据本说明书的一些实施例所示的一种井工矿场景感知融合技术的出入罐笼控制***的示例性模块图,如图1所示,一种井工矿场景感知融合技术的出入罐笼控制***,包括:
主要包括路侧感知模块、计算模块、罐笼控制模块和通信模块。其中,路侧感知模块用于检测行驶的车辆信息和环境信息。
路侧感知模块可以包含图像获取单元、雷达单元、惯性测量单元等多个单元,通过图像、雷达等多源异构数据采集车辆及环境信息。路侧感知模块采用多源异构数据融合技术,通过图像、雷达、IMU等不同类型的传感器采集车辆和环境数据,通过数据校准、时间同步等预处理后,采用扩展卡尔曼滤波算法进行多源数据的融合,得到更丰富和可靠的车辆及环境信息,提高后续决策的准确性。
计算模块连接路侧感知模块,用于接收路侧感知模块发送来的车辆信息和环境信息。计算模块含有路端计算子模块和云端计算子模块,可以在本地和云端分别对信息进行处理,以生成对罐笼的开启或关闭的控制指令。计算模块中的路端和云端子模块分别采用神经网络和深度学***台更高的决策能力,提升控制指令的全局优化性。
罐笼控制模块连接计算模块,用于接收计算模块发送的控制指令,并驱动执行对罐笼的开启或关闭操作。罐笼控制模块收到控制指令后快速响应执行开启/关闭操作。通信模块实现***模块间的实时数据交互。
通信模块用于连接路侧感知模块、计算模块和罐笼控制模块,采用V2I或V2N进行信息传输与交互。V2I(Vehicle to Infrastructure)表示车辆与基础设施之间的通信,在本申请中,V2I主要指车辆与路侧单元之间的通信交互,包括:车辆主动上传自身状态、位置等信息给路侧单元。路侧单元下发控制指令、规划路径等信息给车辆。车辆和路侧单元之间的实时数据交互,闭环实现车路协同控制。V2N(Vehicle to Network)表示车辆与网络之间的通信。在本申请中,V2N主要指车辆通过4G、5G等网络,与云服务器进行信息交互,包括:车辆状态、位置、环境信息等上传至云服务器。云服务器下发路径规划、避障决策等控制指令给车辆。车辆、路侧单元、云服务器之间的网络数据交互,实现感知融合控制。V2I和V2N的组合应用,保证了车、路、云之间的紧密协同,提高了***的智能决策与控制能力。
综上,本申请充分发挥路云协同、数据融合、智能规划等技术优势,使井下车辆能够快速安全地完成出入罐笼,通过本申请的路边智能感知和云边端协同计算,可以实时获取车辆及环境信息,并进行多源数据融合和智能分析,生成出入罐笼的控制指令,从而提高井下环境的安全性和出入控制的智能化水平,大大提高了井下环境的控制效率和安全性。
其中,路侧感知模块包括:图像获取单元采用视觉技术,可获取车辆及环境的图像信息,是实现环境感知的关键单元之一。图像获取单元包括高清工业相机、图像处理板卡等硬件设备,可配置于井口或行驶路线附近,拍摄行驶车辆及周边环境的图像。采用高帧率成像以获取图像序列。通过图像处理算法,可以分析图像提取车辆信息,如车型、车身编号、行驶方向、速度等,也可以检测路面痕迹、碎石、潮湿等环境信息。还可以应用目标检测、分割等算法检测障碍物。图像获取单元采集的图像数据,可与来自雷达、IMU等传感器的数据进行融合,使***对环境的感知更加立体和全面。相比传统的检测设备,图像获取单元采集的数据更丰富,有利于后续的电子控制***对井下复杂环境的理解,可以提高出入罐笼控制的智能化水平,增强控制效率。
雷达单元使用不同频段的雷达,可以实现对车辆位置和速度的精确检测,是环境感知的重要组成部分。采用不同频段的雷达,如毫米波雷达与厘米波雷达,可以获取不同范围和精度的车辆信息。毫米波雷达对近距离目标精度高,厘米波雷达检测范围更远。CFAR干扰抑制算法可以有效过滤雷达噪声,提高目标检测的可靠性。CFAR(Constant False AlarmRate)干扰抑制算法可以有效过滤雷达噪声,CFAR算法通过自适应方式估计本地噪声功率,得到本地噪声阈值。将每个单元的信号功率与本地噪声阈值进行比较。如果单元功率高于阈值,则判定为目标,否则判定为噪声。由于噪声阈值是自适应估计的,可以滤除不同环境下的噪声干扰。在车载雷达***中,CFAR可有效抑制多种噪声,提高目标检测的概率。即使在严重噪声环境下,也可以维持较低的假警报率。有效提高雷达对真目标的检测灵敏度卡尔曼滤波目标跟踪算法可以在复杂环境下连续稳定跟踪车辆,输出车辆运动参数。利用目标运动的物理或数学模型。用模型预测目标的未来状态。当取得目标的新测量时,更新状态估计。递归进行预测和更新,产生优化的目标状态估计。卡尔曼滤波可以有效滤除过程噪声,输出平滑稳定的目标状态。可以用于车辆的持续跟踪,输出车辆运动参数信息。为基于雷达的CFAR算法提供轮廓状态,提高抑制效果。CFAR和卡尔曼滤波相结合,可实现稳定可靠的车辆检测跟踪。雷达直接检测车辆位置和速度信息,输出稳定、精确,不受环境影响。与图像信息要相互验证,提高感知可靠性。雷达数据采样频率高,可检测车辆高动态变化,如急加速、急转弯等,有利于电子控制***做出快速响应。相比传统设备,雷达单元采集的数据更丰富和精确,有利于电子控制***精确判断车辆状态,从而制定更优化、更安全的出入罐笼控制策略。综上,可以大幅提升环境感知的质量,使出入罐笼控制更高效、稳定。
惯性测量单元利用IMU获取车辆的测量数据,可以直接监测车辆的高动态运动变化,提高对车辆运动状态的感知精度,IMU(惯性测量单元)是一种运动传感器,能够输出高精度的运动学参数,IMU包含陀螺仪和加速度计,可以测量三轴角速度和三轴加速度。通过数据融合算法可以进一步计算出三轴向的姿态角、线加速度等参数。输出运动学参数的频率可以达到0Hz以上,非常高精度。即使在短时对GPS信号失去锁定的情况下,也可以通过积分算法持续输出精确的位置、速度信息。与车载激光雷达等传感器数据结合,可以进行高精度的自主定位。IMU对车辆的运动状态非常敏感,可以有效感知车辆的紧急加速或转向等运动。有利于快速检测遭遇障碍物时的回避动作,提高避障的实时性。精确的运动学参数可以增强避障轨迹规划的健壮性。IMU是车载感知***非常关键的组成部分,为避障规划和控制提供稳定的状态输入。综上所述,IMU的运动参数输出对提高方案的实时避障性能有重要作用。在本申请中:IMU包含陀螺仪和加速度计,可以测量车辆的角速度、角加速度、线加速度等参数。这些参数直观反映车辆的运动状态。通过扩展卡尔曼滤波算法处理IMU的原始测量数据,可以有效减少噪声误差的影响,使得车辆的速度和加速度参数更精确。获得车辆精确的速度和加速度参数,是出入罐笼控制策略生成的基础信息。特别是车辆的加速度变化,直接影响行驶安全性。IMU采样频率非常高,可以检测车辆瞬时的高动态变化,如急转弯、急刹车等,有利于后续控制模块做出快速响应。将IMU的数据与雷达、图像处理后的数据进行多源融合,可以进行遥检验证和优化校正,输出更可靠的车辆运动状态。相比传统设备,IMU可以更真实、精细地反映车辆运动状态,提高后续决策的效率和安全性。综上,惯性测量单元的技术手段可以大幅提升对车辆运动状态的感知能力,使出入罐笼控制更智能化。
传感器单元采用扩展卡尔曼滤波器进行多源异构数据融合,可以获得更丰富、精准的车辆姿态信息,在本申请中:多源异构数据来自IMU、雷达、红外传感器、气象传感器等,包含车辆的运动参数、周边环境信息等。卡尔曼滤波器可以有效减少各传感器自身的噪声误差,进行数据融合得到优化的状态。扩展卡尔曼滤波器通过状态方程组合不同传感器数据,进行迭代优化,可以获得更精准的车辆位置、方向、角度等姿态信息。不同传感器要相互验证,提高对车辆姿态的感知准确性和稳定性,特别是在复杂井下环境。获得车辆精确、连续的姿态信息,是出入罐笼控制策略生成的关键输入。相比单一传感器,多源异构融合可以全面监测车辆状态变化,输出更丰富、可靠的姿态信息,提高后续决策的质量。卡尔曼滤波实现数据融合,计算效率高,满足井下环境对控制响应的低延迟要求。综上,本申请可以大幅提升车辆姿态监测的效果,使出入罐笼控制更智能、快速、精确。
障碍物检测单元利用图像和雷达数据的融合,通过视觉算法生成三维点云,然后基于卷积神经网络识别障碍物类别,可以实现对井下复杂环境障碍物的准确检测,本申请:图像数据提供障碍物的视觉特征,雷达数据提供距离信息,两者结合可以生成包含丰富几何结构信息的三维点云。基于视觉算法的立体匹配、投影等技术生成三维点云,比单一传感器数据包含更多环境细节信息。视觉算法生成三维点云数据的过程如下:使用图像获取单元中的双目摄像头采集立体视觉图像。通过视差匹配算法,计算双目图像间的视差信息。根据摄像头参数、视差信息以及三角测量的原理,恢复场景的三维空间信息。将图像中每个像素点的三维坐标计算出来,形成三维点云。三维点云保留了场景的深度信息,可以直接表示空间物体的三维结构。与激光雷达的数据进行对齐、融合,可以获得更丰富、更精细的三维点云。三维点云通过编码Point Net等网络,可以实现对障碍物的三维语义分割。卷积网络直接作用于点云,提取场景的三维特征,实现对障碍物类别的识别。视觉算法生成三维点云是障碍物检测的重要手段,为后续规划算法提供输入。综上所述,视觉算法可以有效获取三维场景信息,是障碍物检测的重要环节。在本申请中,适用于井下车辆控制的视觉算法包含:ORB特征匹配算法:提取图像的二进制特征,实现不同视角图像的特征匹配,可用于车辆自主定位。光流法:计算图像序列的像素移动向量场,用于分析车辆或障碍物的运动信息。深度学习目标检测算法:如YOLO、SSD等,可以检测井下环境中的车辆和障碍物。语义分割算法:像FCN、Deep lab等,可以进行像素级场景分割,识别道路区域。三维重建算法:结构光或双目视觉等方法,还原井下三维空间信息。数据融合算法:将摄像头视觉信息和雷达、Lidar数据进行融合,得到更全面的环境感知。SLAM算法:同步定位与地图构建,可以实时生成车辆定位所需的环境地图。图像增强算法:针对井下光照条件差等情况,通过图像处理增强视觉效果。视频压缩算法:有效压缩图像序列,降低传输带宽需求。这些算法可以有效获取井下关键环境信息,为车辆智能控制和规划提供支持。
基于卷积神经网络对点云进行语义分割和目标识别,可以检测识别不同类别的障碍物。网络通过训练学***。综上,本申请可以大幅提高对复杂井下环境的障碍物检测与识别能力,使出入罐笼控制更安全、高效。
更具体地,图像特征提取子单元采用SIFT算法提取图像多尺度特征点,可提高对环境信息的理解,SIFT(尺度不变特征变换)是一种视觉算法,在本申请中:SIFT算法可以检测图像不同尺度下的特征关键点,提取局部性特征描述子。多尺度特征点包含图像的纹理、边缘等详细信息,有利于更精细地理解环境细节。SIFT特征具有尺度不变性,可应对环境因素导致的图像变形,提高特征提取的鲁棒性。将SIFT特征与深度学习网络结合,可以识别不同类别的目标,如车辆、障碍物等。SIFT算法计算高效,可以快速提取图像信息,满足井下对***响应速度的要求。相比全局特征,SIFT提取的局部特征对环境变化更为敏感,有利于细微变化的检测。提取的多尺度图像特征,可为后续深度学习网络的训练提供更丰富的样本数据。在井下车辆定位中,SIFT可以匹配不同位置拍摄的图像场景。利用特征匹配结果估计车辆的相对位置变换。SIFT也可以用于检测井下环境的特定标志物,辅助定位。相比普通特征,SIFT特征更适合井下光照变化复杂的环境。整体来说,SIFT算法可以提高井下车辆视觉定位的准确率和鲁棒性。综上,SIFT图像特征提取可以提高对环境的感知理解能力,为出入罐笼控制提供更丰富、稳健的决策支持信息。
距离信息获取子单元通过多径抑制技术处理雷达距离数据,多径抑制技术可以过滤雷达距离数据中的多径噪声,提高数据质量。在本申请中:井下环境存在大量金属结构,会产生严重的雷达多径效应。多径信号会使距离数据中出现虚假目标或者距离误差。多径抑制利用角度、距离、信号强度等信息进行多径判断。一种方法是构建环境的三维模型,预测可能的多径出现位置。也可以通过分析统计特性,自动识别和滤除多径信号。常用的抑制过滤算法有角度滤波、距离滤波、幅度滤波等,模糊Hough变换:综合角度和距离信息进行抑制。射频(RF)波束空间分析:利用传感器阵列,解析信号的角度特征。递归逐次回波抑制:递归地消除多次折射引起的多径。通过多径抑制,可以有效提升井下距离数据的质量,增强环境感知的精度。获得去除多径效应的采样距离数据更清晰、可靠,有利于精确获取目标的位置信息。距离数据采样频率高,可以真实反映目标的微小移动变化。与图像处理后的距离数据进行数据融合,可以实现遥测互验证,消除单传感器噪声,输出更精准的距离信息。精确、实时的距离信息是路径规划、避障、停靠控制等的基础,提高了出入罐笼控制的精确度。相比传统测距方式,多径抑制距离信息采集更高效、可靠,有利于井下复杂环境的感知。综上,本申请可以提供高质量的关键距离信息,使出入罐笼控制更安全、精确。
数据匹配子单元采用ICP算法生成匹配的三维点云,本申请:ICP(迭代最近点)算法是一种三维点云匹配算法。ICP能够匹配两组三维点云,通过迭代不断改进匹配结果。首先建立两个点云的数据对应关系,找到最近的点对。计算匹配点对的坐标变换关系。通过变换关系,移动其中一个点云进行对齐。迭代上述步骤,直到求得最小匹配误差。ICP算法常应用于三维重建、点云融合等场景。在井下车辆中,可以将视觉点云和雷达点云进行ICP匹配。匹配两种数据的坐标系,得到精准的三维环境模型。迭代优化的过程可以排除视觉点云存在的噪声。多传感器融合可以提升环境感知的全面性。ICP迭代算法也可以扩展到多帧点云的匹配中。通过ICP匹配多时相三维点云,可以优化车辆的里程计定位结果。综上所述,ICP是实现多源三维点云匹配重要算法,可增强本申请的环境模型精度。综上,数据匹配子单元采用ICP算法生成匹配的三维点云,可以显著提升对复杂井下环境的感知能力,使出入罐笼控制更安全、精确。
三维重构子单元基于泊松表面重建算法生成三维点云模型,本申请:将三维点云看作采样自一个泊松分布的点过程。泊松分布相关的重建目标是找到最符合点分布的一个泊松函数。通过求解泊松方程,可以得到一个等值面,表示三维物体表面的几何形状。该算法可以在存在噪声的点云中重建出高质量的三维模型。适用于车辆Lidar或视觉采集的井下点云建模。相比直线插值法更可保留三维结构的细节。重建的三维模型可以表示井下环境的碰撞约束。为基于三维点云的路径规划算法提供更准确的环境信息。相比直接的点云表示,三维模型更易存储和处理。通过压缩和简化,可以降低计算负载。泊松表面重建可高效获得三维环境模型,提升井下车辆的自主驾驶能力。综上,三维重构子单元采用泊松表面重建算法,可以大幅提升对复杂场景的建模与理解能力,使出入罐笼控制更智能、安全。
三维检测子单元基于Point Net网络检测识别障碍物,可以提高环境感知的准确性,Point Net(Point Neural Network),Point Net是直接处理点云的神经网络,本申请:Point Net直接consume原始三维点云作为网络输入。首先用多层感知机提取每个点的空间特征。通过最大池化层聚合所有点的全局特征。最大池化层保证了网络对点云顺序不变性。全局特征连接分类网络和分割网络。分类网络可以判断整体点云的类别,实现对障碍物的识别。分割网络可以输出每个点的语义标签,实现场景解析。Point Net可直接作用于三维重建后的点云模型。无需转换为图像表示,保留三维结构信息。端到端的网络结构,适合在车载平台部署使用。可以检测井下各类固定或移动障碍物。为井下车辆的自动驾驶提供环境感知能力。综上所述,Point Net可以直接分析三维点云。Point Net直接对点云进行处理,提取点云的三维几何特征,对不同障碍物分类。相比二维图像,三维点云保留了目标的立体结构信息,更利于网络提取特征。网络经过训练后,可以输出不同障碍物的分类置信度,根据置信度阈值判断具体类别。Point Net计算高效,可以快速处理三维数据,满足***对响应速度的要求。准确获取障碍物信息,有利于后续规划模块生成安全、合理的避障路径。与前端的多源数据融合配合,提高输入点云数据的信息丰富度,增强网络判断的准确性。与后端的路径规划协同,根据检测结果使车辆安全避开障碍,防止碰撞。识别不同障碍物,可以采取不同的避让策略,控制更优化。综上,三维检测子单元增强了对复杂环境的感知,使整体出入罐笼控制更智能、顺畅。
定位单元通过数据融合和滤波算法获得车辆及罐笼的精准定位,与其他单元协同提高控制效率:获取IMU和多源传感器的数据,包含车辆运动参数及环境特征信息。卡尔曼滤波或粒子滤波算法可以优化数据,消除噪声,输出精准的车辆与罐笼坐标位置。定位参数是出入罐笼控制的基础信息,精准定位是保证控制效果的前提。与路径规划单元协同,根据车辆位置规划出最优路径,使车辆安全进入罐笼。与控制执行单元协同,根据罐笼和车辆的相对位置,控制车辆准确停靠。卡尔曼滤波和粒子滤波算法计算高效,满足对***响应速度的要求。多源数据融合提高了定位稳定性和鲁棒性,提升在复杂环境下的定位效果。精准定位是车辆实现自动出入罐笼的基础,大幅提升了井下环境的控制效率。综上,定位单元与其他单元配合,提供关键的定位信息,使整体控制更高效、智能。
其中,计算模块包括:路端子模块通过有线网络获得实时数据,实现精确控制。云端子模块通过无线网络获得更多数据,实现智能决策。路端采用预设神经网络,云端采用更复杂的深度学***显著提高。
具体地,路端计算子模块,通过有线网络接收采集的车辆信息和环境信息,通过预设的神经网络对接收的信息进行计算并输出控制指令;路端计算子模块通过有线网络和神经网络计算实现智能化控制,本申请:有线网络可以获得车辆和环境的实时数据,保证计算和控制的时效性。预设的神经网络进行数据提取和决策计算,实现更智能的控制。神经网络经过训练学***。综上,路端计算子模块在***中发挥实时精确控制的关键作用,与其他模块配合提高出入罐笼控制的效率和智能化。
更具体地,路端计算子模块包括:有线通信单元,采用工业以太网与路侧感知模块进行信息交互;无线通信单元,采用5G与云端计算单元进行信息交互;工业以太网采用了确定性的时序机制,可以实现车辆信息和环境信息的低时延、实时交互,满足出入罐笼控制的实时性需求。工业以太网采用了冗余链路技术,可以提高信息交互的可靠性,避免单点故障造成的通信中断。5G具有高带宽和低时延的特点,可以实现车辆与云端计算单元之间信息交互的实时性。5G采用网络切片技术,可以为车辆出入罐笼控制预留专用网络资源,提高通信质量。有线和无线相结合,既满足了有线通信的实时确定性,也满足了无线通信的灵活性,适应井下复杂环境。有线和无线双通道提供冗余,如果一条链路异常,可以迅速切换到另一条,提高***可靠性。充分利用了工业以太网和5G的技术优势,将车辆信息、环境信息可靠实时传输,是实现精确智能化控制的基础。
信息处理单元,对路侧感知模块采集的数据进行格式转换、时间同步和数据校准预处理;格式转换将不同来源的数据统一格式,方便后续网络训练和计算使用。时间同步将不同时刻采集到的数据打上精确时间戳,用于***不同模块的时间对齐。数据校准消除采集误差,提高数据精度,如去除零偏、刻度误差等。预处理提升数据质量,有利于神经网络提取有效特征,提高决策的准确性。对图像去噪、滤波等预处理可以提升环境感知效果,识别精度更高。采用并行、流水线等处理可以缩短处理时间,满足实时控制需求。预处理算法可在FPGA、DSP等芯片实现并行化,提升处理速度。符合信息融合***的预处理原理,通过提升数据质量,使决策更准确。预处理与网络决策相结合,提高整体***的环境感知能力和决策控制能力。
路端计算决策单元,预存设置了基于神经网络的决策模型,输入预处理后的数据,并根据决策模型输出对罐笼的开启或关闭控制指令;神经网络可以拟合复杂非线性函数,适用于出入罐笼这样的复杂控制场景。通过训练学习,神经网络可以从大量数据中提取控制规则,无需人工制定控制模型。基于深度学习的神经网络结构更加复杂,拟合能力更强,决策更准确。将预处理过的数据作为输入,可以提升网络决策的质量。网络预测快速、可实现实时计算,满足对***响应时间的要求。网络并行计算结构可以在GPU、芯片上实现,计算速度更快。输出对罐笼开启关闭的精确控制指令,最终实现自动出入控制。神经网络决策控制与环境感知模块深度融合,提高决策控制的智能化。符合基于数据驱动的智能决策控制思想,在复杂场景中展现更强大的适应能力。在本申请中,井下车辆决策模型包含:基于卷积神经网络的端到端驾驶模型:直接从传感器输入到控制输出。强化学习决策模型:利用环境奖励训练出车辆控制策略。规划网络:先规划运动轨迹,再输出控制指令。基于规则的决策树模型:集成环境模型和规则,判断动作。迁移学习模型:利用现有数据集进行预训练,再微调到具体场景。元学习决策模型:学习如何快速适应新环境。模仿学习模型:学习人类驾驶行为。多智能体协同模型:不同车辆协同决策。深度确定性策略梯度模型:系列决策求解目标。图神经网络决策模型:建模车辆交互关系。这些模型都可以利用深度学习提取环境特征,进行决策控制,实现井下车辆的智能化。
综合利用云端和路端两个层次的计算结果,提高决策的全局优化性。云端计算具有更强大的计算能力,可以进行复杂规划运算,决策更全局优化。路端计算可以根据实时数据进行快速局部决策。优先采用云端指令,可以避免路端决策的局限性。云端指令如有误或延迟,路端指令可以作为备份,保证***可靠性。两级计算协同但重点采用云端指令的策略,可以发挥二者不同层次的优势。合并单元算法可以进行优先级解析、冲突检测,输出最优指令。优先级设计增加了***的自适应性和智能性。符合网络化协作控制***的设计原理,提高***协同效能。综合各层级计算指令的优点,使最终决策更高质量和可靠。综上,该优先级合并设计从技术上更充分地利用云边计算的效能,提升***整体控制效率。
接收优先级合并单元输出的最终控制指令,保证执行的是经过全面判断的最优指令。指令内容明确具体,针对开启或关闭不同罐笼明确的控制动作。采用确定性的工业串口或者现场总线进行指令传输,保证指令可靠送达控制执行单元。控制执行单元可采用现场可编程逻辑控制器等,根据指令精确完成对罐笼机械的操控。计算控制单元与机械执行部门解耦合,提高***可扩展性。发送具体的执行指令,而不是中间状态信息,降低执行部门的处理复杂度。采用分布式控制结构思想,控制指令集中决策,执行单元分散执行。符合自动控制***的控制执行分离设计原则。充分发挥计算单元和执行单元各自的专业性,提高***性能。综上,该控制单元的技术设计有利于提高执行控制的精确性和可靠性。
监控处理器使用率可以判断计算资源是否被过度占用,防止出现计算过载。监控内存占用可以发现内存泄漏或碎片化异常等异常。监控网络通信质量可以判断信息交互是否被阻塞。综合监控硬件状态可以全面判断***运行状况。设置阈值判断异常状态,实现主动防范和预警。一旦判定异常,及时反馈给云端进行分析,请求协助或接管任务。异常数据可以用于云端的原因分析和问题诊断。监控自我状态和向云端求助实现自我容错。与云端配合构成闭环控制,自动完成自检、反馈、分析、修正。符合工业互联网设备的智能化监控与维护设计理念。综上,状态自检单元的技术设计提高了***的健壮性和可维护性。
具体地,采用无线网络接收数据,可以获取车辆和环境的实时状态。深度学***。
更具体地,云端计算子模块包括:接收单元,采用5G通信,可以实现车辆和环境信息的低延时高可靠率传输。5G网络具有高带宽大连接优势,可以传输视频、雷达等多源异构数据。利用5G的网络切片技术,为车辆出入罐笼控制预留专用网络资源。支持车辆高速移动场景,保证信道稳定、信息实时可靠传输。5G采用MIMO天线技术,可以实现空间多路复用,提高信息抗干扰能力。通过冗余设计提高通信可靠性,避免单点故障。采用先进的调度与接入技术,适应井下等复杂环境,保证QoS。高速稳定的无线传输是实现云边协同控制的基础。接收完整准确的状态信息是云端实现精细化控制的前提。综上,5G接收单元在云控制***中发挥实时高效的数据采集作用,为智能出入控制提供关键支撑。
分析单元,卷积神经网络可以高效提取多维传感器数据的空间特征。通过卷积和池化操作自动学习车辆状态的高级特征表示。深度网络结构拟合复杂非线性函数的能力强,可以准确预测车辆状态。端到端学习方法可以直接从数据中学习车辆运动规律,无需人工提取特征。利用卷积网络并行计算优势,减少预测时间,满足实时控制需求。预测输出包括速度、加速度等重要状态信息,支撑后续精细控制。卷积网络可在GPU等芯片上高效并行实现,降低计算延时。采用已充分训练的目标检测网络,实现对新数据的快速精确预测。深度学习预测与路侧传感融合,可实现高精度的车辆运动态感知。综上,分析单元基于卷积神经网络实现智能感知与运动预测,是实现精细化云控的关键技术之一。
障碍物分析单元,接收三维点云数据,可以精确反映障碍物的位置、形状等信息。采用点云数据聚类算法,可以分割出每个独立障碍物。计算每个障碍物的几何属性,如位置、体积等,为避障提供依据。聚类分析点云还可以去除噪声点,提高信息质量。利用GPU并行计算三维点云数据,实现快速聚类和避障分析。点云数据保留三维空间信息,避障路径规划更准确。输出避开障碍物的详细轨迹,进行精细化车辆控制。点云分析避障与传感器融合,可以实现更可靠的环境感知。点云数据较图像信息更丰富,有利于更精确的避碰控制决策。符合基于多源异构数据的信息融合处理原理。综上,三维点云分析单元是实现细致避障控制的关键技术手段。
更具体地,障碍物分析单元包括:点云获取单元,直接获取障碍物的三维点云数据,包含其空间形式的完整信息。点云数据保持精确的三维坐标,是实现避障控制的基础。从路侧感知模块获取点云,确保数据源可靠一致。采用标准化输出格式,便于后续处理模块快速解析和计算。点云数据量较大,获取单元需要确保稳定的网络传输带宽。可以设置数据采样或压缩编码,降低网络负载而不失真细节。获取的点云需要包含时间戳,保证数据同步性。需要校验数据完整性,避免遗漏点信息。利用5G等高速网络技术来确保点云实时性传输。点云获取是实现精细化避障控制的首要环节,奠定后续处理的基础。综上,点云获取单元对于云平台的障碍物感知和避碰决策具有重要作用。
点云分割单元,利用层次聚类算法可以有效分割混合的障碍物点云,提取出每个独立物体。层次聚类可以自动确定合理的聚类数,避免需要人工指定类别数。将每个障碍物点云分开后,便于后续单独分析其几何特征。分割提高了点云处理的并行性,每个物体可以并行分析。提取每个障碍物的完整点云,使其形状和运动特征分析更准确。分割点云集与获取原始点云相匹配,形成点云处理的两个关键环节。点云分割是实现精确避障的基础,为后续轨迹规划提供分析依据。将点云分割与其他感知、定位模块有机结合,形成整体的环境感知解决方案。采用算法实现点云分割,减少手工处理,提高自动化程度。点云分割技术与云计算、高速网络等相融合,促成整体智能避碰方案。综上,点云分割单元是构建车辆避障云控制方案的重要部分和关键环节。其中,在本申请中,层次聚类算法,考虑到井下车辆控制的应用场景,设置较小的聚类距离阈值,以检测出小型障碍物。根据传感器精度设定方差阈值,避免过度分割。利用井下场景的封闭特点,设置合理的扫描范围。融入车辆的运动信息,优化扫描方向。根据聚类型状和位置特征,过滤非障碍物聚类。对靠近轨迹的聚类给予优先处理,降低碰撞风险。利用车载计算单元的并行处理能力,加速聚类运算。输出聚类结果至车端控制模块,实现闭环避障。与其他车载传感器数据融合,提高环境感知质量。在车载端实现增量聚类更新,降低计算需求。
尺寸获取单元,计算障碍物点云集的三维边界框,直接获取物体在三个方向的尺寸。边界框包含对象的完整轮廓信息,尺寸计算更准确。尺寸信息对判断障碍物whether可以通过或需要等待至关重要。与车体尺寸相比较,可以计算出通过的余裕空间。考虑不同方向的尺寸,避免仅凭一个方向距离误判。结合车辆运动状态,优化通过策略和速度规划。尺寸数据融合车载激光雷达等信息,进行多源验证。尺寸获取模块与点云分割单元匹配,一接收到分割结果即执行计算。快速计算尺寸,确保整体控制***的实时性。尺寸获取是实现主动避障的关键环节之一。与云计算等技术融合,构成车辆避障决策的整体解决方案。因此,尺寸获取单元对井下车辆实现精细化避障控制具有重要作用。
位置获取单元,采用形状拟合技术获取每个点云集的质心,作为障碍物的位置信息;利用形状拟合技术可以准确获取障碍物的三维空间位置坐标。质心坐标最大程度代表障碍物的整***置信息。精准获得障碍物位置,有利于车辆规划避让轨迹。与车辆自身位置信息相结合,可以计算碰撞风险和通过余裕空间。采用形状拟合而非单点定位,可过滤误差并提高稳定性。质心位置信息反映障碍物运动趋势,实现主动避障。与点云分割、尺寸获取等单元匹配,完成位置信息的获取。计算轻量化,满足位置跟踪的实时性需求。位置跟踪是避障决策的动态依据,直接影响控制效率。与云计算和高速网络技术相结合,构成整体避障控制解决方案。综上,位置获取单元是实现井下车辆有效避障和高效出入的关键模块。
更具体地,形状拟合技术包含:最小二乘法可以有效抑制点云数据中的噪声,提高法向量计算的准确性。计算平面法向量,可以判断点云表面是否与车辆运动方向平行。如果法向量与运动方向垂直,则表明障碍物体积大,需要等待通过。如果两者平行,则可以判断为边缘障碍,车辆可以平行移动实现避让。拟合计算量相对较小,可以满足实时避碰控制的需要。平面法向量表示障碍物的整体朝向,有利于轨迹规划。与点云位置结合,可以更准确判断碰撞风险。抑制噪声点对正常向量计算的干扰,提高方向判断的稳定性。是实现主动避障关键模块之一,可显著提升控制效率。与云平台、高速网络等技术深度融合,构成智能避障的整体解决方案。综上,平面法向量计算单元可大幅优化井下车辆的避障控制效果。沿平面法向量方向投影,可以去除其他方向的噪声影响。仅保留与车辆运动方向相关的点云分布信息。计算投影分布的期望,可以获得点云在该方向的整体趋势。期望作为质心坐标,合理反映了障碍物的运动趋势。相对计算整个点云的几何中心,可以降低噪声的影响。通过期望过滤误差,提高质心坐标稳定性。质心坐标精确反映障碍物平移运动,实现主动避障。计算过程简单高效,满足实时避碰的需要。是实现快速精确质心定位的有效技术手段。与平面拟合等单元匹配,构成整体避障解决方案。结合云计算等技术,可以进一步提升控制的自动化水平。综上,本申请可以显著提高井下车辆避障过程中的控制效率。
轨迹生成单元,将障碍物的尺寸信息和位置信息输入避障Trajectory Rollout算法,通过RRT算法进行动态轨迹规划,模拟车辆避障运动,输出避障轨迹;RRT(Rapidlyexploring Random Tree)算法,起始点开始,不断扩展树的分支,通过随机采样和连接节点来创建路径。在遇到障碍物时,RRT会尝试绕过它,从而避免碰撞,最终找到一条连接初始状态和目标状态的路径。这个路径就是避障轨迹,它考虑了环境中的障碍物,以确保车辆或机器人能够安全地到达目标位置。Rapidly-exploring(快速探索),“快速探索”指的是算法的主要目标,即快速生成一颗探索树,以便在环境中找到可行的路径。RRT算法通过随机选择采样点,并不断扩展树结构,从而以快速的方式进行路径探索。Random(随机):“随机”表示在RRT算法中采用了随机性。它通过在空间中随机生成采样点,以尝试不同的方向,从而增加了路径搜索的多样性。Tree(树):“树”代表了RRT算法的数据结构。RRT从一个初始状态开始,逐步扩展树的分支,直到找到目标状态。这棵树的节点表示车辆或机器人在不同时间步骤下的状态,边表示可能的运动轨迹。Trajectory Rollout算法是一种路径规划算法,它的目标是生成可能的轨迹,同时考虑到环境中的障碍物。它通常包括以下步骤:初始化:从当前位置出发,定义一些可能的运动方向和轨迹。展开轨迹:为每个可能的方向生成一系列轨迹点,以模拟车辆或机器人的运动。障碍物检测:对于每个生成的轨迹,检查是否有障碍物与之相交。选择合适的轨迹:选择没有与障碍物相交的轨迹,通常是最短或最安全的路径。执行轨迹:将选定的轨迹用于控制车辆或机器人的运动。Trajectory Rollout算法通过模拟多个可能的轨迹,选择最佳的轨迹以避开障碍物,从而实现了避障路径规划的目标。该算法可以根据实时障碍物信息生成动态可行的避障轨迹。尺寸和位置信息确定障碍物占据的空间,是躲避的依据。算法充分利用这些信息进行预判,输出安全轨迹。障碍物实时信息驱动算法更新,实现闭环避障。信息输入触发算法并行规划多条潜在轨迹,保证实时性。充分利用云计算平台进行轨迹评估和选择。选择满足动力学约束的可行轨迹,保证避障安全性。轨迹rollout设计目标函数考虑障碍物距离、平顺性等因素。有效利用障碍物信息,生成可优化的光滑避障路径。与车体控制***深度耦合,直接传输避障指令,提升控制效率。综上,本申请可充分发挥算法优势,根据丰富障碍物信息规划安全可行避障轨迹,大幅提升井下车辆的避障效率。
更具体地,接收单元,接收尺寸获取单元输出的障碍物的尺寸信息以及位置获取单元输出的障碍物的位置信息;接收单元由HID接口、串口接口等组成,用于接收传感器数据。尺寸获取单元可基于摄像头和激光雷达,通过图像处理和点云分析获得障碍物尺寸。位置获取单元可基于GPS、编码器、IMU等模块,结合数据融合确定障碍物位置。接收单元需配置对应接口,解析并缓存不同模块的输出信息。可设置串口缓冲区,避免数据丢包问题,保证接收可靠性。解析算法需要区分不同模块的消息格式,提取尺寸和位置数据。可建立共享内存或队列,用于缓存并传递接收到的信息。需要确保时间同步性,添加时间戳信息关联多源数据。接收单元的性能直接影响后续处理的效率,需要保证低延迟高吞吐。可设计模块化并行结构,提高信息接收和处理的并行度。综上所述,接收单元的技术方案需要解决高效稳定接收传感器数据的问题,为后续处理提供基础输入。
输入单元,输入单元需要实现数据格式转换,将接收单元输出的障碍物信息整理为避障规划算法可直接使用的格式。可以建立数据结构来组织障碍物的各项属性,如位置、速度、形状、类别等。利用时间戳将不同传感器的数据对齐到统一坐标系下。需要处理可能存在的传感器噪声,进行滤波、曲线拟合等优化。可以采用一定缓冲机制,平滑信息输入,避免规划算法的抖动。输入单元要考虑算法对输入信息的实时性需求,适当缩短数据准备时间。可根据轨迹规划算法要求,进行采样disclosed,构建局部环境网格或图表示。需要了解算法对输入信息格式、坐标系的具体要求,进行定制化适配。不同规划算法的输入要求可能有差异,输入单元需要灵活适配。最终实现高效稳定地向轨迹规划算法输入环境信息,是输入单元的关键目标。
建模单元,利用避障Trajectory Rollout算法,构建包含障碍物信息的运动空间模型;根据障碍物的位置和尺寸信息,在空间中构建其几何模型。考虑车体的物理尺寸和运动学约束,划定其可达空间。在可达空间内,密集地采样离散状态点。以各采样点为起点,利用轨迹展开方法生成多条潜在避障轨迹。进行轨迹评估,计算安全性、平顺性等指标,选择评分最高的轨迹。沿选定轨迹方向,继续展开采样和轨迹生成。重复上述过程,最终形成覆盖整个空间的避障轨迹树。轨迹树表示从任意位置到目标位置的避障路径,构成完整的运动空间模型。实时更新障碍物信息,动态调整模型。车辆根据自身位置查找轨迹树,确定避障动作。本申请充分利用算法进行高效空间建模,为车辆的主动避障提供支持。
规划单元,在运动空间模型中,随机采样扩展节点,形成覆盖空间的RRT树。从车辆当前位置到目标位置,在RRT树上执行增量搜索。搜索过程中,利用A*算法优化节点选择,加速收敛。由RRT树中连接的节点序列形成初始原始轨迹。对原始轨迹进行光滑化处理,提高舒适性。检验轨迹是否满足运动约束,如最小转弯半径等。设定安全距离阈值,计算轨迹沿途与障碍的最小距离。如果轨迹与障碍间距不够安全,返回进行重新选择。最终获得满足约束条件的平顺安全的避障轨迹。实时重复上述过程,生成动态避障轨迹。输出轨迹控制指令,闭环控制车辆完成避障。本申请综合了RRT高效搜索和A*优化的优势,可快速生成满足约束的安全避障轨迹,提高井下车辆的避障效率。输出单元,输出满足避障约束的车辆轨迹,作为避障轨迹。
云端计算决策单元,收集车辆自身状态信息,包括速度、方向等。采集车载传感器获取的环境信息。根据历史数据,建立车辆运动预测模型。输入当前状态,预测后续时刻的运动状态。构建Digital Twin车辆避障模型。将车辆状态、环境数据输入模型。模拟规划多条潜在避障轨迹。基于安全性、顺畅性等指标评估各轨迹。选择得分最高的轨迹作为建议输出。将轨迹以控制指令形式反馈到车辆。车辆接收指令,完成避障。收集车辆实际执行数据,更新Digital Twin模型。持续优化模型,实现主动避障能力的迭代升级。本申请充分利用云计算资源和Digital Twin模型,实现高效智能的主动避障决策。
指令单元,分析建议轨迹的方向、位置信息。判断轨迹是否会穿过特定罐笼。提前预判车辆进入和离开罐笼的时间。根据预判时间计算出需要打开的罐笼门编号。生成打开对应罐笼门的控制指令。监测车辆实时位置,修正开门时机。当车辆完全进入罐笼后,生成关闭罐笼门指令。持续监控车辆位置,避免提前关闭罐笼门。对指令加密和校验,确保指令可靠性。通过安全可控接口发送开/闭门指令。接收罐笼门状态反馈,闭环控制。与车载***协同工作,优化车辆运动控制。本申请可以根据轨迹智能地提前规划和控制罐笼门开闭,有效提升井下车辆的出入罐笼效率。
优先级合并单元,提供用户输入控制指令的接口,如手持终端或控制面板。用户输入指令采用高优先级协议,进行封装和标识。接收云端计算子模块输出的标准指令。解析两类指令,提取控制内容和优先级信息。将同一控制周期内的指令放入队列缓存。根据优先级高低对指令队列进行排序。删除或覆盖优先级较低的指令。对指令参数进行最后集成和调整。输出合并后的统一指令给执行机构。监控指令执行反馈,关闭控制回路。持续接收各类控制指令,动态调整输出。允许用户随时修改或取消已发出指令。用户指令优先级最高可覆盖自动规划指令。本申请实现了用户指令和自动指令的优先级合理有效地合并,兼顾了控制效率和安全性。
输出单元,将合并处理后的控制指令发送给路端计算子模块;
记录单元,采集车辆执行避障任务的所有相关数据。数据包括车辆状态、环境信息、控制指令等。对采集的数据进行格式化处理。使用NoSQL数据库存储这些结构化和非结构化数据。NoSQL数据库包括MongoDB、HBase等。根据数据特征选择合适的NoSQL数据库。设计灵活的表结构,便于***不同格式数据。存储内容包括文本、语音、视频等多媒体数据。使用时间戳等建立索引,方便查询分析。利用NoSQL的扩展性处理大量存储需求。结合云计算技术实现存储和访问。通过网络接口提供数据查询和利用功能。存储的数据用于车辆轨迹优化和模型训练。通过采用NoSQL数据库弹性存储多源异构数据,为后期应用分析提供数据支持,提升***智能化水平。
异常单元,部署网络延迟检测模块,指数移动平均滤波后的延迟分析。设置不同级别的延迟阈值,不同阈值对应不同的故障级别。监控云端计算单元的响应时间,判断是否超时。统计计算单元长时间无响应的故障数量。按照设定的规则,确定云端计算单元的整体故障级别。一定时间内故障数量或延迟超过阈值判定为异常。异常激活机制切换到自主上的备用决策单元。备用单元在车载运算平台上实现简化的避障规划。当云端计算单元恢复正常,通过网络重连恢复远程决策。异常激活和重连+过程平滑地自动切换控制模式。确保车辆在云端故障时仍能进行基本避障操作。通过异常处理单元的设计,提高了***的健壮性和可用性。
控制子模块,通过标准接口接收来自路端或云端的控制指令。指令内容包括开启或关闭指定罐笼的控制信息。对指令进行安全性校验,过滤非法指令。维护一个指令缓冲队列,平滑调度指令执行顺序。根据指令逐步对对应罐笼门执行开启或关闭动作。采用液压、电机或气动执行机构实现罐笼门的物理运动。设定速度范围和扭矩限制,控制执行过程稳定安全。使用反馈传感器监测门体开合状态。根据门体反馈调整执行力度和速度,实现精确控制。与车载***联动协同工作,优化车辆出入控制效率。持续监听指令输入,处理新到达的开启或关闭指令。所有动作控制采用闭环反馈的方式,确保稳定可靠。通过控制子模块的设计,可以按照指令准确、平顺地控制罐笼门执行开启与关闭。
智能网联判断子模块,通过对车载的综合检测,判断车辆是否为智能网联车辆;具体地,智能网联判断子模块包括:车载终端信令分析单元,设置智能网联车辆标识码分配规则,并下发至各车载终端。接收车辆上传的终端信令。从信令中提取标识码字段。根据分配规则,解析标识码包含的信息。标识码包括制造商ID、车型、电子串号等信息。将解析后的信息与规范数据库进行匹配。如果标识码信息完全匹配,则确认该车辆支持智能网联。如果标识码不合规,则判断为不支持智能网联。支持智能网联的车辆,将其标识码和信息录入白名单。对不在白名单中的车辆终端信令,将进行功能限制。定期更新标识码分配规则,强化安全性。标识码校验是实现网联车辆访问管理的重要手段。通过车载终端信令分析,可以有效识别支持智能网联的车辆,保障***安全。
制定智能网联车辆的传感器配置标准,包括传感器类型、数量、性能等要求。标准中定义必装传感器和可选传感器等级。接收车辆实时上传的各传感器数据。根据数据格式识别传感器类型。比较上传的数据与标准配置,确定实际安装传感器情况。分析传感器数据更新频率,判断传感器工作状态。根据数据波动范围,评估传感器性能参数。将监测结果与标准配置要求进行对比。如果传感器数量及性能达标,则判断为满足要求。如果存在不足,则记录不符合项,并下发提醒通知。持续监测传感器状态,跟踪性能变化趋势。传感器配置直接影响车辆的智能化能力。通过实时监测分析,可以确保车辆传感器配置满足智能网联的需求。
通信协议验证单元,预先制定智能网联车辆标准通信协议规范。规范定义物理层、链路层等各层协议格式和内容。构建包含所有标准协议的协议库数据库。接收车辆侧发起的通信访问请求。从请求中提取通信协议相关数据。按层级逐步解析协议数据格式。将解析结果与协议库中规定格式进行对比。允许采用不同协议版本之间的兼容性对比。如果协议信息完全匹配,则验证通过。如果存在不符合规范之处,则验证不通过。通过验证的通信请求会启用标准的应答机制。验证不通过的请求可选择下发错误响应。持续验证每一次车辆通信请求,确保符合规范。通过协议验证单元,可以过滤不合规请求,确保通信安全性。预先制定智能网联车辆标准通信协议规范。规范定义物理层、链路层等各层协议格式和内容。构建包含所有标准协议的协议库数据库。接收车辆侧发起的通信访问请求。从请求中提取通信协议相关数据。按层级逐步解析协议数据格式。将解析结果与协议库中规定格式进行对比。允许采用不同协议版本之间的兼容性对比。如果协议信息完全匹配,则验证通过。如果存在不符合规范之处,则验证不通过。通过验证的通信请求会启用标准的应答机制。验证不通过的请求可选择下发错误响应。持续验证每一次车辆通信请求,确保符合规范。通过协议验证单元,可以过滤不合规请求,确保通信安全性。
综合判断单元,本申请中需要各个单元的判断条件均满足,才最终判定车辆为智能网联车辆,本申请:结合多条件判断,提高了判定的准确性和可靠性。满足标识码规范是基本前提,保证车辆支持智能网联功能。传感器配置直接影响感知能力和支撑智能算法。通信协议验证确保网络互联的安全稳定。多条件约束确保判定结果的准确合理。避免由于单一条件造成误判或漏判的情况。同时满足多条件,可有效防止非法车辆的伪装欺骗。保证了智能网联***的安全性和可靠性。为依赖车辆智能化的各类应用提供了可信的数据源。综合判断单元实现了对车辆智能化的全面验证。为智能网联车辆的规范化管理提供了技术保障。因此,该设计增强了判断的严谨性,有利于构建可靠的智能网联车联***。
具体地,对于判断为智能网联车辆,发送控制指令至车辆和罐笼控制模块;对于判断为非智能网联车辆,发送控制指令至罐笼控制模块。智能网联车辆可以接收并执行更丰富的控制指令,发挥车辆的智能化优势。针对智能网联车辆,可以进行车辆状态监控、运动控制、故障诊断等复杂控制。对非智能网联车辆只发送简单的罐笼控制指令,避免复杂指令导致安全隐患。非智能网联车辆只能实现基本的出入井控制,不具备智能交互能力。分别控制可以发挥两类车辆各自的技术特长。智能网联车辆可优化自动驾驶与井下设备协同控制。非智能网联车辆只能人工驾驶,***可确保基本安全。按照车辆能力发送指令,可以提高整体***的安全性和效率。有利于混合车队的管理,实现不同功能的车辆协同作业。区分控制策略,可平滑实现车队智能化升级过渡。
图2是根据本说明书一些实施例所示的一种井工矿场景感知融合技术的出入罐笼控制方法的示例性流程图,如图2所示,一种井工矿场景感知融合技术的出入罐笼控制方法,包括:S210路侧感知步骤,设置图像获取单元,采用摄像头捕获行驶过程中的图像信息,获取车辆周边环境特点;设置雷达单元,发射雷达电磁波,接收其反射信号,获取障碍物、车辆的距离信息;设置惯性测量单元,使用陀螺仪、加速度计等组成的惯性测量组合导航***,测量车辆的运动参数;设置传感器单元,包括车速传感器、转向角传感器等,检测车辆运行状态参数;设置定位单元,采用卫星导航***确定车辆的绝对位置;上述图像获取单元、雷达单元、惯性测量单元、传感器单元和定位单元,共同构成路侧感知的多源异构传感器集群,用于获取行驶车辆的自身信息和周边环境信息,为后续路端计算和云端计算提供基础数据输入。通过多传感器的融合使用,可实现对复杂井下场景的全面感知和稳定采集,提高信息获取的准确性和可靠性,为整体方案的出入罐笼控制提供支持。
S220路端计算步骤,在工控机上预设神经网络模型,该模型经过深度学习算法训练,能够分析车辆信息和环境信息;路端计算单元调用该神经网络模型,输入路侧感知步骤获取的多源异构信息;神经网络模型分析信息,提取车辆自身状态、周边环境特征,并进行初步判断;根据初步判断结果,路端计算单元可以快速生成对罐笼的初步控制指令;该初步控制指令将车辆状态和局部环境信息进行综合考虑,用于紧急情况下的自主响应;路端计算步骤利用工控机本地的计算资源及预设神经网络,实现对信息的即时智能分析,生成初始避障控制指令,提高***的控制实时性和自主响应能力。路端初步指令输出与云端指令合并使用,充分发挥路端计算的低延时优势,为整体出入罐笼控制提供良好支持。
S230云端计算步骤,云服务器上预设基于深度学***台收集路侧传感器采集的大量数据,使用深度学习模型进行训练优化;云端计算单元调用模型分析路侧上传的实时数据,监测井下障碍物动态信息;结合高精度地图信息和三维环境模型,进行多步长预测和轨迹规划;运用避障算法,计算并优选车辆的避障轨迹;综合各类信息,云端计算单元生成针对当前场景的精确控制指令;云端计算利用强大的深度学习技术和丰富数据,进行准确的环境感知分析,输出符合安全避障要求的控制指令,实现对复杂井下场景的智能化决策和控制。
云端计算步骤包括:对传感器采集的点云及图像信息,使用聚类算法进行障碍物分割;采用二维边界框检测和三维体素分割算法,分析每个障碍物的空间几何特征;计算障碍物的质心坐标,拟合其边界轮廓,得到精确的尺寸和位置信息;根据障碍物的类别、运动轨迹参数进行多步预测,得到其未来的可能位置;基于避障规划算法,考虑车辆已知约束条件,计算得到满足安全约束的避障轨迹;本申请综合考虑环境因素和车辆自身状态,实现对复杂动态障碍的智能避让;上述子步骤充分利用先进的深度学习技术,精确获取动态障碍物信息,并规划出可行避障轨迹,实现对复杂井下环境的感知解析与避障决策。
云端接收并分析车辆上传的车联网信令和传感器信息;根据信令判断车辆支援的通信协议和控制接口;分析车辆所装传感器类型、分布、性能参数等信息;综合上述信息判断该车辆的智能化水平和网联化能力;对于智能网联车辆,云端生成丰富的控制指令,发挥车辆自主避障的能力;对于非智能车辆,云端生成简单的控制指令,直接遥控车辆避障;子步骤可以识别不同车辆的智能化程度,并针对性地生成控制指令,对不同车型采取定制化的控制策略。这充分发挥了智能网联车辆的自主避障能力,扩大了***的适用范围,增强了方案的可拓展性。
云服务器上的云端计算单元,生成关于出入罐笼控制的精确指令;工控机上的路端计算单元,生成关于出入罐笼的初步控制指令;指令优先级合并单元获取上述两条指令;基于云端指令优先的原则,进行指令的融合优化处理;当两指令一致时,直接执行该指令;当指令有分歧,采用云端计算指令,抛弃路端计算指令;指令优先级合并单元输出融合优化后的最终控制指令;该步骤可以合理融合云端精确指令与路端实时指令的优势,形成对当前场景最优的控制决策。遵循云端指令优先原则,可以保证多源信息融合的决策稳定性,提升***的可靠性和安全性。
S240罐笼控制步骤,指令优先级合并单元生成针对当前场景的最终控制指令;该指令包含对罐笼进行开启或关闭的控制信息;罐笼控制执行单元接收并解析最终控制指令;驱动电机和执行机构对罐笼进行机械控制;如果指令内容为开启罐笼,则打开罐笼门,使车辆通过;如果指令内容为关闭罐笼,则关上罐笼门,阻止车辆通过;罐笼控制步骤完成了从指令到执行动作的闭环,实现了对罐笼开闭的精确控制。该步骤是整个方法的输出环节,最终实现按照环境感知和规划决策来主动驱动罐笼,提高了井下出入罐笼过程的自动化程度。
综上所述,路侧感知步骤采用多种传感器获取车辆自身状态和环境信息,避免单一传感器的局限,实现对复杂场景的全面感知。路端计算步骤使用预设神经网络模型进行初步判断,减轻云平台计算压力,提高***控制的实时响应能力。云端计算步骤中,使用深度学习模型解析障碍物信息,运用规划算法生成避障轨迹,实现智能避障。判断车辆信息实现定制化控制。指令合并步骤充分融合路端和云端指令优势,综合判断形成最优控制策略。罐笼控制步骤完成执行动作,起到***的输出作用。整个***形成了自动化的信息感知到决策执行的闭环控制流程。云端计算提供决策智能,路端计算减少云端依赖,路侧感知实现多源融合。Cloud-Edge计算框架提高***敏捷性,泛化能力以及输出控制的稳定性。最终形成车辆动态感知与自主避障的整体解决方案,大幅提升井下复杂场景的出入罐笼控制能力和效率。
图3是根据本说明书的一些实施例所示的一种井工矿场景感知融合技术的出入罐笼控制***的示例性应用场景示意图一,如图3所示,当智能网联车辆A驶近罐笼时,路侧感知模块中的激光雷达、摄像头等多传感器集群开始采集车辆A及周边环境信息,车辆A也主动通过DSRC模块上传自身状态数据。路侧感知模块的工控机计算单元等有线通讯调用预设的卷积神经网络模型对信息进行分析处理,生成开启罐笼门的初步控制指令。同时,车辆A信息也通过5G等无线通信模块传输至云服务器,云端GPU服务器中的深度学***稳驶入罐笼内部,同时告知路侧感知模块其入笼状态。路侧感知模块工控机生成关闭罐笼门的指令,将车辆A隔离于罐笼内。后续车辆A需驶出时,路侧感知模块的工控机再次生成开启罐笼门的控制指令,车辆A驶出罐笼后,路侧感知模块的工控机输出关闭罐笼门的指令。相比而言,对于非智能网联车辆无法与路侧感知模块实时交互信息,出入罐笼完全依赖路侧感知模块的被动感知与控制,其效率和智能化程度较低。
图4是根据本说明书的一些实施例所示的一种井工矿场景感知融合技术的出入罐笼控制***的示例性应用场景示意图二,如图4所示,当多辆智能网联车辆A、B同时开近罐笼时,路侧感知模块提前感知到车辆信息,经过优化计算,给A、B各自下发控制指令和速度,指挥它们组成低速队列,有序通过罐笼。路侧感知模块的计算单元综合考虑路线、时间等多种因素,对智能网联车辆进行主动调度和控制,实现其无人值守的自动组队通过。当智能车与非智能车相遇时,路侧感知模块或云端计算单元可以优先指挥智能网联车辆,实现调度协同。在设备损坏或网络中断时,***支持人工接管模式,操作人员可以通过初始化操作复原***,保证关键工作的连续性。综上所述,该应用场景充分体现了本申请对多车协同、设备故障的适应性和可靠性。
图5是根据本说明书的一些实施例所示的一种井工矿场景感知融合技术的出入罐笼控制***的示例性应用场景示意图三,如图5所示,当车辆驶近罐笼时,路侧感知模块通过V2X通信识别到罐笼口有障碍物存在。路侧感知模块的计算单元生成停车等待或减速指令,通过DSRC等信号发送至车辆的OBU。OBU将指令传递给车载控制器,驱动执行器完成刹车或减速操作。同时路侧感知模块会将信息发送至云平台,进行数据记录、事件处理、重新路径规划等操作。DSRC(Dedicated Short Range Communications)即专用短距离通信,是一种短距离、高速无线通信技术。OBU(On Board Unit)即车载通信控制单元,是装载在自动驾驶车辆上的通信控制模块。在该紧急场景下,路侧感知模块可以快速响应障碍,对车辆进行直接控制,避免事故发生。云平台具备更全局化的协同能力,可以进行事后优化处理,提升***的适应能力。该场景展示了本申请在复杂环境下的快速响应和协同优势,增强了井下自动驾驶的安全性。在该技术方案中:DSRC是实现路侧感知模块与车载单元之间无线通信的技术手段,可以快速传输控制指令,具有低延迟、高可靠性的特点。OBU安装在自动驾驶车辆上,其作用是接收来自路侧单元的DSRC指令,并将指令转发给车载执行器,实现对车辆的控制。DSRC和OBU的协同应用,可以实现路侧对车辆的精确控制,提升了***的安全性和快速响应能力,是该方案的关键技术之一。
图6是根据本说明书的一些实施例所示的一种井工矿场景感知融合技术的出入罐笼控制***的示例性应用场景示意图四,如图6所示,当井下发生事故或其他紧急情况时,路侧感知模块可以主动上报或人员可以手动上报该紧急事件。云端计算单元掌握整体情况,可以快速判断出需要进行的应急控制。云端直接下发控制指令给路侧感知模块执行单元,命令其打开或关闭罐笼。路侧感知模块接收到打开/关闭罐笼的紧急指令后,立即驱动执行机构进行对应操作。该场景利用了云端的全局信息与快速判断能力,实现了对突发事件的快速响应,提高了***应对井下复杂情况的适应性。云路侧感知模块的协同配合,保证了紧急情况下的人机统一指挥,增强了***的安全性和可靠性。
Claims (6)
1.一种井工矿场景感知融合技术的出入罐笼控制***,包括:
路侧感知模块,检测行驶的车辆信息和环境信息;
计算模块,连接路侧感知模块,接收路侧感知模块发送来的车辆信息和环境信息,并生成控制指令;
罐笼控制模块,连接计算模块,接收计算模块发送的控制指令,并执行对罐笼的开启或关闭操作;
通信模块,分别连接路侧感知模块、计算模块和罐笼控制模块,通过V2I或V2N进行通信;
路侧感知模块包括:
图像获取单元,采用视觉技术获取车辆信息和环境信息;
雷达单元,使用不同频段的雷达,采用CFAR干扰抑制和卡尔曼滤波目标跟踪算法,检测车辆的位置和速度;
惯性测量单元,利用IMU获取车辆的测量数据,通过扩展卡尔曼滤波算法处理测量数据,获得车辆的运动状态,车辆的运动状态包含速度和加速度;
传感器单元,采用扩展的卡尔曼滤波器,将包含IMU、雷达单元、红外传感器和气象传感器的多源异构数据进行融合,得到车辆姿态信息,车辆姿态信息包含位置、方向和角度;
障碍物检测单元,利用图像获取单元采集的图像数据和雷达单元采集的距离数据,通过视觉算法生成三维点云数据,利用生成的三维点云数据基于卷积神经网络获取障碍物的类别;
定位单元,通过惯性测量单元和传感器单元的数据,采用扩展卡尔曼滤波或粒子滤波算法,获得车辆和罐笼的定位参数,定位参数为坐标位置;
障碍物检测单元:
图像特征提取子单元,接收图像获取单元采集的图像数据,采用尺度不变特征转换SIFT算法获取图像数据的多尺度特征点;
距离信息获取子单元,接收雷达单元采集的距离数据,通过多径抑制技术获取距离数据的采样数据;
数据匹配子单元,采用迭代最近点ICP算法,匹配多尺度特征点和采样数据,生成匹配后的三维点云数据;
三维重构子单元,基于泊松表面重建算法,根据匹配后的三维点云数据,生成三维点云模型;
三维检测子单元,基于PointNet网络分析三维点云模型,通过网络分类层输出不同类别的置信度,根据置信度阈值判断障碍物的类别;
计算模块包括:
路端计算子模块,通过有线网络接收采集的车辆信息和环境信息,通过预设的神经网络对接收的信息进行计算并输出控制指令;
云端计算子模块,通过无线网络接收采集的车辆信息和环境信息,通过预设的深度学习模型和预设的出入罐笼优先级对接收的信息进行计算并输出控制指令;
控制子模块,根据路端计算子模块或云端计算子模块输出的控制指令,控制罐笼的开启与关闭;
智能网联判断子模块,通过对车载的综合检测,判断车辆是否为智能网联车辆;
对于判断为智能网联车辆,发送控制指令至车辆和罐笼控制模块;
对于判断为非智能网联车辆,发送控制指令至罐笼控制模块;
智能网联判断子模块包括:
车载终端信令分析单元,通过分析车辆发送的终端信令中的标识码,判断标识码是否符合智能网联车辆的标识规范,以判定车辆是否支持智能网联功能;
车辆传感器数据监测单元,监测车辆上安装的传感器类型、数量和性能参数,判断传感器配置是否满足智能网联车辆对传感器的要求;
通信协议验证单元,接收车辆的通信请求,提取通信请求采用的协议数据,并通过比对预设的智能网联标准协议库,来验证协议数据是否符合智能网联技术规定的标准协议;
综合判断单元,当车载终端信令分析单元、车辆传感器数据监测单元和通信协议验证单元的判断条件均满足时,判定车辆为智能网联车辆。
2.根据权利要求1的井工矿场景感知融合技术的出入罐笼控制***,其特征在于:
路端计算子模块包括:
有线通信单元,采用工业以太网与路侧感知模块进行信息交互;
无线通信单元,采用5G与云端计算单元进行信息交互;
信息处理单元,对路侧感知模块采集的数据进行格式转换、时间同步和数据校准预处理;
路端计算决策单元,预存设置了基于神经网络的决策模型,输入预处理后的数据,并根据决策模型输出对罐笼的开启或关闭控制指令;
路端优先级合并单元,将云端计算子模块输出指令与路端计算子模块输出指令进行优先级合并,其中,确定云端计算子模块输出指令高于路端计算子模块输出指令;
路端计算控制单元,向罐笼控制模块发送合并后的控制指令,控制罐笼的开启或关闭;
状态自检单元,检测路端计算子模块的包含处理器使用率、内存占用及网络通信质量的状态数据,判断路端计算子模块的处理状态是否异常,如果异常则向云端计算单元发送异常报告及状态数据。
3.根据权利要求1的井工矿场景感知融合技术的出入罐笼控制***,其特征在于:
云端计算子模块包括:
接收单元,通过5G通信链路,获取路侧感知模块采集的车辆信息和环境信息;
分析单元,利用基于卷积神经网络的深度学习模型,分析路侧感知模块采集的车辆传感器数据,预测车辆的包含速度和加速度的车辆运动状态;
障碍物分析单元,接收路侧感知模块输出的障碍物三维点云数据,对三维点云数据进行聚类分析,输出避障轨迹;
云端计算决策单元,基于车辆避障模型,考虑车辆信息、环境信息、预测的车辆运动状态、避障轨迹,进行轨迹规划,输出车辆建议轨迹;
指令单元,根据车辆建议轨迹,生成对罐笼的开启或关闭的控制指令;
优先级合并单元,将用户输入的控制指令与指令单元输出的控制指令进行优先级合并,其中,用户输入的控制指令的优先级高于云端计算子模块输出的控制指令;
输出单元,将合并处理后的控制指令发送给路端计算子模块;
记录单元,采用NoSQL数据库存储车辆信息、环境信息和控制指令;
异常单元,通过检测网络延迟和***响应超时指标,判断云端计算单元是否出现故障。
4.根据权利要求3的井工矿场景感知融合技术的出入罐笼控制***,其特征在于:
障碍物分析单元包括:
点云获取单元,接收路侧感知模块输出的障碍物三维点云数据;
点云分割单元,采用层次聚类算法对三维点云数据进行分割,提取出每个障碍物的点云集;
尺寸获取单元,计算每个点云集的边界框,作为障碍物的尺寸信息;
位置获取单元,采用形状拟合技术获取每个点云集的质心,作为障碍物的位置信息;
轨迹生成单元,将障碍物的尺寸信息和位置信息输入避障Trajectory Rollout算法,通过RRT算法进行动态轨迹规划,模拟车辆避障运动,输出避障轨迹;
其中,形状拟合技术包含:
采用最小二乘法对点云集进行平面拟合,计算出点云集所在的平面法向量;
沿平面法向量方向进行投影,获取点云在平面法向量方向的投影分布;
计算投影分布的数学期望,作为点云集的质心坐标。
5.根据权利要求4的井工矿场景感知融合技术的出入罐笼控制***,其特征在于:
轨迹生成单元,将障碍物的尺寸信息和位置信息输入避障Trajectory Rollout算法,通过RRT算法进行动态轨迹规划,模拟车辆避障运动,输出避障轨迹包括:
接收单元,接收尺寸获取单元输出的障碍物的尺寸信息以及位置获取单元输出的障碍物的位置信息;
输入单元,将障碍物的尺寸信息与位置信息输入预设的避障Trajectory Rollout算法;
建模单元,利用避障Trajectory Rollout算法,构建包含障碍物信息的运动空间模型;
规划单元,使用基于快速增长随机树RRT的运动规划算法,在运动空间模型中进行轨迹搜索,生成满足避障约束的车辆轨迹;
输出单元,输出满足避障约束的车辆轨迹,作为避障轨迹。
6.一种井工矿场景感知融合技术的出入罐笼控制方法,包括:
路侧感知步骤,利用图像获取单元、雷达单元、惯性测量单元、传感器单元和定位单元,获取行驶的车辆信息和环境信息;
路端计算步骤,通过预设的神经网络模型,对获取的车辆信息和环境信息进行分析,生成对罐笼的初步控制指令;
云端计算步骤,通过预设的基于深度学习的模型,分析车辆信息和环境信息,并结合障碍物避障轨迹的规划,生成对罐笼的控制指令;
云端计算步骤包括:
分析障碍物信息生成避障轨迹的子步骤,其中,利用聚类算法、边界框检测和质心拟合对障碍物的尺寸和位置信息进行解析,并基于避障算法生成避障轨迹;
判断车辆是否为智能网联车辆的子步骤,根据车辆的信令、传感器配置和通信协议,进行判断,并针对性地生成控制指令;
指令优先级合并步骤,将云端计算步骤生成的控制指令和路端计算步骤生成的控制指令,按照云端指令优先的规则进行合并,形成最终控制指令;
罐笼控制步骤,根据最终形成的控制指令,驱动罐笼执行开启或关闭操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311460434.5A CN117201567B (zh) | 2023-11-06 | 2023-11-06 | 一种井工矿场景感知融合技术的出入罐笼控制***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311460434.5A CN117201567B (zh) | 2023-11-06 | 2023-11-06 | 一种井工矿场景感知融合技术的出入罐笼控制***及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117201567A CN117201567A (zh) | 2023-12-08 |
CN117201567B true CN117201567B (zh) | 2024-02-13 |
Family
ID=88994609
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311460434.5A Active CN117201567B (zh) | 2023-11-06 | 2023-11-06 | 一种井工矿场景感知融合技术的出入罐笼控制***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117201567B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117389937B (zh) * | 2023-12-11 | 2024-03-08 | 上海建工一建集团有限公司 | 一种车辆避障数据的计算方法、计算机及可读存储介质 |
CN118158090A (zh) * | 2024-05-11 | 2024-06-07 | 浙商银行股份有限公司 | 云平台宿主机网络链路冗余状态判别方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN212177217U (zh) * | 2020-04-26 | 2020-12-18 | 青岛英驰斯仪自动化科技有限公司 | 矿车运行监测*** |
CN113467346A (zh) * | 2021-08-11 | 2021-10-01 | 中国矿业大学 | 一种井下轨道车辆自动驾驶机器人及其控制方法 |
CN115321298A (zh) * | 2022-09-09 | 2022-11-11 | 中信重工开诚智能装备有限公司 | 一种矿用罐笼超载滞留检测装置及方法 |
CN116630936A (zh) * | 2023-05-22 | 2023-08-22 | 青岛慧拓智能机器有限公司 | 一种用于井下无人驾驶的障碍物感知***及方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10556598B2 (en) * | 2016-11-23 | 2020-02-11 | Ge Global Sourcing Llc | Vehicle control systems and methods |
-
2023
- 2023-11-06 CN CN202311460434.5A patent/CN117201567B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN212177217U (zh) * | 2020-04-26 | 2020-12-18 | 青岛英驰斯仪自动化科技有限公司 | 矿车运行监测*** |
CN113467346A (zh) * | 2021-08-11 | 2021-10-01 | 中国矿业大学 | 一种井下轨道车辆自动驾驶机器人及其控制方法 |
CN115321298A (zh) * | 2022-09-09 | 2022-11-11 | 中信重工开诚智能装备有限公司 | 一种矿用罐笼超载滞留检测装置及方法 |
CN116630936A (zh) * | 2023-05-22 | 2023-08-22 | 青岛慧拓智能机器有限公司 | 一种用于井下无人驾驶的障碍物感知***及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN117201567A (zh) | 2023-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN117201567B (zh) | 一种井工矿场景感知融合技术的出入罐笼控制***及方法 | |
US11269332B2 (en) | Multi-perspective system and method for behavioral policy selection by an autonomous agent | |
KR102043143B1 (ko) | 인공신경망을 이용한 agv 주행제어 방법 및 장치 | |
CN108292473B (zh) | 用于控制自主车辆的运动轨迹的方法和*** | |
JP7103946B2 (ja) | 遠隔操作および/またはプランナ決定を最適化するための機械学習システムおよび技法 | |
US11960290B2 (en) | Systems and methods for end-to-end trajectory prediction using radar, LIDAR, and maps | |
JP2022065083A (ja) | 物理的環境の変化に応答して自律車両をナビゲートするための適応マッピング | |
US11597406B2 (en) | Systems and methods for detecting actors with respect to an autonomous vehicle | |
US11891087B2 (en) | Systems and methods for generating behavioral predictions in reaction to autonomous vehicle movement | |
US20190057314A1 (en) | Joint processing for embedded data inference | |
CN114489112A (zh) | 一种智能车-无人机的协同感知***及方法 | |
CN117037115A (zh) | 一种基于机器视觉的自动驾驶避障***及方法 | |
KR102618680B1 (ko) | 영상과 라이다를 이용한 실시간 3차원 물체 인식 및 추적하는 시스템 | |
Singh | Trajectory-Prediction with Vision: A Survey | |
JP2021008258A (ja) | スマートオブジェクトの知識の共有 | |
US11556137B2 (en) | Method of assisting with the driving of vehicles carried out by associated system including sensors installed along sections of road | |
CN117591847B (zh) | 基于车况数据的模型指向评测方法和装置 | |
US20240116544A1 (en) | Prediction and planning for mobile robots | |
CN115113629A (zh) | 用于优化远程操作和/或规划器决策的机器学习***和技术 | |
CN117521422A (zh) | 一种基于沉浸式分队行为仿真***及方法 | |
Pethuraj et al. | Tunable Error Reduction Scheme in Proximity Sensor Function Applied to Unmanned Vehicular Networks | |
CN118276077A (zh) | 智能驾驶多模态导航***及方法 | |
CN117173662A (zh) | 一种基于车队协同感知的融合多目标预测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |