CN116461571B - 基于视觉、射频定位、多线激光相融合的障碍物感知*** - Google Patents
基于视觉、射频定位、多线激光相融合的障碍物感知*** Download PDFInfo
- Publication number
- CN116461571B CN116461571B CN202211143675.2A CN202211143675A CN116461571B CN 116461571 B CN116461571 B CN 116461571B CN 202211143675 A CN202211143675 A CN 202211143675A CN 116461571 B CN116461571 B CN 116461571B
- Authority
- CN
- China
- Prior art keywords
- obstacle
- train
- information
- image
- system host
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 24
- 238000001514 detection method Methods 0.000 claims abstract description 48
- 238000012545 processing Methods 0.000 claims abstract description 25
- 238000012544 monitoring process Methods 0.000 claims abstract description 22
- 230000002159 abnormal effect Effects 0.000 claims abstract description 4
- 238000010224 classification analysis Methods 0.000 claims abstract description 3
- 238000000034 method Methods 0.000 claims description 25
- 238000004891 communication Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 7
- 230000033001 locomotion Effects 0.000 claims description 3
- 230000002457 bidirectional effect Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 16
- 230000006870 function Effects 0.000 description 20
- 230000000694 effects Effects 0.000 description 10
- 238000012360 testing method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000036461 convulsion Effects 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 230000023077 detection of light stimulus Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004134 energy conservation Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 230000003137 locomotive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B61—RAILWAYS
- B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
- B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
- B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
- B61L23/041—Obstacle detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Train Traffic Observation, Control, And Security (AREA)
Abstract
本发明公开了一种基于视觉、射频定位、多线激光相融合的障碍物感知***,包括***主机障碍物感知单元和列车控制监控***;障碍物感知单元收集列车位置信息对障碍物感知探测并将信息传输至***主机,***主机对接收到的信息进行分类分析;对平直轨道上的侵界障碍物做出识别;当检测到障碍物后,把异常情况传输到列车控制监控***,同时将视频和处理后带障碍物距离信息的图片传送到地面控制中心和司机。本发明采用了多传感器融合技术,将视觉、激光、毫米波雷达和信标阅读器感知单元采集到的数据进行有效融合,使得在无人列车上前方障碍物探测功能、辅助防撞功能得以实现,相比于现有技术具备误报率低,检测距离长以及抗环境干扰能力强的优点。
Description
技术领域
本发明属于轨道交通车辆控制及检测技术领域,具体涉及一种基于视觉、射频定位、多线激光相融合的障碍物感知***。
背景技术
地铁列车具有载客量大、到站时间准、绿色节能等优势,能有效地改善城市交通拥堵现象,已成为城市出行的主要绿色公共交通工具之一。
伴随着地铁列车的快速发展,还有不断发生的地铁列车碰撞、回库时撞击端墙、运行途中遇到障碍物无法及时规避等引起的脱轨等安全事故,造成经济损失。受当前硬件设备和技术的影响,传统采用单一传感器进行障碍物检测的技术已经无法满足高精准度,高稳定性,远距离探测的运行需求。
经检索发现中国发明专利申请CN110908003A,公示了一种基于无人驾驶的主动式障碍物探测***。其特征在于包括:位于司机室的障碍物检测模块、视频处理服务器、位于每节车厢两侧中部的二门防夹平台,所述障碍物检测模块和二门防夹平台与视频处理服务器通信;所述障碍物检测模块包括1台数字高清摄像机和一台红外高清摄像机,两台摄像机实时同步拍摄图像发送至视频处理服务器进行异物侵限检测;视频处理服务器利用两台摄像机拍摄图像对,通过目标物体在图像对中的二维信息求解得出目标物体的三维信息,并进行异物确定和异物侵限危险度判别;所述二门防夹平台包括设置于车门两侧的半球高清摄像机,停车后拍摄列车车门和屏蔽门之间区域的照片并发送至视频处理服务器,视频处理服务器对二门空间内的ROI区域进行异物识别,从而避免在夹到异物的情况下列车依然开车。
经检索发现中国发明专利申请CN 113591626 A,公示了一种基于视觉传感器的障碍物检测***。基于视觉传感器的障碍物检测***搭载于地铁列车,包括:障碍物探测模块,用以获取前方图像信息并智能识别障碍物进行预警和提示;二门防夹模块,用以获取二门区域的图像信息并智能识别障碍物进行预警和提示;
视频记录模块,用于记录视频信息为事故追溯提供原始数据;OCC司机眼监控模块,用于将所有列车前方摄像机视频信息传输到OCC司机眼监控平台;通信模块,用于连接列车控制监控******进行通信。
以上两个文献主要通过视觉摄像机传感器代替司机向行车前方持续瞭望,通过图像识别技术提取障碍物特征,进行异物确定和异物侵限危险度判别,能够较早的对障碍物完成识别,降低交通事故的发生概率。
然而在实际运行环境中,隧道内,弯道处,桥梁上受斑驳光线和天气影响,仅使用单一可见光相机拍摄列车运行前方的图像,其实际有效距离较短,且存在一定的误报率,检测效果和速度不佳。依然无法有效减少地铁运营安全事故。同时,雾霾对列车在高架行驶区域会造成了很大的影响。一旦雾霾大范围发生,地铁公司不得不对列车在高架行驶区域限速运行,极大地影响了整个地铁的运行效率。
发明内容
为了解决上述背景技术提到的技术问题,本发明提出了一种基于视觉、射频定位、多线激光相融合的障碍物感知***。
为了实现上述技术目的,本发明的技术方案为:
一种基于视觉、射频定位、多线激光相融合的障碍物感知***,包括安装在司机室中的***主机,与***主机连接的障碍物感知单元和列车控制监控***;障碍物感知单元收集列车位置信息、前方视频图像以及三维点云图像,对轨道列车运营场景内的障碍物感知探测并将收集到的信息传输至***主机,***主机对接收到的信息进行分类分析;对平直轨道≮400m处的障碍物投影面积不小于0.25m2大小的侵界障碍物做出识别;当***主机检测到障碍物后,把异常情况按照定义的威胁等级信息通过列车实时数据协议接口传输到列车控制监控***,列车控制监控***根据已定义的威胁等级采取应对措施,同时通过车地通讯将视频和处理后带障碍物距离信息的图片传送到地面控制中心和司机。
优选地,所述障碍物感知单元设有双目摄像机感知模块,包括长焦短焦两个摄像机组成的模组,安装在司机室内顶板上方,采用POE供电,电气接口为DB9接口;获取前方高清立体图像信息,探测列车前方障碍物。
优选地,所述障碍物感知单元设有多线激光感知模块,包括安装在车头两端的多线激光雷达,双向获取前方障碍物及车辆的点云图像,并探测前方车辆。
优选地,所述障碍物感知单元设有辅助防撞模块,包括车载二次雷达设备、地面信标设备、车载电子标签阅读器和地面RFID信标,车载二次雷达设备障碍物感知单元读取地面信标,获取列车所在位置、同一线路上两辆列车之间的距离和相对速度、列车是否位于正线或存车线以及列车的上下行状态,依据检测到的距离进行分级报警并调整列车运行模式。
优选地,所述***主机中设有传感器融合模块,统一障碍物感知单元收集的实时数据的时序,相机得到的图像信号,经处理目标检测处理得到的障碍物位置信息、毫米波雷达信息和激光雷达点云信息,经由融合算法处理之后输出障碍物是否入侵轨道的报警信号,输出的信号用于对司机室进行报警。
优选地,所述***主机中设有目标追踪单元,将图像视频信号经由Deep sort算法处理,输出跟踪的单个障碍物的位置信息、障碍物运动方向信息以及当前障碍物速度信息,根据输出的信息预判当前这个障碍物的速度和方向是否会入侵到列车行驶的轨道范围内,做出提前的判断和报警。
优选地,所述***主机中设有视频图像增强模块,对图像数据的对比度进行计算,如果低于一定阈值范围,采用opencv中的函数调整图像的对比度,如果亮度高于或者低于一定的阈值范围,会对每个像素的值进行调整来调整整张图象的亮度;同时根据图像和多线激光雷达点云数据的融合,辅助判断是否有障碍物入侵轨道范围。
优选地,所述***主机中设有抗震动模块,通过寻找前方视频图像中的参照点,以此为基点来判断;考虑到上下震动和左右扭动选择两个基点;列车行进过程中,以铁轨作为参照点,通过基点除抖算法,还原出平滑的视频。
采用上述技术方案带来的有益效果:
本发明采用了多传感器融合技术,将视觉、激光、毫米波雷达和信标阅读器感知单元采集到的数据进行有效融合,使得在无人列车上前方障碍物探测功能、辅助防撞功能得以实现,相比于现有技术具备误报率低,检测距离长以及抗环境干扰能力强的优点。
附图说明
图1是列车编组图;
图2是本发明的安装结构图;
图3是本发明的异物侵限检测功能结构图;
图4传感器融合原理图;
图5目标追踪原理图。
具体实施方式
以下将结合附图,对本发明的技术方案进行详细说明。
本发明公开了一种基于视觉、射频定位、多线激光相融合的障碍物感知***。包括:
一、异物侵限监测预警报警模型:
轨道交通异物侵限监测预警报警模型包含了高清摄像机视频检测技术和双目立体视觉技术。在该***中,摄像机安装在运行车辆司机室内,通过对轨道周围的场景进行视频信息采集、处理,分析是否有异物侵限发生。
基于视频处理的轨道交通异物侵限检测***按照功能可以分为四个部分:数据采集模块、异物侵限检测模块、数据传输模块和远程监控中心,设计其总体结构如图3所示。
(1)图像采集模块包含一组以太网摄像机和毫米波雷达。该模块实现数据采集功能。长短焦高清摄像机模组可以获取列车运行中前方的视频图像,激光雷达获取前方的点云图像。并将采集的数据传到电脑进行相关处理或传回监控端备用。
(2)异物侵限检测模块是***的核心组成部分,通过编写有效的程序代码,实现图像预处理和后期分析等功能。异物侵限检测模块实现的主要功能是通过对图像数据的分析判断是否有侵限异物的存在,这个过程主要是通过软件算法实现,从检测算法上可以分为背景图像的提取及更新、图像区域分类、前景图像提取及分类和可疑前景危险度判别(即异物确认)。
(3)数据传输模块。该模块主要是通过车地WLAN实现图像数据的远程通信。摄像机获得的视频图像可直接传输到远程监控中心,也可通过异物侵限检测模块,提取出报警图像信息传输。
(4)远程监控中心包括主机服务器和监视器。在主机的前台编写程序,在后台搭建数据库建立人机交互界面,该交互***实现的功能包含:用图像显示报警的侵限异物位置、进行报警处理、存储报警记录以及查询报警记录。其中所有的与报警异物相关的信息数据都存储在服务器数据库中,以方便以后对报警记录的查询和调用。监视器可随时调出事故高发地带的视频录像,对重点区域进行双重监控。
二、基于深度学习的图像目标检测技术:
提取障碍物,采用基于Yolo(目标定位与检测)检测技术进行障碍物分类。Yolo(目标定位与检测)是目标检测技术最常用的算法之一,相比较其它目标检测算法,Yolo(目标定位与检测)在保证检测精度的同时,检测速度也是最快的,最适用于本项目列车在行进过程中实时检测的使用场景。
不同于传统的识别方法,Yolo(目标定位与检测)模型里的神经网络一开始会把采集到的图像划分成若干个边长为A×A的小网格,然后每个去检测哪些中心点落在了小网格内,随之去识别那个网格中的目标。YOLO v3(目标定位与检测)相较于之前版本通过改进多尺度预测和更好的基础分类网络和Logistic(回归分析)分类器,可以将一个物体属于多个标签的情况分开,同时通过32/16/8倍视野的选取,大目标和小目标的检测都得到了改善。这使得项目在远距离的目标成像素较少的识别可以有更好的效果。目标检测信号,经由深度学习目标检测的YOLO v3算法之后,输出检测目标的再图像中的位置信息(中心点x,y,目标长w,宽h)以及目标种类的信号,输出这些信号用于判断是否有障碍物入侵轨道范围内,并传入传感器融合节点做进一步处理和判断。
三、传感器融合技术:
传感器融合是综合传感器数据处理中十分重要的一个环节,由于受到各种噪声杂波等非理想因素的影响,传感器获得数据都会存在噪声的影响,有效量测很有可能会认为存在多个目标,这就需要建立起有效量测与目标的对应关系,对目标数据进行匹配,从而建立目标有效关系,提高目标辨识的可靠性。
目标融合过程即确定传感器接收到的量测信息和目标源对应关系的过程,其中涉及的两个最关键的对象是多传感器和多目标。开展目标融合的主要技术在于如何统一不同传感器实时数据的时序,已经如果使用多传感器数据来评估识别目标的真实特征参数,为后续目标分类提供可靠依据。如图4所示;相机得到的图像信号,经处理目标检测处理得到的障碍物位置信息,毫米波雷达信息,激光雷达点云信息,经由融合算法处理之后输出障碍物是否入侵轨道的报警信号,输出的信号用于对司机室进行报警的效果。
四、目标追踪技术:
当出现多目标检测时,由于目标的的短暂丢帧或遮挡等现象,通过使用DeepSort(多目标跟踪)等算法可提升目标追踪的连续性,从而克服外接光照等不同环境因素对相机的干扰,提升隧道内灯光照射下明暗交替场景目标检测。如图5所示;将图像视频信号经由Deep sort算法处理之后,输出跟踪的单个障碍物的位置信息,障碍物运动方向信息,当前障碍物速度信息等,输出的这些信号用于预判当前这个障碍物的速度和方向是否会入侵到列车行驶的轨道范围内,做出提前的判断和报警。
五、视频图像增强技术:
视频增强功能是视频处理的基础,在视频增强的基础上,才可能进行视频处理(如环境监控、评估及预警、列车防撞提醒等),可以有效消除雾霾、光线等外界因素对视频识别的影响。
视频图像增强主要是对视频图像的对比度、色彩、轮廓等图像物体特征进行增强显示或突出,使得处理后的图像便于进行进一步的处理与分析。目前的视频增强方法可以分为2类:一类方法是提高监控摄像头的硬件性能,如采用透雾镜头等。另一类方法是采用增强算法对采集到的降质视频进行增强,由于视频也是序列图像,因此很多图像增强算法也可以应用到视频增强领域中,如灰度变换、直方图变换等空域方法,基于频域的滤波方法等。以下以直方图均衡法为例,详细讲述该方法的视频增强过程。
图像的直方图均衡法是通过改变图像的直方图分布,对像素相对集中的区域进行分散调整,以达到均匀化直方图的效果,从而提高整个图像的对比度。此时,通过把原始图像的直方图变换为均匀分布形式的基本方向思路,便可以使亮度得以更好地在直方图上分布。此外,在不影响整体的对比度的基础上,还可以用于增强局部的对比度。由此,即可运用扩展常用亮度的方式来实现直方图均衡化的功能。这种方法比较适用于整体风格偏亮或偏暗以至于看不清整体图片细节的图像。并且,直方图均衡法是一项简易可行的可逆操作,计算量小。
列车在运行中会通过各种复杂的环境,这对列车的驾驶会造成一定的影响,视频增强功能提供驾驶室内的显示***,通过软件算法消除对影响驾驶的环境因素,在驾驶室内的显示***上尽可能清晰地显示列车前方的场景,辅助列车的驾驶。以下3点功能,主要运用2个方法进行处理和降低影响:
1.对图像数据的对比度进行计算,如果低于一定阈值范围,会用opencv中的函数调整图像的对比度,如果亮度高于或者低于一定的阈值范围,会对每个像素的值进行加或者减的操作,来提高整张图象的亮度或者降低亮度。
2.运用激光雷达的穿透性效果,降低图像对检测效果的影响,根据图像和激光雷达点云数据的融合,辅助判断是否有障碍物入侵轨道范围。
除雾霾
雾霾对列车在高架行驶区域会造成了很大的影响。一旦雾霾大范围发生,地铁公司不得不对列车在高架行驶区域限速运行,极大地影响了整个地铁的运行效率。
另外,即便在雾霾不是很重的气象条件下,高架上的部分区域也可能有团状雾霾产生,所以客观上也需要一定的技术手段对抗雾霾对列车行驶的影响。
本***的除雾霾功能主要就是针对高架行驶区域的对驾驶有影响的雾霾通过软件算法进行去除,使得监控视频中的前方场景清晰度得到有效提升。
抗强光
晴天的阳光对高架上迎面行驶列车的驾驶有很大的影响,本***的抗强光功能可以在显示屏上尽可能地还原前方的场景。
低照度提亮
图像增强处理,它是将图像(或影像)相邻像元(或区域)的亮度值(或色调)相差较大的边缘(即影像色调突变或地物类型的边界线)处加以突出强调的技术方法。经边缘增强后的图像能更清晰地显示出不同物的类型或现象的边界,或线形影像的行迹,以便于不同的物类型的识别及其分布范围的圈定。
六、抗震动技术:
在列车行进过程中,由于轨道不够平滑,可能出现各种方式的震动。严重时,大幅度的震动可能把原先不在行进内的物体误判为行进方向的物体,从而出现误判。为此,需做专门的抗震动算法:
基点法。通过寻找视频中的参照点,以此为基点来判断。考虑到除了上下震动,还可能出现左右扭动,所以参照点需要两个。
列车行进过程中,所有的包络线都是以铁轨做为参照点的。所以以铁轨作为参照点,可以抗行进列车的震动。通过基点除抖算法,还原出平滑的视频。
如图1所示,Tc车为带司机是的拖车,Mp车为带受电弓的动车,M车位不带受电弓的动车。
本实施例基于视觉、毫米波、多线激光相融合的障碍物感知***项目具有列车定位跟踪,列车运行前方障碍物探测功能、辅助防撞功能,并可根据运用场景在司机室内和OCC进行报警和提示,同时将视频\图像存储并上传到OCC,供OCC远程调取现场图像。
障碍物感知***包括***主机,长短焦摄像机,毫米波雷达,二次雷达,信标阅读器。
如图2所示:
两端TC车各安装一台***主机,主机通过列车实时数据协议接口协议与列车控制监控***通讯。
两端TC车头部各安装长短焦摄像机、毫米波雷达,实现障碍物探测。
两端TC车头部安装二次雷达和底部安装信标阅读器,实现辅助防撞探测。
针对列车实时运行中发现的前方障碍物,通过智能环境感知技术,实时获取前方行驶线路信息并智能识别障碍物进行预警和提示,降低了前方障碍物影响列车正常运行的风险。
所有图像或视频都可以存储在本地或实时上传到OCC,供OCC远程调取现场图像。
***主机尺寸高度为3U,安装在Tc车电气柜中,主要使用的电气接口有电源接口、RS485通讯接口、CAN通讯接口、太网接口、主被动输入输出接口,列车实时数据协议接口以太网通讯接口。主机通过DC110V电源供电。
长短焦双目摄像机安装在车头内装顶板上方,用于探测列车前方障碍物。长短焦双目摄像机采用POE供电,电气接口为DB9接口。
毫米波雷达安装在Tc车。
二次雷达安装在Tc车。
信标阅读器安装在Tc车车底。
***能对平直轨道≮400m处的障碍物投影面积不小于0.25m2大小的侵界障碍物做出有效识别并提示报警。400米可视距离为在平直线段能识别的最大距离。
侵界障碍物的识别不受隧道、高架等不同光线情况的影响,从检测到障碍物到发出告警的时间小于1秒。
当***检测到障碍物后,把异常情况按照定义的威胁等级信息通过列车实时数据协议接口接口传输到列车控制监控******,列车控制监控******根据已定义的威胁等级采取初步应对措施。同时通过车地通讯将视频和处理后带障碍物距离信息的图片传送到OCC/司机,OCC/司机做进一步判断后,确定是否是障碍物,将是否刹车送至列车控制监控***,如是障碍物则刹车,安排人员将障碍物清除,否则恢复原来速度。
辅助防撞单元的采集单元由雷达天线、RFID标签阅读器组成。通过雷达通信技术,实现列车之间的防撞功能和地面线路的端墙防撞功能。***将依据所检测到障碍物的大小和距离进行分级报警。可以测量两车之间的距离和相对速度,或列车与特定(固定)目标主机的距离及列车的绝对速度。***将依据检测到的距离进行分级报警。
车载电子标签阅读器可以读取线路上的RFID电子标签,使***获得当前列车所在位置,判断列车状态。可获取的信息包括列车是否位于正线、存车线、上下行状态等,端墙防撞单元根据此信息自动调整***运行模式。
在车辆上实现的功能:
1、距离前车(端墙)400m时,FAM模式下视频联动到中心,在非FAM模式下HMI蜂鸣器间歇响,在CCTV屏上视频联动。
2、距离前车(端墙)200m,FAM模式下视频联动到中心,在非FAM模式下HMI蜂鸣器急促响,HMI上弹屏报警,CCTV屏上视频联动。
前方障碍物探测静态测试效果:如表1所示;
表1.前方障碍物探测静态测试效果表
前方障碍物探测动态测试效果如表2所示:
表2.前方障碍物探测动态测试效果表
辅助防撞测试效果如表3所示:
表3.辅助防撞测试效果表
实施例仅为说明本发明的技术思想,不能以此限定本发明的保护范围,凡是按照本发明提出的技术思想,在技术方案基础上所做的任何改动,均落入本发明保护范围之内。
Claims (2)
1.一种基于视觉、射频定位、多线激光相融合的障碍物感知***,其特征在于,包括安装在司机室中的***主机,与***主机连接的障碍物感知单元和列车控制监控***;障碍物感知单元收集列车位置信息、前方视频图像以及三维点云图像,对轨道列车运营场景内的障碍物感知探测并将收集到的信息传输至***主机,***主机对接收到的信息进行分类分析;对平直轨道≮400m处的障碍物投影面积不小于0.25m 2大小的侵界障碍物做出识别;当***主机检测到障碍物后,把异常情况按照定义的威胁等级信息通过列车实时数据协议接口传输到列车控制监控***,列车控制监控***根据已定义的威胁等级采取应对措施,同时通过车地通讯将视频和处理后带障碍物距离信息的图片传送到地面控制中心和司机;
所述障碍物感知单元设有双目摄像机感知模块,包括长焦短焦两个摄像机组成的模组,安装在司机室内顶板上方,采用POE供电,电气接口为DB9接口;获取前方高清立体图像信息,探测列车前方障碍物;
所述障碍物感知单元设有辅助防撞模块,包括车载二次雷达设备、地面信标设备、车载电子标签阅读器和地面RFID信标,车载二次雷达设备障碍物感知单元读取地面信标,获取列车所在位置、同一线路上两辆列车之间的距离和相对速度、列车是否位于正线或存车线以及列车的上下行状态,依据检测到的距离进行分级报警并调整列车运行模式;
所述***主机中设有传感器融合模块,统一障碍物感知单元收集的实时数据的时序,相机得到的图像信号,经处理目标检测处理得到的障碍物位置信息、毫米波雷达信息和激光雷达点云信息,经由融合算法处理之后输出障碍物是否入侵轨道的报警信号,输出的信号用于对司机室进行报警;
所述***主机中设有目标追踪单元,将图像视频信号经由Deep sort算法处理,输出跟踪的单个障碍物的位置信息、障碍物运动方向信息以及当前障碍物速度信息,根据输出的信息预判当前这个障碍物的速度和方向是否会入侵到列车行驶的轨道范围内,做出提前的判断和报警;
所述***主机中设有视频图像增强模块,对图像数据的对比度进行计算,如果低于一定阈值范围,采用opencv中的函数调整图像的对比度,如果亮度高于或者低于一定的阈值范围,会对每个像素的值进行调整来调整整张图象的亮度;同时根据图像和多线激光雷达点云数据的融合,辅助判断是否有障碍物入侵轨道范围;
所述***主机中设有抗震动模块,通过寻找前方视频图像中的参照点,以此为基点来判断;考虑到上下震动和左右扭动选择两个基点;列车行进过程中,以铁轨作为参照点,通过基点除抖算法,还原出平滑的视频。
2.根据权利要求1所述一种基于视觉、射频定位、多线激光相融合的障碍物感知***,其特征在于,所述障碍物感知单元设有多线激光感知模块,包括安装在车头两端的多线激光雷达,双向获取前方障碍物及车辆的点云图像,并探测前方车辆。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211143675.2A CN116461571B (zh) | 2022-09-20 | 2022-09-20 | 基于视觉、射频定位、多线激光相融合的障碍物感知*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211143675.2A CN116461571B (zh) | 2022-09-20 | 2022-09-20 | 基于视觉、射频定位、多线激光相融合的障碍物感知*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116461571A CN116461571A (zh) | 2023-07-21 |
CN116461571B true CN116461571B (zh) | 2024-06-18 |
Family
ID=87182979
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211143675.2A Active CN116461571B (zh) | 2022-09-20 | 2022-09-20 | 基于视觉、射频定位、多线激光相融合的障碍物感知*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116461571B (zh) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113568002A (zh) * | 2021-06-24 | 2021-10-29 | 中车南京浦镇车辆有限公司 | 基于激光和图像数据融合的轨道交通主动障碍物检测装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104386092B (zh) * | 2014-10-21 | 2017-02-22 | 卡斯柯信号有限公司 | 基于图像识别和多感知融合的列车自动防护***及方法 |
JP6464673B2 (ja) * | 2014-10-31 | 2019-02-06 | 株式会社Ihi | 支障物検知システムおよび鉄道車両 |
CN106741008B (zh) * | 2016-12-29 | 2020-11-06 | 北京交通大学 | 铁路线路异物识别方法及*** |
CN109298415B (zh) * | 2018-11-20 | 2020-09-22 | 中车株洲电力机车有限公司 | 一种轨道和道路障碍物检测方法 |
CN114379611A (zh) * | 2021-12-03 | 2022-04-22 | 合肥湛达智能科技有限公司 | 一种货运列车行车障碍预警方法及*** |
-
2022
- 2022-09-20 CN CN202211143675.2A patent/CN116461571B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113568002A (zh) * | 2021-06-24 | 2021-10-29 | 中车南京浦镇车辆有限公司 | 基于激光和图像数据融合的轨道交通主动障碍物检测装置 |
Also Published As
Publication number | Publication date |
---|---|
CN116461571A (zh) | 2023-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106652468B (zh) | 车辆道路前车违规检测和自车违规预警提醒装置及方法 | |
CN101510356B (zh) | 视频检测***及其数据处理装置、视频检测方法 | |
CN105809679B (zh) | 一种基于视觉分析的山区铁路边坡落石检测方法 | |
CN101916383B (zh) | 基于多摄像机的车辆检测跟踪识别*** | |
KR102122859B1 (ko) | 교통 영상감시시스템의 멀티 표적 추적 방법 | |
CN111198371A (zh) | 前视障碍物检测*** | |
CN111461088B (zh) | 一种基于图像处理与目标识别的轨道交通避障*** | |
CN102867417B (zh) | 一种出租车防伪***及方法 | |
US20050100192A1 (en) | Moving object detection using low illumination depth capable computer vision | |
CN104778444A (zh) | 道路场景下车辆图像的表观特征分析方法 | |
CN111507237A (zh) | 一种应用在高速公路上基于视频的异常事件检测方法与装置 | |
Pan et al. | Traffic surveillance system for vehicle flow detection | |
CN107274678B (zh) | 一种基于Kinect的夜间车流量统计及车型识别方法 | |
CN113568002A (zh) | 基于激光和图像数据融合的轨道交通主动障碍物检测装置 | |
CN111667655A (zh) | 基于红外图像的高速铁路安全区入侵警报装置及方法 | |
CN112101316B (zh) | 一种目标检测方法及*** | |
CN115083088A (zh) | 铁路周界入侵预警方法 | |
Kapoor et al. | Deep learning based object and railway track recognition using train mounted thermal imaging system | |
KR101089029B1 (ko) | 광류를 이용한 방범용 차량 감지 시스템 | |
CN115546738A (zh) | 一种铁轨异物检测方法 | |
CN115909223A (zh) | 一种wim***信息与监控视频数据匹配的方法和*** | |
CN115600124A (zh) | 地铁隧道巡检***及巡检方法 | |
CN115272425A (zh) | 一种基于三维点云的铁路工地区域入侵检测方法及*** | |
Lee | An accident detection system on highway using vehicle tracking trace | |
CN112508893B (zh) | 基于机器视觉的铁路双轨间微小异物检测方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |