CN116461571B - 基于视觉、射频定位、多线激光相融合的障碍物感知*** - Google Patents

Abstract

本发明公开了一种基于视觉、射频定位、多线激光相融合的障碍物感知***，包括***主机障碍物感知单元和列车控制监控***；障碍物感知单元收集列车位置信息对障碍物感知探测并将信息传输至***主机，***主机对接收到的信息进行分类分析；对平直轨道上的侵界障碍物做出识别；当检测到障碍物后，把异常情况传输到列车控制监控***，同时将视频和处理后带障碍物距离信息的图片传送到地面控制中心和司机。本发明采用了多传感器融合技术，将视觉、激光、毫米波雷达和信标阅读器感知单元采集到的数据进行有效融合，使得在无人列车上前方障碍物探测功能、辅助防撞功能得以实现，相比于现有技术具备误报率低，检测距离长以及抗环境干扰能力强的优点。

Description

基于视觉、射频定位、多线激光相融合的障碍物感知***

技术领域

本发明属于轨道交通车辆控制及检测技术领域，具体涉及一种基于视觉、射频定位、多线激光相融合的障碍物感知***。

背景技术

地铁列车具有载客量大、到站时间准、绿色节能等优势，能有效地改善城市交通拥堵现象，已成为城市出行的主要绿色公共交通工具之一。

伴随着地铁列车的快速发展，还有不断发生的地铁列车碰撞、回库时撞击端墙、运行途中遇到障碍物无法及时规避等引起的脱轨等安全事故，造成经济损失。受当前硬件设备和技术的影响，传统采用单一传感器进行障碍物检测的技术已经无法满足高精准度，高稳定性，远距离探测的运行需求。

经检索发现中国发明专利申请CN110908003A，公示了一种基于无人驾驶的主动式障碍物探测***。其特征在于包括：位于司机室的障碍物检测模块、视频处理服务器、位于每节车厢两侧中部的二门防夹平台，所述障碍物检测模块和二门防夹平台与视频处理服务器通信；所述障碍物检测模块包括1台数字高清摄像机和一台红外高清摄像机，两台摄像机实时同步拍摄图像发送至视频处理服务器进行异物侵限检测；视频处理服务器利用两台摄像机拍摄图像对，通过目标物体在图像对中的二维信息求解得出目标物体的三维信息，并进行异物确定和异物侵限危险度判别；所述二门防夹平台包括设置于车门两侧的半球高清摄像机，停车后拍摄列车车门和屏蔽门之间区域的照片并发送至视频处理服务器，视频处理服务器对二门空间内的ROI区域进行异物识别，从而避免在夹到异物的情况下列车依然开车。

经检索发现中国发明专利申请CN 113591626 A，公示了一种基于视觉传感器的障碍物检测***。基于视觉传感器的障碍物检测***搭载于地铁列车，包括：障碍物探测模块，用以获取前方图像信息并智能识别障碍物进行预警和提示；二门防夹模块，用以获取二门区域的图像信息并智能识别障碍物进行预警和提示；

视频记录模块，用于记录视频信息为事故追溯提供原始数据；OCC司机眼监控模块，用于将所有列车前方摄像机视频信息传输到OCC司机眼监控平台；通信模块，用于连接列车控制监控******进行通信。

以上两个文献主要通过视觉摄像机传感器代替司机向行车前方持续瞭望，通过图像识别技术提取障碍物特征，进行异物确定和异物侵限危险度判别，能够较早的对障碍物完成识别，降低交通事故的发生概率。

然而在实际运行环境中，隧道内，弯道处，桥梁上受斑驳光线和天气影响，仅使用单一可见光相机拍摄列车运行前方的图像，其实际有效距离较短，且存在一定的误报率，检测效果和速度不佳。依然无法有效减少地铁运营安全事故。同时，雾霾对列车在高架行驶区域会造成了很大的影响。一旦雾霾大范围发生，地铁公司不得不对列车在高架行驶区域限速运行，极大地影响了整个地铁的运行效率。

发明内容

为了解决上述背景技术提到的技术问题，本发明提出了一种基于视觉、射频定位、多线激光相融合的障碍物感知***。

为了实现上述技术目的，本发明的技术方案为：

一种基于视觉、射频定位、多线激光相融合的障碍物感知***，包括安装在司机室中的***主机，与***主机连接的障碍物感知单元和列车控制监控***；障碍物感知单元收集列车位置信息、前方视频图像以及三维点云图像，对轨道列车运营场景内的障碍物感知探测并将收集到的信息传输至***主机，***主机对接收到的信息进行分类分析；对平直轨道≮400m处的障碍物投影面积不小于0.25m²大小的侵界障碍物做出识别；当***主机检测到障碍物后，把异常情况按照定义的威胁等级信息通过列车实时数据协议接口传输到列车控制监控***，列车控制监控***根据已定义的威胁等级采取应对措施，同时通过车地通讯将视频和处理后带障碍物距离信息的图片传送到地面控制中心和司机。

优选地，所述障碍物感知单元设有双目摄像机感知模块，包括长焦短焦两个摄像机组成的模组，安装在司机室内顶板上方，采用POE供电，电气接口为DB9接口；获取前方高清立体图像信息，探测列车前方障碍物。

优选地，所述障碍物感知单元设有多线激光感知模块，包括安装在车头两端的多线激光雷达，双向获取前方障碍物及车辆的点云图像，并探测前方车辆。

优选地，所述障碍物感知单元设有辅助防撞模块，包括车载二次雷达设备、地面信标设备、车载电子标签阅读器和地面RFID信标，车载二次雷达设备障碍物感知单元读取地面信标，获取列车所在位置、同一线路上两辆列车之间的距离和相对速度、列车是否位于正线或存车线以及列车的上下行状态，依据检测到的距离进行分级报警并调整列车运行模式。

优选地，所述***主机中设有传感器融合模块，统一障碍物感知单元收集的实时数据的时序，相机得到的图像信号，经处理目标检测处理得到的障碍物位置信息、毫米波雷达信息和激光雷达点云信息，经由融合算法处理之后输出障碍物是否入侵轨道的报警信号，输出的信号用于对司机室进行报警。

优选地，所述***主机中设有目标追踪单元，将图像视频信号经由Deep sort算法处理，输出跟踪的单个障碍物的位置信息、障碍物运动方向信息以及当前障碍物速度信息，根据输出的信息预判当前这个障碍物的速度和方向是否会入侵到列车行驶的轨道范围内，做出提前的判断和报警。

优选地，所述***主机中设有视频图像增强模块，对图像数据的对比度进行计算，如果低于一定阈值范围，采用opencv中的函数调整图像的对比度，如果亮度高于或者低于一定的阈值范围，会对每个像素的值进行调整来调整整张图象的亮度；同时根据图像和多线激光雷达点云数据的融合，辅助判断是否有障碍物入侵轨道范围。

优选地，所述***主机中设有抗震动模块，通过寻找前方视频图像中的参照点，以此为基点来判断；考虑到上下震动和左右扭动选择两个基点；列车行进过程中，以铁轨作为参照点，通过基点除抖算法，还原出平滑的视频。

采用上述技术方案带来的有益效果：

本发明采用了多传感器融合技术，将视觉、激光、毫米波雷达和信标阅读器感知单元采集到的数据进行有效融合，使得在无人列车上前方障碍物探测功能、辅助防撞功能得以实现，相比于现有技术具备误报率低，检测距离长以及抗环境干扰能力强的优点。

附图说明

图1是列车编组图；

图2是本发明的安装结构图；

图3是本发明的异物侵限检测功能结构图；

图4传感器融合原理图；

图5目标追踪原理图。

具体实施方式

以下将结合附图，对本发明的技术方案进行详细说明。

本发明公开了一种基于视觉、射频定位、多线激光相融合的障碍物感知***。包括：

一、异物侵限监测预警报警模型：

轨道交通异物侵限监测预警报警模型包含了高清摄像机视频检测技术和双目立体视觉技术。在该***中，摄像机安装在运行车辆司机室内，通过对轨道周围的场景进行视频信息采集、处理，分析是否有异物侵限发生。

基于视频处理的轨道交通异物侵限检测***按照功能可以分为四个部分：数据采集模块、异物侵限检测模块、数据传输模块和远程监控中心，设计其总体结构如图3所示。

(1)图像采集模块包含一组以太网摄像机和毫米波雷达。该模块实现数据采集功能。长短焦高清摄像机模组可以获取列车运行中前方的视频图像，激光雷达获取前方的点云图像。并将采集的数据传到电脑进行相关处理或传回监控端备用。

(2)异物侵限检测模块是***的核心组成部分，通过编写有效的程序代码，实现图像预处理和后期分析等功能。异物侵限检测模块实现的主要功能是通过对图像数据的分析判断是否有侵限异物的存在，这个过程主要是通过软件算法实现，从检测算法上可以分为背景图像的提取及更新、图像区域分类、前景图像提取及分类和可疑前景危险度判别(即异物确认)。

(3)数据传输模块。该模块主要是通过车地WLAN实现图像数据的远程通信。摄像机获得的视频图像可直接传输到远程监控中心，也可通过异物侵限检测模块，提取出报警图像信息传输。

(4)远程监控中心包括主机服务器和监视器。在主机的前台编写程序，在后台搭建数据库建立人机交互界面，该交互***实现的功能包含：用图像显示报警的侵限异物位置、进行报警处理、存储报警记录以及查询报警记录。其中所有的与报警异物相关的信息数据都存储在服务器数据库中，以方便以后对报警记录的查询和调用。监视器可随时调出事故高发地带的视频录像，对重点区域进行双重监控。

二、基于深度学习的图像目标检测技术：

提取障碍物，采用基于Yolo(目标定位与检测)检测技术进行障碍物分类。Yolo(目标定位与检测)是目标检测技术最常用的算法之一，相比较其它目标检测算法，Yolo(目标定位与检测)在保证检测精度的同时，检测速度也是最快的，最适用于本项目列车在行进过程中实时检测的使用场景。

不同于传统的识别方法，Yolo(目标定位与检测)模型里的神经网络一开始会把采集到的图像划分成若干个边长为A×A的小网格，然后每个去检测哪些中心点落在了小网格内，随之去识别那个网格中的目标。YOLO v3(目标定位与检测)相较于之前版本通过改进多尺度预测和更好的基础分类网络和Logistic(回归分析)分类器，可以将一个物体属于多个标签的情况分开，同时通过32/16/8倍视野的选取，大目标和小目标的检测都得到了改善。这使得项目在远距离的目标成像素较少的识别可以有更好的效果。目标检测信号，经由深度学习目标检测的YOLO v3算法之后，输出检测目标的再图像中的位置信息(中心点x，y，目标长w，宽h)以及目标种类的信号，输出这些信号用于判断是否有障碍物入侵轨道范围内，并传入传感器融合节点做进一步处理和判断。

三、传感器融合技术：

传感器融合是综合传感器数据处理中十分重要的一个环节，由于受到各种噪声杂波等非理想因素的影响，传感器获得数据都会存在噪声的影响，有效量测很有可能会认为存在多个目标，这就需要建立起有效量测与目标的对应关系，对目标数据进行匹配，从而建立目标有效关系，提高目标辨识的可靠性。

目标融合过程即确定传感器接收到的量测信息和目标源对应关系的过程，其中涉及的两个最关键的对象是多传感器和多目标。开展目标融合的主要技术在于如何统一不同传感器实时数据的时序，已经如果使用多传感器数据来评估识别目标的真实特征参数，为后续目标分类提供可靠依据。如图4所示；相机得到的图像信号，经处理目标检测处理得到的障碍物位置信息，毫米波雷达信息，激光雷达点云信息，经由融合算法处理之后输出障碍物是否入侵轨道的报警信号，输出的信号用于对司机室进行报警的效果。

四、目标追踪技术：

当出现多目标检测时，由于目标的的短暂丢帧或遮挡等现象，通过使用DeepSort(多目标跟踪)等算法可提升目标追踪的连续性，从而克服外接光照等不同环境因素对相机的干扰，提升隧道内灯光照射下明暗交替场景目标检测。如图5所示；将图像视频信号经由Deep sort算法处理之后，输出跟踪的单个障碍物的位置信息，障碍物运动方向信息，当前障碍物速度信息等，输出的这些信号用于预判当前这个障碍物的速度和方向是否会入侵到列车行驶的轨道范围内，做出提前的判断和报警。

五、视频图像增强技术：

视频增强功能是视频处理的基础，在视频增强的基础上，才可能进行视频处理(如环境监控、评估及预警、列车防撞提醒等)，可以有效消除雾霾、光线等外界因素对视频识别的影响。

视频图像增强主要是对视频图像的对比度、色彩、轮廓等图像物体特征进行增强显示或突出，使得处理后的图像便于进行进一步的处理与分析。目前的视频增强方法可以分为2类:一类方法是提高监控摄像头的硬件性能，如采用透雾镜头等。另一类方法是采用增强算法对采集到的降质视频进行增强，由于视频也是序列图像，因此很多图像增强算法也可以应用到视频增强领域中，如灰度变换、直方图变换等空域方法，基于频域的滤波方法等。以下以直方图均衡法为例，详细讲述该方法的视频增强过程。

图像的直方图均衡法是通过改变图像的直方图分布，对像素相对集中的区域进行分散调整，以达到均匀化直方图的效果，从而提高整个图像的对比度。此时，通过把原始图像的直方图变换为均匀分布形式的基本方向思路，便可以使亮度得以更好地在直方图上分布。此外，在不影响整体的对比度的基础上，还可以用于增强局部的对比度。由此，即可运用扩展常用亮度的方式来实现直方图均衡化的功能。这种方法比较适用于整体风格偏亮或偏暗以至于看不清整体图片细节的图像。并且，直方图均衡法是一项简易可行的可逆操作，计算量小。

列车在运行中会通过各种复杂的环境，这对列车的驾驶会造成一定的影响，视频增强功能提供驾驶室内的显示***，通过软件算法消除对影响驾驶的环境因素，在驾驶室内的显示***上尽可能清晰地显示列车前方的场景，辅助列车的驾驶。以下3点功能，主要运用2个方法进行处理和降低影响：

1.对图像数据的对比度进行计算，如果低于一定阈值范围，会用opencv中的函数调整图像的对比度，如果亮度高于或者低于一定的阈值范围，会对每个像素的值进行加或者减的操作，来提高整张图象的亮度或者降低亮度。

2.运用激光雷达的穿透性效果，降低图像对检测效果的影响，根据图像和激光雷达点云数据的融合，辅助判断是否有障碍物入侵轨道范围。

除雾霾

雾霾对列车在高架行驶区域会造成了很大的影响。一旦雾霾大范围发生，地铁公司不得不对列车在高架行驶区域限速运行，极大地影响了整个地铁的运行效率。

另外，即便在雾霾不是很重的气象条件下，高架上的部分区域也可能有团状雾霾产生，所以客观上也需要一定的技术手段对抗雾霾对列车行驶的影响。

本***的除雾霾功能主要就是针对高架行驶区域的对驾驶有影响的雾霾通过软件算法进行去除，使得监控视频中的前方场景清晰度得到有效提升。

抗强光

晴天的阳光对高架上迎面行驶列车的驾驶有很大的影响，本***的抗强光功能可以在显示屏上尽可能地还原前方的场景。

低照度提亮

图像增强处理，它是将图像(或影像)相邻像元(或区域)的亮度值(或色调)相差较大的边缘(即影像色调突变或地物类型的边界线)处加以突出强调的技术方法。经边缘增强后的图像能更清晰地显示出不同物的类型或现象的边界，或线形影像的行迹，以便于不同的物类型的识别及其分布范围的圈定。

六、抗震动技术：

在列车行进过程中，由于轨道不够平滑，可能出现各种方式的震动。严重时，大幅度的震动可能把原先不在行进内的物体误判为行进方向的物体，从而出现误判。为此，需做专门的抗震动算法：

基点法。通过寻找视频中的参照点，以此为基点来判断。考虑到除了上下震动，还可能出现左右扭动，所以参照点需要两个。

列车行进过程中，所有的包络线都是以铁轨做为参照点的。所以以铁轨作为参照点，可以抗行进列车的震动。通过基点除抖算法，还原出平滑的视频。

如图1所示，Tc车为带司机是的拖车，Mp车为带受电弓的动车,M车位不带受电弓的动车。

本实施例基于视觉、毫米波、多线激光相融合的障碍物感知***项目具有列车定位跟踪，列车运行前方障碍物探测功能、辅助防撞功能，并可根据运用场景在司机室内和OCC进行报警和提示，同时将视频\图像存储并上传到OCC，供OCC远程调取现场图像。

障碍物感知***包括***主机，长短焦摄像机，毫米波雷达，二次雷达，信标阅读器。

如图2所示：

两端TC车各安装一台***主机，主机通过列车实时数据协议接口协议与列车控制监控***通讯。

两端TC车头部各安装长短焦摄像机、毫米波雷达，实现障碍物探测。

两端TC车头部安装二次雷达和底部安装信标阅读器，实现辅助防撞探测。

针对列车实时运行中发现的前方障碍物，通过智能环境感知技术，实时获取前方行驶线路信息并智能识别障碍物进行预警和提示，降低了前方障碍物影响列车正常运行的风险。

所有图像或视频都可以存储在本地或实时上传到OCC，供OCC远程调取现场图像。

***主机尺寸高度为3U，安装在Tc车电气柜中，主要使用的电气接口有电源接口、RS485通讯接口、CAN通讯接口、太网接口、主被动输入输出接口，列车实时数据协议接口以太网通讯接口。主机通过DC110V电源供电。

长短焦双目摄像机安装在车头内装顶板上方，用于探测列车前方障碍物。长短焦双目摄像机采用POE供电，电气接口为DB9接口。

毫米波雷达安装在Tc车。

二次雷达安装在Tc车。

信标阅读器安装在Tc车车底。

***能对平直轨道≮400m处的障碍物投影面积不小于0.25m²大小的侵界障碍物做出有效识别并提示报警。400米可视距离为在平直线段能识别的最大距离。

侵界障碍物的识别不受隧道、高架等不同光线情况的影响，从检测到障碍物到发出告警的时间小于1秒。

当***检测到障碍物后，把异常情况按照定义的威胁等级信息通过列车实时数据协议接口接口传输到列车控制监控******，列车控制监控******根据已定义的威胁等级采取初步应对措施。同时通过车地通讯将视频和处理后带障碍物距离信息的图片传送到OCC/司机，OCC/司机做进一步判断后，确定是否是障碍物，将是否刹车送至列车控制监控***，如是障碍物则刹车，安排人员将障碍物清除，否则恢复原来速度。

辅助防撞单元的采集单元由雷达天线、RFID标签阅读器组成。通过雷达通信技术，实现列车之间的防撞功能和地面线路的端墙防撞功能。***将依据所检测到障碍物的大小和距离进行分级报警。可以测量两车之间的距离和相对速度，或列车与特定(固定)目标主机的距离及列车的绝对速度。***将依据检测到的距离进行分级报警。

车载电子标签阅读器可以读取线路上的RFID电子标签，使***获得当前列车所在位置，判断列车状态。可获取的信息包括列车是否位于正线、存车线、上下行状态等，端墙防撞单元根据此信息自动调整***运行模式。

在车辆上实现的功能：

1、距离前车(端墙)400m时，FAM模式下视频联动到中心，在非FAM模式下HMI蜂鸣器间歇响，在CCTV屏上视频联动。

2、距离前车(端墙)200m，FAM模式下视频联动到中心，在非FAM模式下HMI蜂鸣器急促响，HMI上弹屏报警，CCTV屏上视频联动。

前方障碍物探测静态测试效果：如表1所示；

表1.前方障碍物探测静态测试效果表

前方障碍物探测动态测试效果如表2所示：

表2.前方障碍物探测动态测试效果表

辅助防撞测试效果如表3所示：

表3.辅助防撞测试效果表

实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (2)

1.一种基于视觉、射频定位、多线激光相融合的障碍物感知***，其特征在于，包括安装在司机室中的***主机，与***主机连接的障碍物感知单元和列车控制监控***；障碍物感知单元收集列车位置信息、前方视频图像以及三维点云图像，对轨道列车运营场景内的障碍物感知探测并将收集到的信息传输至***主机，***主机对接收到的信息进行分类分析；对平直轨道≮400m处的障碍物投影面积不小于0.25m 2大小的侵界障碍物做出识别；当***主机检测到障碍物后，把异常情况按照定义的威胁等级信息通过列车实时数据协议接口传输到列车控制监控***，列车控制监控***根据已定义的威胁等级采取应对措施，同时通过车地通讯将视频和处理后带障碍物距离信息的图片传送到地面控制中心和司机；

所述障碍物感知单元设有双目摄像机感知模块，包括长焦短焦两个摄像机组成的模组，安装在司机室内顶板上方，采用POE供电，电气接口为DB9接口；获取前方高清立体图像信息，探测列车前方障碍物；

所述障碍物感知单元设有辅助防撞模块，包括车载二次雷达设备、地面信标设备、车载电子标签阅读器和地面RFID信标，车载二次雷达设备障碍物感知单元读取地面信标，获取列车所在位置、同一线路上两辆列车之间的距离和相对速度、列车是否位于正线或存车线以及列车的上下行状态，依据检测到的距离进行分级报警并调整列车运行模式；

所述***主机中设有传感器融合模块，统一障碍物感知单元收集的实时数据的时序，相机得到的图像信号，经处理目标检测处理得到的障碍物位置信息、毫米波雷达信息和激光雷达点云信息，经由融合算法处理之后输出障碍物是否入侵轨道的报警信号，输出的信号用于对司机室进行报警；

所述***主机中设有目标追踪单元，将图像视频信号经由Deep sort算法处理，输出跟踪的单个障碍物的位置信息、障碍物运动方向信息以及当前障碍物速度信息，根据输出的信息预判当前这个障碍物的速度和方向是否会入侵到列车行驶的轨道范围内，做出提前的判断和报警；

所述***主机中设有视频图像增强模块，对图像数据的对比度进行计算，如果低于一定阈值范围，采用opencv中的函数调整图像的对比度，如果亮度高于或者低于一定的阈值范围，会对每个像素的值进行调整来调整整张图象的亮度；同时根据图像和多线激光雷达点云数据的融合，辅助判断是否有障碍物入侵轨道范围；

所述***主机中设有抗震动模块，通过寻找前方视频图像中的参照点，以此为基点来判断；考虑到上下震动和左右扭动选择两个基点；列车行进过程中，以铁轨作为参照点，通过基点除抖算法，还原出平滑的视频。

2.根据权利要求1所述一种基于视觉、射频定位、多线激光相融合的障碍物感知***，其特征在于，所述障碍物感知单元设有多线激光感知模块，包括安装在车头两端的多线激光雷达，双向获取前方障碍物及车辆的点云图像，并探测前方车辆。