CN114394089B - 一种轨道清洁车辅助驾驶方法及*** - Google Patents

Abstract

本发明提供一种轨道清洁车辅助驾驶方法及***，该方法包括主控模块通过多线激光雷达获取轨道清洁车车外的三维图像，通过双目摄像头获取轨道清洁车车外的视觉图像，对三维图像采用与视觉图像进行处理，从而实现对障碍物类型的识别、对障碍物进行追踪、计算障碍物相对轨道清洁车的实时距离，进而实现轨道清洁车正常行驶或遇到障碍物时的速度控制，大大降低驾驶员的工作量，实现轨道清洁车的辅助驾驶。

Description

一种轨道清洁车辅助驾驶方法及***

技术领域

本发明涉及辅助驾驶领域，具体是涉及一种轨道清洁车辅助驾驶方法及***。

背景技术

目前，自动辅助驾驶技术正广泛应用于以汽车为代表的各种交通工具，但是，这些先进的自动辅助驾驶技术并未广泛应用到我国的轨道清洁车上。市面上的轨道清洁车多采用半自动式清理，虽然比人工手动对槽型轨清洁的方法效率要高，但仍然耗时耗力，且未搭载辅助驾驶***，无法实现清洁车自主避障、规划路线与报警等功能，驾驶员工作量较大故易引起驾驶员疲劳驾驶，埋下安全隐患。

在智能辅助驾驶***方面，传统的图像识别方法均具有不同程度的问题，比如基于贝叶斯算法的图像识别由于假设样本属性是完全独立的，导致样本属性关联性较强时效果会很差；基于模板匹配算法的图像识别只有在像素灰度值相同时，才会识别出两个图像是一致的，导致在动态环境中的图像识别准确性较差；对于卷积神经网络，现在的研究大多重点识别局部细节方面的特征，当需要识别的目标过于小时，按照传统卷积神经网络过度关注细节会使目标会变得不清晰。

发明内容

本发明的第一目的是提供一种轨道清洁车辅助驾驶方法，能够实现轨道清洁车的辅助驾驶。

本发明的第二目的是提供一种轨道清洁车辅助驾驶***，能够实现轨道清洁车的辅助驾驶。

为了实现上述的第一目的，本发明提供的一种轨道清洁车辅助驾驶方法，应用于轨道清洁车作业时的辅助驾驶，其中，该方法包括：轨道清洁车的主控模块通过多线激光雷达获取轨道清洁车车外的三维图像，并通过双目摄像头获取轨道清洁车车外的视觉图像；主控模块根据三维图像与视觉图像筛选出障碍物并确认障碍物的类型，并对障碍物进行追踪，获取障碍物相对轨道清洁车的实时距离；主控模块获取轨道清洁车的实时速度，并根据实时距离、实时速度、障碍物类型计算期望速度，然后根据期望速度向轨道清洁车的传动控制模块输出速度控制指令；传动控制模块根据速度控制指令控制轨道清洁车的运行速度。

由上述方案可见，本发明通过多线激光雷达与双目摄像头分别采集三维图像与视觉图像，主控模块处理三维图像与视觉图像，从而识别出当前障碍物的类型并对障碍物进行实时追踪，从而获取障碍物响度轨道清洁车的实时距离，由此计算出轨道清洁车的期望速度并发出速度控制指令给传动控制模块，传动控制模块根据速度控制指令控制轨道清洁车的速度，从而达到辅助驾驶的目的。

进一步的方案是，主控模块处理三维图像与视觉图像筛选出障碍物时，执行以下步骤：主控模块对三维图像进行预聚类；主控模块通过DBSCAN算法并结合可变阈值对预聚类的结果进行聚类，并通过最小凸包法与模糊线段法提取障碍物的包络矩形框。

由此可见，可以对障碍物进行检测并进行初步识别。

进一步的方案是，主控模块处理三维图像与视觉图像筛选出障碍物并确认障碍物的类型时，执行以下步骤：主控模块结合障碍物的包络矩形框以及视觉图像，通过YOLOv5算法对障碍物的类型进行识别。

由此可见，可以对障碍物进行更具体的识别，能够识别出障碍物的具体类别且识别的结果更准确可靠。

进一步的方案是，主控模块对障碍物进行追踪时，执行以下步骤：主控模块通过MHT算法对障碍物的位置信息进行数据关联，通过第一卡尔曼滤波器对障碍物的位置信息进行滤波和预测。

由此可见，还能够实现动态障碍物的识别，并预测动态障碍物的位置与速度。

进一步的方案是，主控模块获取障碍物相对轨道清洁车的实时距离时，包括：

结合SGBM算法获取障碍物相对轨道清洁车的实时距离。

由此可见，可以得到轨道清洁车的运动信息，方便轨道清洁车运行速度的控制。

进一步的方案是，主控模块获取轨道清洁车的实时速度，并根据实时距离、实时速度、障碍物类型计算期望速度，然后根据期望速度向轨道清洁车的传动控制模块输出速度控制指令时，若障碍物类型会阻碍轨道清洁车通过，主控模块还会向报警模块输出报警指令，报警模块发出报警信号。

由此可见，本发明的轨道车辅助驾驶***可以实现自主避障并及时预警。

进一步的方案是，主控模块获取轨道清洁车的实时速度时，执行以下步骤：通过轨道清洁车的速度传感器或多线激光雷达取得当前速度信息，再通过第二卡尔曼滤波器处理当前速度信息得到实时速度。

由此可见，可以使得获取到的轨道清洁车的实时速度更准确。

进一步的方案是，主控模块根据期望速度向轨道清洁车的传动控制模块输出速度控制指令时，执行以下步骤：主控模块通过模糊PID控制算法与变论域分相方法，输出与期望速度相匹配的速度控制指令。

由此可见，可以更适应轨道清洁车由于需要清洁，速度需要经常变化的场景。

为了实现上述的第二目的，本发明提供的一种轨道清洁车辅助驾驶***，其中，包括：车外数据采集模块，车外数据采集模块包括多线激光雷达与双目摄像头，多线激光雷达用于获取轨道清洁车车外的三维图像，双目摄像头用于获取轨道清洁车车外的视觉图像；车外数据采集模块与主控模块连接，用于向主控模块输入三维图像以及视觉图像；主控模块与传动控制模块连接，主控模块用于获取以及处理三维图像与视觉图像后，根据三维图像与视觉图像筛选出障碍物并确认障碍物的类型，并对障碍物进行追踪，获取障碍物相对轨道清洁车的实时距离；主控模块还用于获取轨道清洁车的实时速度，并根据实时距离、实时速度、障碍物类型计算期望速度，然后根据期望速度向传动控制模块输出速度控制指令；传动控制模块用于接收速度控制指令并控制轨道清洁车的运行速度。

由上述方案可见，本发明的轨道清洁车的辅助驾驶***通过设置车外数据采集模块、主控模块、传动控制模块，由车外数据采集模块进行轨道上图像的采集，由主控模块对图像进行筛选与进一步处理，使得主控模块能根据障碍物的类型及运动信息，输出相应的期望速度的速度控制指令到传动控制模块，传动控制模块根据速度控制指令改变轨道清洁车的运行速度，无需驾驶者观察是否有障碍物再去调控车速进行清洁，达到辅助驾驶的目的。

进一步的方案是，轨道清洁车辅助驾驶***还包括报警模块，报警模块连接主控模块，报警模块包括报警灯。

由此可见，本发明的轨道清洁车辅助驾驶***可以及时预警。

附图说明

图1是本发明轨道清洁车辅助驾驶***的框架图。

图2是本发明轨道清洁车辅助驾驶方法的流程图。

以下结合附图及实施例对本发明作进一步说明。

具体实施方式

本发明的方法是用于轨道清洁车作业时的辅助驾驶，通过多线激光雷达以及双目摄像头取得轨道清洁车车外的图像信息，主控模块对图像信息进行处理筛选出障碍物，并对障碍物进行追踪，实时计算期望速度，从而向传动控制模块输出速度控制指令，传动控制模块根据速度控制指令控制轨道清洁车的运行速度，从而达到辅助驾驶的目的。

本发明轨道清洁车辅助驾驶***实施例：

参见图1，本发明的轨道清洁车辅助驾驶***包括车外数据采集模块1、主控模块2、传动控制模块3、报警模块4,车外数据采集模块1包括多线激光雷达11与双目摄像头12，车外采集数据1与主控模块2连接，主控模块2与传动控制模块3连接，主控模块2还与报警模块4连接。多线激光雷达11用于采集轨道清洁车车外的三维图像，双目摄像头12用于采集轨道清洁车车外的视觉图像，车外数据采集模块1用于向主控模块2输入三维图像以及视觉图像。主控模块2用于获取以及处理三维图像与视觉图像，根据三维图像与视觉图像筛选出障碍物并确认障碍物的类型，并对障碍物进行追踪，获取障碍物相对轨道清洁车的实时距离，还用于获取轨道清洁车的实时速度，并根据实时距离、实时速度、障碍物类型计算期望速度，然后根据期望速度向轨道清洁车的传动控制模块3输出速度控制指令。传动控制模块3用于接收速度控制指令与控制轨道清洁车的运行速度。报警模块4包括报警灯，用于及时根据主动模块2发出的信号进行预警，以提醒驾驶员。在本实施例中，多线激光雷达11采用IBEO 2020四线激光雷达，主控模块采用Raspberry Pi 3B，多线激光雷达11与双目摄像头12设置在轨道清洁车的车头处。

本发明轨道清洁车辅助驾驶方法实施例：

参见图2，当轨道清洁车开始作业时，主控模块通过多线激光雷达获取轨道清洁车车外的三维图像，双目摄像头获取轨道清洁车车外的视觉图像，即执行步骤S1。

然后执行步骤S2，即主控模块根据三维图像与视觉图像筛选出障碍物并确认障碍物的类型，并对障碍物进行追踪，获取障碍物相对轨道清洁车的实时距离。具体的是，主控模块根据三维图像与视觉图像筛选出障碍物并确认障碍物的类型时，先对三维图像预聚类，即以多线激光雷达为坐标原点建立坐标系，x轴、y轴、z轴的范围根据具体轨道确定，剔除不在此坐标系的点后，依据障碍点与障碍点的差值聚类，得到障碍点数聚类集合，然后通过DBSCAN算法对预聚类的结果进行聚类，从而将不同的障碍物区分出来，由于障碍物的核心点的领域取点数量的多少会影响障碍物的进一步区分，采用DBSCAN算法对预聚类的结果进行聚类时还需要结合可变阈值，以提高障碍物区分的准确性，得到障碍物聚类的结果后，通过最小凸包法与模糊线段法提取障碍物的包络矩形框以便后续对障碍物的类型的识别以及对障碍物的追踪。确认障碍物的类型时，可采用单阶段目标检测算法，本发明采用YOLOv5算法，运用在轨道清洁车障碍物的识别上，能够满足轨道清洁车对障碍物识别的精度与速度要求，具体的是，根据基于处理视觉图像得到的障碍物的包络矩形框以及视觉图像进行具体的识别。在对障碍物进行追踪时，通过MHT(Multiple Hypothesis Tracking)算法对障碍物的位置信息进行数据关联，即实现相同障碍物的包络矩形框的特征信息在相邻的帧数中关联，然后通过第一卡尔曼滤波器进行滤波和预测，滤波是为了减少MHT算法因过于依赖先验信息所带来的测量误差，预测即预测障碍物在下一帧中可能的位置，从而计算出障碍物的运动速度和运动位移，从而方便及时对轨道清洁车的运行速度进行调整。获取障碍物相对轨道清洁车的实时距离时，采用SGBM(semi-global block matching)算法获取障碍物相对轨道清洁车的实时距离，SGBM是一种计算双目视觉中视差的半全局匹配算法，使用SGBM对障碍物所有像素点计算视差，再结合双目摄像头的参数即可得出障碍物与轨道清洁车的实时距离。综上，多线激光雷达与双目摄像头配合可得出障碍物的类别以及该障碍物相对轨道清洁车的实时距离。

接着执行步骤S3，主控模块获取轨道清洁车的实时速度，并根据实时距离、实时速度、障碍物类型计算期望速度，然后根据期望速度向轨道清洁车的传动控制模块输出速度控制指令。具体的是，当主控模块获取轨道清洁车的实时速度时，可以通过轨道清洁车的速度传感器直接测量或通过多线激光雷达计算轨道清洁车的当前速度信息，将速度信息输入到第二卡尔曼滤波器处理从而得到较准确的轨道清洁车的实时速度。根据实时距离、实时速度、障碍物类型计算期望速度时，如果障碍物类型会阻碍轨道清洁车通过，如识别出轨道上的障碍物类型为行人，此时确认期望速度为0，主控模块向报警模块输出报警指令，报警模块发出报警信号，提醒驾驶员注意。由于轨道清洁车的期望速度变化快，在驱动或制动的运动特性也差异较大，当主控模块根据期望速度向轨道清洁车的传动控制模块输出速度控制指令时，通过模糊PID控制算法以及变论域分相设计方法输出速度控制指令，以实际速度与期望速度差为输入量，实现输出的速度控制指令包括油门控制量与制动控制量，以满足对期望速度的有效跟随。

最后执行步骤S4，传动控制模块根据速度控制指令控制轨道清洁车的运行速度。传动控制模块根据速度控制指令控制油门以及制动控制器等组件，从而控制轨道清洁车的纵向速度。

综上，本发明通过设置多线激光雷达采集三维图像，设置双目摄像头采集视觉图像，主控模块通过DBSCAN、最小凸包法、模糊线段法、MHT算法、YOLOv5算法、SGBM算法等对所采集到的图像进行处理，实现障碍物类别的识别以及对障碍物的跟踪，同时利用卡尔曼滤波器以及模糊PID控制算法，以实际速度与期望速度差为依据，结合变论域分相设计，得出速度控制指令，实现轨道清洁车根据障碍物进行相应的纵向速度控制，保障清洁过程中的安全行驶，减少驾驶员的工作量，达到辅助驾驶的目的。

Claims (3)

1.一种轨道清洁车辅助驾驶方法，应用于轨道清洁车作业时的辅助驾驶，其特征在于，该方法包括：

轨道清洁车的主控模块通过多线激光雷达获取所述轨道清洁车车外的三维图像，并通过双目摄像头获取所述轨道清洁车车外的视觉图像；

所述主控模块根据所述三维图像与所述视觉图像筛选出障碍物并确认所述障碍物的类型，并对所述障碍物进行追踪，获取所述障碍物相对轨道清洁车的实时距离；

所述主控模块获取所述轨道清洁车的实时速度，并根据所述实时距离、所述实时速度、所述障碍物类型计算期望速度，然后根据所述期望速度向所述轨道清洁车的传动控制模块输出速度控制指令；

所述传动控制模块根据所述速度控制指令控制所述轨道清洁车的运行速度；

其中：

所述主控模块处理所述三维图像与所述视觉图像筛选出障碍物时，执行以下步骤：

所述主控模块对所述三维图像进行预聚类；

所述主控模块通过DBSCAN算法并结合可变阈值对预聚类的结果进行聚类，并通过最小凸包法与模糊线段法提取所述障碍物的包络矩形框；

所述主控模块处理所述三维图像与所述视觉图像筛选出障碍物并确认所述障碍物的类型时，执行以下步骤：

所述主控模块结合所述障碍物的包络矩形框以及所述视觉图像，通过YOLOv5算法对所述障碍物的类型进行识别；

所述主控模块对所述障碍物进行追踪时，执行以下步骤：

所述主控模块通过MHT算法对所述障碍物的位置信息进行数据关联，通过第一卡尔曼滤波器对所述障碍物的位置信息进行滤波和预测；

所述主控模块获取所述障碍物相对轨道清洁车的实时距离时，执行以下步骤：

结合SGBM算法获取所述障碍物相对所述轨道清洁车的实时距离；

所述主控模块获取所述轨道清洁车的实时速度，并根据所述实时距离、所述实时速度、所述障碍物类型计算期望速度，然后根据所述期望速度向所述轨道清洁车的传动控制模块输出速度控制指令时，若所述障碍物类型会阻碍所述轨道清洁车通过，所述主控模块还会向报警模块输出报警指令，所述报警模块发出报警信号；

所述主控模块获取所述轨道清洁车的实时速度时，执行以下步骤：

通过所述轨道清洁车的速度传感器或多线激光雷达取得当前速度信息，再通过第二卡尔曼滤波器处理所述当前速度信息得到所述实时速度；

所述主控模块根据所述期望速度向所述轨道清洁车的传动控制模块输出速度控制指令时，执行以下步骤：

所述主控模块通过模糊PID控制算法与变论域分相方法，输出与所述期望速度相匹配的所述速度控制指令。

2.实现上述权利要求1的轨道清洁车辅助驾驶方法的一种轨道清洁车辅助驾驶***，其特征在于，包括：

车外数据采集模块，所述车外数据采集模块包括多线激光雷达与双目摄像头，所述多线激光雷达用于获取轨道清洁车车外的三维图像，所述双目摄像头用于获取所述轨道清洁车车外的视觉图像；

所述车外数据采集模块与主控模块连接，用于向所述主控模块输入所述三维图像以及所述视觉图像；

所述主控模块与传动控制模块连接，所述主控模块用于获取以及处理所述三维图像与所述视觉图像后，根据所述三维图像与所述视觉图像筛选出障碍物并确认所述障碍物的类型，并对所述障碍物进行追踪，获取所述障碍物相对轨道清洁车的实时距离；所述主控模块还用于获取所述轨道清洁车的实时速度，并根据所述实时距离、所述实时速度、所述障碍物类型计算期望速度，然后根据所述期望速度向所述传动控制模块输出速度控制指令；

所述传动控制模块用于接收所述速度控制指令并控制所述轨道清洁车的运行速度。

3.如权利要求2所述的轨道清洁车辅助驾驶***，其特征在于：

所述轨道清洁车辅助驾驶***还包括报警模块，所述报警模块连接所述主控模块，所述报警模块包括报警灯。