CN108197610A - 一种基于深度学习的轨道异物检测*** - Google Patents

Abstract

本发明公开了一种基于深度学习的轨道异物检测***，所述轨道异物检测***包括：车载影像采集装置、影像传输单元、异物检测装置、机器学习装置以及影像数据库，所述车载影像采集装置用于拍摄并采集目标轨道以及轨道上方的影像，所述影像传输单元分别与车载影像采集装置和所述异物检测装置相连，用于接收所采集的影像并传输给所述异物检测装置，所述机器学习装置构建离线神经网络模型，并利用所述影像数据库中的影像对所述神经网络模型进行训练，所述异物检测装置基于所采集的影像以及所构建的离线神经网络模型对轨道异物进行检测。本发明的***是基于神经网络模型的，相对于传统的图像识别算法有更好的实时性和准确性，有更广泛的适应能力。

Description

一种基于深度学习的轨道异物检测***

技术领域

本发明涉及轨道异物检测领域，具体涉及一种基于深度学习的轨道异物检测***。

背景技术

轨道异物侵限是指铁道上影响到列车行驶安全的障碍物，如桥梁隧道山林树木掉落的悬挂物、工作失误造成滞留在轨道上作业的工务人员、非法上道的人畜车辆以及他们留下的垃圾障碍物等。由于列车行车速度快，单靠传统的司机视觉和常规检测***来进行异物识别，难以保证行车安全。尽管传统的铁路防灾报警、故障诊断与检测理论和技术相对成熟，但异物报警检测却一直是一个难点。随着交通新技术的发展，探测异物侵限和预测危险是智能车辆不可缺少的重要功能之一。目前，铁路异物侵限检测主要分为主动检测和被动检测两种方法。主动检测是向需检测的方位发出某种探测信号，通过传感器反射回来的信号检测障碍物。这种方法是侵犯式检测，增加了环境噪声，检测的空间覆盖率有限。被动检测是基于机器视觉技术的智能图像检测，与主动检测比较有诸多优点：以非侵犯方式检测，不增加环境噪声，空间覆盖广，但其算法复杂、计算量大。在现有技术的道路异物侵限检测中，检测原理是基于图像特征和级联分类器训练分类两种算法。级联分类器训练时，需要大量的样本，通过大量样本训练得到由若干个弱分类器组成的级联分类器，面临处理的图像信息大、运算效率低等问题，而且能检测到的异物侵限单一以及容易误判。

发明内容

本发明提供了一种基于深度学习技术的轨道异物检测***。

一方面，本发明提供一种基于深度学习的轨道异物检测***，其特征在于，所述轨道异物检测***包括：车载影像采集装置、影像传输单元、异物检测装置、机器学习装置以及影像数据库，所述车载影像采集装置用于拍摄并采集目标轨道以及轨道上方的影像，所述影像传输单元分别与车载影像采集装置和所述异物检测装置相连，用于接收所采集的影像并传输给所述异物检测装置，所述机器学习装置构建离线神经网络模型，并利用所述影像数据库中的影像对所述神经网络模型进行训练，所述异物检测装置基于所采集的影像以及所构建的离线神经网络模型对轨道异物进行检测。

优选地，所述机器学习装置用于从影像数据库获取轨道异物影像数据，所述影像数据中具有对异物的标注，还用于构建异物检测模型，利用所获取的轨道异物影像数据进行神经网络模型训练，获得训练好的异物检测模型。

优选地，所述异物检测装置加载训练好的异物检测模型以及异物检测模型参数，并基于所采集的轨道影像利用神经网络模型进行异物检测。

优选地，所述轨道异物检测***还包括报警装置，所述报警装置与所述异物检测装置相连，一旦所述异物检测装置检测到轨道视频中出现异物，则向所述报警装置异物信号，所述报警装置发出报警信号。

优选地，所述神经网络模型包括7个卷积层和5个最大值池化层。

另一方面，本发明提供一种利用权利要求1中所述的轨道异物检测***进行轨道异物检测的方法，所述方法包括下述步骤：

步骤(1)、获取轨道异物图像数据，所述图像数据中具有对异物的标注；

步骤(2)、构建异物检测模型，利用所获取的轨道异物图像数据进行神经网络模型训练，获得训练好的异物检测模型；

步骤(3)、将训练好的异物检测模型加载到异物检测***；

步骤(4)、加载异物检测模型参数；

步骤(5)、利用车载影像采集装置获取轨道的视频数据；

步骤(6)、利用训练好的异物检测模型对所采集的轨道视频基于神经网络进行异物检测；

步骤(7)一旦所述异物检测模型检测到轨道视频中出现异物，则发出报警信号。

优选地，所述步骤(2)包括：

步骤(2-1)、根据目标异物种类和图像数据，对图像数据输入做归一化处理；

步骤(2-2)、对每张图片利用12层神经网络做特征提取；

步骤(2-3)、对初始化的图像进行多重卷积滤波处理；

步骤(2-4)、将处理后的图像作为下一层最大值池化层的输入，以2为步长进行降采样处理；

步骤(2-5)、对于下一层重复步骤(2-3)和(2-4)，直到最后一层，获得特征图；

步骤(2-6)、在特征图的每个单元格中预测5个不同尺度和长宽比的包围盒，最终会在5个预测的包围盒中选择与真实检测框最接近的作为预测值来更新网络参数，每个包围盒预测4个坐标值：分别为包围盒在特征图单元格上的横坐标中心(tx)、纵坐标中心(ty)、长度缩放比例(tw)、高度缩放比例(th)，用于作为目标检测的特征；

步骤(2-7)、根据图像中的异物标注，对特征图中的包围盒进行目标检测过程的边框回归操作，得到检测物体在图像中的位置和置信度，并相应调整异物检测模型。该步骤是由机器学习装置执行的。

本专利的工作原理主要依赖于离线部分中基于yolo物体检测框架训练深度网络模型，以及在线部分中基于训练好的模型对轨道进行异物检测和分类。对现有的异物视频数据进行标注，然后用yolo物体检测框架训练出高效的深度网络模型，完成神经网络的前向传递。列车运行时，摄像头捕捉图像数据，将数据作为输入传递给神经网络，对其进行检测，如果存在异物则标识出具体的位置和类别，并且报警，如果不存在异物则继续处理下一帧图像。

本专利的优点在于利用yolo物体检测框架训练出来的深度网络模型进行实时异物检测，基于yolo物体检测框架训练出来的深度网络模型相较于传统的检测算法更加准确。

附图说明

图1示出了本发明实施例中的异物检测***的结构示意图。

图2示出了本发明实施例中的所采用的包围盒的示意图。

图3为yolo神经网络模型的结构视图。

具体实施方式

以下结合附图及其实施例对本发明进行详细说明，但并不因此将本发明的保护范围限制在实施例描述的范围之中。

图1示出了本发明实施例中的异物检测***的结构示意图。如图所示，本实施例中的异物检测***包括：车载影像采集装置、影像传输单元、异物检测装置、机器学习装置以及影像数据库。

从整体角度看，本发明的***主要分为基于神经网络的轨道异物在线检测和轨道异物检测模型离线训练两个部分，两部分是紧密相连的，第一部分车载，第二部分非车载。

本发明的***在使用时，车载部分主要有车载影像采集装置、影像传输单元以及异物检测装置。这部分安装在车体内用于对轨道异物进行实时检测。本发明***中机器学习装置和影像数据库可以设置在服务器内。

本发明***在正式安装到车辆上之前，需要通过机器学习装置进行神经网络模型的构建和训练。所以，机器学习装置首先构建离线神经网络模型，并且利用影像数据库中的影像训练离线神经网络模型。影像数据库中的数据都是经过处理的，既包含轨道上具有异物的影像，又包括轨道上不具有异物的影像，并且，影像中对异物进行了标注。

当离线神经网络模型训练好之后，就可以将训练好的离线神经网络模型加载到异物检测装置中。车辆行驶过程中，车载影像采集装置用于拍摄并采集目标轨道以及轨道上方的影像(该影像包括视频和/或图像)，影像传输单元分别与车载影像采集装置和所述异物检测装置相连，实时接收所采集的影像并传输给异物检测装置。

异物检测装置加载训练好的异物检测模型以及异物检测模型参数，并基于所采集的轨道影像以及所构建的神经网络模型进行异物检测。

优选地，本发明的轨道异物检测***还包括报警装置，所述报警装置与所述异物检测装置相连，一旦所述异物检测装置检测到轨道视频中出现异物，则向所述报警装置发出异物信号，所述报警装置发出报警信号。

下面分别对本发明检测***中的车载检测部分和离线训练部分分别进行描述。

1、离线训练神经网络模型：

机器学习装置用于进行离线训练神经网络模型的训练，其可以对现有异物视频数据进行标注，基于yolo物体检测框架训练深度网络模型，利用训练好的网络模型，自动提取异物特征，具有优良的泛化能力，从而实现对异物的检测和分类。在此处定义的异物仅包括5种常见的情况：人、动物、石头、树干、圆柱体实物。物体检测模型训练过程中，首先根据规定的物体检测数据标注格式对数据库中已有的带有异物的视频图像进行标注，接着设计网络结构并利用yolo框架提供的训练算法进行模型训练，最后对训练出来的模型进行测试，根据测试结果不断调整训练参数，优化网络结构，使得最终的模型满足实际需求。具体过程如图2所示。

在本实施例中，申请人设计了一个特殊结构的模型。

整个模型共有12层，包含7个卷积层，5个最大值池化层，申请人经过试验发现采用12层7个卷积层5个最大值池化层效果最好，远好于其他模型，能够将漏检率降低至少10％。根据目标异物种类和图像数据，首先对数据输入做归一化处理，将图片大小调整为224*224，对每张图片利用12层神经网络做特征提取。对于初始化的一张224*224大小3通道的图片经过8个卷积滤波器处理之后，变成了224*224大小8个通道。然后将224*224*8的图片作为下一层最大值池化层的输入，以2为步长进行降采样处理，即对每个不重叠的2*2区域进行降采样，选出每个区域中的最大值作为输出，得到一个112*112大小8通道的输出。对于下一个卷积层，过滤器通道数翻倍，得到一个112*112*16的输出，再将其作为下一层最大值池化层的输入，同样以2为步长做最大值降采样处理，得到56*56*16的输出。接着将其作为下一层卷积层的输入得到56*56*32的输出，传入到下一层的最大值池化层返回一个28*28*32的输出。然后将其经过一个64过滤器通道的卷积层处理后返回一个28*28*64的输出，又经过步长为2的最大值降采样处理得到14*14*64的输出。再一次经过128过滤器通道的卷积层和步长为2的最大值降采样处理得到7*7*128的输出结果。然后经过一轮256过滤器通道的卷积层处理得到7*7*256的结果。5*(5+5)＝50，根据神经网络算法框架，这里使用50个过滤器通道的卷积层进行处理，返回7*7*50的输出结果。最后在最后一层构建出的特征图的每个单元格(cell)中预测5个包围盒(bounding box)，每个包围盒预测5个坐标值：tx、ty、tw、th、to。如果这个单元格距离图像左上角的边距为(cx,cy)以及该单元格对应的包围盒的长宽分别为(pw,ph)，则对应用来检测物体的包围盒的4个信息计算公式如下：

b_x＝σ(t_x)+c_x

b_y＝σ(t_y)+c_y

依据神经网络算法框架中的回归模型，最后的检测根据上面提取好的图像特征进行目标检测过程的边框回归操作，得到检测物体在图像中的位置和置信度。而且因为约束了位置预测的范围，参数更容易学习，模型更加稳定。

2、进行车载实时检测：

异物检测装置、车载影像采集装置、影像传输单元统筹进行异物实时检测，车载影像采集装置进行车辆前方轨道的实时影像采集，影像传输单元将所采集的影像传输到异物检测装置，异物检测装置加载训练好的神经网络模型，将神经网络训练所生成的模型运用到实时异物检测中。

当列车在某条线路运行时，首先利用安装在列车头的车载影像采集装置中的摄像头捕捉前方轨道数据，对于每一帧图像调整大小为224*224；同时加载训练好的模型参数，神经网络算法框架自动完成神经网络的前向传递；然后将图像作为输入传给神经网络进行异物检测。如果图像中存在异物，最后得到异物在图像中的位置和类别，并开始报警，如果不存在异物，则继续处理下一帧图像。

深度神经网络虽然能实现良好的检测效果，具有参数数量多，计算量的缺点，部署在车载嵌入式***中，受限于嵌入式CPU计算能力，无法达到实时检测的效果，我们将视频采集和预处理的部分在ARM中实现，网络模型的前向传递运算在FPGA中完成，从而实现深度网络模型运算加速，使整个检测过程具有实时性。

首先ARM读取摄像头采集的视频数据，摄像头采集的视频分辨率可能不同，对每帧图像进行尺度缩放，使每帧图像分辨率为224×224，再输入到网络模型运算。该目标检测网络模型的前向传递过程主要是卷积运算，每一个通道的feature map和kernel的卷积运算由乘法和加法构成，可以多通道并行运算得到每一层的输出feature map。

申请人对其他的可选方案都进行了测试，但是效果上均不如本发明的技术方案。具体而言，将运用yolo物体检测框架训练出来的深度网络模型检测异物替换为其他检测异物模型，但是检测准确率明显下降。

以上所述仅为本发明的较佳实施例，并非对本发明做任何形式上的限制，凡在本发明的精神和原则之内，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化与修饰，均仍属于本发明的保护范围之内。

虽然上面结合本发明的优选实施例对本发明的原理进行了详细的描述，本领域技术人员应该理解，上述实施例仅仅是对本发明的示意性实现方式的解释，并非对本发明包含范围的限定。实施例中的细节并不构成对本发明范围的限制，在不背离本发明的精神和范围的情况下，任何基于本发明技术方案的等效变换、简单替换等显而易见的改变，均落在本发明保护范围之内。

Claims (6)

1.一种基于深度学习的轨道异物检测***，其特征在于，所述轨道异物检测***包括：车载影像采集装置、影像传输单元、异物检测装置、机器学习装置以及影像数据库，所述车载影像采集装置用于拍摄并采集目标轨道以及轨道上方的影像，所述影像传输单元分别与车载影像采集装置和所述异物检测装置相连，用于接收所采集的影像并传输给所述异物检测装置，所述机器学习装置构建离线神经网络模型，并利用所述影像数据库中的影像对所述神经网络模型进行训练，所述异物检测装置基于所采集的影像以及所构建的离线神经网络模型对轨道异物进行检测。

2.根据权利要求1所述的基于深度学习的轨道异物检测***，其特征在于，所述机器学习装置用于从影像数据库获取轨道异物影像数据，所述影像数据中具有对异物的标注，还用于构建异物检测模型，利用所获取的轨道异物影像数据进行神经网络模型训练，获得训练好的异物检测模型。

3.根据权利要求2所述的基于深度学习的轨道异物检测***，其特征在于，所述异物检测装置加载训练好的异物检测模型以及异物检测模型参数，并基于所采集的轨道影像利用神经网络模型进行异物检测。

4.根据权利要求3所述的基于深度学习的轨道异物检测***，其特征在于，所述轨道异物检测***还包括报警装置，所述报警装置与所述异物检测装置相连，一旦所述异物检测装置检测到轨道视频中出现异物，则向所述报警装置发出检测到异物的信号，所述报警装置发出报警信号。

5.根据权利要求2所述的基于深度学习的轨道异物检测***，其特征在于，所述神经网络模型包括7个卷积层和5个最大值池化层。

6.一种利用权利要求1中所述的轨道异物检测***进行轨道异物检测的方法。